WO2024009739A1 - 光学式測距センサ、及び光学式測距システム - Google Patents

光学式測距センサ、及び光学式測距システム Download PDF

Info

Publication number
WO2024009739A1
WO2024009739A1 PCT/JP2023/022526 JP2023022526W WO2024009739A1 WO 2024009739 A1 WO2024009739 A1 WO 2024009739A1 JP 2023022526 W JP2023022526 W JP 2023022526W WO 2024009739 A1 WO2024009739 A1 WO 2024009739A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
light
distance measurement
sensor
ranging
Prior art date
Application number
PCT/JP2023/022526
Other languages
English (en)
French (fr)
Inventor
裕崇 田中
哲男 宮崎
Original Assignee
ソニーグループ株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024009739A1 publication Critical patent/WO2024009739A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means

Definitions

  • the present technology relates to an optical distance measurement sensor and an optical distance measurement system that perform optical distance measurement.
  • optical distance measuring sensors such as ToF (Time of Flight) sensors are known.
  • Optical distance measuring sensors measure distance by detecting reflected light of irradiated light, but interference may occur due to detection of other light.
  • Patent Document 1 describes a method of detecting interference light by turning off the irradiation light and using the detection result to remove the influence of the interference.
  • Patent Document 2 describes a method of modulating irradiated light to suppress interference with other light.
  • the exposure time of the interference light is added and the exposure time of the reflected light is relatively short, which may lower the operating speed and sensitivity. Furthermore, in the method of modulating the irradiated light, there is a possibility that the irradiated light will interfere with other light, and the reliability is poor. Therefore, there is a need for a technology that realizes optical distance measurement with excellent interference resistance while maintaining responsiveness and distance measurement accuracy.
  • the purpose of this technology is to provide an optical ranging sensor and optical ranging system that achieves optical ranging with excellent interference resistance while maintaining responsiveness and ranging accuracy. It's about doing.
  • optical ranging sensor In this optical ranging sensor, four taps are provided for each pixel that constitutes the light receiving section. Each tap is controlled so that interference with distance measurement caused by other lights can be removed. As a result, it is possible to realize optical distance measurement with excellent interference resistance while maintaining responsiveness and distance measurement accuracy.
  • the control driver may obtain determination results by a control unit that determines mutually different distance measurement modes, and operate the four taps according to the distance measurement mode indicated by the determination results.
  • the control unit may obtain output data of the light receiving unit, perform processing on the output data according to the distance measurement mode, and calculate distance measurement data for each of the plurality of pixels.
  • the ranging mode may include a 4-tap ranging mode that uses all of the four taps.
  • the 4-tap ranging mode may include a 4-tap interference suppression mode in which two of the four taps are operated to suppress interference in the ranging.
  • the irradiation unit may repeatedly emit pulsed light as the irradiation light.
  • the 4-tap interference suppression mode sets a plurality of measurement periods in which the phases of operation of the taps are different, turns on the pulsed light during a part of the measurement period, and connects the two taps for distance measurement. may be operated, and the pulsed light may be turned off during another part of the measurement period to operate two taps for interference suppression.
  • the irradiation unit may repeatedly emit pulsed light as the irradiation light.
  • the 4-tap interference suppression mode includes a light reception period for receiving the reflected light of the pulsed light for each pulsed light and a reference period after the light reception period until the next pulsed light is emitted. Two taps for ranging may be operated during the light reception period, and two taps for interference suppression may be operated during the reference period.
  • the ranging mode may include the 4-tap ranging mode and the 2-tap ranging mode using two of the four taps.
  • the irradiation unit may repeatedly emit pulsed light as the irradiation light.
  • the two-tap ranging modes include a normal mode in which processing for suppressing interference in ranging is not executed, a mode in which a period for turning off the pulsed light is set, and a mode in which the pulsed light is modulated. It may include at least one of the following.
  • the four-tap ranging mode may include a mode in which a light reception period for receiving the reflected light of the pulsed light is set longer than the normal mode, and the four taps are operated during the light reception period.
  • the control unit may acquire mode determination information for determining the ranging mode.
  • the mode determination information may include the presence or absence of an interference light source that emits the other light.
  • the control unit may select the distance measurement mode that suppresses interference in the distance measurement.
  • the mode determination information may include at least one of a moving speed of the optical distance measurement sensor or a measurement angle of the optical distance measurement sensor.
  • the optical distance measurement sensor may be configured as a ToF distance measurement sensor.
  • the irradiation unit may repeatedly emit pulsed light as the irradiation light.
  • the control driver may set four types of phases for the pulsed light and operate the four taps at timings corresponding to the four types of phases.
  • the optical ranging sensor may be mounted on a self-propelled robot.
  • An optical ranging system includes an optical ranging sensor and a control unit.
  • the optical distance measuring sensor includes the irradiating section, the light receiving section, and the control driver.
  • the control unit determines mutually different ranging modes as ranging modes of the optical ranging sensor.
  • FIG. 1 is a block diagram illustrating a configuration example of an optical ranging system according to an embodiment of the present technology.
  • 1 is a schematic diagram showing a configuration example of a self-propelled robot equipped with an iToF ranging sensor.
  • 1 is a schematic diagram showing a configuration example of an iToF ranging sensor 110.
  • FIG. 2 is a schematic diagram showing an example of the configuration of a light receiving section 112 of an iToF distance measurement sensor 110.
  • FIG. FIG. 2 is a schematic diagram for explaining the basic operation of the iToF method.
  • FIG. 3 is a schematic diagram for explaining a distance measuring method using four types of phases.
  • 1 is a table showing a plurality of ranging modes used in an optical ranging system.
  • FIG. 3 is a flowchart illustrating an example of distance measurement mode determination processing.
  • FIG. 2 is a schematic diagram showing an example of a moving scene.
  • 5 is a timing chart per frame in normal mode and mode A.
  • 3 is a schematic diagram showing an example of signal processing in normal mode and mode A.
  • FIG. 3 is a schematic diagram showing an example of signal processing in normal mode and mode A.
  • FIG. 3 is a timing chart per frame in mode B.
  • 3 is a schematic diagram showing an example of signal processing in mode B.
  • FIG. 3 is a timing chart per frame in mode C.
  • 3 is a schematic diagram showing an example of signal processing in mode C.
  • FIG. 3 is a schematic diagram showing an example of signal processing in mode C.
  • FIG. 3 is a timing chart per frame in mode D-1.
  • FIG. 3 is a schematic diagram showing an example of signal processing in mode D-1.
  • 3 is a timing chart per frame in mode D-2.
  • FIG. 3 is a schematic diagram showing an example of signal processing in mode D-2.
  • FIG. 7 is a schematic diagram for explaining another example of mode determination information.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system.
  • FIG. 3 is a diagram showing an example of a sensing area.
  • FIG. 1 is a block diagram showing a configuration example of an optical ranging system according to an embodiment of the present technology.
  • FIG. 2 is a schematic diagram showing a configuration example of a self-propelled robot equipped with an iToF ranging sensor.
  • the optical distance measurement system 100 is a system that uses an iToF distance measurement sensor 110 to measure the distance to an object.
  • the iToF ranging sensor 110 functions as a depth camera, and is a sensor that acquires not only images in the XY directions but also information in the Z direction, and is capable of sensing three-dimensional space (sensing depth and three-dimensional shape). .
  • three-dimensional sensing is expected to be used in applications that utilize relative distances in real time, such as autonomous movement and collision avoidance.
  • an iToF ranging sensor 110 is mounted on a self-propelled robot 101.
  • the robot 101 is, for example, a mobile body capable of independent movement, and is used for individual deliveries, transportation within a factory, and the like.
  • the iToF ranging sensor 110 mounted on the robot 101 is schematically illustrated with a dotted line.
  • the number and position of the iToF distance measurement sensors 110 mounted on the robot 101 are not limited, and for example, the necessary number of iToF distance measurement sensors 110 may be appropriately installed according to the characteristics and usage of the robot 101. May be provided.
  • the present technology is not limited to the self-propelled robot 101, but can be applied to any moving object such as a vehicle, drone, aircraft, or ship.
  • the optical ranging system 100 includes an iToF ranging sensor 110, another sensor group 130, and a central processing unit 140.
  • the other sensor group 130 includes a speed sensor 131, an illuminance sensor 132, a GPS sensor 133, and an RGB camera 134. These sensor group 130 are mounted on the robot 101 together with the iToF ranging sensor 110.
  • the speed sensor 131 is a sensor that detects the moving speed of the robot 101.
  • an IMU intial measurement unit
  • the illuminance sensor 132 is a sensor that detects the illuminance (brightness) of the surrounding environment of the robot 101.
  • a photodetecting element such as a photodiode is used.
  • the GPS sensor 133 is a sensor that measures the current position of the robot 101 based on signals transmitted from GPS satellites. Furthermore, in the optical ranging system, a signal indicating standard time is read from the time distribution server 135, and is used for positioning the current position.
  • the RGB camera 134 captures a color image of the surrounding environment of the robot 101.
  • a digital camera equipped with an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) is used.
  • the image taken by the RGB camera 134 is used as data for detecting an interference light source, which will be described later.
  • the iToF ranging sensor 110 includes an irradiating section 111, a light receiving section 112, and a control driver 113.
  • the iToF distance measurement sensor 110 is a sensor that performs distance measurement using the iToF method among the ToF (Time of Flight) methods, and can also be said to be an iToF distance measurement module.
  • the distance to the object is measured by using the time difference between irradiating the object with irradiation light Tx such as a laser or LED and detecting the reflected light Rx with a sensor.
  • the ToF method is roughly divided into two types: a dToF (direct ToF) method and an iToF (indirect ToF) method.
  • the dToF method is a method that directly measures the time difference between irradiation with irradiation light Tx and detection of reflected light Rx.
  • the iToF method is a method that measures distance by accumulating charges according to reflected light Rx and detecting a phase difference between irradiated light Tx and reflected light R.
  • the iToF distance measurement sensor 110 operates to enable distance measurement using the iToF method.
  • FIG. 3 is a schematic diagram showing a configuration example of the iToF ranging sensor 110.
  • FIG. 3 schematically shows a plan view of the iToF ranging sensor 110 viewed from the front.
  • the irradiation unit 111 irradiates the irradiation light Tx.
  • a semiconductor laser that emits irradiation light Tx is used as the irradiation unit 111.
  • other light emitting elements such as LEDs may be used as the irradiation section 111.
  • the irradiation section 111 functions as a light emitting section (iToF light emitting section) of the iToF ranging sensor 110.
  • the irradiation unit 111 repeatedly emits pulsed light as the irradiation light Tx. That is, the irradiation light Tx is pulsed light that is emitted at a predetermined period and has a predetermined pulse width.
  • the irradiation light Tx is typically infrared light, but is not limited to this, and light of any wavelength may be used as the irradiation light Tx.
  • a lens section 114 is provided so as to cover the front surface of a light receiving section 112 (area indicated by a dotted line in the figure) arranged inside the housing.
  • a light receiving section 112 area indicated by a dotted line in the figure.
  • irradiation units 111 are provided so as to surround it. Irradiation light Tx is emitted from each irradiation unit 111 so as to spread over the measurement range of the sensor.
  • FIG. 4 is a schematic diagram showing a configuration example of the light receiving section 112 of the iToF ranging sensor 110.
  • FIG. 4A is a schematic diagram showing an example of the overall planar configuration of the light receiving section 112.
  • FIG. 4B is a schematic diagram showing an example of the planar configuration of the pixels 115 constituting the light receiving section 112, and
  • FIG. 4C is a schematic diagram showing an example of the cross-sectional configuration of the light receiving section 112 taken along the line AA shown in FIG. 4B.
  • the light receiving unit 112 receives reflected light Rx of the irradiated light Tx.
  • a CMOS image sensor capable of receiving reflected light Rx is used.
  • another image sensor such as a CCD may be used as the light receiving section 112.
  • the light receiving section 112 functions as a light receiving section (iToF light receiving section) of the iToF ranging sensor 110.
  • the light receiving section 112 has a light receiving surface 117 and a plurality of pixels 115.
  • the light receiving surface 117 is a surface that receives reflected light Rx of the irradiated light Tx.
  • a plurality of pixels 115 are arranged in a grid pattern. Therefore, the light receiving section 112 has a configuration in which a plurality of pixels 115 are arranged.
  • the light receiving surface 117 is arranged, for example, at the focal point of the lens section 114. Therefore, an image of the measurement range of the iToF distance measurement sensor 110 is formed on the light receiving surface 117 via the lens section 114.
  • the plurality of pixels 115 are configured using a semiconductor substrate so as to be able to receive reflected light Rx of irradiation light Tx. As shown in FIG. 4B, each pixel 115 has a photoelectric conversion unit 118 and four taps 119.
  • the photoelectric conversion unit 118 receives reflected light Rx of the irradiation light Tx and generates charges.
  • the charge q generated by the photoelectric conversion unit 118 is output to a charge storage unit (not shown) by operating a tap 119 described below.
  • the four taps 119 read out the charge q generated by the photoelectric conversion unit 118.
  • the tap 119 means a readout port for reading out the charge q that is photoexcited inside the semiconductor substrate.
  • the tap 119 is configured using a readout gate for reading out the photo-excited charge q to the charge storage section. That is, the tap 119 functions as a gate that controls reading of the charge q from the photoelectric conversion section 118 to the charge storage section.
  • FIG. 4B schematically shows four taps 119 arranged on all sides so as to surround the photoelectric conversion unit 118. Note that the specific design of the gate constituting the tap 119 is not limited.
  • light 2 for example, reflected light Rx
  • the charge q generated by the photoelectric conversion unit 118 is read out through the tap 119 by operating the tap 119 (opening the gate).
  • the four taps 119 can individually open and close gates based on control signals output from the control driver 113. Further, the charges q read out from the four taps 119 are stored separately.
  • the light receiving unit 112 outputs readout data of the charges q read out at the plurality of pixels 115 to the central processing unit 140 as depth information at each pixel 115.
  • the read data of the charge q is, for example, a value obtained by accumulating the charges q read out for every four taps 119, and the read data for each tap 119 is output.
  • the depth information is information that allows the depth (depth value) at each pixel 115 to be calculated.
  • the light receiving unit 112 image sensor
  • the read data of the charge q corresponds to the output data of the light receiving section.
  • control driver 113 drives the irradiating section 111 and the light receiving section 112 to control the operation of each section. Specifically, the control driver 113 generates a control signal for operating the irradiating section 111 and the light receiving section 112 according to the ranging mode instruction output from the central processing unit 140, and sends the corresponding control signal to the irradiating section. 111 and the light receiving section 112.
  • the pulse period of the pulsed light (irradiation light Tx) used in the iToF distance measuring sensor is, for example, sufficiently smaller than 1 ⁇ sec. Therefore, in order to control the ON/OFF of each irradiation light Tx and the operation of the tap 119 at appropriate timing, the irradiation section 111 and the light receiving section 112 must be controlled in synchronization with high precision and high speed. This is very important.
  • the control driver 113 outputs a control signal to the irradiating section 111 and the light receiving section 112 to enable such synchronous control. For example, a control signal that supports the pulse period, pulse width, etc. of the irradiation light Tx (light emission pulse) is output to the irradiation unit 111.
  • a control signal that supports the tap 119 (effective tap) to be used, the number of phases (number of phases) used for the operation of the tap 119, the exposure time, the measurement frequency, etc. is output to the light receiving unit 112, for example.
  • the control driver 113 is configured to be able to operate each of the four taps 119 in order to suppress interference in distance measurement that occurs when the photoelectric conversion unit 118 receives light different from the reflected light Rx. be done. For example, if the light incident on the light receiving unit 112 is mixed with light emitted by another distance measuring sensor, it may become difficult to properly measure the distance. As a method for suppressing such interference, there is a method of controlling the irradiation pattern of the irradiation light Tx and the readout of charges by each tap 119. Control driver 113 can operate four taps 119 to suppress such interference. A specific distance measuring method will be explained in detail later.
  • the control driver 113 acquires the determination result of the distance measurement mode by the central processing unit 140, and operates the four taps 119 according to the distance measurement mode indicated by the determination result. For example, when a distance measurement mode that suppresses the above-mentioned interference is determined as the distance measurement mode, the control driver 113 operates each tap 119 so as to suppress interference. Furthermore, even if a mode that does not suppress interference is determined as the ranging mode, the control driver 113 can operate each tap 119 according to the determined ranging mode.
  • the central processing unit 140 controls the entire operation of the optical ranging system 100 including the iToF ranging sensor 110 and each sensor group 130.
  • the central processing unit 140 has a hardware configuration necessary for a computer, such as a CPU and memory (RAM, ROM). Various processes are executed by the CPU loading a control program stored in the ROM into the RAM and executing it.
  • the central processing unit 140 corresponds to a control unit.
  • a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array), or another ASIC (Application Specific Integrated Circuit) may be used.
  • a processor such as a GPU (Graphics Processing Unit) may be used as the central processing unit 140.
  • the central processing unit 140 is typically installed inside the robot 101, it may be configured, for example, as a server device on a network (a cloud server that provides cloud services, etc.). In this case, the server device (central processing unit 140) is configured to be able to communicate with the control driver 113 of the iToF ranging sensor 110.
  • the light receiving section 112 may include the central processing unit 140.
  • the central processing unit 140 executes a distance measurement mode determination process to determine the distance measurement mode by the iToF distance measurement sensor 110. Further, the central processing unit 140 executes a distance measurement data calculation process for calculating distance measurement data from the output data (read data of the charge q for each tap 119) output from the light receiving section 112 of the iToF distance measurement sensor 110.
  • the central processing unit 140 determines mutually different ranging modes. In each distance measurement mode, the pulse period of the irradiation light Tx, the phase of operation of each tap 119, etc. (operation parameters) are different.
  • the ranging mode can also be said to be the operating mode of the iToF ranging sensor 110.
  • Information on the determination result by the central processing unit 140 is output to the control driver 113 as a signal instructing the ranging mode.
  • the signal instructing the ranging mode is, for example, a signal instructing the operating parameters of the irradiating section 111 and the light receiving section 112.
  • instruction values of operating parameters corresponding to each distance measurement mode are output to the control driver 113, and control signals for the irradiation section 111 and the light receiving section 112 are generated by the control driver 113 according to the instruction values.
  • instruction values of operating parameters corresponding to the distance measurement mode may be stored in the control driver 113 in advance.
  • the signal instructing the ranging mode is, for example, a signal representing the ranging mode itself, and the control driver 113 reads the obtained instruction value corresponding to the ranging mode and sends a control signal to the irradiating unit 111 and the light receiving unit 112. generate.
  • the method of operating the control driver 113 according to the ranging mode is not limited.
  • the central processing unit 140 acquires mode determination information for determining the distance measurement mode, and selects the iToF distance measurement sensor 110 (control driver 113 ) determines the distance measurement mode to be executed.
  • the ranging mode includes a 4-tap ranging mode that uses all four taps 119. Further, the ranging mode includes a two-tap ranging mode that uses two of the four taps 119. That is, in this embodiment, depending on the distance measurement mode, a mode in which all four taps 119 are used and a mode in which two taps 119 are used are switched.
  • the 4-tap ranging mode and the 2-tap ranging mode include a mode that suppresses interference (a ranging mode that includes an operation to suppress interference) and a mode that does not suppress interference. (a distance measurement mode that does not include an operation for suppressing interference). Each distance measurement mode will be described later with reference to FIG. 7 and the like.
  • the central processing unit 140 acquires the output data of the light receiving unit 112, performs processing on the output data according to the distance measurement mode, and calculates distance measurement data for each of the plurality of pixels 115. do.
  • the distance measurement data is typically a depth value at each pixel 115. Note that the error, reliability, etc. of the depth value may be calculated.
  • the central processing unit 140 determines the ranging mode of the iToF ranging sensor 110 based on the output data from the various sensor groups 130 mounted on the robot 101, and the iToF Automatic switching of the distance measurement mode is realized by issuing an instruction to the distance measurement sensor 110.
  • This makes it possible to sense a three-dimensional space in an optimal distance measurement mode depending on the movement scene of the robot 101, etc., making it possible, for example, to improve the operational accuracy of the robot 101.
  • FIG. 5 is a schematic diagram for explaining the basic operation of the iToF method.
  • a basic operation of the iToF method a method of measuring the depth value d using two taps 119 (Tap1 and Tap2) will be described.
  • the pulse width of the irradiation light Tx (Laser pulse) will be referred to as Tp.
  • Tp is a time representing the length of the pulse (the period during which the irradiation light Tx is ON). Further, the period from when the irradiation light Tx is output until the reflected light Rx (Reflection) is detected is written as ⁇ t. ⁇ t is the time from the timing when the irradiation light Tx is turned on to the timing when detection of the reflected light Rx starts (timing when the reflected light Rx returns). Further, the repetition period (pulse period) for emitting the irradiation light Tx is written as T.
  • the pulse period T is set to twice the pulse width Tp.
  • the timing at which Tap1 turns ON is the same as the timing at which the irradiation light Tx turns ON, and the period at which Tap1 turns ON (operation period) is the same period as the pulse width Tp. It is. Further, the operation timing of Tap2 is the timing when the irradiation light Tx (Tap2) is turned off, and the operation period of Tap2 is the same period as the pulse width Tp. Therefore, here, Tap1 operates in the first half of the pulse period T, and Tap2 operates in the second half. In the following, the charges read out during each operation period in Tap1 and Tap2 will be referred to as Q1 and Q2.
  • a case will be considered in which reflected light Rx returning within pulse period T is detected.
  • the total charge of Q1 is read from the middle to the end of the operation period.
  • the total charge of Q2 is read from the beginning to the middle of the operation period.
  • the period in which Q2 is read out in Tap2 (or the period obtained by subtracting the period in which Q1 is read out in Tap1 from the pulse width Tp) is equal to ⁇ t.
  • the total value of Q1 and Q2 is approximately equivalent to the amount of charge read out when, for example, all of the reflected light Rx is received.
  • the distance corresponding to ⁇ t that is, the depth value d, is calculated as follows using the ratio of Q1 and Q1+Q2.
  • the speed of light c in equation (1) is the speed of light. Furthermore, the right side of equation (1) is multiplied by 1/2 to take into account the round trip of light. In this way, in the iToF image sensor, the two taps 119 are used to complementarily switch the readout timings (operation timings) of each to measure the round trip time of light and calculate the depth value d. Is possible.
  • FIG. 6 is a schematic diagram for explaining a distance measuring method using four types of phases.
  • a distance measuring method (4-phase method) in which charges are read out by setting four types of phases as the operating timing phases of the tap 119 will be described.
  • charges accumulated by reflected light are divided into four phase timings (0°, 90°, 180°, and 270°) and sequentially read out.
  • the read timings of the two taps 119 (Tap1 and Tap2) are set to timings shifted by 180°. Therefore, two types of charge information, Tap1 and Tap2, are read out per phase.
  • FIG. 6 schematically shows the operation of the tap 119 in four frames having different phases.
  • Frame1, frame2, frame3, and frame4 each have an operation period similar to the pulse width Tp of the irradiation light Tx.
  • the phases of the operation timings of frame1, frame2, frame3, and frame4 are set to 0°, 90°, 180°, and 270° with respect to the irradiation light Tx, with the pulse period T being 360°.
  • the charges read out in frames 1 to 4 are written as Q1 to Q4. It is possible to calculate the phase difference between the irradiated light Tx and the reflected light Rx from these charges and convert it into a time difference ⁇ t between the irradiated light Tx and the reflected light Rx.
  • the distance corresponding to ⁇ t that is, the depth value d, is calculated as follows.
  • the control driver 113 executes a 4-phase method using four taps 119. That is, the control driver 113 sets four types of phases for the pulsed light (irradiation light Tx), and operates the four taps 119 at timings corresponding to the four types of phases. This makes it possible to realize robust distance measurement regardless of the characteristics of the elements.
  • iToF depth cameras For example, assume a situation where two or more iToF depth cameras are used at the same time, and define them as camera A and camera B, respectively.
  • Tx emitted from camera A is emitted onto a subject, and reflected light Rx is collected by a lens and detected by an image sensor of camera A.
  • a plurality of ranging modes including a ranging mode capable of suppressing such iToF mutual interference are switched and executed.
  • the characteristics of each mode will be explained regarding the plurality of ranging modes determined by the central processing unit 140.
  • FIG. 7 is a table showing multiple ranging modes used in the optical ranging system. In this embodiment, six ranging modes are used: normal mode, mode A, mode B, mode C, mode D-1, and mode D-2.
  • the 4-phase method is used in all modes.
  • the 4-phase method is realized by performing imaging using four microframes each having four types of phases set.
  • a microframe is a frame set in which multiple shots are taken without changing the phase.
  • the normal mode is a 2Tap-4phase distance measurement mode, and no interference countermeasures are taken to suppress interference.
  • the interference resistance in normal mode is low because no interference countermeasures are taken.
  • the interference resistance when no interference countermeasures are taken is the lowest and is indicated by an "x”.
  • the characteristics of other distance measurement modes are relatively evaluated based on the FPS, accuracy, and distance measurement range of the normal mode.
  • the FPS, accuracy, and distance measurement range in normal mode are all indicated by "O".
  • the FPS in the normal mode is set by appropriately setting the pulse width Tp, microframe integration time, etc., so that it is possible to sufficiently measure a subject that moves at high speed, such as a car.
  • Mode A is a 2Tap-4phase distance measurement mode, and is a mode in which the pulse frequency is dispersed/modulated and set as a countermeasure against interference. This makes it possible to measure distance using a pulse different from the pulses used by other depth sensors, making it possible to avoid mutual interference.
  • the interference resistance of mode A may match the pulse frequency of the interference source, for example, so it is higher than normal mode but lower than mode B and mode D, which will be described later.
  • the interference resistance of mode A is expressed as " ⁇ ".
  • the FPS, accuracy, and ranging range of mode A are approximately the same as those of normal mode. Therefore, mode A can be said to be a ranging mode that improves interference resistance without changing FPS, accuracy, ranging range, etc., as compared to normal mode.
  • Mode B is a 2Tap-4phase distance measurement mode, in which a period in which the irradiation light Tx is OFF is provided as a countermeasure against interference, and the phase of the interference light emitted from the interference source is detected during that period. Specifically, a microframe is added such that Tx is turned off.
  • mode B is a two-tap distance measuring mode, and is a mode in which the period during which the pulsed light is turned off is set. This makes it possible to subtract charges generated by interference light, and it becomes possible to sufficiently suppress the influence of mutual interference.
  • the interference resistance of mode B is effective regardless of the characteristics of the interference light, and is higher than that of mode A described above.
  • the interference resistance of mode B is indicated by "O".
  • the accuracy and ranging range of mode B are approximately the same as those of normal mode.
  • the FPS of mode B decreases due to the increase in microframes.
  • the FPS performance of mode B is expressed as " ⁇ ". Note that by reducing the total microframe integration time as a whole, it is possible to improve FPS, although accuracy decreases.
  • Mode C is a 4Tap-4phase distance measurement mode, and is a mode in which the distance measurement range is expanded by setting the pulse period T twice that of the normal mode.
  • the pulse width Tp is set in the same manner as in the normal mode, and the extended pulse period T is used to read out charges using the four taps 119.
  • mode C no interference countermeasures are taken.
  • the interference resistance of mode C is as low as that of normal mode because no interference countermeasures are taken.
  • the FPS of mode C is approximately the same as that of normal mode.
  • the accuracy of mode C is expressed as " ⁇ ". Note that in mode C, accuracy can be improved by lowering the FPS.
  • the distance measurement range of mode C is twice that of the normal mode because the pulse period T is twice that of the normal mode. That is, by doubling the period during which reflected light Rx is photographed, the measurable distance doubles.
  • the distance measurement range of mode C is indicated by " ⁇ ".
  • Mode D-1 and Mode D-2 are 4Tap-4phase distance measurement modes, and interference countermeasures are taken. Specifically, two taps 119 out of four taps 119 are used to read out charges generated by interference light. In this way, mode D-1 and mode D-2 are four-tap ranging modes, in which two of the four taps 119 are operated to suppress interference in ranging. This is the interference suppression mode.
  • the two taps 119 that operate to suppress interference may be referred to as interference suppression taps 119, and the remaining two taps 119 may be referred to as ranging taps 119.
  • mode D-1 the same pulse width Tp and pulse period T as in the normal mode are set. Further, Tx is set to OFF in a part of each microframe, and during that period, charges are read out using two taps 119 for interference suppression. Note that during the period when Tx is on, charges are read out using the two taps 119 for distance measurement. The period during which Tx is turned on and the period during which Tx is turned off are typically set to halve the pulse period T.
  • the interference resistance of mode D-1 is comparable to mode B and higher than mode A, for example.
  • the FPS of mode D-1 is approximately the same as that of normal mode.
  • the distance measurement range of mode D-1 is the same as that of normal mode.
  • mode D-2 the same pulse width Tp as in normal mode and the same pulse period T as in mode C (twice that in normal mode) are set. Furthermore, each time the irradiation light Tx is emitted, in the latter half of the pulse period T, charges are read out using the two taps 119 for interference suppression. Note that in the latter half of the pulse period T, charges are read out using the two taps 119 for distance measurement. In measurement in mode C, the data obtained from two shots taken in the first half of the pulse period T is used for distance measurement, and the data obtained from two shots taken in the second half is used for interference removal.
  • mode D-2 is a mode used as The interference resistance of mode D-2 is higher than that of mode B or mode D-1, for example, because data for interference cancellation is obtained for each pulse, and it is possible to exhibit sufficient interference resistance.
  • mode D-2 can be said to be a mode specialized for interference countermeasures.
  • the interference resistance of mode D-2 is indicated by " ⁇ ".
  • the FPS of mode D-2 is approximately the same as that of normal mode. In this case, as in mode C, by extending the pulse period T, the number of integrations is halved, and the amount of light that can be received is halved, resulting in a worsening of the S/N ratio and a decrease in accuracy. Note that in this method, if the reflected light Rx is applied in the latter half of the pulse period T, distance measurement becomes difficult. Due to this restriction, the distance measurement range of mode D-2 is 1/2 that of the normal mode.
  • FIG. 8 is a flowchart illustrating an example of distance measurement mode determination processing.
  • the distance measurement mode determination process executed by the central processing unit 140 will be specifically described. This process is, for example, a loop process that is repeatedly executed during the operation of the optical ranging system 100, and the ranging mode is automatically switched while the loop process is being executed.
  • a pre-stored determination threshold is read (step 101).
  • a threshold value related to the moving speed used in threshold determination (steps 105, 111, and 114), which will be described later, is read.
  • Object detection using the RGB camera 134 is performed (step 102). For example, the measurement range of the iToF ranging sensor 110 is photographed using the RGB camera 134, and object detection is performed on the photographed image. Note that an image taken outside the measurement range of the iToF ranging sensor 110 may be used.
  • image processing such as feature detection and pattern matching is used, for example.
  • object detection using machine learning technology such as AI (artificial intelligence) may also be used.
  • Object detection detects objects that may carry interfering light sources, such as cars or other robots.
  • step 103 It is determined whether or not there is an interference light source (step 103).
  • interference light sources around the robot 101 are detected. For example, if a car or other robot is detected, it is determined that there is an interfering light source. In this case, the interference light source does not need to be actually mounted on the automobile or the like. Further, for example, when interference occurs, the depth image measured by the iToF ranging sensor 110 may flicker. For this reason, the presence or absence of an interference light source may be determined by analyzing the depth image. Note that such flickering is less likely to be detected while operating in the ranging mode that takes measures against interference. Therefore, for example, the interference countermeasure may be turned off at regular intervals to check for the presence or absence of an interference light source.
  • step 104 If it is determined that there is no interference light source (No in step 103), a process is started to determine two ranging modes (normal mode and mode C) in which no interference countermeasures are taken.
  • the moving speed V1 of the robot 101 is measured (step 104).
  • the current moving speed V1 of the robot 101 is measured based on the output of the speed sensor 131.
  • step 105 If the moving speed V1 is less than the threshold (No in step 105), the robot 101 is moving relatively slowly. In this case, short distance measurement is important, distance measurement accuracy is emphasized, and the normal mode is determined (step 106). This makes it possible to move the robot 101 while accurately measuring a relatively nearby area.
  • the robot 101 is moving relatively fast.
  • long-distance distance measurement is important, and for example, the distance measurement range is more important than the distance measurement accuracy, and mode C, which has a wide distance measurement range, is determined (step 107). Thereby, it is possible to measure a wide area, and it is possible to safely move the robot 101 even when the moving speed V1 is high.
  • step 103 if it is determined that there is an interference light source (Yes in step 103), it is determined that interference countermeasures are required, and four ranging modes (mode A, mode B, mode D-1, and mode D-2) is started. That is, when there is an interference light source, a distance measurement mode that suppresses interference in distance measurement is determined. From another perspective, if interference countermeasures are not required, no interference countermeasures are taken. This makes it possible to perform highly reliable sensing without unnecessarily reducing FPS or distance measurement accuracy.
  • step 108 When taking measures against interference, it is first determined whether there are multiple interference light sources (step 108). For example, in object detection, the number of cars and other robots is calculated, and these numbers are used as the number of interference light sources. If there is only one interference light source (No in step 108), it is considered that there is only one type of interference light. In this case, by modulating the pulse period T, etc. of the irradiation light Tx used by the own iToF ranging sensor 110, it becomes possible to sufficiently remove the interference light component. Therefore, mode A for modulating the pulse period T is determined (step 109). In other words, if there is one interference light source, mode A can be used, so mode A is determined. Note that mode A may be determined when the number of interference light sources is less than or equal to a predetermined threshold.
  • step 108 If there are multiple interference light sources (Yes in step 108), there is a possibility that modulating the pulse period T alone will not be enough to cope with the problem.
  • a process is started to determine the operable modes B, D-1, and D-2 regardless of the characteristics of the interference light.
  • the moving speed V1 of the robot 101 is measured (step 110).
  • step 104 the current moving speed V1 of the robot 101 is measured based on the output of the speed sensor 131.
  • step 111 it is determined whether the moving speed V1 is greater than or equal to a threshold value.
  • the threshold value of the moving speed V1 is set to a different value from the threshold value used in step 105, for example, but the same threshold value as in step 105 may be used.
  • the robot 101 is moving relatively fast. In this case, long-distance distance measurement is important, and a larger distance measurement range is better. Further, while moving at high speed, distance measurement with a high frame rate (FPS) and excellent responsiveness is preferable. Based on these conditions, a mode D-1 is determined that has the same distance measurement range and FPS as the normal mode and is resistant to interference (step 112). Thereby, it is possible to take measures against interference while maintaining the ranging range and responsiveness.
  • FPS frame rate
  • the robot 101 If the moving speed V1 is less than the threshold (No in step 111), the robot 101 is moving relatively slowly. In this case, short-range distance measurement is important, and for example, high interference resistance and high distance measurement accuracy are important. Then, a process is started to determine mode D-1, which has excellent interference resistance, and mode B, which has high distance measurement accuracy.
  • the moving speed V2 of the other party (car or other robot) equipped with an interference light source is measured (step 113).
  • the moving speed V2 of the other party is detected by estimating the apparent speed distribution (optical flow) etc. from the image of the RGB camera 134, for example.
  • the moving speed V2 may be detected using image processing using machine learning, LiDar, or the like.
  • the moving speed V2 is calculated as a relative speed with respect to the robot 101, for example. Therefore, the moving speed V2 represents the approaching speed at which the opponent approaches.
  • mode D-2 which has a high FPS and excellent interference resistance, although the ranging range is reduced, is determined (step 115). For example, as interference light sources approach each other, the influence of interference light may increase, but by using mode D-2, it is possible to sufficiently suppress mutual interference while achieving highly responsive distance measurement while maintaining FPS. becomes possible.
  • mode B is determined in which the FPS decreases but the distance measurement range does not decrease (step 116). This makes it possible to appropriately measure the distance to a remote party.
  • each distance measurement mode is determined by measuring the movement speed and executing the movement speed determination process. . Thereby, it is possible to automatically select the optimal ranging mode according to the moving scene.
  • FIG. 9 is a schematic diagram showing an example of a moving scene.
  • Scene 1 is a scene in which the robot 101 is moving in a parking lot or the like.
  • Scene 2 is a scene in which the robot 101 is running in a situation where there is no other vehicle such as an oncoming vehicle.
  • Scene 3 is a scene in which the robot 101 is moving on a congested road.
  • Scene 4 is a scene in which the robot 101 is traveling with a sufficient distance from other vehicles such as an oncoming vehicle.
  • the moving speed V1 of the robot 101 is relatively low, and the robot 101 is moving at a slow speed (for example, 3 km/h).
  • the moving speed V1 of the robot 101 is relatively high, and the robot 101 is moving at a running speed (for example, 60 km/h). Furthermore, in scenes 1 and 2, no other vehicle serving as the interference light source 3 is detected, but in scenes 3 and 4, another vehicle serving as the interference light source 3 is detected.
  • the interference light source 3 is not detected and the moving speed V1 is smaller than the threshold value.
  • the normal mode is executed in step 106. This makes it possible to safely move around the parking lot, park the vehicle, etc. without reducing FPS or distance measurement accuracy.
  • the interference light source 3 is not detected and the moving speed V1 is equal to or higher than the threshold value.
  • mode C is executed in step 107. This makes it possible to measure distances over long distances, making it possible to drive safely at high speeds.
  • the interference light source 3 is detected.
  • mode A is executed in step 109. In this case, it is possible to suppress mutual interference while maintaining the same FPS, ranging accuracy, and ranging range as in the normal mode.
  • a threshold value determination is made regarding the moving speed of oneself and the other party, and the distance measurement mode is determined. For example, in a traffic jam scene such as scene 3, a plurality of interference light sources 3 are detected and the moving speed V1 of the robot 101 is smaller than the threshold value. If the opponent's moving speed V2 (approaching speed) is equal to or higher than the threshold value, mode D-2 is executed in step 115. This makes it possible to perform high-speed distance measurement while exhibiting high interference resistance, and to achieve highly reliable sensing. Furthermore, if the opponent's moving speed V2 (approaching speed) is less than the threshold value, mode B is executed in step 116. In this case, since it becomes possible to maintain the distance measurement range, it becomes possible to appropriately sense the other party located at a relatively distant position.
  • mode D-1 is executed in step 112. For example, when the moving speed V1 is high, there is a high possibility that a sufficient inter-vehicle distance is maintained, and it is preferable that the distance measurement range is large. In mode D-1, for example, it is possible to suppress mutual interference while maintaining the same FPS and ranging range as in the normal mode.
  • FIG. 10 is a timing chart per frame in normal mode and mode A.
  • 11 and 12 are schematic diagrams showing an example of signal processing in normal mode and mode A.
  • the normal mode is a two-tap ranging mode, and is a mode in which processing for suppressing interference in ranging is not executed.
  • Mode A is a two-tap ranging mode, and is a mode in which pulsed light is modulated. Below, specific operations in normal mode and mode A will be described with reference to FIGS. 10 to 12.
  • FIG. 10 The upper side of Figure 10 shows four micro frames #1 to #4 (micro frames #1 to #4) and four read-out periods (RO: Read-out time) for reading out the charge integrated in each micro frame. is schematically illustrated.
  • the total period of four microframes and four readout periods is the period (1/fps) required for photographing one frame.
  • Photographing one frame is a measurement for calculating the phase difference ⁇ between the reflected light Rx and the irradiated light Tx. This phase difference ⁇ is converted into a depth value d.
  • f (Hz) Operating frequency of the iToF ranging sensor 110. This is the pulse frequency of the irradiation light Tx, and is the reciprocal of the pulse period T.
  • RO Microframe readout period, which depends on the number of pixels and the like.
  • Integration time (sec) Integration time per microframe, which can be about 1 msec, for example.
  • 1/fps (sec) Time per frame, which depends on the number of microframes and the length of integration time.
  • the four taps 119 used for reading out charges are described as a first tap, a second tap, a third tap, and a fourth tap.
  • the amount of charge read out and accumulated by the first tap, second tap, third tap, and fourth tap in each microframe is Tap1, Tap2, respectively. , Tap3, and Tap4.
  • the pulse period T is set to twice the pulse width Tp. Further, it is assumed that the first tap and the second tap among the four taps 119 are operated. The operating periods of the first tap and the second tap are set to have the same length as the pulse width Tp. Further, the operations of the first tap and the second tap are executed exclusively with phases shifted by 180 degrees, and when one operation is completed, the other operation is started.
  • the charts labeled Tap1-accumulation and Tap2-accumulation represent charge readout operations by the first tap and the second tap.
  • charges generated in response to the reflected light Rx and read out from the first tap and the second tap are schematically illustrated as shaded areas.
  • the values obtained by integrating the charge for each first tap and second tap in each microframe are Tap1 and Tap2.
  • FIG. 11 schematically illustrates charge readout operations by the first tap and second tap in four microframes #1 to #4.
  • the four microframes #1 to #4 operate the first tap and the second tap in different phases.
  • the phase of the operation timing of the first tap is 0°, 90°, 180°, and 270° with respect to the emission start timing of the irradiation light Tx. set to °.
  • the operation of the second tap is 180° shifted from the operation of the first tap.
  • phase difference ⁇ in normal mode and mode A will be explained. Variables are defined as follows from the signals obtained by each microframe #1 to #4.
  • FIG. 11 schematically shows the relationship of components 1 to 4 with Tap 1 and Tap 2 in microframes #1 to #4.
  • I( ⁇ ) and Q( ⁇ ) are defined as follows as functions of the phase difference ⁇ .
  • I( ⁇ ) (component1 - component3)
  • Q( ⁇ ) (component2 - component4) ...(4)
  • FIG. 12A shows a graph in which each function is plotted with the horizontal axis representing the phase difference ⁇ and the vertical axis representing I( ⁇ ) and Q( ⁇ ).
  • Q( ⁇ ) becomes a triangular waveform function obtained by shifting the phase of I( ⁇ ) by ⁇ /2.
  • the ratio of I( ⁇ ) and Q( ⁇ ) is associated with the phase difference ⁇ .
  • FIG. 12B is a diagram showing the phase difference ⁇ by converting the triangular waveform function so that I( ⁇ ) becomes the horizontal axis and Q( ⁇ ) becomes the vertical axis.
  • a diamond-shaped line connecting four points (1,0), (0,-1), (-1,0), and (0,1) appears.
  • the angle made by the line segment connecting the origin and the point on the diamond line with the horizontal axis is the phase difference ⁇ .
  • the relationship between the phase difference ⁇ and the functions I( ⁇ ) and Q( ⁇ ) in FIGS. 12A and 12B is expressed using the following equation.
  • component1 to component4 are calculated according to equation (3) above, functions I( ⁇ ) and Q( ⁇ ) are calculated according to equation (4), and phase difference ⁇ is calculated according to equation (5). be done. The phase difference ⁇ calculated in this way is finally converted into a depth value d.
  • FIG. 13 is a timing chart per frame in mode B.
  • FIG. 14 is a schematic diagram showing an example of signal processing in mode B.
  • Mode B is a mode in which a period during which pulsed light is turned off is set. The specific operation of mode B will be described below with reference to FIGS. 13 and 14.
  • the pulse period T is set to the same length as in the normal mode (twice the pulse width Tp). Further, it is assumed that the first tap and the second tap among the four taps 119 are operated. The operating periods of the first tap and the second tap are set to have the same length as the pulse width Tp. Further, the operations of the first tap and the second tap are executed exclusively with a phase shift of 180°. In FIGS. 13 and 14, it is assumed that the reflected light (shaded area with large dots) of the irradiation light emitted from the interference light source is received. Further, the phase of the illumination light emitted from the interference light source is shifted by ⁇ i from the phase of the illumination light Tx emitted from its own iToF distance measurement sensor 110.
  • FIG. 13 shows four microframes #1 to #4 each having an RO set thereto, and four microframes (Txoff #1 to #4) each having an RO set to turn off the irradiation light Tx. are schematically illustrated.
  • Txoff #1 to #4 have the same configuration as microframes #1 to #4 except that the irradiation light Tx is turned off, and are photographed after microframes #1 to #4. Therefore, in mode B, the total period of eight microframes and eight readout periods is the period required for photographing one frame. Therefore, as explained with reference to FIG. 7, the FPS decreases.
  • FIG. 13 shows a chart showing the operations of the first tap and second tap in microframe #1 and Txoff #1. Among these, in Txoff #1, since the irradiation light Tx is OFF, only the charge generated by the reflected light from the interference source is accumulated.
  • FIG. 14 schematically shows a method of calculating component1 using data of microframe #1 and Txoff #1. Note that in FIG. 14, background light is additionally shown in addition to the interference light source.
  • component1 is calculated according to the following formula.
  • Tap1#1 Tap1@microframe#1 - Tap1@Txoff#1
  • Tap2#1 Tap2@microframe#1 - Tap2@Txoff#1
  • component1 Tap1#1 - Tap2#1 ...(6-1)
  • Tap1#1 and Tap2#1 are obtained by removing the interference light source component from the outputs of the first tap and the second tap, and extracting the component derived from the irradiation light Tx.
  • Tap1#2 Tap1@microframe#2 - Tap1@Txoff#2
  • Tap2#2 Tap2@microframe#2 - Tap2@Txoff#2
  • component2 Tap1#2 - Tap2#2 ...(6-2)
  • Tap1#3 Tap1@microframe#3 - Tap1@Txoff#3
  • Tap2#3 Tap2@microframe#3 - Tap2@Txoff#3
  • component3 Tap1#3 - Tap2#3 ...(6-3)
  • Tap1#4 Tap1@microframe#4 - Tap1@Txoff#4
  • component1 to component4 are calculated according to formulas (6-1) to (6-4) above, functions I( ⁇ ) and Q( ⁇ ) are calculated according to formula (4), and functions I( ⁇ ) and Q( ⁇ ) are calculated according to formula (5).
  • a phase difference ⁇ is calculated.
  • the phase difference ⁇ calculated in this way is finally converted into a depth value d.
  • FIG. 15 is a timing chart per frame in mode C.
  • 16 and 17 are schematic diagrams showing an example of signal processing in mode C.
  • Mode C is a mode in which a light reception period for receiving reflected light Rx of pulsed light (irradiation light Tx) is set longer than in the normal mode, and four taps are operated during the light reception period. The specific operation of mode C will be described below with reference to FIGS. 15 to 17.
  • the pulse period T is set to twice that of the normal mode (four times the pulse width Tp). It is also assumed that all four taps 119 (first tap, second tap, third tap, and fourth tap) are operated.
  • the operating periods of the first to fourth taps are set to have the same length as the pulse width Tp. Further, the operations of the first to fourth taps are set to be shifted by a length of 1/4 of the pulse period T (pulse width Tp) so that the operations are mutually exclusive.
  • microframes #1 to #4 each having an RO set therein are schematically illustrated.
  • the total time of integration time and RO is set equal to that in normal mode.
  • the number of integrations decreases, there is a possibility that the distance measurement accuracy decreases.
  • the operations of the first tap, second tap, third tap, and fourth tap are executed in this order.
  • the first tap to be activated was changed to the fourth tap, third tap, and second tap, and the images were taken. will be held.
  • phase difference ⁇ in mode C The calculation process of phase difference ⁇ in mode C will be explained. Variables are defined as follows from the signals obtained by each microframe #1 to #4.
  • I( ⁇ ) and Q( ⁇ ) are defined as follows as functions of the phase difference ⁇ .
  • FIG. 17A shows a graph in which each function is plotted with the horizontal axis representing the phase difference ⁇ and the vertical axis representing I( ⁇ ) and Q( ⁇ ) expressed by equation (8).
  • Q( ⁇ ) becomes a triangular waveform function obtained by shifting the phase of I( ⁇ ) by ⁇ . This can be said to be that the period of the graph shown in FIG. 12 is doubled. In this way, even when the period is extended, the ratio of I( ⁇ ) and Q( ⁇ ) can be associated with the phase difference ⁇ .
  • FIG. 17B is a diagram showing the phase difference ⁇ by converting the triangular waveform function so that I( ⁇ ) is on the horizontal axis and Q( ⁇ ) is on the vertical axis.
  • a diamond-shaped line connecting four points (1,0), (0,-1), (-1,0), and (0,1) appears.
  • the angle made by the line segment connecting the origin and the point on the diamond line with the horizontal axis is the phase difference ⁇ , and a relationship similar to that in FIG. 12 is obtained.
  • the relationship between the phase difference ⁇ and the functions I( ⁇ ) and Q( ⁇ ) in FIGS. 17A and 17B is expressed using the above-mentioned equation (5).
  • the phase difference ⁇ is calculated according to equation (5).
  • the phase difference ⁇ calculated in this way is finally converted into a depth value d.
  • FIG. 18 is a timing chart per frame in mode D-1.
  • FIG. 19 is a schematic diagram showing an example of signal processing in mode D-1.
  • mode D-1 multiple measurement periods in which the phases of operation of the taps 119 are different are set, and the pulsed light (irradiation light Tx) is turned on during a part of the measurement period to operate the two taps 119 for distance measurement.
  • This is a mode in which the pulsed light (irradiation light Tx) is turned off during the other part of the measurement period and the two taps 119 for interference suppression are operated.
  • the plurality of measurement periods in which the phases of the operation of the tap 119 are different are the periods in which four microframes #1 to #4 are executed, and the length thereof corresponds to the integration time.
  • a period in which the irradiation light Tx is turned off is provided within one microframe.
  • the timing is divided into the first half and the second half at the timing when half the microframe has elapsed, and the irradiation light Tx is turned on in the first half, and the irradiation light Tx is turned off in the second half.
  • the first and second taps are operated, and the third and fourth taps are not operated.
  • the third and fourth taps are operated, and the first and second taps are not operated.
  • Such measurements are performed on each microframe.
  • the pulse period T is set to the same length as in the normal mode (twice the pulse width Tp). Further, the operation periods of the first to fourth taps are set to have the same length as the pulse width Tp. In the first half, the first tap and the second tap operate in an exclusive manner, and in the second half, the third tap and the fourth tap operate in an exclusive manner. In this case, the first tap and the second tap correspond to two taps for distance measurement, and the third tap and the fourth tap correspond to two taps for interference suppression.
  • the phase of the operation timing of the first tap is different from the pulse period T
  • the angles are set at 0°, 90°, 180°, and 270° with reference to .
  • the operation of the second tap is 180° shifted from the operation of the first tap.
  • the operation timings of the third tap and fourth tap in the second half of microframes #1, #2, #3, and #4 are set similarly to the first tap and second tap in the first half.
  • phase difference ⁇ in mode D-1 The calculation process of phase difference ⁇ in mode D-1 will be explained. Variables are defined as follows from the signals obtained by each microframe #1 to #4.
  • component1 (Tap1 - Tap3) - (Tap2 - Tap4)
  • @microframe#1 component2 (Tap1 - Tap3) - (Tap2 - Tap4)
  • @microframe#2 component3 (Tap1 - Tap3) - (Tap2 - Tap4)
  • microframe#3 component4 (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#4 ...(9)
  • phase difference ⁇ I( ⁇ ) and Q( ⁇ ) are defined according to the above equation (4).
  • component1 to component4 are calculated according to equation (9) above
  • functions I( ⁇ ) and Q( ⁇ ) are calculated according to equation (4)
  • phase difference ⁇ is calculated according to equation (5).
  • Ru The phase difference ⁇ calculated in this way is finally converted into a depth value d.
  • this method by providing a period within the microframe in which the irradiation light Tx is turned off, the amount of accumulated charge is reduced, which may reduce accuracy.
  • the shooting time per frame is maintained, and distance measurement at a high FPS is possible. This makes it possible to achieve distance measurement that has high interference resistance and is suitable for high-speed response.
  • FIG. 20 is a timing chart per frame in mode D-2.
  • FIG. 21 is a schematic diagram showing an example of signal processing in mode D-2.
  • Mode D-2 consists of a light reception period for each pulsed light (irradiation light Tx) to receive the reflected light Rx of the pulsed light, and a period after the light reception period until the next pulsed light (irradiation light Tx) is emitted.
  • a reference period is set, two taps 119 for distance measurement are operated during the light reception period, and two taps 119 for interference suppression are operated during the reference period.
  • the light reception period for receiving the reflected light Rx is a period used for receiving the reflected light Rx, and is set according to the ranging range. For example, the operation of receiving the reflected light Rx, including the readout operation using the tap 119, is controlled to be completed within the light reception period. Note that if the operation is not completed during the light reception period, it is not subject to distance measurement.
  • the light reception period is set to twice the length of the pulse width Tp. This is the same length as the normal mode pulse period.
  • the reference period until the next irradiation light Tx is emitted is a period after the light reception period until the next pulse is emitted. For example, a period obtained by subtracting the light reception period from the pulse period T becomes the reference period.
  • the pulse period T is set to four times the length of the pulse width Tp. Therefore, the length of the reference period is equal to the length of the light reception period. That is, the first half of the pulse period T is set as the light receiving period, and the second half of the pulse period T is set as the reference period.
  • the light reception period and the reference period are described as a TxOn section and a TxOff section, respectively.
  • the operating periods of the first to fourth taps are set to have the same length as the pulse width Tp.
  • the first tap and the second tap operate in an exclusive manner
  • the third tap and the fourth tap operate in an exclusive manner. It works like this.
  • the first tap and the second tap correspond to two taps for distance measurement
  • the third tap and the fourth tap correspond to two taps for interference suppression.
  • the phase of the operation timing of the first tap is set to be shifted from the timing of the start of emission of the irradiation light Tx.
  • the phase of the operation timing of the first tap is set to 0°, 90°, 180°, and 270°, assuming that half of the pulse period T (that is, the length of the light reception period or reference period) is 360°.
  • the operation of the second tap is 180° shifted from the operation of the first tap.
  • the operation timings of the third tap and the fourth tap in the reference period are set similarly to the first tap and the second tap in the light reception period.
  • phase difference ⁇ in mode D-2 The calculation process of phase difference ⁇ in mode D-2 will be explained. Variables are defined as follows from the signals obtained by each microframe #1 to #4.
  • component1 (Tap1 - Tap3) - (Tap2 - Tap4)
  • @microframe#1 component2 (Tap1 - Tap3) - (Tap2 - Tap4)
  • @microframe#2 component3 (Tap1 - Tap3) - (Tap2 - Tap4)
  • microframe#3 component4 (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#4 ...(10)
  • phase difference ⁇ I( ⁇ ) and Q( ⁇ ) are defined according to the above equation (4).
  • component1 to component4 are calculated according to equation (10) above
  • functions I( ⁇ ) and Q( ⁇ ) are calculated according to equation (4)
  • phase difference ⁇ is calculated according to equation (5).
  • Ru The phase difference ⁇ calculated in this way is finally converted into a depth value d.
  • This is a calculation method similar to mode D-1. It can be said that this method executes imaging in the first half and the second half of the pulse period T with Tx turned off as in mode D-1.
  • mode D-2 distance measurement is not performed if measurement is not completed during the light reception period as described above. That is, proper measurement cannot be performed unless the timing at which the reception of the reflected light Rx is completed is before the timing at which the light reception period is completed (half the pulse period). As a result, the distance measurement range is half that of the normal mode.
  • interference light components are detected as Tap3 and Tap4 in the corresponding reference period. That is, the interference light is detected immediately after the irradiation light Tx, and the depth value d is calculated using the detection result. As a result, in mode D-2, it is possible to remove the interference light component at the timing when the reflected light Rx is received, and it is possible to significantly improve interference resistance.
  • each tap 119 is controlled so as to be able to eliminate interference from other lights in distance measurement. As a result, it is possible to realize optical distance measurement with excellent interference resistance while maintaining responsiveness and distance measurement accuracy.
  • a method in which measurement is performed using a plurality of pixels in order to receive a reference signal.
  • a method for example, to suppress mutual interference, use two pixels with two taps, expose one pixel even during the period when the laser pulse is OFF, and remove the signal detected during that period from the background noise.
  • One possible method is to cancel the influence of interference by subtracting it as (see Patent Document 1).
  • this method reduces the resolution of the image by using extra pixels.
  • mutual interference can be reduced, since the exposure time must be set even when the laser pulse is turned off, the effective exposure time decreases, reducing responsiveness (FPS) and ranging accuracy (sensitivity). may decrease.
  • the above operation can be achieved with only one pixel, and interference detection is possible without reducing resolution, and if interference detection is not required, the distance measurement range can be doubled. It has the advantage that it can be extended to However, the operation of detecting interference and the operation of extending the ranging range are exclusive operations. Furthermore, resistance to mutual interference and FPS/distance measurement accuracy are in a trade-off relationship. There are various situations in which ToF sensors can be used, and it may be difficult to deal with them simply by manually switching modes.
  • the iToF ranging sensor 110 is provided with a 4-tap type light receiving section 112.
  • the operation of each tap 119 is controlled so that interference in distance measurement can be suppressed.
  • By using four taps 119 it is possible to exhibit high interference resistance without reducing FPS or ranging accuracy, for example.
  • the iToF distance measurement sensor 110 is a 4-tap method, multiple distance measurement modes with different characteristics (normal mode, mode A, mode B, mode C, mode D-1, and mode D-2, etc.) are realized. Further, it is possible to determine these distance measurement modes according to the scene, and it is possible to automatically switch the distance measurement mode.
  • the scene determination uses the presence or absence of an interference light source, the moving speed of the iToF ranging sensor 110 (robot 101), the moving speed of the interference light source, and the like. This makes it possible to automatically switch to the optimal ranging mode to suit various scenes. As a result, it is possible to realize highly reliable sensing without unnecessarily reducing FPS or distance measurement accuracy.
  • FIG. 22 is a schematic diagram for explaining another example of mode determination information.
  • the measurement angle of the iToF ranging sensor 110 may be used as the mode determination information.
  • the measurement angle of the iToF ranging sensor 110 is the angle of the line of sight 5 (center axis) of the sensor. 22A and 22B schematically illustrate how the iToF ranging sensor 110 observes the object 7 while changing the measurement angle.
  • the measurement range of the iToF ranging sensor 110 is an area relatively close to the sensor position.
  • short distance measurement is considered to be important, the distance measurement range may be small, and a high FPS is preferable.
  • FIG. 22B when the line of sight of the iToF distance measurement sensor 110 is close to horizontal, the measurement range of the iToF distance measurement sensor 110 is a relatively distant area away from the sensor position. In this case, long-distance measurement is considered important, and a longer distance measurement range is better even if the FPS is lower.
  • the distance measurement mode may be determined according to the horizontal angle (elevation angle ⁇ ) of the line of sight 5 of the iToF distance measurement sensor 110. For example, in step 105 of FIG. 8, if the elevation angle ⁇ is greater than or equal to the threshold, the line of sight 5 is determined to be close to vertical and the normal mode is determined; if the elevation angle ⁇ is less than the threshold, the line of sight 5 is determined to be close to vertical. Mode C is determined as being close to horizontal.
  • step 105 if the elevation angle ⁇ is greater than or equal to the threshold, the line of sight 5 is determined to be close to vertical and mode D-2 or mode B is determined, and if the elevation angle ⁇ is less than the threshold, the line of sight 5 is close to horizontal, and mode D-1 is determined. Such processing may be performed. This makes it possible to determine the mode according to the posture and operation status of the robot 101.
  • the ranging mode may be switched depending on the brightness of the surrounding environment.
  • the output of the illuminance sensor 132 and the like described with reference to FIG. 1 is used.
  • a mode with high ranging accuracy or a mode with high interference resistance is determined preferentially. This makes it possible to appropriately perform sensing according to the scene while maintaining ranging accuracy and interference resistance.
  • the present technology is also applicable to a case where a dToF distance measurement sensor is used, for example.
  • two of the four taps are used to detect the timing of incidence of another pulsed light serving as interference light. By using this detection result, it is possible to suppress mutual interference.
  • FIG. 23 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the iToF ranging sensor 110 optical ranging system 100 described above may be mounted on the vehicle 1.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to travel support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit. It includes a support/automatic driving control section 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control section 32.
  • vehicle control ECU Electronic Control Unit
  • communication unit 22 includes a communication unit 22, a map information storage unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit.
  • a position information acquisition unit includes a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, and a driving unit. It includes a support/automatic driving control section 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30, human machine interface (HMI) 31, and vehicle control unit 32 are connected to each other via a communication network 41 so that they can communicate with each other.
  • the communication network 41 is, for example, an in-vehicle network compliant with digital two-way communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It consists of communication networks, buses, etc.
  • the communication network 41 may be used depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 uses wireless communication that assumes communication over a relatively short distance, such as near field communication (NFC) or Bluetooth (registered trademark), without going through the communication network 41. In some cases, the connection may be made directly using the .
  • NFC near field communication
  • Bluetooth registered trademark
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the entire or part of the functions of the vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 communicates with an external network via a base station or an access point using a wireless communication method such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), or DSRC (Dedicated Short Range Communications). Communicate with servers (hereinafter referred to as external servers) located in the external server.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a network unique to the operator.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed of a predetermined rate or higher and over a predetermined distance or longer.
  • the communication unit 22 can communicate with a terminal located near the own vehicle using P2P (Peer To Peer) technology.
  • Terminals that exist near your vehicle include, for example, terminals worn by moving objects that move at relatively low speeds such as pedestrians and bicycles, terminals that are installed at fixed locations in stores, or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, and vehicle-to-home communication. , and communications between one's own vehicle and others, such as vehicle-to-pedestrian communications with terminals, etc. carried by pedestrians.
  • the communication unit 22 can receive, for example, a program for updating software that controls the operation of the vehicle control system 11 from the outside (over the air).
  • the communication unit 22 can further receive map information, traffic information, information about the surroundings of the vehicle 1, etc. from the outside. Further, for example, the communication unit 22 can transmit information regarding the vehicle 1, information around the vehicle 1, etc. to the outside.
  • the information regarding the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like. Further, for example, the communication unit 22 performs communication compatible with a vehicle emergency notification system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, or WUSB (Wireless USB) that allows digital two-way communication at a communication speed higher than a predetermined communication speed. Can be done.
  • the communication unit 22 is not limited to this, and can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle through wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication, such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). It is possible to communicate with each device in the car using a communication method that allows for communication.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the in-vehicle equipment refers to, for example, equipment that is not connected to the communication network 41 inside the car.
  • in-vehicle devices include mobile devices and wearable devices carried by passengers such as drivers, information devices brought into the vehicle and temporarily installed, and the like.
  • the map information storage unit 23 stores one or both of a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores three-dimensional high-precision maps, global maps that are less accurate than high-precision maps, and cover a wide area, and the like.
  • Examples of high-precision maps include dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map that is compatible with ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lanes and signal positions with a point cloud map.
  • the point cloud map and vector map may be provided, for example, from an external server, or may be used as a map for matching with the local map described later based on sensing results from the camera 51, radar 52, LiDAR 53, etc. It may be created in the vehicle 1 and stored in the map information storage section 23. Furthermore, when a high-definition map is provided from an external server, etc., in order to reduce communication capacity, map data of, for example, several hundred meters square regarding the planned route that the vehicle 1 will travel from now on is obtained from the external server, etc. .
  • the position information acquisition unit 24 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite and acquires the position information of the vehicle 1.
  • the acquired position information is supplied to the driving support/automatic driving control section 29.
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using a beacon, for example.
  • the external recognition sensor 25 includes various sensors used to recognize the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the configuration is not limited to this, and the external recognition sensor 25 may include one or more types of sensors among the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as it can be realistically installed in vehicle 1.
  • the types of sensors included in the external recognition sensor 25 are not limited to this example, and the external recognition sensor 25 may include other types of sensors. Examples of sensing areas of each sensor included in the external recognition sensor 25 will be described later.
  • the iToF ranging sensor 110 described above can be used as the camera 51.
  • the central processing unit may be realized by the vehicle control ECU 21.
  • the photographing method of the camera 51 is not particularly limited.
  • cameras with various shooting methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera that can perform distance measurement can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and the camera 51 may simply be used to acquire photographed images, regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment for the vehicle 1.
  • the environmental sensor is a sensor for detecting the environment such as weather, meteorology, brightness, etc., and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, and an illuminance sensor.
  • the external recognition sensor 25 includes a microphone used to detect sounds around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the in-vehicle sensor 26 can include one or more types of sensors among a camera, radar, seating sensor, steering wheel sensor, microphone, and biological sensor.
  • the camera included in the in-vehicle sensor 26 it is possible to use cameras of various photographing methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera.
  • the present invention is not limited to this, and the camera included in the in-vehicle sensor 26 may simply be used to acquire photographed images, regardless of distance measurement.
  • a biosensor included in the in-vehicle sensor 26 is provided, for example, on a seat, a steering wheel, or the like, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as they can be realistically installed in the vehicle 1.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects tire slip rate, and a wheel speed sensor that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery power and temperature, and an impact sensor that detects an external impact.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium includes a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, Also, a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each part of the vehicle control system 11.
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information on the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1.
  • the driving support/automatic driving control section 29 includes an analysis section 61, an action planning section 62, and an operation control section 63.
  • the analysis unit 61 performs analysis processing of the vehicle 1 and the surrounding situation.
  • the analysis section 61 includes a self-position estimation section 71, a sensor fusion section 72, and a recognition section 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimating unit 71 estimates the self-position of the vehicle 1 by generating a local map based on sensor data from the external recognition sensor 25 and matching the local map with a high-precision map. The position of the vehicle 1 is, for example, based on the center of the rear wheels versus the axle.
  • the local map is, for example, a three-dimensional high-precision map created using technology such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the above-mentioned point cloud map.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (grids) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated by, for example, the presence or absence of the object or the probability of its existence.
  • the local map is also used, for example, in the detection process and recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs sensor fusion processing to obtain new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .
  • Methods for combining different types of sensor data include integration, fusion, and federation.
  • the recognition unit 73 executes a detection process for detecting the external situation of the vehicle 1 and a recognition process for recognizing the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, etc. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing attributes such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not necessarily clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by performing clustering to classify point clouds based on sensor data from the radar 52, LiDAR 53, etc. into point clouds. As a result, the presence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of a group of points classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on the image data supplied from the camera 51. Further, the recognition unit 73 may recognize the types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 uses the map stored in the map information storage unit 23, the self-position estimation result by the self-position estimating unit 71, and the recognition result of objects around the vehicle 1 by the recognition unit 73 to Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the position and status of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 includes weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • global path planning is a process of planning a rough route from the start to the goal.
  • This route planning is called trajectory planning, and involves generating a trajectory (local path planning) that allows the vehicle to proceed safely and smoothly in the vicinity of the vehicle 1, taking into account the motion characteristics of the vehicle 1 on the planned route. It also includes the processing to be performed.
  • Route following is a process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can calculate the target speed and target angular velocity of the vehicle 1, for example, based on the results of this route following process.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 follows the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed to move forward.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, self-vehicle collision warning, and lane departure warning for self-vehicle.
  • the operation control unit 63 performs cooperative control for the purpose of automatic driving, etc., in which the vehicle autonomously travels without depending on the driver's operation.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc. based on sensor data from the in-vehicle sensor 26, input data input to the HMI 31, which will be described later, and the like.
  • the driver's condition to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, line of sight direction, drunkenness level, driving operation, posture, etc.
  • the DMS 30 may perform the authentication process of a passenger other than the driver and the recognition process of the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on sensor data from the in-vehicle sensor 26.
  • the conditions inside the vehicle that are subject to recognition include, for example, temperature, humidity, brightness, and odor.
  • the HMI 31 inputs various data and instructions, and presents various data to the driver and the like.
  • the HMI 31 includes an input device for a person to input data.
  • the HMI 31 generates input signals based on data, instructions, etc. input by an input device, and supplies them to each part of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the present invention is not limited to this, and the HMI 31 may further include an input device capable of inputting information by a method other than manual operation using voice, gesture, or the like.
  • the HMI 31 may use, as an input device, an externally connected device such as a remote control device using infrared rays or radio waves, or a mobile device or wearable device that supports operation of the vehicle control system 11.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or the outside of the vehicle. Furthermore, the HMI 31 performs output control to control the output, output content, output timing, output method, etc. of each generated information.
  • the HMI 31 generates and outputs, as visual information, information shown by images and lights, such as an operation screen, a status display of the vehicle 1, a warning display, and a monitor image showing the surrounding situation of the vehicle 1, for example.
  • the HMI 31 generates and outputs, as auditory information, information indicated by sounds such as audio guidance, warning sounds, and warning messages.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by, for example, force, vibration, movement, or the like.
  • an output device for the HMI 31 to output visual information for example, a display device that presents visual information by displaying an image or a projector device that presents visual information by projecting an image can be applied.
  • display devices that display visual information within the passenger's field of vision include, for example, a head-up display, a transparent display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device included in a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. provided in the vehicle 1 as an output device that outputs visual information.
  • an output device through which the HMI 31 outputs auditory information for example, an audio speaker, headphones, or earphones can be used.
  • a haptics element using haptics technology can be applied as an output device from which the HMI 31 outputs tactile information.
  • the haptic element is provided in a portion of the vehicle 1 that comes into contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 , and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, an accelerator pedal, a drive force generation device such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an air bag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights on the vehicle 1. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the lights, an actuator that drives the lights, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 24 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 23. Note that FIG. 24 schematically shows the vehicle 1 viewed from above, with the left end side being the front end (front) side of the vehicle 1, and the right end side being the rear end (rear) side of the vehicle 1.
  • the sensing region 101F and the sensing region 101B are examples of sensing regions of the ultrasonic sensor 54.
  • the sensing region 101F covers the area around the front end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing region 101B covers the area around the rear end of the vehicle 1 by a plurality of ultrasonic sensors 54.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance for the vehicle 1.
  • the sensing regions 102F and 102B are examples of sensing regions of the short-range or medium-range radar 52.
  • the sensing area 102F covers a position farther forward than the sensing area 101F in front of the vehicle 1.
  • Sensing area 102B covers the rear of vehicle 1 to a position farther than sensing area 101B.
  • the sensing region 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side of the vehicle 1.
  • the sensing results in the sensing region 102F are used, for example, to detect vehicles, pedestrians, etc. that are present in front of the vehicle 1.
  • the sensing results in the sensing region 102B are used, for example, for a rear collision prevention function of the vehicle 1.
  • the sensing results in the sensing region 102L and the sensing region 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B are examples of sensing areas by the camera 51.
  • the sensing area 103F covers a position farther forward than the sensing area 102F in front of the vehicle 1.
  • Sensing area 103B covers the rear of vehicle 1 to a position farther than sensing area 102B.
  • the sensing region 103L covers the periphery of the left side of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side of the vehicle 1.
  • the sensing results in the sensing region 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • the sensing results in the sensing region 103B can be used, for example, for parking assistance and surround view systems.
  • the sensing results in the sensing region 103L and the sensing region 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR 53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing region 104 has a narrower range in the left-right direction than the sensing region 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • the sensing area 105 is an example of the sensing area of the long-distance radar 52. Sensing area 105 covers a position farther forward than sensing area 104 in front of vehicle 1 . On the other hand, the sensing region 105 has a narrower range in the left-right direction than the sensing region 104.
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, and the like.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance collision avoidance
  • the sensing areas of the cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. 24.
  • the ultrasonic sensor 54 may also sense the side of the vehicle 1, or the LiDAR 53 may sense the rear of the vehicle 1.
  • the installation position of each sensor is not limited to each example mentioned above. Further, the number of each sensor may be one or more than one.
  • “same”, “equal”, “orthogonal”, etc. are concepts that include “substantially the same,” “substantially equal,” “substantially orthogonal,” and the like. For example, states included in a predetermined range (for example, a range of ⁇ 10%) based on “completely the same,” “completely equal,” “completely orthogonal,” etc. are also included.
  • An irradiation unit that irradiates irradiation light; a light receiving section in which a plurality of pixels are arranged, each of which has a photoelectric conversion section that receives reflected light of the irradiation light and generates a charge, and four taps that read out the charge generated by the photoelectric conversion section; and a control driver capable of operating each of the four taps in order to suppress interference in distance measurement that occurs when the photoelectric conversion unit receives light different from the reflected light.
  • Distance sensor is an irradiation unit that irradiates irradiation light; a light receiving section in which a plurality of pixels are arranged, each of which has a photoelectric conversion section that receives reflected light of the irradiation light and generates a charge, and four taps that read out the charge generated by the photoelectric conversion section; and a control driver capable of operating each of the four taps in order to suppress interference in distance measurement that occurs when the photoelectric conversion unit receives light different from the reflected light
  • the optical ranging sensor according to (1) The control driver obtains a determination result by a control unit that determines mutually different distance measurement modes, and operates the four taps according to the distance measurement mode indicated by the determination result.
  • the optical ranging sensor according to (2) The control unit acquires output data of the light receiving unit, performs processing on the output data according to the distance measurement mode, and calculates distance measurement data for each of the plurality of pixels.
  • Optical distance measurement sensor Optical distance measurement sensor .
  • the optical distance measuring sensor includes a 4-tap interference suppression mode in which two of the four taps are operated to suppress interference in the ranging.
  • the optical ranging sensor. (6) The optical distance measuring sensor according to (5), The irradiation unit repeatedly emits pulsed light as the irradiation light, In the 4-tap interference suppression mode, a plurality of measurement periods in which the phases of operation of the taps are different are set, and the pulsed light is turned on during a part of the measurement period to operate two taps for distance measurement. , an optical distance measuring sensor in which the pulsed light is turned off during another part of the measurement period and two taps for interference suppression are operated.
  • the optical distance measuring sensor according to (5), The irradiation unit repeatedly emits pulsed light as the irradiation light, The 4-tap interference suppression mode sets, for each pulsed light, a light reception period for receiving the reflected light of the pulsed light and a reference period until the next pulsed light is emitted after the light reception period.
  • An optical ranging sensor wherein two taps for distance measurement are operated during the light reception period, and two taps for interference suppression are operated during the reference period.
  • the optical ranging sensor includes the 4-tap distance measurement mode and the 2-tap distance measurement mode that uses two of the four taps.
  • the optical distance measuring sensor (9) The optical distance measuring sensor according to (8), The irradiation unit repeatedly emits pulsed light as the irradiation light,
  • the 2-tap ranging mode includes at least one of a normal mode in which no processing for suppressing interference in ranging is executed, a mode in which a period in which the pulsed light is turned off is set, and a mode in which the pulsed light is modulated. Including one optical ranging sensor.
  • the optical distance measuring sensor (10) The optical distance measuring sensor according to (8), The 4-tap ranging mode includes a mode in which a light reception period for receiving the reflected light of the pulsed light is set longer than the normal mode, and the four taps are operated during the light reception period. distance sensor.
  • the optical ranging sensor according to any one of (2) to (10), The control unit acquires mode determination information for determining the distance measurement mode.
  • the optical distance measurement sensor. (12) The optical ranging sensor according to (11), The mode determination information includes the presence or absence of an interference light source that emits the other light, The control unit selects the ranging mode that suppresses interference in the ranging when the interference light source is present.
  • the optical ranging sensor. (13) The optical distance measuring sensor according to (11) or (12), The mode determination information includes at least one of a moving speed of the optical distance measurement sensor and a measurement angle of the optical distance measurement sensor.
  • the optical ranging sensor according to any one of (1) to (13), Optical distance measurement sensor configured as a ToF distance measurement sensor.
  • the optical ranging sensor according to any one of (1) to (14), The irradiation unit repeatedly emits pulsed light as the irradiation light, The control driver sets four types of phases for the pulsed light, and operates the four taps at timings corresponding to the four types of phases.
  • the optical distance measuring sensor (16) The optical ranging sensor according to any one of (1) to (15), Optical ranging sensor installed on self-propelled robots.
  • an irradiation section that irradiates the irradiation light
  • a light receiving section in which a plurality of pixels are arranged, each of which has a photoelectric conversion section that receives reflected light of the irradiation light and generates a charge, and four taps that read out the charge generated by the photoelectric conversion section; and a control driver capable of operating each of the four taps in order to suppress interference in distance measurement that occurs when the photoelectric conversion unit receives light different from the reflected light.
  • An optical ranging system comprising: a control unit that determines mutually different ranging modes as ranging modes of the optical ranging sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本技術の一形態に係る光学式測距システムは、照射部と、受光部と、制御ドライバとを具備する。前記照射部は、照射光を照射する。前記受光部には、各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置される。前記制御ドライバは、前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能である。

Description

光学式測距センサ、及び光学式測距システム
　本技術は、光学式の測距を行う光学式測距センサ、及び光学式測距システムに関する。
　従来、ＴｏＦ（Time of Flight）センサのような光学式の測距センサが知られている。光学式の測距センサでは、照射光の反射光を検出することで測距を行うが、他の光を検出することで干渉が発生する可能性がある。例えば特許文献１には、照射光をＯＦＦにして干渉光を検出し、その検出結果を使って干渉の影響を除去する方法が記載されている。また特許文献２には、照射光を変調させて他の光との干渉を抑制する方法が記載されている。
国際公開第２０１７／０１３８５７号 国際公開第２０１７／０６１１０４号
　上記したように照射光をＯＦＦにする場合、干渉光の露光時間が追加されるとともに反射光の露光時間が相対的に短くなり、動作速度や感度が低くなる可能性がある。また照射光を変調する方法では、他の光と干渉する可能性が残り確実性に乏しい。このため、応答性や測距精度を維持しつつ干渉耐性に優れた光学式測距を実現する技術が求められている。
　以上のような事情に鑑み、本技術の目的は、応答性や測距精度を維持しつつ干渉耐性に優れた光学式測距を実現する光学式測距センサ、及び光学式測距システムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る光学式測距システムは、照射部と、受光部と、制御ドライバとを具備する。
　前記照射部は、照射光を照射する。
　前記受光部には、各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置される。
　前記制御ドライバは、前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能である。
　この光学式測距センサでは、受光部を構成する画素ごとに４つのタップが設けられる。そして各タップが他の光による測距の干渉を除去することが可能なように制御される。この結果、応答性や測距精度を維持しつつ干渉耐性に優れた光学式測距を実現することが可能となる。
　前記制御ドライバは、互いに異なる測距モードを判定する制御部による判定結果を取得し、当該判定結果が示す前記測距モードに応じて前記４つのタップを動作させてもよい。
　前記制御部は、前記受光部の出力データを取得し、前記出力データに対して前記測距モードに応じた処理を実行して前記複数の画素ごとに測距データを算出してもよい。
　前記測距モードは、前記４つのタップを全て使用する４タップ方式の測距モードを含んでもよい。
　前記４タップ方式の測距モードは、前記４つのタップのうち２つのタップを前記測距の干渉を抑制するために動作させる４タップ方式の干渉抑制モードを含んでもよい。
　前記照射部は、前記照射光としてパルス光を繰り返し出射してもよい。この場合、前記４タップ方式の干渉抑制モードは、前記タップの動作の位相が異なる複数の測定期間を設定し、前記測定期間の一部で前記パルス光をＯＮにして測距用の２つのタップを動作させ、前記測定期間の他の一部で前記パルス光をＯＦＦにして干渉抑制用の２つのタップを動作させてもよい。
　前記照射部は、前記照射光としてパルス光を繰り返し出射してもよい。この場合、前記４タップ方式の干渉抑制モードは、前記パルス光ごとに当該パルス光の反射光を受光するための受光期間と前記受光期間の後で次のパルス光が出射されるまでの参照期間とを設定し、前記受光期間に測距用の２つのタップを動作させ、前記参照期間に干渉抑制用の２つのタップを動作させてもよい。
　前記測距モードは、前記４タップ方式の測距モードと、前記４つのタップのうち２つのタップを使用する２タップ方式の測距モードとを含んでもよい。
　前記照射部は、前記照射光としてパルス光を繰り返し出射してもよい。この場合、前記２タップ方式の測距モードは、前記測距の干渉を抑制するための処理を実行しないノーマルモード、前記パルス光をＯＦＦにする期間を設定するモード、前記パルス光を変調するモードの少なくとも１つを含んでもよい。
　前記４タップ方式の測距モードは、前記パルス光の反射光を受光するための受光期間を前記ノーマルモードよりも長く設定し、前記受光期間に前記４つのタップを動作させるモードを含んでもよい。
　前記制御部は、前記測距モードを判定するためのモード判定情報を取得してもよい。
　前記モード判定情報は、前記他の光を出射する干渉光源の有無を含んでもよい。この場合、前記制御部は、前記干渉光源がある場合、前記測距の干渉を抑制する前記測距モードを選択してもよい。
　前記モード判定情報は、前記光学式測距センサの移動速度、又は、前記光学式測距センサの測定角度の少なくとも一方を含んでもよい。
　前記光学式測距センサは、ＴｏＦ方式の測距センサとして構成されてもよい。
　前記照射部は、前記照射光としてパルス光を繰り返し出射してもよい。この場合、前記制御ドライバは、前記パルス光に対する４種類の位相を設定し、前記４種類の位相に応じたタイミングで前記４つのタップをそれぞれ動作させてもよい。
　前記光学式測距センサは、自走式のロボットに搭載されてもよい。
　本技術の一形態に係る光学式測距システムは、光学式測距センサと、制御部とを具備する。
　前記光学式測距センサは、前記照射部と、前記受光部と、前記制御ドライバとを有する。
　前記制御部は、前記光学式測距センサの測距モードとして互いに異なる測距モードを判定する。
本技術の一実施形態に係る光学式測距システムの構成例を示すブロック図である。 ｉＴｏＦ測距センサを搭載した自走式ロボットの構成例を示す模式図である。 ｉＴｏＦ測距センサ１１０の構成例を示す模式図である。 ｉＴｏＦ測距センサ１１０の受光部１１２の構成例を示す模式図である。 ｉＴｏＦ方式の基本動作について説明するための模式図である。 ４種類の位相を用いた測距方法について説明するための模式図である。 光学式測距システムで用いられる複数の測距モードを示す表である。 測距モードの判定処理の一例を示すフローチャートである。 移動シーンの一例を示す模式図である。 ノーマルモード及びモードＡにおける１フレームあたりのタイミングチャートである。 ノーマルモード及びモードＡにおける信号処理の一例を示す模式図である。 ノーマルモード及びモードＡにおける信号処理の一例を示す模式図である。 モードＢにおける１フレームあたりのタイミングチャートである。 モードＢにおける信号処理の一例を示す模式図である。 モードＣにおける１フレームあたりのタイミングチャートである。 モードＣにおける信号処理の一例を示す模式図である。 モードＣにおける信号処理の一例を示す模式図である。 モードＤ－１における１フレームあたりのタイミングチャートである。 モードＤ－１における信号処理の一例を示す模式図である。 モードＤ－２における１フレームあたりのタイミングチャートである。 モードＤ－２における信号処理の一例を示す模式図である。 モード判定情報の他の一例について説明するための模式図である。 車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［光学式測距システムの構成］
　図１は、本技術の一実施形態に係る光学式測距システムの構成例を示すブロック図である。図２は、ｉＴｏＦ測距センサを搭載した自走式ロボットの構成例を示す模式図である。
　光学式測距システム１００は、ｉＴｏＦ測距センサ１１０を用いて、対象物までの距離を測定するシステムである。
　ｉＴｏＦ測距センサ１１０は、デプスカメラとして機能し、ＸＹ方向の画像取得のみならず、Ｚ方向の情報を取得するセンサであり、３次元空間のセンシング（奥行きや立体形状のセンシング）が可能である。例えば、３次元のセンシングにより、自律移動や衝突回避といった相対距離をリアルタイムに利用するアプリケーションへの展開が見込まれている。
　図２に示すように、本実施形態では、ｉＴｏＦ測距センサ１１０が自走式のロボット１０１に搭載される。ロボット１０１は、例えば自立移動が可能な移動体であり、個別配送や工場内の輸送等に利用される。図２では、ロボット１０１に搭載されたｉＴｏＦ測距センサ１１０が点線で模式的に図示されている。なおロボット１０１（光学式測距システム１００）に搭載されるｉＴｏＦ測距センサ１１０の数や位置は限定されず、例えばロボット１０１の特性や用途に合わせて必要な数のｉＴｏＦ測距センサ１１０が適宜設けられてよい。
　また本技術は、自走式のロボット１０１に限定されず、車両、ドローン、航空機、船舶等の任意の移動体に適用可能である。
　図１に示すように、光学式測距システム１００は、ｉＴｏＦ測距センサ１１０と、他のセンサ群１３０と、中央処理装置１４０とを備える。
　他のセンサ群１３０は、速度センサ１３１、照度センサ１３２、ＧＰＳセンサ１３３、及びＲＧＢカメラ１３４を含む。これらのセンサ群１３０は、ｉＴｏＦ測距センサ１１０とともにロボット１０１に搭載される。
　速度センサ１３１は、ロボット１０１の移動速度を検出するセンサである。速度センサ１３１としては、ＩＭＵ（慣性測定ユニット）、車輪エンコーダ、ＬｉＤＡＲセンサ等が用いられる。
　照度センサ１３２は、ロボット１０１の周辺環境の照度（明るさ）を検出するセンサである。照度センサ１３２としては、フォトダイオード等の光検出素子が用いられる。
　ＧＰＳセンサ１３３は、ＧＰＳ衛星から送信された信号に基づいてロボット１０１の現在位置を測位するセンサである。また光学式測距システムでは、時刻配信サーバ１３５から標準時刻を示す信号が読み込まれ、現在位置を測位等に用いられる。
　ＲＧＢカメラ１３４は、ロボット１０１の周辺環境のカラー画像を撮影する。ＲＧＢカメラ１３４としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを備えたデジタルカメラが用いられる。ＲＧＢカメラ１３４により撮影された画像は、後述する干渉光源を検出するためのデータとして用いられる。
　ｉＴｏＦ測距センサ１１０は、照射部１１１と、受光部１１２と、制御ドライバ１１３とを有する。ｉＴｏＦ測距センサ１１０は、ＴｏＦ(Time of Flight)方式のうち、ｉＴｏＦ方式での測距を行うセンサであり、ｉＴｏＦ測距モジュールであるともいえる。
　ＴｏＦ方式のデプスカメラでは、例えばレーザやＬＥＤといった照射光Ｔｘを対象物に照射し、その反射光Ｒｘをセンサで検出するまでの時間差を利用して対象物までの距離を測定している。ＴｏＦ方式は、ｄＴｏＦ(direct ＴｏＦ)方式と、ｉＴｏＦ（indirect ＴｏＦ）方式との２種類の方式に大別される。ｄＴｏＦ方式は、照射光Ｔｘを照射してから反射光Ｒｘを検知するまでの時間差を直接計測する方式である。またｉＴｏＦ方式は、反射光Ｒｘに応じた電荷を蓄積して、照射光Ｔｘと反射光Ｒとの位相差を検出することで距離を測定する方式である。ｉＴｏＦ測距センサ１１０は、ｉＴｏＦ方式での測距が可能となるように動作する。
　図３は、ｉＴｏＦ測距センサ１１０の構成例を示す模式図である。図３には、ｉＴｏＦ測距センサ１１０を正面から見た平面図が模式的に図示されている。
　照射部１１１は、照射光Ｔｘを照射する。照射部１１１としては、例えば照射光Ｔｘを発光する半導体レーザが用いられる。なお、ＬＥＤ等の他の発光素子が照射部１１１として用いられてもよい。照射部１１１は、ｉＴｏＦ測距センサ１１０の発光部（ｉＴｏＦ発光部）として機能する。
　照射部１１１は、照射光Ｔｘとしてパルス光を繰り返し出射する。すなわち、照射光Ｔｘは、所定の周期で出射される、所定のパルス幅を持ったパルス光である。照射光Ｔｘを出射するパルス周期Ｔ（パルス周波数ｆ＝１／Ｔ）や、照射光Ｔｘのパルス幅は、制御ドライバ１１３により制御される。
　また照射光Ｔｘは、典型的には赤外光であるがこれに限定されず任意の波長の光が照射光Ｔｘとして用いられてよい。
　図３に示すように、ｉＴｏＦ測距センサ１１０では、筐体の内部に配置された受光部１１２（図中の点線の領域）の前面を覆うようにレンズ部１１４が設けられ、レンズ部１１４を囲むように４つの照射部１１１が設けられる。各照射部１１１からは、センサの測定範囲に広がるように照射光Ｔｘが照射される。
　図４は、ｉＴｏＦ測距センサ１１０の受光部１１２の構成例を示す模式図である。図４Ａは、受光部１１２の全体の平面構成例を示す模式図である。図４Ｂは、受光部１１２を構成する画素１１５の平面構成例を示す模式図であり、図４Ｃは、図４Ｂに示すＡＡ線で切断した受光部１１２の断面構成例を示す模式図である。
　受光部１１２は、照射光Ｔｘの反射光Ｒｘを受光する。受光部１１２としては、例えば反射光Ｒｘを受光可能なＣＭＯＳイメージセンサが用いられる。なお、ＣＣＤ等の他のイメージセンサが受光部１１２として用いられてもよい。受光部１１２は、ｉＴｏＦ測距センサ１１０の受光部（ｉＴｏＦ受光部）として機能する。
　図４Ａに示すように、受光部１１２は、受光面１１７と、複数の画素１１５とを有する。受光面１１７は、照射光Ｔｘの反射光Ｒｘを受光する面である。受光面１１７には、複数の画素１１５が格子状に配置される。従って受光部１１２は、複数の画素１１５が配置された構成となっている。受光面１１７は、例えばレンズ部１１４の焦点位置に配置される。従って、受光面１１７には、レンズ部１１４を介してｉＴｏＦ測距センサ１１０の測定範囲の像が結像される。
　複数の画素１１５は、照射光Ｔｘの反射光Ｒｘを受光することが可能なように半導体基板を用いて構成される。図４Ｂに示すように、各画素１１５は、光電変換部１１８と、４つのタップ１１９とを有する。
　光電変換部１１８は、照射光Ｔｘの反射光Ｒｘを受光して電荷を生成する。光電変換部１１８により生成された電荷ｑは、以下で説明するタップ１１９が動作することで、図示を省略した電荷蓄積部に出力される。
　４つのタップ１１９は、光電変換部１１８により生成された電荷ｑを読み出す。本開示において、タップ１１９とは、半導体基板の内部で光励起された電荷ｑを読み出す読み出し口を意味する。例えば光励起された電荷ｑを電荷蓄積部に読み出すための読み出しゲートを用いてタップ１１９が構成される。すなわち、タップ１１９は、光電変換部１１８から電荷蓄積部への電荷ｑの読み出しを制御するゲートとして機能する。
　図４Ｂには、光電変換部１１８を囲むように四方に配置された４つのタップ１１９が模式的に図示されている。なお、タップ１１９を構成するゲートの具体的なデザイン等は限定されない。
　例えば、図４Ｃに示すように、光電変換部１１８に入射した光２（例えば反射光Ｒｘ）は、光電変換の作用により電荷ｑに変換される。光電変換部１１８により生成された電荷ｑは、タップ１１９を動作させる（ゲートを開く）ことで、そのタップ１１９を介して読み出される。
　４つのタップ１１９は、制御ドライバ１１３から出力される制御信号に基づいて、個別にゲートの開閉動作を行うことが可能である。また４つのタップ１１９から読みだされた電荷ｑは、別々に蓄積される。
　受光部１１２は、複数の画素１１５において読み出された電荷ｑの読み出しデータを、各画素１１５における深度情報として中央処理装置１４０に出力する。
　ここで、電荷ｑの読み出しデータは、例えば４つのタップ１１９ごとに読み出された電荷ｑを蓄積した値であり、タップ１１９ごとの読み出しデータが出力される。
　また深度情報は、各画素１１５における深度（デプス値）を算出することが可能な情報である。以下では、中央処理装置１４０によりデプス値を算出する構成について説明するが、例えば受光部１１２（イメージセンサ）がデプス値を算出可能なように構成されてもよい。
　本実施形態では電荷ｑの読み出しデータは、受光部の出力データに相当する。
　図１に戻り、制御ドライバ１１３は、照射部１１１及び受光部１１２を駆動して各部の動作を制御する。具体的には、制御ドライバ１１３は、中央処理装置１４０から出力される測距モードの指示に従って、照射部１１１及び受光部１１２を動作させるための制御信号を生成し、対応する制御信号を照射部１１１及び受光部１１２に出力する。
　ｉＴｏＦ方式の測距センサで使用されるパルス光（照射光Ｔｘ）のパルス周期は、例えば１μsecよりも十分に小さい。このため、各照射光ＴｘのＯＮ・ＯＦＦの制御やタップ１１９の動作の制御を適正なタイミングで行うためには、照射部１１１と受光部１１２とを高精度にかつ高速に同期して制御することが重要である。
　制御ドライバ１１３は、このような同期制御が可能なように照射部１１１及び受光部１１２に対して制御信号を出力する。例えば照射部１１１には、照射光Ｔｘ（発光パルス）のパルス周期やパルス幅等を支持する制御信号が出力される。また例えば受光部１１２には、例えば使用するタップ１１９（有効タップ）、タップ１１９の動作に使用する位相の数（ｐｈａｓｅ数）、露光時間、測定周波数等を支持する制御信号が出力される。
　制御ドライバ１１３は、光電変換部１１８が反射光Ｒｘとは異なる他の光を受光することで発生する測距の干渉を抑制するために４つのタップ１１９をそれぞれ動作させることが可能なように構成される。
　例えば、受光部１１２に入射する光に他の測距センサが照射した光等が混ざることで、測距を適正に行うことが難しくなる場合がある。このような干渉を抑制する方法として、照射光Ｔｘの照射パターンや、各タップ１１９による電荷の読み出しを制御する方法が挙げられる。
　制御ドライバ１１３は、このような干渉を抑制するように４つのタップ１１９を動作させることが可能である。具体的な測距方法については、後に詳しく説明する。
　以下で説明するように、本実施形態では、中央処理装置１４０により、互いに異なる測距モードが判定される。制御ドライバ１１３は、中央処理装置１４０による測距モードの判定結果を取得し、当該判定結果が示す測距モードに応じて４つのタップ１１９を動作させる。
　例えば測距モードとして、上記した干渉を抑制する測距モードが判定された場合、制御ドライバ１１３は、干渉を抑制するように各タップ１１９を動作させる。また、測距モードとして、干渉を抑制しないようなモードが判定された場合にも、制御ドライバ１１３は判定された測距モードに応じて各タップ１１９を動作させることが可能である。
　中央処理装置１４０は、ｉＴｏＦ測距センサ１１０及び各センサ群１３０を含む光学式測距システム１００の全体の動作を制御する。中央処理装置１４０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵがＲＯＭに記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。
　本実施形態では、中央処理装置１４０は、制御部に相当する。
　中央処理装置１４０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサが中央処理装置１４０として用いられてもよい。
　また中央処理装置１４０は、典型的にはロボット１０１の内部に搭載されるが、例えばネットワーク上のサーバ装置（クラウドサービスを提供するクラウドサーバ等）として構成されてもよい。この場合、サーバ装置（中央処理装置１４０）はｉＴｏＦ測距センサ１１０の制御ドライバ１１３と通信可能なように構成される。また受光部１１２（ＣＭＯＳイメージセンサ）に中央処理装置１４０を内蔵した形態であってもよい。
　本実施形態では、中央処理装置１４０は、ｉＴｏＦ測距センサ１１０による測距モードを判定する測距モード判定処理を実行する。また中央処理装置１４０は、ｉＴｏＦ測距センサ１１０の受光部１１２から出力された出力データ（タップ１１９ごとの電荷ｑの読み出しデータ）から、測距データを算出する測距データ算出処理を実行する。
　測距モード判定処理では、中央処理装置１４０は、互いに異なる測距モードを判定する。各測距モードでは、照射光Ｔｘのパルス周期や各タップ１１９の動作の位相等（動作パラメータ）がそれぞれ異なっている。測距モードは、ｉＴｏＦ測距センサ１１０の動作モードであるともいえる。中央処理装置１４０による判定結果の情報は、測距モードを指示する信号として制御ドライバ１１３に出力される。
　測距モードを指示する信号は、例えば、照射部１１１及び受光部１１２の動作パラメータを指示する信号である。この場合、各測距モードに応じた動作パラメータの指示値が制御ドライバ１１３に出力され、その指示値に応じて制御ドライバ１１３により照射部１１１及び受光部１１２に対する制御信号が生成される。
　また測距モードに対応する動作パラメータの指示値が予め制御ドライバ１１３に格納されてもよい。この場合、測距モードを指示する信号は、例えば測距モードそのものを表す信号であり、制御ドライバ１１３は取得した測距モードに対応する指示値を読み込んで照射部１１１及び受光部１１２に対する制御信号を生成する。
　この他、測距モードに応じて制御ドライバ１１３を動作させる方法は限定されない。
　具体的には、中央処理装置１４０は、測距モードを判定するためのモード判定情報を取得し、モード判定情報に基づいて複数の測距モードの中から、ｉＴｏＦ測距センサ１１０（制御ドライバ１１３）に実行させる測距モードを判定する。
　測距モードには、４つのタップ１１９を全て使用する４タップ方式の測距モードが含まれる。また測距モードには、４つのタップ１１９のうち２つのタップ１１９を使用する２タップ方式の測距モードが含まれる。すなわち、本実施形態では、測距モードによっては、４つのタップ１１９の全てを使用するモードと、２つのタップ１１９を使用するモードとが切り替えて用いられる。
　なお、４タップ方式の測距モード、及び２タップ方式の測距モードには、それぞれ、干渉抑制を行うモード（干渉が抑制するための動作を含む測距モード）と、干渉抑制を行わないモード（干渉を抑制するための動作を含まない測距モード）とが含まれる。
　各測距モードについては、図７等を参照して後述する。
　モード判定情報には、測距の干渉を引き起こす他の光を出射する干渉光源の有無が含まれる。これは、例えば干渉光源の有無を表す情報は、実際に干渉光源を検出した検出結果でもよいし、干渉光源が存在する可能性がある場合には推定結果でもよい。干渉光源の有無の情報は、例えばＲＧＢカメラ１３４等から取得される。
　またモード判定情報には、ｉＴｏＦ測距センサ１１０の移動速度が含まれる。ｉＴｏＦ測距センサ１１０の移動速度とは、典型的にはｉＴｏＦ測距センサ１１０が搭載された移動体（ロボット１０１）の移動速度である。移動速度の情報は、例えば速度センサ１３１等を用いて取得される。
　モード判定情報を用いた処理については、図８等を参照して後述する。
　測距データ算出処理では、中央処理装置１４０は、受光部１１２の出力データを取得し、出力データに対して測距モードに応じた処理を実行して複数の画素１１５ごとに測距データを算出する。ここで測距データは、典型的には各画素１１５でのデプス値である。なお、デプス値の誤差や信頼度等が算出されてもよい。
　上記したように、受光部１１２の出力データには、タップ１１９ごとに電荷ｑを読み出したデータが含まれる。このデータを用いてデプス値を算出する方法は、測距モードごとに異なる。従って、中央処理装置１４０では、自身が判定した測距モードに合わせて、測距データ算出処理の内容を変更する。これにより、どの測距モードが選択された場合でも、適正に測距データを算出することが可能である。
　このように、光学式測距システム１００では、ロボット１０１に搭載した各種のセンサ群１３０からの出力データをもとに、中央処理装置１４０によりｉＴｏＦ測距センサ１１０の測距モードを決定し、ｉＴｏＦ測距センサ１１０に指示を出すことで測距モードの自動切換えを実現している。これにより、ロボット１０１の移動シーン等に応じて最適な測距モードで３次元空間のセンシングが可能となり、例えばロボット１０１の動作精度を向上するといったことが可能となる。
　[ｉＴｏＦ方式での基本的な測距方法]
　図５は、ｉＴｏＦ方式の基本動作について説明するための模式図である。
　ここでは、ｉＴｏＦ方式の基本動作として、２つのタップ１１９（Ｔａｐ１及びＴａｐ２）を用いてデプス値ｄを測定する方法について説明する。
　以下では、照射光Ｔｘ（Laser pulse）のパルス幅をＴｐと記載する。Ｔｐはパルスの長さ（照射光ＴｘがＯＮである期間）を表す時間である。また、照射光Ｔｘが出力されてから反射光Ｒｘ（Reflection）が検出されるまでの期間をΔｔと記載する。Δｔは、照射光ＴｘがＯＮになったタイミングから反射光Ｒｘの検出が始まるタイミング（反射光Ｒｘが戻ってきたタイミング）までの時間である。また、照射光Ｔｘを出射する繰り返し周期（パルス周期）をＴと記載する。パルス周期Ｔは、パルス幅Ｔｐの２倍に設定される。
　図１に示すように、Ｔａｐ１がＯＮとなるタイミング（動作タイミング）は、照射光ＴｘがＯＮとなるタイミングと同じであり、Ｔａｐ１がＯＮとなる期間（動作期間）は、パルス幅Ｔｐと同じ期間である。またＴａｐ２の動作タイミングは、照射光Ｔｘ（Ｔａｐ２）がＯＦＦとなるタイミングであり、Ｔａｐ２の動作期間は、パルス幅Ｔｐと同じ期間である。従って、ここではパルス周期Ｔの前半でＴａｐ１が動作し、後半でＴａｐ２が動作する。
　以下では、Ｔａｐ１及びＴａｐ２において、各動作期間に読み出される電荷をＱ１及びＱ２と記載する。
　ここで、パルス周期Ｔ内に帰ってくる反射光Ｒｘを検出する場合を考える。この場合、Ｔａｐ１では動作期間の途中から最後にかけて合計でＱ１の電荷が読み出される。また、Ｔａｐ２では動作期間の最初から途中にかけて合計でＱ２の電荷が読み出される。このうち、Ｔａｐ２においてＱ２が読み出される期間（又はパルス幅ＴｐからＴａｐ１においてＱ１が読み出される期間を引いた期間）は、Δｔに等しい。なお、Ｑ１とＱ２との合計値は、例えば反射光Ｒｘを全て受光した場合に読み出される電荷量と略同等である。
　この場合、Δｔに相当する距離、すなわちデプス値ｄは、Ｑ１とＱ１＋Ｑ２との比を用いて以下のように算出される。
　　　　　　　　　　　　　　　　　　　　　・・・（１）
　（１）式の光速ｃは、光の速度である。
　また（１）式の右辺では光の往復を考えて１／２がかけられている。
　このように、ｉＴｏＦ方式のイメージセンサでは、２つのタップ１１９を用いて、それぞれの読み出しのタイミング（動作タイミング）を相補的に切り替えることで、光の往復時間を計測し、デプス値ｄを算出することが可能である。
　図６は、４種類の位相を用いた測距方法について説明するための模式図である。
　ここでは、タップ１１９の動作タイミングの位相として４種類の位相を設定して電荷を読み出す測距方法（４－ｐｈａｓｅ法）について説明する。
　この方法では、反射光により蓄積された電荷を、4つの位相(０°、９０°、１８０°、２７０°)のタイミングに分けて、順番に読み出す。各位相で、２つのタップ１１９（Ｔａｐ１及びＴａｐ２）の読出しタイミングは、１８０°ずらしたタイミングに設定される。従って１つの位相（１ｐｈａｓｅ）あたり、Ｔａｐ１及びＴａｐ２の２種類の電荷情報が読み出される。
　以下では１度の撮影、すなわち１つのタップ１１９による電荷の読み出しを、１フレーム（ｆｒａｍｅ）として説明を行う。図６では、位相の異なる４つのｆｒａｍｅにおけるタップ１１９の動作が模式的に図示されている。
　ｆｒａｍｅ１、ｆｒａｍｅ２、ｆｒａｍｅ３、及びｆｒａｍｅ４は、それぞれ動作期間が照射光Ｔｘのパルス幅Ｔｐと同様である。またｆｒａｍｅ１、ｆｒａｍｅ２、ｆｒａｍｅ３、及びｆｒａｍｅ４の動作タイミングの位相は、パルス周期Ｔを３６０°として照射光Ｔｘに対して０°、９０°、１８０°及び２７０°に設定される。
　ここで、ｆｒａｍｅ１～ｆｒａｍｅ４で読み出される電荷をＱ１～Ｑ４と記載する。これらの電荷から照射光Ｔｘと反射光Ｒｘとの位相差を算出し、この照射光Ｔｘと反射光Ｒｘとの時間差Δｔに変換することが可能である。この場合、Δｔに相当する距離、すなわちデプス値ｄは、以下のように算出される。
　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ｉＴｏＦ方式のデプスカメラでは、測距の原理上、２種類の位相（２回の撮影）を用いた２－ｐｈａｓｅ法であっても測距可能である。この方法は、全画素のタップ１１９の特性ばらつきを揃える必要があり、量産性の観点から現実的ではない。
　一方で、４－ｐｈａｓｅ法であれば、タップ１１９の特性のばらつきの影響が少ない。このため、実際の測定では、４－ｐｈａｓｅ法を用いた測距方法が用いられることが多い。
　本実施形態では、制御ドライバ１１３により４つのタップ１１９を利用した４－ｐｈａｓｅ法が実行される。すなわち、制御ドライバ１１３は、パルス光（照射光Ｔｘ）に対する４種類の位相を設定し、４種類の位相に応じたタイミングで４つのタップ１１９をそれぞれ動作させる。これにより、素子の特性等に関わらずロバストな測距を実現することが可能となる。
　[ｉＴｏＦの相互干渉]
　ここで、ｉＴｏＦ方式のデプスカメラで生じる相互干渉について説明する。これは、照射光Ｔｘの反射光Ｒｘ以外の光に由来する測距の干渉の中でも影響が大きい。
　上記したように、ｉＴｏＦ方式のデプスカメラにおいては、自身が発する照射光Ｔｘ（レーザパルス）を発信信号とし、被写体からの反射光Ｒｘを受信信号として、反射光Ｒｘを検出し、その検出結果に対して各種の信号処理を行うことで測距を実現している。
　例えば、ｉＴｏＦ方式のデプスカメラを同時に２台以上使用する場面を想定し、それぞれをカメラＡおよびカメラＢと定義する。例えばカメラＡから照射されたＴｘは、被写体に照射され、反射光Ｒｘがレンズで集光されてカメラＡのイメージセンサで検出される。一方、カメラＡのイメージセンサでは、カメラＡのＴｘに由来するＲｘのみを検出することが理想であるが、場合によってはカメラＢのＴｘがカメラＡでＲｘとして検出されてしまい、誤ったデプス値が得られることになる。これがｉＴｏＦの相互干渉と呼ばれる現象である。
　本実施形態では、このようなｉＴｏＦの相互干渉を抑制することが可能な測距モードを含む複数の測距モードが切り替えて実行される。
　以下では、中央処理装置１４０により判定される複数の測距モードについて、各モードの特性について説明する。
　[測距モード]
　図７は、光学式測距システムで用いられる複数の測距モードを示す表である。
　本実施形態ではノーマルモード、モードＡ、モードＢ、モードＣ、モードＤ－１、及びモードＤ－２の６つの測距モードが用いられる。
　これらの６つの測距モードでは、全てのモードにおいて４－ｐｈａｓｅ法を用いている。ここでは、後述するように、４種類の位相をそれぞれ設定した４つのマイクロフレームによる撮影を行うことで、４－ｐｈａｓｅ法を実現している。なおマイクロフレームとは、位相を変えずに複数回の撮影を行うフレームセットである。マイクロフレームを用いることで、各位相に対応する電荷を積分して蓄積量を向上することが可能である。
　ノーマルモードは、２Ｔａｐ－４ｐｈａｓｅ方式の測距モードであり、干渉を抑制するための干渉対策を行わない。
　ノーマルモードの干渉耐性は、干渉対策を行わないため低くなる。なお図７では干渉対策を行わない場合の干渉耐性が最も低いとして「×」で表記している。
　また図７では、ノーマルモードのＦＰＳ、精度、及び測距レンジを基準に、他の測距モードの特性を相対的に評価している。ここでは、ノーマルモードのＦＰＳ、精度、及び測距レンジをいずれも「〇」で表記している。
　なお、ノーマルモードのＦＰＳは、パルス幅Ｔｐやマイクロフレームの積算時間等を適宜設定することで、例えば自動車等のように高速に動く被写体についても十分に測定可能となるように設定される。
　モードＡは、２Ｔａｐ－４ｐｈａｓｅ方式の測距モードであり、干渉対策としてパルス周波数を分散／変調して設定するモードである。これにより、他のデプスセンサで使用されるパルスとは異なるパルスでの測距が可能となり、相互干渉を回避することが可能となる。
　モードＡの干渉耐性は、例えば干渉源のパルス周波数と一致してしまう場合もあるため、ノーマルモードよりは高いものの、後述するモードＢやモードＤよりも低くなる。ここでは、モードＡの干渉耐性を「△」で表記している。
　一方、モードＡのＦＰＳ、精度、及び測距レンジは、ノーマルモードと略同様である。従って、モードＡは、ノーマルモードと比べ、ＦＰＳ、精度、及び測距レンジ等を変化させずに干渉耐性を向上した測距モードであると言える。
　モードＢは、２Ｔａｐ－４ｐｈａｓｅ方式の測距モードであり、干渉対策として照射光ＴｘがＯＦＦとなる期間を設けて、その期間に干渉源から発せられた干渉光の位相を検出するモードである。具体的には、ＴｘがＯＦＦとなるようなマイクロフレームが追加される。このように、モードＢは、２タップ方式の測距モードであり、パルス光をＯＦＦにする期間を設定するモードである。これにより、干渉光により生成される電荷を差し引くといったことが可能となり、相互干渉の影響を十分に抑制することが可能となる。
　モードＢの干渉耐性は、干渉光の特性によらず有効であり、上記したモードＡよりも高くなる。ここでは、モードＢの干渉耐性を「〇」で表記している。
　モードＢの精度、及び測距レンジは、ノーマルモードと略同様である。この場合、モードＢのＦＰＳは、マイクロフレームを増加したことで低下する。ここでは、モードＢのＦＰＳ性を「△」で表記している。なお、マイクロフレームの積算時間を全体的に減らすことで、精度が低下するもののＦＰＳを向上することが可能である。
　モードＣは、４Ｔａｐ－４ｐｈａｓｅ方式の測距モードであり、パルス周期Ｔをノーマルモードの２倍に設定することで測距レンジを拡張したモードである。この場合パルス幅Ｔｐはノーマルモードと同様に設定され、拡張されたパルス周期Ｔを利用して４つのタップ１１９を利用した電荷の読み出しが行われる。なおモードＣでは、干渉対策は行われない。
　モードＣの干渉耐性は、干渉対策を行わないためノーマルモードと同程度に低くなる。
　モードＣのＦＰＳは、ノーマルモードと略同様である。この場合、パルス周期Ｔを拡張したことで積算回数が半減し、受光可能な光量（蓄積可能な電荷量）が１／２となるためＳ／Ｎ比（信号雑音比）が悪化して精度が低下する。ここでは、モードＣの精度を「△」で表記している。なお、モードＣではＦＰＳを下げることで精度を向上することが可能である。
　モードＣの測距レンジは、パルス周期Ｔをノーマルモードの２倍にしたことで、ノーマルモードの２倍となる。すなわち、反射光Ｒｘの撮影を行う期間が２倍に増えることで、測定可能な距離が２倍に増大する。ここでは、モードＣの測距レンジを「◎」で表記している。
　モードＤ－１及びモードＤ－２は、４Ｔａｐ－４ｐｈａｓｅ方式の測距モードであり、干渉対策が行われる。具体的には、４つのタップ１１９のうち、２つのタップ１１９が干渉光によって発生する電荷の読み出しに使用される。このように、モードＤ－１及びモードＤ－２は、４タップ方式の測距モードであり、４つのタップ１１９のうち２つのタップ１１９を測距の干渉を抑制するために動作させる４タップ方式の干渉抑制モードである。以下では、干渉を抑制するために動作する２つのタップ１１９を、干渉抑制用のタップ１１９と記載し、残り２つのタップ１１９を測距用のタップ１１９と記載する場合がある。
　モードＤ－１では、ノーマルモードと同様のパルス幅Ｔｐ及びパルス周期Ｔが設定される。また各マイクロフレームの一部でＴｘがＯＦＦに設定され、その期間に干渉抑制用の２つのタップ１１９による電荷の読み出しが行われる。なお、ＴｘがＯｎの期間には、測距用の２つのタップ１１９による電荷の読み出しが行われる。ＴｘをＯＮにする期間及びＯＦＦにする期間は、典型的にはパルス周期Ｔを半分にするように設定される。
　モードＤ－１の干渉耐性は、例えばモードＢと同程度でありモードＡよりも高い。モードＤ－１のＦＰＳは、ノーマルモードと略同様である。この場合、ＴｘをＯＮにする期間が半減し、受光可能な光量が１／２となるためＳ／Ｎ比が悪化して精度が低下する。モードＤ－１の測距レンジは、ノーマルモードと同様である。
　モードＤ－２では、ノーマルモードと同様のパルス幅Ｔｐで、モードＣと同様のパルス周期Ｔ（ノーマルモードの２倍）が設定される。また照射光Ｔｘが発光されるたびに、パルス周期Ｔの後半では、干渉抑制用の２つのタップ１１９による電荷の読み出しが行われる。なお、パルス周期Ｔの後半では、測距用の２つのタップ１１９による電荷の読み出しが行われる。これは、モードＣでの測定において、パルス周期Ｔの前半で行われる２回の撮影により得られたデータを測距用とし、後半で行われる２回の撮影により得られたデータを干渉除去用として用いるモードであるとも言える。
　モードＤ－２の干渉耐性は、パルスごとに干渉除去用のデータが得られるため、例えばモードＢやモードＤ－１よりも高くなり、十分な干渉耐性を発揮することが可能である。すなわちモードＤ－２は干渉対策に特化したモードであると言える。ここでは、モードＤ－２の干渉耐性を「◎」で表記している。
　モードＤ－２のＦＰＳは、ノーマルモードと略同様である。この場合、モードＣと同様にパルス周期Ｔを拡張したことで積算回数が半減し、受光可能な光量が１／２となるためＳ／Ｎ比が悪化して精度が低下する。なお、この方法では、パルス周期Ｔの後半に反射光Ｒｘがかかると測距が難しくなる。この制約のために、モードＤ－２の測距レンジは、ノーマルモードの１／２となる。
　[測距モードの判定処理]
　図８は、測距モードの判定処理の一例を示すフローチャートである。
　ここでは、中央処理装置１４０により実行される測距モード判定処理について具体的に説明する。この処理は、例えば光学式測距システム１００の動作中に繰り返し実行されるループ処理であり、ループ処理が実行されている間は測距モードが自動的に切り替えられる。
　まず、予め記憶された判定しきい値が読み込まれる（ステップ１０１）。ここでは、後述するしきい値判定（ステップ１０５、１１１、１１４）で用いられる移動速度に関するしきい値が読み込まれる。
　ＲＧＢカメラ１３４を用いた物体検出が実行される（ステップ１０２）。例えばＲＧＢカメラ１３４によりｉＴｏＦ測距センサ１１０の測定範囲を撮影し、撮影された画像に対して物体検出が実行される。なおｉＴｏＦ測距センサ１１０の測定範囲外を撮影した画像が用いられてもよい。
　物体検出には、例えば特徴量検出やパターンマッチング等の画像処理が用いられる。また例えばＡＩ（artificial intelligence）等の機械学習技術を利用した物体検出が用いられてもよい。物体検出では、自動車や他のロボット等の干渉光源を搭載している可能性のある物体が検出される。
　干渉光源が有るか否かが判定される（ステップ１０３）。ここでは、ステップ１０２での物体検出の結果に基づいて、ロボット１０１の周辺の干渉光源が検出される。例えば、自動車や他のロボットが検出された場合は、干渉光源があると判定される。この場合、自動車等に実際に干渉光源が搭載されていなくてもよい。
　また例えば、干渉が発生すると、ｉＴｏＦ測距センサ１１０により測定されるデプス画像にちらつきが生じることがある。このためデプス画像を解析して干渉光源の有無を判定してもよい。なお、干渉対策を行う測距モードで動作している間は、このようなちらつきが検出されにくくなる。このため、例えば一定の周期で干渉対策をＯＦＦにして干渉光源の有無を確認するようにしてもよい。
　干渉光源がないと判定された場合（ステップ１０３のＮｏ）、干渉対策を行わない２つの測距モード（ノーマルモード、及びモードＣ）を判定する処理が開始される。
　まずロボット１０１の移動速度Ｖ１が測定される（ステップ１０４）。ここでは、速度センサ１３１の出力に基づいて、ロボット１０１の現在の移動速度Ｖ１が測定される。次に、移動速度Ｖ１がしきい値以上であるか否かが判定される（ステップ１０５）。
　移動速度Ｖ１がしきい値未満である場合（ステップ１０５のＮｏ）、ロボット１０１は比較的ゆっくりと移動していることになる。この場合、近距離の測距が重要であり、測距精度が重視され、ノーマルモードが判定される（ステップ１０６）。これにより、比較的近い領域を精度よく測定しながらロボット１０１の移動を行うことが可能となる。
　移動速度Ｖ１がしきい値以上である場合（ステップ１０５のＹｅｓ）、ロボット１０１は比較的速く移動していることになる。この場合、遠距離の測距が重要であり、例えば測距精度よりも測距レンジが重視され、測距レンジが広いモードＣが判定される（ステップ１０７）。これにより、広い領域を測定することが可能であり、移動速度Ｖ１が高速である場合でも安全にロボット１０１を移動することが可能となる。
　ステップ１０３に戻り、干渉光源があると判定された場合（ステップ１０３のＹｅｓ）、干渉対策が必要であるとして、干渉対策を行う４つの測距モード（モードＡ、モードＢ、モードＤ－１、及びモードＤ－２）を判定する処理が開始される。すなわち、干渉光源がある場合、測距の干渉を抑制する測距モードが判定される。
　別の観点では、干渉対策が不要である場合には、干渉対策は行わない。これにより、ＦＰＳや測距精度を不必要に低下させることなく、信頼性の高いセンシングを行うことが可能となる。
　干渉対策を行う場合、まず干渉光源が複数有るか否かが判定される（ステップ１０８）。例えば物体検出において自動車や他のロボットの数が算出され、それらの数が干渉光源の数として用いられる。
　干渉光源が１つだけである場合（ステップ１０８のＮｏ）、干渉光の種類は一つであると考えられる。この場合、自身のｉＴｏＦ測距センサ１１０で用いる照射光Ｔｘのパルス周期Ｔ等を変調することで、干渉光の成分を十分に除去することが可能となる。このため、パルス周期Ｔを変調するモードＡが判定される（ステップ１０９）。言い換えれば、干渉光源が１つの場合にはモードＡで対応可能であるため、モードＡが判定される。なお、干渉光源の数が所定のしきい値以下である場合にモードＡを判定するようにしてもよい。
　干渉光源が複数ある場合（ステップ１０８のＹｅｓ）、パルス周期Ｔを変調するだけでは対応しきれない可能性がある。この場合、干渉光の特性に関わらず動作可能なモードＢ、モードＤ－１、及びモードＤ－２を判定する処理が開始される。
　まずロボット１０１の移動速度Ｖ１が測定される（ステップ１１０）。ここでは、ステップ１０４と同様に速度センサ１３１の出力に基づいて、ロボット１０１の現在の移動速度Ｖ１が測定される。次に、移動速度Ｖ１がしきい値以上であるか否かが判定される（ステップ１１１）。ここではステップ１０５の場合のように測距レンジが拡大することは想定していない。このため、移動速度Ｖ１のしきい値は、例えばステップ１０５で用いるしきい値とは別の値に設定されが、ステップ１０５と同じしきい値を用いてもよい。
　移動速度Ｖ１がしきい値以上である場合（ステップ１１１のＹｅｓ）、ロボット１０１は比較的速く移動していることになる。この場合、遠距離の測距が重要であり測距レンジが大きい方がよい。また高速での移動中はフレームレート（ＦＰＳ）を高く応答性に優れた測距が好ましい。これらの条件から、測距レンジ及びＦＰＳがノーマルモードと同等でありながら干渉耐性があるモードＤ－１が判定される（ステップ１１２）。これにより、測距範囲及び応答性を維持したまま干渉対策を行うことが可能である。
　移動速度Ｖ１がしきい値未満である場合（ステップ１１１のＮｏ）、ロボット１０１は比較的ゆっくりと移動していることになる。この場合、近距離の測距が重要となり、例えば干渉耐性が高いことや、測距精度が高いことが重要となる。そこで干渉耐性に優れたモードＤ－１、及び測距精度が高いモードＢを判定する処理が開始される。
　まず干渉光源を備えた相手（自動車や他のロボット）の移動速度Ｖ２が測定される（ステップ１１３）。ここでは、例えばＲＧＢカメラ１３４の画像から見かけの速度分布（オプティカルフロー）等を推定することで相手の移動速度Ｖ２が検出される。この他、機械学習による画像処理やＬｉＤａｒ等を用いて移動速度Ｖ２が検出されてもよい。なお、移動速度Ｖ２は、例えばロボット１０１に対する相対速度として算出される。従って移動速度Ｖ２は、相手が近づいてくる接近速度を表す。
　次に、移動速度Ｖ２がしきい値以上であるか否かが判定される（ステップ１１４）。すなわち、相手の接近速度が速いか遅いかが判定される。
　移動速度Ｖ２がしきい値以上である場合（ステップ１１４のＹｅｓ）、干渉光源を搭載した相手が比較的速く接近してくることになる。この場合、相手との距離がすぐに縮まるため測距レンジは短くてもよいが、応答性や干渉耐性は高い方が好ましい。そこで測距レンジが低下するもののＦＰＳが高く干渉耐性に優れたモードＤ－２が判定される（ステップ１１５）。例えば、干渉光源が接近することで干渉光の影響も大きくなる可能性があるが、モードＤ－２を用いることで、相互干渉を十分に抑制しつつ、ＦＰＳを維持した応答性の高い測距が可能となる。
　移動速度Ｖ２がしきい値未満である場合（ステップ１１４のＮｏ）、干渉光源を搭載した相手はゆっくり接近してくることになる。この場合、応答性が低下しても測距レンジは長い方が好ましい。そこでＦＰＳが低下するものの測距レンジが低下しないモードＢが判定される（ステップ１１６）。これにより、離れた位置にいる相手までの距離を適正に測距することが可能となる。
　このように、図８に示すフローチャートでは、干渉光源を検出して干渉光源の有無を判定した後、移動速度を測定して移動速度の判定処理を実行して各測距モードを判定している。これにより、移動シーンに応じた最適な測距モードを自動的に選択することができる。
　図９は、移動シーンの一例を示す模式図である。シーン１は、ロボット１０１が駐車場等を移動しているシーンである。シーン２は、ロボット１０１が対向車等の他の車両がいない状況で走行しているシーンである。シーン３は、ロボット１０１が渋滞した道路を移動しているシーンである。シーン４は、ロボット１０１が対向車等の他の車両と十分に車間をあけて走行しているシーンである。
　シーン１及びシーン３では、ロボット１０１の移動速度Ｖ１が比較的小さく、徐行速度（例えば時速３ｋｍ等）で移動している。一方で、シーン２及びシーン４では、ロボット１０１の移動速度Ｖ１が比較的大きく、走行速度（例えば時速６０ｋｍ等）で移動している。
　またシーン１及びシーン２では、干渉光源３となる他の車両が検出されないが、シーン３及びシーン４では、干渉光源３となる他の車両が検出される。
　シーン１では、干渉光源３が検出されず移動速度Ｖ１がしきい値よりも小さい。この場合、ステップ１０６によりノーマルモードが実行される。これにより、ＦＰＳや測距精度を低下させることなく、駐車場内の移動や駐車動作等を安全に行うことが可能となる。
　シーン２では、干渉光源３が検出されず移動速度Ｖ１がしきい値以上である。この場合、ステップ１０７によりモードＣが実行される。これにより、遠くまで測距することが可能となり、安全な高速走行を行うことが可能となる。
　シーン３及びシーン４では、干渉光源３が検出される。ここで、周辺にいる干渉光源３（他の車両）の数が１つである場合には、ステップ１０９によりモードＡが実行される。この場合、ノーマルモードと同様のＦＰＳ、測距精度、測距レンジを維持したまま、相互干渉を抑制することが可能となる。
　上記したように干渉光源３（他の車両）の数が複数ある場合、自分や相手の移動速度についてのしきい値判定が行われ、測距モードが判定される。
　例えばシーン３のような渋滞シーンでは、複数の干渉光源３が検出されロボット１０１の移動速度Ｖ１がしきい値よりも小さい。ここで相手の移動速度Ｖ２（接近速度）がしきい値以上である場合、ステップ１１５によりモードＤ－２が実行される。これにより、高い干渉耐性を発揮しつつ高速な測距が可能であり、信頼性の高いセンシングを実現することが可能となる。
　また相手の移動速度Ｖ２（接近速度）がしきい値未満である場合、ステップ１１６によりモードＢが実行される。この場合、測距レンジを維持することが可能となるため、比較的離れた位置にいる相手についても適正にセンシングを行うことが可能となる。
　またシーン４のような走行シーンでは、複数の干渉光源３が検出されロボット１０１の移動速度Ｖ１がしきい値以上である。この場合、ステップ１１２によりモードＤ－１が実行される。例えば移動速度Ｖ１が速い場合には、十分な車間距離がとられている可能性が高く、測距レンジが大きいほうが好ましい。モードＤ－１では、例えばノーマルモードと同様のＦＰＳ、測距レンジを維持したまま相互干渉を抑制することが可能となる。
　[ノーマルモード及びモードＡ]
　図１０は、ノーマルモード及びモードＡにおける１フレームあたりのタイミングチャートである。図１１及び図１２は、ノーマルモード及びモードＡにおける信号処理の一例を示す模式図である。
　ノーマルモードは、２タップ方式の測距モードであり、測距の干渉を抑制するための処理を実行しないモードである。
　モードＡは、２タップ方式の測距モードであり、パルス光を変調するモードである。
　以下では、図１０～図１２を参照してノーマルモード及びモードＡの具体的な動作について説明する。
　図１０の上側には、４つのマイクロフレーム＃１～＃４（micro frame＃１～＃４）と、各マイクロフレームで積分された電荷を読み出す４つの読み出し期間（ＲＯ：Read-out time）とが模式的に図示されている。ここでは、４つのマイクロフレームと４つの読み出し期間とを合計した期間が、１フレームの撮影に要する期間（１／ｆｐｓ）となる。
　１フレームの撮影は、照射光Ｔｘに対する反射光Ｒｘの位相差φを算出するための測定である。この位相差φがデプス値ｄに変換される。
　図中の用語について説明する。
　ｆ（Ｈｚ）：ｉＴｏＦ測距センサ１１０の動作周波数。これは照射光Ｔｘのパルス周波数であり、パルス周期Ｔの逆数である。動作周波数ｆは、例えば１０ＭＨｚに設定される。この場合、１／ｆ＝１００ｎｓｅｃである。
　Δｄ（Ｈｚ）：モードＡで使用する干渉回避用の変調周波数。例えばノーマルモードでは周波数を変調しないためΔｆ＝０Ｈｚである。またモードＡでは、例えば－０．５ＭＨｚ以上０．５ＭＨｚ以下の範囲でΔｆが設定される。
　ＲＯ：マイクロフレームの読み出し期間であり、画素数等に依存する。
　integration time（ｓｅｃ）：１マイクロフレームあたりの積分時間であり、例えば１ｍｓｅｃ程度とすることができる。
　１／ｆｐｓ（ｓｅｃ）：１フレームあたりの時間であり、マイクロフレームの数及びintegration timeの長さに依存する。
　また、電荷の読み出しに使用する４つのタップ１１９を、第１タップ、第２タップ、第３タップ、及び第４タップと記載する。また各マイクロフレームにおいて第１タップ、第２タップ、第３タップ、及び第４タップにより読み出されて蓄積された電荷量（各ＲＯにおいて読み出されるタップ１１９ごとの出力値）を、それぞれTap1、Tap2、Tap3、及びTap4と記載する。
　ここでは、パルス周期Ｔがパルス幅Ｔｐの２倍に設定される。また４つのタップ１１９のうち第１タップ及び第２タップを動作させるものとする。第１タップ及び第２タップの動作期間は、パルス幅Ｔｐと同じ長さに設定される。また第１タップ及び第２タップの動作は１８０°ずれた位相で排他的に実行され、一方の動作が終了すると他方の動作が開始される。
　図１０において、Ｔａｐ１－蓄積、及びＴａｐ２－蓄積と記載されたチャートは、第１タップ及び第２タップによる電荷の読み出し動作を表している。ここでは、反射光Ｒｘに応じて生成され第１タップ及び第２タップから読み出される電荷が網掛けの領域として模式的に図示されている。各マイクロフレームにおいて第１タップ及び第２タップごとに電荷を積分した値が、Tap1及びTap2となる。
　図１１には、４つのマイクロフレーム＃１～＃４における第１タップ及び第２タップによる電荷の読み出し動作がそれぞれ模式的に図示されている。
　４つのマイクロフレーム＃１～＃４では、第１タップ及び第２タップを動作させる位相が異なる。例えばマイクロフレーム＃１、＃２、＃３、及び＃４では、第１タップの動作タイミングの位相が、照射光Ｔｘの発光開始のタイミングに対して、０°、９０°、１８０°、及び２７０°に設定される。なお第２タップの動作は、第１タップの動作と１８０°ずれた動作となる。
　ノーマルモード及びモードＡにおける位相差φの算出処理について説明する。
　各マイクロフレーム＃１～＃４によって得られた信号から以下のように変数を定義する。
　component1 = (Tap1 - Tap2) @microframe#1
　component2 = (Tap1 - Tap2) @microframe#2
　component3 = (Tap1 - Tap2) @microframe#3
　component4 = (Tap1 - Tap2) @microframe#4
　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、@microframe#iとは、ｉ番目(i=1,2,3,4)のマイクロフレームの値を意味する。
　図１１には、component1～component4について、マイクロフレーム＃１～＃４でのTap1及びTap２との関係が模式的に図示されている。
　さらに、位相差φの関数として、I(φ)及びQ(φ)を以下のように定義する。
　I(φ)=(component1 - component3)
　Q(φ)=(component2 - component4)
　　　　　　　　　　　　　　　　　　　　　・・・（４）
　図１２Ａには、横軸を位相差φとし、縦軸をI(φ)及びQ(φ)として各関数をプロットしたグラフが示されている。I(φ)は、φ＝０からπにかけて＋１から－１に線形に減少し、φ＝πから２πにかけて－１から＋１に線形に増加する三角波形状の関数となる。Q(φ)は、I(φ)の位相をπ／２だけ移動した三角波形状の関数となる。ここでは、I(φ)及びQ(φ)の比が位相差φに対応付けられる。
　図１２Ｂには、I(φ)が横軸となり、Q(φ)が縦軸となるように、三角波形状の関数を変換して位相差φを表した図である。このグラフでは、（１，０）、（０，－１）、（－１，０）、及び（０，１）の４点をつなぐひし形のラインがあらわれる。この場合、原点と、ひし形のライン上の点とをつなぐ線分が、横軸となす角度が、位相差φとなる。
　図１２Ａ及び図１２Ｂでの位相差φと関数I(φ)及びQ(φ)の関係は、以下の式を用いて表される。
　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ノーマルモード及びモードＡでは、上記した（３）式に従ってcomponent1～component4が算出され、（４）式に従って関数I(φ)及びQ(φ)が算出され、（５）式に従って位相差φが算出される。このように算出された位相差φが、最終的にデプス値ｄに変換される。
　[モードＢ]
　図１３は、モードＢにおける１フレームあたりのタイミングチャートである。図１４は、モードＢにおける信号処理の一例を示す模式図である。
　モードＢは、パルス光をＯＦＦにする期間を設定するモードである。以下では、図１３及び図１４を参照してモードＢの具体的な動作について説明する。
　ここでは、パルス周期Ｔがノーマルモードと同じ長さ（パルス幅Ｔｐの２倍）に設定される。また４つのタップ１１９のうち第１タップ及び第２タップを動作させるものとする。第１タップ及び第２タップの動作期間は、パルス幅Ｔｐと同じ長さに設定される。また第１タップ及び第２タップの動作は１８０°ずれた位相で排他的に実行される。
　図１３及び図１４では、干渉光源から出射された照射光の反射光（ドットが大きい網掛けの領域）が受光されるものとする。また干渉光源から出射された照射光の位相は、自身のｉＴｏＦ測距センサ１１０から照射される照射光Ｔｘに対して、位相がφｉだけずれている。
　図１３の上側には、それぞれにＲＯが設定された４つのマイクロフレーム＃１～＃４と、それぞれにＲＯが設定され照射光ＴｘをＯＦＦにする４つのマイクロフレーム（Ｔｘｏｆｆ＃１～＃４）とが模式的に図示されている。
　Ｔｘｏｆｆ＃１～＃４は、照射光ＴｘをＯＦＦになっている以外は、マイクロフレーム＃１～＃４と同様に構成され、マイクロフレーム＃１～＃４の後で撮影される。従って、モードＢでは、８つのマイクロフレームと８つの読み出し期間とを合計した期間が、１フレームの撮影に要する期間となる。このため、図７を参照して説明したように、ＦＰＳが低下する。
　なお図１３には、マイクロフレーム＃１及びＴｘｏｆｆ＃１における第１タップ及び第２タップの動作を示すチャートが図示されている。このうち、Ｔｘｏｆｆ＃１では、照射光ＴｘがＯＦＦであるため、干渉源の反射光が生成する電荷だけが蓄積される。
　モードＢにおける位相差φの算出処理について説明する。
　図１４には、マイクロフレーム＃１及びＴｘｏｆｆ＃１のデータを利用してcomponent1を算出する方法が模式的に図示されている。なお図１４では、干渉光源に加え背景光を追加して記載している。
　ここでcomponent1は、以下の式に従って算出される。
　Tap1#1 = Tap1@microframe#1 - Tap1@Txoff#1
　Tap2#1 = Tap2@microframe#1 - Tap2@Txoff#1
　component1 = Tap1#1 - Tap2#1
　　　　　　　　　　　　　　　　　　　　　　・・・（６－１）
　ここで、Tap1#1及びTap2#1は、第１タップ及び第２タップの出力から干渉光源の成分を除去し、照射光Ｔｘ由来の成分を抽出したものである。
　他のcomponent2、component3、component4についても以下のように算出される。
　Tap1#2 = Tap1@microframe#2 - Tap1@Txoff#2
　Tap2#2 = Tap2@microframe#2 - Tap2@Txoff#2
　component2 = Tap1#2 - Tap2#2
　　　　　　　　　　　　　　　　　　　　　　・・・（６－２）
　Tap1#3 = Tap1@microframe#3 - Tap1@Txoff#3
　Tap2#3 = Tap2@microframe#3 - Tap2@Txoff#3
　component3 = Tap1#3 - Tap2#3
　　　　　　　　　　　　　　　　　　　　　　・・・（６－３）
　Tap1#4 = Tap1@microframe#4 - Tap1@Txoff#4
　Tap2#4 = Tap2@microframe#4 - Tap2@Txoff#4
　component4 = Tap1#4 - Tap2#4
　　　　　　　　　　　　　　　　　　　　　　・・・（６－４）
　モードＢでは、上記した（６－１）～（６－４）式に従ってcomponent1～component4が算出され、（４）式に従って関数I(φ)及びQ(φ)が算出され、（５）式に従って位相差φが算出される。このように算出された位相差φが、最終的にデプス値ｄに変換される。
　[モードＣ]
　図１５は、モードＣにおける１フレームあたりのタイミングチャートである。図１６及び図１７は、モードＣにおける信号処理の一例を示す模式図である。
　モードＣは、パルス光（照射光Ｔｘ）の反射光Ｒｘを受光するための受光期間をノーマルモードよりも長く設定し、受光期間に４つのタップを動作させるモードである。以下では、図１５～図１７を参照してモードＣの具体的な動作について説明する。
　ここでは、パルス周期Ｔがノーマルモードの２倍（パルス幅Ｔｐの４倍）に設定される。また４つのタップ１１９の全て（第１タップ、第２タップ、第３タップ、及び第４タップ）を動作させるものとする。第１タップ～第４タップの動作期間は、パルス幅Ｔｐと同じ長さに設定される。また第１タップ～第４タップの動作は、互いに排他的な動作となるようにパルス周期Ｔの１／４（パルス幅Ｔｐ）の長さでずらして設定される。
　図１５の上側には、それぞれにＲＯが設定された４つのマイクロフレーム＃１～＃４が模式的に図示されている。ここでは、integration timeとＲＯとの合計の時間がノーマルモードと等しく設定される。これにより、ノーマルモードと同様のＦＰＳで応答性のよい測距が可能である。一方で、積算回数がへるため、測距精度が低下する可能性がある。
　また図１５の下側に示すように、マイクロフレーム＃１では、第１タップ、第２タップ、第３タップ、及び第４タップの動作がこの順番で実行される。また図１６に示すように、マイクロフレーム＃２、＃３及び＃４では、この繰り返し順序を維持したまま最初に動作させるタップを第４タップ、第３タップ、及び第２タップに変更して撮影が行われる。
　モードＣにおける位相差φの算出処理について説明する。
　各マイクロフレーム＃１～＃４によって得られた信号から以下のように変数を定義する。
　component1_I = (Tap1 - Tap3) @microframe#1
　component1_Q = (Tap2 - Tap4) @microframe#1
　component2_I = (Tap4 - Tap2) @microframe#2
　component2_Q = (Tap1 - Tap3) @microframe#2
　component3_I = (Tap3 - Tap1) @microframe#3
　component3_Q = (Tap4 - Tap2) @microframe#3
　component4_I = (Tap2 - Tap4) @microframe#4
　component4_Q = (Tap3 - Tap1) @microframe#4
　　　　　　　　　　　　　　　　　　　　　・・・（７）
　さらに、位相差φの関数として、I(φ)及びQ(φ)を以下のように定義する。
　I(φ)=Σcomponent n_I
　Q(φ)=Σcomponent n_Q
　　　　　　　　　　　　　　　　　　　　　・・・（８）
　ここで（８）式のΣは、ｎ（ｎ＝１，２，３，４）についての総和を意味している。
　図１７Ａには、横軸を位相差φとし、縦軸を（８）式が表すI(φ)及びQ(φ)として各関数をプロットしたグラフが示されている。I(φ)は、φ＝０から２πにかけて＋１から－１に線形に減少し、φ＝２πから４πにかけて－１から＋１に線形に増加する三角波形状の関数となる。Q(φ)は、I(φ)の位相をπだけ移動した三角波形状の関数となる。これは、図１２に示すグラフの周期が２倍になったものであると言える。このように、周期が伸びた場合でも、I(φ)及びQ(φ)の比は位相差φに対応付けることが可能である。
　図１７Ｂには、I(φ)が横軸となり、Q(φ)が縦軸となるように、三角波形状の関数を変換して位相差φを表した図である。このグラフでは、（１，０）、（０，－１）、（－１，０）、及び（０，１）の４点をつなぐひし形のラインがあらわれる。この場合、原点と、ひし形のライン上の点とをつなぐ線分が、横軸となす角度が、位相差φとなり、図１２と同様の関係が得られる。
　また、図１７Ａ及び図１７Ｂでの位相差φと関数I(φ)及びQ(φ)の関係は、上記した（５）式を用いて表される。
　従って、モードＣでは、上記した（７）式に従ってcomponent n_I及びcomponent n_Q（ただしｎ＝１，２，３，４）が算出され、（８）式に従って関数I(φ)及びQ(φ)が算出され、（５）式に従って位相差φが算出される。このように算出された位相差φが、最終的にデプス値ｄに変換される。
　[モードＤ１]
　図１８は、モードＤ－１における１フレームあたりのタイミングチャートである。図１９は、モードＤ－１における信号処理の一例を示す模式図である。
　モードＤ－１は、タップ１１９の動作の位相が異なる複数の測定期間を設定し、測定期間の一部でパルス光（照射光Ｔｘ）をＯＮにして測距用の２つのタップ１１９を動作させ、測定期間の他の一部でパルス光（照射光Ｔｘ）をＯＦＦにして干渉抑制用の２つのタップ１１９を動作させるモードである。
　ここで、タップ１１９の動作の位相が異なる複数の測定期間とは、４つのマイクロフレーム＃１～＃４が実行される期間であり、その長さはintegration timeに対応する。
　モードＤ－１では、１つのマイクロフレームの中で照射光ＴｘをＯＦＦにする期間を設ける。具体的には、図１８に示すように、マイクロフレームが半分経過したタイミングを境に前半と後半とにわけ、前半では照射光ＴｘをＯＮにし、後半では照射光ＴｘをＯＦＦにする。
　またマイクロフレームの前半では、第１タップ及び第２タップを動作させ、第３タップ及び第４タップは動作させない。逆にマイクロフレームの後半では、第３タップ及び第４タップを動作させ、第１タップ及び第２タップは動作させない。このような測定が、各マイクロフレームで実行される。
　ここでは、パルス周期Ｔがノーマルモードと同じ長さ（パルス幅Ｔｐの２倍）に設定される。また第１タップ～第４タップの動作期間は、パルス幅Ｔｐと同じ長さに設定される。
前半では第１タップ及び第２タップが排他的な動作となるように動作し、後半では第３タップ及び第４タップが排他的な動作となるように動作する。
　この場合、第１タップ及び第２タップが測距用の２つのタップに相当し、第３タップ及び第４タップが干渉抑制用の２つのタップに相当する。
　また図１９に示すように、マイクロフレーム＃１、＃２、＃３及び＃４の前半では、第１タップの動作タイミングの位相が、照射光Ｔｘの発光開始のタイミングに対して、パルス周期Ｔを基準に０°、９０°、１８０°、及び２７０°に設定される。なお第２タップの動作は、第１タップの動作と１８０°ずれた動作となる。またマイクロフレーム＃１、＃２、＃３及び＃４の後半における第３タップ及び第４タップの動作タイミングは、前半の第１タップ及び第２タップと同様に設定される。
　モードＤ－１における位相差φの算出処理について説明する。
　各マイクロフレーム＃１～＃４によって得られた信号から以下のように変数を定義する。
　component1 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#1
　component2 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#2
　component3 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#3
　component4 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#4
　　　　　　　　　　　　　　　　　　　　　・・・（９）
　また位相差φの関数として、上記した（４）式に従ってI(φ)及びQ(φ)を定義する。
　モードＤ－１では、上記した（９）式に従ってcomponent1～component4が算出され、（４）式に従って関数I(φ)及びQ(φ)が算出され、（５）式に従って位相差φが算出される。このように算出された位相差φが、最終的にデプス値ｄに変換される。
　この方法では、照射光ＴｘをＯＦＦにする期間をマイクロフレーム内に設けることで、電荷の蓄積量が減少するために精度が低下する可能性がある。一方で、フレーム当たりの撮影時間が維持され、高いＦＰＳでの測距が可能である。これにより、干渉耐性が高く、高速応答に適した測距を実現することが可能となる。
　[モードＤ２]
　図２０は、モードＤ－２における１フレームあたりのタイミングチャートである。図２１は、モードＤ－２における信号処理の一例を示す模式図である。
　モードＤ－２は、パルス光（照射光Ｔｘ）ごとに当該パルス光の反射光Ｒｘを受光するための受光期間と受光期間の後で次のパルス光（照射光Ｔｘ）が出射されるまでの参照期間とを設定し、受光期間に測距用の２つのタップ１１９を動作させ、参照期間に干渉抑制用の２つのタップ１１９を動作させるモードである。
　ここで、反射光Ｒｘを受光するための受光期間とは、反射光Ｒｘを受光するために用いられる期間であり、測距レンジに応じて設定される。例えば反射光Ｒｘを受光する動作は、タップ１１９による読み出し動作等も含めて受光期間内に完了するように制御される。なお、受光期間に動作が完了しない場合には、測距の対象外とする。ここでは受光期間は、パルス幅Ｔｐの２倍の長さに設定される。これはノーマルモードのパルス周期と同様の長さである。
　また次の照射光Ｔｘが出射されるまでの参照期間とは、受光期間の後で、次のパルスが出射されるまでの期間である。例えばパルス周期Ｔから受光期間を引いた期間が参照期間となる。ここではパルス周期Ｔは、パルス幅Ｔｐの４倍の長さに設定される。従って、参照期間の長さは、受光期間の長さと等しくなる。
　すなわち、パルス周期Ｔの前半が受光期間に設定され、パルス周期Ｔの後半が参照期間に設定される。図２０及び図２１では、受光期間及び参照期間を、それぞれＴｘＯｎ区間及びＴｘＯｆｆ区間と記載している。
　第１タップ～第４タップの動作期間は、パルス幅Ｔｐと同じ長さに設定される。パルス周期Ｔの前半（受光期間）では、第１タップ及び第２タップが排他的な動作となるように動作し、後半（参照期間）では第３タップ及び第４タップが排他的な動作となるように動作する。
　この場合、第１タップ及び第２タップが測距用の２つのタップに相当し、第３タップ及び第４タップが干渉抑制用の２つのタップに相当する。
　また図２１に示すように、マイクロフレーム＃１、＃２、＃３及び＃４では、照射光Ｔｘの発光開始のタイミングに対して第１タップの動作タイミングの位相がずらして設定される。ここでは、パルス周期Ｔの半分（すなわち受光期間あるいは参照期間の長さ）を３６０°として、第１タップの動作タイミングの位相が、０°、９０°、１８０°、及び２７０°に設定される。なお第２タップの動作は、第１タップの動作と１８０°ずれた動作となる。また参照期間における第３タップ及び第４タップの動作タイミングは、受光期間の第１タップ及び第２タップと同様に設定される。
　モードＤ－２における位相差φの算出処理について説明する。
　各マイクロフレーム＃１～＃４によって得られた信号から以下のように変数を定義する。
　component1 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#1
　component2 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#2
　component3 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#3
　component4 = (Tap1 - Tap3) - (Tap2 - Tap4) @microframe#4
　　　　　　　　　　　　　　　　　　　　　・・・（１０）
　また位相差φの関数として、上記した（４）式に従ってI(φ)及びQ(φ)を定義する。
　モードＤ－２では、上記した（１０）式に従ってcomponent1～component4が算出され、（４）式に従って関数I(φ)及びQ(φ)が算出され、（５）式に従って位相差φが算出される。このように算出された位相差φが、最終的にデプス値ｄに変換される。
　これは、モードＤ－１と同様の算出方法である。
　この方法は、モードＤ－１のようにＴｘをＯＦＦにした状態での撮影をパルス周期Ｔの前半と後半とで実行しているとも言える。
　なおモードＤ－２では、上記したように受光期間の間に測定が完了しない場合は、測距されない。すなわち反射光Ｒｘの受光が完了するタイミングは、受光期間が完了するタイミング（パルス周期の半分）よりも前でなければ、適正な測定ができない。この結果、測距レンジは、ノーマルモードの半分になる。
　一方で、照射光Ｔｘを出射するたびに、対応する参照期間において、干渉光の成分がTap3及びTap4として検出される。すなわち、照射光Ｔｘと時間を空けずに干渉光が検出され、その検出結果を使ってデプス値ｄが算出される。これにより、モードＤ－２では、反射光Ｒｘを受光したタイミングでの干渉光の成分を除去することが可能となり、干渉耐性を大幅に向上することが可能となっている。
　以上、本実施形態に係るｉＴｏＦ測距センサ１１０では、受光部１１２を構成する画素１１５ごとに４つのタップ１１９が設けられる。そして各タップ１１９が他の光による測距の干渉を除去することが可能なように制御される。この結果、応答性や測距精度を維持しつつ干渉耐性に優れた光学式測距を実現することが可能となる。
　２タップ方式のＴｏＦセンサでは、参照用の信号を受信するために複数の画素で測定を行う方法が知られている。例えば相互干渉を抑制する場合、２つのタップが設けられた２つの画素を使い、どちらか一方の画素ではレーザパルスがＯＦＦの期間にも露光を行い、その期間で検出した信号をバックグラウンド・ノイズとして差し引くことで干渉の影響を相殺する方法が考えられる（特許文献１参照）。しかしこの方法では、余分な画素を用いることで画像の解像度が低下する。また相互干渉を低減することはできるが、レーザパルスをＯＦＦにしている間も露光時間を設けなければならないため、実効的な露光時間が低下し、応答性（ＦＰＳ）や測距精度（感度）が低下する可能性がある。
　４タップ方式のＴｏＦセンサでは、上記の動作を１つの画素のみで実現可能であり、解像度を低下させずに干渉検出が可能であり、また干渉検出が必要ない場合には測距レンジを２倍に伸ばすことができるといった利点がある。しかし、干渉を検出する動作と測距レンジを伸ばす動作は排他的な動作である。また、相互干渉に対する耐性と、ＦＰＳ・測距精度はトレードＯＦＦの関係にある。ＴｏＦセンサを使用するシーンとしては様々な状況が考えられ、手動でのモード切替だけでは対応が難しいことが考えられる。
　本実施形態に係るｉＴｏＦ測距センサ１１０では、４タップ方式の受光部１１２が設けられる。そして各タップ１１９の動作は測距の干渉が抑制可能となるようにそれぞれ制御される。４つのタップ１１９を用いることで、例えばＦＰＳや測距精度を低下させることなく高い干渉耐性を発揮することが可能となる。
　例えば、図７等を参照して説明したように、モードＤ－１及びモードＤ－２では、ＦＰＳを維持したまま高い干渉耐性が実現可能である。また例えばＦＰＳを下げてもよい場合には、反射光Ｒｘを露光するための時間（例えばintegration time）を確保可能であり、この場合には測距精度を維持したまま干渉耐性を向上することも可能である。
　また、本実施形態では、ｉＴｏＦ測距センサ１１０が４タップ方式であることを利用して、特性の異なる複数の測距モード（ノーマルモード、モードＡ、モードＢ、モードＣ、モードＤ－１、及びモードＤ－２等）が実現される。
　また、これらの測距モードをシーンに応じて判定することが可能であり、自動的に測距モードを切り替えることが可能である。シーンの判定には、干渉光源の有無や、ｉＴｏＦ測距センサ１１０（ロボット１０１）の移動速度、干渉光源の移動速度等が用いられる。これにより、様々なにシーンに合わせて、最適な測距モードに自動で切り替えることが可能となる。この結果、ＦＰＳや測距精度を不必要に低下させることなく、信頼性の高いセンシングを実現することが可能となる。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　図２２は、モード判定情報の他の一例について説明するための模式図である。上記では、測距モードを判定するためのモード判定情報として、ロボットの移動速度Ｖ１を用いる方法について説明した（図８のステップ１０５、ステップ１１１等参照）。
　モード判定情報として、ｉＴｏＦ測距センサ１１０の測定角度が用いられてもよい。ここでｉＴｏＦ測距センサ１１０の測定角度とは、センサの視線５（中心軸）の角度である。
　図２２Ａ及び２２Ｂには、ｉＴｏＦ測距センサ１１０が測定角度を変えて対象物７を観察している様子が模式的に図示されている。
　例えば図２２Ａに示すように、ｉＴｏＦ測距センサ１１０の視線が垂直に近い場合、ｉＴｏＦ測距センサ１１０の測定範囲はセンサ位置に比較的近い領域である。この場合、近距離測定が重要であると考えられ、測距レンジは小さくてもよく、ＦＰＳが高いほうが好ましい。
　また例えば図２２Ｂに示すようにｉＴｏＦ測距センサ１１０の視線が水平に近い場合、ｉＴｏＦ測距センサ１１０の測定範囲はセンサ位置から離れた比較的遠い領域となる。この場合、長距離測定が重要であると考えられ、ＦＰＳがひくくても、測距レンジが長いほうがよい。
　このようなｉＴｏＦ測距センサ１１０の視線５の水平角度（仰角θ）に応じて、測距モードが判定されてもよい。例えば図８のステップ１０５において、仰角θがしきい値以上である場合には、視線５が垂直に近いとしてノーマルモードを判定し、仰角θがしきい値未満である場合には、視線５が水平に近いとしてモードＣを判定する。またステップ１０５において、仰角θがしきい値以上である場合には、視線５が垂直に近いとしてモードＤ－２やモードＢを判定し、仰角θがしきい値未満である場合には、視線５が水平に近いとしてモードＤ－１を判定する。このような処理が実行されてよい。これにより、ロボット１０１の姿勢や動作状況に応じたモード判定が可能となる。
　また周辺環境の明るさに応じて測距モードが切り替えられてもよい。この場合、図１を参照して説明した照度センサ１３２等の出力が用いられる。例えば周辺環境が明るく背景光が多い場合には、測距精度や干渉耐性が低下する可能性がある。このような場合には、測距精度の高いモードや、干渉耐性の高いモードが優先的に判定される。これにより、測距精度や干渉耐性を維持しつつ、シーンに応じたセンシングを適正に実行することが可能となる。
　上記では、ｉＴｏＦ方式の測距センサを用いる場合について説明したが、例えばｄＴｏＦ方式の測距センサが用いられる場合にも、本技術が適用可能である。例えば、４つのタップのうち、２つのタップを用いて干渉光となる他のパルス光が入射するタイミング等が検出される。この検出結果を用いることで、相互干渉を抑制することが可能である。
　＜＜１．車両制御システムの構成例＞＞
　図２３は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。上記したｉＴｏＦ測距センサ１１０（光学式測距システム１００）は、車両１に搭載されてもよい。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced Driver Assistance System）やＡＤ（Autonomous Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　上記したｉＴｏＦ測距センサ１１０は、カメラ５１として使用可能である。また中央処理装置　は車両制御ＥＣＵ２１によって実現されてもよい。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２４は、図２３の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２４において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２４以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
　なお、本技術は以下のような構成も採ることができる。
（１）照射光を照射する照射部と、
　各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置された受光部と、
　前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能な制御ドライバと
　を具備する光学式測距センサ。
（２）（１）に記載の光学式測距センサであって、
　前記制御ドライバは、互いに異なる測距モードを判定する制御部による判定結果を取得し、当該判定結果が示す前記測距モードに応じて前記４つのタップを動作させる
　光学式測距センサ。
（３）（２）に記載の光学式測距センサであって、
　前記制御部は、前記受光部の出力データを取得し、前記出力データに対して前記測距モードに応じた処理を実行して前記複数の画素ごとに測距データを算出する
　光学式測距センサ。
（４）（２）又は（３）に記載の光学式測距センサであって、
前記測距モードは、前記４つのタップを全て使用する４タップ方式の測距モードを含む
　光学式測距センサ。
（５）（４）に記載の光学式測距センサであって、
　前記４タップ方式の測距モードは、前記４つのタップのうち２つのタップを前記測距の干渉を抑制するために動作させる４タップ方式の干渉抑制モードを含む
　光学式測距センサ。
（６）（５）に記載の光学式測距センサであって、
　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
　前記４タップ方式の干渉抑制モードは、前記タップの動作の位相が異なる複数の測定期間を設定し、前記測定期間の一部で前記パルス光をＯＮにして測距用の２つのタップを動作させ、前記測定期間の他の一部で前記パルス光をＯＦＦにして干渉抑制用の２つのタップを動作させる
　光学式測距センサ。
（７）（５）に記載の光学式測距センサであって、
　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
　前記４タップ方式の干渉抑制モードは、前記パルス光ごとに当該パルス光の反射光を受光するための受光期間と前記受光期間の後で次のパルス光が出射されるまでの参照期間とを設定し、前記受光期間に測距用の２つのタップを動作させ、前記参照期間に干渉抑制用の２つのタップを動作させる
　光学式測距センサ。
（８）（２）から（７）のうちいずれか一項に記載の光学式測距センサであって、
　前記測距モードは、前記４タップ方式の測距モードと、前記４つのタップのうち２つのタップを使用する２タップ方式の測距モードとを含む
　光学式測距センサ。
（９）（８）に記載の光学式測距センサであって、
　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
　前記２タップ方式の測距モードは、前記測距の干渉を抑制するための処理を実行しないノーマルモード、前記パルス光をＯＦＦにする期間を設定するモード、前記パルス光を変調するモードの少なくとも１つを含む
　光学式測距センサ。
（１０）（８）に記載の光学式測距センサであって、
　前記４タップ方式の測距モードは、前記パルス光の反射光を受光するための受光期間を前記ノーマルモードよりも長く設定し、前記受光期間に前記４つのタップを動作させるモードを含む
　光学式測距センサ。
（１１）（２）から（１０）のうちいずれか一項に記載の光学式測距センサであって、
　前記制御部は、前記測距モードを判定するためのモード判定情報を取得する
　光学式測距センサ。
（１２）（１１）に記載の光学式測距センサであって、
　前記モード判定情報は、前記他の光を出射する干渉光源の有無を含み、
　前記制御部は、前記干渉光源がある場合、前記測距の干渉を抑制する前記測距モードを選択する
　光学式測距センサ。
（１３）（１１）又は（１２）に記載の光学式測距センサであって、
　前記モード判定情報は、前記光学式測距センサの移動速度、又は、前記光学式測距センサの測定角度の少なくとも一方を含む
　光学式測距センサ。
（１４）（１）から（１３）のうちいずれか一項に記載の光学式測距センサであって、
　ＴｏＦ方式の測距センサとして構成される
　光学式測距センサ。
（１５）（１）から（１４）のうちいずれか一項に記載の光学式測距センサであって、
　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
　前記制御ドライバは、前記パルス光に対する４種類の位相を設定し、前記４種類の位相に応じたタイミングで前記４つのタップをそれぞれ動作させる
　光学式測距センサ。
（１６）（１）から（１５）のうちいずれか一項に記載の光学式測距センサであって、
　自走式のロボットに搭載される
　光学式測距センサ。
（１７）　照射光を照射する照射部と、
　　各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置された受光部と、
　　前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能な制御ドライバと
　を有する光学式測距センサと、
　前記光学式測距センサの測距モードとして互いに異なる測距モードを判定する制御部と
　を具備する光学式測距システム。
　３…干渉光源
　１０…ｉＴｏＦ測距センサ
　１１…照射部
　１２…受光部
　１３…制御ドライバ
　１５…画素
　１７…受光面
　１８…光電変換部
　１９…タップ
　３１…速度センサ
　３２…照度センサ
　３４…ＲＧＢカメラ
　４０…中央処理装置
　１００…光学式測距システム
　１０１…ロボット

Claims (17)

  1. 　照射光を照射する照射部と、
    　各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置された受光部と、
    　前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能な制御ドライバと
    　を具備する光学式測距センサ。
  2. 　請求項１に記載の光学式測距センサであって、
    　前記制御ドライバは、互いに異なる測距モードを判定する制御部による判定結果を取得し、当該判定結果が示す前記測距モードに応じて前記４つのタップを動作させる
    　光学式測距センサ。
  3. 　請求項２に記載の光学式測距センサであって、
    　前記制御部は、前記受光部の出力データを取得し、前記出力データに対して前記測距モードに応じた処理を実行して前記複数の画素ごとに測距データを算出する
    　光学式測距センサ。
  4. 　請求項２に記載の光学式測距センサであって、
    　前記測距モードは、前記４つのタップを全て使用する４タップ方式の測距モードを含む
    　光学式測距センサ。
  5. 　請求項４に記載の光学式測距センサであって、
    　前記４タップ方式の測距モードは、前記４つのタップのうち２つのタップを前記測距の干渉を抑制するために動作させる４タップ方式の干渉抑制モードを含む
    　光学式測距センサ。
  6. 　請求項５に記載の光学式測距センサであって、
    　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
    　前記４タップ方式の干渉抑制モードは、前記タップの動作の位相が異なる複数の測定期間を設定し、前記測定期間の一部で前記パルス光をＯＮにして測距用の２つのタップを動作させ、前記測定期間の他の一部で前記パルス光をＯＦＦにして干渉抑制用の２つのタップを動作させる
    　光学式測距センサ。
  7. 　請求項５に記載の光学式測距センサであって、
    　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
    　前記４タップ方式の干渉抑制モードは、前記パルス光ごとに当該パルス光の反射光を受光するための受光期間と前記受光期間の後で次のパルス光が出射されるまでの参照期間とを設定し、前記受光期間に測距用の２つのタップを動作させ、前記参照期間に干渉抑制用の２つのタップを動作させる
    　光学式測距センサ。
  8. 　請求項２に記載の光学式測距センサであって、
    　前記測距モードは、前記４タップ方式の測距モードと、前記４つのタップのうち２つのタップを使用する２タップ方式の測距モードとを含む
    　光学式測距センサ。
  9. 　請求項８に記載の光学式測距センサであって、
    　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
    　前記２タップ方式の測距モードは、前記測距の干渉を抑制するための処理を実行しないノーマルモード、前記パルス光をＯＦＦにする期間を設定するモード、前記パルス光を変調するモードの少なくとも１つを含む
    　光学式測距センサ。
  10. 　請求項８に記載の光学式測距センサであって、
    　前記４タップ方式の測距モードは、前記パルス光の反射光を受光するための受光期間を前記ノーマルモードよりも長く設定し、前記受光期間に前記４つのタップを動作させるモードを含む
    　光学式測距センサ。
  11. 　請求項２に記載の光学式測距センサであって、
    　前記制御部は、前記測距モードを判定するためのモード判定情報を取得する
    　光学式測距センサ。
  12. 　請求項１１に記載の光学式測距センサであって、
    　前記モード判定情報は、前記他の光を出射する干渉光源の有無を含み、
    　前記制御部は、前記干渉光源がある場合、前記測距の干渉を抑制する前記測距モードを選択する
    　光学式測距センサ。
  13. 　請求項１１に記載の光学式測距センサであって、
    　前記モード判定情報は、前記光学式測距センサの移動速度、又は、前記光学式測距センサの測定角度の少なくとも一方を含む
    　光学式測距センサ。
  14. 　請求項１に記載の光学式測距センサであって、
    　ＴｏＦ方式の測距センサとして構成される
    　光学式測距センサ。
  15. 　請求項１に記載の光学式測距センサであって、
    　前記照射部は、前記照射光としてパルス光を繰り返し出射し、
    　前記制御ドライバは、前記パルス光に対する４種類の位相を設定し、前記４種類の位相に応じたタイミングで前記４つのタップをそれぞれ動作させる
    　光学式測距センサ。
  16. 　請求項１に記載の光学式測距センサであって、
    　自走式のロボットに搭載される
    　光学式測距センサ。
  17. 　　照射光を照射する照射部と、
    　　各々が、前記照射光の反射光を受光して電荷を生成する光電変換部と、前記光電変換部により生成された電荷を読み出す４つのタップとを有する複数の画素が配置された受光部と、
    　　前記光電変換部が前記反射光とは異なる他の光を受光することで発生する測距の干渉を抑制するために前記４つのタップをそれぞれ動作させることが可能な制御ドライバと
    　を有する光学式測距センサと、
    　前記光学式測距センサの測距モードとして互いに異なる測距モードを判定する制御部と
    　を具備する光学式測距システム。
PCT/JP2023/022526 2022-07-08 2023-06-19 光学式測距センサ、及び光学式測距システム WO2024009739A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022110546 2022-07-08
JP2022-110546 2022-07-08

Publications (1)

Publication Number Publication Date
WO2024009739A1 true WO2024009739A1 (ja) 2024-01-11

Family

ID=89453280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022526 WO2024009739A1 (ja) 2022-07-08 2023-06-19 光学式測距センサ、及び光学式測距システム

Country Status (1)

Country Link
WO (1) WO2024009739A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158378A1 (ja) * 2019-01-29 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020188782A1 (ja) * 2019-03-20 2020-09-24 株式会社ブルックマンテクノロジ 距離画像撮像装置、距離画像撮像システム、および距離画像撮像方法
WO2020241294A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 信号処理装置、信号処理方法、および、測距モジュール
WO2021107036A1 (ja) * 2019-11-27 2021-06-03 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
US20210199781A1 (en) * 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE INCLUDING LIGHT SOURCE AND ToF SENSOR, AND LIDAR SYSTEM
JP2021182701A (ja) * 2020-05-19 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその駆動制御方法、並びに、測距装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158378A1 (ja) * 2019-01-29 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020188782A1 (ja) * 2019-03-20 2020-09-24 株式会社ブルックマンテクノロジ 距離画像撮像装置、距離画像撮像システム、および距離画像撮像方法
WO2020241294A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 信号処理装置、信号処理方法、および、測距モジュール
WO2021107036A1 (ja) * 2019-11-27 2021-06-03 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
US20210199781A1 (en) * 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE INCLUDING LIGHT SOURCE AND ToF SENSOR, AND LIDAR SYSTEM
JP2021182701A (ja) * 2020-05-19 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその駆動制御方法、並びに、測距装置

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
US20210218875A1 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11978261B2 (en) Information processing apparatus and information processing method
CN114424265B (zh) 信号处理设备、信号处理方法、程序和移动设备
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
US11216677B2 (en) Signal processing apparatus, signal processing method, program, and moving body
US20240272285A1 (en) Light source control device, light source control method, and distance measuring device
US20240241227A1 (en) Distance measuring device and distance measuring method
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
WO2024181041A1 (ja) 測距装置及び測距方法
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023276223A1 (ja) 測距装置、測距方法及び制御装置
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR102718382B1 (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
US11417023B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835273

Country of ref document: EP

Kind code of ref document: A1