WO2023276223A1 - 測距装置、測距方法及び制御装置 - Google Patents

測距装置、測距方法及び制御装置 Download PDF

Info

Publication number
WO2023276223A1
WO2023276223A1 PCT/JP2022/004361 JP2022004361W WO2023276223A1 WO 2023276223 A1 WO2023276223 A1 WO 2023276223A1 JP 2022004361 W JP2022004361 W JP 2022004361W WO 2023276223 A1 WO2023276223 A1 WO 2023276223A1
Authority
WO
WIPO (PCT)
Prior art keywords
setting pattern
distance
light
light reception
reception setting
Prior art date
Application number
PCT/JP2022/004361
Other languages
English (en)
French (fr)
Inventor
俊平 鈴木
貴洋 加戸
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023276223A1 publication Critical patent/WO2023276223A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present disclosure relates to a ranging device, a ranging method, and a control device.
  • distance measuring devices such as LiDAR (Light Detection and Ranging)
  • LiDAR Light Detection and Ranging
  • a technique has been proposed in which a plurality of SPADs (Single Photon Avalanche Diodes) constitute one pixel and the number of SPADs in one pixel is changed within one frame (for example, Patent Document 1 reference).
  • SPADs Single Photon Avalanche Diodes
  • the number of SPADs for each frame, the sampling period, etc. are fixed.
  • the detection distance, the distance accuracy, and the angular resolution are important indexes of the rangefinder, but these are in a trade-off relationship. For this reason, it is difficult to obtain appropriate distance accuracy and angular resolution, that is, appropriate ranging performance, while ensuring a desired detection distance.
  • the present disclosure proposes a ranging device, a ranging method, and a control device capable of obtaining appropriate ranging performance while ensuring a desired detection distance.
  • a distance measuring device includes a light receiving unit for obtaining a ranging image, and a light receiving setting pattern, which is an operating condition of the light receiving unit, in a first frame that is a unit for acquiring the ranging image.
  • a control unit that sets a first light reception setting pattern and sets a second light reception setting pattern that is different from the first light reception setting pattern in a second frame, which is a unit for acquiring the ranging image and is different from the first frame. And prepare.
  • a light receiving setting pattern which is an operating condition of a light receiving unit for obtaining the ranging image
  • a second light receiving setting pattern different from the first light receiving setting pattern is set in a second frame different from the first frame, which is an acquisition unit of the ranging image.
  • a control device sets a light reception setting pattern, which is an operating condition of a light receiving unit for obtaining the distance measurement image, to a first light reception setting pattern in a first frame, which is a unit for obtaining a distance measurement image. Then, a second light reception setting pattern different from the first light reception setting pattern is set in a second frame, which is a unit for acquiring the distance measurement image and is different from the first frame.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example sensing region according to an embodiment of the present disclosure
  • 1 is a block diagram showing a schematic configuration example of a ToF sensor as a distance measuring device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining the optical system of the ToF sensor according to the embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a schematic configuration example of a light receiving unit according to an embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing a schematic configuration example of a SPAD array in the detection area according to the embodiment of the present disclosure
  • 1 is a circuit diagram showing a schematic configuration example of a SPAD pixel according to an embodiment of the present disclosure
  • FIG. 4 is a block diagram showing a more detailed configuration example of a SPAD addition unit according to an embodiment of the present disclosure
  • FIG. 4 is a block diagram showing a schematic configuration example of a ToF sensor regarding light emission and light reception processing based on a set pattern according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining light emission and light reception processing based on a set pattern according to the embodiment of the present disclosure
  • FIG. 4 is a diagram showing Example 1 of a light receiving/emitting setting pattern according to the embodiment of the present disclosure
  • FIG. 10 is a diagram for explaining macro pixels for each of pattern 1 and pattern 2 as light emission/reception setting patterns according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining switching between pattern 1 and pattern 2 according to the embodiment of the present disclosure
  • FIG. 10 is a diagram showing Example 2 of a light receiving/emitting setting pattern according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining distances and visual field ranges for each of pattern 1 and pattern 2 as light receiving/emitting setting patterns according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining switching between pattern 1 and pattern 2 according to the embodiment of the present disclosure
  • 7 is a flow chart showing the flow of Example 1 of processing for switching light receiving and emitting setting patterns according to the embodiment of the present disclosure
  • FIG. 11 is a flow chart showing a flow of Example 2 of processing for switching light receiving and emitting setting patterns according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining switching between pattern 1 and pattern 2 according to the embodiment of the present disclosure
  • 7 is a flow chart showing the flow of Example 1 of processing for switching light receiving and emitting setting patterns according to the embodiment of the present disclosure
  • FIG. 11 is a flow chart showing a flow of Example 2 of processing for switching light receiving and emitting setting patterns according to the embodiment of the present disclosure
  • Embodiments for implementing the present technology will be described below. The explanation is given in the following order.
  • Embodiment 1-1 Configuration example of vehicle control system 1-2. Range finder (ToF sensor) 1-3. Optical system 1-4.
  • Light receiving unit 1-5 SPAD array of detection area 1-6.
  • SPAD pixel 1-7 Example of schematic operation of SPAD pixel 1-8.
  • SPAD adder 1-9 Sampling cycle 1-10.
  • Light emission and light reception processing based on set pattern 1-11.
  • Example 2 of Switching Process of Receiving and Emitting Setting Patterns 1-13 Action and effect 2.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle control system 11, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information accumulation unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a driving It has a support/automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • vehicle control ECU Electronic Control Unit
  • communication unit 22 includes a communication unit 22, a map information accumulation unit 23, a position information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a storage unit 28, a driving It has a support/automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • Vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, storage unit 28, driving support/automatic driving control unit 29, driver monitoring system ( DMS) 30 , human machine interface (HMI) 31 , and vehicle control unit 32 are connected via a communication network 41 so as to be able to communicate with each other.
  • the communication network 41 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 41 may be used properly depending on the type of data to be transmitted.
  • CAN may be applied to data related to vehicle control
  • Ethernet may be applied to large-capacity data.
  • each part of the vehicle control system 11 performs wireless communication assuming relatively short-range communication such as near field communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 41. may be connected directly using NFC (Near Field Communication) or Bluetooth (registered trademark)
  • the vehicle control ECU 21 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 21 controls the functions of the entire vehicle control system 11 or a part thereof.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 22 can perform communication using a plurality of communication methods.
  • the communication unit 22 is, for example, a wireless communication system such as 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 22 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 22 can communicate with a terminal located near the vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving bodies that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 22 can also perform V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 22 can receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over The Air).
  • the communication unit 22 can also receive map information, traffic information, information around the vehicle 1, and the like from the outside.
  • the communication unit 22 can transmit information about the vehicle 1, information about the surroundings of the vehicle 1, and the like to the outside.
  • the information about the vehicle 1 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 1, recognition results by the recognition unit 73, and the like.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as e-call.
  • the communication unit 22 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the communication with the inside of the vehicle that can be performed by the communication unit 22 will be described schematically.
  • the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 22 performs wireless communication with devices in the vehicle using a communication method such as wireless LAN, Bluetooth, NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed higher than a predetermined value. can be done.
  • the communication unit 22 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 22 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 22 performs digital two-way communication at a predetermined communication speed or higher through wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). can communicate with each device in the vehicle.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • equipment in the vehicle refers to equipment that is not connected to the communication network 41 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 23 accumulates one or both of the map obtained from the outside and the map created by the vehicle 1. For example, the map information accumulation unit 23 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in accuracy than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided to the vehicle 1 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, and based on the sensing results of the camera 51, radar 52, LiDAR 53, etc., as a map for matching with a local map described later. It may be created by the vehicle 1 and stored in the map information storage unit 23 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 1 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 24 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires the position information of the vehicle 1 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 29 .
  • the location information acquisition unit 24 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 25 includes various sensors used for recognizing situations outside the vehicle 1 and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
  • the configuration is not limited to this, and the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51 , radar 52 , LiDAR 53 , and ultrasonic sensor 54 .
  • the numbers of cameras 51 , radars 52 , LiDARs 53 , and ultrasonic sensors 54 are not particularly limited as long as they are realistically installable in the vehicle 1 .
  • the type of sensor provided in the external recognition sensor 25 is not limited to this example, and the external recognition sensor 25 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 25 will be described later.
  • the imaging method of the camera 51 is not particularly limited.
  • cameras of various shooting methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are shooting methods capable of distance measurement, can be applied to the camera 51 as necessary.
  • the camera 51 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 25 can include an environment sensor for detecting the environment with respect to the vehicle 1.
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11 .
  • the types and number of various sensors included in the in-vehicle sensor 26 are not particularly limited as long as they are the types and number that can be realistically installed in the vehicle 1 .
  • the in-vehicle sensor 26 can include one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the in-vehicle sensor 26 for example, cameras of various shooting methods capable of distance measurement, such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera, can be used.
  • the camera included in the in-vehicle sensor 26 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the biosensors included in the in-vehicle sensor 26 are provided, for example, on a seat, a steering wheel, or the like, and detect various biometric information of a passenger such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each section of the vehicle control system 11.
  • the types and number of various sensors included in the vehicle sensor 27 are not particularly limited as long as the types and number are practically installable in the vehicle 1 .
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the storage unit 28 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 28 is used, for example, as EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 28 stores various programs and data used by each unit of the vehicle control system 11 .
  • the storage unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information on the vehicle 1 before and after an event such as an accident and information acquired by the in-vehicle sensor 26.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automatic driving control unit 29 controls driving support and automatic driving of the vehicle 1 .
  • the driving support/automatic driving control unit 29 includes an analysis unit 61 , an action planning unit 62 and an operation control unit 63 .
  • the analysis unit 61 analyzes the vehicle 1 and its surroundings.
  • the analysis unit 61 includes a self-position estimation unit 71 , a sensor fusion unit 72 and a recognition unit 73 .
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map accumulated in the map information accumulation unit 23. For example, the self-position estimation unit 71 generates a local map based on sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map and the high-precision map.
  • the position of the vehicle 1 is based on, for example, the center of the rear wheel versus axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 1 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 73 for detection processing and recognition processing of the situation outside the vehicle 1 .
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 combines a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 73 executes a detection process for detecting the situation outside the vehicle 1 and a recognition process for recognizing the situation outside the vehicle 1 .
  • the recognition unit 73 performs detection processing and recognition processing of the situation outside the vehicle 1 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, and the like. .
  • the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 1 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 73 detects objects around the vehicle 1 by clustering the point cloud based on sensor data from the radar 52 or the LiDAR 53 or the like for each cluster of point groups. As a result, presence/absence, size, shape, and position of objects around the vehicle 1 are detected.
  • the recognizing unit 73 detects the movement of objects around the vehicle 1 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51 . Further, the recognition unit 73 may recognize types of objects around the vehicle 1 by performing recognition processing such as semantic segmentation.
  • the recognition unit 73 based on the map accumulated in the map information accumulation unit 23, the estimation result of the self-position by the self-position estimation unit 71, and the recognition result of the object around the vehicle 1 by the recognition unit 73, Recognition processing of traffic rules around the vehicle 1 can be performed. Through this processing, the recognition unit 73 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, the lanes in which the vehicle can travel, and the like.
  • the recognition unit 73 can perform recognition processing of the environment around the vehicle 1 .
  • the surrounding environment to be recognized by the recognition unit 73 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan section 62 creates an action plan for the vehicle 1.
  • the action planning unit 62 creates an action plan by performing route planning and route following processing.
  • global path planning is the process of planning a rough route from the start to the goal. This route planning is called trajectory planning, and in the planned route, trajectory generation (local path planning) that can proceed safely and smoothly in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 62 can, for example, calculate the target speed and the target angular speed of the vehicle 1 based on the result of this route following processing.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to implement the action plan created by the action planning unit 62.
  • the operation control unit 63 controls a steering control unit 81, a brake control unit 82, and a drive control unit 83 included in the vehicle control unit 32, which will be described later, so that the vehicle 1 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 63 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 30 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31, which will be described later.
  • As the state of the driver to be recognized for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, etc. are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 30 may perform recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 31 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 31 comprises an input device for human input of data.
  • the HMI 31 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 11 .
  • the HMI 31 includes operators such as a touch panel, buttons, switches, and levers as input devices.
  • the HMI 31 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 31 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 11 .
  • the presentation of data by HMI31 will be briefly explained.
  • the HMI 31 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 31 performs output control for controlling the output, output content, output timing, output method, and the like of each generated information.
  • the HMI 31 generates and outputs visual information such as an operation screen, a status display of the vehicle 1, a warning display, an image such as a monitor image showing the situation around the vehicle 1, and information indicated by light.
  • the HMI 31 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, warning messages, etc., as auditory information.
  • the HMI 31 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, or a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 31 can also use a display device provided in the vehicle 1 such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • Audio speakers, headphones, and earphones can be applied as output devices for the HMI 31 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 31 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 1 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 32 controls each unit of the vehicle 1.
  • the vehicle control section 32 includes a steering control section 81 , a brake control section 82 , a drive control section 83 , a body system control section 84 , a light control section 85 and a horn control section 86 .
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 82 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 83 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls the states of various lights of the vehicle 1 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 85 includes a light ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1 .
  • the horn control unit 86 includes, for example, a horn ECU for controlling the car horn, an actuator for driving the car horn, and the like.
  • FIG. 2 is a diagram showing an example of sensing areas by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 2 schematically shows the vehicle 1 viewed from above, the left end side is the front end (front) side of the vehicle 1, and the right end side is the rear end (rear) side of the vehicle 1.
  • a sensing area 101F and a sensing area 101B are examples of sensing areas of the ultrasonic sensor 54.
  • FIG. The sensing area 101 ⁇ /b>F covers the periphery of the front end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing area 101B covers the periphery of the rear end of the vehicle 1 with a plurality of ultrasonic sensors 54 .
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking assistance of the vehicle 1 and the like.
  • Sensing areas 102F to 102B show examples of sensing areas of the radar 52 for short or medium range.
  • the sensing area 102F covers the front of the vehicle 1 to a position farther than the sensing area 101F.
  • the sensing area 102B covers the rear of the vehicle 1 to a position farther than the sensing area 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1 .
  • the sensing area 102R covers the rear periphery of the right side surface of the vehicle 1 .
  • the sensing result in the sensing area 102F is used, for example, to detect vehicles, pedestrians, etc. existing in front of the vehicle 1.
  • the sensing result in the sensing area 102B is used for the rear collision prevention function of the vehicle 1, for example.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, to detect an object in a blind spot on the side of the vehicle 1, or the like.
  • Sensing areas 103F to 103B show examples of sensing areas by the camera 51 .
  • the sensing area 103F covers the front of the vehicle 1 to a position farther than the sensing area 102F.
  • the sensing area 103B covers the rear of the vehicle 1 to a position farther than the sensing area 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1 .
  • the sensing area 103R covers the periphery of the right side surface of the vehicle 1 .
  • the sensing results in the sensing area 103F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • a sensing result in the sensing area 103B can be used for parking assistance and a surround view system, for example.
  • Sensing results in the sensing area 103L and the sensing area 103R can be used, for example, in a surround view system.
  • the sensing area 104 shows an example of the sensing area of the LiDAR53.
  • the sensing area 104 covers the front of the vehicle 1 to a position farther than the sensing area 103F.
  • the sensing area 104 has a narrower lateral range than the sensing area 103F.
  • the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 105 shows an example of a sensing area of the long-range radar 52 .
  • the sensing area 105 covers the front of the vehicle 1 to a position farther than the sensing area 104 .
  • the sensing area 105 has a narrower lateral range than the sensing area 104 .
  • the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the cameras 51, the radar 52, the LiDAR 53, and the ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 1 , and the LiDAR 53 may sense the rear of the vehicle 1 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • FIG. 3 is a diagram showing a schematic configuration example of the ToF sensor 110 as a distance measuring device according to this embodiment.
  • the ToF sensor 110 is used as the camera 51 such as the ToF camera described above, the LiDAR 53, and the like.
  • the ToF sensor 110 that has a plurality of pixels arranged in a two-dimensional grid and obtains a ranging image will be described.
  • the ToF sensor 110 includes a control unit 111, a light emitting unit 113, a light receiving unit 114, a computing unit 115, and an external interface (I/F) 119.
  • the light emitting unit 113 includes, for example, one or a plurality of semiconductor laser diodes as a light source, and emits pulsed laser light L1 with a predetermined time width at a predetermined cycle (also referred to as a light emission cycle). Further, the light emitting unit 113 emits a laser beam L1 having a period of 1 MHz (megahertz) and a duration of 1 ns (nanoseconds), for example. For example, when an object 190 exists within the distance measurement range, the laser beam L1 emitted from the light emitting unit 113 is reflected by this object 190 and enters the light receiving unit 114 as reflected light L2.
  • the light-receiving unit 114 includes, for example, a plurality of SPAD pixels (an example of light-receiving elements) arranged in a two-dimensional grid, and the number of SPAD pixels that detect incident photons after the light-emitting unit 113 emits light. Information on the number (hereinafter referred to as the number of detections) (for example, corresponding to the number of detection signals described later) is output. For example, the light receiving unit 114 detects incident photons at a predetermined sampling period for one light emission of the light emitting unit 113, and outputs the number of detected photons.
  • the calculation unit 115 aggregates the number of detections output from the light receiving unit 114 for each of a plurality of SPAD pixels (e.g., corresponding to one or more macro pixels described later), and based on the pixel values obtained by the aggregation, A histogram is created with the flight time on the horizontal axis and the cumulative pixel value on the vertical axis. For example, the calculation unit 115 repeatedly executes the calculation of the number of detections at a predetermined sampling frequency for one light emission of the light emitting unit 113 to obtain a pixel value for multiple light emissions of the light emitting unit 113. Thus, a histogram is created in which the horizontal axis (bins of the histogram) is the sampling period corresponding to the flight time, and the vertical axis is the cumulative pixel value obtained by accumulating the pixel values obtained in each sampling period.
  • the computing unit 115 identifies the time of flight when the cumulative pixel value reaches a peak from the filtered histogram. Based on the specified flight time, the computing unit 115 then calculates the distance from the ToF sensor 110 or the device equipped with it to the object 190 existing within the range-finding range. Information on the distance calculated by the calculation unit 115 may be output to the host 180 or the like via the external I/F 119, for example.
  • the control unit 111 is composed of an information processing device such as a CPU (Central Processing Unit), for example, and controls each part of the ToF sensor 110 .
  • a CPU Central Processing Unit
  • the external I/F 119 is, for example, wireless LAN (Local Area Network), wired LAN, CAN (Controller Area Network), LIN (Local Interconnect Network), FlexRay (registered trademark), and other communication networks conforming to arbitrary standards. may be a communication adapter for establishing communication with an external host 180 via the .
  • the host 180 may be, for example, an ECU (Engine Control Unit) mounted on an automobile or the like when the ToF sensor 110 is mounted on the automobile or the like.
  • an autonomous mobile robot such as a home pet robot, a robot vacuum cleaner, an unmanned aircraft, a tracking transport robot, or the like
  • the host 180 controls the autonomous mobile robot. It may be a control device or the like that
  • FIG. 4 is a diagram for explaining the optical system of the ToF sensor 110 according to this embodiment. Note that FIG. 4 illustrates a so-called scanning optical system that scans the angle of view of the light receiving unit 114 in the horizontal direction, but is not limited thereto. A flash type ToF sensor is also possible.
  • the ToF sensor 110 includes a light source 131, a projection lens 132, a mirror 133, a galvanomirror 135, a light reception lens 146, and a SPAD array 141 as an optical system.
  • the light source 131, the projection lens 132, the mirror 133 and the galvanomirror 135 are included in the light emitting section 113 in FIG. 3, for example.
  • the light receiving lens 146 and the SPAD array 141 are included in the light receiving section 114 in FIG. 3, for example.
  • the laser beam L1 emitted from the light source 131 is converted by the projection lens 132 into a rectangular parallel beam whose cross-sectional intensity spectrum is long in the vertical direction, and then enters the mirror 133 .
  • the mirror 133 reflects the incident laser beam L1.
  • the laser beam L1 reflected by the mirror 133 is incident on the galvanomirror 135 .
  • the galvanomirror 135 vibrates in the horizontal direction about a predetermined rotation axis by the drive unit 134 that operates under the control of the control unit 111, for example.
  • the laser beam L1 is horizontally scanned so that the angle of view SR of the laser beam L1 reflected by the galvanomirror 135 reciprocally scans the range AR in the horizontal direction.
  • a MEMS Micro Electro Mechanical System
  • a micro motor or the like can be used for the drive unit 134 .
  • the laser beam L1 reflected by the galvanomirror 135 is reflected by an object 190 existing within the ranging range AR and enters the galvanomirror 135 as reflected light L2.
  • the reflected light L2 incident on the galvanomirror 135 passes above or below the mirror 133 and enters the light receiving lens 146, thereby forming an image on a specific SPAD array 142 in the SPAD array 141.
  • the SPAD array 142 may be the entire SPAD array 141 or a part thereof.
  • FIG. 5 is a block diagram showing a schematic configuration example of the light receiving unit 114 according to this embodiment.
  • the light receiving section 114 includes a SPAD array 141, a timing control circuit 143, a drive circuit 144, and an output circuit 145.
  • the SPAD array 141 includes a plurality of SPAD pixels 120 arranged in a two-dimensional lattice.
  • a pixel drive line LD (in the vertical direction in the drawing) is connected for each column, and an output signal line LS (in the horizontal direction in the drawing) is connected for each row.
  • One end of the pixel drive line LD is connected to the output end corresponding to each column of the drive circuit 144, and one end of the output signal line LS is connected to the input end of the output circuit 145 corresponding to each row.
  • all or part of the SPAD array 141 is used to detect the reflected light L2.
  • the detection area used in the SPAD array 141 may be the same vertically long rectangle as the image of the reflected light L2 that would be imaged on the SPAD array 141 if the entire laser light L1 were reflected as the reflected light L2. .
  • it is not limited to this, and may be variously modified such as a region larger or smaller than the image of the reflected light L2 formed on the SPAD array 141 .
  • the timing control circuit 143 includes a timing generator that generates various timing signals, and controls the drive circuit 144 and the output circuit 145 based on the various timing signals generated by the timing generator.
  • the drive circuit 144 includes a shift register, an address decoder, and the like, and drives each SPAD pixel 120 of the SPAD array 141 simultaneously for all pixels or in units of columns.
  • drive circuitry 144 includes circuitry for applying a quench voltage V_QCH to each SPAD pixel 120 in a selected column in SPAD array 141 and circuitry for applying a select control voltage V_SEL to each SPAD pixel 120 in a selected column.
  • the drive circuit 144 selects the SPAD pixels 120 used for detecting incident photons on a column-by-column basis by applying a selection control voltage V_SEL to the pixel drive line LD corresponding to the column to be read.
  • a signal (called a detection signal) V_OUT output from each SPAD pixel 120 in a column selectively scanned by the drive circuit 144 is input to the output circuit 145 through each of the output signal lines LS.
  • the output circuit 145 outputs the detection signal V_OUT input from each SPAD pixel 120 to the SPAD addition section 140 provided for each macro pixel 130, which will be described later.
  • FIG. 6 is a schematic diagram showing a schematic configuration example of the SPAD array 142 in the detection area according to this embodiment.
  • the SPAD array 142 has, for example, a configuration in which a plurality of SPAD pixels 120 are arranged in a two-dimensional lattice. Each SPAD pixel 120 is grouped into multiple macro pixels 130 .
  • the macro pixel 130 is composed of a predetermined number of SPAD pixels 120 arranged in rows and/or columns.
  • the macro pixel 130 has a predetermined shape (for example, a rectangle such as a rectangle or a square).
  • the SPAD array 142 is composed of a plurality of macro pixels 130 arranged in the vertical direction (corresponding to the column direction), but it is not limited to this.
  • the length of the SPAD array 142 in the row direction corresponds to the angle of view SR of the laser beam L1.
  • FIG. 7 is a circuit diagram showing a schematic configuration example of the SPAD pixel 120 according to this embodiment.
  • the SPAD pixel 120 includes a photodiode 121 as a light receiving element and a readout circuit 122 that detects incident photons on the photodiode 121 .
  • the photodiode 121 generates an avalanche current when a photon is incident while a reverse bias voltage V_SPAD equal to or higher than the breakdown voltage is applied between the anode and cathode.
  • photodiode 121 is a SPAD.
  • the SPAD is an avalanche photodiode that operates in Geiger mode when a reverse bias voltage V_SPAD equal to or higher than the breakdown voltage is applied between its anode and cathode, and can detect the incidence of one photon. be.
  • the readout circuit 122 includes a quench resistor 123 , a selection transistor 124 , a digital converter 125 , an inverter 126 and a buffer 127 .
  • the quench resistor 123 is composed of, for example, an N-type MOSFET (Metal Oxide Semiconductor Field Effect Transistor: hereinafter referred to as an NMOS transistor), its drain is connected to the anode of the photodiode 121, and its source is connected via the selection transistor 124 Grounded.
  • a quench voltage V_QCH which is set in advance to cause the NMOS transistor to act as a quench resistor, is applied to the gate of the NMOS transistor that constitutes the quench resistor 123 from the drive circuit 144 via the pixel drive line LD. .
  • the select transistor 124 is, for example, an NMOS transistor whose drain is connected to the source of the NMOS transistor that constitutes the quench resistor 123 and whose source is grounded.
  • the select transistor 124 is connected to the drive circuit 144, and when the select control voltage V_SEL from the drive circuit 144 is applied to the gate of the select transistor 124 through the pixel drive line LD, the select transistor 124 changes from an off state to an on state. .
  • the digital converter 125 includes a resistor 125a and an NMOS transistor 125b.
  • the NMOS transistor 125b has its drain connected to the power supply voltage VDD through the resistor 125a and its source grounded. Also, the voltage at the connection point N1 between the anode of the photodiode 121 and the quench resistor 123 is applied to the gate of the NMOS transistor 125b.
  • the inverter 126 includes a P-type MOSFET (hereinafter referred to as PMOS transistor) 126a and an NMOS transistor 126b.
  • the PMOS transistor 126a has its drain connected to the power supply voltage VDD and its source connected to the drain of the NMOS transistor 126b.
  • the NMOS transistor 126b has its drain connected to the source of the PMOS transistor 126a and its source grounded.
  • a voltage at a connection point N2 between the resistor 125a and the drain of the NMOS transistor 125b is applied to the gate of the PMOS transistor 126a and the gate of the NMOS transistor 126b.
  • the output of inverter 126 is input to buffer 127 .
  • the buffer 127 is a circuit for impedance conversion, and when an output signal is input from the inverter 126, it impedance-converts the input output signal and outputs it as a detection signal V_OUT.
  • the readout circuit 122 illustrated in FIG. 7 operates, for example, as follows.
  • a reverse bias voltage V_SPAD equal to or higher than the breakdown voltage is applied to the photodiode 121 . be done. This permits the photodiode 121 to operate.
  • the selection control voltage V_SEL is not applied from the drive circuit 144 to the selection transistor 124, and the reverse bias voltage V_SPAD is not applied to the photodiode 121 during the period in which the selection transistor 124 is in the OFF state. operation is prohibited.
  • the buffer 127 outputs a high-level detection signal V_OUT.
  • the voltage applied between the anode and cathode of the photodiode 121 becomes smaller than the breakdown voltage, thereby stopping the avalanche current and causing the voltage at the node N1 to drop. Voltage drops. Then, when the voltage at the connection point N1 becomes lower than the ON voltage of the NMOS transistor 452, the NMOS transistor 452 is turned off, and the output of the detection signal V_OUT from the buffer 127 is stopped (low level).
  • the avalanche current is stopped and the NMOS transistor 452 is turned off at the timing when photons are incident on the photodiode 121 to generate an avalanche current and the NMOS transistor 452 is turned on.
  • a high-level detection signal V_OUT is output until the timing is reached.
  • the detection signal V_OUT output from the readout circuit 122 is input to the SPAD adder 140 for each macro pixel 130 via the output circuit 145 . Therefore, each SPAD addition unit 140 is supplied with a detection signal V_OUT representing the number of SPAD pixels 120 (detected number) among the plurality of SPAD pixels 120 forming one macro pixel 130 for which incident photons have been detected. .
  • FIG. 8 is a block diagram showing a more detailed configuration example of the SPAD adder 140 according to this embodiment. Note that the SPAD addition unit 140 may be included in the light receiving unit 114 or may be included in the calculation unit 115 .
  • the SPAD adding section 140 includes, for example, a pulse shaping section 140a and a light receiving number counting section 140b.
  • the pulse shaping section 140 a shapes the pulse waveform of the detection signal V_OUT input from the SPAD array 141 via the output circuit 145 into a pulse waveform with a time width corresponding to the operation clock of the SPAD addition section 140 .
  • the light-receiving number counting unit 140b counts the detection signal V_OUT input from the corresponding macro pixel 130 in each sampling period, thereby counting the number (detection number) of the SPAD pixels 120 in which incident photons are detected in each sampling period. count (eg, histogram) and output this count as the pixel value of the macro pixel 130 .
  • the sampling period is a period for measuring the time (flight time) from when the light emitting unit 113 emits the laser light L1 until when the light receiving unit 114 detects the incident photons.
  • a period shorter than the light emission period of the light emitting unit 113 is set as the sampling period. For example, by shortening the sampling period, it is possible to calculate the time of flight of photons emitted from the light emitting unit 113 and reflected by the object 190 with higher time resolution. This means that the distance to the object 190 can be calculated with higher ranging resolution by increasing the sampling frequency.
  • the sampling period is 1 ns (nanoseconds). In that case, one sampling period corresponds to 15 cm (centimeter). This indicates that the ranging resolution is 15 cm when the sampling frequency is 1 GHz. If the sampling frequency is doubled to 2 GHz, the sampling period is 0.5 ns (nanoseconds), so one sampling period corresponds to 7.5 cm (centimeters). This indicates that if the sampling frequency is doubled, the ranging resolution can be halved. Thus, by increasing the sampling frequency and shortening the sampling period, it is possible to calculate the distance to the object 190 with higher accuracy.
  • FIG. 9 is a block diagram showing a schematic configuration example of the ToF sensor 110 regarding light emission and light reception processing based on the set pattern according to this embodiment.
  • FIG. 10 is a diagram for explaining light emission and light reception processing based on the setting pattern according to this embodiment.
  • the ToF sensor 110 includes a storage section 112 in addition to the above-described control section 111, light emitting section 113, light receiving section 114, and the like.
  • the storage unit 112 stores various information.
  • the pattern is a light emitting/receiving setting pattern.
  • This light receiving/emitting setting pattern includes a light emitting setting pattern of the light emitting unit 113 and a light receiving setting pattern of the light receiving unit 114 .
  • the light emission setting pattern is parameter settings for the light emitting unit 113 , that is, light emission setting information regarding operating conditions of the light emitting unit 113 .
  • This light emission setting pattern includes, for example, information such as the number of laser light emission times and light emission timing.
  • the light receiving setting pattern is information regarding parameter settings for the light receiving unit 114 , that is, operating conditions of the light receiving unit 114 .
  • This light reception setting pattern includes information such as the number of pixels, field of view, angular resolution, and sampling frequency.
  • the control unit 111 changes the light receiving/emitting setting pattern for each frame, which is the unit of acquisition of the ranging image.
  • the control unit 111 alternately switches pattern 1 and pattern 2 as a light receiving/emitting setting pattern (a light receiving setting pattern and a light emitting setting pattern) for each frame. That is, the control unit 111 controls the light emitting unit 113 and the light receiving unit 114 based on pattern 1 or pattern 2.
  • the light emitting unit 113 performs light emitting operation based on pattern 1 or pattern 2
  • the light receiving unit 114 also performs light receiving operation based on pattern 1 or pattern 2.
  • the distance measurement performance required for the ToF sensor 110 for short distance/long distance is different.
  • the same individual ToF sensor 110 can optimize the short-range/long-range ranging performance.
  • the light receiving and emitting setting pattern is fixed.
  • the light reception setting pattern such as the number of pixels in the frame and the sampling period
  • the light emission setting pattern such as the number of times of light emission and the light emission timing
  • the control unit 111 switches the light reception/emission setting pattern for each frame, so that the number of pixels, the sampling period, the number of times of light emission, the light emission timing, and the like can be appropriately changed for each frame.
  • the control unit 111 can switch the number of pixels of the ToF sensor 110, the sampling frequency, and the like for each frame to control the light emitting unit 113 and the light receiving unit 114 by switching the light receiving/emitting setting pattern for each frame.
  • the number of times of light emission, the light emission timing, etc. can be switched at the same time, so that the detection distance can be ensured and the optimization to the laser safety standard can be realized.
  • the light receiving/emitting setting pattern is switched for each frame in the present embodiment, it is not limited to this, and for example, one of the light receiving setting pattern and the light emitting setting pattern may be switched for each frame. That is, one or both of the light reception setting pattern and the light emission setting pattern may be changed for each frame. In addition, although the light receiving/emitting setting pattern is changed for each frame, it is not limited to this. good.
  • FIG. 11 is a diagram showing Example 1 of the light receiving/emitting setting pattern according to the present embodiment.
  • FIG. 12 is a diagram for explaining the macro pixels 130 for each of pattern 1 and pattern 2 as light receiving/emitting setting patterns according to the present embodiment.
  • FIG. 13 is a diagram for explaining switching between pattern 1 and pattern 2 according to the present embodiment.
  • Example 1 of the light receiving/emitting setting pattern according to the present embodiment is an example of a mechanical ToF sensor 110 in which the galvanomirror 135 (or polygon mirror) rotates at a constant speed and the irradiation angle is fixed.
  • Pattern items include number of SPADs/pixel (number of SPADs per pixel), number of pixels (horizontal direction), number of pixels (vertical direction), field of view FOV (horizontal direction), FOV (vertical direction), angle There are resolution (horizontal direction), angular resolution (vertical direction), sampling frequency, upsampling, and the number of laser emission times. It should be noted that the item of pattern in FIG. 11 is an example and is not limited. In the example of FIG.
  • pattern 1 is a long distance light receiving/emitting setting pattern (an example of a first light receiving/emitting setting pattern), and pattern 2 is a short distance light receiving/emitting setting pattern (an example of a second light emitting/emitting setting pattern).
  • pattern 1 is larger in terms of the number of SPADs/pixel
  • pattern 2 is larger in terms of the number of pixels (horizontal direction) and the number of pixels (vertical direction).
  • Pattern 1 and pattern 2 are the same in terms of FOV (horizontal direction) and FOV (vertical direction)
  • pattern 1 is larger in terms of angular resolution (horizontal direction) and angular resolution (vertical direction).
  • the sampling frequency and up-sampling of pattern 2 are greater, and the number of laser emission times of pattern 1 is greater.
  • pattern 1 is 6 ⁇ 6 [SPAD] and pattern 2 is 3 ⁇ 3 [SPAD]. That is, as shown in FIG. 12, in pattern 1, the macro pixel 130 includes the SPAD pixels 120 in a 6 ⁇ 6 square, and in pattern 2, the macro pixel 130 includes the SPAD pixels 120 in 3 ⁇ 3 squares. Contain in a square shape. Pattern 2 is a pattern with higher angular resolution than pattern 1 . Note that the macro pixel 130 is one pixel in the ranging image.
  • pattern 2 is used at short distances and pattern 1 (see FIG. 11) is used at long distances.
  • pattern 2 is a short-distance light emitting/receiving setting pattern capable of measuring up to a first distance
  • pattern 1 is a long-distance light emitting/receiving setting pattern capable of measuring a second distance that is farther than the first distance.
  • the sampling frequency is high, the resolution of 1 bin is high, but the distance range is narrow.
  • the sampling frequency is 1 GHz, 1 bin is 15 cm, and 2000 bins is a distance range of 300 m.
  • the sampling frequency is 2 GHz, 1 bin is 7.5 cm, and 2000 bins is a distance range of 150 m.
  • the number of times of laser emission is matched to the angular resolution of light reception. For example, when the horizontal angular resolution is 0.2°, the light emitting unit 113 continues to emit light while the galvanomirror 135 (or polygon mirror) rotates by an irradiation angle of 0.2°, so the angular resolution is 0.1°. As compared with the case of °, the number of times of light emission is increased.
  • FIG. 14 is a diagram showing Example 2 of the light receiving/emitting setting pattern according to the present embodiment.
  • FIG. 15 is a diagram for explaining the distance and visual field range for each of pattern 1 and pattern 2 as light receiving/emitting setting patterns according to the present embodiment.
  • FIG. 16 is a diagram for explaining switching between pattern 1 and pattern 2 according to the present embodiment.
  • the ToF sensor 110 may generally have low angular resolution and high distance resolution at short distances. Also, at a long distance, the angular resolution should be high, and the distance resolution may be low.
  • Example 2 of the light receiving/emitting setting pattern according to the present embodiment in order to increase the angular resolution at a long distance, a MEMS mirror, OPA, or LATM is used as the beam scanning device instead of the galvanomirror 135 (or polygon mirror). , LCM, etc., using a device capable of changing the deflection angle for each frame.
  • pattern 1 and pattern 2 are set. Similar to FIG. 11, the pattern items are the number of SPADs/pixel (the number of SPADs per pixel), the number of pixels (horizontal direction), the number of pixels (vertical direction), the field of view FOV (horizontal direction), and the field of view. There is a certain FOV (vertical direction), angular resolution (horizontal direction), angular resolution (vertical direction), sampling frequency, upsampling, and laser firing times. It should be noted that the item of pattern in FIG. 14 is an example and is not limited. In the example of FIG.
  • pattern 1 is a light receiving/emitting setting pattern for short distances (an example of a second light receiving/emitting setting pattern), and pattern 2 is a light receiving/emitting setting pattern for long distances (an example of a first light emitting/receiving setting pattern).
  • pattern 1 is larger in terms of the number of SPADs/pixel
  • pattern 1 is larger in terms of pixel count (horizontal direction)
  • pattern 1 and pattern 2 are the same in terms of pixel count (vertical direction).
  • Pattern 1 has a larger FOV (horizontal direction)
  • pattern 1 has a larger FOV (vertical direction)
  • pattern 1 has a larger angular resolution (horizontal direction) and angular resolution (vertical direction).
  • the sampling frequency and up-sampling are greater in pattern 1, and the number of times of laser emission is greater in pattern 2.
  • the FOV horizontal direction
  • pattern 1 is 19.2 [Degree]
  • pattern 2 is 9.6 [Degree]. That is, the field of view of pattern 2 is narrower than that of pattern 1, as shown in FIG. Pattern 2 has a larger number of times of laser emission than pattern 1, and the detectable distance of pattern 2 is longer than that of pattern 1. In other words, the detectable distance range of pattern 2 is wider than that of pattern 1.
  • the field of view is narrowed.
  • narrowing the field of view it is possible to increase the number of laser beams that can be emitted per angular resolution, thereby extending the detectable distance while increasing the angular resolution. Since the number of times that laser light can be emitted in one frame is fixed, the number of light emissions per angular resolution can be increased when the field of view is narrow, but the reverse is true when the field of view is wide.
  • pattern 1 is used at short distances and pattern 2 (see FIG. 14) is used at long distances.
  • pattern 1 is a short-distance light emitting/receiving setting pattern capable of measuring up to a first distance
  • pattern 2 is a long-distance light emitting/receiving setting pattern capable of measuring a second distance that is farther than the first distance.
  • FIG. 17 is a flowchart showing the flow of Example 1 of the processing for switching the light receiving/emitting setting pattern according to the present embodiment.
  • the vehicle sensor 27 measures the vehicle speed.
  • the control unit 111 of the ToF sensor 110 determines whether the vehicle speed measured by the vehicle sensor 27 is faster than a predetermined threshold.
  • the control unit 111 determines that the vehicle speed is higher than the predetermined threshold (Yes in step S12)
  • the pattern 1 and pattern 2 of the second example are switched frame by frame.
  • the control unit 111 determines that the vehicle speed is not faster than the predetermined threshold value (below the predetermined threshold value) (No in step S12)
  • the pattern 1 of the second embodiment is switched frame by frame. Use continuously without Such processing is repeated, for example, from engine start to stop.
  • the control unit 111 uses both pattern 1 and pattern 2, that is, the short-distance light reception/emission setting pattern and the long-distance light reception/emission setting pattern. alternately every frame.
  • the control unit 111 uses pattern 1, that is, the short-distance light reception/emission setting pattern, continuously for each frame. In this way, the control unit 111 selects one or both of the short-distance light reception/emission setting pattern and the long-distance light reception/emission setting pattern according to the moving speed of the vehicle (an example of the moving object) on which the ToF sensor 110 is mounted. use.
  • the light emitting unit 113 and the light receiving unit 114 operate, and the ToF sensor 110 performs distance measurement.
  • the ToF sensor 110 performs distance measurement.
  • FIG. 18 is a flow chart showing the flow of Example 2 of the switching process of the light receiving/emitting setting pattern according to the present embodiment.
  • step S21 the ToF sensor 110 measures all object distances within the field of view, that is, distances to objects (separation distances).
  • step S22 the control unit 111 of the ToF sensor 110 determines whether or not all distances are greater than a predetermined threshold.
  • the control unit 111 determines that all the distances are longer than the predetermined threshold value (Yes in step S22)
  • step S23 the pattern 2 of the second embodiment is continuously used without switching for each frame.
  • step S24 it determines whether or not all the distances are closer than the predetermined threshold.
  • step S25 if it is determined that all the distances are closer than the predetermined threshold (Yes in step S24), in step S25, pattern 1 of Example 2, which is the second example, is continuously used without switching for each frame. do.
  • step S26 when the control unit 111 determines that all the distances are not closer than the predetermined threshold value (No in step S24), in step S26, pattern 1 and pattern 2 of the second example, which is the second example, are applied to each frame. switch to Such processing is repeated, for example, from engine start to stop. Note that, for example, the threshold values in steps S22 and S24 are the same.
  • the control unit 111 uses pattern 2, that is, the long-distance light reception/emission setting pattern, and uses it continuously for each frame.
  • the control unit 111 uses pattern 1, that is, the short-distance light reception/emission setting pattern, and uses it continuously for each frame.
  • the control unit 111 selects pattern 1 and pattern 2, that is, light receiving and emitting for short distance.
  • Both the setting pattern and the long-distance light reception/emission setting pattern are used, and these patterns are alternately switched for each frame.
  • the control unit 111 selects one of the short-distance light reception/emission setting pattern and the long-distance light reception/emission setting pattern or use both.
  • the light emitting unit 113 and the light receiving unit 114 operate, and the ToF sensor 110 performs distance measurement. In this way, it is possible to change the light receiving/emitting setting pattern to be used according to the distance between the ToF sensor 110 and the object to be measured. It can improve performance.
  • the ToF sensor 110 which is an example of a ranging device, includes the light receiving unit 114 for obtaining a ranging image, and the first frame, which is a unit for obtaining a ranging image.
  • the light receiving setting pattern which is the operating condition of the light receiving unit 114, is set to the first light receiving setting pattern
  • the second frame which is the unit of acquisition of the range-finding image, is different from the first light receiving setting pattern.
  • a control unit 111 for setting the second light reception setting pattern.
  • the second light reception setting pattern is a short distance light reception setting pattern when the distance can be measured up to the first distance. It may be a long-distance light reception setting pattern when distance measurement is possible. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the number of pixels in the light reception setting pattern for long distance may be set smaller than the number of pixels in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the sampling frequency in the light reception setting pattern for long distance may be set lower than the sampling frequency in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the pixel size in the light reception setting pattern for long distance may be set larger than the pixel size in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the number of elements in a pixel in the light reception setting pattern for long distance may be set larger than the number of elements in the pixel in the light reception setting pattern for short distance.
  • the pixel size in the light reception setting pattern for long distance can be easily made larger than the pixel size in the light reception setting pattern for short distance.
  • the pixel size in the light reception setting pattern for long distance may be set smaller than the pixel size in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the number of elements in a pixel in the light reception setting pattern for long distance may be set smaller than the number of elements in the pixel in the light reception setting pattern for short distance.
  • the pixel size in the light reception setting pattern for long distance can be easily made smaller than the pixel size in the light reception setting pattern for short distance.
  • the field of view in the light reception setting pattern for long distance may be set narrower than the field of view in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the angular resolution in the light reception setting pattern for long distance may be set higher than the angular resolution in the light reception setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the ToF sensor 110 further includes a light emitting unit 113, and the control unit 111 sets the light emission setting pattern, which is the operating condition of the light emitting unit 113, to the first light emission setting pattern in the first frame, and sets the light emission setting pattern to the first light emission setting pattern in the second frame.
  • a second light emission setting pattern different from the first light emission setting pattern may be used.
  • the second light emission setting pattern is a light emission setting pattern for a short distance when the distance can be measured up to the first distance
  • the first light emission setting pattern extends to a second distance that is farther than the first distance. It may be a long-distance light emission setting pattern when distance measurement is possible. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • the number of times of light emission in the light emission setting pattern for long distance may be set to be larger than the number of light emission in the light emission setting pattern for short distance. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • control unit 111 may alternately switch between the first light reception setting pattern and the second light reception setting pattern for each frame, which is the unit of acquisition of the ranging image. As a result, it is possible to obtain an appropriate distance measurement performance while ensuring a desired detection distance.
  • control unit 111 uses one or both of the first light receiving setting pattern and the second light receiving setting pattern according to the moving speed of the moving object (for example, the vehicle 1) on which the ToF sensor 110 is mounted. may As a result, it is possible to change the light receiving/emitting setting pattern to be used according to the moving speed of the moving body, and it is possible to obtain appropriate distance measurement performance while ensuring a desired detection distance.
  • the second light reception setting pattern is a light reception setting pattern for a short distance when the distance can be measured up to the first distance.
  • the control unit 111 uses both the long-distance light reception setting pattern and the short distance light reception setting pattern when the moving speed of the moving object is faster than a predetermined threshold value. If the moving speed of the moving object is not faster than a predetermined threshold value, the light reception setting pattern for short distance may be used. As a result, it is possible to reliably change the light receiving/emitting setting pattern to be used according to the moving speed of the moving body.
  • control unit 111 may use one or both of the first light reception setting pattern and the second light reception setting pattern according to the distance from the measurement object (for example, the object 190 such as another car). .
  • the measurement object for example, the object 190 such as another car.
  • the second light reception setting pattern is a light reception setting pattern for a short distance when the distance can be measured up to the first distance.
  • the control unit 111 uses the long-distance light reception setting pattern when all separation distances with respect to a plurality of measurement objects are greater than a predetermined threshold, If the distance is closer than the predetermined threshold value, the light reception setting pattern for short distance is used, and if all the separation distances are neither far nor close than the predetermined threshold value, the light reception setting pattern for short distance and the light reception setting pattern for long distance are used. Both can be used. As a result, it is possible to reliably change the light reception/emission setting pattern to be used according to the distance from the object to be measured.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural It may be implemented as a device mounted on any type of moving object such as a machine (tractor).
  • a light receiving unit for obtaining a ranging image In a first frame, which is a unit for acquiring the ranging image, a light receiving setting pattern, which is an operating condition of the light receiving unit, is set to a first light receiving setting pattern, and the unit for acquiring the ranging image is different from that of the first frame.
  • the second light reception setting pattern is a light reception setting pattern for a short distance when the distance can be measured up to the first distance;
  • the first light reception setting pattern is a long-distance light reception setting pattern when the range can be measured up to a second distance that is farther than the first distance,
  • the distance measuring device according to (1) above.
  • (3) The number of pixels in the light reception setting pattern for long distance is smaller than the number of pixels in the light reception setting pattern for short distance, The distance measuring device according to (2) above.
  • the sampling frequency in the light reception setting pattern for long distance is lower than the sampling frequency in the light reception setting pattern for short distance, The distance measuring device according to (2) or (3) above.
  • the pixel size in the light reception setting pattern for long distance is larger than the pixel size in the light reception setting pattern for short distance, The distance measuring device according to any one of (2) to (4) above.
  • the number of elements in a pixel in the light reception setting pattern for long distance is greater than the number of elements in a pixel in the light reception setting pattern for short distance, The distance measuring device according to (5) above.
  • the pixel size in the light reception setting pattern for long distance is smaller than the pixel size in the light reception setting pattern for short distance, The distance measuring device according to any one of (2) to (4) above.
  • the number of elements in a pixel in the light reception setting pattern for long distance is smaller than the number of elements in a pixel in the light reception setting pattern for short distance, The distance measuring device according to (7) above.
  • the field of view in the light reception setting pattern for long distance is narrower than the field of view in the light reception setting pattern for short distance, The distance measuring device according to any one of (2) to (8) above.
  • the angular resolution in the light reception setting pattern for long distance is higher than the angular resolution in the light reception setting pattern for short distance, The distance measuring device according to any one of (2) to (9) above.
  • the control unit sets a light emission setting pattern, which is an operating condition of the light emitting unit, to a first light emission setting pattern in the first frame, and sets a second light emission setting pattern different from the first light emission setting pattern in the second frame. to the emission setting pattern of The distance measuring device according to any one of (1) to (10) above.
  • the second light emission setting pattern is a short-range light emission setting pattern when the distance can be measured up to the first distance;
  • the first light emission setting pattern is a long-distance light emission setting pattern when the range can be measured up to a second distance that is farther than the first distance.
  • the control unit alternately switches between the first light reception setting pattern and the second light reception setting pattern for each frame, which is a unit for acquiring the ranging image.
  • the distance measuring device according to any one of (1) to (13) above.
  • the control unit uses one or both of the first light reception setting pattern and the second light reception setting pattern according to the moving speed of the mobile body on which the rangefinder is mounted.
  • the distance measuring device according to any one of (1) to (14) above.
  • the second light reception setting pattern is a light reception setting pattern for a short distance when the distance can be measured up to the first distance;
  • the first light reception setting pattern is a long-distance light reception setting pattern when the range can be measured up to a second distance that is farther than the first distance,
  • the controller uses both the long-distance light receiving setting pattern and the short-distance light receiving setting pattern when the moving speed is faster than a predetermined threshold value, and uses the near distance light receiving setting pattern when the moving speed is not faster than the predetermined threshold value. using the light reception setting pattern for distance,
  • the distance measuring device according to (15) above.
  • the control unit uses one or both of the first light reception setting pattern and the second light reception setting pattern according to the distance from the measurement object, The distance measuring device according to any one of (1) to (16) above.
  • the second light reception setting pattern is a light reception setting pattern for a short distance when the distance can be measured up to the first distance;
  • the first light reception setting pattern is a long-distance light reception setting pattern when the range can be measured up to a second distance that is farther than the first distance,
  • the control unit uses the long-distance light reception setting pattern when all the distances to the plurality of measurement objects are greater than a predetermined threshold, and uses the near distance when all the distances to the measurement objects are closer than the predetermined threshold.
  • a light-receiving setting pattern which is an operating condition of a light-receiving unit for obtaining the range-finding image, is set to a first light-receiving setting pattern, and the pattern differs from the first frame. setting a second light reception setting pattern different from the first light reception setting pattern in a second frame, which is a unit for acquiring a ranging image; Ranging method.
  • a light-receiving setting pattern which is an operating condition of a light-receiving unit for obtaining the range-finding image, is set to a first light-receiving setting pattern, and the pattern differs from the first frame.
  • Control device A distance measuring method for measuring distance with the distance measuring device according to any one of (1) to (18) above.
  • a mobile device control system comprising the ranging device according to any one of (1) to (18) above.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示に係る一形態の測距装置の一例であるＴｏＦセンサ（１１０）は、測距画像を得るための受光部（１１４）と、前記測距画像の取得単位である第１のフレームにおいて、前記受光部（１１４）の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする制御部（１１１）と、を備える。

Description

測距装置、測距方法及び制御装置
　本開示は、測距装置、測距方法及び制御装置に関する。
　従来、ＬｉＤＡＲ（Light　Detection　and　Ranging）のように、外部へレーザ光を出射し、反射光を受光することで、反射体である測定対象物までの距離を測定する測距装置がある。このような測距装置では、複数のＳＰＡＤ（Single　Photon　Avalanche　Diode）により１画素を構成し、その１画素内のＳＰＡＤ個数を１フレーム内で変更する技術が提案されている（例えば、特許文献１参照）。
特開２０２０－１１２４４３号公報
　しかしながら、通常の測距装置では、フレーム毎のＳＰＡＤ個数やサンプリング周期等は固定されている。また、測距装置では、検出距離、距離精度、角度分解能は重要な指標であるが、これらはトレードオフの関係にある。このため、所望の検出距離を確保しつつ、適切な距離精度及び角度分解能、すなわち適切な測距性能を得ることは難しい。
　そこで、本開示では、所望の検出距離を確保しつつ、適切な測距性能を得ることが可能な測距装置、測距方法及び制御装置を提案する。
　本開示の実施形態に係る測距装置は、測距画像を得るための受光部と、前記測距画像の取得単位である第１のフレームにおいて、前記受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする制御部と、を備える。
　本開示の実施形態に係る測距方法は、測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする。
　本開示の実施形態に係る制御装置は、測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする。
本開示の実施形態に係る車両制御システムの構成例を示すブロック図である。 本開示の実施形態に係るセンシング領域の例を示す図である。 本開示の実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示すブロック図である。 本開示の実施形態に係るＴｏＦセンサの光学システムを説明するための図である。 本開示の実施形態に係る受光部の概略構成例を示すブロック図である。 本開示の実施形態に係る検出領域のＳＰＡＤアレイの概略構成例を示す模式図である。 本開示の実施形態に係るＳＰＡＤ画素の概略構成例を示す回路図である。 本開示の実施形態に係るＳＰＡＤ加算部のより詳細な構成例を示すブロック図である。 本開示の実施形態に係る設定パターンに基づく発光及び受光処理に関するＴｏＦセンサの概略構成例を示すブロック図である。 本開示の実施形態に係る設定パターンに基づく発光及び受光処理を説明するための図である。 本開示の実施形態に係る受発光設定パターンの実施例１を示す図である。 本開示の実施形態に係る受発光設定パターンとしてのパターン１及びパターン２毎のマクロ画素を説明するための図である。 本開示の実施形態に係るパターン１及びパターン２の切り替えを説明するための図である。 本開示の実施形態に係る受発光設定パターンの実施例２を示す図である。 本開示の実施形態に係る受発光設定パターンとしてのパターン１及びパターン２毎の距離及び視野範囲を説明するための図である。 本開示の実施形態に係るパターン１及びパターン２の切り替えを説明するための図である。 本開示の実施形態に係る受発光設定パターンの切り替え処理の実施例１の流れを示すフローチャートである。 本開示の実施形態に係る受発光設定パターンの切り替え処理の実施例２の流れを示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置、システム及び方法等が限定されるものではない。また、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、基本的に同一の符号を付することにより重複説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施形態
　１－１．車両制御システムの構成例
　１－２．測距装置（ＴｏＦセンサ）
　１－３．光学システム
　１－４．受光部
　１－５．検出領域のＳＰＡＤアレイ
　１－６．ＳＰＡＤ画素
　１－７．ＳＰＡＤ画素の概略動作例
　１－８．ＳＰＡＤ加算部
　１－９．サンプリング周期
　１－１０．設定パターンに基づく発光及び受光処理
　１－１１．受発光設定パターンの実施例
　１－１１－１．受発光設定パターンの実施例１
　１－１１－２．受発光設定パターンの実施例２
　１－１２．受発光設定パターンの切り替え処理の実施例
　１－１２－１．受発光設定パターンの切り替え処理の実施例１
　１－１２－２．受発光設定パターンの切り替え処理の実施例２
　１－１３．作用・効果
　２．他の実施形態
　３．付記
　＜１．実施形態＞
　＜１－１．車両制御システムの構成例＞
　図１は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
　車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１１は、車両制御ＥＣＵ（Electronic　Control　Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ＤＭＳ（Driver　Monitoring　System）３０、ＨＭＩ（Human　Machine　Interface）３１、及び、車両制御部３２を備える。
　車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（ＤＭＳ）３０、ヒューマンマシーンインタフェース（ＨＭＩ）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near　Field　Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
　車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
　通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
　通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long　Term　Evolution）、ＤＳＲＣ（Dedicated　Short　Range　Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また、例えば、通信部２２は、Ｐ２Ｐ（Peer　To　Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine　Type　Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle　to　Vehicle）通信、路側器等との間の路車間（Vehicle　to　Infrastructure）通信、家との間（Vehicle　to　Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle　to　Pedestrian）通信等の、自車と他との通信をいう。
　通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over　The　Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle　Information　and　Communication　System）（登録商標））により送信される電磁波を受信する。
　通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless　USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）、ＭＨＬ（Mobile　High-definition　Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced　Driver　Assistance　System）やＡＤ（Autonomous　Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部２４は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial　Measurement　Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Read　Only　Memory）及びＲＡＭ（Random　Access　Memory）として用いられ、記憶媒体としては、ＨＤＤ（Hard　Disc　Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event　Data　Recorder）やＤＳＳＡＤ（Data　Storage　System　for　Automated　Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
　走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
　分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
　自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy　Grid　Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
　センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
　例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global　path　planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local　path　planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
　動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
　例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera　Monitoring　System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。
　車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
　ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock　Brake　System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図２は、図１の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図２において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
　センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
　センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
　センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
　センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
　センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
　センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive　Cruise　Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図２以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
　＜１－２．測距装置（ＴｏＦセンサ）＞
　図３は、本実施形態に係る測距装置としてのＴｏＦセンサ１１０の概略構成例を示す図である。ＴｏＦセンサ１１０は、上述したＴｏＦカメラ等のカメラ５１やＬｉＤＡＲ５３等として用いられる。なお、本実施形態では、２次元格子状に配列した複数の画素を有して測距画像を取得するＴｏＦセンサ１１０について説明する。
　図３に示すように、ＴｏＦセンサ１１０は、制御部１１１と、発光部１１３と、受光部１１４と、演算部１１５と、外部インタフェース（Ｉ／Ｆ）１１９とを備える。
　発光部１１３は、例えば、１つ又は複数の半導体レーザダイオードを光源として備えており、所定時間幅のパルス状のレーザ光Ｌ１を所定周期（発光周期ともいう）で出射する。また、発光部１１３は、例えば、１ＭＨｚ（メガヘルツ）の周期で、１ｎｓ（ナノ秒）の時間幅のレーザ光Ｌ１を出射する。発光部１１３から出射したレーザ光Ｌ１は、例えば、測距範囲内に物体１９０が存在する場合には、この物体１９０で反射して、反射光Ｌ２として、受光部１１４に入射する。
　受光部１１４は、その詳細については後述するが、例えば、２次元格子状に配列した複数のＳＰＡＤ画素（受光素子の一例）を備え、発光部１１３の発光後にフォトンの入射を検出したＳＰＡＤ画素の数（以下、検出数という）に関する情報（例えば、後述における検出信号の数に相当）を出力する。受光部１１４は、例えば、発光部１１３の１回の発光に対し、所定のサンプリング周期でフォトンの入射を検出してその検出数を出力する。
　演算部１１５は、受光部１１４から出力された検出数を複数のＳＰＡＤ画素（例えば、後述する１又は複数のマクロ画素に相当）ごとに集計し、その集計により得られた画素値に基づいて、横軸を飛行時間とし、縦軸を累積画素値としたヒストグラムを作成する。例えば、演算部１１５は、発光部１１３の１回の発光に対して所定のサンプリング周波数で検出数を集計して画素値を求めることを、発光部１１３の複数回の発光に対して繰返し実行することで、横軸（ヒストグラムのビン）を飛行時間に相当するサンプリング周期とし、縦軸を各サンプリング周期で求められた画素値を累積することで得られた累積画素値としたヒストグラムを作成する。
　また、演算部１１５は、作成したヒストグラムに対して所定のフィルタ処理を施した後、フィルタ処理後のヒストグラムから累積画素値がピークとなる際の飛行時間を特定する。そして、演算部１１５は、特定した飛行時間に基づいて、ＴｏＦセンサ１１０又はこれを搭載するデバイスから測距範囲内に存在する物体１９０までの距離を算出する。なお、演算部１１５で算出された距離の情報は、例えば、外部Ｉ／Ｆ１１９を介してホスト１８０等に出力されてもよい。
　制御部１１１は、例えば、ＣＰＵ（Central　Processing　Unit）などの情報処理装置で構成され、ＴｏＦセンサ１１０の各部を制御する。
　外部Ｉ／Ｆ１１９は、例えば、無線ＬＡＮ（Local　Area　Network）や有線ＬＡＮの他、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークを介して外部のホスト１８０と通信を確立するための通信アダプタであってよい。
　ここで、ホスト１８０は、例えば、ＴｏＦセンサ１１０が自動車等に実装される場合には、自動車等に搭載されているＥＣＵ（Engine　Control　Unit）などであってよい。また、ＴｏＦセンサ１１０が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト１８０は、その自律移動体を制御する制御装置等であってよい。
　＜１－３．光学システム＞
　図４は、本実施形態に係るＴｏＦセンサ１１０の光学システムを説明するための図である。なお、図４では、受光部１１４の画角を水平方向に走査する、いわゆるスキャン型の光学システムを例示するが、これに限定されず、例えば、受光部１１４の画角が固定された、いわゆるフラッシュ型のＴｏＦセンサとすることも可能である。
　図４に示すように、ＴｏＦセンサ１１０は、光学システムとして、光源１３１と、投光レンズ１３２と、ミラー１３３と、ガルバノミラー１３５と、受光レンズ１４６と、ＳＰＡＤアレイ１４１とを備える。光源１３１、投光レンズ１３２、ミラー１３３及びガルバノミラー１３５は、例えば、図３における発光部１１３に含まれる。また、受光レンズ１４６及びＳＰＡＤアレイ１４１は、例えば、図３における受光部１１４に含まれる。
　図４に示す構成において、光源１３１から出射したレーザ光Ｌ１は、投光レンズ１３２により、断面の強度スペクトルが垂直方向に長い矩形の平行光に変換され、その後、ミラー１３３に入射する。ミラー１３３は、入射したレーザ光Ｌ１を反射する。ミラー１３３で反射したレーザ光Ｌ１は、ガルバノミラー１３５に入射する。ガルバノミラー１３５は、例えば、制御部１１１からの制御に基づいて動作する駆動部１３４により、所定の回転軸を振動中心として水平方向に振動する。これにより、ガルバノミラー１３５で反射したレーザ光Ｌ１の画角ＳＲが測距範囲ＡＲを水平方向に往復走査するように、レーザ光Ｌ１が水平走査される。なお、駆動部１３４には、ＭＥＭＳ（Micro　Electro　Mechanical　System）やマイクロモーター等を用いることができる。
　ガルバノミラー１３５で反射したレーザ光Ｌ１は、測距範囲ＡＲ内に存在する物体１９０で反射し、反射光Ｌ２としてガルバノミラー１３５に入射する。ガルバノミラー１３５に入射した反射光Ｌ２は、ミラー１３３の上または下を通過して受光レンズ１４６に入射し、それにより、ＳＰＡＤアレイ１４１における特定のＳＰＡＤアレイ１４２に結像される。なお、ＳＰＡＤアレイ１４２は、ＳＰＡＤアレイ１４１の全体であってもよいし、一部であってもよい。
　＜１－４．受光部＞
　図５は、本実施形態に係る受光部１１４の概略構成例を示すブロック図である。
　図５に示すように、受光部１１４は、ＳＰＡＤアレイ１４１と、タイミング制御回路１４３と、駆動回路１４４と、出力回路１４５とを備える。
　ＳＰＡＤアレイ１４１は、２次元格子状に配列する複数のＳＰＡＤ画素１２０を備える。複数のＳＰＡＤ画素１２０に対しては、列ごとに画素駆動線ＬＤ（図面中の上下方向）が接続され、行ごとに出力信号線ＬＳ（図面中の左右方向）が接続される。画素駆動線ＬＤの一端は、駆動回路１４４の各列に対応した出力端に接続され、出力信号線ＬＳの一端は、出力回路１４５の各行に対応した入力端に接続される。
　本実施形態では、ＳＰＡＤアレイ１４１の全部又は一部を使用して、反射光Ｌ２を検出する。ＳＰＡＤアレイ１４１において使用される検出領域は、レーザ光Ｌ１全体が反射光Ｌ２として反射された場合にＳＰＡＤアレイ１４１に結像される反射光Ｌ２の像と同じ、垂直方向に長い矩形であってよい。ただし、これに限定されず、ＳＰＡＤアレイ１４１に結像される反射光Ｌ２の像よりも大きな領域や小さな領域など、種々変形されてよい。
　タイミング制御回路１４３は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路１４４及び出力回路１４５を制御する。
　駆動回路１４４は、シフトレジスタやアドレスデコーダなどを含み、ＳＰＡＤアレイ１４１の各ＳＰＡＤ画素１２０を、全画素同時や列単位等で駆動する。例えば、駆動回路１４４は、ＳＰＡＤアレイ１４１内の選択列における各ＳＰＡＤ画素１２０にクエンチ電圧Ｖ＿ＱＣＨを印加する回路と、選択列における各ＳＰＡＤ画素１２０に選択制御電圧Ｖ＿ＳＥＬを印加する回路とを含む。
　この駆動回路１４４は、読出し対象の列に対応する画素駆動線ＬＤに選択制御電圧Ｖ＿ＳＥＬを印加することで、フォトンの入射を検出するために用いるＳＰＡＤ画素１２０を列単位で選択する。駆動回路１４４によって選択走査された列の各ＳＰＡＤ画素１２０から出力される信号（検出信号という）Ｖ＿ＯＵＴは、出力信号線ＬＳの各々を通して出力回路１４５に入力される。
　出力回路１４５は、各ＳＰＡＤ画素１２０から入力された検出信号Ｖ＿ＯＵＴを、後述するマクロ画素１３０ごとに設けられたＳＰＡＤ加算部１４０へ出力する。
　＜１－５．検出領域のＳＰＡＤアレイ＞
　図６は、本実施形態に係る検出領域のＳＰＡＤアレイ１４２の概略構成例を示す模式図である。
　図６に示すように、ＳＰＡＤアレイ１４２は、例えば、複数のＳＰＡＤ画素１２０が２次元格子状に配列した構成を備える。各ＳＰＡＤ画素１２０は、複数のマクロ画素１３０にグループ化されている。マクロ画素１３０は、行及び／又は列方向に配列する所定数ずつのＳＰＡＤ画素１２０で構成されている。例えば、マクロ画素１３０の形状は、所定の形状（例えば、長方形や正方形等の矩形）になっている。図６の例では、ＳＰＡＤアレイ１４２は、垂直方向（列方向に相当）に配列する複数のマクロ画素１３０により構成されているが、これに限定されるものではない。なお、ＳＰＡＤアレイ１４２の行方向の長さは、レーザ光Ｌ１の画角ＳＲに対応する長さである。
　＜１－６．ＳＰＡＤ画素＞
　図７は、本実施形態に係るＳＰＡＤ画素１２０の概略構成例を示す回路図である。
　図７に示すように、ＳＰＡＤ画素１２０は、受光素子としてのフォトダイオード１２１と、フォトダイオード１２１にフォトンが入射したことを検出する読出し回路１２２とを備える。
　フォトダイオード１２１は、アノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。例えば、フォトダイオード１２１は、ＳＰＡＤである。ＳＰＡＤは、そのアノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加されると、ガイガーモードで動作するアバランシェフォトダイオードであり、１つのフォトンの入射を検出可能である。
　読出し回路１２２は、クエンチ抵抗１２３と、選択トランジスタ１２４と、ディジタル変換器１２５と、インバータ１２６と、バッファ１２７とを備える。
　クエンチ抵抗１２３は、例えば、Ｎ型のＭＯＳＦＥＴ（Metal　Oxide　Semiconductor　Field　Effect　Transistor：以下、ＮＭＯＳトランジスタという）で構成され、そのドレインがフォトダイオード１２１のアノードに接続され、そのソースが選択トランジスタ１２４を介して接地されている。また、クエンチ抵抗１２３を構成するＮＭＯＳトランジスタのゲートには、当該ＮＭＯＳトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧Ｖ＿ＱＣＨが、駆動回路１４４から画素駆動線ＬＤを介して印加される。
　選択トランジスタ１２４は、例えば、ＮＭＯＳトランジスタであり、そのドレインがクエンチ抵抗１２３を構成するＮＭＯＳトランジスタのソースに接続され、そのソースが接地されている。選択トランジスタ１２４は、駆動回路１４４に接続されており、選択トランジスタ１２４のゲートに駆動回路１４４からの選択制御電圧Ｖ＿ＳＥＬが画素駆動線ＬＤを介して印加されると、オフ状態からオン状態に変化する。
　ディジタル変換器１２５は、抵抗１２５ａとＮＭＯＳトランジスタ１２５ｂとを備える。ＮＭＯＳトランジスタ１２５ｂは、そのドレインが抵抗１２５ａを介して電源電圧ＶＤＤに接続され、そのソースが接地されている。また、ＮＭＯＳトランジスタ１２５ｂのゲートには、フォトダイオード１２１のアノードとクエンチ抵抗１２３との接続点Ｎ１の電圧が印加される。
　インバータ１２６は、Ｐ型のＭＯＳＦＥＴ（以下、ＰＭＯＳトランジスタという）１２６ａとＮＭＯＳトランジスタ１２６ｂとを備える。ＰＭＯＳトランジスタ１２６ａは、そのドレインが電源電圧ＶＤＤに接続され、そのソースがＮＭＯＳトランジスタ１２６ｂのドレインに接続されている。ＮＭＯＳトランジスタ１２６ｂは、そのドレインがＰＭＯＳトランジスタ１２６ａのソースに接続され、そのソースが接地されている。ＰＭＯＳトランジスタ１２６ａのゲート及びＮＭＯＳトランジスタ１２６ｂのゲートには、それぞれ抵抗１２５ａとＮＭＯＳトランジスタ１２５ｂのドレインとの接続点Ｎ２の電圧が印加される。インバータ１２６の出力は、バッファ１２７に入力される。
　バッファ１２７は、インピーダンス変換のための回路であり、インバータ１２６から出力信号を入力すると、その入力した出力信号をインピーダンス変換し、検出信号Ｖ＿ＯＵＴとして出力する。
　＜１－７．ＳＰＡＤ画素の概略動作例＞
　図７に例示した読出し回路１２２は、例えば、以下のように動作する。
　まず、駆動回路１４４から選択トランジスタ１２４に選択制御電圧Ｖ＿ＳＥＬが印加されて選択トランジスタ１２４がオン状態となっている期間、フォトダイオード１２１には降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加される。これにより、フォトダイオード１２１の動作が許可される。
　一方、駆動回路１４４から選択トランジスタ１２４に選択制御電圧Ｖ＿ＳＥＬが印加されておらず、選択トランジスタ１２４がオフ状態となっている期間、逆バイアス電圧Ｖ＿ＳＰＡＤがフォトダイオード１２１に印加されないことから、フォトダイオード１２１の動作が禁止される。
　選択トランジスタ１２４がオン状態であるときにフォトダイオード１２１にフォトンが入射すると、フォトダイオード１２１においてアバランシェ電流が発生する。それにより、クエンチ抵抗１２３にアバランシェ電流が流れ、接続点Ｎ１の電圧が上昇する。接続点Ｎ１の電圧がＮＭＯＳトランジスタ１２５ｂのオン電圧よりも高くなると、ＮＭＯＳトランジスタ１２５ｂがオン状態になり、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化する。
　そして、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化すると、ＰＭＯＳトランジスタ１２６ａがオフ状態からオン状態に変化すると共にＮＭＯＳトランジスタ１２６ｂがオン状態からオフ状態に変化し、接続点Ｎ３の電圧が０Ｖから電源電圧ＶＤＤに変化する。その結果、バッファ１２７からハイレベルの検出信号Ｖ＿ＯＵＴが出力される。
　その後、接続点Ｎ１の電圧が上昇し続けると、フォトダイオード１２１のアノードとカソードとの間に印加されている電圧が降伏電圧よりも小さくなり、それにより、アバランシェ電流が止まって、接続点Ｎ１の電圧が低下する。そして、接続点Ｎ１の電圧がＮＭＯＳトランジスタ４５２のオン電圧よりも低くなると、ＮＭＯＳトランジスタ４５２がオフ状態になり、バッファ１２７からの検出信号Ｖ＿ＯＵＴの出力が停止する（ローレベル）。
　このように、読出し回路１２２は、フォトダイオード１２１にフォトンが入射してアバランシェ電流が発生し、これによりＮＭＯＳトランジスタ４５２がオン状態になったタイミングから、アバランシェ電流が止まってＮＭＯＳトランジスタ４５２がオフ状態になるタイミングまでの期間、ハイレベルの検出信号Ｖ＿ＯＵＴを出力する。
　読出し回路１２２から出力された検出信号Ｖ＿ＯＵＴは、出力回路１４５を介して、マクロ画素１３０ごとのＳＰＡＤ加算部１４０に入力される。したがって、各ＳＰＡＤ加算部１４０には、１つのマクロ画素１３０を構成する複数のＳＰＡＤ画素１２０のうちでフォトンの入射が検出されたＳＰＡＤ画素１２０の数（検出数）の検出信号Ｖ＿ＯＵＴが入力される。
　＜１－８．ＳＰＡＤ加算部＞
　図８は、本実施形態に係るＳＰＡＤ加算部１４０のより詳細な構成例を示すブロック図である。なお、ＳＰＡＤ加算部１４０は、受光部１１４に含まれる構成であってもよいし、演算部１１５に含まれる構成であってもよい。
　図８に示すように、ＳＰＡＤ加算部１４０は、例えば、パルス整形部１４０ａと、受光数カウント部１４０ｂとを備える。
　パルス整形部１４０ａは、ＳＰＡＤアレイ１４１から出力回路１４５を介して入力した検出信号Ｖ＿ＯＵＴのパルス波形を、ＳＰＡＤ加算部１４０の動作クロックに応じた時間幅のパルス波形に整形する。
　受光数カウント部１４０ｂは、対応するマクロ画素１３０からサンプリング周期ごとに入力された検出信号Ｖ＿ＯＵＴをカウントすることで、フォトンの入射が検出されたＳＰＡＤ画素１２０の個数（検出数）をサンプリング周期ごとに計数し（例えば、ヒストグラム）、この計数値をマクロ画素１３０の画素値として出力する。
　＜１－９．サンプリング周期＞
　サンプリング周期とは、発光部１１３がレーザ光Ｌ１を出射してから受光部１１４でフォトンの入射が検出されるまでの時間（飛行時間）を計測する周期である。このサンプリング周期には、発光部１１３の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、発光部１１３から出射して物体１９０で反射したフォトンの飛行時間を算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体１９０までの距離を算出することが可能となることを意味している。
　例えば、発光部１１３がレーザ光Ｌ１を出射して、このレーザ光Ｌ１が物体１９０で反射し、この反射光Ｌ２が受光部１１４に入射するまでの飛行時間をｔとすると、光速Ｃが一定（Ｃ≒３００，０００，０００ｍ（メートル）／ｓ（秒）であることから、物体１９０までの距離Ｌは、Ｌ＝Ｃ×ｔ／２という式（１）から算出することができる。
　そこで、サンプリング周波数を１ＧＨｚとすると、サンプリング周期は１ｎｓ（ナノ秒）となる。その場合、１つのサンプリング周期は、１５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を１ＧＨｚとした場合の測距分解能が１５ｃｍであることを示している。また、サンプリング周波数を２倍の２ＧＨｚとすると、サンプリング周期は０．５ｎｓ（ナノ秒）となるため、１つのサンプリング周期は、７．５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を２倍とした場合、測距分解能を１／２にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く物体１９０までの距離を算出することが可能となる。
　＜１－１０．設定パターンに基づく発光及び受光処理＞
　図９は、本実施形態に係る設定パターンに基づく発光及び受光処理に関するＴｏＦセンサ１１０の概略構成例を示すブロック図である。図１０は、本実施形態に係る設定パターンに基づく発光及び受光処理を説明するための図である。
　図９に示すように、ＴｏＦセンサ１１０は、上述した制御部１１１や発光部１１３、受光部１１４等に加え、記憶部１１２を備える。
　記憶部１１２は、各種情報を記憶する。例えば、記憶部１１２は、複数のパターンに関するパターン情報を記憶する。パターンは、受発光設定パターンである。この受発光設定パターンは、発光部１１３の発光設定パターン及び受光部１１４の受光設定パターンを含む。発光設定パターンは、発光部１１３に対するパラメータ設定、すなわち発光部１１３の動作条件に関する発光設定情報である。この発光設定パターンは、例えば、レーザ発光回数や発光タイミング等の情報を含む。また、受光設定パターンは、受光部１１４に対するパラメータ設定、すなわち受光部１１４の動作条件に関する情報である。この受光設定パターンは、例えば、画素数や視野、角度分解能、サンプリング周波数等の情報を含む。
　図１０に示すように、制御部１１１は、測距画像の取得単位であるフレーム毎に受発光設定パターンを変更する。例えば、制御部１１１は、フレーム毎に、受発光設定パターン（受光設定パターン及び発光設定パターン）としてパターン１及びパターン２を交互に切り替える。つまり、制御部１１１は、パターン１又はパターン２に基づいて発光部１１３及び受光部１１４を制御する。これに応じて、発光部１１３はパターン１又はパターン２に基づく発光動作を行い、受光部１１４もパターン１又はパターン２に基づく受光動作を行う。
　ここで、通常、近距離／遠距離用のＴｏＦセンサ１１０に求められる測距性能は異なるが、受発光設定パターン、例えば、近距離／遠距離用の受発光設定パターンをフレーム毎に切り替えることで、同一個体のＴｏＦセンサ１１０にて、近距離／遠距離の測距性能をそれぞれ最適化することが可能となる。
　一般的に、受発光設定パターンは固定されている。つまり、通常、フレームの画素数やサンプリング周期等の受光設定パターンは固定されており、発光回数や発光タイミング等の発光設定パターンも固定されている。ところが、本実施形態では、制御部１１１が、受発光設定パターンをフレーム毎に切り替えることで、フレーム毎の画素数やサンプリング周期、発光回数、発光タイミング等を的確に変更することができる。つまり、制御部１１１は、受発光設定パターンをフレーム毎に切り替えることで、ＴｏＦセンサ１１０の画素数やサンプリング周波数等をフレーム毎に切り替えて発光部１１３や受光部１１４を制御することが可能となる。これにより、検出距離を確保しつつ、距離精度及び角度分解能を向上させることができる。また、発光回数や発光タイミング等も同時に切り替えることが可能であり、より検出距離の確保やレーザ安全規格への最適化を実現することができる。
　なお、本実施形態では、受発光設定パターンがフレーム毎に切り替えられるが、これに限定されるものではなく、例えば、受光設定パターン及び発光設定パターンの一方がフレーム毎に切り替えられてもよい。つまり、受光設定パターン及び発光設定パターンの一方又は両方がフレーム毎に変更されてもよい。また、受発光設定パターンがフレーム毎に変更されるが、これに限定されるものではなく、所定数のフレーム毎等の所定の条件に基づいて変更されてもよく、あるいは、ランダムに変更されてよい。
　＜１－１１．受発光設定パターンの実施例＞
　＜１－１１－１．受発光設定パターンの実施例１＞
　図１１は、本実施形態に係る受発光設定パターンの実施例１を示す図である。図１２は、本実施形態に係る受発光設定パターンとしてのパターン１及びパターン２毎のマクロ画素１３０を説明するための図である。図１３は、本実施形態に係るパターン１及びパターン２の切り替えを説明するための図である。
　本実施形態に係る受発光設定パターンの実施例１は、ガルバノミラー１３５（あるいはポリゴンミラー）が一定速度で回っており、照射角度が固定になるメカニカルなＴｏＦセンサ１１０の例である。
　図１１に示すように、パターン１及びパターン２が設定されている。パターンの項目としては、ＳＰＡＤ数／画素（１画素あたりのＳＰＡＤの数）、画素数（水平方向）、画素数（垂直方向）、視野であるＦＯＶ（水平方向）、ＦＯＶ（垂直方向）、角度分解能（水平方向）、角度分解能（垂直方向）、サンプリング周波数、アップサンプリング、レーザ発光回数がある。なお、図１１においてパターンの項目は例示であり、限定されるものではない。図１１の例では、パターン１は遠距離用受発光設定パターン（第１の受発光設定パターンの一例）であり、パターン２は近距離用受発光設定パターン（第２の受発光設定パターンの一例）である。
　パターン１及びパターン２を比較すると、ＳＰＡＤ数／画素に関してパターン１の方が大きく、画素数（水平方向）及び画素数（垂直方向）に関してパターン２の方が大きい。また、ＦＯＶ（水平方向）及びＦＯＶ（垂直方向）に関してパターン１及びパターン２は同じであり、角度分解能（水平方向）及び角度分解能（垂直方向）に関してパターン１の方が大きい。また、サンプリング周波数及びアップサンプリングに関してパターン２の方が大きく、レーザ発光回数に関してパターン１の方が多い。
　ここで、図１１の例では、ＳＰＡＤ数／画素の項目において、パターン１では６×６［ＳＰＡＤ］であり、パターン２では３×３［ＳＰＡＤ］である。つまり、図１２に示すように、パターン１では、マクロ画素１３０は、ＳＰＡＤ画素１２０を６×６個の正方形状に含み、パターン２では、マクロ画素１３０は、ＳＰＡＤ画素１２０を３×３個の正方形状に含む。パターン２は、パターン１に比べ、角度分解能が高いパターンである。なお、マクロ画素１３０は、測距画像における１画素である。
　図１３に示すように、パターン２（図１１参照）は近距離で用いられ、パターン１（図１１参照）は遠距離で用いられる。つまり、パターン２は第１の距離まで測距可能な近距離用受発光設定パターンであり、パターン１は第１の距離より遠い第２の距離まで測距可能な遠距離用受発光設定パターンである。図１３の例では、パターン２は、パターン１に比べ、角度分解能が高く、ＳＰＡＤサンプリング周波数が高く（＝距離分解能が高い）、レーザ発光回数が少ない（＝検知可能距離が短い）。パターン１は、パターン２に比べ、角度分解能が低く、サンプリング周波数が低い（＝距離分解能が低い）、レーザ発光回数が多い（＝検知可能距離が長い）。
　なお、ＳＰＡＤ距離分解能の補足として、距離方向のｂｉｎ数は決まっているため（例えば、２０００ｂｉｎ）、サンプリング周波数が高いとき、１ｂｉｎの分解能は高くなるが、距離範囲は狭くなる。例えば、サンプリング周波数が１ＧＨｚである場合、１ｂｉｎは１５ｃｍとなるが、２０００ｂｉｎで３００ｍの距離範囲となる。サンプリング周波数が２ＧＨｚである場合、１ｂｉｎは７．５ｃｍとなるが、２０００ｂｉｎで１５０ｍの距離範囲となる。
　また、レーザ発光回数は、受光の角度分解能に合わせられる。例えば、水平の角度分解能が０．２°である場合、ガルバノミラー１３５（あるいはポリゴンミラー）が照射角度０．２°分回転する間、発光部１１３は発光し続けるため、角度分解能が０．１°である場合に比べ、発光回数は多くなる。
　＜１－１１－２．受発光設定パターンの実施例２＞
　図１４は、本実施形態に係る受発光設定パターンの実施例２を示す図である。図１５は、本実施形態に係る受発光設定パターンとしてのパターン１及びパターン２毎の距離及び視野範囲を説明するための図である。図１６は、本実施形態に係るパターン１及びパターン２の切り替えを説明するための図である。
　ここで、ＴｏＦセンサ１１０として、通常、近距離では、角度分解能は低くてもよく、距離分解能は高い方が良い。また、遠距離では、角度分解能は高い方がよく、距離分解能は低くてもよい。
　そこで、本実施形態に係る受発光設定パターンの実施例２は、遠距離の角度分解能を高くするため、ビーム走査デバイスとして、ガルバノミラー１３５（あるいはポリゴンミラー）にかえて、ＭＥＭＳミラーやＯＰＡ、ＬＡＴＭ、ＬＣＭ等、フレーム毎に振れ角を変えることが可能なデイバスを用いた例である。
　図１４に示すように、パターン１及びパターン２が設定されている。パターンの項目としては、図１１と同様、ＳＰＡＤ数／画素（１画素あたりのＳＰＡＤの数）、画素数（水平方向）、画素数（垂直方向）、視野であるＦＯＶ（水平方向）、視野であるＦＯＶ（垂直方向）、角度分解能（水平方向）、角度分解能（垂直方向）、サンプリング周波数、アップサンプリング、レーザ発光回数がある。なお、図１４においてパターンの項目は例示であり、限定されるものではない。図１４の例では、パターン１は近距離用受発光設定パターン（第２の受発光設定パターンの一例）であり、パターン２は遠距離用受発光設定パターン（第１の受発光設定パターンの一例）である。
　パターン１及びパターン２を比較すると、ＳＰＡＤ数／画素に関してパターン１の方が大きく、画素数（水平方向）に関してパターン１の方が大きく、画素数（垂直方向）に関してパターン１及びパターン２は同じである。また、ＦＯＶ（水平方向）に関してパターン１の方が大きく、ＦＯＶ（垂直方向）に関してパターン１の方が大きく、角度分解能（水平方向）及び角度分解能（垂直方向）に関してパターン１の方が大きい。また、サンプリング周波数及びアップサンプリングに関してパターン１の方が大きく、レーザ発光回数に関してパターン２の方が多い。
　ここで、図１４の例では、ＦＯＶ（水平方向）において、パターン１では１２０［Ｄｅｇｒｅｅ］であり、パターン２では３０［Ｄｅｇｒｅｅ］である。ＦＯＶ（垂直方向）において、パターン１では１９．２［Ｄｅｇｒｅｅ］であり、パターン２では９．６［Ｄｅｇｒｅｅ］である。つまり、パターン２の視野は、図１５に示すように、パターン１の視野よりも狭い。また、パターン２のレーザ発光回数はパターン１よりも多く、パターン２の検知可能距離はパターン１よりも長く、つまり、パターン２の検知距離範囲はパターン１よりも広くなる。
　このようなパターン２が用いられると、視野が狭くなる。つまり、視野を狭めることで、１角度分解能あたりに可能なレーザ発光数を増やし、角度分解能を高くしつつ、検出可能距離を伸ばすことも可能となる。なお、１フレームでレーザ発光が可能な回数は決まっているため、視野が狭いと１角度分解能あたりの発光回数を増やせるが、視野が広いとその逆となる。
　図１６に示すように、パターン１（図１４参照）は近距離で用いられ、パターン２（図１４参照）は遠距離で用いられる。つまり、パターン１は第１の距離まで測距可能な近距離用受発光設定パターンであり、パターン２は第１の距離より遠い第２の距離まで測距可能な遠距離用受発光設定パターンである。図１６の例では、パターン１は、パターン２に比べ、角度分解能が低く、ＳＰＡＤサンプリング周波数が高く（＝距離分解能が高い）、レーザ発光回数が少ない（＝検知可能距離が短い）。パターン２は、パターン１に比べ、角度分解能が高く、サンプリング周波数が低い（＝距離分解能が低い）、レーザ発光回数が多い（＝検知可能距離が長い）。
　＜１－１２．受発光設定パターンの切り替え処理の実施例＞
　＜１－１２－１．受発光設定パターンの切り替え処理の実施例１＞
　図１７は、本実施形態に係る受発光設定パターンの切り替え処理の実施例１の流れを示すフローチャートである。
　ステップＳ１１において、車両センサ２７が車速を測定する。ステップＳ１２において、ＴｏＦセンサ１１０の制御部１１１は、車両センサ２７により測定された車速が所定の閾値より速いか否かを判断する。制御部１１１は、車速が所定の閾値より速いと判断すると（ステップＳ１２のＹｅｓ）、ステップＳ１３において、上記の第２例である実施例２のパターン１及びパターン２をフレーム毎に切り替える。一方、制御部１１１は、車速が所定の閾値より速くない（所定の閾値以下）であると判断すると（ステップＳ１２のＮｏ）、ステップＳ１４において、上記の実施例２のパターン１をフレーム毎に切り替えずに連続で使用する。このような処理が例えばエンジン始動から停止まで繰り返される。
　このような処理において、制御部１１１は、車速が所定の閾値より速ければ、パターン１及びパターン２、すなわち近距離用受発光設定パターン及び遠距離用受発光設定パターンの両方を用い、それらのパターンをフレーム毎に交互に切り替える。一方、制御部１１１は、車速が所定の閾値より速くなければ、パターン１、すなわち近距離用受発光設定パターンを用い、フレーム毎に連続で使用する。このように、制御部１１１は、ＴｏＦセンサ１１０が搭載された車両（移動体の一例）の移動速度に応じて、近距離用受発光設定パターン及び遠距離用受発光設定パターンの一方又は両方を用いる。このパターンの切り替えに応じ、発光部１１３及び受光部１１４が動作し、ＴｏＦセンサ１１０は測距を行う。このようにして、車速に応じて使用する受発光設定パターンを変更することが可能であり、検出距離を確保しつつ、距離精度及び角度分解能等の測距性能を向上させることができる。
　＜１－１２－２．受発光設定パターンの切り替え処理の実施例２＞
　図１８は、本実施形態に係る受発光設定パターンの切り替え処理の実施例２の流れを示すフローチャートである。
　ステップＳ２１において、ＴｏＦセンサ１１０は視野内の全ての物体距離、すなわち物体までの距離（離間距離）を測定する。ステップＳ２２において、ＴｏＦセンサ１１０の制御部１１１は、全ての距離が所定の閾値より遠いか否かを判断する。制御部１１１は、全ての距離が所定の閾値より遠いと判断すると（ステップＳ２２のＹｅｓ）、ステップＳ２３において、上記の実施例２のパターン２をフレーム毎に切り替えずに連続で使用する。一方、制御部１１１は、全ての距離が所定の閾値より遠くないと判断すると（ステップＳ２２のＮｏ）、ステップＳ２４において、全ての距離が所定の閾値より近いか否かを判断する。ステップＳ２５において、全ての距離が所定の閾値より近いと判断すると（ステップＳ２４のＹｅｓ）、ステップＳ２５において、上記の第２例である実施例２のパターン１をフレーム毎に切り替えずに連続で使用する。一方、制御部１１１は、全ての距離が所定の閾値より近くないと判断すると（ステップＳ２４のＮｏ）、ステップＳ２６において、上記の第２例である実施例２のパターン１及びパターン２をフレーム毎に切り替える。このような処理が例えばエンジン始動から停止まで繰り返される。なお、例えば、ステップＳ２２とステップＳ２４の閾値は同じである。
　このような処理において、制御部１１１は、全ての距離が所定の閾値より遠ければ、パターン２、すなわち遠距離用受発光設定パターンを用い、フレーム毎に連続で使用する。一方、制御部１１１は、全ての距離が所定の閾値より近ければ、パターン１、すなわち近距離用受発光設定パターンを用い、フレーム毎に連続で使用する。また、制御部１１１は、全ての距離が上記のいずれにも該当しない場合（例えば、全ての距離が所定の閾値より遠くも近くもない場合）、パターン１及びパターン２、すなわち近距離用受発光設定パターン及び遠距離用受発光設定パターンの両方を用い、それらのパターンをフレーム毎に交互に切り替える。このように、制御部１１１は、ＴｏＦセンサ１１０と他の車両等の測定対象物との距離（離間距離）に応じて、近距離用受発光設定パターン及び遠距離用受発光設定パターンの一方又は両方を用いる。このパターンの切り替えに応じ、発光部１１３及び受光部１１４が動作し、ＴｏＦセンサ１１０は測距を行う。このようにして、ＴｏＦセンサ１１０と測定対象物との距離に応じて、使用する受発光設定パターンを変更することが可能であり、検出距離を確保しつつ、距離精度及び角度分解能等の測距性能を向上させることができる。
　＜１－１３．作用・効果＞
　以上説明したように、本実施形態によれば、測距装置の一例であるＴｏＦセンサ１１０は、測距画像を得るための受光部１１４と、測距画像の取得単位である第１のフレームにおいて、受光部１１４の動作条件である受光設定パターンを第１の受光設定パターンにし、第１のフレームと異なる、測距画像の取得単位である第２のフレームにおいて、第１の受光設定パターンと異なる第２の受光設定パターンにする制御部１１１とを備える。これにより、第１のフレームと第２のフレームで受光設定パターンを切り替えることが可能になるので、第１のフレームと第２のフレームごとに適切な受光動作を実現でき、その結果、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンであってもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおける画素数は、近距離用受光設定パターンにおける画素数より少なく設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおけるサンプリング周波数は、近距離用受光設定パターンにおけるサンプリング周波数より低く設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおける画素サイズは、近距離用受光設定パターンにおける画素サイズより大きく設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおける画素内の素子数は、近距離用受光設定パターンにおける画素内の素子数より多く設定されてもよい。これにより、遠距離用受光設定パターンにおける画素サイズを容易に、近距離用受光設定パターンにおける画素サイズより大きくすることができる。
　また、遠距離用受光設定パターンにおける画素サイズは、近距離用受光設定パターンにおける画素サイズより小さく設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおける画素内の素子数は、前記近距離用受光設定パターンにおける画素内の素子数より少なく設定されてもよい。これにより、遠距離用受光設定パターンにおける画素サイズを容易に、近距離用受光設定パターンにおける画素サイズより小さくすることができる。
　また、遠距離用受光設定パターンにおける視野は、近距離用受光設定パターンにおける視野より狭く設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用受光設定パターンにおける角度分解能は、近距離用受光設定パターンにおける角度分解能より高く設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、ＴｏＦセンサ１１０は、発光部１１３をさらに備え、制御部１１１は、第１のフレームにおいて、発光部１１３の動作条件である発光設定パターンを第１の発光設定パターンにし、第２のフレームにおいて、第１の発光設定パターンと異なる第２の発光設定パターンにしてもよい。これにより、第１のフレームと第２のフレームで発光設定パターンを切り替えることが可能になるので、第１のフレームと第２のフレームごとに適切な発光動作を実現でき、その結果、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、第２の発光設定パターンは、第１の距離まで測距可能な場合の近距離用発光設定パターンであり、第１の発光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用発光設定パターンであってもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、遠距離用発光設定パターンにおける発光回数は、前記近距離用発光設定パターンにおける発光回数より多く設定されてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、制御部１１１は、測距画像の取得単位であるフレーム毎に、第１の受光設定パターン及び第２の受光設定パターンを交互に切り替えてもよい。これにより、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、制御部１１１は、ＴｏＦセンサ１１０が搭載された移動体（例えば、車両１）の移動速度に応じて、第１の受光設定パターン及び第２の受光設定パターンの一方又は両方を用いるようにしてもよい。これにより、移動体の移動速度に応じて使用する受発光設定パターンを変更することが可能であり、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、第１の受光設定パターンは、第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンである場合、制御部１１１は、移動体の移動速度が所定の閾値より速い場合、遠距離用受光設定パターン及び近距離用受光設定パターンの両方を用い、移動体の移動速度が所定の閾値より速くない場合、近距離用受光設定パターンを用いてもよい。これにより、移動体の移動速度に応じて、使用する受発光設定パターンを確実に変更することができる。
　また、制御部１１１は、測定対象物（例えば、他の車等の物体１９０）に対する離間距離に応じて、第１の受光設定パターン及び第２の受光設定パターンの一方又は両方を用いてもよい。これにより、測定対象物に対する離間距離に応じて、使用する受発光設定パターンを変更することが可能であり、所望の検出距離を確実に確保しつつ、適切な測距性能を得ることができる。
　また、第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、第１の受光設定パターンは、第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンである場合、制御部１１１は、複数の測定対象物に対する全ての離間距離が所定の閾値より遠い場合、遠距離用受光設定パターンを用い、全ての離間距離が上記所定の閾値より近い場合、近距離用受光設定パターンを用い、全ての離間距離が上記所定の閾値より遠くも近くもない場合、近距離用受光設定パターン及び遠距離用受光設定パターンの両方を用いてもよい。これにより、測定対象物に対する離間距離に応じて、使用する受発光設定パターンを確実に変更することができる。
　＜２．他の実施形態＞
　上述した実施形態（又は変形例）に係る処理は、上記実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述した実施形態（又は変形例）は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　また、本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、ガソリン自動車や水素自動車、電気自動車、ハイブリッド電気自動車等の各種の自動車以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　＜３．付記＞
　なお、本開示に係る技術は以下のような構成も取ることができる。
（１）
　測距画像を得るための受光部と、
　前記測距画像の取得単位である第１のフレームにおいて、前記受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする制御部と、
を備える測距装置。
（２）
　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンである、
　上記（１）に記載の測距装置。
（３）
　前記遠距離用受光設定パターンにおける画素数は、前記近距離用受光設定パターンにおける画素数より少ない、
　上記（２）に記載の測距装置。
（４）
　前記遠距離用受光設定パターンにおけるサンプリング周波数は、前記近距離用受光設定パターンにおけるサンプリング周波数より低い、
　上記（２）又は（３）に記載の測距装置。
（５）
　前記遠距離用受光設定パターンにおける画素サイズは、前記近距離用受光設定パターンにおける画素サイズより大きい、
　上記（２）から（４）のいずれか一つに記載の測距装置。
（６）
　前記遠距離用受光設定パターンにおける画素内の素子数は、前記近距離用受光設定パターンにおける画素内の素子数より多い、
　上記（５）に記載の測距装置。
（７）
　前記遠距離用受光設定パターンにおける画素サイズは、前記近距離用受光設定パターンにおける画素サイズより小さい、
　上記（２）から（４）のいずれか一つに記載の測距装置。
（８）
　前記遠距離用受光設定パターンにおける画素内の素子数は、前記近距離用受光設定パターンにおける画素内の素子数より少ない、
　上記（７）に記載の測距装置。
（９）
　前記遠距離用受光設定パターンにおける視野は、前記近距離用受光設定パターンにおける視野より狭い、
　上記（２）から（８）のいずれか一つに記載の測距装置。
（１０）
　前記遠距離用受光設定パターンにおける角度分解能は、前記近距離用受光設定パターンにおける角度分解能より高い、
　上記（２）から（９）のいずれか一つに記載の測距装置。
（１１）
　発光部をさらに備え、
　前記制御部は、前記第１のフレームにおいて、前記発光部の動作条件である発光設定パターンを第１の発光設定パターンにし、前記第２のフレームにおいて、前記第１の発光設定パターンと異なる第２の発光設定パターンにする、
　上記（１）から（１０）のいずれか一つに記載の測距装置。
（１２）
　前記第２の発光設定パターンは、第１の距離まで測距可能な場合の近距離用発光設定パターンであり、
　前記第１の発光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用発光設定パターンである、
　上記（１１）に記載の測距装置。
（１３）
　前記遠距離用発光設定パターンにおける発光回数は、前記近距離用発光設定パターンにおける発光回数より多い、
　上記（１２）に記載の測距装置。
（１４）
　前記制御部は、前記測距画像の取得単位であるフレーム毎に、前記第１の受光設定パターン及び前記第２の受光設定パターンを交互に切り替える、
　上記（１）から（１３）のいずれか一つに記載の測距装置。
（１５）
　前記制御部は、前記測距装置が搭載された移動体の移動速度に応じて、前記第１の受光設定パターン及び前記第２の受光設定パターンの一方又は両方を用いる、
　上記（１）から（１４）のいずれか一つに記載の測距装置。
（１６）
　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンであり、
　前記制御部は、前記移動速度が所定の閾値より速い場合、前記遠距離用受光設定パターン及び前記近距離用受光設定パターンの両方を用い、前記移動速度が所定の閾値より速くない場合、前記近距離用受光設定パターンを用いる、
　上記（１５）に記載の測距装置。
（１７）
　前記制御部は、測定対象物に対する離間距離に応じて、前記第１の受光設定パターン及び前記第２の受光設定パターンの一方又は両方を用いる、
　上記（１）から（１６）のいずれか一つに記載の測距装置。
（１８）
　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンであり、
　前記制御部は、複数の前記測定対象物に対する全ての離間距離が所定の閾値より遠い場合、前記遠距離用受光設定パターンを用い、前記全ての離間距離が前記所定の閾値より近い場合、前記近距離用受光設定パターンを用い、前記全ての離間距離が前記所定の閾値より遠くも近くもない場合、前記近距離用受光設定パターン及び前記遠距離用受光設定パターンの両方を用いる、
　上記（１７）に記載の測距装置。
（１９）
　測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする、
　測距方法。
（２０）
　測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする、
　制御装置。
（２１）
　上記（１）から（１８）のいずれか一つに記載の測距装置により測距を行う測距方法。
（２２）
　上記（１）から（１８）のいずれか一つに記載の測距装置により測距を制御する制御装置。
（２３）
　上記（１）から（１８）のいずれか一つに記載の測距装置を備える移動装置制御システム。
　１　　　車両
　１１　　車両制御システム
　２１　　車両制御ＥＣＵ
　２２　　通信部
　２３　　地図情報蓄積部
　２４　　位置情報取得部
　２５　　外部認識センサ
　２６　　車内センサ
　２７　　車両センサ
　２８　　記憶部
　２９　　走行支援・自動運転制御部
　３０　　ドライバモニタリングシステム（ＤＭＳ）
　３１　　ヒューマンマシーンインタフェース（ＨＭＩ）
　３２　　車両制御部
　４１　　通信ネットワーク
　５１　　カメラ
　５２　　レーダ
　５３　　ＬｉＤＡＲ
　５４　　超音波センサ
　６１　　分析部
　６２　　行動計画部
　６３　　動作制御部
　７１　　自己位置推定部
　７２　　センサフュージョン部
　７３　　認識部
　８１　　ステアリング制御部
　８２　　ブレーキ制御部
　８３　　駆動制御部
　８４　　ボディ系制御部
　８５　　ライト制御部
　８６　　ホーン制御部
　１１０　ＴｏＦセンサ
　１１１　制御部
　１１２　記憶部
　１１３　発光部
　１１４　受光部
　１１５　演算部
　１１９　外部インタフェース（Ｉ／Ｆ）
　１３１　光源
　１３２　投光レンズ
　１３３　ミラー
　１３５　ガルバノミラー
　１４６　受光レンズ
　１４１　ＳＰＡＤアレイ
　１３４　駆動部
　１４２　ＳＰＡＤアレイ
　１４３　タイミング制御回路
　１４４　駆動回路
　１４５　出力回路
　１２０　ＳＰＡＤ画素
　１３０　マクロ画素
　１４０　ＳＰＡＤ加算部
　１８０　ホスト
　１９０　物体
　Ｌ１　　レーザ光
　Ｌ２　　反射光

Claims (20)

  1. 　測距画像を得るための受光部と、
    　前記測距画像の取得単位である第１のフレームにおいて、前記受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする制御部と、
    を備える測距装置。
  2. 　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
    　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンである、
    　請求項１に記載の測距装置。
  3. 　前記遠距離用受光設定パターンにおける画素数は、前記近距離用受光設定パターンにおける画素数より少ない、
    　請求項２に記載の測距装置。
  4. 　前記遠距離用受光設定パターンにおけるサンプリング周波数は、前記近距離用受光設定パターンにおけるサンプリング周波数より低い、
    　請求項２に記載の測距装置。
  5. 　前記遠距離用受光設定パターンにおける画素サイズは、前記近距離用受光設定パターンにおける画素サイズより大きい、
    　請求項２に記載の測距装置。
  6. 　前記遠距離用受光設定パターンにおける画素内の素子数は、前記近距離用受光設定パターンにおける画素内の素子数より多い、
    　請求項５に記載の測距装置。
  7. 　前記遠距離用受光設定パターンにおける画素サイズは、前記近距離用受光設定パターンにおける画素サイズより小さい、
    　請求項２に記載の測距装置。
  8. 　前記遠距離用受光設定パターンにおける画素内の素子数は、前記近距離用受光設定パターンにおける画素内の素子数より少ない、
    　請求項７に記載の測距装置。
  9. 　前記遠距離用受光設定パターンにおける視野は、前記近距離用受光設定パターンにおける視野より狭い、
    　請求項２に記載の測距装置。
  10. 　前記遠距離用受光設定パターンにおける角度分解能は、前記近距離用受光設定パターンにおける角度分解能より高い、
    　請求項２に記載の測距装置。
  11. 　発光部をさらに備え、
    　前記制御部は、前記第１のフレームにおいて、前記発光部の動作条件である発光設定パターンを第１の発光設定パターンにし、前記第２のフレームにおいて、前記第１の発光設定パターンと異なる第２の発光設定パターンにする、
    　請求項１に記載の測距装置。
  12. 　前記第２の発光設定パターンは、第１の距離まで測距可能な場合の近距離用発光設定パターンであり、
    　前記第１の発光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用発光設定パターンである、
    　請求項１１に記載の測距装置。
  13. 　前記遠距離用発光設定パターンにおける発光回数は、前記近距離用発光設定パターンにおける発光回数より多い、
    　請求項１２に記載の測距装置。
  14. 　前記制御部は、前記測距画像の取得単位であるフレーム毎に、前記第１の受光設定パターン及び前記第２の受光設定パターンを交互に切り替える、
    　請求項１に記載の測距装置。
  15. 　前記制御部は、前記測距装置が搭載された移動体の移動速度に応じて、前記第１の受光設定パターン及び前記第２の受光設定パターンの一方又は両方を用いる、
    　請求項１に記載の測距装置。
  16. 　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
    　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンであり、
    　前記制御部は、前記移動速度が所定の閾値より速い場合、前記遠距離用受光設定パターン及び前記近距離用受光設定パターンの両方を用い、前記移動速度が所定の閾値より速くない場合、前記近距離用受光設定パターンを用いる、
    　請求項１５に記載の測距装置。
  17. 　前記制御部は、測定対象物に対する離間距離に応じて、前記第１の受光設定パターン及び前記第２の受光設定パターンの一方又は両方を用いる、
    　請求項１に記載の測距装置。
  18. 　前記第２の受光設定パターンは、第１の距離まで測距可能な場合の近距離用受光設定パターンであり、
    　前記第１の受光設定パターンは、前記第１の距離より遠い第２の距離まで測距可能な場合の遠距離用受光設定パターンであり、
    　前記制御部は、複数の前記測定対象物に対する全ての離間距離が所定の閾値より遠い場合、前記遠距離用受光設定パターンを用い、前記全ての離間距離が前記所定の閾値より近い場合、前記近距離用受光設定パターンを用い、前記全ての離間距離が前記所定の閾値より遠くも近くもない場合、前記近距離用受光設定パターン及び前記遠距離用受光設定パターンの両方を用いる、
    　請求項１７に記載の測距装置。
  19. 　測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする、
    　測距方法。
  20. 　測距画像の取得単位である第１のフレームにおいて、前記測距画像を得るための受光部の動作条件である受光設定パターンを第１の受光設定パターンにし、前記第１のフレームと異なる、前記測距画像の取得単位である第２のフレームにおいて、前記第１の受光設定パターンと異なる第２の受光設定パターンにする、
    　制御装置。
PCT/JP2022/004361 2021-06-30 2022-02-04 測距装置、測距方法及び制御装置 WO2023276223A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021108254 2021-06-30
JP2021-108254 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023276223A1 true WO2023276223A1 (ja) 2023-01-05

Family

ID=84691087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004361 WO2023276223A1 (ja) 2021-06-30 2022-02-04 測距装置、測距方法及び制御装置

Country Status (1)

Country Link
WO (1) WO2023276223A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2017110417A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US20180284278A1 (en) * 2017-03-28 2018-10-04 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
KR20190097656A (ko) * 2018-02-13 2019-08-21 엘지전자 주식회사 영상 획득 장치 및 방법
WO2019239566A1 (ja) * 2018-06-14 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法及び測距システム
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
KR20210025777A (ko) * 2019-08-28 2021-03-10 (주)카네비컴 라이다 장치 및 이의 동작 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2017110417A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US20180284278A1 (en) * 2017-03-28 2018-10-04 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
KR20190097656A (ko) * 2018-02-13 2019-08-21 엘지전자 주식회사 영상 획득 장치 및 방법
WO2019239566A1 (ja) * 2018-06-14 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法及び測距システム
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
KR20210025777A (ko) * 2019-08-28 2021-03-10 (주)카네비컴 라이다 장치 및 이의 동작 방법

Similar Documents

Publication Publication Date Title
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device
JP2021128084A (ja) 測距装置および測距方法
CN114424265A (zh) 信号处理设备、信号处理方法、程序和移动设备
CN118525258A (zh) 信息处理装置、信息处理方法、信息处理程序和移动装置
WO2023276223A1 (ja) 測距装置、測距方法及び制御装置
WO2021161858A1 (ja) 測距装置および測距方法
WO2024181041A1 (ja) 測距装置及び測距方法
WO2022264512A1 (ja) 光源制御装置、光源制御方法、及び、測距装置
WO2022264511A1 (ja) 測距装置及び測距方法
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20240337730A1 (en) Light source device, distance measuring device, and distance measuring method
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
US20240201338A1 (en) Photodetection device and distance measurement system
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
US20230267746A1 (en) Information processing device, information processing method, and program
WO2022075075A1 (ja) 情報処理装置および方法、並びに情報処理システム
WO2023145529A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024203104A1 (ja) 制御装置、測距装置および制御方法
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022239348A1 (ja) レーダ装置、信号処理方法、及びプログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2021161857A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832391

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22832391

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP