WO2019039279A1 - 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム - Google Patents

信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム Download PDF

Info

Publication number
WO2019039279A1
WO2019039279A1 PCT/JP2018/029731 JP2018029731W WO2019039279A1 WO 2019039279 A1 WO2019039279 A1 WO 2019039279A1 JP 2018029731 W JP2018029731 W JP 2018029731W WO 2019039279 A1 WO2019039279 A1 WO 2019039279A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
detection unit
time
stereo camera
Prior art date
Application number
PCT/JP2018/029731
Other languages
English (en)
French (fr)
Inventor
寿夫 山崎
琢人 元山
健太郎 土場
周藤　泰広
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18848893.6A priority Critical patent/EP3674747B1/en
Priority to JP2019538057A priority patent/JP7160040B2/ja
Priority to US16/639,127 priority patent/US11328444B2/en
Publication of WO2019039279A1 publication Critical patent/WO2019039279A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, a program, a mobile object, and a signal processing system, and in particular, a signal processing device that enables appropriate combination and use of detection results by a plurality of sensors, and signal processing
  • the present invention relates to a method, a program, a mobile unit, and a signal processing system.
  • time information in which a predetermined object is detected at a predetermined position by the first object detection sensor as a reference by calibration, and the same time information by a second object detection sensor as a calibration target A time shift from time information at which a predetermined object is detected at the same predetermined position is obtained in advance as a time shift amount.
  • the time shift of the detection time with the first object detection sensor by the second object detection sensor is predicted by a Kalman filter based on the time shift amount previously obtained.
  • the compensation is performed, and the detection result of the first object detection sensor and the detection result of the second object detection sensor are synchronized and used in combination (see Non-Patent Document 1).
  • the detection results of the first object detection sensor and the second object detection sensor, in which the time information when the object is detected are aligned are combined to improve the accuracy of the detection result.
  • Non-Patent Document 1 when using a millimeter wave radar and a stereo camera as a plurality of different object detection sensors and combining the respective detection results to obtain more accurate and more robust detection object distance information, Non-Patent Document 1 Similarly to the above, it is conceivable to obtain a time shift amount which is a shift of time information detected in advance, to obtain a time shift by a prediction process using a Kalman filter, and to correct it.
  • the present disclosure has been made in view of such a situation, and in particular, improves the accuracy of detection results by appropriately synchronizing and combining detection results of a plurality of object detection sensors.
  • a signal processing device includes a first object detection unit that detects an object, a second object detection unit that is different from the first object detection unit that detects an object, and the first object. Time to detect, as a time shift amount, a time shift between a first time at which a predetermined target is detected by the detection unit and a second time at which the predetermined target is detected by the second object detection unit It is a signal processing device including a gap detection unit.
  • a buffering unit that buffers the detection result of the object by at least one of the first object detection unit or the second object detection unit, and a delay amount by the buffering unit is set according to the time shift amount It is possible to further include a time shift correction unit that corrects the time shift.
  • the predetermined target is an object for measuring the time shift amount, and can be detected by the first object detection unit detectable by the first object detection unit and the second object detection unit It is possible to include a second detection site.
  • the first object detection unit may be a stereo camera that captures the object as two stereo camera images having a predetermined parallax
  • the second object detection unit may be configured to measure the object in the millimeter wave band.
  • a millimeter wave radar may be detected as a radio wave and acquired as a radar image, and a reference time generation unit for generating a reference time may be further included, and the stereo camera image and the radar image include It is possible to include time information including the reference time at each generated timing.
  • a radar image target detection unit that detects a radar image distance which is a distance to the predetermined target together with time information of the corresponding radar image can be included, and the time shift detection unit The difference between the time information of the stereo camera image and the time information of the radar image at which the stereo camera image distance matches the radar image distance. It can be made to be detected as an amount.
  • a stereo camera image target position detection unit for detecting the coordinate position of the predetermined target on the stereo camera image can be further included, and the distance image target detection unit detects the position of the predetermined distance image in the distance image.
  • the distance information of the coordinate position of the predetermined target detected by the stereo camera image target position detection unit is specified as a stereo camera image distance which is a distance to the predetermined target, and the corresponding stereo camera It is detected together with time information of the image, and the radar image target detection unit is specified by the coordinate position of the predetermined target detected by the stereo camera image target position detection unit and the stereo camera image distance.
  • the distance to the predetermined target As over da image distance may be adapted to detect together with the time information of the corresponding radar image.
  • the predetermined target may include a radar reflector whose reflectance of the millimeter wave radar wave is higher than a predetermined value, and a marker that can be recognized by the stereo camera image.
  • a stereo camera image target position detection unit for detecting the coordinate position of the predetermined target on the stereo camera image, and the predetermined target in the radar image based on the reflection cross-sectional area distribution in the radar image It is possible to further include a reflective sectional area target position detection unit for detecting a position, and the distance image target detection unit detects distance information of the coordinate position of the predetermined target in the distance image.
  • the radar image target detection unit detects the reflection cross section target position
  • the distance corresponding to the position of the predetermined target in the radar image detected by the detection unit is a radar image distance
  • the time of the corresponding radar image It can be made to be detected together with the information.
  • the distance image calculation unit, the distance image target detection unit, the radar image target detection unit, and the time shift detection unit are repeatedly generated at predetermined time intervals to generate the distance image, and the stereo camera image distance Can be detected together with the time information of the corresponding stereo camera image, the radar image distance can be detected together with the time information of the corresponding radar image, and the time shift amount can be detected.
  • the predetermined target may be a license plate of a leading vehicle or a road sign.
  • the first object detection unit may be a stereo camera that captures the object as two stereo camera images having a predetermined parallax
  • the second object detection unit may be configured to transmit the object as a laser beam. So as to be detected as an image according to the reflection intensity of the laser light, and to include LIDAR (Light Detection and Ranging, Laser Imaging
  • LIDAR Light Detection and Ranging, Laser Imaging
  • the stereo camera image and the LIDAR image captured by the LIDAR can include time information including the reference time at the generated timing.
  • a distance image calculation unit which calculates a distance to a subject in pixel units based on a predetermined parallax from the stereo camera image and generates a distance image with the distance as a pixel value, and the predetermined based on the distance image
  • a distance image target detection unit that detects a stereo camera image distance that is a distance to a target together with time information of the corresponding stereo camera image, and a distance to the predetermined target based on the LIDAR image
  • the LIDAR image target detection unit may be included to detect the LIDAR image distance together with time information of the corresponding LIDAR image, and the time shift detection unit may include the stereo camera image distance and the LIDAR image distance detection unit. The difference between the time information of the stereo camera image and the time information of the LIDAR image, which coincide with the image distance, can be detected as a time shift amount. .
  • a stereo camera image target position detection unit for detecting the coordinate position of the predetermined target on the stereo camera image can be further included, and the distance image target detection unit detects the position of the predetermined distance image in the distance image.
  • the distance information of the coordinate position of the predetermined target detected by the stereo camera image target position detection unit is specified as a stereo camera image distance which is a distance to the predetermined target, and the corresponding stereo camera.
  • the time-of-day information of the image is detected, and the LIDAR image is based on the LIDAR reflection intensity image using the reflection intensity of the laser light as the pixel value of each pixel, and the ToF (Time of Time) based on the reciprocation time to the subject of the laser light.
  • the LIDAR image target detection unit includes the LIDAR distance image obtained from the distance image determined by the A position where the radiation intensity is particularly high is regarded as the position of the predetermined target, and the distance of the position in the corresponding LIDAR distance image is the corresponding laser light as the LIDAR image distance which is the distance to the predetermined target. It can be made to detect with the time information of the picture according to the reflection intensity of.
  • the predetermined target may include a laser reflector whose reflectance of the LIDAR laser light is higher than a predetermined value, and a marker that can be recognized by the stereo camera image.
  • the time shift detection unit may calculate a plurality of the time shifts and detect a time shift amount by statistical processing.
  • a signal processing method includes: a first object detection process for detecting an object; a second object detection process for detecting an object by a method different from the first object detection process; Detecting a time lag between a first time when a predetermined target is detected by the object detection process of the second time and a second time when the predetermined target is detected by the second object detection process as a time deviation amount And a time shift detection unit.
  • a program includes a first object detection unit that detects an object, a second object detection unit that is different from the first object detection unit that detects an object, and the first object detection unit. Detection of time shift as a time shift amount between a first time at which a predetermined target is detected and a second time at which the second object detection unit detects the predetermined target It is a program which makes a computer execute processing including a part.
  • a moving body includes a first object detection unit that detects an object, a second object detection unit that is different from the first object detection unit that detects an object, and the first object detection A time shift to detect, as a time shift amount, a time shift between a first time at which a predetermined target is detected by the unit and a second time at which the predetermined target is detected by the second object detection unit It is a mobile including a detection unit.
  • a signal processing system is a signal processing system including a predetermined target and a signal processing device, wherein the signal processing device detects a first object detection unit that detects an object, and detects the object.
  • a second object detection unit different from the first object detection unit, a first time when the predetermined object is detected by the first object detection unit, and the predetermined time by the second object detection unit
  • a time shift detection unit that detects a time shift with respect to a second time at which the target of the object is detected as a time shift amount, and the predetermined target can be detected by the first object detection unit.
  • a signal processing system including a detection target site of and a second detection target site detectable by the second object detection unit.
  • an object is detected by a first object detection unit, and the object is detected by a second object detection unit different from the first object detection unit, and the first object detection unit
  • the time lag between the first time when a predetermined target is detected as the object and the second time when the predetermined object is detected as the object by the second object detection unit Is detected as
  • the mobile object of the present disclosure is a mobile object that recognizes the situation around the host vehicle with high accuracy and travels according to the recognition result.
  • the mobile body of the present disclosure will be described as an example of a vehicle, but it goes without saying that the mobile body may be other than a vehicle.
  • the mobile unit of the present disclosure includes a sensor unit including a millimeter wave radar and a stereo camera, monitors a forward direction in the traveling direction, and obtains a radar image acquired by the millimeter wave radar and a stereo camera captured by the stereo camera From the image, a detected object distance image obtained by combining them is output as peripheral information of the host vehicle.
  • a sensor unit including a millimeter wave radar and a stereo camera, monitors a forward direction in the traveling direction, and obtains a radar image acquired by the millimeter wave radar and a stereo camera captured by the stereo camera From the image, a detected object distance image obtained by combining them is output as peripheral information of the host vehicle.
  • the mobile object of the present disclosure recognizes, for example, peripheral information of the host vehicle based on the detected object distance image, and travels based on the recognition result.
  • FIG. 1 is a figure which shows a relationship with the surrounding vehicle when the vehicle 11 is seen from upper direction.
  • the stereo camera in the vehicle 11 captures, for example, a stereo camera image P1 as shown in the upper left part of FIG. That is, in the stereo camera image P1, the horizontal direction orthogonal to the traveling direction of the vehicle 11 is the X axis, the vertical direction orthogonal to the traveling direction of the vehicle 11 is the Y axis, and the traveling direction of the vehicle 11 is the Z axis And coordinate system information.
  • the radar image P2 acquired by the millimeter wave radar in the vehicle 11 has the horizontal direction orthogonal to the traveling direction of the vehicle 11 as the X axis as shown in the upper right part of FIG. It becomes information of the coordinate system which made Z axis.
  • the image is viewed from the XZ plane, and the radar images R1 and R2 according to the response intensity of the vehicles C1 and C2 traveling on the opposite lane on the right side in the drawing.
  • R2 is projected, and radar images R3 and R4 corresponding to the strength of the response of the preceding vehicles C3 and C4 are projected on the left front side in the drawing.
  • the stereo camera image P1 and the radar image P2 are mapped to the coordinate system of the real space as shown in the lower right part of FIG. An accurate and more robust location of surrounding vehicles C1 to C4 can be identified.
  • the imaging (acquisition) time of the stereo camera image and the radar image is different, when the vehicle 11 or the imaging target vehicles C1 to C4 are moving, the positions of the objects shown in the stereo camera image and the radar image are mutually offset. It will not map properly.
  • imaging is performed at the same time by electrically adjusting the timing, and even if processing is performed without taking into consideration the deviation of the imaging time, the mapping can be realized, but the accuracy is limited there were.
  • time t_radar_1 the time at which the radar image of the millimeter wave radar is acquired.
  • time t_lcamera_1 the time at which the left camera in the stereo camera shoots an image.
  • time t_rcamera_1 the time at which the right camera shoot an image.
  • time t_radar_s is added at the timing when the radar image is signal-processed.
  • time t_lcamera_s is added when the left camera image is output after image signal processing of the left camera is performed
  • time t_rcamera_s is added when the right camera image is output after image signal processing is performed. It shall be.
  • the processing time for signal processing of the radar image is the processing time t_radar_p
  • the processing time for the image signal processing of the left camera is the processing time t_lcamera_p
  • the processing time for the image signal processing of the right camera is the processing time It is assumed that t_rcamera_p.
  • the radar image and the actual imaging (acquisition) time of the stereo camera image are the reference time and their respective processing. From the relationship of the processing time which concerns on these, it represents with following formula (1) thru
  • the processing includes processing relating to each signal processing and time information addition, and further, errors due to various unrecognizable factors in the transfer path through which the radar image and the stereo camera image are transferred are included.
  • the imaging (acquisition) time (the time when the radar wave is received in the case of the millimeter wave radar) is expressed as shown by the following equations (4) to (6).
  • t_radar_1 t_radar_s-t_radar_p + error_radar ...
  • t_lcamera_1 t_lcamera_s-t_lcamera_p + error_lcamera ...
  • t_rcamera_1 t_rcamera_s-t_rcamera_p + error_rcamera ... (6)
  • error_radar since it is not possible to measure the error terms error_radar, error_lcamera, and error_rcamera, it is difficult to specify the actual imaging (acquisition) time (in the case of radar, radar wave reception time), and as a result, Will occur.
  • the time here does not have to be an absolute time, but may be equally spaced pulses (so-called clocks) and the number of counts thereof.
  • the same vehicle in order to properly detect a vehicle in which the stereo camera image by the stereo camera and the radar image by the millimeter wave radar are the same at the same position, the same vehicle is in the same position in the real space coordinate system. As mapped, it is important to use stereo camera images and radar images at the same time.
  • a time shift relating to acquisition of a radar image and a stereo camera image is changed using a detectable target. While detecting the time shift amount by calibration in advance, and correcting the time shift using information on the time shift amount previously obtained by calibration, it is possible to acquire a stereo camera image and a radar image at the same time. Do.
  • the calibration system of the present disclosure for example, as shown in FIG. 2, is provided in a vehicle 11 provided with a sensor unit 31 having a millimeter wave radar and a stereo camera with a monitoring region in front, and a monitoring region. And the target 12.
  • the calibration system configured by the vehicle 11 and the target 12 performs the calibration process to change the distance D between the vehicle 11 and the target 12 and to detect the detection results of the millimeter wave radar and the stereo camera. Using the time information from which each detection result is obtained, the time shift amount which is the difference between the times is determined and stored in the vehicle 11.
  • the vehicle 11 uses the time shift amount determined by the calibration process to shift the time between acquisition of the radar image of the millimeter wave radar and the stereo camera image of the stereo camera. To generate a detected object distance image.
  • the sensor unit 31 includes a stereo camera 51, a millimeter wave radar 52, a signal output unit 53, and a reference time generation unit 54.
  • the stereo camera 51 is composed of cameras 51L and 51R that capture images with predetermined left and right parallaxes, captures the front of the vehicle 11, and corresponds to the reference time supplied from the reference time generation unit 54.
  • the time information including a time stamp is added and output to the signal output unit 53.
  • the millimeter wave radar 52 emits radio waves in the millimeter wave band to the monitoring region, and detects the reflected wave by the detected object, thereby measuring the direction and distance of the detected object, for example, from the round trip time of the radar wave.
  • the radar image is generated, time information including a time stamp corresponding to the reference time supplied from the reference time generation unit 54 is added, and is output to the signal output unit 53.
  • the signal output unit 53 detects a stereo camera image and a radar image provided with a time stamp, which is time information indicating a detection time, as a detection unit of the automatic driving control unit 112 of the vehicle control system 100 described later with reference to FIG. This information is output to the outside information detection unit 141 of 131.
  • the reference time generation unit 54 generates a reference time, and outputs the time to the stereo camera 51 and the millimeter wave radar 52.
  • the target 12 is installed at an arbitrary height that can be detected by the stereo camera 51 of the sensor unit 31 and the millimeter wave radar 52.
  • the target 12 may be any object that reflects the radar wave emitted from the millimeter wave radar 52 and can be photographed by the stereo camera 51.
  • the target 12 is made of metal and reflects light It is desirable that the light is not reflected to such an extent that it does not affect the distance measurement by the stereo camera, for example, a matting process or a paper is attached.
  • the target 12 efficiently reflects the millimeter wave generated by the millimeter wave radar 52 with a reflectance higher than a predetermined reflectance, as shown in FIG. And a radar reflector 71 configured to release the light.
  • the target 12 is a surface of the square pyramid open surface facing the direction of the millimeter wave radar 52 of the sensor unit 31 provided in front of the vehicle 11, and the marker 72 made of paper printed with a pattern on the open surface is It is stuck.
  • a QR Quadick Response
  • the target 12 is configured to be detected by the millimeter wave radar 52 by reflecting millimeter wave radio waves by the millimeter wave radar 52, and the marker 72 is photographed by the stereo camera 51.
  • both the millimeter wave radar 52 and the stereo camera 51 are configured to support distance measurement.
  • the shape of the radar reflector 71 constituting the target 12 is not limited to a quadrangular pyramid, and is a shape that reflects transmitted millimeter waves such as triangular pyramids and spheres in a direction that can be received by the millimeter wave radar 52. Any shape may be used.
  • a marker 72 made of paper on which a pattern is printed is attached in order to increase the accuracy of distance measurement by the stereo camera 51.
  • the rectangular surface of the radar reflector 71 may be closed to print directly. Only the matting treatment to the metal body constituting the radar reflector 71 may be performed so that no reflection of the above occurs.
  • an object hereinafter referred to as a camera target
  • a camera target whose position from the target 12 appears on a known stereo camera, for example, a board on which an appropriate pattern is printed. Etc. may be used.
  • the radar image P12 as shown in the upper right part of FIG. 5 is acquired, in the radar image P12, the radar image R11 of the target 12 to be the target object Direction coordinates, distance coordinates) are detected as (xr, zr).
  • the stereo camera image P11 and the radar image P12 at this time are those when the target 12 is present at the same position, respectively, they are generated based on the stereo camera image P11 and the radar image P12.
  • the distance object detection image shown in FIG. 5 is shown in the lower left part of FIG. 5, and the image St11 of the target 12 and the radar image R11 completely exist.
  • this time shift amount d it corrects the shift between the time information of the stereo camera image taken by the stereo camera 51 and the time information at which the radar image is detected by the millimeter wave radar, thereby achieving synchronized stereo.
  • the camera image and the radar image can be combined to generate a distance object detection image.
  • the time shift amount between time information when the stereo camera image captured by the stereo camera 51 is detected by calibration processing and time information when the radar image detected by the millimeter wave radar 52 is detected is determined in advance . Then, when an actual detected object distance image is generated, the time shift amount obtained in advance is used, and the time information when the stereo camera image captured by the stereo camera 51 is detected, and the millimeter wave radar By correcting the time shift with the time information at which the radar image detected by 52 is detected, the stereo camera image and the radar image are combined in synchronization, and a high-accuracy detected object distance image is generated. .
  • FIG. 6 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100 which is an example of a mobile control system to which the present technology can be applied.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes imaging devices such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging a driver, a biometric sensor for detecting biometric information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the data acquisition unit 102 includes the sensor unit 31 having the stereo camera 51 and the millimeter wave radar 52 described with reference to FIG. 3. The detailed configurations of the stereo camera 51 and the millimeter wave radar 52 will be described later with reference to FIG.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Universal Serial Bus
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the host vehicle. Communicate. Furthermore, for example, the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal)
  • V2X communication such as communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the vehicle, and a navigation device for searching for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the external information detection unit 141 performs detection processing of external information of the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the external information detection unit 141 performs detection processing of an object around the host vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self position estimation unit 132 estimates the position and orientation of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. In addition, the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle, the contents of traffic restriction around the vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle, and the presence or absence and contents of abnormality.
  • the situation around the vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement of the surrounding moving object (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs prediction processing of the situation regarding the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the vehicle, the situation around the vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning part 162 Based on data or signals from each part of the vehicle control system 100 such as the map analyzing part 151 and the situation predicting part 154, the action planning part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive. For example, the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like. The action planning unit 162 supplies data indicating the planned behavior of the host vehicle to the operation planning unit 163 and the like.
  • the operation planning unit 163 is an operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • the stereo camera 51 includes the cameras 51L and 51R, and captures two left and right images each having a predetermined parallax.
  • the camera 51L of the stereo camera 51 captures an image on the left side, and includes an imaging element 201L, an image signal processing unit 202L, and a time information adding unit 203L.
  • the camera 51R captures an image on the right side, and includes an imaging device 201R, an image signal processing unit 202R, and a time information adding unit 203R.
  • the image sensor 201, the image signal processor 202, and the time signal adders 203L, 203R do not need to distinguish between the left and right, respectively.
  • the time information adding unit 203, and other configurations are also referred to.
  • the imaging device 201 is an image sensor configured of a complementary metal oxide semiconductor (CMOS), a charge coupled device (CCD), or the like, captures an image of a monitoring area in front of the vehicle 11, and uses the captured image as an image signal. It is output to the signal processing unit 202.
  • the imaging elements 201L and 201R are configured to generate predetermined parallax, and distance measurement can be performed in pixel units according to the parallax.
  • the image signal processing unit 202 performs predetermined processing such as demosaicing processing, white balance adjustment, ⁇ correction, and the like on the image signal supplied from the imaging element 201, and uses the time information addition unit as left and right stereo camera images. Output to 203.
  • the time information adding unit 203 adds time information including the reference time supplied from the reference time generating unit 54 as a time stamp in units of stereo camera images, and outputs the time stamp to the signal output unit 53.
  • the millimeter wave radar 52 includes a millimeter wave antenna 211, a radar reception signal processing unit 212, and a time information addition unit 213.
  • the millimeter wave antenna 211 generates and emits a millimeter wave band radio wave to an area corresponding to the monitoring area of the stereo camera 51, and also transmits a vehicle, a pedestrian, and the like to the emitted millimeter wave band radio wave. It receives a reflected wave that is reflected from another obstacle or the like, converts it into a received signal, and outputs it to the received signal processing unit 212.
  • the reception signal processing unit 212 subjects the reception signal supplied from the millimeter wave antenna 211 to signal processing such as amplification processing and noise removal processing, distance measurement based on the round trip time, and the like to obtain a radar image. It is output to the information addition unit 213.
  • the time information adding unit 213 adds time information including the reference time supplied from the reference time generating unit 54 as a time stamp in units of radar images, and outputs the time stamp to the signal output unit 53.
  • the external information detection unit 141 includes a calibration processing unit 231 and a detected object distance image generation unit 232.
  • the calibration processing unit 231 obtains the time shift amount based on the stereo camera image including time information and the radar image including time information supplied from the sensor unit 31 in time series during the calibration process. To memorize. Further, at the time of the detection object distance image generation processing, the calibration processing unit 231 supplies the information of the time shift amount obtained at the time of the calibration processing to the detection object distance image generation unit 232.
  • the calibration processing unit 231 includes an object detection processing unit 251, a storage unit 252, a time shift detection unit 253, and a time shift storage unit 254.
  • the object detection processing unit 251 obtains an object detection position of the target 12 based on a stereo camera image supplied in time series from the sensor unit 31 and an object detection position of the target 12 based on a radar image, It is stored in the storage unit 252 in association with time information. The detailed configuration and operation of the object detection processing unit 251 will be described later with reference to FIGS. 9 and 10.
  • the time shift detection unit 253 detects the time shift amount using the time information of the stereo camera image and the time information of the radar image whose distances to the target 12 match in the storage unit 252, and stores the time shift It is stored in the unit 254. The details of the method of detecting the time shift amount will be described later with reference to FIG.
  • the detected object distance image generation unit 232 is a stereo camera image including time information supplied from the sensor unit 31 in time series using the time shift amount obtained at the time of calibration processing in the detection object image generation process. And, by correcting the time shift in the radar image including the time information, the detected object distance image is generated in proper synchronization.
  • the detected object distance image generation unit 232 includes a delay buffer 271, a time shift correction processing unit 272, and an image processing unit 273.
  • the delay buffer 271 buffers any one of a stereo camera image including time information and a radar image including time information, and an image supplied earlier by a time shift amount.
  • the delay buffer 271 is configured to buffer the radar image, but the stereo camera image is When supplied first, the stereo camera image is buffered.
  • the time shift correction processing unit 272 reads the time shift amount from the time shift storage unit 254, and the corresponding image buffered in the delay buffer 271 at the timing when the image supplied later by the time shift amount is supplied. Are read out and supplied to the image processing unit 273 as well. In the example of FIG. 8, since the stereo camera image is supplied later, the time shift correction processing unit 272 buffers the delay buffer 271 for a time corresponding to the time shift amount at the timing when the stereo camera image is supplied. By reading out the obtained radar image, the image processing unit 273 is supplied with the stereo camera image and the radar image synchronized with the state in which the time shift is corrected, that is, synchronized with the state without the time shift.
  • the image processing unit 273 uses, for example, the image of the lower right part in FIG. 1 using the stereo camera image and the radar image in which there is no time shift, that is, the time information is matched (synchronized). An image is generated and output to the situation recognition unit 153.
  • the object detection processing unit 251 includes a distance image calculation unit 291, a distance image target detection unit 292, a stereo camera image target detection unit 293, and a radar image target detection unit 294.
  • the distance image calculation unit 291 obtains a distance in pixel units from two images having parallax constituting a stereo camera image, and generates a distance image in which the obtained distance is a pixel value. That is, for example, as shown in the upper part of FIG. 10, in the case where there are two images PL and PR having parallax that constitute a stereo camera image, the distance is calculated in pixel units according to the parallax, and the calculated distance is calculated. A distance image P31 having a pixel value is generated.
  • the stereo camera image target detection unit 293 detects the position on the image where the target 12 appears from the stereo camera image, that is, the coordinate position of the target 12, and the distance image target detection unit 292 and the radar image target It is output to the detection unit 294.
  • the stereo camera image target detection unit 293 Recognizes the coordinate position (x, y) of the target 12 by recognizing the marker 72 in the stereo camera image.
  • the marker 72 may be, for example, a QR (Quick Response) code.
  • the stereo camera image target detection unit 293 is a target among the stereo camera images P32 obtained from the two images PL and PR with parallax constituting the stereo camera image.
  • the coordinate position (x, y) of the 12 images St101 is obtained.
  • the stereo camera image target detection unit 293 is essential if it is clear that the image in the stereo camera image is the target 12 when only the target 12 is captured in the stereo camera image. It is not a configuration.
  • the distance image target detection unit 292 determines the coordinate position (x, of the image St101 of the target 12).
  • the distance zs of the target 12 can be determined as shown by the distance image P33 in the lower part of FIG.
  • the radar image target detection unit 294 is supplied from the stereo camera image target detection unit 293 since the position of the response of the target 12 is the distance itself, as shown by the radar image P12 shown in the upper right part of FIG.
  • the position where the radar response is strong in the vicinity of the position identified based on the x position of the target 12 to be detected and the distance zs of the target determined from the distance image target detection unit 292 is the detected position of the target 12 Assume that the distance is output as the distance zs of the target 12.
  • the z position of the reflection position may be output as the distance zr of the target 12 as it is.
  • the distance zr of the target 12 based on the radar image obtained by the object detection processing unit 251 and the distance zs of the target 12 based on the stereo camera image are respectively stored in the storage unit 252 in association with time information. It is done.
  • the minimum number of the distance zr of the target 12 based on the radar image and the distance zs of the target 12 based on the stereo camera image stored in the storage unit 252 is the time when the maximum time shift amount assumed is The number of shots taken on the For example, when the time corresponding to the maximum time shift amount is tm, and the stereo camera image and the radar image are captured (acquired) at the same frame rate f (fps), the minimum number is tm ⁇ f.
  • the distance zr of the target 12 based on the radar image and the distance zs of the target 12 based on the stereo camera image will hereinafter be referred to simply as the distance zr and the distance zs.
  • the time lag detection unit 253 reads out one of the distance zr corresponding to the time information and the distance zs corresponding to the time information, and sets it as a reference distance.
  • the time lag detection unit 253 determines that the distance between the reference distance and the other distance zr that is not the distance zr or the other distance zr that is not the distance zs is equal to the reference distance or the difference with the reference distance is minimized.
  • the distance zr or the distance zs is searched, and the difference between the pieces of time information is stored in the time shift storage unit 254 as a time shift amount.
  • the relationship between time information at which the distance to the target 12 obtained from the radar image is detected and the distance zr is shown as a waveform L1
  • the target obtained from the stereo camera image The relationship between time information at which a distance of 12 was detected zs and the distance is shown as a waveform L2.
  • the distance of the target 12 detected along with the time information should change. If there is no time shift, the distance of the target 12 detected from the image captured at the same time will match, but as shown in FIG. 11, when a difference occurs, the difference is the time It becomes a gap amount.
  • step S11 movement of at least one of the target 12 and the vehicle 11 is started. That is, for example, as shown in FIG. 2, at least one of the movements is started such that the distance D facing the vehicle 11 and the target 12 changes.
  • step S12 the stereo camera 51 captures a stereo camera image, adds a time stamp that is captured time information, and outputs the result to the object detection processing unit 251 of the external information detection unit 141.
  • the millimeter wave radar 52 generates a radar image, adds a time stamp, which is time information at which the radar image is generated, and outputs it to the external information detection unit 141.
  • step S13 the distance image calculation unit 291 of the object detection processing unit 251 obtains the distance in pixel units based on a stereo camera image consisting of two images having a predetermined parallax, and obtains the pixel value of each pixel.
  • a distance image having the value of the distance is generated, and is output to the distance image target detection unit 292 together with a time stamp which is time information when the stereo camera image is captured.
  • step S14 the stereo camera image target detection unit 293 identifies the target position, which is the coordinate position (x, y) of the marker 72 constituting the target 12 in the image, based on the stereo camera image, It is outputted to the image target detection unit 292 and the radar image target detection unit 294. Note that only the x coordinate may be supplied to the radar image target detection unit 294.
  • the distance image target detection unit 292 can obtain the pixel value of the distance image corresponding to the coordinate position (x, y) in the stereo camera image at which the target 12 is detected from the stereo camera image.
  • the distance zs of the target 12 is supplied to the radar image target detection unit 294, and is output and stored in the storage unit 252 together with time information which is information on a time stamp.
  • step S16 the radar image target detection unit 294 receives the x coordinate of the coordinate position (x, y) of the target 12 determined from the stereo camera image supplied from the stereo camera image target detection unit 293. Based on the distance zs supplied from the distance image target detection unit 292, the position with the highest radar response near the corresponding position in the radar image is detected as the target distance which is the position of the target 12.
  • step S17 the radar image target detection unit 294 stores the response value in the radar image specified as the position of the target 12 as the target distance which is the distance zr to the target 12 determined from the radar image. Output to 252 for storage.
  • step S18 the time lag detection unit 253 determines the distance to the target 12 based on the stereo camera image and the time information, and the distance to the target 12 based on the radar image and the time information for each of the predetermined times. It is determined whether or not it is stored in the storage unit 252.
  • step S18 the distance zs to the target 12 based on the stereo camera image and the time information, and the distance zr to the target 12 based on the radar image and the time information are not stored for a predetermined number of times.
  • the process returns to step S12. In other words, until the distance zs to the target 12 based on the stereo camera image and the time information, and the distance zr to the target 12 based on the radar image and the time information are stored a predetermined number of times, respectively, The processes of S12 to S18 are repeated.
  • step S18 the processing in steps S12 to S18 is repeated a predetermined number of times, and in step S18, the distance zs to the target 12 based on the stereo camera image and the time information, and the distance to the target 12 based on the radar image If zr and time information are regarded as stored a predetermined number of times, the process proceeds to step S19.
  • step S19 the time lag detection unit 253 determines the distance zs to the target 12 based on the stereo camera image and the time information stored in the storage unit 252, and the distance to the target 12 based on the radar image. By reading out zr and time information, an approximate expression for each time of the distance zs and the distance zr is obtained.
  • the time lag detection unit 253 obtains an approximate expression for each of the time of the distance zs and the distance zr, which corresponds to the waveforms L1 and L2 of FIG.
  • step S20 the time lag detection unit 253 obtains each time of the distance zs and the distance zr with respect to the predetermined distance based on the obtained approximate expression.
  • the time lag detection unit 253 determines the time t1 at the distance zr1, the time t2 at the distance zr2, the time t3 at the distance zr3, and the time t11 at the distance zs1, , Time t12 at the distance zs2, and time t13 at the distance zs3.
  • step S21 the time shift detection unit 253 obtains a time shift amount from the difference time that is the difference between the time of the distance zs and the time of the distance zr with respect to a predetermined distance, and stores the time shift storage unit 254.
  • the above processing it is possible to obtain the time shift amount to be acquired between the stereo camera image of the same distance between the stereo camera 51 and the millimeter wave radar 52 and the radar image.
  • the determined time shift amount it is possible to generate a detected object distance image combining detection results of the stereo camera 51 and the millimeter wave radar 52 with high accuracy in synchronization, and the accuracy of the detected object distance image It is possible to improve the
  • step S31 the stereo camera 51 captures a stereo camera image, adds a time stamp that is captured time information, and outputs the result to the object detection processing unit 251 of the external information detection unit 141.
  • the millimeter wave radar 52 generates a radar image, adds a time stamp, which is time information at which the radar image is generated, and outputs it to the external information detection unit 141.
  • the radar image is assumed to be supplied prior to the stereo camera image by the time corresponding to the time shift amount
  • the order in which the radar image and the stereo camera image are supplied is calibration. And may go back and forth.
  • step S32 the delay buffer 271 buffers the radar image.
  • step S33 the time shift correction processing unit 272 reads the information on the time shift amount stored in the time shift storage unit 254, and the radar image buffered for a time corresponding to the read time shift amount; At the same time, the supplied stereo camera image is supplied to the image processing unit 273 together.
  • step S34 the image processing unit 273 combines the supplied stereo camera image and radar image to generate a detected object distance image, and outputs the image to the situation recognition unit 153, for example.
  • the stereo camera image and the radar image can be synchronized with high accuracy, and then a combined detected object distance image can be generated.
  • the target may be any object that can be detected simultaneously by sensors of different methods. Therefore, as long as it is an object that can be simultaneously detected by different types of sensors, it may not be an object like the jig of the present disclosure.
  • the target 12 can be detected at the same position in any of the stereo camera 51 and the millimeter wave radar 52, calibration processing is repeatedly performed during traveling by setting a substitute for the target 12 during traveling. Can be performed.
  • a license plate 301 attached to the rear of the vehicle 300, a road sign 302, and the like can be considered.
  • the license plate 301 and the road sign 302 attached to the rear of the vehicle 300 can be detected from either a stereo camera image or a radar image because the attachment position, shape, and the like are predetermined.
  • FIG. 15 shows a configuration example of the object detection processing unit 251 when the substitute for the target 12 is the number plate 301.
  • symbol shall be attached
  • the object detection processing unit 251 of FIG. 15 differs from the object detection processing unit 251 of FIG. 9 in the distance image target detection unit 292, the stereo camera image target detection unit 293, and the radar image target detection unit 294.
  • a distance image number plate detection unit 311, a stereo camera image number plate detection unit 312, and a radar image number plate detection unit 324 are provided.
  • a reflection cross-sectional area distribution estimation unit 321, a vehicle position estimation unit 322, and a reflection cross-sectional area distribution database 323 are newly provided.
  • the stereo camera image number plate detection unit 312 detects the number plate from the stereo camera image by image recognition, detects the coordinate position (x, y) in the image, and supplies it to the distance image number plate detection unit 311.
  • the distance image license plate detection unit 311 specifies the distance of the coordinate position (x, y) of the license plate on the distance image supplied from the distance image calculation unit 291 as the distance to the license plate, and is based on the stereo camera image. It outputs as the distance zs to the license plate.
  • the reflection cross-sectional area distribution estimation unit 321 estimates a reflection cross-sectional area distribution related to the intensity of the response in the radar image, and supplies the estimated reflection cross-sectional area distribution to the vehicle position estimation unit 322.
  • the vehicle position estimation unit 322 collates the reflection cross-sectional area distribution supplied from the reflection cross-sectional area distribution estimation unit 321 with the reflection cross-sectional area distribution for each vehicle type stored in the reflection cross-sectional area distribution database 323 to identify the vehicle type. And estimate the coordinate position of the vehicle in the radar image.
  • the radar image number plate detection unit 324 outputs the position of the vehicle as the distance zr of the number plate based on the radar image, based on the coordinate position of the vehicle in the radar image.
  • the reflection cross-sectional area distribution due to the transmitted reflected waves of the millimeter waves has characteristics according to the vehicle type. It can collate with the database in which area distribution was stored, and can specify a vehicle type and a position of a vehicle based on a collation result.
  • a square shaped reflective cross-sectional area distribution having an opening upward indicates the features and the position of the vehicle.
  • the vehicle 11 and the license plate can be regarded as substantially the same distance, and thus can be functioned similarly to the target 12.
  • the millimeter wave radar 52 having a sufficiently high resolution, it is possible to obtain the shape of the vehicle more accurately, and the detection of the distance of the license plate can be realized.
  • step S51 the sensor unit 31 determines whether a predetermined time has elapsed.
  • step S51 when the predetermined time has not passed, the process proceeds to step S63, and the outside information detection unit 141 determines whether the end is instructed or not, and when the end is not instructed, the process is Return to S51. That is, the process of steps S51 and S63 is repeated until the end of the process is not instructed and the predetermined time passes.
  • the calibration process described with reference to the flowchart of FIG. 17 is a process repeated at predetermined time intervals in a normal traveling state, so when the detected object distance image generation process is executed in parallel It is a process that is performed or is performed while stopping the detection object distance image generation processing at predetermined time intervals.
  • step S51 If it is determined in step S51 that the predetermined time has elapsed, the process proceeds to step S52.
  • step S52 the stereo camera 51 captures a stereo camera image, adds a time stamp that is captured time information, and outputs the result to the object detection processing unit 251 of the external information detection unit 141.
  • the millimeter wave radar 52 generates a radar image, adds a time stamp, which is time information at which the radar image is generated, and outputs it to the external information detection unit 141.
  • step S53 the distance image calculation unit 291 of the object detection processing unit 251 obtains the distance in pixel units based on a stereo camera image consisting of two images having a predetermined parallax, and obtains the pixel value of each pixel.
  • a distance image having the value of the distance is generated, and is output to the distance image number plate detection unit 311 together with a time stamp which is time information when the stereo camera image is captured.
  • step S54 the stereo camera image number plate detector 312 recognizes the number plate in the image based on the stereo camera image, specifies the coordinate position (x, y) of the recognized number plate, and obtains the distance image number It is output to the plate detection unit 311.
  • step S55 the distance image number plate detection unit 311 determines the pixel value of the distance image corresponding to the coordinate position (x, y) in the stereo camera image from which the number plate is detected, the number obtained from the stereo camera image
  • the distance zs of the plate is output to the storage unit 252 together with the time stamp information and stored.
  • step S56 the reflection cross section distribution estimation unit 321 estimates the reflection cross section distribution from the response in the radar image, and outputs the estimated reflection cross section distribution to the vehicle position estimation unit 322.
  • step S57 the vehicle position estimation unit 322 specifies the coordinate position of the vehicle in the radar image based on the reflection cross-sectional area distribution estimated by the response in the radar image, and the information of the specified coordinate position corresponds to the radar image number.
  • the signal is output to the plate detection unit 313.
  • step S58 based on the coordinate position of the vehicle in the radar image, the radar image number plate detection unit 324 stores the position of the vehicle as the distance zr of the license plate based on the radar image together with the information of the time stamp of the radar image. It is output to the unit 252 and stored.
  • step S59 the time lag detecting unit 253 determines the distance zs to the license plate based on the stereo camera image and the time information, and the distance zr to the license plate based on the radar image and the time information each for a predetermined number of times. It is determined whether or not it is stored in the storage unit 252.
  • step S59 if the distance zs to the license plate based on the stereo camera image and the time information to the license plate based on the radar image and the time information to the license plate based on the radar image are not stored a predetermined number of times, The processing returns to step S52. In other words, until the distance zs to the license plate based on the stereo camera image and the time information, and the distance zr to the license plate based on the radar image and the time information are stored a predetermined number of times, respectively, The process of S59 is repeated.
  • steps S52 to S59 is repeated a predetermined number of times, and in step S59, the distance zs to the license plate based on the stereo camera image and the time information, and the distance zr to the license plate based on the radar image If it is determined that the time information has been stored a predetermined number of times, the process proceeds to step S60.
  • step S60 the time lag detection unit 253 stores the distance zs to the license plate based on the stereo camera image and the time information stored in the storage unit 252, and the distance zr to the license plate based on the radar image, and The time information is read out to obtain an approximate expression for each time of the distance zs and the distance zr.
  • step S61 the time lag detection unit 253 obtains each time of the distance zs and the distance zr with respect to the predetermined distance based on the obtained approximate expression.
  • step S62 the time shift detection unit 253 obtains a time shift amount from the difference between the time of each of the distance zs and the distance zr for each distance, and stores the time shift storage unit 254.
  • the time shift amount for acquiring the stereo camera image and the radar image of the same distance between the stereo camera 51 and the millimeter wave radar 52 It becomes possible to determine repeatedly at a predetermined time interval.
  • the amount of time shift is repeatedly updated and stored at a predetermined time interval, so that the detection results of the stereo camera 51 and the millimeter wave radar 52 corresponding to the amount of time shift changing due to aging deterioration etc. It is possible to improve the accuracy of the combined detected object distance image.
  • the example using the license plate of the vehicle as a substitute for the target 12 has been described, as long as the shape and size are specified and can be recognized as a substitute for the target 12, It may be something other than a license plate, for example, a road sign may be used.
  • the detected object distance image generation process is the same as the process described with reference to FIG. 13, and thus the description thereof is omitted.
  • the distance image using laser light called LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) and the coordinate position (x, y) in the stereo camera image respectively correspond to
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • x, y the coordinate position (x, y) in the stereo camera image respectively correspond to
  • a distance image consisting of pixel values of distance information may be used and combined with a stereo camera image.
  • a distance image acquired using LIDAR will be referred to as a LIDAR distance image.
  • the LIDAR distance image has a lower resolution than a distance image obtained using a stereo camera image, it is characterized in that the distance accuracy is high.
  • FIG. 18 shows a configuration example of the sensor unit 31 in which the LIDAR 371 is provided instead of the millimeter wave radar 52.
  • the same reference numerals are given to configurations having the same functions as the configurations of the sensor unit 31 of FIG. 7, and the description will be appropriately omitted.
  • the sensor unit 31 of FIG. 18 differs from the sensor unit 31 of FIG. 7 in that LIDAR 371 is provided instead of the millimeter wave radar 52.
  • the LIDAR 371 includes a laser light emitting and receiving unit 381, a signal processing unit 382, and a time information adding unit 383.
  • the laser emitting and receiving unit 381 projects the laser beam with a predetermined resolution to the monitoring area in front of the traveling direction of the vehicle 11 and receives the reflected beam of the projected laser beam, and the received light intensity of the reflected beam And a signal indicating the timing of light emission and the timing of light reception to the signal processing unit 382.
  • the signal processing unit 382 generates a LIDAR reflection intensity image including the light reception intensity of the reflected light, and based on the projected timing of the projected laser light and the reciprocation time of the laser light determined from the received timing.
  • a distance is obtained by a so-called ToF (Time of Flight) method, a LIDAR distance image is generated, and a LIDAR reflection intensity image and a LIDAR distance image are paired and output to the time information adding unit 383.
  • ToF Time of Flight
  • the time information adding unit 383 adds the information of the reference time supplied from the reference time generating unit 54 as a time stamp for each pair of LIDAR reflection intensity image and LIDAR distance image, and outputs the time stamp to the signal output unit 53.
  • the pair of LIDAR reflection intensity image and LIDAR distance image is also referred to simply as LIDAR image.
  • the target 390 in the case where the sensor unit 31 is provided with LIDAR 371 instead of the millimeter wave radar 52 is a laser reflector whose reflectance of the laser projected from LIDAR 371 is higher than a predetermined value on the left and right. 392-1 and 392-2 are provided, and a marker 391 similar to the marker 72 is provided at the center.
  • the object detection processing unit 251 in FIG. 20 differs from the object detection processing unit 251 in FIG. 9 in that a LIDAR image target detection unit 401 is provided instead of the radar image target detection unit 294.
  • the LIDAR image target detection unit 401 obtains the distance zr of the target 390 based on the LIDAR reflection intensity image and the LIDAR distance image that constitute the LIDAR image.
  • a stereo camera image P71 is photographed in which a person H1 is photographed on the left part in the image and a target 390 is photographed on the right.
  • the LIDAR reflection intensity image is a bright pixel as the reflection intensity is high, and is dark as the reflection intensity is low.
  • the laser reflectors 392-1 and 392-2 in the target 390 have higher reflectance than the other objects because the reflectance of the laser light is higher.
  • the LIDAR image target detection unit 401 identifies an area having a higher reflection intensity than the other areas as an area where the target 390 exists based on the LIDAR reflection intensity image P72, and the corresponding coordinate position (x, y) Read out.
  • the LIDAR image target detection unit 401 sets the distance corresponding to the coordinate position (x, y) of the target 390 determined from the LIDAR reflection intensity image P72 in the LIDAR distance image P73 shown in the right part of FIG. The distance to the target 390 based on the image is obtained.
  • the LIDAR distance image P73 pixels are darker as the distance is longer and pixels are brighter as the distance is closer.
  • step S96 the LIDAR image target detection unit 401 specifies an area having a higher reflection intensity than the other areas as an area where the object 390 exists, based on the LIDAR reflection intensity image, and the corresponding coordinate position (x , Y) as the target position.
  • step S97 the LIDAR image target detection unit 401 sets a distance corresponding to the coordinate position (x, y) of the target 390 determined from the LIDAR reflection intensity image in the LIDAR distance image to a target based on the LIDAR distance image.
  • a distance up to 390 is detected as a target object distance zr based on the LIDAR image, and is output and stored in the storage unit 252 in association with time information.
  • step S99 After the processes of steps S92 to S98 are repeated and stored in the storage unit 252 for a predetermined number of times, the process proceeds to step S99.
  • step S99 the time lag detection unit 253 stores the distance zs to the target 390 based on the stereo camera image and the time information stored in the storage unit 252, and the distance zr to the target based on the LIDAR image. And time information is read out to obtain an approximate expression for each time of the distance zs and the distance zr.
  • step S100 the time lag detection unit 253 obtains each time of the distance zs and the distance zr with respect to a predetermined distance based on the obtained approximate expression.
  • step S101 the time shift detection unit 253 obtains a time shift amount from each time difference between the distance zs and the distance zr with respect to a predetermined distance, and stores the time shift storage unit 254.
  • the detected object distance image generation process is the same as the process described with reference to FIG. 13, and thus the description thereof is omitted.
  • FIG. 23 shows a configuration example of a general-purpose computer.
  • This computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse through which the user inputs an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, programs and various data.
  • a storage unit 1008 including a hard disk drive to be stored, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • a magnetic disc including a flexible disc
  • an optical disc including a compact disc-read only memory (CD-ROM), a digital versatile disc (DVD)
  • a magneto-optical disc including a mini disc (MD)
  • a semiconductor A drive 1010 for reading and writing data to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, is installed in the storage unit 1008, and is loaded from the storage unit 1008 to the RAM 1003. Execute various processes according to the program.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. Processing is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on, for example, a removable medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the CPU 1001 in FIG. 23 implements the function of the automatic driving control unit 112 in FIG.
  • the storage unit 1008 in FIG. 23 implements the storage unit 111 in FIG.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also have the following configurations.
  • a first object detection unit for detecting an object A second object detection unit different from the first object detection unit that detects an object; The time lag between the first time when the predetermined object is detected by the first object detection unit and the second time when the predetermined object is detected by the second object detection unit And a time shift detection unit for detecting as a quantity.
  • a buffering unit that buffers a detection result of the object by at least one of the first object detection unit or the second object detection unit;
  • the signal processing device according to ⁇ 1>, further including: a time shift correction unit configured to set a delay amount by the buffering unit according to the time shift amount and correct the time shift.
  • the predetermined target is an object for measuring the time shift amount, A first detected portion detectable by the first object detection unit;
  • the signal processing apparatus according to ⁇ 1> or ⁇ 2>, including a second detection target site that can be detected by the second object detection unit.
  • the first object detection unit is a stereo camera that captures the object as two stereo camera images having a predetermined parallax
  • the second object detection unit is a millimeter wave radar that detects the object with a millimeter wave band radio wave and acquires a radar image. Further including a reference time generation unit generating a reference time;
  • the signal processing device according to ⁇ 1>, wherein the stereo camera image and the radar image include time information including the reference time at the generated timing.
  • a distance to the predetermined target is calculated in units of pixels based on the two images having the predetermined parallax constituting the stereo camera image, and a distance image having the distance as a pixel value is generated.
  • Distance image calculation unit A distance image target detection unit that detects the distance to the predetermined target in the distance image as a stereo camera image distance together with time information of the corresponding stereo camera image;
  • a radar image target detection unit for detecting a radar image distance which is a distance to the predetermined target based on the radar image together with time information of the corresponding radar image;
  • the time shift detection unit detects, as a time shift amount, a difference between time information of the stereo camera image and time information of the radar image at which the stereo camera image distance matches the radar image distance.
  • a stereo camera image target position detection unit for detecting a coordinate position of the predetermined target on the stereo camera image is further included.
  • the distance image target detection unit is a distance to the predetermined target of distance information of the coordinate position of the predetermined target detected by the stereo camera image target position detection unit in the distance image. Identify as stereo camera image distance and detect with the corresponding time information of the stereo camera image,
  • the radar image target detector detects the predetermined position of the target detected by the stereo camera image target position detector and a range in the vicinity of the position specified by the stereo camera image distance.
  • the signal processing device wherein a distance with high response intensity in a radar image is detected as a radar image distance which is a distance to the predetermined target together with time information of the corresponding radar image.
  • the predetermined target is A radar reflector having a reflectivity of the radar wave of the millimeter wave radar higher than a predetermined value;
  • the signal processing apparatus including a marker that can be recognized by the stereo camera image.
  • a stereo camera image target position detection unit that detects a coordinate position of the predetermined target on the stereo camera image;
  • a reflective cross section target position detection unit for detecting the position of the predetermined target in the radar image based on the reflection cross section distribution in the radar image;
  • the distance image target detection unit specifies distance information of the coordinate position of the predetermined target in the distance image as a stereo camera image distance which is a distance to the predetermined target, and the corresponding stereo camera Detect with the time information of the image,
  • the radar image target detection unit uses a distance corresponding to the position of the predetermined target in the radar image detected by the reflection cross-sectional area target position detection unit as a radar image distance.
  • the signal processing apparatus as described in ⁇ 5> which detects with time information.
  • the distance image calculation unit, the distance image target detection unit, the radar image target detection unit, and the time shift detection unit repeatedly generate the distance image at predetermined time intervals, and the stereo camera An image distance is detected together with time information of the corresponding stereo camera image, a radar image distance is detected together with time information of the corresponding radar image, and a time shift amount is detected.
  • ⁇ 10> The signal processing device according to ⁇ 8>, wherein the predetermined target is a license plate of a leading vehicle or a road sign.
  • the first object detection unit is a stereo camera that captures the object as two stereo camera images having a predetermined parallax
  • the second object detection unit is a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) that detects the object with a laser beam and captures an image according to a reflection intensity of the laser beam, Further including a reference time generation unit generating a reference time;
  • the signal processing device according to ⁇ 1>, wherein the stereo camera image and the LIDAR image captured by the LIDAR each include time information including the reference time at the generated timing.
  • a distance image calculation unit that calculates a distance to a subject in pixel units based on a predetermined parallax from the stereo camera image, and generates a distance image in which the distance is a pixel value
  • a distance image target detection unit that detects a stereo camera image distance that is a distance to the predetermined target based on the distance image together with time information of the corresponding stereo camera image
  • a LIDAR image target detection unit that detects a LIDAR image distance which is a distance to the predetermined target based on the LIDAR image, together with time information of the corresponding LIDAR image
  • the time shift detection unit detects, as a time shift amount, a difference between time information of the stereo camera image and time information of the LIDAR image in which the stereo camera image distance matches the LIDAR image distance.
  • a stereo camera image target position detection unit for detecting a coordinate position of the predetermined target on the stereo camera image is further included.
  • the distance image target detection unit is a distance to the predetermined target of distance information of the coordinate position of the predetermined target detected by the stereo camera image target position detection unit in the distance image. Identify as stereo camera image distance and detect with the corresponding time information of the stereo camera image,
  • the LIDAR image is a LIDAR reflection intensity image in which the reflection intensity of the laser light is a pixel value of each pixel and a distance image obtained by a ToF (Time of Flight) method based on a round trip time of the laser light to the object.
  • ToF Time of Flight
  • the LIDAR image target detection unit regards a position where the reflection intensity is particularly higher than the LIDAR reflection intensity image as the position of the predetermined target, and the distance of the position in the corresponding LIDAR distance image is the predetermined target.
  • the signal processing device which detects as a LIDAR image distance which is a distance to an object, together with time information of an image corresponding to a reflection intensity of the corresponding laser light.
  • the predetermined target is A laser reflector having a reflectance of laser light of the LIDAR higher than a predetermined value;
  • the signal processing apparatus according to ⁇ 11> including a marker that can be recognized by the stereo camera image.
  • ⁇ 15> The signal processing apparatus according to any one of ⁇ 1> to ⁇ 14>, wherein the time shift detection unit obtains a plurality of the time shifts and detects a time shift amount by statistical processing.
  • first object detection processing for detecting an object
  • a second object detection process for detecting an object by a method different from the first object detection process
  • a time shift detection unit for detecting as a quantity.
  • a first object detection unit for detecting an object A second object detection unit different from the first object detection unit that detects an object; The time lag between the first time when the predetermined object is detected by the first object detection unit and the second time when the predetermined object is detected by the second object detection unit
  • a program that causes a computer to execute processing including a time shift detection unit that detects as an amount.
  • a first object detection unit for detecting an object A second object detection unit different from the first object detection unit that detects an object; The time lag between the first time when the predetermined object is detected by the first object detection unit and the second time when the predetermined object is detected by the second object detection unit
  • a moving object including a time shift detection unit that detects as an amount.
  • a signal processing system comprising a predetermined target and a signal processing device
  • the signal processing device A first object detection unit that detects an object; A second object detection unit different from the first object detection unit that detects an object; The time lag between the first time when the predetermined object is detected by the first object detection unit and the second time when the predetermined object is detected by the second object detection unit And a time shift detection unit that detects a shift amount, and
  • the predetermined target is A first detected portion detectable by the first object detection unit;
  • a signal processing system including: a second detection target that can be detected by the second object detection unit;

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示は、ステレオカメラとミリ波レーダとを適切に同期して組み合わせることで、検出結果の精度を向上させることができるようにする信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関する。 キャリブレーションにおいて、センサ部により、レーダ反射体と、マーカとを有する目標物を、撮影（取得）したステレオカメラ画像とレーダ像とが得られる時刻を、センサ部と目標物との距離を変化させながら取得し、同一距離となるステレオカメラ画像が得られる時刻とレーダ像が得られる時刻との差分となる時刻ズレ量として求めておく。物体検出時には、先に取得されるレーダ像をバッファリングし、時刻ズレ量だけ遅れて取得したステレオカメラ画像と併せて出力し、ステレオカメラ画像とレーダ像とを組み合わせて、高精度な検出物体距離画像を生成する。本開示は、車載システムに適用することができる。

Description

信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
　本開示は、信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関し、特に、複数のセンサによる検出結果を適切に組み合わせて使用できるようにした信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システムに関する。
　複数のセンサによる検出結果を組み合わせて利用することにより、検出精度を向上させる技術が提案されている。
　この技術では、まず、キャリブレーションにより、基準となる第１の物体検出センサにより所定の物体が所定の位置で検出される時刻情報と、キャリブレーションの対象となる第２の物体検出センサにより同一の所定の物体が同一の所定の位置で検出される時刻情報との時刻のズレが、時刻ズレ量として予め求められる。
　この際、第１の物体検出センサおよび第２の物体検出センサにより同一の物体が、同一の状態で検出される時刻情報については、正確なUTC(協定世界時：Coordinated Universal Time)を用いたハードウェアタイムスタンプが使用される。
　そして、実際に物体を検出する際には、第２の物体検出センサによる、第１の物体検出センサとの検出時刻の時刻ズレを、予め求めた時刻ズレ量に基づいた、カルマンフィルタにより予測して補償し、第１の物体検出センサの検出結果と、第２の物体検出センサの検出結果とを同期させ、組み合わせて使用する（非特許文献１参照）。
　このように、物体が検出される際の時刻情報が揃えられた第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出結果が組み合わされることにより、検出結果の精度が向上される。
　尚、この場合、第１の物体検出センサ、および第２の物体検出センサのそれぞれの検出時刻として、それぞれ正確なUTCによるタイムスタンプが付与される必要がある。
2011 IEEE Intelligent Vehicles Symposium (IV) Baden-Baden, Germany, June 5-9, 2011 Precise Timestamping and Temporal Synchronization in Multi-Sensor Fusion
　ところで、複数の異なる物体検出センサとして、ミリ波レーダとステレオカメラとを用いて、それぞれの検出結果を組み合わせて、より正確で、かつ、よりロバストな検出物体距離情報を求める場合、非特許文献１と同様に、予め検出される時刻情報のズレである時刻ズレ量を求めて、カルマンフィルタを用いて時刻ズレを予測処理により求め、補正することが考えられる。
　しかしながら、カルマンフィルタを用いた予測処理に係る負荷が大きい上、時刻ズレを予測するのみであり、必ずしも適切な補正ができない。
　また、検出対象が異なる物体検出センサ間の検出時刻のズレ時間を高精度に検出することができないため、精度の低い時刻ズレの情報に基づいた、カルマンフィルタにより予測される時刻ズレの予測精度には限界があった。
　本開示は、このような状況に鑑みてなされたものであり、特に、複数の物体検出センサの検出結果を適切に同期して組み合わせることで、検出結果の精度を向上させるものである。
　本開示の一側面の信号処理装置は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む信号処理装置である。
　前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含ませるようにすることができる。
　前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含ませるようにすることができる。
　前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラとすることができ、前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダとすることができ、基準時刻を発生する基準時刻発生部をさらに含ませるようにすることができ、前記ステレオカメラ画像および前記レーダ像には、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含ませるようにすることができる。
　前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含ませるようにすることができ、前記時刻ズレ検出部には、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出させるようにすることができる。
　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。
　前記所定の目標物には、前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。
　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像目標物検出部には、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出させるようにすることができる。
　前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部には、所定の時間間隔で繰り返し、前記距離画像を生成させ、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出させ、時刻ズレ量を検出させるようにすることができる。
　前記所定の目標物は、前走車のナンバープレート、または、道路標識とすることができる。
　前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラとすることができ、前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）とすることができ、基準時刻を発生する基準時刻発生部をさらに含ませるようにすることができ、前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像には、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含ませるようにすることができる。
　前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含ませるようにすることができ、前記時刻ズレ検出部には、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出させるようにすることができる。
　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含ませるようにすることができ、前記距離画像目標物検出部には、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定させ、対応する前記ステレオカメラ画像の時刻情報と共に検出させ、前記LIDAR画像には、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含ませ、前記LIDAR画像目標物検出部には、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出させるようにすることができる。
　前記所定の目標物には、前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、前記ステレオカメラ画像により認識可能なマーカとを含ませるようにすることができる。
　前記時刻ズレ検出部には、複数の前記時刻ズレを求めさせ、統計処理により時刻ズレ量を検出させるようにしてもよい。
　本開示の一側面の信号処理方法は、物体を検出する第１の物体検出処理と、前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む信号処理方法である。
　本開示の一側面のプログラムは、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む処理をコンピュータに実行させるプログラムである。
　本開示の一側面の移動体は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含む移動体である。
　本開示の一側面の信号処理システムは、所定の目標物と信号処理装置とからなる信号処理システムにおいて、前記信号処理装置は、物体を検出する第１の物体検出部と、物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部とを含み、前記所定の目標物は、前記第１の物体検出部により検出可能な第１の被検出部位と、前記第２の物体検出部により検出可能な第２の被検出部位とを含む信号処理システムである。
　本開示の一側面においては、第１の物体検出部により物体が検出され、前記第１の物体検出部とは異なる第２の物体検出部により前記物体が検出され、前記第１の物体検出部により所定の目標物が前記物体として検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が前記物体として検出される第２の時刻との時刻ズレが時刻ズレ量として検出される。
　本開示の一側面によれば、特に、複数の物体検出センサによる複数の検出結果を適切に同期して組み合わせるようにすることで、検出結果の精度を向上させることが可能となる。
本開示の概要を説明する図である。 車両と目標物との位置関係を説明する図である。 ステレオカメラ画像とレーダ像との時刻ズレを説明する図である。 本開示の車両に搭載されるセンサ部の構成例を説明する図である。 本開示の目標物の構成例を説明する図である。 本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 図６のデータ取得部におけるセンサ部の構成例を説明するブロック図である。 図６の車外情報検出部の構成例を説明するブロック図である。 図８の物体検出処理部の構成例を説明するブロック図である。 図８の物体検出処理部の動作を説明する図である。 時刻ズレ量の求め方を説明する図である。 キャリブレーション処理を説明するフローチャートである。 検出物体距離画像生成処理を説明するフローチャートである。 目標物の代用物の例を説明する図である。 本開示の応用例の物体検出処理部の構成例を説明するブロック図である。 目標物の代用物をナンバープレートにする場合のレーダ像の例を説明する図である。 目標物をナンバープレートにした場合のキャリブレーション処理を説明するフローチャートである。 ミリ波レーダに代えてLIDARを用いたセンサ部の変形例を説明するブロック図である。 図１８のセンサ部に対応する目標物の構成例を説明する図である。 図１８のセンサ部に対応する物体検出処理部の構成例を説明するブロック図である。 LIDAR反射強度画像とLIDAR距離画像とを説明する図である。 キャリブレーション処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．本開示の好適な実施の形態
　３．応用例
　４．変形例
　５．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　本開示の移動体は、自車両の周囲の状況を高精度に認識し、認識結果に応じて自走する移動体である。以降において、本開示の移動体については、車両である場合の例について説明を進めるが、移動体であれば、車両以外であってよいことはいうまでもない。
　本開示の移動体は、ミリ波レーダと、ステレオカメラとからなるセンサ部を備えており、進行方向前方を監視し、ミリ波レーダにより取得されるレーダ像と、ステレオカメラにより撮影されるステレオカメラ画像とから、それらを組み合わせた検出物体距離画像を、自車両の周辺情報として出力する。
　本開示の移動体は、この検出物体距離画像に基づいて、例えば、自車両の周辺情報を認識し、認識結果に基づいて自走する。
　より詳細には、例えば、図１の左下部で示される自車両である車両１１が、道路Ｒの左側の車線を図中上方に移動しているとき、対向車線に車両１１に近い方から順に車両Ｃ１，Ｃ２が、図中の下方向に移動しており、また、車両１１と同一の車線であって、車両１１より前方に、図中の上方に移動する車両Ｃ３，Ｃ４が存在するものとする。尚、図１は、車両１１を上方から見たときの、周囲の車両との関係を示す図である。
　図１の左下部のとき、車両１１におけるステレオカメラは、例えば、図１の左上部で示されるようなステレオカメラ画像Ｐ１を撮影する。すなわち、ステレオカメラ画像Ｐ１は、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両１１の進行方向に対して直交する垂直方向をＹ軸とし、車両１１の進行方向をＺ軸とした座標系の情報となる。
　すなわち、ステレオカメラ画像Ｐ１においては、図１の左上部で示されるように、ＸＹ平面からみたＺ方向に奥行きのある像となり、図中右側前方に対向車線を走行する車両Ｃ１，Ｃ２が画像Ｓｔ１，Ｓｔ２として映し出され、図中左側前方に先行車である車両Ｃ３，Ｃ４が画像Ｓｔ３，Ｓｔ４として映し出されている。
　一方、車両１１におけるミリ波レーダにより取得されるレーダ像Ｐ２は、図１の右上部で示されるように、車両１１の進行方向に対して直交する水平方向をＸ軸とし、車両の進行方向をＺ軸とした座標系の情報となる。
　すなわち、レーダ像Ｐ２においては、図１の右上部で示されるように、ＸＺ平面からみた像となり、図中右側に対向車線を走行する車両Ｃ１，Ｃ２の応答の強度に応じたレーダ像Ｒ１，Ｒ２が映し出されており、図中左側前方に先行車である車両Ｃ３，Ｃ４の応答の強度に応じたレーダ像Ｒ３，Ｒ４が映し出されている。
　そして、このステレオカメラ画像Ｐ１とレーダ像Ｐ２とが組み合わされることにより、図１の右下部で示されるような、実空間の座標系にマッピングされ、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置を特定することができる。
　すなわち、図１の右下部においては、画像Ｓｔ１乃至Ｓｔ４のそれぞれと対応してレーダ像Ｒ１乃至Ｒ４の情報が重畳されており、ステレオカメラ画像における画像Ｓｔ１乃至Ｓｔ４と、レーダ像Ｒ１乃至Ｒ４との相互の情報を使用して、実空間における座標系にマッピングすることにより、車両１１からみた走行方向前方に対して、より正確で、かつ、よりロバストな周辺の車両Ｃ１乃至Ｃ４の位置情報の取得が可能となる。
　ところで、ステレオカメラ画像とレーダ像とから車両Ｃ１乃至Ｃ４を検出し、実空間の座標系にマッピングする場合、ステレオカメラ画像とレーダ像とは同一時刻に撮影（取得）した画像を利用する必要がある。
　ステレオカメラ画像とレーダ像との撮影（取得）時刻が異なれば、車両１１、または撮影対象車両Ｃ１乃至Ｃ４が動いている場合、ステレオカメラ画像およびレーダ像に写る対象物の位置が相互にズレてしまうので、適切にマッピングすることができない。
　この点について、電気的にタイミングを合わせることで同一時刻に撮影しているとみなし、撮影時刻のズレについては考慮せずに処理しても、マッピングを実現することはできるが、精度に限界があった。
　また、GPS（Global Positioning System）等の高精度の時刻を用いたタイムスタンプを撮影画像に付与し、時刻を合わせて処理する技術も存在するが、高精度な時刻を用いたタイムスタンプを付加する機能を常用することは現実的ではなく、タイムスタンプをつけたとしても、通常、タイムスタンプはデータがセンサから送られてきてから付与されるものであり、バッファ送信のレイテンシまで考慮することができない。
　さらに、クロックを同期する技術も存在するが、複数の物体検出センサを用いるシステムにおいて、各物体検出センサのクロックが独立していることは一般的であり、それぞれの内部クロックのドリフトによる時刻ズレは生じてしまう。
　また、複数の物体検出センサの各クロックが独立していなくても、複数の物体検出センサのそれぞれにクロックを配信するためのバッファによる遅延が存在し、クロックのドリフトにより時刻ズレは生じる。
　さらに、ミリ波レーダでのレーダ像が取得される時刻を時刻t_radar_1とし、ステレオカメラにおける左カメラで画像が撮影される時刻を時刻t_lcamera_1とし、右カメラで画像が撮影される時刻を時刻t_rcamera_1とする。
　また、基準時刻は常に生成されており、レーダ像が信号処理されたタイミングで時刻t_radar_sが付加されるものとする。同様に、左カメラの画像信号処理がなされた後に左カメラ画像が出力されるときに時刻t_lcamera_sが付加され、画像信号処理がなされた後に右カメラ画像が出力されるときに時刻t_rcamera_sが付加されるものとする。
　レーダ像の信号処理に係る処理時間が処理時間t_radar_pであるものとし、左カメラの画像信号処理に係る処理時間が処理時間t_lcamera_pであるものとし、右カメラの画像信号処理に係る処理時間が処理時間t_rcamera_pであるものとする。
　レーダ像およびステレオカメラ画像が取得される、レーダ像、およびステレオカメラ画像の実際の撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、基準時刻と、それぞれの処理に係る処理時間の関係から、以下の式（１）乃至（３）で表される。
　t_radar_1=t_radar_s－t_radar_p
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　t_lcamera_1=t_lcamera_s－t_lcamera_p
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　t_rcamera_1=t_rcamera_s－t_rcamera_p
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　しかしながら、それぞれの信号処理や時刻情報の付加に係る処理、さらには、レーダ像およびステレオカメラ画像が転送される転送経路における各種の認識不能な要因によるエラーが含まれる。結果として、撮影（取得）時刻（ミリ波レーダの場合はレーダ波が受信される時刻）は、以下の式（４）乃至式（６）で示されるように表現される。
　t_radar_1=t_radar_s－t_radar_p＋error_radar
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　t_lcamera_1=t_lcamera_s－t_lcamera_p＋error_lcamera
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　t_rcamera_1=t_rcamera_s－t_rcamera_p＋error_rcamera
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　すなわち、エラー項であるerror_radar，error_lcamera，error_rcameraを測定することができないため、実際の撮影（取得）時刻（レーダの場合はレーダ波受信時刻）を特定することは困難であり、結果として、時刻ズレが生じる。
　尚、ここでの時間は絶対時間である必要はなく、等間隔のパルス（いわゆるクロック）とそのカウント回数であればよい。
　したがって、撮影（取得）されたステレオカメラ画像とレーダ像との時刻ズレが適切に補正され、それぞれ検出された物体の対応関係が一致するように、同期を図る必要がある。
　即ち、ステレオカメラによるステレオカメラ画像およびミリ波レーダによるレーダ像のそれぞれが同一の車両を、同一の位置で適切に検出するには、実空間の座標系において、同一の車両が、同一の位置にマッピングされるように、同一時刻のステレオカメラ画像とレーダ像とを用いることが重要となる。
　そこで、本開示においては、ステレオカメラと、ミリ波レーダとのいずれのセンサにおいても、検出可能な目標物を用いて、レーダ像とステレオカメラ画像との取得に係る時刻ズレを、距離を変化させながら予めキャリブレーションにより時刻ズレ量として検出し、キャリブレーションにより予め求めた時刻ズレ量の情報を用いて、時刻ズレを補正することで、同一時刻のステレオカメラ画像とレーダ像とを取得できるようにする。
　＜ステレオカメラ画像が検出される時刻と、ミリ波レーダによるレーダ像が検出される時刻との時刻ズレ量の求め方の概要＞
　本開示のキャリブレーションシステムは、例えば、図２で示されるように、前方を監視領域とする、ミリ波レーダとステレオカメラとを有するセンサ部３１を備えた車両１１と、監視領域内に設けられた目標物１２とから構成される。
　このように車両１１と目標物１２とから構成されるキャリブレーションシステムは、キャリブレーション処理により、車両１１と目標物１２との距離Ｄを変化させながら、ミリ波レーダとステレオカメラとの検出結果を用いて、それぞれの検出結果が得られる時刻情報から、時刻間の差分である時刻ズレ量を求め、車両１１に記憶させる。車両１１は、通常の検出物体距離画像を生成する際に、キャリブレーション処理により求められた時刻ズレ量を用いて、ミリ波レーダのレーダ像とステレオカメラのステレオカメラ画像との取得に係る時刻ズレを補正して、検出物体距離画像を生成する。
　＜センサ部の構成の概要＞
　ここで、図３を参照して、センサ部３１の構成の概要について説明する。
　センサ部３１は、ステレオカメラ５１、ミリ波レーダ５２、信号出力部５３、および基準時刻生成部５４を備えている。
　ステレオカメラ５１は、左右の所定の視差を備えた画像を撮影するカメラ５１Ｌ，５１Ｒとから構成されており、車両１１の前方を撮影し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
　ミリ波レーダ５２は、ミリ波帯の電波を監視領域に対して放出し、検出物体による反射波を検出することで、検出物体の方向と距離を、例えば、レーダ波の往復時間から測定して、レーダ像を生成し、基準時刻生成部５４より供給される基準時刻に対応するタイムスタンプからなる時刻情報を付与して、信号出力部５３に出力する。
　信号出力部５３は、検出時刻を示す時刻情報であるタイムスタンプが付与されているステレオカメラ画像およびレーダ像を、図６を参照して後述する車両制御システム１００の自動運転制御部１１２の検出部１３１の車外情報検出部１４１に出力する。
　基準時刻生成部５４は、基準となる時刻を発生しステレオカメラ５１およびミリ波レーダ５２に出力する。
　＜目標物の構成例＞
　次に、図４を参照して、キャリブレーション時に使用される目標物１２の構成例について説明する。
　目標物１２は、センサ部３１のステレオカメラ５１、およびミリ波レーダ５２により検出可能な任意の高さで設置される。
　また、目標物１２は、ミリ波レーダ５２より発せられるレーダ波を反射し、かつ、ステレオカメラ５１により撮影可能な物体であれば良く、具体的には、金属製であり、かつ、光の反射がステレオカメラによる測距に影響しない程度に、光が反射しない、例えば、つや消し処理や紙が貼り付けられているものであることが望ましい。
　さらに、目標物１２は、効率よくミリ波レーダ５２より発生られるミリ波を所定の反射率よりも高い反射率で反射するために、図４で示されるように、金属製の四角錐の矩形面を開放するように構成したレーダ反射体７１から構成される。
　また、目標物１２は、四角錐の開放面を車両１１の前方に設けられたセンサ部３１のミリ波レーダ５２の方向に向ける面とし、開放面にパターンが印刷された紙からなるマーカ７２が貼りつけられている。このパターンとしては、例えば、QR（Quick Response）コードなどでもよい。
　目標物１２は、このような構成により、ミリ波レーダ５２によるミリ波の電波を反射させることで、ミリ波レーダ５２により検出される構成で、かつ、ステレオカメラ５１によりマーカ７２が撮影されることで、ミリ波レーダ５２においても、ステレオカメラ５１においても測距に対応する構成とされている。
　なお、目標物１２を構成するレーダ反射体７１の形状は四角錐に限定されるものではなく、三角錐や球等の送信されたミリ波をミリ波レーダ５２で受信可能な方向へ反射する形状であればどの様な形状でもよい。
　また、ステレオカメラ５１による測距の精度を高めるためにパターンが印刷された紙からなるマーカ７２が貼り付けられているが、レーダ反射体７１の矩形面を塞ぎ直接印字しても良いし、光の反射が起こらないようなレーダ反射体７１を構成する金属体へのつや消し処理のみでもよい。
　さらに、光の反射が起こらないような処理を施すことが困難である場合、目標物１２からの位置が既知のステレオカメラに写る物体（以下カメラターゲット）、例えば、適切な図柄が印刷されたボード等を用いてもよい。
　ただし、この場合は、後述する目標物１２の移動に際して、レーダ反射体７１とカメラターゲットは位置関係が変化しない様に移動させるか、所定の時刻の位置関係を知ることができる様にしなければならない。
　＜時刻ズレ量の求め方の概要＞
　次に、図５を参照して、図２乃至図４を参照して説明した車両１１のセンサ部３１と目標物１２とを用いたキャリブレーション処理による時刻ズレ量の具体的な求め方の概要について説明する。
　例えば、図５の左上部で示されるような、ステレオカメラ画像Ｐ１１が撮影される場合、ステレオカメラ画像Ｐ１１においては、対象物体となる目標物１２の画像Ｓｔ１１が、（水平方向座標，距離座標）＝（ｘｓ，ｚｓ）として検出される。
　一方、キャリブレーション処理において、例えば、図５の右上部で示されるような、レーダ像Ｐ１２が取得される場合、レーダ像Ｐ１２においては、対象物体となる目標物１２のレーダ像Ｒ１１が、（水平方向座標，距離座標）＝（ｘｒ，ｚｒ）として検出される。
　尚、このときのステレオカメラ画像Ｐ１１と、レーダ像Ｐ１２とが、それぞれ同一位置に目標物１２が存在しているときのものであれば、ステレオカメラ画像Ｐ１１とレーダ像Ｐ１２とに基づいて生成される距離物体検出画像は、図５の左下部で示されるものとなり、目標物１２の画像Ｓｔ１１と、レーダ像Ｒ１１とが完全に一致する位置に存在することになる。
　従って、目標物１２の実空間内での位置が一致する図５の左上部で示されるステレオカメラ画像Ｐ１１と、図５の右上部で示されるレーダ像Ｐ１２とが検出される時刻の差分が時刻ズレ量として求められる。
　図５の右下部のグラフは、キャリブレーション処理により、図２における車両１１と目標物１２までの距離Ｚ（＝Ｄ）と、ステレオカメラ画像Ｐ１１が検出される時刻、および、レーダ像Ｐ１２が検出される時刻との、それぞれの関係を示す波形である。
　ここで、図５の右下部において、波形Ｌ１が、距離Ｚ（＝Ｄ）とレーダ像Ｐ１２が検出される時刻との関係を示すグラフであり、波形Ｌ２が、距離Ｚ（＝Ｄ）とステレオカメラ画像Ｐ１１が検出される時刻との関係を示すグラフである。
　そして、波形Ｌ１，Ｌ２における距離ｚｓ＝ｚｒのそれぞれの時刻の差分が、各距離における時刻ズレ量ｄとして求められる。
　この時刻ズレ量ｄを用いて、ステレオカメラ５１により撮影されるステレオカメラ画像の時刻情報と、ミリ波レーダによりレーダ像が検出される時刻情報とのズレを補正することで、同期の取れたステレオカメラ画像とレーダ像とが組み合わされて、距離物体検出画像を生成することが可能となる。
　すなわち、キャリブレーション処理により予め、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレ量が求められる。そして、実際の検出物体距離画像が生成される際には、予め求めておいた時刻ズレ量が用いられて、ステレオカメラ５１により撮影されるステレオカメラ画像が検出される時刻情報と、ミリ波レーダ５２により検出されるレーダ像が検出される時刻情報との時刻ズレが補正されることにより、ステレオカメラ画像とレーダ像とが同期して組み合わされて、高精度な検出物体距離画像が生成される。
　＜＜２．本開示の好適な実施の形態＞＞
　＜車両を制御する車両制御システムの構成例＞
　次に、図６を参照して、車両１１を制御する車両制御システムの詳細な構成例について説明する。図６は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮影装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮影する撮影装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。尚、データ取得部１０２は、図３を参照して説明したステレオカメラ５１およびミリ波レーダ５２を有するセンサ部３１を備えている。また、ステレオカメラ５１およびミリ波レーダ５２の詳細な構成については、図７を参照して後述する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮影装置により撮影された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜データ取得部の構成例＞
　次に、図７を参照して、上述したセンサ部３１の詳細な構成を含むデータ取得部１０２の構成例について説明する。尚、データ取得部１０２の構成を説明するにあたり、図３を参照して説明したセンサ部３１の構成と同一の機能を備えた構成については、同一の符号を付すものとし、その説明は適宜省略する。
　ステレオカメラ５１は、カメラ５１Ｌ，５１Ｒを備えており、それぞれ所定の視差を備えた左右の２枚の画像を撮影する。ステレオカメラ５１のカメラ５１Ｌは、左側の画像を撮影し、撮像素子２０１Ｌ、画像信号処理部２０２Ｌ、および時刻情報付加部２０３Ｌより構成されている。また、カメラ５１Ｒは、右側の画像を撮影し、撮像素子２０１Ｒ、画像信号処理部２０２Ｒ、および時刻情報付加部２０３Ｒより構成されている。
　尚、撮像素子２０１Ｌ，２０１Ｒ、画像信号処理部２０２Ｌ，２０２Ｒ、および時刻情報付加部２０３Ｌ，２０３Ｒのそれぞれについて、左右を特に区別する必要がない場合、単に、撮像素子２０１、画像信号処理部２０２、および時刻情報付加部２０３と称するものとし、その他の構成も同様に称するものとする。
　撮像素子２０１は、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などから構成されるイメージセンサであり、車両１１の前方の監視領域の画像を撮影し、撮影した画像を画像信号として画像信号処理部２０２に出力する。尚、撮像素子２０１Ｌ，２０１Ｒは、所定の視差が生じるように構成されており、視差に応じて画素単位で測距することが可能とされている。
　画像信号処理部２０２は、撮像素子２０１より供給される画像信号に対して、デモザイク処理、ホワイトバランス調整、γ補正など、所定の処理を施して、左右のそれぞれのステレオカメラ画像として時刻情報付加部２０３に出力する。
　時刻情報付加部２０３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報を、ステレオカメラ画像単位でタイムスタンプとして付加して信号出力部５３に出力する。
　ミリ波レーダ５２は、ミリ波アンテナ２１１、レーダ受信信号処理部２１２、および時刻情報付加部２１３を備えている。
　ミリ波アンテナ２１１は、ステレオカメラ５１の監視領域に対応する領域に対してミリ波帯の電波を発生して放出すると共に、放出されたミリ波帯の電波に対して、車両、歩行者、およびその他の障害物などから反射される反射波を受信し、受信信号に変換して受信信号処理部２１２に出力する。
　受信信号処理部２１２は、ミリ波アンテナ２１１より供給される受信信号に対して、増幅処理やノイズ除去処理等、さらに、往復時間に基づいた距離測定などの信号処理を施して、レーダ像として時刻情報付加部２１３に出力する。
　時刻情報付加部２１３は、基準時刻生成部５４より供給される基準時刻からなる時刻情報をレーダ像単位でタイムスタンプとして付加して信号出力部５３に出力する。
　＜車外情報検出部の構成例＞
　次に、図８を参照して、車外情報検出部１４１の構成例について説明する。
　車外情報検出部１４１は、キャリブレーション処理部２３１および検出物体距離画像生成部２３２を備えている。
　キャリブレーション処理部２３１は、キャリブレーション処理時において、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像と、時刻情報を含むレーダ像とに基づいて、時刻ズレ量を求めて記憶する。また、キャリブレーション処理部２３１は、検出物体距離画像生成処理時に、キャリブレーション処理時に求めた時刻ズレ量の情報を検出物体距離画像生成部２３２に供給する。
　より詳細には、キャリブレーション処理部２３１は、物体検出処理部２５１、記憶部２５２、時刻ズレ検出部２５３、および時刻ズレ記憶部２５４を備えている。
　物体検出処理部２５１は、センサ部３１より時系列に供給されてくる、ステレオカメラ画像に基づいた目標物１２の物体検出位置と、レーダ像に基づいた目標物１２の物体検出位置とを求め、時刻情報と対応付けて記憶部２５２に記憶させる。尚、物体検出処理部２５１の詳細な構成と動作については、図９，図１０を参照して後述する。
　時刻ズレ検出部２５３は、記憶部２５２に、目標物１２までの距離が一致する、ステレオカメラ画像の時刻情報と、レーダ像の時刻情報とを用いて、時刻ズレ量を検出し、時刻ズレ記憶部２５４に記憶させる。尚、時刻ズレ量の検出方法の詳細については、図１１を参照して詳細を後述する。
　検出物体距離画像生成部２３２は、検出物体画像生成処理において、キャリブレーション処理時に求められた時刻ズレ量を用いて、時系列にセンサ部３１より供給されてくる、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像における時刻ズレを補正することで、適切に同期させて、検出物体距離画像を生成する。
　より詳細には、検出物体距離画像生成部２３２は、遅延バッファ２７１、時刻ズレ補正処理部２７２、および画像処理部２７３を備えている。
　遅延バッファ２７１は、時刻情報を含むステレオカメラ画像、および時刻情報を含むレーダ像のいずれか、時刻ズレ量分だけ先に供給される画像をバッファリングする。尚、図８においては、レーダ像が先に供給されることを前提とした構成とされており、遅延バッファ２７１は、レーダ像をバッファリングする構成となっているが、ステレオカメラ画像の方が先に供給される場合、ステレオカメラ画像をバッファリングする構成とする。また、ステレオカメラ画像とレーダ像とが、どちらが先に供給するかわからない場合もあり得るので、そのような場合には、両方バッファリングできる構成とし、ステレオカメラ画像とレーダ像とのうち、先に供給されるものをバッファリングするようにしてもよい。
　時刻ズレ補正処理部２７２は、時刻ズレ量を時刻ズレ記憶部２５４より読み出し、時刻ズレ量分だけ後から供給される画像が供給されるタイミングで、遅延バッファ２７１にバッファリングされている対応する画像を読み出して、併せて画像処理部２７３に供給する。図８の例においては、ステレオカメラ画像が後から供給されるので、時刻ズレ補正処理部２７２は、ステレオカメラ画像が供給されたタイミングにおいて、時刻ズレ量に対応する時間だけ遅延バッファ２７１にバッファリングされたレーダ像を読み出すことにより、時刻ズレを補正した、すなわち、時刻ズレの無い状態に同期したステレオカメラ画像とレーダ像とを、画像処理部２７３に供給する。
　画像処理部２７３は、時刻ズレの無い、すなわち、時刻情報が合った（同期した）ステレオカメラ画像とレーダ像とを用いて、例えば、図１における右下部の画像に示されるような検出物体距離画像を生成して状況認識部１５３に出力する。
　＜物体検出処理部の構成例＞
　次に、図９を参照して、物体検出処理部２５１の構成例について説明する。
　物体検出処理部２５１は、距離画像算出部２９１、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４を備えている。
　距離画像算出部２９１は、ステレオカメラ画像を構成する視差のある２枚の画像から画素単位で距離を求め、求められた距離を画素値とする距離画像を生成する。すなわち、例えば、図１０の上段で示されるようにステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲが存在する場合、視差に応じて画素単位で距離を算出し、算出した距離を画素値とする距離画像Ｐ３１を生成する。
　ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像から目標物１２が写っている画像上の位置、すなわち、目標物１２の座標位置を検出し、距離画像目標物検出部２９２およびレーダ像目標物検出部２９４に出力する。
　より詳細には、目標物１２には、ステレオカメラ画像内において、画像で認識可能なマーカ７２が貼り付けられている（または印刷されるなどされている）ので、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内におけるマーカ７２を認識することで目標物１２の座標位置（ｘ，ｙ）を認識する。マーカ７２は、例えば、QR（Quick Response）コードなどでもよい。
　すなわち、図１０の上段で示されるように、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像を構成する視差のある２枚の画像ＰＬ，ＰＲより求められるステレオカメラ画像Ｐ３２のうち、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）を求める。
　尚、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像内において、目標物１２のみが撮影されている場合、ステレオカメラ画像内における像は目標物１２であることが明らかであるので、必須の構成ではない。
　距離画像目標物検出部２９２は、距離画像算出部２９１より供給される距離画像上の目標物１２の座標位置（ｘ，ｙ）の画素値（=距離）から、目標物１２までの距離を推定し、目標物１２の距離ｚｓとして出力すると共に、レーダ像目標物検出部２９４に出力する。
　すなわち、図１０の中段の距離画像Ｐ３１は、画像上の位置の実距離を画素値とした画像であるから、距離画像目標物検出部２９２は、目標物１２の像Ｓｔ１０１の座標位置（ｘ，ｙ）における距離画像Ｐ３１の画素値（ｘ，ｙ，ｚｓ）を特定することにより、図１０の下段における距離画像Ｐ３３で示されるように目標物１２の距離ｚｓを求めることができる。
　レーダ像目標物検出部２９４は、図５の右上部で示されるレーダ像Ｐ１２で示されるように、目標物１２の応答の位置が距離そのものとなるので、ステレオカメラ画像目標物検出部２９３より供給される目標物１２のｘ位置と、距離画像目標物検出部２９２からの求められた目標物の距離ｚｓとに基づいて特定される位置付近のレーダ応答が強い位置を目標物１２の検出位置とみなし、その距離を目標物１２の距離ｚｓとして出力する。
　尚、目標物１２のみが撮影されていることが保証されている場合、反射位置のｚ位置をそのまま目標物１２の距離ｚｒとして出力するようにしてもよい。
　＜時刻ズレ量の検出方法の詳細＞
　次に、図１１を参照して、時刻ズレ量の検出方法の詳細について説明する。
　物体検出処理部２５１により求められたレーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとは、それぞれ時刻情報と対応付けられて記憶部２５２に記憶されている。
　記憶部２５２に記憶される、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとの最小数は、想定される最大の時刻ズレ量となる時間に撮影される枚数分となる。例えば、最大の時刻ズレ量に対応する時間がtmであり、ステレオカメラ画像とレーダ像とが同じフレームレートf（fps）で撮影（取得）されるとき、最小数はtm×f枚となる。尚、レーダ像に基づいた目標物１２の距離ｚｒと、ステレオカメラ画像に基づいた目標物１２の距離ｚｓとについては、以下、単に距離ｚｒ、距離ｚｓとも称するものとする。
　時刻ズレ検出部２５３は、時刻情報と対応する距離ｚｒ、および時刻情報と対応する距離ｚｓのうち、いずれか一方を読み出し、基準距離とする。
　続いて、時刻ズレ検出部２５３は、基準距離を取得した距離ｚｒ、または距離ｚｓではない他方の距離ｚｒまたは距離ｚｓのうち、基準距離と等しい、または、基準距離との差が最小となるを距離ｚｒまたは距離ｚｓ検索し、それぞれの時刻情報の差分を時刻ズレ量として時刻ズレ記憶部２５４に保存する。
　すなわち、図１１で示されるように、レーダ像から求められた目標物１２までの距離が検出された時刻情報と距離ｚｒとの関係は波形Ｌ１として示され、ステレオカメラ画像から求められた目標物１２の距離がｚｓ検出された時刻情報と距離との関係は、波形Ｌ２として示される。
　目標物１２は、車両１１との距離が変化し続ける状態で撮影されるため、時刻情報と共に検出された目標物１２の距離は変化するはずである。もし、時刻ズレが存在しない場合、同じ時刻に撮影された画像から検出された目標物１２の距離は一致することになるが、図１１で示されるように、差分が生じるとき、その差分が時刻ズレ量となる。
　時刻ズレ検出部２５３は、それぞれの時刻情報と距離の関係を近似式として表し、その近似式の差分から時刻ズレ量を求める。すなわち、図１１の場合、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）において、それぞれ時刻ｔ１，ｔ２，ｔ３およびｔ１１，ｔ１２，ｔ１３がそれぞれ求められるので、距離と時刻情報の関係から波形Ｌ１，Ｌ２のそれぞれについて近似式を生成して、距離に応じた時刻ズレ量を求める。
　また、時刻ズレ検出部２５３は、その他の手法で時刻ズレ量を求めてもよく、例えば、複数の地点の時刻ズレ量を求め、それらの平均や中央値等の統計量を利用して時刻ズレ量として求めるようにしても良い。すなわち、図１１で示されるように、時刻ズレ検出部２５３は、距離ｚｓ１（＝ｚｒ１），ｚｓ２（＝ｚｒ２），ｚｓ３（＝ｚｒ３）・・・のそれぞれの差分時間ｄ１，ｄ２，ｄ３・・・の平均値や中央値等の統計量を利用して時刻ズレ量を求めるようにしてもよい。
　＜図８の車外情報検出部によるキャリブレーション処理＞
　次に、図１２のフローチャートを参照して、図８の車外情報検出部１４１によるキャリブレーション処理について説明する。
　ステップＳ１１において、目標物１２、および車両１１の少なくともいずれかの移動が開始される。すなわち、例えば、図２で示されるように、車両１１、および目標物１２対向している距離Ｄが変化するように、少なくともいずれかの移動が開始される。
　ステップＳ１２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
　ステップＳ１３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像目標物検出部２９２に出力する。
　ステップＳ１４において、ステレオカメラ画像目標物検出部２９３は、ステレオカメラ画像に基づいて、画像内における目標物１２を構成するマーカ７２の座標位置（ｘ，ｙ）である目標物位置として特定し、距離画像目標物検出部２９２、およびレーダ像目標物検出部２９４に出力する。なお、レーダ像目標物検出部２９４に対しては、ｘ座標のみが供給されるようにしてもよい。
　ステップＳ１５において、距離画像目標物検出部２９２は、目標物１２が検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められる目標物１２の距離ｚｓとして、レーダ像目標物検出部２９４に供給するとともに、タイムスタンプの情報である時刻情報と共に記憶部２５２に出力して、記憶させる。
　ステップＳ１６において、レーダ像目標物検出部２９４は、ステレオカメラ画像目標物検出部２９３より供給された、ステレオカメラ画像より求められる目標物１２の座標位置（ｘ，ｙ）のうちのｘ座標と、距離画像目標物検出部２９２より供給される距離ｚｓに基づいて、レーダ像内の対応する位置近傍で最もレーダ応答の高い位置を目標物１２の位置である目標物距離として検出する。
　ステップＳ１７において、レーダ像目標物検出部２９４は、目標物１２の位置として特定されたレーダ像内の応答値を、レーダ像より求められる目標物１２までの距離ｚｒである目標物距離として記憶部２５２に出力して、記憶させる。
　ステップＳ１８において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいた目標物１２までの距離および時刻情報、並びに、レーダ像に基づいた目標物１２までの距離および時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
　ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ１２に戻る。すなわち、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ１２乃至Ｓ１８の処理が繰り返される。
　そして、ステップＳ１２乃至Ｓ１８の処理が所定回数だけ繰り返されて、ステップＳ１８において、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ１９に進む。
　ステップＳ１９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物１２までの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいた目標物１２までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
　すなわち、時刻ズレ検出部２５３は、例えば、図１１の波形Ｌ１，Ｌ２に対応する、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
　ステップＳ２０において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
　すなわち、時刻ズレ検出部２５３は、例えば、図１１で示されるように、近似式で求められる距離ｚｒ１における時刻ｔ１、距離ｚｒ２における時刻ｔ２、および距離ｚｒ３における時刻ｔ３、並びに、距離ｚｓ１における時刻ｔ１１、距離ｚｓ２における時刻ｔ１２、および距離ｚｓ３における時刻ｔ１３を求める。
　ステップＳ２１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分である差分時刻より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
　すなわち、時刻ズレ検出部２５３は、図１１で示されるように、差分時間ｄ１（＝時刻ｔ１１－時刻ｔ１）、差分時間ｄ２（＝時刻ｔ１２－時刻ｔ２）、差分時間ｄ３（＝時刻ｔ１３－時刻ｔ３）をそれぞれ求めて、平均値や中央値を時刻ズレ量として求め、時刻ズレ記憶部２５４に記憶させる。
　以上の処理により、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とミリ波レーダ５２との検出結果を高精度に同期して組み合わせた検出物体距離画像を生成することが可能となり、検出物体距離画像の精度を向上させることが可能となる。
　＜検出物体距離画像生成処理＞
　次に、図１３のフローチャートを参照して、検出物体距離画像生成処理について説明する。
　ステップＳ３１において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
　ただし、同時に処理をしても、上述したように同一の物体に対する同一の距離のステレオカメラ画像とレーダ像とは、供給されるタイミングに時刻ズレが生じる。
　尚、ここでは、レーダ像が、時刻ズレ量に対応する時間だけステレオカメラ画像よりも先に供給されるものとして説明を進めるが、レーダ像およびステレオカメラ画像のそれぞれが供給される順序はキャリブレーションに応じたものとなり、前後することがある。
　ステップＳ３２において、遅延バッファ２７１は、レーダ像をバッファリングする。
　ステップＳ３３において、時刻ズレ補正処理部２７２は、時刻ズレ記憶部２５４に記憶されている時刻ズレ量の情報を読み出して、読み出した時刻ズレ量に対応する時間だけバッファリングされているレーダ像と、同時に、供給されるステレオカメラ画像とを併せて画像処理部２７３に供給する。
　ステップＳ３４において、画像処理部２７３は、供給されたステレオカメラ画像とレーダ像とを組み合わせて、検出物体距離画像を生成し、例えば、状況認識部１５３に出力する。
　すなわち、ステレオカメラ画像は、レーダ像に対して、時刻ズレ量に対応する時間だけ遅れて供給されるので、新たなステレオカメラ画像が供給されるタイミングにおいて、遅延バッファ２７１にバッファリングされているレーダ像のうち、現在時刻から時刻ズレ量に対応する時間だけバッファリングされたレーダ像を読み出すことにより、ステレオカメラ画像とレーダ像とを対象物体が同一距離に存在する同一タイミングに調整することが可能となる。
　結果として、ステレオカメラ画像とレーダ像とを、高い精度で同期させた上で、組み合わせた検出物体距離画像を生成することが可能となる。尚、以上においては、ステレオカメラ画像とレーダ像とを用いて、目標物となる治具を検出する例について説明してきたが、目標物は、方式の異なるセンサで同時に検出できる物体であればよいので、方式の異なるセンサで同時に検出できる物体であれば、本開示の治具のような物体でなくてもよい。
　＜＜３．応用例＞＞
　＜目標物の代用物を用いる例＞
　以上においては、時刻ズレ量の検出は、キャリブレーション処理により求められる例について説明してきた。しかしながら、キャリブレーション処理は、工場出荷時など目標物１２が設けられた特定の条件下でのみなされる処理であるため、経年劣化などに伴って、時刻ズレ量が変化すると、ステレオカメラ画像とレーダ像との同期に係る精度が低下してしまう恐れがある。
　目標物１２は、ステレオカメラ５１およびミリ波レーダ５２のいずれにおいても同一位置で検出可能なものであるが、走行に際して、目標物１２の代用物を設定することで、走行中に繰り返しキャリブレーション処理を実行することができる。
　目標物１２の代用物としては、例えば、図１４の画像Ｐ５１で示されるように、車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２などが考えられる。
　車両３００の後部に取り付けられているナンバープレート３０１や、道路標識３０２は、取付位置や形状などが予め決められているため、ステレオカメラ画像およびレーダ像のいずれからも検出することが可能である。
　したがって、目標物１２の代用物として利用することで、走行中に繰り返しキャリブレーション処理を実行することが可能となる。
　＜目標物の代用物をナンバープレートとした場合の物体検出処理部の構成例＞
　図１５は、目標物１２の代用物をナンバープレート３０１とした場合の物体検出処理部２５１の構成例を示している。なお、図９の物体検出処理部２５１と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略するものとする。
　すなわち、図１５の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、距離画像目標物検出部２９２、ステレオカメラ画像目標物検出部２９３、およびレーダ像目標物検出部２９４に代えて、距離画像ナンバープレート検出部３１１、ステレオカメラ画像ナンバープレート検出部３１２、およびレーダ像ナンバープレート検出部３２４が設けられている点である。また、反射断面積分布推定部３２１、車両位置推定部３２２、および反射断面積分布データベース３２３が新たに設けられている。
　ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像から画像認識によりナンバープレートを検出し、画像内の座標位置（ｘ，ｙ）を検出して、距離画像ナンバープレート検出部３１１に供給する。
　距離画像ナンバープレート検出部３１１は、距離画像算出部２９１より供給される距離画像上のナンバープレートの座標位置（ｘ，ｙ）の距離を、ナンバープレートまでの距離として特定し、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓとして出力する。
　反射断面積分布推定部３２１は、レーダ像における応答の強度に係る反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に供給する。
　車両位置推定部３２２は、反射断面積分布推定部３２１より供給される反射断面積分布を、反射断面積分布データベース３２３に格納されている、車種毎の反射断面積分布と照合し、車種を特定するとともに、レーダ像内における車両の座標位置を推定する。
　レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして出力する。
　すなわち、図１６のレーダ像Ｐ６１における反射断面積分布３６１で示されるように、送信されたミリ波の反射波による反射断面積分布には車種に応じた特徴があるため、予め車種毎の反射断面積分布が格納されたデータベースと照合し、照合結果に基づいて、車種と車両の位置を特定することができる。図１６においては、上向きに開口部を持つ方形状の反射断面積分布が車両の特徴と位置を表している。
　車両１１の位置が特定できれば、車両１１とナンバープレートは、略同一の距離であるとみなせるので、目標物１２と同様に機能させることができる。
　また、十分に解像度が高いミリ波レーダ５２である場合、より正確に車の形状を求めることが可能であり、ナンバープレートの距離の検出を実現することができる。
　＜図１４の物体検出処理部を用いたキャリブレーション処理＞
　次に、図１７のフローチャートを参照して、図１４の物体検出処理部２５１を用いたキャリブレーション処理について説明する。
　ステップＳ５１において、センサ部３１は、所定の時間が経過したか否かを判定する。ステップＳ５１において、所定の時間が経過しない場合、処理は、ステップＳ６３に進み、車外情報検出部１４１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ５１に戻る。すなわち、処理の終了が指示されず、かつ、所定の時間が経過するまで、ステップＳ５１，Ｓ６３の処理が繰り返される。
　尚、図１７のフローチャートを参照して説明するキャリブレーション処理は、通常の走行状態において、所定の時間間隔で繰り返される処理であるため、検出物体距離画像生成処理が実行されるときに並列的になされるか、または、検出物体距離画像生成処理を所定の時間間隔で停止させ、その間になされる処理である。
　ステップＳ５１において、所定の時間が経過したとみなされた場合、処理は、ステップＳ５２に進む。
　ステップＳ５２において、ステレオカメラ５１は、ステレオカメラ画像を撮影して、撮影した時刻情報であるタイムスタンプを付して車外情報検出部１４１の物体検出処理部２５１に出力する。同時に、ミリ波レーダ５２は、レーダ像を生成して、レーダ像を生成した時刻情報であるタイムスタンプを付して車外情報検出部１４１に出力する。
　ステップＳ５３において、物体検出処理部２５１の距離画像算出部２９１は、所定の視差を有する２枚の画像からなるステレオカメラ画像に基づいて、画素単位で距離を求め、各画素の画素値を、求めた距離の値とする距離画像を生成し、ステレオカメラ画像を撮影した時刻情報であるタイムスタンプと共に距離画像ナンバープレート検出部３１１に出力する。
　ステップＳ５４において、ステレオカメラ画像ナンバープレート検出部３１２は、ステレオカメラ画像に基づいて、画像内におけるナンバープレートを認識し、認識されたナンバープレートの座標位置（ｘ，ｙ）を特定し、距離画像ナンバープレート検出部３１１に出力する。
　ステップＳ５５において、距離画像ナンバープレート検出部３１１は、ナンバープレートが検出された、ステレオカメラ画像内の座標位置（ｘ，ｙ）に対応する、距離画像の画素値を、ステレオカメラ画像から求められるナンバープレートの距離ｚｓとして、タイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
　ステップＳ５６において、反射断面積分布推定部３２１は、レーダ像内の応答より、反射断面積分布を推定し、推定した反射断面積分布を車両位置推定部３２２に出力する。
　ステップＳ５７において、車両位置推定部３２２は、レーダ像内の応答により推定された反射断面積分布に基づいて、レーダ像内における車両の座標位置を特定し、特定した座標位置の情報をレーダ像ナンバープレート検出部３１３に出力する。
　ステップＳ５８において、レーダ像ナンバープレート検出部３２４は、レーダ像内の車両の座標位置に基づいて、車両の位置をレーダ像に基づいたナンバープレートの距離ｚｒとして、レーダ像のタイムスタンプの情報と共に記憶部２５２に出力して、記憶させる。
　ステップＳ５９において、時刻ズレ検出部２５３は、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶部２５２に記憶されているか否かを判定する。
　ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されていない場合、処理は、ステップＳ５２に戻る。すなわち、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されるまで、ステップＳ５２乃至Ｓ５９の処理が繰り返される。
　そして、ステップＳ５２乃至Ｓ５９の処理が所定回数だけ繰り返されて、ステップＳ５９において、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報が、それぞれ所定回数分だけ、記憶されたとみなされた場合、処理は、ステップＳ６０に進む。
　ステップＳ６０において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいたナンバープレートまでの距離ｚｓおよび時刻情報、並びに、レーダ像に基づいたナンバープレートまでの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
　ステップＳ６１において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
　ステップＳ６２において、時刻ズレ検出部２５３は、距離毎の、距離ｚｓおよび距離ｚｒのそれぞれの時刻の差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
　以上の処理により、検出対象を目標物１２に代えてナンバープレートとしても、ステレオカメラ５１とミリ波レーダ５２との同一距離のステレオカメラ画像とレーダ像との取得する時刻ズレ量を、走行中に所定の時間間隔で繰り返し求めることが可能となる。
　結果として、所定の時間間隔で、繰り返し時刻ズレ量が更新されて記憶されることにより、経年劣化などにより変化する時刻ズレ量に対応して、ステレオカメラ５１とミリ波レーダ５２との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。
　また、以上においては、目標物１２の代用物として車両のナンバープレートを用いる例について説明してきたが、形状や大きさが特定されており、目標物１２の代用物として認識できるものであれば、ナンバープレート以外のものでもよく、例えば、道路標識を利用するようにしてもよい。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
　＜＜４．変形例＞＞
　＜ミリ波レーダに代えてLIDARを設けるようにした変形例＞
　以上においては、ステレオカメラ５１により撮影されるステレオカメラ画像と、ミリ波レーダ５２によるレーダ像とを組み合わせて検出物体距離画像を生成する例について説明してきたが、センサ部３１を構成する複数のセンサは、ステレオカメラ５１およびミリ波レーダ５２以外の組み合わせであってもよい。
　例えば、ミリ波レーダ５２に代えて、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と称するレーザ光を用いた距離画像と、ステレオカメラ画像における座標位置（ｘ，ｙ）のそれぞれに対応する距離情報の画素値からなる距離画像を用いるようにして、ステレオカメラ画像と組み合わせるようにしてもよい。尚、以降において、LIDARを用いて取得される距離画像をLIDAR距離画像と称する。
　LIDAR距離画像は、ステレオカメラ画像を用いて得られる距離画像と比べて解像度が低いが、距離精度が高いという特徴がある。
　図１８は、ミリ波レーダ５２に代えて、LIDAR３７１を設けるようにしたセンサ部３１の構成例が示されている。尚、図１８のセンサ部３１において、図７のセンサ部３１における構成と同一の機能を備えた構成については、同一の符号を付しており、説明を適宜省略する。
　すなわち、図１８のセンサ部３１において、図７のセンサ部３１と異なるのは、ミリ波レーダ５２に代えてLIDAR３７１を設けた点である。
　LIDAR３７１は、レーザ投受光部３８１、信号処理部３８２、および時刻情報付加部３８３を備えている。
　レーザ投受光部３８１は、車両１１の走行方向前方の監視領域に対して、所定の解像度でレーザ光を投光すると共に、投光したレーザ光の反射光を受光し、反射光の受光強度からなる信号や、投光したタイミングと受光したタイミングとを示す信号を信号処理部３８２に供給する。
　信号処理部３８２は、反射光の受光強度からなるLIDAR反射強度画像を生成すると共に、投光したレーザ光の投光したタイミングと、受光したタイミングとから求められるレーザ光の往復時間に基づいて、いわゆるToF（Time of Flight）法により距離を求め、LIDAR距離画像を生成し、LIDAR反射強度画像とLIDAR距離画像とをペアにして時刻情報付加部３８３に出力する。
　時刻情報付加部３８３は、基準時刻生成部５４より供給される基準時刻の情報を、LIDAR反射強度画像とLIDAR距離画像とのペア毎にタイムスタンプとして付加して信号出力部５３に出力する。尚、以降において、LIDAR反射強度画像とLIDAR距離画像とのペアを、単にLIDAR画像とも称する。
　＜LIDARを用いる場合の目標物の構成例＞
　次に、図１９を参照して、ミリ波レーダ５２に代えてLIDAR３７１を設けるセンサ部３１を用いる場合の目標物の構成例について説明する。
　図１９で示されるように、センサ部３１にミリ波レーダ５２に代えてLIDAR３７１を設ける場合の目標物３９０は、左右にLIDAR３７１から投光されるレーザの反射率が所定値よりも高いレーザ反射体３９２－１，３９２－２が設けられており、中央には、マーカ７２と同様のマーカ３９１が設けられている。
　＜センサ部にLIDARを用いる場合の物体検出処理部の構成例＞
　次に、図２０を参照して、センサ部３１にLIDAR３７１を用いる場合の物体検出処理部２５１の構成例について説明する。尚、図２０の物体検出処理部２５１において、図９の物体検出処理部２５１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜、説明を省略する。
　図２０の物体検出処理部２５１において、図９の物体検出処理部２５１と異なる点は、レーダ像目標物検出部２９４に代えて、LIDAR画像目標物検出部４０１が設けられている点である。
　LIDAR画像目標物検出部４０１は、LIDAR画像を構成する、LIDAR反射強度画像およびLIDAR距離画像に基づいて、目標物３９０の距離ｚｒを求める。
　図２１の左部で示されるように、例えば、画像中の左部に人Ｈ１が撮影され、右側に目標物３９０が撮影されるようなステレオカメラ画像Ｐ７１が撮影される場合を考える。
　この場合、図２１の中央部の画像Ｐ７２で示されるように、LIDAR反射強度画像が撮影される。図２１においてLIDAR反射強度画像は、反射強度が高いほど明るい画素とされ、反射強度が低いほど暗い画素とされる。目標物３９０におけるレーザ反射体３９２－１，３９２－２は、他の物体よりも、レーザ光の反射率が高いことから反射強度が高くなる。LIDAR画像目標物検出部４０１は、LIDAR反射強度画像Ｐ７２に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を読み出す。
　LIDAR画像目標物検出部４０１は、図２１の右部で示されるLIDAR距離画像Ｐ７３における、LIDAR反射強度画像Ｐ７２より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離を、LIDAR画像に基づいた目標物３９０までの距離として求める。尚、LIDAR距離画像Ｐ７３においては、距離が遠いほど暗い画素とされ、距離が近いほど明るい画素とされる。
　＜図２０の物体検出処理部を用いたキャリブレーション処理＞
　次に、図２２のフローチャートを参照して、図２０の物体検出処理部を用いたキャリブレーション処理について説明する。尚、図２２のフローチャートにおけるステップＳ９１乃至Ｓ９５の処理は、図１２のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
　ステップＳ９６において、LIDAR画像目標物検出部４０１は、LIDAR反射強度画像に基づいて、他の領域よりも反射強度の高い領域を、目標物３９０の存在する領域として特定し、対応する座標位置（ｘ，ｙ）を目標物位置として検出する。
　ステップＳ９７において、LIDAR画像目標物検出部４０１は、LIDAR距離画像における、LIDAR反射強度画像より求められた目標物３９０の座標位置（ｘ，ｙ）に対応する距離をLIDAR距離画像に基づいた目標物３９０までの距離を、LIDAR画像に基づいた目標物距離ｚｒとして検出し、時刻情報と対応付けて記憶部２５２に出力して記憶させる。
　ステップＳ９２乃至Ｓ９８の処理を繰り返して、所定回数分だけ、記憶部２５２に記憶された後、処理は、ステップＳ９９に進む。
　ステップＳ９９において、時刻ズレ検出部２５３は、記憶部２５２に記憶されている、ステレオカメラ画像に基づいた目標物３９０までの距離ｚｓおよび時刻情報、並びに、LIDAR画像に基づいた目標物までの距離ｚｒおよび時刻情報を読み出して、距離ｚｓおよび距離ｚｒのそれぞれの時刻に対する近似式を求める。
　ステップＳ１００において、時刻ズレ検出部２５３は、求めた近似式に基づいて、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻を求める。
　ステップＳ１０１において、時刻ズレ検出部２５３は、所定の距離に対する、距離ｚｓおよび距離ｚｒのそれぞれの時刻差分より、時刻ズレ量を求め、時刻ズレ記憶部２５４に記憶させる。
　以上の処理により、ステレオカメラ５１とLIDAR３７１との同一距離のステレオカメラ画像とLIDAR画像との取得する時刻ズレ量を求めることが可能となる。求められた時刻ズレ量を用いることにより、ステレオカメラ５１とLIDAR３７１との検出結果を組み合わせた検出物体距離画像の精度を向上させることが可能となる。尚、検出物体距離画像生成処理については、図１３を参照して説明した処理と同様であるので、その説明は省略する。
　＜＜５．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図２３におけるCPU１００１が、図６における自動運転制御部１１２の機能を実現させる。また、図２３における記憶部１００８が、図６における記憶部１１１を実現する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　物体を検出する第１の物体検出部と、
　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
　を含む信号処理装置。
＜２＞　前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
　前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
　＜１＞に記載の信号処理装置。
＜３＞　前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
　　前記第１の物体検出部により検出可能な第１の被検出部位と、
　　前記第２の物体検出部により検出可能な第２の被検出部位とを含む
　＜１＞または＜２＞に記載の信号処理装置。
＜４＞　前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
　前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダであり、
　基準時刻を発生する基準時刻発生部をさらに含み、
　前記ステレオカメラ画像および前記レーダ像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
　＜１＞に記載の信号処理装置。
＜５＞　前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
　前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
　前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含み、
　前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
　＜４＞に記載の信号処理装置。
＜６＞　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
　前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
　前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
　＜５＞に記載の信号処理装置。
＜７＞　前記所定の目標物は、
　　前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
　　前記ステレオカメラ画像により認識可能なマーカとを含む
　＜５＞に記載の信号処理装置。
＜８＞　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
　前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
　前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
　前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
　＜５＞に記載の信号処理装置。
＜９＞　前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
　＜８＞に記載の信号処理装置。
＜１０＞　前記所定の目標物は、前走車のナンバープレート、または、道路標識である
　＜８＞に記載の信号処理装置。
＜１１＞　前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
　前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）であり、
　基準時刻を発生する基準時刻発生部をさらに含み、
　前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
　＜１＞に記載の信号処理装置。
＜１２＞　前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
　前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
　前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
　前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
　＜１１＞に記載の信号処理装置。
＜１３＞　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
　前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
　前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
　前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
　＜１２＞に記載の信号処理装置。
＜１４＞　前記所定の目標物は、
　　前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
　　前記ステレオカメラ画像により認識可能なマーカとを含む
　＜１１＞に記載の信号処理装置。
＜１５＞　前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
　＜１＞乃至＜１４＞のいずれかに記載の信号処理装置。
＜１６＞　物体を検出する第１の物体検出処理と、
　前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、
　前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
　を含む信号処理方法。
＜１７＞　物体を検出する第１の物体検出部と、
　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
　を含む処理をコンピュータに実行させるプログラム。
＜１８＞　物体を検出する第１の物体検出部と、
　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
　を含む移動体。
＜１９＞　所定の目標物と信号処理装置とからなる信号処理システムにおいて、
　前記信号処理装置は、
　　物体を検出する第１の物体検出部と、
　　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
　　前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
　を含み、
　前記所定の目標物は、
　　前記第１の物体検出部により検出可能な第１の被検出部位と、
　　前記第２の物体検出部により検出可能な第２の被検出部位と
　を含む
　信号処理システム。
　１１　車両，　１２　目標物，　２１　偏光カメラ，　５１　ステレオカメラ，　５１Ｌ，５１Ｒ　カメラ，　５２　ミリ波レーダ，　５３　信号出力部，　５４　基準時刻生成部，　７１　レーダ反射体，　７２　マーカ，　１０２　データ取得部，　１１２　自動運転制御部，　１４１　外部情報検出部，　１５２　状況認識部，　２０１Ｌ，２０１Ｒ　撮像素子，　２０２Ｌ，２０２Ｒ　画像信号処理部，　２０３Ｌ，２０３Ｒ　時刻情報付加部，　２１１　ミリ波アンテナ，　２１２　レーダ受信信号処理部，　２１３　時刻情報付加部，　２３１　キャリブレーション処理部，　２３２　検出物体距離画像生成部，　２５１　物体検出処理部，　２５２　記憶部，　２５３　時刻ズレ検出部，　２５４　時刻ズレ記憶部，　２７１　遅延バッファ，　２７２　時刻ズレ補正処理部，　２７３　画像処理部，　２９１　距離画像算出部，　２９２　距離画像目標物検出部，　２９３　ステレオカメラ画像目標物検出部，　２９４　レーダ像目標物検出部，　３０１　ナンバープレート，　３０２　道路標識，　３１１　距離画像算出部，　３１２　ステレオカメラ画像ナンバープレート検出部，　３２１　反射断面積分布推定部，　３２２　車両位置推定部，　３２３　反射断面積分布データベース，　３２４　レーダ像ナンバープレート検出部，　３７１　LIDAR，　３８１　レーザ投受光部，　３８２　信号処理部，　３８３　時刻情報付加部，　３９０　目標物，　３９１　マーカ，　３９２－１，３９２－２　レーザ反射体，　４０１　LIDAR画像目標物検出部

Claims (19)

  1. 　物体を検出する第１の物体検出部と、
    　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
    　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
    　を含む信号処理装置。
  2. 　前記第１の物体検出部、もしくは前記第２の物体検出部の少なくとも一方による前記物体の検出結果をバッファリングするバッファリング部と、
    　前記バッファリング部による遅延量を前記時刻ズレ量に応じて設定して、前記時刻ズレを補正する時刻ズレ補正部とをさらに含む
    　請求項１に記載の信号処理装置。
  3. 　前記所定の目標物は、前記時刻ズレ量を測定するための物体であり、
    　　前記第１の物体検出部により検出可能な第１の被検出部位と、
    　　前記第２の物体検出部により検出可能な第２の被検出部位とを含む
    　請求項１に記載の信号処理装置。
  4. 　前記第１の物体検出部は、前記物体を所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
    　前記第２の物体検出部は、前記物体をミリ波帯の電波により検出し、レーダ像として取得するミリ波レーダであり、
    　基準時刻を発生する基準時刻発生部をさらに含み、
    　前記ステレオカメラ画像および前記レーダ像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
    　請求項１に記載の信号処理装置。
  5. 　前記ステレオカメラ画像を構成する前記所定の視差を有する２枚の画像に基づいて画素単位で前記所定の目標物までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
    　前記距離画像における、前記所定の目標物までの距離をステレオカメラ画像距離として、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
    　前記レーダ像に基づいた、前記所定の目標物までの距離であるレーダ像距離を、対応する前記レーダ像の時刻情報と共に検出するレーダ像目標物検出部とを含み、
    　前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記レーダ像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記レーダ像の時刻情報との差分を時刻ズレ量として検出する
    　請求項４に記載の信号処理装置。
  6. 　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
    　前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    　前記レーダ像目標物検出部は、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置と、前記ステレオカメラ画像距離とにより特定される位置の近傍の範囲の、前記レーダ像における応答強度が高い距離を、前記所定の目標物までの距離であるレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
    　請求項５に記載の信号処理装置。
  7. 　前記所定の目標物は、
    　　前記ミリ波レーダのレーダ波の反射率が所定値よりも高いレーダ反射体と、
    　　前記ステレオカメラ画像により認識可能なマーカとを含む
    　請求項５に記載の信号処理装置。
  8. 　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部と、
    　前記レーダ像における反射断面積分布に基づいて、前記レーダ像内の前記所定の目標物の位置を検出する反射断面積目標物位置検出部とをさらに含み、
    　前記距離画像目標物検出部は、前記距離画像における、前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    　前記レーダ像目標物検出部は、前記反射断面積目標物位置検出部により検出された前記レーダ像内における前記所定の目標物の位置に対応する距離をレーダ像距離として、対応する前記レーダ像の時刻情報と共に検出する
    　請求項５に記載の信号処理装置。
  9. 　前記距離画像算出部、前記距離画像目標物検出部、前記レーダ像目標物検出部、および前記時刻ズレ検出部は、所定の時間間隔で繰り返し、前記距離画像を生成し、前記ステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出し、前記レーダ像距離を、対応する前記レーダ像の時刻情報と共に検出し、時刻ズレ量を検出する
    　請求項８に記載の信号処理装置。
  10. 　前記所定の目標物は、前走車のナンバープレート、または、道路標識である
    　請求項８に記載の信号処理装置。
  11. 　前記第１の物体検出部は、前記物体を、所定の視差を有する２枚のステレオカメラ画像として撮影するステレオカメラであり、
    　前記第２の物体検出部は、前記物体を、レーザ光により検出し、前記レーザ光の反射強度に応じた画像として撮影するLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）であり、
    　基準時刻を発生する基準時刻発生部をさらに含み、
    　前記ステレオカメラ画像、並びに、前記LIDARにより撮影されるLIDAR画像は、それぞれ生成されたタイミングにおける前記基準時刻からなる時刻情報を含む
    　請求項１に記載の信号処理装置。
  12. 　前記ステレオカメラ画像より所定の視差に基づいて画素単位で被写体までの距離を算出し、前記距離を画素値とする距離画像を生成する距離画像算出部と、
    　前記距離画像に基づいた、前記所定の目標物までの距離であるステレオカメラ画像距離を、対応する前記ステレオカメラ画像の時刻情報と共に検出する距離画像目標物検出部と、
    　前記LIDAR画像に基づいた、前記所定の目標物までの距離であるLIDAR画像距離を、対応する前記LIDAR画像の時刻情報と共に検出するLIDAR画像目標物検出部とを含み、
    　前記時刻ズレ検出部は、前記ステレオカメラ画像距離と、前記LIDAR画像距離とが一致する、前記ステレオカメラ画像の時刻情報と、前記LIDAR画像の時刻情報との差分を時刻ズレ量として検出する
    　請求項１１に記載の信号処理装置。
  13. 　前記ステレオカメラ画像上における前記所定の目標物の座標位置を検出するステレオカメラ画像目標物位置検出部をさらに含み、
    　前記距離画像目標物検出部は、前記距離画像における、前記ステレオカメラ画像目標物位置検出部により検出された前記所定の目標物の座標位置の距離情報を、前記所定の目標物までの距離であるステレオカメラ画像距離として特定し、対応する前記ステレオカメラ画像の時刻情報と共に検出し、
    　前記LIDAR画像は、前記レーザ光の反射強度を各画素の画素値とするLIDAR反射強度画像、および前記レーザ光の被写体までの往復時間に基づいてToF（Time of Flight）法で求められる距離画像からなるLIDAR距離画像を含み、
    　前記LIDAR画像目標物検出部は、前記LIDAR反射強度画像より、反射強度が特に高い位置を、前記所定の目標物の位置とみなし、対応する前記LIDAR距離画像における位置の距離を、前記所定の目標物までの距離であるLIDAR画像距離として、対応する前記レーザ光の反射強度に応じた画像の時刻情報と共に検出する
    　請求項１２に記載の信号処理装置。
  14. 　前記所定の目標物は、
    　　前記LIDARのレーザ光の反射率が所定値よりも高いレーザ反射体と、
    　　前記ステレオカメラ画像により認識可能なマーカとを含む
    　請求項１１に記載の信号処理装置。
  15. 　前記時刻ズレ検出部は、複数の前記時刻ズレを求め、統計処理により時刻ズレ量を検出する
    　請求項１に記載の信号処理装置。
  16. 　物体を検出する第１の物体検出処理と、
    　前記第１の物体検出処理とは異なる方法で物体を検出する第２の物体検出処理と、
    　前記第１の物体検出処理により所定の目標物が検出される第１の時刻と、前記第２の物体検出処理により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
    　を含む信号処理方法。
  17. 　物体を検出する第１の物体検出部と、
    　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
    　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
    　を含む処理をコンピュータに実行させるプログラム。
  18. 　物体を検出する第１の物体検出部と、
    　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
    　前記第１の物体検出部により所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
    　を含む移動体。
  19. 　所定の目標物と信号処理装置とからなる信号処理システムにおいて、
    　前記信号処理装置は、
    　　物体を検出する第１の物体検出部と、
    　　物体を検出する前記第１の物体検出部とは異なる第２の物体検出部と、
    　　前記第１の物体検出部により前記所定の目標物が検出される第１の時刻と、前記第２の物体検出部により前記所定の目標物が検出される第２の時刻との時刻ズレを時刻ズレ量として検出する時刻ズレ検出部と
    　を含み、
    　前記所定の目標物は、
    　　前記第１の物体検出部により検出可能な第１の被検出部位と、
    　　前記第２の物体検出部により検出可能な第２の被検出部位と
    　を含む
    　信号処理システム。
PCT/JP2018/029731 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム WO2019039279A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18848893.6A EP3674747B1 (en) 2017-08-22 2018-08-08 Signal processing device, signal processing method, program, moving body, and signal processing system
JP2019538057A JP7160040B2 (ja) 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US16/639,127 US11328444B2 (en) 2017-08-22 2018-08-08 Signal processing apparatus, signal processing method, program, mobile object, and signal processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-159406 2017-08-22
JP2017159406 2017-08-22

Publications (1)

Publication Number Publication Date
WO2019039279A1 true WO2019039279A1 (ja) 2019-02-28

Family

ID=65438678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029731 WO2019039279A1 (ja) 2017-08-22 2018-08-08 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム

Country Status (4)

Country Link
US (1) US11328444B2 (ja)
EP (1) EP3674747B1 (ja)
JP (1) JP7160040B2 (ja)
WO (1) WO2019039279A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194084A1 (ja) * 2018-04-04 2019-10-10 パナソニック株式会社 交通監視システムおよび交通監視方法
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
WO2020226941A1 (en) 2019-05-09 2020-11-12 Argo AI, LLC Time master and sensor data collection for robotic system
WO2020230619A1 (ja) * 2019-05-13 2020-11-19 日立オートモティブシステムズ株式会社 車両制御システム
WO2021070814A1 (ja) * 2019-10-08 2021-04-15 株式会社デンソー 同期装置、同期方法、同期プログラム
CN112911265A (zh) * 2021-02-01 2021-06-04 北京都视科技有限公司 融合处理器及融合处理系统
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
JP2021123238A (ja) * 2020-02-05 2021-08-30 マツダ株式会社 車両用制御装置
JP2022515225A (ja) * 2019-11-18 2022-02-17 商▲湯▼集▲團▼有限公司 センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
JP2022543017A (ja) * 2019-07-29 2022-10-07 トラックマン・アクティーゼルスカブ センサ間キャリブレーションのためのシステム及び方法
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057869A (ja) * 2018-09-28 2020-04-09 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 撮像装置
US20220172484A1 (en) * 2019-03-29 2022-06-02 Sony Semiconductor Solutions Corporation Information processing method, program, and information processing apparatus
US10928508B2 (en) * 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
JP7333195B2 (ja) * 2019-05-15 2023-08-24 株式会社Subaru 自動運転支援システム
JP7344031B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
US20220113419A1 (en) * 2020-10-13 2022-04-14 Waymo, LLC LIDAR Based Stereo Camera Correction
CN112365545B (zh) * 2020-10-15 2023-02-24 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
JP2022146480A (ja) 2021-03-22 2022-10-05 リコーインダストリアルソリューションズ株式会社 ステレオカメラ装置
CN113099385B (zh) * 2021-04-09 2022-10-04 北京骑胜科技有限公司 停车监测方法、系统和设备
CN113219447A (zh) * 2021-04-09 2021-08-06 国电南瑞科技股份有限公司 一种基于毫米波阵列的输电线距离稳定测量方法
CN113327297B (zh) * 2021-06-30 2022-06-17 湖南科技大学 基于深度学习的深海海底障碍物测量系统与识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091654A (ja) * 1999-09-22 2001-04-06 Nippon Signal Co Ltd:The 車載用障害物検出装置
JP2003315442A (ja) * 2002-04-22 2003-11-06 Mitsubishi Electric Corp 車載レーダ装置の位置調整装置および位置調整方法
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004347471A (ja) * 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011220732A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置
US20140218226A1 (en) * 2013-02-01 2014-08-07 GM Global Technology Operations LLC Method and apparatus for remote object sensing employing compressive sensing
JP2017125829A (ja) * 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11047976B2 (en) * 2015-09-30 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
US10596964B2 (en) * 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method
US11511747B2 (en) * 2017-05-18 2022-11-29 Pioneer Corporation Control device, scanning system, control method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091654A (ja) * 1999-09-22 2001-04-06 Nippon Signal Co Ltd:The 車載用障害物検出装置
JP2003315442A (ja) * 2002-04-22 2003-11-06 Mitsubishi Electric Corp 車載レーダ装置の位置調整装置および位置調整方法
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004347471A (ja) * 2003-05-22 2004-12-09 Fuji Heavy Ind Ltd 先行車両検出装置
JP2011220732A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置
US20140218226A1 (en) * 2013-02-01 2014-08-07 GM Global Technology Operations LLC Method and apparatus for remote object sensing employing compressive sensing
JP2017125829A (ja) * 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
2011 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV, 5 September 2011 (2011-09-05)
See also references of EP3674747A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185220A (ja) * 2018-04-04 2019-10-24 パナソニック株式会社 交通監視システムおよび交通監視方法
JP7092540B2 (ja) 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
WO2019194084A1 (ja) * 2018-04-04 2019-10-10 パナソニック株式会社 交通監視システムおよび交通監視方法
US11861957B2 (en) 2019-05-09 2024-01-02 Argo AI, LLC Time master and sensor data collection for robotic system
WO2020226941A1 (en) 2019-05-09 2020-11-12 Argo AI, LLC Time master and sensor data collection for robotic system
EP3947082A4 (en) * 2019-05-09 2023-01-11 Argo AI, LLC TIME MASTER AND SENSOR DATA COLLECTION FOR A ROBOT SYSTEM
WO2020230619A1 (ja) * 2019-05-13 2020-11-19 日立オートモティブシステムズ株式会社 車両制御システム
US11891086B2 (en) 2019-05-13 2024-02-06 Hitachi Astemo, Ltd. Vehicle control system
JP7285923B2 (ja) 2019-05-13 2023-06-02 日立Astemo株式会社 車両制御システム
JPWO2020230619A1 (ja) * 2019-05-13 2020-11-19
JP7336586B2 (ja) 2019-07-29 2023-08-31 トラックマン・アクティーゼルスカブ センサ間キャリブレーションのためのシステム及び方法
JP2022543017A (ja) * 2019-07-29 2022-10-07 トラックマン・アクティーゼルスカブ センサ間キャリブレーションのためのシステム及び方法
JPWO2021070814A1 (ja) * 2019-10-08 2021-04-15
WO2021070814A1 (ja) * 2019-10-08 2021-04-15 株式会社デンソー 同期装置、同期方法、同期プログラム
JP7140291B2 (ja) 2019-10-08 2022-09-21 株式会社デンソー 同期装置、同期方法、同期プログラム
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
JP2022515225A (ja) * 2019-11-18 2022-02-17 商▲湯▼集▲團▼有限公司 センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
JP2021123238A (ja) * 2020-02-05 2021-08-30 マツダ株式会社 車両用制御装置
JP7288409B2 (ja) 2020-02-05 2023-06-07 マツダ株式会社 車両用制御装置
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration
CN112911265B (zh) * 2021-02-01 2023-01-24 北京都视科技有限公司 融合处理器及融合处理系统
CN112911265A (zh) * 2021-02-01 2021-06-04 北京都视科技有限公司 融合处理器及融合处理系统
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム

Also Published As

Publication number Publication date
US11328444B2 (en) 2022-05-10
EP3674747A4 (en) 2020-09-02
JPWO2019039279A1 (ja) 2020-10-15
EP3674747A1 (en) 2020-07-01
US20200211219A1 (en) 2020-07-02
EP3674747B1 (en) 2023-04-12
JP7160040B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
JP7160040B2 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US11427218B2 (en) Control apparatus, control method, program, and moving body
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20200322585A1 (en) Image processing device, image processing method, and vehicle
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
WO2020203657A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的系统
US20220018932A1 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
US11386565B2 (en) Signal processing apparatus and signal processing method, program, and moving body
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN114026436B (zh) 图像处理装置、图像处理方法和程序
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18848893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019538057

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018848893

Country of ref document: EP

Effective date: 20200323