WO2017057061A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2017057061A1
WO2017057061A1 PCT/JP2016/077434 JP2016077434W WO2017057061A1 WO 2017057061 A1 WO2017057061 A1 WO 2017057061A1 JP 2016077434 W JP2016077434 W JP 2016077434W WO 2017057061 A1 WO2017057061 A1 WO 2017057061A1
Authority
WO
WIPO (PCT)
Prior art keywords
likelihood
distance
motion
unit
amount
Prior art date
Application number
PCT/JP2016/077434
Other languages
English (en)
French (fr)
Inventor
周藤　泰広
小柳津　秀紀
琢人 元山
寿夫 山崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/762,604 priority Critical patent/US11543513B2/en
Priority to EP16851235.8A priority patent/EP3358552A4/en
Publication of WO2017057061A1 publication Critical patent/WO2017057061A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and in particular, for example, an information processing device, an information processing method, and an information processing device capable of accurately obtaining the amount of motion of an object, and Regarding the program.
  • the distance to an object outside the vehicle and the amount of movement of the object are obtained from sensor data output by a sensor such as a camera or a millimeter wave radar mounted on the vehicle such as an automobile, and the vehicle is driven using the distance and the amount of movement.
  • a sensor such as a camera or a millimeter wave radar mounted on the vehicle such as an automobile
  • ADAS Advanced Driver Assistance System
  • the accuracy of the distance and the amount of motion obtained from the sensor data of a sensor such as a camera or a millimeter wave radar varies depending on, for example, the environment and the object to be sensed. Therefore, recently, a technique called fusion, in which a plurality of (types) sensors such as a camera and a millimeter wave radar are mounted on a vehicle, and the sensor data of each of the plurality of sensors is comprehensively used to determine the distance and the amount of motion. has been proposed.
  • Patent Document 1 for each of a plurality of sensors, the existence probability of a three-dimensional object is calculated based on a normal distribution centered on the true value of the output value of the sensor, and the existence probability is used as the sensor recognition rate.
  • a technique has been proposed in which correction is performed based on each of the plurality of sensors, and the corrected existence probabilities for each of the plurality of sensors are fused and set as a total existence probability.
  • the present technology has been made in such a situation, and makes it possible to accurately obtain the amount of movement of an object.
  • An information processing apparatus or a program relates to a motion detection method for each of a plurality of motion detection methods including a motion detection method that detects an amount of motion of an object using an image and one or more other motion detection methods.
  • a likelihood calculation unit for calculating a motion amount likelihood in which the amount of motion of the object is each of a plurality of motion amounts, and the motion amount likelihoods for the plurality of motion detection methods,
  • An information processing device provided with an integration unit for obtaining an integrated likelihood of each of the motion amounts, or a program for causing a computer to function as such an information processing device.
  • the information processing method of the present technology provides information obtained by a motion detection method for each of a plurality of motion detection methods, ie, a motion detection method that detects an amount of motion of an object using an image and one or more other motion detection methods. Calculating the motion amount likelihood that the amount of motion of the object is each of a plurality of motion amounts, integrating the motion amount likelihoods for the plurality of motion detection methods, and combining the plurality of motion amounts.
  • An information processing method including determining a degree.
  • each of a plurality of motion detection methods including a motion detection method that detects an amount of motion of an object using an image and one or more other motion detection methods From the information obtained by the motion detection method, the motion amount likelihood that the amount of motion of the object is each of a plurality of motion amounts is calculated. Then, the motion amount likelihoods for the plurality of motion detection methods are integrated, and an integrated likelihood of each of the plurality of motion amounts is obtained.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • FIG. 10 It is a block diagram which shows the outline
  • FIG. It is a flowchart explaining the example of a process of a traveling control apparatus. 10 is a flowchart for explaining an example of processing for obtaining distance likelihood for the stereo camera 21 from sensor data of the stereo camera 21.
  • 5 is a flowchart for explaining an example of processing for obtaining a distance likelihood for the millimeter wave radar 22 from sensor data of the millimeter wave radar 22; It is a figure explaining the outline
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing an outline of a configuration example of an embodiment of a travel control device to which the present technology is applied.
  • the travel control device is mounted on, for example, a vehicle such as an automobile, or a mobile body such as a ship, a submarine, an airplane, or a drone, and controls the travel (movement) of the mobile body.
  • the travel control device is mounted on, for example, an automobile.
  • the travel control device includes a plurality of N sensors 11 1 , 11 2 ,..., 11 N , likelihood calculation unit 12, normalization unit 13, integration unit 14, distance / motion amount calculation unit. 15 and a travel control unit 16.
  • the traveling control device performs various traveling controls for assisting the driver who drives the automobile on which the traveling control device is mounted.
  • the senor 11 n for example, single-lens camera or, multiview, such a stereo camera camera, a radar such as a millimeter-wave radar, ToF (Time of Flight) sensors, lidar (Lidar), other range finding
  • a radar such as a millimeter-wave radar, ToF (Time of Flight) sensors, lidar (Lidar), other range finding
  • lidar Lidar
  • any sensor capable of detecting the amount of movement can be employed.
  • the sensor 11 n and the sensor 11 n ′ are different types of sensors, and are therefore used for distance measurement by different distance measurement methods and detection of motion amount by different motion detection methods. .
  • the travel control device of FIG. 1 has a plurality of sensors 11 1 to 11 N as described above , that is, a plurality of (types) used for distance measurement by different distance measurement methods and motion amount detection by different motion detection methods. Since the sensors 11 1 to 11 N are provided, distance measurement using a plurality of (types) of distance measurement methods and motion amount detection using a plurality of (types) of motion detection methods are performed.
  • one distance measuring method and motion detection method correspond to one sensor 11 n .
  • the sensors 11 1 to 11 N are arranged at, for example, the front of the ceiling of the automobile, the front end of the automobile, and the like, and sensor data for obtaining the distance to the object in front of the automobile and the amount of movement of the object. Output.
  • the to 11 N is more, from the sensor data of the sensor 11 n (sensor data sensor 11 n outputs), the distance to the object is in each of a plurality of distances A certain distance likelihood is calculated.
  • the likelihood calculating unit 12 calculates distance likelihoods where the distance to the object is a plurality of K + 1 distances 0, ⁇ Z, ⁇ Z ⁇ 2,.
  • the accuracy and range of the distance that can be detected may be different between the different sensors 11 n and the sensor 11 n ′, and accordingly, a plurality of distances for which the distance likelihood is calculated may be different.
  • the likelihood calculating unit 12 calculates, for each of the plurality of sensors 11 1 to 11 N , distance likelihood that the distance to the object is a plurality of distances from the sensor data of the sensor 11 n , and the amount of motion of the object Calculates the motion amount likelihood for each of the plurality of motion amounts.
  • the likelihood calculation unit 12 supplies the normalization unit 13 with the distance likelihood of each of the plurality of distances calculated for each of the plurality of sensors 11 1 to 11 N and the motion amount likelihood of each of the plurality of motion amounts. .
  • the normalizing unit 13 normalizes the distance likelihood of each of the plurality of distances for each of the plurality of sensors 11 1 to 11 N from the likelihood calculating unit 12.
  • a plurality of distances for which distance likelihood is calculated may be different.
  • the different sensors 11 n and 11 n ′ may have different granularities for the distance for which the distance likelihood is calculated and for the plurality of distances for which the distance likelihood is calculated.
  • the normalization unit 13 the to 11 N all N sensors 11 1, the normalized distance likelihood match multiple distance that exists is performed.
  • Normalization can be performed, for example, by upsampling that increases the number of multiple distances (corresponding to K and K ′ described above) where distance likelihood exists by interpolation.
  • the normalization unit 13 normalizes the motion amount likelihood of each of the plurality of motion amounts for each of the N sensors 11 1 to 11 N from the likelihood calculation unit 12 in the same manner as the normalization of the distance likelihood. Do.
  • the normalization unit 13 supplies the normalized distance likelihood and motion amount likelihood to the integration unit 14 for each of the N sensors 11 1 to 11 N.
  • the integration unit 14 integrates the distance likelihood of each of the plurality of distances for each of the N sensors 11 1 to 11 N for each of the plurality of distances.
  • the integration unit 14 integrates the distance likelihoods of the attention distance z for each of the N sensors 11 1 to 11 N , that is, the N distance likelihoods, and obtains the integration likelihood of the attention distance z.
  • N distance likelihoods are, for example, a Bayesian method, that is, a product of N distance likelihoods (when the distance likelihood is a log likelihood, a sum is taken). Can be done by.
  • N distance likelihoods are integrated, for example, by learning in advance a learning model that receives N distance likelihoods and outputs one integrated likelihood. Can be performed by giving the distance likelihood as input.
  • the integration unit 14 integrates the distance likelihood of each of the plurality of distances for each of the N sensors 11 1 to 11 N for each of the plurality of distances, and integrates the likelihood of each of the plurality of distances. Is obtained and supplied to the distance / motion amount calculation unit 15.
  • the integration unit 14 integrates the motion amount likelihoods of the plurality of motion amounts for each of the N sensors 11 1 to 11 N for each of the plurality of motion amounts in the same manner as the integration of the distance likelihood.
  • the integrated likelihood of each of the plurality of motion amounts obtained as a result is supplied to the distance / motion amount calculation unit 15.
  • the distance / motion amount calculation unit 15 obtains the distance to the object using the integrated likelihood of each of the plurality of distances from the integration unit 14 and supplies the distance to the travel control unit 16. That is, for example, the distance / motion amount calculation unit 15 obtains the distance of the maximum integrated likelihood among the integrated likelihoods of each of the plurality of distances from the integration unit 14 as the distance to the object, and the travel control unit 16 To supply.
  • the distance / motion amount calculation unit 15 obtains the amount of motion of the object by using the integrated likelihood of each of the plurality of motion amounts from the integration unit 14 and supplies it to the travel control unit 16. That is, for example, the distance / motion amount calculation unit 15 obtains the motion amount of the maximum integrated likelihood among the integrated likelihoods of each of the plurality of motion amounts from the integration unit 14 as the amount of motion of the object, and performs travel control. To the unit 16.
  • the traveling control unit 16 performs traveling control of the automobile using the distance to the object and the amount of movement of the object supplied from the distance / motion amount calculating unit 15 as necessary.
  • the travel control unit 16 uses the distance to the object supplied from the distance / motion amount calculation unit 15 and the amount of movement of the object as necessary, for example, an obstacle related to an obstacle present in front of the automobile.
  • An obstacle map is generated as object information. Then, the traveling control unit 16 performs warning of the presence of an obstacle, control of a brake, and the like using the obstacle map.
  • FIG. 2 is a diagram for explaining sampling points.
  • sampling point means a position (point) where the distance likelihood and the motion amount likelihood are calculated in the likelihood calculating unit 12 of FIG.
  • the sensor 11 n includes a receiving unit (light receiving unit) that receives (receives) a signal such as light as a physical quantity to be sensed.
  • the travel control device of FIG. 1 is mounted.
  • the horizontal direction (left-right direction) and the vertical direction (up-down direction) on the plane that passes through the receiving portion of the receiving portion of the sensor 11 n are defined as x direction in front of the vehicle.
  • a three-dimensional position (x, y, z) and a two-dimensional position (x, y) are represented by a three-dimensional (orthogonal) coordinate system having a direction and a y direction.
  • the position (x, y) is an image (for example, a reference image to be described later) taken by the stereo camera (one of the two cameras constituting the position).
  • position (x, y, z) represents that the distance to the object shown in the pixel at position (x, y) is z.
  • the position (x, y, z) can be converted into the real space position, that is, the real space position of the object shown in the pixel at the position (x, y).
  • distance likelihood will be described as an example for sampling points.
  • a certain sensor 11 n is a stereo camera
  • two images with different viewpoints are obtained as sensor data of the sensor 11 n that is the stereo camera.
  • the parallax with the reference image is the amount of parallax D1, D2,. .., The likelihood of each of the parallax amounts D1, D2,.
  • the amount of parallax D1, D2 when it is assumed that the parallax with the reference image is the amount of parallax D1, D2,.
  • Each distance likelihood is based on the assumption that the distance to the object shown in the pixel of interest is the distance z1, z2, ... corresponding to the amount of parallax D1, D2, ... Distance z1, z2,... Can be used as the distance likelihood of each.
  • the distance z (the distance z to the object reflected in the pixel at the position (x, y)) at the position (x, y) is the distance z1, z2,.
  • the distance likelihood when it is .. can be obtained.
  • the distance likelihood can be obtained with respect to the position (x, y, z), and thus the position (x, y, z) from which the distance likelihood is obtained is the sampling point. .
  • certain sensor 11 n is, in the case of radar, the sensor data of the sensor 11 n is its radar (angle range map), the distance d to the object in each direction r, the distance d1, d2,. .., Each distance d1, d2,... Can be obtained as distance likelihood.
  • the direction r and the distance d from which the distance likelihood is obtained are respectively the declination and distance of the polar coordinate system, and the position of the direction r and the distance d is the position of the three-dimensional coordinate system (x , y, z).
  • the position likelihood (x, y, z) of the three-dimensional coordinate system is taken as a sampling point, and the distance likelihood can be obtained for the sampling point.
  • a certain sensor 11 n is a ToF sensor
  • a large number of transmission pulses irradiated at a high speed are received by a plurality of light receiving units arranged in a matrix. Then, the transmission pulse corresponding to the reception signal received by the light receiving unit at the distance L (position (x, y)) from the reception signal that is the transmission pulse received by each light receiving unit. The distance to the object from which is reflected.
  • a plurality of distances L are obtained from a plurality of reception signals received by the light receiving unit. Then, an average value of the plurality of distances L obtained during the time frame T is obtained as the final distance z of the position (x, y) of the light receiving unit.
  • a plurality of distances L obtained during the time frame T can be obtained as sensor data of the sensor 11 n that is the ToF sensor.
  • the position likelihood (x, y, z) of the three-dimensional coordinate system is taken as the sampling point, and the distance likelihood can be obtained for the sampling point.
  • distance likelihood is obtained from different sensors 11 n and 11 n ′ , that is, for example, any two sensors of a stereo camera, a radar, and a ToF sensor due to differences in distance measurement methods and the like.
  • the position (x, y, z) (and granularity) of the sampling points that are obtained may be different.
  • normalization for matching sampling points where distance likelihood exists is performed for all N sensors 11 1 to 11 N by, for example, upsampling that increases the number of sampling points by interpolation. Done.
  • the granularity in the x, y, and z directions of the sampling points is set to predetermined ⁇ x, ⁇ y, and ⁇ z. Normalization has been done.
  • the sampling points of the distance likelihood obtained from the stereo camera, the radar, and the ToF sensor of different ranging methods are matched.
  • the integration unit 14 in FIG. 1 integrates the distance likelihood obtained from the stereo camera, the radar, and the ToF sensor of different distance measurement methods in units of sampling points, and calculates the integrated likelihood for each sampling point. Can be sought.
  • the likelihood of the distance z is obtained for the sampling point (x, y, z) as the position of the three-dimensional coordinate system.
  • the motion amount likelihood the x, y, If the amount of motion in the z direction is expressed as vx, vy, vz, the amount of motion for the sampling point (x, y, z, vx, vy, vz) as the position of the 6-dimensional (orthogonal) coordinate system A likelihood of (vx, vy, vz) is obtained.
  • FIG. 3 is a flowchart for explaining an example of processing of the travel control device of FIG.
  • step S11 the N sensors 11 1 to 11 N perform sensing, supply sensor data obtained as a result of the sensing to the likelihood calculating unit 12, and the process proceeds to step S12.
  • step S12 the likelihood calculating unit 12, the to 11 N, respectively N sensors 11 1, the sensor data of the sensor 11 n, a plurality of distance z respective distances likelihood and amount plurality of motion (vx, vy, vz) The respective motion amount likelihood is calculated. Then, the likelihood calculating unit 12 normalizes the distance likelihood of each of the plurality of distances z and the motion amount likelihood of each of the plurality of motion amounts (vx, vy, vz) for each of the sensors 11 1 to 11 N. The process proceeds to step S13 from step S12.
  • step S13 the normalization unit 13 aligns sampling points (x, y, z) where the distance likelihood exists for the distance likelihoods for each of the plurality of sensors 11 1 to 11 N from the likelihood calculation unit 12. Normalize (match).
  • the normalization unit 13 the motion amount likelihood for each of the plurality of sensors 11 1 to 11 N from the likelihood calculating unit 12, sampling points are motion amount likelihood (x, y, z, vx, Normalize to align vy, vz).
  • the normalization unit 13 supplies the normalized distance likelihood and the motion amount likelihood for each of the plurality of sensors 11 1 to 11 N to the integration unit 14, and the processing is performed from step S13 to step S14. Proceed to
  • the normalization to align the distance likelihood sampling points (x, y, z) for each of the plurality of sensors 11 1 to 11 N is performed in each direction of the sampling points (x, y, z), that is, in the x direction, For each of the y direction and the z direction, the number of sampling points (x, y, z) can be adjusted to the maximum distance likelihood.
  • the resolution of the distance z obtained from the stereo camera (sensor data thereof) is Lower than the required distance z resolution.
  • the normalization of the distance likelihood for the stereo camera is performed by calculating the position and number of the distance likelihood sampling points (x, y, z) for the stereo camera in the z direction and the distance likelihood sampling points for the radar ( The number of distance likelihoods (of sampling points (x, y, z)) for the stereo camera is increased by interpolation so as to align with the position and number of x, y, z) in the z direction.
  • the angular resolution which is the direction (orientation) resolution
  • the resolution in the x and y directions of the radar is higher than the resolution in the x and y directions of the stereo camera on the three-dimensional coordinate system. Low.
  • normalization of distance likelihood for radar is performed by sampling the position and number of sampling points (x, y, z) of distance likelihood for radar in the x and y directions, and distance likelihood sampling for stereo cameras.
  • the number of distance likelihood (sampling points (x, y, z)) for the radar is increased by interpolation so that the position and number of points (x, y, z) in the x and y directions are aligned. Is done.
  • normalization of distance likelihood can be performed by a method other than interpolation.
  • the resolution of the distance z is improved by performing parallax detection with a finer accuracy than the pixel, that is, the sampling point (x, y, z) of the distance likelihood for the stereo camera.
  • the number in the z direction can be increased, which allows the position and number of distance likelihood sampling points (x, y, z) for stereo cameras to be x, y, z) can be aligned with the position and number in the z direction.
  • the angular resolution is increased by using a super-resolution technique in the time direction, that is, the sampling point (x, y, z) of the distance likelihood for the radar in the x direction (and the number of sampling points of the distance likelihood for the radar (x, y, z) and the number of sampling points of the distance likelihood for the stereo camera. It can be aligned with the position and number of (x, y, z) in the x direction.
  • the increase in the number of sampling points (x, y, z) of the distance likelihood of the radar can be performed not on the three-dimensional coordinate system but on the polar coordinate system before conversion to the three-dimensional coordinate system.
  • the increase in the number of sampling points (x, y, z) can be performed by combining the above-described parallax detection with finer accuracy than the pixel, super-resolution technique in the time direction, and interpolation.
  • step S14 the integration unit 14 integrates the distance likelihood for each of the sensors 11 1 to 11 N for each sampling point (x, y, z), and calculates the distance for each sampling point (x, y, z). Find the combined likelihood. Further, the integration unit 14 integrates the motion amount likelihood for each of the sensors 11 1 to 11 N for each sampling point (x, y, z, vx, vy, vz), and the sampling point (x, y, z). , vx, vy, vz), the integrated likelihood of the motion amount is obtained.
  • the integration unit 14 supplies the integrated likelihood of each distance and motion amount to the distance / motion amount calculation unit 15, and the process proceeds from step S14 to step S15.
  • step S15 the distance / motion amount calculation unit 15 obtains the distance to the object using the integrated likelihood of the distance from the integration unit 14, and supplies the distance to the traveling control unit 16. That is, the distance / motion amount calculation unit 15 integrates distances for each position (x, y) with respect to the integrated likelihood of distances for each sampling point (x, y, z) from the integration unit 14, for example. The distance z having the greatest likelihood is obtained and supplied to the travel control unit 16.
  • the distance / motion amount calculation unit 15 obtains the amount of motion of the object using the integrated likelihood of the motion amount from the integration unit 14 and supplies it to the travel control unit 16. That is, for example, the distance / motion amount calculation unit 15 determines each position (x, y,) for the integrated likelihood of the motion amount for each sampling point (x, y, z, vx, vy, vz) from the integration unit 14. z), the motion amount (vx, vy, vz) with the largest integrated likelihood of the motion amount is obtained, or the motion with the largest integrated likelihood of the motion amount is obtained for each position (x, y). The quantity (vx, vy, vz) and the distance z are obtained and supplied to the travel control unit 16.
  • step S15 the process proceeds from step S15 to step S16, and the travel control unit 16 uses the distance z and the motion amount (vx, vy, vz) supplied from the distance / motion amount calculation unit 15 as necessary. Then, the travel control of the automobile is performed, and the process ends.
  • FIG. 4 shows a method for obtaining the distance to an object and the amount of motion of the object using the integrated likelihood obtained by integrating the distance likelihood and the motion amount likelihood for each of the sensors 11 1 to 11 N (hereinafter also referred to as an integrated method). It is a figure explaining the effect of.
  • a stereo camera or a millimeter wave radar can be employed as the sensor 11 n .
  • a stereo camera and millimeter wave radar can measure the distance to an object (measure a distance).
  • the stereo camera performs distance measurement by detecting the parallax of the image, the accuracy of distance measurement deteriorates in a dark place. Furthermore, with a streo camera, the distance resolution (resolution) decreases as the distance increases, and the accuracy of distance measurement changes depending on the texture (design) of the object. In addition, in the stereo camera, the accuracy of distance measurement is reduced by an external environment such as rain, snow, and backlight.
  • the millimeter wave radar transmits a millimeter wave and receives the reflected light reflected by the object to measure the distance. Therefore, the millimeter wave radar is weak against multiple reflection in a tunnel or the like, and multiple reflection (multipath). In an environment where this occurs, ghosting may occur. In addition, the ghost may be generated depending on the position and posture of the object to be measured. Furthermore, in millimeter wave radar, distance measurement for an object whose angle is shallow with respect to the transmitted millimeter wave, such as the road surface, is low in the resolution of distance measurement in the vertical direction (y direction resolution). May be difficult. Further, in the millimeter wave radar, the angle resolution, which is the direction (orientation) resolution, is low, and the accuracy of distance measurement varies depending on the material of the object to be measured.
  • the distance likelihood for each of the sensors 11 1 to 11 N is integrated, and the distance to the object is accurately obtained by using the integrated likelihood obtained as a result.
  • P 1 , P 2 , and P 3 represent distance likelihoods for the sensors 11 1 to 11 3, respectively.
  • the accuracy of distance measurement by the sensor 11 n decreases
  • the sensor 11 n is a stereo camera
  • there is a case where distance measurement to an object appearing as a flat image is performed.
  • the sensor 11 n is a ToF sensor
  • a case where distance measurement to a black object is performed corresponds to a case where the distance measurement accuracy of the sensor 11 n decreases.
  • the sensor 11 n is a radar
  • a case where distance measurement is performed in a situation where multipath occurs corresponds to a case where the accuracy of distance measurement of the sensor 11 n is reduced.
  • ranging is performed in a situation where the accuracy of ranging of the sensor 11 1 among the sensors 11 1 to 11 3 is lowered. Therefore, the distance likelihood for the sensor 11 1 is dispersed with a small value over a wide range of distance z.
  • the distance likelihoods P 1 to P 3 for the sensors 11 1 to 11 N are integrated, and the integrated likelihood P is obtained. That is, for example, the product of the distance likelihoods P 1 to P 3 for each of the sensors 11 1 to 11 N is obtained as the integrated likelihood P.
  • the distance likelihood P 1 for the sensor 11 1 having a low distance measurement accuracy, that is, the distance likelihood distributed with a small value.
  • the degree P 1 has little influence on the integrated likelihood P of any distance z (it has almost the same influence).
  • the distance likelihood P 1 for the sensor 11 1 is low accuracy of distance measurement, does not affect the merits of the integration likelihood P of the distance z, such integration likelihood P is a maximum distance z, the object
  • the distance to the object is obtained without using the sensor 11 1 having a low distance measurement accuracy (ie, without reliability), that is, the distance to the object is accurately obtained. be able to.
  • the integrated method can perform distance measurement that is robust to the environment or the like, or can be performed at a resolution that cannot be achieved by distance measurement using only a single sensor.
  • the resolution (resolution) at a long distance is reduced.
  • a stereo camera and a radar are used as the two sensors 11 n and 11 n ′ , Even at a long distance, a high resolution can be realized as the resolution of the distance.
  • FIG. 5 is a block diagram illustrating a first detailed configuration example of the travel control device to which the present technology is applied.
  • the travel control device includes a stereo camera 21, a millimeter wave radar 22, a transmission unit 23, a synchronization unit 24, a likelihood calculation unit 25, a normalization unit 26, an integration unit 27, a distance calculation unit 28, and an obstacle map generation.
  • the stereo camera 21 and the millimeter wave radar 22 correspond to the N sensors 11 1 to 11 N in FIG.
  • the stereo camera 21 has two cameras 21L and 21R.
  • the cameras 21L and 21R take images from different viewpoints, and output image data obtained as a result to the transmission unit 23 as sensor data.
  • Millimeter wave radar 22 transmits millimeter waves.
  • the millimeter wave radar 22 receives the returning millimeter wave. Then, the millimeter wave radar 22 outputs the received signal that is the received millimeter wave to the transmission unit 23 as sensor data.
  • the transmission unit 23 performs necessary processing on the sensor data output from the stereo camera 21 (cameras 21L and 21R) and the millimeter wave radar 22, and transmits (supplies) to the synchronization unit 24.
  • the transmission unit 23 performs, for example, development processing on the image data output from the stereo camera 21.
  • the synchronization unit 24 outputs each of the stereo camera 21 and the millimeter wave radar 22 as two different sensors, synchronizes the sensor data supplied from the transmission unit 23, and outputs it to the likelihood calculation unit 25.
  • the likelihood calculation unit 25 corresponds to the likelihood calculation unit 12 of FIG.
  • the likelihood calculation unit 25 uses the distance likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 from the synchronization unit 24 as each sampling point (x, y, z), that is, the sensor data of the stereo camera 21. Are calculated for each position (x, y) of each pixel of the image data and each distance z in the range of distances that can be measured by the stereo camera 21 and supplied to the normalizing unit 26.
  • the likelihood calculation unit 25 calculates the distance likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 from the synchronization unit 24 for each sampling point (x, y, z), and normalizes it. To the unit 26.
  • the likelihood calculating unit 25 is configured such that the distance d from the sensor data of the millimeter wave radar 22 from the synchronization unit 24 to the object in each direction (orientation) r is within the range of distances that can be measured by the millimeter wave radar 22. The distance likelihood of each distance when it is assumed that each distance is obtained.
  • the likelihood calculating unit 25 converts each direction r and each distance d (distance likelihood) of the polar coordinate system from which the distance likelihood for the millimeter wave radar 22 is obtained by coordinate conversion to each of the three-dimensional coordinate systems.
  • Distance likelihood for each sampling point (x, y, z) that is each position (x, y, z) in the three-dimensional coordinate system Is supplied to the normalization unit 26.
  • the normalization unit 26 corresponds to the normalization unit 13 in FIG.
  • the normalization unit 26 calculates the distance likelihood of each sampling point (x, y, z) for the stereo camera 21 from the likelihood calculation unit 25 and each sampling point (x, y, z) for the millimeter wave radar 22.
  • the distance likelihood of z) is normalized to match the sampling point (x, y, z), and supplied to the integration unit 27.
  • the integration unit 27 corresponds to the integration unit 14 of FIG.
  • the integration unit 27 integrates the distance likelihood for the stereo camera 21 from the normalization unit 26 and the distance likelihood for the millimeter wave radar 22 for each sampling point (x, y, z), and calculates the distance calculation unit. 28.
  • the integration unit 27 can integrate the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 by using information stored in the buffer 31 as necessary.
  • the distance calculation unit 28 corresponds to the distance / motion amount calculation unit 15 in FIG.
  • the distance calculation unit 28 uses the integrated likelihood of the distance for each sampling point (x, y, z) from the integration unit 27 to determine the distance to the object. That is, for each position (x, y), the distance calculation unit 28 obtains the distance z having the maximum distance integrated likelihood as the distance to the object shown in the pixel at the position (x, y).
  • the distance calculation unit 28 supplies the distance z for each position (x, y) obtained using the integrated likelihood of the distance to the obstacle map generation unit 29 and the buffer 31.
  • the obstacle map generation unit 29 uses the distance z from the distance calculation unit 28 to generate an obstacle map as obstacle information regarding the obstacle existing in front of the automobile. Then, the obstacle map generation unit 29 supplies the obstacle map to the travel control unit 30 and the buffer 31.
  • the traveling control unit 30 corresponds to the traveling control unit 16 in FIG.
  • the traveling control unit 30 uses the obstacle map from the obstacle map generation unit 29 to perform warning of the presence of an obstacle, control of automatic driving, and the like to the driver driving the vehicle.
  • the buffer 31 temporarily stores the distance z for each position (x, y) supplied from the distance calculator 28 and the obstacle map supplied from the obstacle map generator 29.
  • the distance z and the obstacle map stored in the buffer 31 are used as necessary when the integration unit 27 performs the next integration.
  • the integration unit 27 integrates the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 and stores the distance z and the obstacle obtained in the buffer 31 previously stored. Use maps as needed.
  • the integration in the integration unit 27 is a heavy processing.
  • the integration unit 27 reduces the integration processing load by using the distance z and the obstacle map obtained last time for integration.
  • the integration unit 27 recognizes the shape of the object existing in front of the automobile from the obstacle map obtained last time, and the existence control range of the object at the time of this integration is mounted on the travel control device of FIG. Estimated from the speed of the car.
  • the integration unit 27 uses only the sampling points (x, y, z) corresponding to the points in the existence range of the objects at the time of integration this time as the targets of distance likelihood integration, and the distance likelihood for the stereo camera 21.
  • the integrated likelihood is obtained by integrating the degree and the distance likelihood for the millimeter wave radar 22.
  • the integration unit 27 uses one of the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 as the integrated likelihood as it is.
  • sampling points (x, y, z) corresponding to points within the existence range of the object are reduced. , Can reduce the processing load of integration.
  • the integration unit 27 recognizes the road surface from the obstacle map obtained last time, and the sampling point (x, y, z) corresponding to the point on the road surface is, for example, a radar.
  • the sampling point (x, y, z) corresponding to the point on the road surface is, for example, a radar.
  • the distance likelihood for a sensor that is difficult to receive a signal reflected on the road surface and has a low distance measurement accuracy for the road surface can be excluded from integration targets.
  • FIG. 6 is a diagram for explaining synchronization in the synchronization unit 24 of FIG.
  • the distance likelihood for each of the stereo camera 21 and the millimeter wave radar 22 as the sensors 11 1 to 11 N is integrated, and the distance to the object is calculated using the integrated likelihood obtained as a result. Ask. For this reason, it is necessary to synchronize the sensor data of the stereo camera 21 and the millimeter wave radar 22 used for obtaining the distance likelihood to be integrated with high accuracy.
  • FIG. 6 shows an example of synchronization between image data as sensor data output from the stereo camera 21 and sensor data output from the millimeter wave radar 22.
  • a stereo camera 21 (cameras 21L and 21R) includes, for example, an unillustrated CMOS (Complemental Metal Metal Oxide Semiconductor) image sensor, and one frame is 400 (horizontal) at a frame rate of 60 Hz. Take a picture of the line.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the stereo camera 21 takes an image by, for example, a rolling shutter system
  • the exposure timing is gradually shifted (slow timing) in each line of one frame.
  • the millimeter wave radar 22 outputs sensor data at a cycle of 1200 Hz, for example.
  • the millimeter wave radar 22 outputs 1200 sensor data for one frame of image data output from the stereo camera 21.
  • the stereo camera 21 receives light for the exposure time TE in each line of the image sensor.
  • the photoelectric conversion result of the light is output as one frame of image data.
  • the synchronization unit 24 integrates (adds) the sensor data output by the millimeter wave radar 22 during the exposure time TE of one frame, for example, the first line (first line from the top), and the result of the integration. And frame image data having the first line exposed at the exposure time TE in which the integration is performed are simultaneously output. Thus, the synchronization unit 24 synchronizes the image data as the sensor data output from the stereo camera 21 and the sensor data output from the millimeter wave radar 22.
  • FIG. 7 is a flowchart for explaining an example of processing of the travel control device of FIG.
  • step S21 the stereo camera 21 and the millimeter wave radar 22 perform sensing.
  • step S21 the stereo camera 21 captures images from different viewpoints, and outputs image data obtained as a result to the transmission unit 23 as sensor data.
  • the millimeter wave radar 22 transmits a millimeter wave, receives the millimeter wave that is reflected back by the object, and outputs the millimeter wave to the transmission unit 23 as sensor data.
  • the transmission unit 23 transmits the sensor data output from the stereo camera 21 and the millimeter wave radar 22 to the synchronization unit 24, and the process proceeds from step S21 to step S22.
  • step S22 the synchronization unit 24 synchronizes the sensor data of the stereo camera 21 and the millimeter wave radar 22 from the transmission unit 23, one frame of image data as the sensor data of the stereo camera 21, and the one frame of image data.
  • the sensor data of the millimeter wave radar 22 corresponding to is output to the likelihood calculating unit 25, and the process proceeds to step S23.
  • step S23 the likelihood calculation unit 25 calculates the distance likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 from the synchronization unit 24 for each sampling point (x, y, z), and normalizes it. To the unit 26.
  • the likelihood calculation unit 25 calculates the distance likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 from the synchronization unit 24 for each sampling point (x, y, z), and normalizes it. To the unit 26.
  • step S23 the process proceeds from step S23 to step S24, and the normalization unit 26 determines the distance likelihood of each sampling point (x, y, z) for the stereo camera 21 from the likelihood calculation unit 25, and Normalization is performed to match the sampling points (x, y, z) with respect to the distance likelihood of each sampling point (x, y, z) for the wave radar 22.
  • the normalizing unit 26 is a distance likelihood of each sampling point (x, y, z) for the stereo camera 21 after normalization, and a distance of each sampling point (x, y, z) for the millimeter wave radar 22.
  • the likelihood is supplied to the integration unit 27, and the process proceeds from step S24 to step S25.
  • step S25 the integration unit 27 integrates the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 from the normalization unit 26 for each sampling point (x, y, z). .
  • the integrating unit 27 supplies the integrated likelihood for each sampling point (x, y, z) obtained as a result of the integration to the distance calculating unit 28, and the process proceeds from step S25 to step S26.
  • the integration unit 27 previously obtained the integration of the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 stored in the buffer 31.
  • the distance z and the obstacle map can be used as necessary, thereby reducing the integration processing load.
  • step S26 the distance calculating unit 28 uses the integrated likelihood of the distance for each sampling point (x, y, z) from the integrating unit 27, and the integrated likelihood of the distance for each position (x, y).
  • the maximum distance z is obtained as the distance to the object shown in the pixel at the position (x, y).
  • the distance calculation unit 28 supplies the distance z for each position (x, y) to the obstacle map generation unit 29 and the buffer 31, and the process proceeds from step S26 to step S27.
  • step S27 the buffer 31 buffers (temporarily stores) the distance z for each position (x, y) supplied from the distance calculation unit 28, and the process proceeds to step S28.
  • the distance z for each position (x, y) stored in the buffer 31 is used as necessary when the integration unit 27 performs the next integration.
  • step S28 the obstacle map generation unit 29 uses the distance z from the distance calculation unit 28 to generate an obstacle map as obstacle information regarding an obstacle existing in front of the automobile. Then, the obstacle map generation unit 29 supplies the obstacle map to the travel control unit 30 and the buffer 31, and the process proceeds from step S28 to step S29.
  • step S29 the buffer 31 buffers the obstacle map supplied from the obstacle map generation unit 29, and the process proceeds to step S30.
  • the obstacle map stored in the buffer 31 is used as necessary when the integration unit 27 performs the next integration.
  • step S30 the traveling control unit 30 performs traveling control of the automobile using the obstacle map from the obstacle map generating unit 29, and the process ends.
  • FIG. 8 is a flowchart for explaining an example of processing for obtaining the distance likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 in step S23 of FIG.
  • step S41 the likelihood calculation unit 25 receives (captures) image data as sensor data of the stereo camera 21 from the synchronization unit 24, and the process proceeds to step S42.
  • step S42 the likelihood calculating unit 25 corrects the image data as the sensor data of the stereo camera 21, and the process proceeds to step S43.
  • the correction of the image data in step S42 includes, for example, correction of aberration, correction of the image data such that the stereo camera 21 and the millimeter wave radar 22 are aligned in the horizontal direction, and the like.
  • the correction of the image data so that the horizontal positions of the stereo camera 21 and the millimeter wave radar 22 are matched is performed using calibration information for correcting the displacement of the mounting position and orientation of the stereo camera 21 and the millimeter wave radar 22. .
  • the calibration information is obtained in advance by calibration performed for the stereo camera 21 and the millimeter wave radar 22.
  • step S43 the likelihood calculating unit 25 sets one of two images with different viewpoints taken by the camera 21L and the camera 21R, which are sensor data of the stereo camera 21, as a reference image and the other as a reference image. Then, for each pixel of the standard image, matching for obtaining corresponding points that are pixels of the reference image corresponding to the pixel is performed by block matching or the like, for example.
  • the likelihood calculating unit 25 sequentially selects each pixel of the base image as the target pixel, and centers the reference pixel block and the target pixel centered on a position shifted by a plurality of parallaxes from the target pixel. Block matching is performed with the reference image block.
  • a matching error of block matching (for example, a difference absolute value of pixel values of each pixel between the block of the base image and the block of the reference image) Sum etc.) is required.
  • step S43 the process proceeds from step S43 to step S44, and the likelihood calculating unit 25 performs each position (x, y) of each pixel (here, each pixel of the reference image) of the image data as the sensor data of the stereo camera 21.
  • the distance likelihood that the distance to the object shown at the position (x, y) is the distance z is obtained using the matching error, and the process ends.
  • block matching matching error for position (x, y) and distance z that is, block matching matching error assuming that the distance to the object shown in the pixel at position (x, y) is distance z Is expressed as cost (x, y, z).
  • FIG. 9 is a flowchart for explaining an example of processing for obtaining the distance likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 in step S23 of FIG.
  • step S51 the likelihood calculation unit 25 receives (captures) the sensor data of the millimeter wave radar 22 from the synchronization unit 24, and the process proceeds to step S52.
  • step S52 the likelihood calculating unit 25 performs FFT (Fast Fourier Transform) of the sensor data of the millimeter wave radar 22, and the process proceeds to step S53.
  • FFT Fast Fourier Transform
  • the sensor data of the millimeter wave radar 22 represents the certainty that the intensity of the FFT result of the sensor data indicates that there is an object at a distance corresponding to the frequency of the intensity.
  • step S53 the likelihood calculating unit 25 corrects the FFT result of the sensor data of the millimeter wave radar 22, and the process proceeds to step S54.
  • the sensor data of the millimeter wave radar 22, that is, the millimeter wave reflected by the object attenuates as the distance to the object increases. Therefore, the likelihood calculating unit 25 performs correction to increase the high frequency component of the FFT result of the sensor data of the millimeter wave radar 22 in order to cancel the influence of the attenuation.
  • the likelihood calculation unit 25 uses the calibration information described in FIG. 8 to cancel the deviation of the mounting position and orientation of the stereo camera 21 and the millimeter wave radar 22 and the sensor data of the millimeter wave radar 22. Correct the FFT result.
  • step S ⁇ b> 54 the likelihood calculating unit 25 determines from the FFT result of the sensor data of the millimeter wave radar 22 to the object in the direction r for each direction (direction) r and each distance d of the sensing range of the millimeter wave radar 22.
  • the distance likelihood of each distance d is obtained.
  • step S54 the likelihood calculating unit 25 obtains a distance likelihood for the millimeter wave radar 22, and each direction r and polar coordinate system (defined by the direction and the distance).
  • each distance d By converting each distance d to each position (x, y, z) in the three-dimensional coordinate system by coordinate conversion, each sampling point (x, y, z) in the three-dimensional coordinate system ( The distance likelihood for x, y, z) is determined and the process ends.
  • step S55 can be performed using the calibration information described in FIG. 8 as necessary.
  • the distance likelihood is generated from the sensor data of the stereo camera 21 and the millimeter wave radar 22, etc.
  • a conversion rule for converting the sensor data into the distance likelihood is designed based on an empirical rule in advance. This can be done according to the conversion rules.
  • the generation of distance likelihood from sensor data can be performed by learning a learning model that outputs the distance likelihood in advance using sensor data as input, and providing the learning model with the sensor data as input. it can.
  • step S25 of FIG. 7 the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 are integrated for each sampling point (x, y, z), and then in step S26.
  • the integrated likelihood can be optimized before the distance to the object shown in the pixel at the position (x, y) is obtained.
  • step S26 for each position (x, y), the distance z with the maximum integrated likelihood of distance is obtained as the distance to the object shown in the pixel at the position (x, y).
  • the combined likelihood of y) may be low over all distances z, in which case any distance z is not certain as a distance to the object.
  • the distance near the object reflected in the pixel at the position (x ', y'), which is obtained from the integrated likelihood of, is easily obtained as the distance to the object reflected in the pixel at the position (x, y). Therefore, the integrated likelihood of the position (x, y) is corrected.
  • the distance likelihood for the stereo camera 21 of the sampling point (x, y, z) and the distance likelihood for the millimeter wave radar 22 are respectively represented by p1 (x, y, z) and Let p2 (x, y, z).
  • z ′) is obtained in advance based on, for example, learning or empirical rules.
  • P2 (x, y, z) ⁇ ⁇ (x ′, y ′) is performed according to p (x, y, z
  • the expression pa (x, y, z) P1 (x, y, z) ⁇ P2 (x, y, z) ⁇ ⁇ (x ′, y ′) p (x, y, z
  • P1 (x, y, z) ⁇ P2 (x, y, z) represents the integrated likelihood of the sampling point (x, y, z).
  • z ') is the likelihood p of changing the position (x', y ') to a position around the position (x, y) Represents the product of (x, y, z
  • FIG. 10 is a diagram for explaining the outline of the integration method.
  • the distance z is the distance to the object reflected at the position (x, y).
  • a likelihood is obtained as a distance likelihood for the stereo camera 21.
  • the distance likelihood for the stereo camera 21 exists for each sampling point (x, y, z) that is each position (x, y, z) in the three-dimensional coordinate system.
  • a set of distance likelihoods for the stereo camera 21 existing for each position (x, y, z) in the three-dimensional coordinate system is also referred to as a stereo likelihood volume hereinafter.
  • a distance likelihood is obtained in which the distance to the object in the direction r is the distance d.
  • the set of distance likelihoods obtained for each direction r and each distance d is a set of points on the polar coordinate system defined by the direction r and the distance d, and is hereinafter also referred to as a radar likelihood volume.
  • the stereo likelihood volume is normalized.
  • the radar likelihood volume in the polar coordinate system is coordinate-transformed into a set of points in the three-dimensional coordinate system defined by the position (x, y, z) and further normalized.
  • sampling points (x, y, z) where distance likelihood exists after normalization match In the stereo likelihood volume and the radar likelihood volume after coordinate conversion, sampling points (x, y, z) where distance likelihood exists after normalization match.
  • the sampling point (x, y, z) where the distance likelihood exists coincides
  • the sampling point (x, A region where y, z) exists is called a fusion domain.
  • the sampling point (x, y, z) where the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 are present matches, so the sampling point (x, y, z) For each, the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 can be integrated.
  • the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 are integrated for each sampling point (x, y, z) and the sampling point (x, y, z) is integrated.
  • the distance to the object shown in the pixel at each position (x, y, z) is obtained.
  • a set of integrated likelihood of each sampling point (x, y, z) in the fusion domain is also referred to as an integrated likelihood volume.
  • FIG. 11 is a diagram for explaining an outline of the mitigation process for reducing the load of the integration process in the integration by the integration unit 27 in FIG.
  • the integration unit 27 reduces the integration processing load by using the distance z and the obstacle map for each position (x, y) obtained last time for integration. Mitigation processing can be performed.
  • the integration unit 27 recognizes a road surface whose distance detection accuracy by the millimeter wave radar 22 is not high from the obstacle map as the obstacle information obtained last time. Further, the integration unit 27 performs domain conversion for converting a point in the road surface region into a sampling point (x, y, z) of the fusion domain.
  • the integration unit 27 integrates the distance likelihood for the stereo camera 21 and the distance likelihood for the millimeter wave radar 22 for each sampling point (x, y, z). Sometimes, for the sampling point (x, y, z) in the road surface region, the distance likelihood for the millimeter wave radar 22 is gated.
  • the integration unit 27 determines the distance likelihood for the stereo camera 21 and the millimeter wave radar 22 for the sampling points (x, y, z) other than the sampling points (x, y, z) in the road surface area. Are integrated and the integrated likelihood is obtained.
  • the integration unit 27 excludes the distance likelihood for the millimeter wave radar 22 from the integration targets.
  • the distance likelihood for the stereo camera 21 is used as the integrated likelihood as it is.
  • the distance likelihood for the millimeter wave radar 22 may be excluded from the objects of integration when obtaining the integrated likelihood. ) Does not (almost) affect the accuracy of the distance obtained from the combined likelihood.
  • the distance to the object can be obtained with high accuracy and the load of the integration process can be reduced.
  • FIG. 12 is a block diagram illustrating a second detailed configuration example of the travel control device to which the present technology is applied.
  • the travel control device includes a stereo camera 21, a transmission unit 23, a synchronization unit 24, a likelihood calculation unit 25, a normalization unit 26, an integration unit 27, a distance calculation unit 28, an obstacle map generation unit 29, and a travel control.
  • the travel control device of FIG. 12 is common to the case of FIG. 5 in that the stereo camera 21 and the transmission unit 23 or the buffer 31 are included.
  • the traveling control device of FIG. 12 is different from the case of FIG. 5 in that a ToF sensor 51 is provided instead of the millimeter wave radar 22.
  • the same processing as that described in FIG. 7 is performed except that the sensor data of the ToF sensor 51 is used instead of the sensor data of the millimeter wave radar 22.
  • FIG. 13 is a diagram for explaining an example of a distance likelihood calculation method for the ToF sensor 51 of FIG.
  • the ToF sensor 51 has, for example, a light receiving unit (not shown) arranged in a matrix of 80 ⁇ 60 horizontal and vertical, and radiates a transmission pulse at a high speed, and the transmission pulse is reflected by an object. By receiving the reflected light that returns as a received pulse, the distance to the object is detected.
  • a light receiving unit not shown
  • the transmission time t 0 of the transmitted pulse, and elapsed time T D, when the reception pulse is received, from time t 0, has elapsed pulse width T 0 of the received pulses
  • the time is represented as t 1
  • the time when the pulse width T 0 has further elapsed from time t 1 is represented as t 2 .
  • a pulse that is at H (High) level from time t 0 to time t 1 is referred to as a phase 1 pulse
  • a pulse that is at H level from time t 1 to time t 2 is a phase 2 pulse. That is to say.
  • the amount of received light (charge amount) during the phase 1 pulse period (between time t 0 and time t 1 ) when the received light is received by the light receiving unit of the ToF sensor 51 is expressed as N 1
  • the amount of light received during the phase 2 pulse period (between time t 1 and time t 2 ) is represented as N 2 .
  • a large number of transmission pulses are transmitted during a time frame T as a predetermined time T, and reception pulses corresponding to the transmission pulses are received by the light receiving unit.
  • c represents the speed of light.
  • the ToF sensor 51 outputs a plurality (a large number) of distances L obtained as described above as sensor data for each reception pulse with respect to a large number of transmission pulses transmitted during the time frame T.
  • the likelihood calculating unit 25 in FIG. 12 is based on the distribution of a plurality of distances, which are sensor data of the ToF sensor 51 during the time frame T, for each position (x, y) of each light receiving unit of the ToF sensor 51.
  • a distance likelihood is obtained in which the distance, that is, the distance to the object on which the transmission pulse is reflected with respect to the reception pulse received by the light receiving unit at the position (x, y) is each of a plurality of distances z.
  • the likelihood calculating unit 25 calculates each position in the three-dimensional coordinate system represented by each position (x, y) of the light receiving unit of the ToF sensor 51 and each distance z from the sensor data of the ToF sensor 51. The distance likelihood with (x, y, z) as the sampling point is obtained.
  • FIG. 14 is a flowchart for explaining an example of processing for obtaining the distance likelihood for the ToF sensor 51 from the sensor data of the ToF 51 in FIG.
  • step S61 the likelihood calculating unit 25 in FIG. 12 obtains the time obtained for each of the plurality of M1 light receiving units of the ToF sensor 51 as the sensor data of the ToF sensor 51 supplied from the synchronization unit 24. A plurality of M2 distances L between the frames T are received (captured), and the process proceeds to step S62.
  • step S62 the likelihood calculating unit 25 corrects M2 distances L as sensor data of the ToF sensor 51 as necessary, and the process proceeds to step S63.
  • the correction of the sensor data of the ToF sensor 51 in step S62 includes, for example, correction for canceling a deviation in the mounting position and orientation of the stereo camera 21 and the ToF sensor 51.
  • This correction can be performed using calibration information obtained in advance by calibration performed on the stereo camera 21 and the ToF sensor 51.
  • step S63 the likelihood calculating unit 25 receives light at each position (x, y) of the M1 light receiving units and each distance z of the sensing range of the ToF sensor 51 by the light receiving unit at the position (x, y).
  • the distance likelihood that the distance to the object reflecting the received pulse is the distance z is obtained using the M2 distances L obtained during the time frame T as the sensor data of the ToF sensor 51, and processed Ends.
  • the likelihood calculating unit 25 obtains the distance likelihood that the distance to the object is each of the plurality of distances z based on the distribution of M2 distances L obtained during the time frame T, for example.
  • the likelihood calculating unit 25 obtains, for example, an average value and variance of M2 distances L, and obtains a Gaussian distribution defined by the average value and variance. Then, the likelihood calculating unit 25 obtains a value according to the Gaussian distribution defined by the average value and variance of the M2 distances L as the distance likelihood for each distance z.
  • the likelihood calculating unit 25 obtains a frequency distribution of M2 distances L, for example, and obtains a value corresponding to the frequency of the frequency distribution as the distance likelihood for each distance z.
  • FIG. 15 is a block diagram illustrating a third detailed configuration example of the travel control device to which the present technology is applied.
  • the travel control device includes a stereo camera 21, a millimeter wave radar 22, a transmission unit 23, a synchronization unit 24, a likelihood calculation unit 25, a normalization unit 26, an integration unit 27, a distance calculation unit 28, and an obstacle map generation.
  • the traveling control device of FIG. 15 is common to the case of FIG. 5 in that it includes the stereo camera 21 or the buffer 31.
  • the travel control device of FIG. 15 is different from the case of FIG. 5 in that the ToF sensor 51 of FIG. 12 is newly provided.
  • the distance likelihood for the ToF sensor 51 is integrated, and the integrated likelihood is Desired.
  • FIG. 16 is a block diagram illustrating a fourth detailed configuration example of the travel control device to which the present technology is applied.
  • the travel control device includes a stereo camera 21, millimeter wave radar 22, transmission unit 23, synchronization unit 24, travel control unit 30, buffer 31, likelihood calculation unit 61, normalization unit 62, integration unit 63, motion A quantity calculation unit 64 and an obstacle map generation unit 65 are included.
  • the travel control device of FIG. 16 is common to the case of FIG. 5 in that it includes the stereo camera 21, the millimeter wave radar 22, the transmission unit 23, the synchronization unit 24, the travel control unit 30, and the buffer 31.
  • the travel control device of FIG. 16 is replaced with a likelihood calculating unit 25, a normalizing unit 26, an integrating unit 27, a distance calculating unit 28, and an obstacle map generating unit 29, instead of a likelihood calculating unit 61, a normalizing unit. 5 is different from the case of FIG. 5 in that a unit 62, an integration unit 63, a motion amount calculation unit 64, and an obstacle map generation unit 65 are provided.
  • the likelihood calculation unit 61 corresponds to the likelihood calculation unit 12 of FIG.
  • the likelihood calculating unit 61 calculates the motion amount likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 from the synchronization unit 24 at each sampling point (x, y, z, vx, vy, vz), that is, Motion detection performed using each position (x, y) of each pixel of image data as sensor data of the stereo camera 21, a distance z to an object reflected at that position, and an image as sensor data of the stereo camera 21.
  • Each motion amount (vx, vy, vz) in the range of motion amounts that can be detected in step (vx, vy, vz) (relative motion amount based on the vehicle on which the travel control device is mounted) is calculated and supplied to the normalization unit 62.
  • the sampling points (x, y, z, vx, vy, vz) are set with x, y, z, vx, vy, vz as axes. It becomes a point on a 6-dimensional (orthogonal) coordinate system.
  • the likelihood calculation unit 61 further calculates the motion amount likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 from the synchronization unit 24 at each sampling point (x, y, z, vx, vy, vz). ) And is supplied to the normalization unit 62.
  • the likelihood calculating unit 61 calculates, based on the sensor data of the millimeter wave radar 22 from the synchronizing unit 24, the amount of motion at the position (r, d) on the polar coordinate system for each distance d in each direction (direction) r. When it is assumed that the amount of motion is within the range of the amount of motion that can be detected by the millimeter wave radar 22, the motion amount likelihood of each amount of motion is obtained.
  • the likelihood calculating unit 61 converts each position (r, d) and each motion amount in the polar coordinate system, from which the motion amount likelihood for the millimeter wave radar 22 is obtained, to each position in the 6-dimensional coordinate system by coordinate conversion. (x, y, z, vx, vy, vz) and each sampling point (x, y, z, vz) at each position (x, y, z, vx, vy, vz) in the 6-dimensional coordinate system The motion amount likelihood for vx, vy, vz) is supplied to the normalization unit 62.
  • the normalization unit 62 corresponds to the normalization unit 13 in FIG.
  • the normalization unit 62 receives the motion amount likelihood of each sampling point (x, y, z, vx, vy, vz) for the stereo camera 21 from the likelihood calculation unit 61 and each of the millimeter wave radar 22. Normalization to match the sampling points (x, y, z, vx, vy, vz) to the motion amount likelihood of the sampling points (x, y, z, vx, vy, vz) is performed by interpolation etc. To the integration unit 63.
  • the integration unit 63 corresponds to the integration unit 14 in FIG.
  • the integration unit 63 uses the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 from the normalization unit 62 as sampling points (x, y, z, vx, vy, vz). Are integrated and supplied to the motion amount calculation unit 64.
  • the integration unit 63 integrates the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 by using the information stored in the buffer 31 as necessary. Can do.
  • the buffer 31 stores a motion amount calculated by a motion amount calculation unit 64 described later and an obstacle map generated by an obstacle map generation unit 65 described later.
  • the integration unit 63 integrates the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 with the previously obtained motion amount and obstacle map stored in the buffer 31. By using it as necessary, the integration processing load can be reduced.
  • the integration unit 63 detects a moving moving object using the previously obtained amount of movement or the obstacle map stored in the buffer 31, and within the range of the moving object (or The position (x, y, z) within the range including the moving object within a predetermined margin is specified. Then, the integration unit 63 integrates the motion amount likelihood only for the sampling points (x, y, z, vx, vy, vz) including the position (x, y, z) within the range of the moving object. Furthermore, the integration unit 63 determines the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 for the other sampling points (x, y, z, vx, vy, vz). One of them is used as the integrated likelihood as it is.
  • the moving object can be detected from the sensor data of the millimeter wave radar 22 as well as the amount of movement stored in the buffer 31 and the obstacle map.
  • the object data of the millimeter wave radar 22 is sensor data that can obtain the amount of motion of an object by performing two FFTs
  • the object data is obtained from the two FFT results of the sensor data of the millimeter wave radar 22.
  • the amount of motion (for example, the amount of motion in the z direction) is obtained, and the moving object can be detected based on the amount of motion.
  • the integration unit 63 integrates the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 as in the integration unit 27 of FIG. It can be performed.
  • the motion amount calculation unit 64 corresponds to the distance / motion amount calculation unit 15 in FIG.
  • the motion amount calculation unit 64 calculates the motion amount of the object using the integrated likelihood of the motion amount for each sampling point (x, y, z, vx, vy, vz) from the integration unit 63. That is, for each position (x, y, z), the motion amount calculation unit 64 calculates the motion amount (vx, vy, vz) having the maximum integrated likelihood of the motion amount and the motion at the position (x, y, z). Calculate as a quantity.
  • the motion amount calculation unit 64 supplies the motion amount (vx, vy, vz) obtained using the integrated likelihood of the motion amount to the buffer 31 and the obstacle map generation unit 65.
  • the motion amount (vx, vy, vz) and the distance z having the maximum integrated likelihood of the motion amount are determined as the position (x, y ) And the distance to the object.
  • the obstacle map generation unit 65 uses the movement amount (vx, vy, vz) from the movement amount calculation unit 64 to generate an obstacle map as obstacle information regarding the obstacle existing in front of the automobile. Then, the obstacle map generation unit 65 supplies the obstacle map to the travel control unit 30 and the buffer 31.
  • one of the plurality of sensors 11 1 to 11 N in FIG. 1 is a sensor for detecting the amount of motion using an image, that is, an image sensor for taking an image. It becomes essential.
  • a so-called monocular camera such as the camera 21 ⁇ / b> L or 21 ⁇ / b> R constituting the stereo camera 21 can be employed.
  • the position in the z direction is, for example, an image of two consecutive frames or the like.
  • the distance can be obtained from an image taken by the stereo camera 21 in the same manner.
  • the position (distance z) in the z direction cannot be obtained when the automobile equipped with the travel control device is stopped.
  • the same motion amount likelihood motion amount likelihood ignoring the position in the z direction
  • the motion amount (vx, vy, vz) can be obtained without using the integration method.
  • the motion amounts vx and vy in the x direction and the y direction are obtained by performing motion detection using an image captured by a monocular camera, and the motion amount vz in the z direction is calculated using the millimeter wave radar 22 or the like. It can be obtained from the sensor data.
  • the motion amount (vx, vy, vz) is obtained without using the integration method
  • the motion amount vz in the z direction is not obtained from the image of the monocular camera, and the millimeter wave radar 22 or the like is obtained. Since the movement amounts vx and vy in the x direction and the y direction are not obtained from the sensor data, the amount of calculation can be reduced as compared with the case where the integration method is used.
  • the motion amounts vx and vy are obtained by an integrated method using a monocular camera and other sensors
  • the motion amounts vz are obtained by an integrated method using the millimeter wave radar 22 and other sensors. be able to.
  • FIG. 17 is a flowchart illustrating an example of processing of the travel control device of FIG.
  • step S121 the stereo camera 21 captures an image from a different viewpoint as in step S21 of FIG. 7, and outputs the image data obtained as a result to the transmission unit 23 as sensor data.
  • step S121 the millimeter wave radar 22 transmits a millimeter wave, receives the millimeter wave that is reflected by the object and returns, as in step S21 of FIG.
  • the data is output to the transmission unit 23.
  • the transmission unit 23 transmits the sensor data output from the stereo camera 21 and the millimeter wave radar 22 to the synchronization unit 24, and the process proceeds from step S121 to step S122.
  • step S122 the synchronization unit 24 synchronizes the sensor data of the stereo camera 21 and the millimeter wave radar 22 from the transmission unit 23 and outputs them to the likelihood calculation unit 61, as in step S22 of FIG. The process proceeds to step S123.
  • step S123 the likelihood calculation unit 61 calculates the motion amount likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 from the synchronization unit 24 at each sampling point (x, y, z, vx, vy, vz). ) And is supplied to the normalization unit 62.
  • the likelihood calculating unit 61 calculates the motion amount likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 from the synchronization unit 24 at each sampling point (x, y, z, vx, vy, vz). ) And is supplied to the normalization unit 62.
  • step S123 the process proceeds from step S123 to step S124, and the normalization unit 62 moves the sampling points (x, y, z, vx, vy, vz) for the stereo camera 21 from the likelihood calculation unit 61.
  • the sampling point (x, y, z, vx, vy, vz) for the millimeter wave radar 22 the sampling point (x, y, z, vx, vy, Normalize to match vz).
  • the normalizing unit 62 estimates the motion amount likelihood of each sampling point (x, y, z, vx, vy, vz) for the stereo camera 21 after normalization and each sampling point (x for the millimeter wave radar 22). , y, z, vx, vy, vz) is supplied to the integration unit 63, and the process proceeds from step S124 to step S125.
  • step S125 the integration unit 63 uses the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 from the normalization unit 62 as sampling points (x, y, z, vx, vy and vz) are integrated.
  • the integrating unit 63 supplies the integrated likelihood of the motion amount for each sampling point (x, y, z, vx, vy, vz) obtained as a result of the integration to the motion amount calculating unit 64, and the processing is performed in steps. The process proceeds from step S125 to step S126.
  • the integration unit 63 previously obtained the integration of the motion amount likelihood for the stereo camera 21 and the motion amount likelihood for the millimeter wave radar 22 stored in the buffer 31.
  • the obtained motion amount (vx, vy, vz) and the obstacle map can be used as necessary, thereby reducing the integration processing load.
  • the integration unit 63 can optimize the integration likelihood with respect to the integration likelihood of the motion amount obtained as a result of the integration, similarly to the integration unit 27 of FIG.
  • step S126 the motion amount calculation unit 64 uses the integrated likelihood of the motion amount for each sampling point (x, y, z, vx, vy, vz) from the integration unit 63 to use the position (x, y, z). ) Or position (x, y), the motion amount (vx, vy, vz) (and distance z) with the maximum integrated likelihood of the motion amount is represented by position (x, y, z) or position (x, y ) As the amount of movement of the object.
  • the motion amount calculation unit 64 supplies the motion amount (vx, vy, vz) to the obstacle map generation unit 65 and the buffer 31, and the process proceeds from step S126 to step S127.
  • step S127 the buffer 31 buffers (temporarily stores) the motion amount (vx, vy, vz) supplied from the motion amount calculation unit 64, and the process proceeds to step S128.
  • the motion amount (vx, vy, vz) stored in the buffer 31 is used as necessary when the integration unit 63 performs the next integration.
  • step S128 the obstacle map generation unit 65 uses the movement amount (vx, vy, vz) from the movement amount calculation unit 64 to generate an obstacle map as obstacle information regarding the obstacle existing in front of the vehicle. Generate. Then, the obstacle map generation unit 65 supplies the obstacle map to the travel control unit 30 and the buffer 31, and the process proceeds from step S128 to step S129.
  • step S129 the buffer 31 buffers the obstacle map supplied from the obstacle map generation unit 65, and the process proceeds to step S130.
  • the obstacle map stored in the buffer 31 is used as necessary when the integration unit 63 performs the next integration.
  • step S130 the traveling control unit 30 performs traveling control of the automobile using the obstacle map from the obstacle map generating unit 65, and the process ends.
  • FIG. 18 is a flowchart for explaining an example of processing for obtaining the motion amount likelihood for the stereo camera 21 from the sensor data of the stereo camera 21 in step S123 of FIG.
  • steps S141 and S142 processing similar to that in steps S41 and S42 of FIG. 8 is performed.
  • step S143 the likelihood calculating unit 61 uses one of two images with different viewpoints taken by the camera 21L and the camera 21R, which are sensor data of the stereo camera 21, as in step S43 of FIG. While using the other as a reference image, matching for obtaining a corresponding point that is a pixel of the reference image corresponding to the pixel is performed by, for example, block matching on the other side as a reference image.
  • the likelihood calculating unit 61 calculates the distance from the parallax between each pixel of the standard image and the corresponding point of the reference image obtained for the pixel to the object reflected in each pixel of the standard image as the standard The distance z of the position (x, y) of each pixel of the image is obtained, and the process proceeds from step S143 to step S144.
  • step S144 the likelihood calculating unit 61 determines the position (x, y) and distance z of each pixel of the reference image as the sensor data of the stereo camera 21 and the amount of motion (vx, vy, vz).
  • the amount of motion of the object at (x, y) and distance z is the amount of motion (vx, vy, vz), for example, the motion detection of the pixel at the position (x, y) of the reference image is performed. The process ends.
  • the likelihood calculating unit 61 selects, for example, the latest frame of the reference image as a target frame, and sequentially selects each pixel of the target frame as a target pixel. Further, the likelihood calculating unit 61 is configured to detect a block of a previous frame one frame before the focused frame centered at a position shifted from the focused pixel by a plurality of motion amounts (vx, vy) in the x direction and the y direction. Then, block matching is performed with a block of the target frame centered on the target pixel.
  • the likelihood calculation unit 61 calculates the distance already calculated using the previous frame as the target frame and the target pixel for the pixel of the previous frame at a position shifted from the target pixel by the amount of motion (vx, vy).
  • the motion amount vz in the z direction is obtained from the distance z obtained in the immediately preceding step S143.
  • the likelihood calculating unit 61 uses the object at the position (x, y) and the distance z for each position (x, y) and distance z of each pixel of the frame of interest and each motion amount (vx, vy, vz).
  • the motion amount likelihood in which the amount of motion is the motion amount (vx, vy, vz) is obtained using a matching error.
  • FIG. 19 is a flowchart for explaining an example of processing for obtaining the motion amount likelihood for the millimeter wave radar 22 from the sensor data of the millimeter wave radar 22 in step S123 of FIG.
  • step S151 the likelihood calculation unit 61 receives (captures) the sensor data of the millimeter wave radar 22 from the synchronization unit 24, and the process proceeds to step S152.
  • step S152 the likelihood calculating unit 61 performs an FFT of the sensor data of the millimeter wave radar 22, further performs an FFT of the FFT result, and the process proceeds to step S153.
  • the sensor data of the millimeter wave radar 22 includes the FFT result of the FFT result, that is, the intensity of the second FFT result is the amount of motion corresponding to the time of the intensity, and the object moves. It expresses the certainty of being.
  • step S153 the likelihood calculating unit 61 determines each direction (direction) r, each distance d, and each motion amount (vx) of the sensing range of the millimeter wave radar 22 from the second FFT result of the sensor data of the millimeter wave radar 22. , vy, vz), assuming that the amount of motion of the object in the direction r and distance d is the amount of motion (vx, vy, vz), the amount of motion of each motion amount (vx, vy, vz) Find the likelihood.
  • the second FFT result of the sensor data of the millimeter wave radar 22 corresponding to the direction r, the distance d, and the motion amount (vx, vy, vz) is expressed as fft2 (r, d, vx, vy, vz).
  • Formula P R fft2 (r, d, vx, vy, vz) / ⁇ (vx, vy, vz) fft2 (r, d, vx, vy, vz) ⁇ (vx, vy, vz) fft2 (r, d, vx, vy, vz) is the summation of fft2 (r, d, vx, vy, vz) by changing the amount of motion (vx, vy, vz) to each amount of motion for which the motion amount likelihood is obtained.
  • step S154 the process proceeds from step S154 to step S155, and the likelihood calculating unit 61 determines the direction r and distance d and the amount of motion (vx, vy, vz) from which the motion amount likelihood for the millimeter wave radar 22 is obtained, By converting to each position (x, y, z, vx, vy, vz) in the 6-dimensional coordinate system by coordinate conversion, each sampling point that is each position (x, y, z) in the 6-dimensional coordinate system The motion amount likelihood for (x, y, z, vx, vy, vz) is obtained, and the process ends.
  • the millimeter wave radar 22 is provided in addition to the stereo camera 21 as the image sensor.
  • a ToF sensor 51 can be used as a sensor other than the stereo camera 21 as the image sensor.
  • a millimeter wave radar 22 and a ToF sensor 51 can be used as shown in FIG.
  • FIG. 20 is a block diagram illustrating a fifth detailed configuration example of the travel control device to which the present technology is applied.
  • the travel control device includes a stereo camera 21, a millimeter wave radar 22, a transmission unit 23, a synchronization unit 24, a travel control unit 30, a buffer 31, a ToF sensor 51, a lidar 71, a likelihood calculation unit 81, and a normalization unit. 82, an integration unit 83, a distance / motion amount calculation unit 84, and an obstacle map generation unit 85.
  • the travel control device of FIG. 20 is common to the case of FIG. 5 in that it includes the stereo camera 21, the millimeter wave radar 22, the transmission unit 23, the synchronization unit 24, the travel control unit 30, and the buffer 31.
  • the travel control apparatus of FIG. 20 is replaced with a likelihood calculating unit 25, a normalizing unit 26, an integrating unit 27, a distance calculating unit 28, and an obstacle map generating unit 29, instead of a likelihood calculating unit 81, a normalizing unit. 5 is different from the case of FIG. 5 in that a unit 82, an integration unit 83, a distance / motion amount calculation unit 84, and an obstacle map generation unit 85 are provided.
  • the travel control device of FIG. 20 is different from the case of FIG. 5 in that the ToF sensor 51 and the rider 71 of FIG. 12 are newly provided.
  • the likelihood calculation unit 81 has the same functions as the likelihood calculation unit 25 in FIG. 5 and the likelihood calculation unit 61 in FIG.
  • the normalization unit 82 has the same function as the normalization unit 26 in FIG. 5 and the normalization unit 62 in FIG. 16.
  • the integration unit 83 has the same function as the integration unit 27 in FIG. 5 and the integration unit 63 in FIG. 16.
  • the distance / motion amount calculation unit 84 has the same functions as the distance calculation unit 28 in FIG. 5 and the motion amount calculation unit 64 in FIG.
  • the same processing as that of the traveling control device of FIGS. 5 and 16 is performed on the sensor data of the stereo camera 21, the millimeter wave radar 22, the ToF sensor 51, and the lidar 71, respectively.
  • the distance / motion amount calculation unit 84 obtains the distance and the motion amount.
  • the obstacle map generation unit 85 generates an obstacle map using the distance and the amount of movement obtained by the distance / motion amount calculation unit 84.
  • the integrated likelihood of the distance for each sampling point (x, y, z) obtained by the integration unit 27 is used to calculate the distance for each position (x, y).
  • the distance z with the maximum integrated likelihood is determined as the distance to the object shown in the pixel at the position (x, y), but information other than the distance to the object can be determined from the integrated likelihood of the distance. it can.
  • a region composed of points (x, y, z) having a substantially constant value of y can be obtained as a road surface region.
  • a series of processes performed in each block such as the likelihood calculation unit 12, the normalization unit 13, and the integration unit 14 in FIG. 1 can be performed by hardware or can be performed by software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 21 shows a configuration example of an embodiment of a computer in which a program for executing the above-described series of processing is installed.
  • the program can be recorded in advance in a hard disk 105 or a ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 111 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed on the built-in hard disk 105. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer includes a CPU (Central Processing Unit) 102, and an input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 accordingly. .
  • the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes it.
  • the CPU 102 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 102 outputs the processing result as necessary, for example, via the input / output interface 110, from the output unit 106, transmitted from the communication unit 108, and further recorded in the hard disk 105.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • a plurality of motion amounts of the object are obtained from information obtained by the motion detection method.
  • a likelihood calculating unit that calculates a motion amount likelihood that is each of the motion amounts of An information processing apparatus comprising: an integration unit that integrates the motion amount likelihoods for the plurality of motion detection methods and obtains an integrated likelihood of each of the plurality of motion amounts.
  • ⁇ 3> The information processing apparatus according to ⁇ 2>, further comprising: a generation unit that generates obstacle information related to the obstacle using the amount of movement of the object.
  • ⁇ 4> The information processing apparatus according to ⁇ 3>, wherein the integration unit integrates the motion amount likelihoods for the plurality of motion detection methods using the motion amount or the obstacle information obtained last time.
  • ⁇ 5> ⁇ 1> to ⁇ 4 > The information processing apparatus according to any one of the above.
  • ⁇ 6> The information processing apparatus according to any one of ⁇ 1> to ⁇ 5>, wherein the sensor used for detecting the amount of motion in the one or more motion detection methods is one or more of a radar, a ToF sensor, and a lidar. apparatus.
  • a plurality of motion amounts of the object are obtained from information obtained by the motion detection method.
  • Calculating a motion amount likelihood that is each of the motion amount of An information processing method comprising: integrating the motion amount likelihoods for the plurality of motion detection methods and obtaining an integrated likelihood of each of the plurality of motion amounts.
  • a plurality of motion amounts of the object are obtained from information obtained by the motion detection method.
  • a likelihood calculating unit that calculates a motion amount likelihood that is each of the motion amounts of A program for causing a computer to function as an integration unit that integrates the motion amount likelihoods for the plurality of motion detection methods and obtains an integrated likelihood of each of the plurality of motion amounts.
  • 11 1 to 11 N sensor 12 likelihood calculation unit, 13 normalization unit, 14 integration unit, 15 distance / motion amount calculation unit, 16 travel control unit, 21 stereo camera, 21L, 21R camera, 22 millimeter wave radar, 23 Transmission unit, 24 synchronization unit, 25 likelihood calculation unit, 26 normalization unit, 27 integration unit, 28 distance calculation unit, 29 obstacle map generation unit, 30 travel control unit, 31 buffer, 51 ToF sensor, 61 likelihood calculation Unit, 62 normalization unit, 63 integration unit, 64 motion amount calculation unit, 71 lidar, 81 likelihood calculation unit, 82 normalization unit, 83 integration unit, 84 distance / motion amount calculation unit, 85 obstacle map generation unit, 101 bus, 102 CPU, 103 ROM, 104 RAM, 105 hard disk, 106 output section, 107 input section, 108 communication section, 109 drive, 110 input / output interface Interface, 111 removable recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、物体の動き量を精度良く求めることを可能とすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 尤度算出部は、画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出し、統合部は、複数の動き検出方法についての動き量尤度を統合し、複数の動き量それぞれの統合尤度を求める。本技術は、例えば、物体の動き量を求め、その動き量を用いて、自動車等を運転する運転者を支援する場合等に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、物体の動き量を精度良く求めることを可能とすることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
　例えば、自動車等の車両に搭載したカメラやミリ波レーダ等のセンサが出力するセンサデータから、車外の物体までの距離や物体の動き量を求め、その距離や動き量を用いて、車両を運転する運転者を支援するADAS(Advanced Driver Assistance System)等の技術が提案されている。
　カメラやミリ波レーダ等のセンサのセンサデータから求められる距離や動き量は、例えば、環境やセンシング対象の物体等によって精度が変化する。そこで、最近では、カメラ及びミリ波レーダ等の複数（種類）のセンサを、車両に搭載し、その複数のセンサそれぞれのセンサデータを総合的に用いて、距離や動き量を求めるフュージョンと呼ばれる技術が提案されている。
　例えば、特許文献１には、複数のセンサそれぞれについて、立体物の存在確率を、センサの出力値の真値を中心とする正規分布に基づいて算出し、その存在確率を、センサの認識率に基づいて補正し、複数のセンサそれぞれについての補正後の存在確率をフュージョンして、総合存在確率として設定する技術が提案されている。
特開2007-310741号公報
　最近では、物体の動き量を精度良く求めることを可能とする技術の提案が要請されている。
　本技術は、このような状況になされたものであり、物体の動き量を精度良く求めることを可能とすることができるようにするものである。
　本技術の情報処理装置、又は、プログラムは、画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出する尤度算出部と、前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求める統合部とを備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出することと、前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求めることとを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度が算出される。そして、前記複数の動き検出方法についての前記動き量尤度が統合され、前記複数の動き量それぞれの統合尤度が求められる。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、物体の動き量を精度良く求めることを可能とすることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。 サンプリング点を説明する図である。 走行制御装置の処理の例を説明するフローチャートである。 統合方式の効果を説明する図である。 本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。 同期部２４での同期を説明する図である。 走行制御装置の処理の例を説明するフローチャートである。 ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。 ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。 統合方式の概要を説明する図である。 統合の処理の負荷を軽減する軽減処理の概要を説明する図である。 本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。 ToFセンサ５１についての距離尤度の算出方法の例を説明する図である。 ToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。 本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。 本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。 走行制御装置の処理の例を説明するフローチャートである。 ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。 ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。 本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した走行制御装置の一実施の形態の概要＞
　図１は、本技術を適用した走行制御装置の一実施の形態の構成例の概要を示すブロック図である。
　走行制御装置は、例えば、自動車等の車両や、船舶、潜水艦、飛行機、ドローン等の移動体等に搭載され、その移動体の走行（移動）を制御する。
　なお、本実施の形態では、走行制御装置は、例えば、自動車に搭載されることとする。
　図１において、走行制御装置は、複数であるＮ個のセンサ１１1，１１2，・・・，１１N、尤度算出部１２、正規化部１３、統合部１４、距離／動き量算出部１５、及び、走行制御部１６を有する。
　走行制御装置は、その走行制御装置が搭載される自動車を運転する運転者を支援するための各種の走行制御を行う。
　センサ１１n（ｎ＝１，２，・・・，Ｎ）は、所定の測距方法の測距や、所定の動き検出方法の動き量の検出に用いられるセンサで、所定の物理量をセンシングし、そのセンシングの結果であるセンサデータを、尤度算出部１２に供給する。
　ここで、センサ１１nとしては、例えば、１眼のカメラや、ステレオカメラ等の多眼のカメラ、ミリ波レーダ等のレーダ、ToF(Time of Flight)センサ、ライダ(Lidar)、その他の測距や動き量の検出が可能な任意のセンサを採用することができる。
　また、センサ１１nとセンサ１１n'（ｎ≠ｎ’）とは、異なる種類のセンサであり、したがって、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる。
　図１の走行制御装置は、以上のような複数のセンサ１１1ないし１１N、すなわち、異なる測距方法の測距や、異なる動き検出方法での動き量の検出に用いられる複数（種類）のセンサ１１1ないし１１Nを有するので、複数（種類）の測距方法での測距や、複数（種類）の動き検出方法での動き量の検出が行われる。
　したがって、１の測距方法や動き検出方法は、１のセンサ１１nに対応する。
　なお、センサ１１1ないし１１Nは、例えば、自動車の車内の天井前方や、自動車のフロントの先端等に配置され、自動車の前方の物体までの距離や、その物体の動き量を求めるセンサデータを出力する。
　尤度算出部１２は、複数であるＮ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータ（センサ１１nが出力するセンサデータ）から、物体までの距離が複数の距離それぞれである距離尤度を算出する。
　すなわち、いま、センサ１１nのセンサデータから、△Zの精度で、0ないし△Z×Kの範囲の距離を検出することができることとする。尤度算出部１２は、物体までの距離が、複数であるK+1個の距離0，△Z，△Z×2，・・・，△Z×Kそれぞれである距離尤度を算出する。
　なお、異なるセンサ１１nとセンサ１１n'とでは、検出することができる距離の精度や範囲が異なることがあり、したがって、距離尤度が算出される複数の距離が異なることがある。
　尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、物体までの距離が複数の距離それぞれである距離尤度を算出する他、その物体の動き量が複数の動き量それぞれである動き量尤度を算出する。
　尤度算出部１２は、複数のセンサ１１1ないし１１Nそれぞれについて算出された複数の距離それぞれの距離尤度、及び、複数の動き量それぞれの動き量尤度を、正規化部１３に供給する。
　正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を正規化する。
　ここで、上述したように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される複数の距離が異なることがある。
　すなわち、いま、K≠K'、及び、△Z≠△Z'であるとして、センサ１１nについては、K+1個の距離0，△Z，△Z×2，・・・，△Z×Kの距離尤度が求められ、センサ１１n'については、K'+1個の距離0，△Z'，△Z'×2，・・・，△Z'×K'の距離尤度が求められることがある。
　以上のように、異なるセンサ１１nとセンサ１１n'とについては、距離尤度が算出される距離や、距離尤度が算出される複数の距離の、いわば粒度が異なることがある。
　そこで、正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在する複数の距離を一致させる正規化が行われる。
　正規化は、例えば、補間により、距離尤度が存在する複数の距離の数（上述のKやK'に相当する）を増加させるアップサンプリングによって行うことができる。
　正規化部１３は、尤度算出部１２からのＮ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度の正規化も、距離尤度の正規化と同様にして行う。
　そして、正規化部１３は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度及び動き量尤度を、統合部１４に供給する。
　統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合する。
　すなわち、いま、正規化後の距離尤度が存在する複数の距離のうちのある距離zを、注目する注目距離zとすると、正規化部１３での正規化後は、Ｎ個のセンサ１１1ないし１１Nのすべてについて、注目距離zの距離尤度が存在する。
　統合部１４は、Ｎ個のセンサ１１1ないし１１Nそれぞれについての注目距離zの距離尤度、すなわち、Ｎ個の距離尤度を統合し、注目距離zの統合尤度を求める。
　ここで、Ｎ個の距離尤度の統合は、例えば、ベイズ方式、すなわち、Ｎ個の距離尤度の積をとること（距離尤度が対数尤度である場合には、和をとること）によって行うことができる。
　また、Ｎ個の距離尤度の統合は、例えば、Ｎ個の距離尤度を入力として、１個の統合尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、Ｎ個の距離尤度を入力として与えることにより行うことができる。
　統合部１４は、以上のようにして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の距離それぞれの距離尤度を、複数の距離それぞれごとに統合し、複数の距離それぞれの統合尤度を求めて、距離／動き量算出部１５に供給する。
　さらに、統合部１４は、距離尤度の統合と同様にして、Ｎ個のセンサ１１1ないし１１Nそれぞれについての複数の動き量それぞれの動き量尤度を、複数の動き量それぞれごとに統合し、その結果得られる複数の動き量それぞれの統合尤度を、距離／動き量算出部１５に供給する。
　距離／動き量算出部１５は、統合部１４からの複数の距離それぞれの統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の距離それぞれの統合尤度のうちの、最大の統合尤度の距離を、物体までの距離として求め、走行制御部１６に供給する。
　また、距離／動き量算出部１５は、統合部１４からの複数の動き量それぞれの統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からの複数の動き量それぞれの統合尤度のうちの、最大の統合尤度の動き量を、物体の動き量として求め、走行制御部１６に供給する。
　走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、自動車の走行制御を行う。
　すなわち、走行制御部１６は、距離／動き量算出部１５から供給される物体までの距離や、物体の動き量を、必要に応じて用いて、例えば、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、走行制御部１６は、障害物マップを用いて、障害物の存在の警告や、ブレーキの制御等を行う。
　図２は、サンプリング点を説明する図である。
　ここで、サンプリング点とは、図１の尤度算出部１２において、距離尤度や動き量尤度が算出される位置（点）を意味する。
　また、センサ１１nは、センシングの対象である物理量としての光等の信号を受信（受光）する受信部（受光部）を有するが、本実施の形態では、図１の走行制御装置が搭載された自動車の前方を、z方向とするとともに、z方向に直交し、センサ１１nの受信部の受信部分を通る平面上の水平方向（左右方向）及び垂直方向（上下方向）を、それぞれ、x方向及びy方向とする３次元（直交）座標系によって、３次元の位置(x,y,z)、及び、２次元の位置(x,y)を表すこととする。
　例えば、センサ１１nがステレオカメラである場合、位置(x,y)は、そのステレオカメラ（を構成する２個のカメラのうちの一方のカメラ）で撮影される画像（例えば、後述する基準画像）の画素の位置を表し、位置(x,y,z)は、位置(x,y)の画素に映る物体までの距離がzであることを表す。
　位置(x,y,z)は、実空間の位置、すなわち、位置(x,y)の画素に映る物体の実空間の位置に変換することができる。
　以下、サンプリング点について、距離尤度を例に説明する。
　例えば、あるセンサ１１nが、ステレオカメラである場合には、そのステレオカメラであるセンサ１１nのセンサデータとしては、視点の異なる２枚の画像が得られる。
　この２枚の画像のうちの一方を基準画像というとともに、他方を参照画像ということとすると、基準画像の各画素については、参照画像との視差が、各値の視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの尤度を求めることができる。
　いま、基準画像のある画素を、注目する注目画素とすると、注目画素について、参照画像との視差が、視差量D1,D2,...であると仮定したときの、その視差量D1,D2,...それぞれの距離尤度は、注目画素に映る物体までの距離が、視差量D1,D2,...に対応する距離z1,z2,...であると仮定したときの、その距離z1,z2,...それぞれの距離尤度として用いることができる。
　したがって、注目画素の位置(x,y)に対して、その位置(x,y)の距離z（位置(x,y)の画素に映る物体までの距離z）が、距離z1,z2,...であるときの距離尤度を得ることができる。
　以上のように、距離尤度は、位置(x,y,z)に対して得ることができ、このように、距離尤度が得られる位置(x,y,z)が、サンプリング点である。
　例えば、あるセンサ１１nが、レーダである場合には、そのレーダであるセンサ１１nのセンサデータ（アングルレンジマップ）からは、各方向rの物体までの距離dが、距離d1,d2,...であると仮定したときの、その距離d1,d2,...それぞれの尤度を、距離尤度として求めることができる。
　レーダについて、距離尤度が得られる方向r及び距離dは、それぞれ、極座標系の偏角及距離であり、その方向r及び距離dの位置は、座標変換によって、３次元座標系の位置(x,y,z)に変換することができる。
　したがって、レーダについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
　例えば、あるセンサ１１nが、ToFセンサである場合には、ToFセンサでは、例えば、高速で照射された多数の送信パルスが、マトリクス状に配置された複数の受光部で受光される。そして、各受光部で受光された送信パルスである受信信号から、受光部の位置(x,y)の距離L（位置(x,y)の受光部で受光された受信信号に対応する送信パルスが反射された物体までの距離）が求められる。
　ToFセンサでは、所定の時間Tとしての時間フレームTの間に送信された複数の送信パルスに対して、受光部が受光する複数の受信信号それぞれから、複数の距離Lが求められる。そして、時間フレームTの間に得られた複数の距離Lの平均値等が、受光部の位置(x,y)の最終的な距離zとして求められる。
　センサ１１nが、ToFセンサである場合には、そのToFセンサであるセンサ１１nのセンサデータとして、例えば、時間フレームTの間に求められる複数の距離Lを得ることができる。
　そして、時間フレームTの複数の距離Lの分布に基づき、受光部の位置(x,y)の距離が、距離z1,z2,...であるときの距離尤度を得ることができる。
　したがって、ToFセンサについても、ステレオカメラの場合と同様に、３次元座標系の位置(x,y,z)をサンプリング点として、そのサンプリング点に対して、距離尤度を得ることができる。
　なお、異なるセンサ１１nと１１n'とでは、すなわち、例えば、ステレオカメラ、レーダ、及び、ToFセンサのうちの任意の２個のセンサでは、測距方法等の相違から、距離尤度が求められるサンプリング点の位置(x,y,z)（及び粒度）が異なることがある。
　図１の正規化部１３では、Ｎ個のセンサ１１1ないし１１Nすべてについて、距離尤度が存在するサンプリング点を一致させる正規化が、例えば、補間によりサンプリング点の数を増加させるアップサンプリングによって行われる。
　図２では、３個のセンサ１１1ないし１１3としてのステレオカメラ、レーダ、及び、ToFセンサについて、サンプリング点のx,y,z方向の粒度を、所定の△x，△y，△zにする正規化が行われている。
　以上のような正規化によって、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度のサンプリング点が一致する。
　その結果、図１の統合部１４では、異なる測距方法のステレオカメラ、レーダ、及び、ToFセンサそれぞれから得られる距離尤度を、サンプリング点の単位で統合し、サンプリング点ごとの統合尤度を求めることができる。
　以上の点、動き量尤度についても、同様である。
　なお、距離尤度については、３次元座標系の位置としてのサンプリング点(x,y,z)に対して、距離zの尤度が求められるが、動き量尤度については、x,y,z方向の動き量を、vx,vy,vzと表すこととすると、６次元（直交）座標系の位置としてのサンプリング点(x,y,z,vx,vy,vz)に対して、動き量(vx,vy,vz)の尤度が求められる。
　図３は、図１の走行制御装置の処理の例を説明するフローチャートである。
　ステップＳ１１において、Ｎ個のセンサ１１1ないし１１Nは、センシングを行い、そのセンシングの結果得られるセンサデータを、尤度算出部１２に供給して、処理は、ステップＳ１２に進む。
　ステップＳ１２では、尤度算出部１２は、Ｎ個のセンサ１１1ないし１１Nそれぞれについて、センサ１１nのセンサデータから、複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を算出する。そして、尤度算出部１２は、センサ１１1ないし１１Nそれぞれについての複数の距離zそれぞれの距離尤度、及び、複数の動き量(vx,vy,vz)それぞれの動き量尤度を、正規化部１３に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての距離尤度について、距離尤度が存在するサンプリング点(x,y,z)を揃える（一致させる）正規化を行う。
　さらに、正規化部１３は、尤度算出部１２からの複数のセンサ１１1ないし１１Nそれぞれについての動き量尤度について、動き量尤度が存在するサンプリング点(x,y,z,vx,vy,vz)を揃える正規化を行う。
　そして、正規化部１３は、複数のセンサ１１1ないし１１Nそれぞれについての正規化後の距離尤度、及び、動き量尤度を、統合部１４に供給し、処理は、ステップＳ１３からステップＳ１４に進む。
　なお、複数のセンサ１１1ないし１１Nそれぞれについての距離尤度のサンプリング点(x,y,z)を揃える正規化は、サンプリング点(x,y,z)の各方向、つまり、x方向、y方向、z方向それぞれについて、サンプリング点(x,y,z)の数が最大の距離尤度に揃えるように行うことができる。
　すなわち、例えば、いま、複数のセンサ１１1ないし１１Nとして、ステレオカメラ及びレーダの２個のセンサを採用することとすると、ステレオカメラ（のセンサデータ）から求められる距離zの解像度は、レーダから求められる距離zの解像度よりも低い。
　そのため、ステレオカメラについての距離尤度の正規化は、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えるように、ステレオカメラについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
　また、レーダについては、方向（方位）の分解能である角度分解能が低いので、３次元座標系上では、レーダのx方向及びy方向の解像度は、ステレオカメラのx方向及びy方向の解像度よりも低い。
　そのため、レーダについての距離尤度の正規化は、レーダについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向とy方向の位置及び数に、それぞれ揃えるように、レーダについての距離尤度（のサンプリング点(x,y,z)）の数が、補間により増加される。
　ここで、距離尤度の正規化は、補間以外の方法によって行うことができる。
　例えば、ステレオカメラについては、視差の検出を、画素より細かい精度で行うことで、距離zの解像度を向上させること、すなわち、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の数を増加させることができ、これにより、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数を、レーダについての距離尤度のサンプリング点(x,y,z)のz方向の位置及び数に揃えることができる。
　また、例えば、レーダについては、時間方向の超解像技術を用いることで、角度分解能を高くすること、すなわち、レーダについての距離尤度のサンプリング点(x,y,z)のx方向（及びy方向）の数を増加させることができ、これにより、レーダについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数を、ステレオカメラについての距離尤度のサンプリング点(x,y,z)のx方向の位置及び数に揃えることができる。
　なお、レーダの距離尤度のサンプリング点(x,y,z)の数の増加は、３次元座標系上ではなく、その３次元座標系に変換する前の極座標系上で行うことができる。
　さらに、サンプリング点(x,y,z)の数の増加は、上述の、画素より細かい精度での視差の検出や、時間方向の超解像技術と、補間とを組み合わせて行うことができる。
　以上の点、動き量尤度の正規化についても、同様である。
　ステップＳ１４では、統合部１４は、センサ１１1ないし１１Nそれぞれについての距離尤度を、サンプリング点(x,y,z)ごとに統合し、サンプリング点(x,y,z)ごとの距離の統合尤度を求める。さらに、統合部１４は、センサ１１1ないし１１Nそれぞれについての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を求める。
　そして、統合部１４は、距離及び動き量それぞれの統合尤度を、距離／動き量算出部１５に供給し、処理は、ステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、距離／動き量算出部１５は、統合部１４からの距離の統合尤度を用いて、物体までの距離を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z)ごとの距離の統合尤度について、各位置(x,y)に対して、距離の統合尤度が最も大きい距離zを求め、走行制御部１６に供給する。
　さらに、距離／動き量算出部１５は、統合部１４からの動き量の統合尤度を用いて、物体の動き量を求め、走行制御部１６に供給する。すなわち、距離／動き量算出部１５は、例えば、統合部１４からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度について、各位置(x,y,z)に対して、動き量の統合尤度最もが大きい動き量(vx,vy,vz)を求め、又は、各位置(x,y)に対して、動き量の統合尤度が最も大きい動き量(vx,vy,vz)及び距離zを求め、走行制御部１６に供給する。
　そして、処理は、ステップＳ１５からステップＳ１６に進み、走行制御部１６は、距離／動き量算出部１５から供給される距離zや動き量(vx,vy,vz)を、必要に応じて用いて、自動車の走行制御を行い、処理は終了する。
　なお、図３のフローチャートに従った処理は、パイプラインで繰り返し行われる。
　図４は、センサ１１1ないし１１Nそれぞれについての距離尤度や動き量尤度を統合した統合尤度を用いて、物体までの距離や物体の動き量を求める方式（以下、統合方式ともいう）の効果を説明する図である。
　図１で説明したように、センサ１１nとしては、例えば、ステレオカメラやミリ波レーダを採用することができる。
　ステレオカメラ及びミリ波レーダによれば、物体までの距離を測定すること（測距を行うこと）ができる。
　ところで、ステレオカメラでは、画像の視差を検出することで測距を行うため、暗所では、測距の精度が劣化する。さらに、ストレオカメラでは、遠距離ほど、距離の分解能（解像度）が低下し、物体のテクスチャ（図柄）によって、測距の精度が変化する。また、ステレオカメラでは、雨や、雪、逆光等の外部環境によって、測距の精度が低下する。
　一方、ミリ波レーダでは、ミリ波を送信し、そのミリ波が物体で反射された反射光を受信することで測距を行うため、トンネル等での多重反射に弱く、多重反射（マルチパス）が生じる環境では、ゴーストが発生することがある。ゴーストは、その他、測距の対象の物体の位置や姿勢によって発生することもある。さらに、ミリ波レーダでは、垂直方向の位置の測距の解像度（y方向の解像度）が低いことや、路面のような、送信されるミリ波に対して角度が浅い物体を対象とする測距が困難であることがある。また、ミリ波レーダでは、方向（方位）の分解能である角度分解能が低く、測距の対象とする物体の材質によって、測距の精度が変化する。
　したがって、ステレオカメラだけで測距を行う場合や、ミリ波レーダだけで測距を行う場合には、測距の精度が低下することが、少なからず生じる。
　ところで、ステレオカメラとミリ波レーダとのように、異なる測距方法の複数のセンサについては、測距の精度が低下するケースが異なる。
　そこで、統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度を統合し、その結果得られる統合尤度を用いることで、物体までの距離を精度良く求める。
　図４は、３個のセンサ１１1ないし１１3それぞれから得られる各距離zの距離尤度と、その３個のセンサ１１1ないし１１3それぞれについての距離尤度を統合した統合尤度との例を示している。
　図４において、P1，P2，P3は、センサ１１1ないし１１3それぞれについての距離尤度を表す。
　距離尤度Pn（ここでは、n=1,2,3）は、信頼性が低い距離で小さくなる。また、距離尤度Pnは、その距離尤度Pnが得られたセンサ１１nの測距の精度が低下するケースでは、そのセンサ１１nで測距可能な距離の範囲等の広範囲に、小さい値で分散する。
　センサ１１nの測距の精度が低下するケースとしては、例えば、センサ１１nがステレオカメラである場合には、平坦な画像として映る物体までの距離の測距が行われるケース等がある。また、例えば、センサ１１nがToFセンサである場合には、黒い物体までの距離の測距が行われるケース等が、センサ１１nの測距の精度が低下するケースに該当する。さらに、例えば、センサ１１nがレーダである場合には、マルチパスが生じる状況で測距が行われるケースが、センサ１１nの測距の精度が低下するケースに該当する。
　図４では、センサ１１1ないし１１3のうちの、センサ１１1の測距の精度が低下する状況で、測距が行われている。そのため、センサ１１1についての距離尤度は、広範囲の距離zに亘って、小さい値で分散している。
　統合方式では、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3が統合され、統合尤度Pが求められる。すなわち、例えば、センサ１１1ないし１１Nそれぞれについての距離尤度P1ないしP3の積が、統合尤度Pとして求められる。
　統合尤度Pが、距離尤度P1ないしP3の積をとることで求められる場合、測距の精度が低いセンサ１１1についての距離尤度P1、すなわち、小さい値で分散する距離尤度P1は、どの距離zの統合尤度Pにも、ほとんど影響しない（ほぼ同じだけ影響する）。
　そのため、測距の精度が低いセンサ１１1についての距離尤度P1は、各距離zの統合尤度Pの優劣に影響しないので、そのような統合尤度Pが最大の距離zを、物体までの距離として算出することで、結果として、測距の精度が低いセンサ１１1を用いずに（信頼せずに）、物体までの距離を求めること、すなわち、物体までの距離を精度良く求めることができる。
　さらに、統合方式では、環境等にロバストな測距を行うことや、単一のセンサだけを用いた測距では達成することができない解像度での測距を行うことができる。
　例えば、ステレオカメラだけで測距を行う場合には、遠距離の解像度（分解能）が低下するが、２個のセンサ１１nと１１n'として、例えば、ステレオカメラとレーダを採用する場合には、遠距離でも、距離の解像度として、高解像度を実現することができる。
　なお、以上の点、動き量尤度を統合して、統合尤度を求め、その統合尤度を用いて、動き量(vx,vy,vz)を求める場合も、同様である。
　＜本技術を適用した走行制御装置の第１の詳細構成例＞
　図５は、本技術を適用した走行制御装置の第１の詳細構成例を示すブロック図である。
　図５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、及び、バッファ３１を有する。
　ステレオカメラ２１及びミリ波レーダ２２は、図１のＮ個のセンサ１１1ないし１１Nに相当する。
　ステレオカメラ２１は、２個のカメラ２１Ｌ及び２１Ｒを有する。カメラ２１Ｌ及び２１Ｒは、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
　ミリ波レーダ２２は、ミリ波を送信する。ミリ波レーダ２２が送信するミリ波が、物体で反射し、ミリ波レーダ２２に戻ってくると、ミリ波レーダ２２は、その戻ってくるミリ波を受信する。そして、ミリ波レーダ２２は、その受信したミリ波である受信信号を、センサデータとして、伝送部２３に出力する。
　伝送部２３は、ステレオカメラ２１（のカメラ２１Ｌと２１Ｒ）、及び、ミリ波レーダ２２が出力するセンサデータに必要な処理を施し、同期部２４に伝送（供給）する。
　伝送部２３は、例えば、ステレオカメラ２１が出力する画像データに、現像処理等を施す。
　同期部２４は、異なる２個のセンサとしてのステレオカメラ２１及びミリ波レーダ２２それぞれが出力し、伝送部２３から供給されるセンサデータを同期させ、尤度算出部２５に出力する。
　尤度算出部２５は、図１の尤度算出部１２に相当する。
　尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、ステレオカメラ２１で測距可能な距離の範囲の各距離zについて算出し、正規化部２６に供給する。
　さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
　すなわち、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの物体までの距離dが、ミリ波レーダ２２で測距可能な距離の範囲の各距離であると仮定したときの、その各距離の距離尤度を求める。
　そして、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、極座標系の各方向r及び各距離d（の距離尤度）を、座標変換によって、３次元座標系の各位置(x,y,z)（の距離尤度）に変換し、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を、正規化部２６に供給する。
　正規化部２６は、図１の正規化部１３に相当する。
　正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行い、統合部２７に供給する。
　統合部２７は、図１の統合部１４に相当する。
　統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合し、距離算出部２８に供給する。
　なお、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された情報を必要に応じて用いて行うことができる。
　距離算出部２８は、図１の距離／動き量算出部１５に相当する。
　距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、物体までの距離を求める。すなわち、距離算出部２８は、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
　そして、距離算出部２８は、距離の統合尤度を用いて求めた、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給する。
　障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
　走行制御部３０は、図１の走行制御部１６に相当する。
　走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車を運転する運転者に対して障害物の存在の警告や、自動運転の制御等を行う。
　バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離z、及び、障害物マップ生成部２９から供給される障害物マップを、一時記憶する。
　バッファ３１に記憶された距離zや障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
　すなわち、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を行うときに、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いる。
　ここで、距離尤度の正規化後のサンプリング点(x,y,z)の数は、膨大な数になるため、統合部２７での統合は、負荷の高い処理になる。
　統合部２７は、統合にあたって、前回求められた距離zや障害物マップを用いることで、統合の処理の負荷を軽減する。
　例えば、統合部２７は、前回求められた障害物マップから、自動車の前方に存在する物体の形状を認識し、今回の統合時における物体の存在範囲を、図５の走行制御装置が搭載された自動車の速度から推定する。
　そして、統合部２７は、今回の統合時における物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを、距離尤度の統合の対象として、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
　一方、他のサンプリング点については、統合部２７は、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度のうちの一方を、そのまま、統合尤度として用いる。
　この場合、統合は、物体の存在範囲内の点に対応するサンプリング点(x,y,z)のみを対象として行われるので、統合の対象となるサンプリング点(x,y,z)が少なくなり、統合の処理の負荷を軽減することができる。
　また、例えば、統合部２７は、前回求められた障害物マップから、路面を認識し、その路面上の点に対応するサンプリング点(x,y,z)については、例えば、レーダのような、路面で反射された信号の受信が困難で、路面を対象とする測距の精度が低いセンサについての距離尤度を、統合の対象から除外することができる。
　この場合、統合の対象となる距離尤度の数が少なくなるので、統合の処理の負荷を軽減することができる。
　図６は、図５の同期部２４での同期を説明する図である。
　統合方式では、センサ１１1ないし１１Nとしての、例えば、ステレオカメラ２１及びミリ波レーダ２２それぞれについての距離尤度を統合し、その結果得られる統合尤度を用いて、物体までの距離等を求める。そのため、統合の対象となる距離尤度を求めるのに用いるステレオカメラ２１及びミリ波レーダ２２それぞれのセンサデータを、精度良く同期させる必要がある。
　図６は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとの同期の例を示している。
　図６において、ステレオカメラ２１（を構成するカメラ２１Ｌ及び２１Ｒ）は、例えば、図示せぬCMOS(Complemental Metal Oxide Semiconductor)のイメージセンサを有し、60Hzのフレームレートで、１フレームが400（水平）ラインの画像を撮影する。
　また、ステレオカメラ２１は、例えば、ローリングシャッタ方式で、画像を撮影するため、露光タイミングが、１フレームの各ラインで、徐々にずれている（遅いタイミングになっている）。
　一方、図６において、ミリ波レーダ２２は、例えば、1200Hzの周期で、センサデータを出力する。
　したがって、図６では、ステレオカメラ２１が出力する画像データの１フレームに対して、ミリ波レーダ２２は、1200のセンサデータを出力する。
　いま、ステレオカメラ２１が１フレームの画像を撮影するときの各ラインの露光時間を、TEと表すこととすると、ステレオカメラ２１では、イメージセンサの各ラインにおいて、露光時間TEだけ光が受光され、その光の光電変換結果が、１フレームの画像データとして出力される。
　同期部２４は、１フレームの、例えば、第１ライン（上から１番目のライン）の露光時間TEの間に、ミリ波レーダ２２が出力するセンサデータを積分（加算）し、その積分の結果と、その積分が行われた露光時間TEに露光された第１ラインを有するフレーム画像データとを同時に出力する。これにより、同期部２４は、ステレオカメラ２１が出力するセンサデータとしての画像データと、ミリ波レーダ２２が出力するセンサデータとを同期させる。
　図７は、図５の走行制御装置の処理の例を説明するフローチャートである。
　ステップＳ２１において、ステレオカメラ２１及びミリ波レーダ２２は、センシングを行う。
　すなわち、ステップＳ２１において、ステレオカメラ２１は、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
　さらに、ステップＳ２１では、ミリ波レーダ２２は、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
　伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ２１からステップＳ２２に進む。
　ステップＳ２２では、同期部２４は、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、ステレオカメラ２１のセンサデータとしての１フレームの画像データと、その１フレームの画像データに対応するミリ波レーダ２２のセンサデータとを尤度算出部２５に出力して、処理は、ステップＳ２３に進む。
　ステップＳ２３では、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
　さらに、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を、各サンプリング点(x,y,z)について算出し、正規化部２６に供給する。
　そして、処理は、ステップＳ２３からステップＳ２４に進み、正規化部２６は、尤度算出部２５からの、ステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度に対して、サンプリング点(x,y,z)を一致させる正規化を行う。
　正規化部２６は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z)の距離尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z)の距離尤度を、統合部２７に供給し、処理は、ステップＳ２４からステップＳ２５に進む。
　ステップＳ２５では、統合部２７は、正規化部２６からのステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合する。
　そして、統合部２７は、統合の結果得られるサンプリング点(x,y,z)ごとの統合尤度を、距離算出部２８に供給し、処理は、ステップＳ２５からステップＳ２６に進む。
　なお、統合部２７は、図５で説明したように、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の統合を、バッファ３１に記憶された、前回求められた距離zや障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
　ステップＳ２６では、距離算出部２８は、統合部２７からのサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求める。
　そして、距離算出部２８は、位置(x,y)ごとの距離zを、障害物マップ生成部２９、及び、バッファ３１に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
　ステップＳ２７では、バッファ３１は、距離算出部２８から供給される位置(x,y)ごとの距離zをバッファリングし（一時記憶し）、処理は、ステップＳ２８に進む。
　ここで、バッファ３１に記憶された位置(x,y)ごとの距離zは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
　ステップＳ２８では、障害物マップ生成部２９は、距離算出部２８からの距離zを用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部２９は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ２８からステップＳ２９に進む。
　ステップＳ２９では、バッファ３１は、障害物マップ生成部２９から供給される障害物マップをバッファリングし、処理は、ステップＳ３０に進む。
　ここで、バッファ３１に記憶された障害物マップは、統合部２７が、次の統合を行うときに必要に応じて用いられる。
　ステップＳ３０では、走行制御部３０は、障害物マップ生成部２９からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
　なお、図７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
　図８は、図７のステップＳ２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての距離尤度を求める処理の例を説明するフローチャートである。
　ステップＳ４１において、尤度算出部２５は、同期部２４からのステレオカメラ２１のセンサデータとしての画像データを受信（キャプチャ）し、処理は、ステップＳ４２に進む。
　ステップＳ４２では、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの補正を行い、処理は、ステップＳ４３に進む。
　ここで、ステップＳ４２での画像データの補正としては、例えば、収差の補正や、ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正等がある。
　ステレオカメラ２１とミリ波レーダ２２との水平を一致させるような画像データの補正は、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれを補正するためのキャリブレーション情報を用いて行われる。
　キャリブレーション情報は、ステレオカメラ２１及びミリ波レーダ２２を対象として行われるキャリブレーションによって、あらかじめ求められる。
　ステップＳ４３では、尤度算出部２５は、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
　すなわち、尤度算出部２５は、基準画像の各画素を、順次、注目画素に選択し、注目画素から、複数の視差それぞれだけずれた位置を中心とする参照画像のブロックと、注目画素を中心とする基準画像のブロックとのブロックマッチングを行う。
　これにより、注目画素に対し、複数の視差それぞれに対応する複数の距離zそれぞれについて、ブロックマッチングのマッチングエラー（例えば、基準画像のブロックと参照画像のブロックとの各画素の画素値の差分絶対値和等）が求められる。
　その後、処理は、ステップＳ４３からステップＳ４４に進み、尤度算出部２５は、ステレオカメラ２１のセンサデータとしての画像データの各画素（ここでは、基準画像の各画素）の各位置(x,y)と、各距離z（視差）について、位置(x,y)に映る物体までの距離が、距離zである距離尤度を、マッチングエラーを用いて求め、処理は終了する。
　ここで、位置(x,y)及び距離zに対するブロックマッチングのマッチングエラー、つまり、位置(x,y)の画素に映る物体までの距離が距離zであると仮定した場合のブロックマッチングのマッチングエラーを、cost(x,y,z)と表すこととする。
　この場合、位置(x,y)に映る物体までの距離が、距離zである距離尤度PST(x,y,z)は、例えば、式PST(x,y,z)＝exp(-cost(x,y,z))に従って求めることができる。
　図９は、図７のステップＳ２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての距離尤度を求める処理の例を説明するフローチャートである。
　ステップＳ５１において、尤度算出部２５は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ５２に進む。
　ステップＳ５２では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT(Fast Fourier Transform)を行い、処理は、ステップＳ５３に進む。
　ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのセンサデータのFFT結果の強度が、その強度の周波数に対応する距離に物体があることの確からしさを表すこととする。
　ステップＳ５３では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果の補正を行い、処理は、ステップＳ５４に進む。
　ここで、ミリ波レーダ２２のセンサデータ、すなわち、物体で反射されたミリ波は、その物体までの距離が遠いほど減衰する。そこで、尤度算出部２５は、その減衰の影響をキャンセルするために、ミリ波レーダ２２のセンサデータのFFT結果の高域の周波数成分を大にする補正を行う。
　また、尤度算出部２５は、図８で説明したキャリブレーション情報を用いて、ステレオカメラ２１及びミリ波レーダ２２の取り付け位置や姿勢のずれをキャンセルするように、ミリ波レーダ２２のセンサデータのFFT結果の補正を行う。
　ステップＳ５４では、尤度算出部２５は、ミリ波レーダ２２のセンサデータのFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）rと各距離dについて、方向rにある物体までの距離が、距離dであると仮定したときの、各距離dの距離尤度を求める。
　ここで、方向r及び距離dに対応する、ミリ波レーダ２２のセンサデータのFFT結果（の周波数成分）を、fre(r,d)と表すこととすると、方向rにある物体までの距離が、距離dである距離尤度PRは、例えば、式PR＝fre(r,d)／Σ(d)fre(r,d)に従って求めることができる。
　式PR＝fre(r,d)／Σ(d)fre(r,d)のΣ(d)fre(r,d)は、距離dを、距離尤度を求める各距離に変えてのfre(r,d)のサメーションを表す。
　その後、処理は、ステップＳ５４からステップＳ５５に進み、尤度算出部２５は、ミリ波レーダ２２についての距離尤度が得られる、（方向と距離とで規定される）極座標系の各方向r及び各距離dを、座標変換によって、３次元座標系の各位置(x,y,z)に変換することで、その３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)についての距離尤度を求め、処理は、終了する。
　ここで、ステップＳ５５での座標変換は、図８で説明したキャリブレーション情報を、必要に応じて用いて行うことができる。
　なお、ステレオカメラ２１やミリ波レーダ２２等のセンサデータから距離尤度の生成は、その他、例えば、センサデータを距離尤度に変換する変換規則を、経験則に基づいてあらかじめ設計しておき、その変換規則に従って行うことができる。
　さらに、センサデータから距離尤度の生成は、センサデータを入力として、距離尤度を出力する学習モデルの学習をあらかじめ行っておき、その学習モデルに、センサデータを入力として与えることにより行うことができる。
　以上の点、動き量尤度についても、同様である。
　また、図７のステップＳ２５において、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、サンプリング点(x,y,z)ごとに統合した後、ステップＳ２６において、その統合尤度を用いて、位置(x,y)の画素に映る物体までの距離を求める前に、統合尤度の最適化を行うことができる。
　すなわち、ステップＳ２６では、位置(x,y)ごとに、距離の統合尤度が最大の距離zが、位置(x,y)の画素に映る物体までの距離として求められるが、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合があり、この場合、どの距離zも、物体までの距離として確からしくない。
　そこで、統合尤度の最適化では、位置(x,y)の統合尤度が、すべての距離zに亘って低い場合に、位置(x,y)の周辺の位置(x',y')の統合尤度から求められた、その位置(x',y')の画素に映る物体までの距離近辺の距離が、位置(x,y)の画素に映る物体までの距離として求められやすくするために、位置(x,y)の統合尤度が補正される。
　具体的には、サンプリング点(x,y,z)のステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度を、それぞれ、p1(x,y,z)、及び、p2(x,y,z)と表すこととする。
　さらに、ある位置(x,y)の周辺の位置(x',y')の距離（位置(x',y')の画素に映る物体までの距離）が、距離z'であるときに、位置(x,y)の距離が、距離zである尤度を、p(x,y,z|z')と表すこととする。
　尤度p(x,y,z|z')は、例えば、学習や経験則等に基づいて、あらかじめ求められる。
　統合尤度の最適化は、最適化後の統合尤度を、pa(x,y,z)と表すこととすると、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')に従って行われる。
　ここで、式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π(x',y')p(x,y,z|z')において、P1(x,y,z)×P2(x,y,z)は、サンプリング点(x,y,z)の統合尤度を表す。また、Π(x',y')p(x,y,z|z')は、位置(x',y')を、位置(x,y)の周辺の位置に変えての尤度p(x,y,z|z')の積を表す。
　図１０は、統合方式の概要を説明する図である。
　統合方式では、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)と、各距離zについて、位置(x,y)に映る物体までの距離が距離zである距離尤度が、ステレオカメラ２１についての距離尤度として求められる。
　したがって、ステレオカメラ２１についての距離尤度は、３次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z)に対して存在する。この、３次元座標系の各位置(x,y,z)に対して存在する、ステレオカメラ２１についての距離尤度の集合を、以下、ステレオ尤度ボリュームともいう。
　また、統合方式では、ミリ波レーダ２２のセンシング範囲の各方向rと各距離dについて、方向rにある物体までの距離が距離dである距離尤度が求められる。
　各方向rと各距離dについて求められる距離尤度の集合は、方向rと距離dとで規定される極座標系上の点の集合であり、以下、レーダ尤度ボリュームともいう。
　統合方式では、ステレオ尤度ボリュームが正規化される。
　また、統合方式では、極座標系のレーダ尤度ボリュームが、位置(x,y,z)で規定される３次元座標系の点の集合に、座標変換され、さらに正規化される。
　ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームでは、正規化後に距離尤度が存在するサンプリング点(x,y,z)が一致する。
　いま、このように、ステレオ尤度ボリューム、及び、座標変換後のレーダ尤度ボリュームにおいて、距離尤度が存在するサンプリング点(x,y,z)が一致する場合の、そのサンプリング点(x,y,z)が存在する領域を、フュージョンドメインということとする。
　フュージョンドメインでは、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とが存在するサンプリング点(x,y,z)が一致するので、サンプリング点(x,y,z)ごとに、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合することができる。
　そこで、統合方式では、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合し、そのサンプリング点(x,y,z)ごとに得られる統合尤度を用いて、各位置（x,y,z)の画素に映る物体までの距離が求められる。
　ここで、フュージョンドメインの各サンプリング点(x,y,z)の統合尤度の集合を、統合尤度ボリュームともいう。
　図１１は、図５の統合部２７での統合において、その統合の処理の負荷を軽減する軽減処理の概要を説明する図である。
　図５や図７で説明したように、統合部２７は、統合にあたって、前回求められた位置(x,y)ごとの距離zや障害物マップを用いることで、統合の処理の負荷を軽減する軽減処理を行うことができる。
　例えば、統合部２７は、前回求められた障害物情報としての障害物マップから、ミリ波レーダ２２での距離の検出精度が高くない路面を認識する。さらに、統合部２７は、路面の領域内の点を、フュージョンドメインのサンプリング点(x,y,z)に変換するドメイン変換を行う。
　そして、統合部２７は、図１０で説明したように、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを、サンプリング点(x,y,z)ごとに統合するときに、路面の領域内のサンプリング点(x,y,z)については、ミリ波レーダ２２についての距離尤度をゲートする。
　すなわち、統合部２７は、路面の領域内のサンプリング点(x,y,z)以外のサンプリング点(x,y,z)については、ステレオカメラ２１についての距離尤度と、ミリ波レーダ２２についての距離尤度とを統合し、統合尤度を求める。
　一方、路面の領域内のサンプリング点については、統合部２７は、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する。その結果、路面の領域内のサンプリング点については、ステレオカメラ２１についての距離尤度が、そのまま、統合尤度とされる。
　路面については、ミリ波レーダ２２での距離の検出精度が高くないため、統合尤度を求めるにあたって、ミリ波レーダ２２についての距離尤度を、統合の対象から除外しても（しなくても）、統合尤度から求められる距離の精度に（ほとんど）影響しない。
　したがって、路面について、ミリ波レーダ２２についての距離尤度を、統合の対象から除外する軽減処理を行うことで、物体までの距離を精度良く求めるとともに、統合の処理の負荷を軽減することができる。
　＜本技術を適用した走行制御装置の第２の詳細構成例＞
　図１２は、本技術を適用した走行制御装置の第２の詳細構成例を示すブロック図である。
　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１２において、走行制御装置は、ステレオカメラ２１、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
　したがって、図１２の走行制御装置は、ステレオカメラ２１、及び、伝送部２３ないしバッファ３１を有する点で、図５の場合と共通する。
　但し、図１２の走行制御装置は、ミリ波レーダ２２に代えて、ToFセンサ５１が設けられている点で、図５の場合と相違する。
　したがって、図１２の走行制御装置では、ミリ波レーダ２２のセンサデータに代えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
　図１３は、図１２のToFセンサ５１についての距離尤度の算出方法の例を説明する図である。
　ToFセンサ５１は、例えば、横×縦が80×60個等のマトリクス状に配置された受光部（図示せず）を有し、高速で送信パルスを照射し、その送信パルスが物体で反射されて戻ってくる反射光を、受信パルスとして受光することで、物体までの距離を検出する。
　すなわち、図１３に示すように、送信パルスの送信時刻t0から、時間TDだけ経過して、受信パルスが受光された場合に、時刻t0から、受信パルスのパルス幅T0だけ経過した時刻をt1と表すとともに、時刻t1から、さらにパルス幅T0だけ経過した時刻をt2と表すこととする。
　また、時刻t0から時刻t1までの間、H(High)レベルになるパルスを、フェーズ１パルスというとともに、時刻t1から時刻t2までの間、Hレベルになるパルスを、フェーズ２パルスということとする。
　さらに、ToFセンサ５１の受光部で、受信パルスを受光したときの、フェーズ１パルスの期間（時刻t0から時刻t1までの間）の受光量（電荷量）を、N1と表すとともに、フェーズ２パルスの期間（時刻t1から時刻t2までの間）の受光量を、N2と表すこととする。
　ToFセンサ５１では、所定の時間Tとしての時間フレームTの間に、多数の送信パルスが送信され、その送信パルスに対する受信パルスが受光部で受光される。
　そして、ToFセンサ５１では、各受信パルスに対して、式L＝cT0N2／(2(N1+N2))に従って、距離Lが求められる。ここで、cは、光速を表す。
　ToFセンサ５１は、時間フレームTの間で送信される多数の送信パルスに対する各受信パルスについて、以上のようにして求められる複数（多数）の距離Lを、センサデータとして出力する。
　そして、図１２の尤度算出部２５は、時間フレームTの間のToFセンサ５１のセンサデータである複数の距離の分布に基づき、ToFセンサ５１の各受光部の各位置(x,y)に対する距離、すなわち、位置(x,y)の受光部で受光された受信パルスに対する送信パルスが反射された物体までの距離が、複数の距離zそれぞれである距離尤度を求める。
　以上のようにして、尤度算出部２５は、ToFセンサ５１のセンサデータから、ToFセンサ５１の受光部の各位置(x,y)及び各距離zで表される３次元座標系の各位置(x,y,z)をサンプリング点とする距離尤度を求める。
　図１４は、図１２のToF５１のセンサデータから、ToFセンサ５１についての距離尤度を求める処理の例を説明するフローチャートである。
　ステップＳ６１において、図１２の尤度算出部２５は、同期部２４から供給されるToFセンサ５１のセンサデータとしての、ToFセンサ５１の、複数であるM1個の各受光部に対して得られる時間フレームTの間の複数であるM2個の距離Lを受信（キャプチャ）し、処理は、ステップＳ６２に進む。
　ステップＳ６２では、尤度算出部２５は、ToFセンサ５１のセンサデータとしてのM2個の距離Lを必要に応じて補正し、処理は、ステップＳ６３に進む。
　ここで、ステップＳ６２でのToFセンサ５１のセンサデータの補正としては、例えば、ステレオカメラ２１及びToFセンサ５１の取り付け位置や姿勢のずれをキャンセルする補正がある。この補正は、ステレオカメラ２１及びToFセンサ５１を対象として行われるキャリブレーションによってあらかじめ求められるキャリブレーション情報を用いて行うことができる。
　ステップＳ６３において、尤度算出部２５は、M1個の各受光部の各位置(x,y)と、ToFセンサ５１のセンシング範囲の各距離zについて、位置(x,y)の受光部で受光された受信パルスを反射した物体までの距離が、距離zである距離尤度を、ToFセンサ５１のセンサデータとしての時間フレームTの間に得られたM2個の距離Lを用いて求め、処理は終了する。
　ここで、尤度算出部２５は、例えば、時間フレームTの間に得られたM2個の距離Lの分布に基づき、物体までの距離が複数の距離zそれぞれである距離尤度を求める。
　すなわち、尤度算出部２５は、例えば、M2個の距離Lの平均値及び分散を求め、その平均値及び分散で規定されるガウス分布を求める。そして、尤度算出部２５は、各距離zに対して、M2個の距離Lの平均値及び分散で規定されるガウス分布に従う値を、距離尤度として求める。
　あるいは、尤度算出部２５は、例えば、M2個の距離Lの度数分布を求め、各距離zに対して、度数分布の度数に対応する値を、距離尤度として求める。
　＜本技術を適用した走行制御装置の第３の詳細構成例＞
　図１５は、本技術を適用した走行制御装置の第３の詳細構成例を示すブロック図である。
　なお、図中、図５又は図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１５において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、障害物マップ生成部２９、走行制御部３０、バッファ３１、及び、ToFセンサ５１を有する。
　したがって、図１５の走行制御装置は、ステレオカメラ２１ないしバッファ３１を有する点で、図５の場合と共通する。
　但し、図１５の走行制御装置は、図１２のToFセンサ５１が新たに設けられている点で、図５の場合と相違する。
　図１５の走行制御装置では、ステレオカメラ２１のセンサデータ、及び、ミリ波レーダ２２のセンサデータに加えて、ToFセンサ５１のセンサデータが用いられることを除き、図７で説明した場合と同様の処理が行われる。
　したがって、図１５の走行制御装置では、ステレオカメラ２１についての距離尤度、及び、ミリ波レーダ２２についての距離尤度の他に、ToFセンサ５１についての距離尤度が統合され、統合尤度が求められる。
　＜本技術を適用した走行制御装置の第４の詳細構成例＞
　図１６は、本技術を適用した走行制御装置の第４の詳細構成例を示すブロック図である。
　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１６において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５を有する。
　したがって、図１６の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
　但し、図１６の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部６１、正規化部６２、統合部６３、動き量算出部６４、及び、障害物マップ生成部６５が、それぞれ設けられている点で、図５の場合と相違する。
　尤度算出部６１は、図１の尤度算出部１２に相当する。
　尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)、すなわち、ステレオカメラ２１のセンサデータとしての画像データの各画素の各位置(x,y)、その位置に映る物体までの距離z、及び、ステレオカメラ２１のセンサデータとしての画像を用いて行われる動き検出で検出可能な動き量の範囲の各動き量(vx,vy,vz)（走行制御装置が搭載された自動車を基準とする相対的な動き量）について算出し、正規化部６２に供給する。
　ここで、動き量尤度については、図２で説明したように、サンプリング点(x,y,z,vx,vy,vz)は、x,y,z,vx,vy,vzそれぞれを軸とする６次元（直交）座標系上の点になる。
　尤度算出部６１は、さらに、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
　すなわち、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、各方向（方位）rの各距離dの、極座標系上の位置(r,d)の動き量が、ミリ波レーダ２２で検出可能な動き量の範囲の各動き量であると仮定したときの、その各動き量の動き量尤度を求める。
　そして、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる、極座標系の各位置(r,d)及び各動き量を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換し、その６次元座標系の各位置(x,y,z,vx,vy,vz)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を、正規化部６２に供給する。
　正規化部６２は、図１の正規化部１３に相当する。
　正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を、補間等によって行い、統合部６３に供給する。
　統合部６３は、図１の統合部１４に相当する。
　統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合し、動き量算出部６４に供給する。
　なお、統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された情報を、必要に応じて用いて行うことができる。
　すなわち、図１６において、バッファ３１には、後述する動き量算出部６４で算出される動き量、及び、後述する障害物マップ生成部６５で生成される障害物マップが記憶される。
　統合部６３は、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量や、障害物マップを必要に応じて用いて行うことで、統合の処理の負荷を軽減することができる。
　具体的には、例えば、統合部６３は、バッファ３１に記憶された、前回求められた動き量や、障害物マップを用いて、動く動物体を検出し、その動物体の範囲内（又は、動物体を所定のマージンで包含する範囲内）の位置(x,y,z)を特定する。そして、統合部６３は、動物体の範囲内の位置(x,y,z)含むサンプリング点(x,y,z,vx,vy,vz)についてだけ、動き量尤度の統合を行う。さらに、統合部６３は、他のサンプリング点(x,y,z,vx,vy,vz)については、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度のうちの一方を、そのまま、統合尤度とする。
　ここで、動物体は、バッファ３１に記憶された動き量や、障害物マップを用いて検出する他、ミリ波レーダ２２のセンサデータから検出することができる。
　例えば、ミリ波レーダ２２のセンサデータが、２回のFFTを行って、物体の動き量を求めることができるセンサデータである場合、ミリ波レーダ２２のセンサデータの２回のFFT結果から、物体の動き量（例えば、z方向の動き量）を求め、その動き量に基づいて、動物体を検出することができる。
　なお、統合部６３では、図５の統合部２７と同様に、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を統合した後、統合尤度の最適化を行うことができる。
　動き量算出部６４は、図１の距離／動き量算出部１５に相当する。
　動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、物体の動き量を求める。すなわち、動き量算出部６４は、位置(x,y,z)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)を、位置(x,y,z)の動き量として求める。
　そして、動き量算出部６４は、動き量の統合尤度を用いて求めた動き量(vx,vy,vz)を、バッファ３１、及び、障害物マップ生成部６５に供給する。
　なお、動き量算出部６４では、その他、例えば、位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)及び距離zを、位置(x,y)の画素に映る物体の動き量、及び、その物体までの距離として求めることができる。
　障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給する。
　ここで、動き量を求める場合、図１の複数のセンサ１１1ないし１１Nのうちの１つとしては、画像を用いて動き量を検出するためのセンサ、すなわち、画像を撮影する画像センサが必須になる。
　画像センサとしては、図１６に示したステレオカメラ２１を採用する他、ステレオカメラ２１を構成するカメラ２１Ｌ又は２１Ｒのような、いわゆる単眼のカメラを採用することができる。
　画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が移動（走行）しているときには、z方向の位置（距離z）は、例えば、連続する２フレームの画像等の異なるタイミング（位置）で撮影された画像を用いて、ステレオカメラ２１で撮影された画像から距離（視差）を求める場合と同様にして求めることができる。
　なお、画像センサとして、単眼のカメラを採用する場合、走行制御装置が搭載された自動車が停止しているときには、z方向の位置（距離z）を求めることができない。この場合、z方向の位置については、例えば、同一の動き量尤度（z方向の位置を無視した動き量尤度）を採用することができる。
　また、画像センサとして、単眼のカメラを採用する場合には、統合方式を用いずに、動き量(vx,vy,vz)を求めることができる。この場合、x方向及びy方向の動き量vx及びvyについては、単眼のカメラで撮影された画像を用いて動き検出を行うことにより求め、z方向の動き量vzについては、ミリ波レーダ２２等のセンサデータから求めることができる。以上のように、統合方式を用いずに、動き量(vx,vy,vz)を求める場合には、単眼のカメラの画像からは、z方向の動き量vzを求めず、ミリ波レーダ２２等のセンサデータからは、x方向及びy方向の動き量vx及びvyを求めないので、統合方式を用いる場合に比較して、計算量を削減することができる。
　その他、例えば、動き量vx及びvyについては、単眼のカメラと他のセンサとを用いた統合方式で求め、動き量vzについては、ミリ波レーダ２２と他のセンサとを用いた統合方式で求めることができる。
　図１７は、図１６の走行制御装置の処理の例を説明するフローチャートである。
　ステップＳ１２１において、ステレオカメラ２１は、図７のステップＳ２１と同様に、異なる視点から画像を撮影し、その結果得られる画像データを、センサデータとして、伝送部２３に出力する。
　さらに、ステップＳ１２１では、ミリ波レーダ２２は、図７のステップＳ２１と同様に、ミリ波を送信し、そのミリ波が物体で反射して戻ってくるミリ波を受信して、センサデータとして、伝送部２３に出力する。
　伝送部２３は、ステレオカメラ２１、及び、ミリ波レーダ２２が出力するセンサデータを、同期部２４に伝送し、処理は、ステップＳ１２１からステップＳ１２２に進む。
　ステップＳ１２２では、同期部２４は、図７のステップＳ２２と同様に、伝送部２３からのステレオカメラ２１及びミリ波レーダ２２のセンサデータを同期させ、尤度算出部６１に出力して、処理は、ステップＳ１２３に進む。
　ステップＳ１２３では、尤度算出部６１は、同期部２４からのステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
　さらに、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を、各サンプリング点(x,y,z,vx,vy,vz)について算出し、正規化部６２に供給する。
　そして、処理は、ステップＳ１２３からステップＳ１２４に進み、正規化部６２は、尤度算出部６１からの、ステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度に対して、サンプリング点(x,y,z,vx,vy,vz)を一致させる正規化を行う。
　正規化部６２は、正規化後のステレオカメラ２１についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度、及び、ミリ波レーダ２２についての各サンプリング点(x,y,z,vx,vy,vz)の動き量尤度を、統合部６３に供給し、処理は、ステップＳ１２４からステップＳ１２５に進む。
　ステップＳ１２５では、統合部６３は、正規化部６２からのステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度を、サンプリング点(x,y,z,vx,vy,vz)ごとに統合する。
　そして、統合部６３は、統合の結果得られるサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を、動き量算出部６４に供給し、処理は、ステップＳ１２５からステップＳ１２６に進む。
　なお、統合部６３は、図１６で説明したように、ステレオカメラ２１についての動き量尤度、及び、ミリ波レーダ２２についての動き量尤度の統合を、バッファ３１に記憶された、前回求められた動き量(vx,vy,vz)や障害物マップを、必要に応じて用いて行うことができ、これにより、統合の処理の負荷を軽減することができる。
　また、統合部６３では、図５の統合部２７と同様に、統合の結果得られる動き量の統合尤度に対して、統合尤度の最適化を行うことができる。
　ステップＳ１２６では、動き量算出部６４は、統合部６３からのサンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度を用いて、位置(x,y,z)又は位置(x,y)ごとに、動き量の統合尤度が最大の動き量(vx,vy,vz)（及び距離z）を、位置(x,y,z)又は位置(x,y)の物体の動き量として求める。
　そして、動き量算出部６４は、動き量(vx,vy,vz)を、障害物マップ生成部６５、及び、バッファ３１に供給し、処理は、ステップＳ１２６からステップＳ１２７に進む。
　ステップＳ１２７では、バッファ３１は、動き量算出部６４から供給される動き量(vx,vy,vz)をバッファリングし（一時記憶し）、処理は、ステップＳ１２８に進む。
　ここで、バッファ３１に記憶された動き量(vx,vy,vz)は、統合部６３が、次の統合を行うときに必要に応じて用いられる。
　ステップＳ１２８では、障害物マップ生成部６５は、動き量算出部６４からの動き量(vx,vy,vz)を用いて、自動車の前方に存在する障害物に関する障害物情報としての障害物マップを生成する。そして、障害物マップ生成部６５は、障害物マップを、走行制御部３０、及び、バッファ３１に供給し、処理は、ステップＳ１２８からステップＳ１２９に進む。
　ステップＳ１２９では、バッファ３１は、障害物マップ生成部６５から供給される障害物マップをバッファリングし、処理は、ステップＳ１３０に進む。
　ここで、バッファ３１に記憶された障害物マップは、統合部６３が、次の統合を行うときに必要に応じて用いられる。
　ステップＳ１３０では、走行制御部３０は、障害物マップ生成部６５からの障害物マップを用いて、自動車の走行制御を行い、処理は終了する。
　なお、図１７のフローチャートに従った処理は、パイプラインで繰り返し行われる。
　図１８は、図１７のステップＳ１２３において、ステレオカメラ２１のセンサデータから、ステレオカメラ２１についての動き量尤度を求める処理の例を説明するフローチャートである。
　ステップＳ１４１及びＳ１４２では、図８のステップＳ４１及びＳ４２とそれぞれ同様の処理が行われる。
　ステップＳ１４３では、尤度算出部６１は、図８のステップＳ４３と同様に、ステレオカメラ２１のセンサデータであるカメラ２１Ｌ及びカメラ２１Ｒで撮影された、視点の異なる２つの画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素に対して、その画素に対応する参照画像の画素である対応点を求めるマッチングを、例えば、ブロックマッチング等によって行う。
　さらに、尤度算出部６１は、基準画像の各画素と、その画素に対して得られた参照画像の対応点との間の視差から、基準画像の各画素に映る物体までの距離を、基準画像の各画素の位置(x,y)の距離zとして求め、処理は、ステップＳ１４３からステップＳ１４４に進む。
　ステップＳ１４４では、尤度算出部６１は、ステレオカメラ２１のセンサデータとしての基準画像の各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)である動き量尤度を、例えば、基準画像の位置(x,y)の画素の動き検出を行うことにより求め、処理は終了する。
　すなわち、尤度算出部６１は、例えば、基準画像の最新のフレームを注目フレームに選択するとともに、その注目フレームの各画素を、順次、注目画素に選択する。さらに、尤度算出部６１は、注目画素から、x方向及びy方向の複数の動き量(vx,vy)それぞれだけずれた位置を中心とする、注目フレームの１フレーム前の前フレームのブロックと、注目画素を中心とする注目フレームのブロックとのブロックマッチングを行う。
　これにより、注目画素に対し、複数の動き量(vx,vy)それぞれについて、ブロックマッチングのマッチングエラーが求められる。
　また、尤度算出部６１は、注目画素から、動き量(vx,vy)それぞれだけずれた位置の前フレームの画素に対して、前フレームを注目フレームとして既に求められている距離と、注目画素に対して、直前のステップＳ１４３で求められた距離zとから、z方向の動き量vzを求める。
　以上により、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が、動き量(vx,vy,vz)であるときのマッチングエラーが求められる。
　そして、尤度算出部６１は、注目フレームの各画素の各位置(x,y)及び距離zと、各動き量(vx,vy,vz)について、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度を、マッチングエラーを用いて求める。
　すなわち、位置(x,y)及び距離zと動き量(vx,vy,vz)に対するマッチングエラーを、cost(x,y,z,vx,vy,vz)と表すこととすると、尤度算出部６１は、位置(x,y)及び距離zの物体の動き量が動き量(vx,vy,vz)である動き量尤度PST(x,y,z,vx,vy,vz)を、例えば、式PST(x,y,z,vx,vy,vz)＝exp(-cost(x,y,z,vx,vy,vz))に従って求める。
　図１９は、図１７のステップＳ１２３において、ミリ波レーダ２２のセンサデータから、ミリ波レーダ２２についての動き量尤度を求める処理の例を説明するフローチャートである。
　ステップＳ１５１において、尤度算出部６１は、同期部２４からのミリ波レーダ２２のセンサデータを受信（キャプチャ）し、処理は、ステップＳ１５２に進む。
　ステップＳ１５２では、尤度算出部６１は、ミリ波レーダ２２のセンサデータのFFTを行い、さらに、そのFFT結果のFFTを行って、処理は、ステップＳ１５３に進む。
　ここで、本実施の形態では、ミリ波レーダ２２のセンサデータは、そのFFT結果のFFT結果、すなわち、２回目のFFT結果の強度が、その強度の時刻に対応する動き量で、物体が動いていることの確からしさを表すこととする。
　なお、ミリ波レーダ２２のセンサデータのFFT結果については、図９のステップＳ５３の場合と同様の補正を行うことができる。
　ステップＳ１５３では、尤度算出部６１は、ミリ波レーダ２２のセンサデータの２回目のFFT結果から、ミリ波レーダ２２のセンシング範囲の各方向（方位）r及び各距離dと各動き量(vx,vy,vz)について、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)であると仮定したときの、各動き量(vx,vy,vz)の動き量尤度を求める。
　ここで、方向r及び距離dと動き量(vx,vy,vz)に対応する、ミリ波レーダ２２のセンサデータの２回目のFFT結果を、fft2(r,d,vx,vy,vz)と表すこととすると、方向r及び距離dにある物体の動き量が、動き量(vx,vy,vz)である動き量尤度PRは、例えば、式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)に従って求めることができる。
　式PR＝fft2(r,d,vx,vy,vz)／Σ(vx,vy,vz)fft2(r,d,vx,vy,vz)のΣ(vx,vy,vz)fft2(r,d,vx,vy,vz)は、動き量(vx,vy,vz)を、動き量尤度を求める各動き量に変えてのfft2(r,d,vx,vy,vz)のサメーションを表す。
　その後、処理は、ステップＳ１５４からステップＳ１５５に進み、尤度算出部６１は、ミリ波レーダ２２についての動き量尤度が得られる方向r及び距離dと動き量(vx,vy,vz)を、座標変換によって、６次元座標系の各位置(x,y,z,vx,vy,vz)に変換することで、その６次元座標系の各位置(x,y,z)である各サンプリング点(x,y,z,vx,vy,vz)についての動き量尤度を求め、処理は、終了する。
　なお、図１６では、画像センサとしてのステレオカメラ２１の他に、ミリ波レーダ２２を設けることとしたが、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１２に示したように、ミリ波レーダ２２に代えて、ToFセンサ５１を用いることができる。
　さらに、画像センサとしてのステレオカメラ２１以外のセンサとしては、例えば、図１５に示したように、ミリ波レーダ２２とToFセンサ５１とを用いることができる。
　＜本技術を適用した走行制御装置の第５の詳細構成例＞
　図２０は、本技術を適用した走行制御装置の第５の詳細構成例を示すブロック図である。
　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２０において、走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、バッファ３１、ToFセンサ５１、ライダ７１、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５を有する。
　したがって、図２０の走行制御装置は、ステレオカメラ２１、ミリ波レーダ２２、伝送部２３、同期部２４、走行制御部３０、及び、バッファ３１を有する点で、図５の場合と共通する。
　但し、図２０の走行制御装置は、尤度算出部２５、正規化部２６、統合部２７、距離算出部２８、及び、障害物マップ生成部２９に代えて、尤度算出部８１、正規化部８２、統合部８３、距離／動き量算出部８４、及び、障害物マップ生成部８５が、それぞれ設けられている点で、図５の場合と相違する。
　さらに、図２０の走行制御装置は、図１２のToFセンサ５１、及び、ライダ７１が新たに設けられている点で、図５の場合と相違する。
　尤度算出部８１は、図５の尤度算出部２５、及び、図１６の尤度算出部６１と同様の機能を有する。正規化部８２は、図５の正規化部２６、及び、図１６の正規化部６２と同様の機能を有する。統合部８３は、図５の統合部２７、及び、図１６の統合部６３と同様の機能を有する。距離／動き量算出部８４は、図５の距離算出部２８、及び、図１６の動き量算出部６４と同様の機能を有する。
　図２０の走行制御装置では、ステレオカメラ２１、ミリ波レーダ２２、ToFセンサ５１、及び、ライダ７１それぞれのセンサデータを対象として、図５及び図１６の走行制御装置と同様の処理が行われることで、距離／動き量算出部８４において、距離と動き量とが求められる。
　そして、障害物マップ生成部８５では、距離／動き量算出部８４で求められた距離と動き量を用いて、障害物マップが生成される。
　なお、例えば、図５の走行制御装置では、統合部２７で求められたサンプリング点(x,y,z)ごとの距離の統合尤度を用いて、位置(x,y)ごとに、距離の統合尤度が最大の距離zを、位置(x,y)の画素に映る物体までの距離として求めることとしたが、距離の統合尤度からは、物体までの距離以外の情報を求めることができる。
　すなわち、例えば、サンプリング点(x,y,z)ごとの距離の統合尤度（図１０の統合尤度ボリューム）において、(x,z)ごとに、統合尤度が最大のyを検出し、そのyがほぼ一定値の点(x,y,z)で構成される領域を、路面の領域として求めることができる。
　同様に、サンプリング点(x,y,z,vx,vy,vz)ごとの動き量の統合尤度についても、その動き量の統合尤度を用いて、動き量以外の情報を求めることができる。
　＜本技術を適用したコンピュータの説明＞
　次に、例えば、図１の尤度算出部１２や、正規化部１３、統合部１４等の各ブロックで行われる一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出する尤度算出部と、
　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求める統合部と
　を備える情報処理装置。
　＜２＞
　前記統合尤度を用いて、前記物体の動き量を求める動き量算出部をさらに備える
　＜１＞に記載の情報処理装置。
　＜３＞
　前記物体の動き量を用いて、障害物に関する障害物情報を生成する生成部をさらに備える
　＜２＞に記載の情報処理装置。
　＜４＞
　前記統合部は、前回得られた前記動き量又は前記障害物情報を用いて、前記複数の動き検出方法についての前記動き量尤度を統合する
　＜３＞に記載の情報処理装置。
　＜５＞
　前記画像を撮影するセンサであるカメラと、前記１以上の動き検出方法の動き量の検出に用いられる１以上のセンサとが出力するセンサデータを同期させる同期部をさらに備える
　＜１＞ないし＜４＞のいずれかに記載の情報処理装置。
　＜６＞
　前記１以上の動き検出方法の動き量の検出に用いられるセンサは、レーダ、ToFセンサ、及び、ライダのうちの１以上のセンサである
　＜１＞ないし＜５＞のいずれかに記載の情報処理装置。
　＜７＞
　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出することと、
　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求めることと
　を含む情報処理方法。
　＜８＞
　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出する尤度算出部と、
　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求める統合部と
　して、コンピュータを機能させるためのプログラム。
　１１1ないし１１N　センサ，　１２　尤度算出部，　１３　正規化部，　１４　統合部，　１５　距離／動き量算出部，　１６　走行制御部，　２１　ステレオカメラ，　２１Ｌ，２１Ｒ　カメラ，　２２　ミリ波レーダ，　２３　伝送部，　２４　同期部，　２５　尤度算出部，　２６　正規化部，　２７　統合部，　２８　距離算出部，　２９　障害物マップ生成部，　３０　走行制御部，　３１　バッファ，　５１　ToFセンサ，　６１　尤度算出部，　６２　正規化部，　６３　統合部，　６４　動き量算出部，　７１　ライダ，　８１　尤度算出部，　８２　正規化部，　８３　統合部，　８４　距離／動き量算出部，　８５　障害物マップ生成部，　１０１　バス，　１０２　CPU，　１０３　ROM，　１０４　RAM，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，　１１０　入出力インタフェース，　１１１　リムーバブル記録媒体

Claims (8)

  1. 　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出する尤度算出部と、
    　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求める統合部と
    　を備える情報処理装置。
  2. 　前記統合尤度を用いて、前記物体の動き量を求める動き量算出部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記物体の動き量を用いて、障害物に関する障害物情報を生成する生成部をさらに備える
    　請求項２に記載の情報処理装置。
  4. 　前記統合部は、前回得られた前記動き量又は前記障害物情報を用いて、前記複数の動き検出方法についての前記動き量尤度を統合する
    　請求項３に記載の情報処理装置。
  5. 　前記画像を撮影するセンサであるカメラと、前記１以上の動き検出方法の動き量の検出に用いられる１以上のセンサとが出力するセンサデータを同期させる同期部をさらに備える
    　請求項１に記載の情報処理装置。
  6. 　前記１以上の動き検出方法の動き量の検出に用いられるセンサは、レーダ、ToFセンサ、及び、ライダのうちの１以上のセンサである
    　請求項１に記載の情報処理装置。
  7. 　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出することと、
    　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求めることと
    　を含む情報処理方法。
  8. 　画像を用いて物体の動き量を検出する動き検出方法と、１以上の他の動き検出方法との複数の動き検出方法それぞれについて、その動き検出方法で得られる情報から、物体の動き量が複数の動き量それぞれである動き量尤度を算出する尤度算出部と、
    　前記複数の動き検出方法についての前記動き量尤度を統合し、前記複数の動き量それぞれの統合尤度を求める統合部と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2016/077434 2015-09-30 2016-09-16 情報処理装置、情報処理方法、及び、プログラム WO2017057061A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/762,604 US11543513B2 (en) 2015-09-30 2016-09-16 Information processing apparatus, information processing method and program
EP16851235.8A EP3358552A4 (en) 2015-09-30 2016-09-16 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-193365 2015-09-30
JP2015193365 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057061A1 true WO2017057061A1 (ja) 2017-04-06

Family

ID=58423672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077434 WO2017057061A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11543513B2 (ja)
EP (1) EP3358552A4 (ja)
WO (1) WO2017057061A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019151489A1 (ja) * 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
JPWO2019026438A1 (ja) * 2017-08-03 2020-06-11 株式会社小糸製作所 車両用照明システム、車両システム及び車両
JPWO2021014846A1 (ja) * 2019-07-22 2021-01-28
US11341771B2 (en) * 2017-10-18 2022-05-24 Sony Semiconductor Solutions Corporation Object identification electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092540B2 (ja) * 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
US10916014B2 (en) * 2018-06-01 2021-02-09 Ford Global Technologies, Llc Distinguishing virtual objects from one another

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343813A (ja) * 2005-06-07 2006-12-21 Nippon Telegr & Teleph Corp <Ntt> 確率分布推定方法、及び確率分布推定プログラム
JP2008234350A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 自律移動体および移動方法
JP2014153874A (ja) * 2013-02-07 2014-08-25 Denso Corp 物標認識装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3931879B2 (ja) * 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US9405006B2 (en) * 2012-09-03 2016-08-02 Toyota Jidosha Kabushiki Kaisha Collision determination device and collision determination method
SE537621C2 (sv) * 2013-09-10 2015-08-11 Scania Cv Ab Detektering av objekt genom användning av en 3D-kamera och en radar
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP6058072B2 (ja) * 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343813A (ja) * 2005-06-07 2006-12-21 Nippon Telegr & Teleph Corp <Ntt> 確率分布推定方法、及び確率分布推定プログラム
JP2008234350A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 自律移動体および移動方法
JP2014153874A (ja) * 2013-02-07 2014-08-25 Denso Corp 物標認識装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358552A4 *
TAKATOMO MORI ET AL.: "Sensor Fusion ni yoru Okunai Ido Robot no Tameno Kankyo Model Kochiku Shuho", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN C, vol. 114 -C, no. 5, 20 May 1994 (1994-05-20), pages 603 - 608 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019026438A1 (ja) * 2017-08-03 2020-06-11 株式会社小糸製作所 車両用照明システム、車両システム及び車両
JP7222892B2 (ja) 2017-08-03 2023-02-15 株式会社小糸製作所 車両用照明システム、車両システム及び車両
US11341771B2 (en) * 2017-10-18 2022-05-24 Sony Semiconductor Solutions Corporation Object identification electronic device
WO2019151489A1 (ja) * 2018-02-02 2019-08-08 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
JPWO2019151489A1 (ja) * 2018-02-02 2021-01-14 日本電気株式会社 センサ情報統合システム、センサ情報統合方法及びプログラム
US11308346B2 (en) 2018-02-02 2022-04-19 Nec Corporation Sensor information integration system, sensor information integration method, and program
JPWO2021014846A1 (ja) * 2019-07-22 2021-01-28
WO2021014846A1 (ja) * 2019-07-22 2021-01-28 日本電気株式会社 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7226553B2 (ja) 2019-07-22 2023-02-21 日本電気株式会社 情報処理装置、データ生成方法、及びプログラム

Also Published As

Publication number Publication date
EP3358552A4 (en) 2019-04-24
US20180284257A1 (en) 2018-10-04
US11543513B2 (en) 2023-01-03
EP3358552A1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
JP6881307B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2017057061A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US11061111B2 (en) Signal processing apparatus, signal processing method, and object detection system
US10341633B2 (en) Systems and methods for correcting erroneous depth information
US10436884B2 (en) Calibration of laser and vision sensors
EP3329301B1 (en) Visual inertial odometry attitude drift calibration
WO2017057058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20100148977A1 (en) Localization and detection system applying sensors and method thereof
US9230335B2 (en) Video-assisted target location
WO2018056441A1 (ja) 軸ずれ推定装置
JP2014228943A (ja) 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
JP2009014445A (ja) 測距装置
US20140286537A1 (en) Measurement device, measurement method, and computer program product
JP5698618B2 (ja) 絶対速度推定装置
WO2020173642A1 (en) System and method for compensating a motion of a vehicle component
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
US20200125111A1 (en) Moving body control apparatus
US11461928B2 (en) Location estimation apparatus
US12025751B2 (en) System and method for compensating a motion of a vehicle component
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
WO2022097372A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2013190940A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851235

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15762604

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP