WO2019138678A1 - 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム - Google Patents

情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム Download PDF

Info

Publication number
WO2019138678A1
WO2019138678A1 PCT/JP2018/041668 JP2018041668W WO2019138678A1 WO 2019138678 A1 WO2019138678 A1 WO 2019138678A1 JP 2018041668 W JP2018041668 W JP 2018041668W WO 2019138678 A1 WO2019138678 A1 WO 2019138678A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
distance information
image
information
reliability
Prior art date
Application number
PCT/JP2018/041668
Other languages
English (en)
French (fr)
Inventor
望 糟谷
小林　一彦
鈴木　雅博
小竹　大輔
誠 冨岡
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019138678A1 publication Critical patent/WO2019138678A1/ja
Priority to US16/921,977 priority Critical patent/US12008778B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an information processing apparatus, a control method and program therefor, and a driving support system for a vehicle.
  • Patent Document 1 uses a method of combining images captured from a plurality of viewpoints with distance measurement information.
  • Non-Patent Document 1 proposes a method of estimating distance information from an image captured by a single-eye camera using a CNN (Convolution Neural Network) and correcting based on time series information. There is.
  • CNN Convolution Neural Network
  • Patent Document 1 there are scenes that can not be handled by the method described in Patent Document 1. Moreover, higher accuracy than the method described in Non-Patent Document 1 has been desired.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a technique for obtaining distance information maintaining high accuracy in various scenes.
  • the information processing apparatus of the present invention has the following configuration. That is, First acquisition means for acquiring first distance information from a distance sensor; Second acquisition means for acquiring an image from the imaging device; Holding means for holding a learning model for estimating distance information from an image; Estimation means for estimating second distance information with respect to the image acquired by the second acquisition means using the learning model; And a generation unit configured to generate third distance information based on the first distance information and the second distance information.
  • FIG. 2 is a block diagram showing a module configuration of the operation control system of the first embodiment.
  • the flowchart which shows the process sequence of the operation control system of 1st Embodiment.
  • the block diagram which shows the module configuration of the operation control system of 2nd Embodiment.
  • the flowchart which shows the process sequence of the operation control system of 2nd Embodiment.
  • the block diagram which shows the module configuration of the operation control system of 3rd Embodiment.
  • the flowchart which shows the process sequence of the operation control system of 3rd Embodiment The block diagram which shows the module configuration of the operation control system of 4th Embodiment. The flowchart which shows the process sequence of the operation control system of 4th Embodiment. The block diagram which shows the module configuration of the operation control system of 5th Embodiment. The flowchart which shows the process sequence of the operation control system of 5th Embodiment.
  • First Embodiment [Summary and specific use cases]
  • distance measurement by LIDAR Light Detection and Ranging
  • distance estimation using a CNN Convolutional Neural Network
  • the distance measurement result and the distance estimation result are integrated to generate one distance information.
  • a driving control system (or driving support system) will be described which performs driving control of an automobile by recognizing the surrounding environment using the generated distance image.
  • a distance image is treated as distance information.
  • the LiDAR and the monocular camera are calibrated in advance, and the distance image acquired by the LiDAR and the distance image estimated by the CNN can be coordinate transformed with each other.
  • the method described in Non-Patent Document 2 is used.
  • the operation control system includes a distance sensor 1, an imaging device 2, a GPS (Global Positioning System) 3, an operation control unit 4, an actuator unit 5, an image display device 6, and an information processing device 10.
  • the image display device 6 includes an image display control unit 61 and an image display unit 62.
  • the information processing apparatus 10 includes a position and orientation acquisition unit 11, a surrounding environment recognition unit 12, a distance measurement device 100, and a control unit 15 that controls the entire device, and acquires and generates information necessary for operation control.
  • the control unit 15 has a CPU, a program executed by the CPU, and a memory used as a work area.
  • the distance measurement apparatus 100 includes a first distance information acquisition unit 101, an image acquisition unit 102, a learning model storage unit 103, a second distance information estimation unit 104, a reliability determination unit 105, and a third distance information generation unit 106.
  • a distance image integrating the output of the distance sensor and the distance estimation by CNN is generated.
  • a part or all of the processing units included in the information processing apparatus 10 may be realized by a computer executing a program.
  • the distance sensor 1 is connected to the first distance information acquisition unit 101 of the distance measuring device 100, measures the distance of the surrounding environment according to the request from the first distance information acquisition unit 101, and acquires the measurement result as the first distance information It supplies to the part 101.
  • the distance sensor 1 in the present embodiment is described as a LiDAR sensor, it may be, for example, a ToF (Time of Flight) sensor.
  • the imaging device 2 is connected to the image acquisition unit 102 of the distance measurement device 100, captures an image of the surrounding environment in response to a request from the image acquisition unit 102, and supplies the image to the image acquisition unit 102.
  • the imaging device is a monocular color camera, but it may be a gray camera or an infrared camera. Further, it is assumed that the shooting angle of view range of the imaging device 2 is the same as the range of distance measurement of the distance sensor 1.
  • the GPS 3 is connected to the position and orientation acquisition unit 11 of the information processing device 10, measures the current position of the vehicle according to the request of the position and orientation acquisition unit 11, and supplies the measurement result to the position and orientation acquisition unit 11.
  • the driving control unit 4 is connected to the position and orientation acquisition unit 11 of the information processing device 10 and the surrounding environment recognition unit 12, and the position and orientation of the vehicle acquired by the position and orientation acquisition unit 11 and the surrounding environment recognized by the surrounding environment recognition unit 12 And controls the operation of the automobile 1000 via the actuator unit 5.
  • the actuator unit 5 automatically or semi-automatically controls the torque and direction of the wheels of the vehicle based on the command of the operation control unit 4.
  • the screen display control unit 61 of the screen display device 6 visualizes the input and the recognition result of the surrounding environment recognition unit 12 and displays the result on the screen display unit 62.
  • the position and orientation acquisition unit 11 of the information processing device 10 acquires the self position from the GPS 3 and supplies the self position to the operation control unit 4.
  • the surrounding environment recognition unit 12 of the information processing device 10 receives the image from the image acquisition unit 102 of the distance measurement device 100 and the distance image from the third distance information generation unit 106, recognizes the surrounding environment, and Supply to.
  • the first distance information acquisition unit 101 of the distance measurement device 100 acquires a distance image from the distance sensor 1 and supplies the distance image to the reliability determination unit 105.
  • the image acquisition unit 102 periodically outputs an imaging command to the imaging device 2 to acquire a captured image, and supplies the acquired image to the second distance information estimation unit 104 and the surrounding environment recognition unit 12. Note that although it is better for the cycle of the imaging command to be earlier, it may be determined by the processing capabilities of various processing units.
  • the learning model holding unit 103 holds the learning model for the second distance information estimation unit 104 to estimate distance information from the image supplied from the image acquisition unit 102, and there is a request from the second distance information estimation unit 104. At the same time, the learning model is supplied to the second distance information estimation unit 104.
  • the learning model held by the learning model holding unit 103 is a model of CNN for deep learning described later.
  • the second distance information estimation unit 104 estimates second distance information from the image supplied from the image acquisition unit 102 using the learning model held by the learning model holding unit 103, and supplies the second distance information to the reliability determination unit 105. .
  • the reliability determination unit 105 determines the reliability for each of the first distance information supplied from the first distance information acquisition unit 101 and the second distance information supplied from the second distance information estimation unit 104. To the third distance information generation unit 106.
  • the third distance information generation unit 106 integrates the first distance information and the second distance information based on the reliability calculated by the reliability determination unit 105, generates third distance information, and recognizes the surrounding environment. Supply to section 12.
  • step S1010 the control unit 15 initializes the system. The activation of each device connected to the information processing device 10, the parameter setting, the reading of the learning model, and the reading of the calibration values of the sensor and the imaging device are performed.
  • step S1020 the control unit 15 controls the first distance information acquisition unit 101 to output an imaging command to the distance sensor 1.
  • the distance sensor 1 will perform distance sensing of the scene according to this command.
  • the first distance information acquisition unit 101 acquires information obtained by distance sensing with the distance sensor 1 as a distance image.
  • step S1030 the control unit 15 controls the image acquisition unit 102 to cause the imaging device 2 to output an imaging command.
  • the imaging device 2 captures an image of a scene in accordance with this instruction.
  • the image acquisition unit 102 acquires an image captured by the imaging device 2.
  • An image obtained by the imaging device 2 in the present embodiment is an image composed of three RGB components per pixel.
  • step S1040 the control unit 15 controls the second distance information estimation unit 104, and based on the image acquired by the image acquisition unit 102 in step S1030, the learning model held by the learning model holding unit 103 is used. Use to estimate the range image.
  • the method is not particularly limited as long as the distance image can be estimated from the image using a learning model, but for example, the method described in Non-Patent Document 1 is used. Of course, other known methods may be used.
  • step S1050 the control unit 15 controls the reliability determination unit 105 so that the first distance image acquired by the first distance information acquisition unit 101 and the second distance information estimation unit 104 are estimated. Determine the reliability of the two distance images. The reliability is determined as a real value in the range of 0 to 1 for each pixel of each image.
  • the reliability is set to a uniform parameter value, for example, 0.5, stored in advance in a storage medium (not shown).
  • the reliability of the first distance image uses a value obtained by normalizing the reflection intensity of the LiDAR laser.
  • step S1060 the control unit 15 controls the third distance information generation unit 106, and based on the reliability calculated by the reliability determination unit 105, the first distance image and the second distance are calculated. Combine the images and generate a third range image.
  • the third distance information generation unit 106 in the present embodiment generates a distance image in the coordinate system of the second distance image as the third distance image.
  • the distance value of each pixel of the third distance image is calculated for each pixel by weighted averaging with the reliabilities of corresponding pixels of the first distance image and the second distance image as weights.
  • the pixel position of the first distance image corresponding to the pixel of the second distance image is calculated by coordinate conversion using a value calibrated in advance. Thereby, the area
  • the distance of coordinates (x, y) in the first distance information is D1 (x, y), the reliability thereof is W1, and the distance of coordinates (x, y) in the second distance information is D2 (x, y).
  • y assuming that the reliability is W2 (fixed to “0.5” in the embodiment), the distance D3 (x, y) of the coordinates (x, y) in the third distance information is obtained according to the following equation good.
  • D3 (x, y) ⁇ W1 x D1 (x, y) + W2 x D2 (x, y) ⁇ / (W1 + W2)
  • step S1070 the control unit 15 controls the ambient environment recognition unit 12, and based on the image acquired by the image acquisition unit 102 and the distance image generated by the third distance information generation unit 106, the ambient environment Recognize Specifically, the surrounding environment recognition unit 12 recognizes surrounding objects and states from the captured image using deep layer learning or the like, and acquires the distance from the distance image to the object.
  • the recognition method of the surrounding environment is not limited to this, and any known method may be used as long as it uses distance information and images used for operation control.
  • step S1080 the control unit 15 controls the position and orientation acquisition unit 11, acquires the current position of the car 1000 from the GPS 3, and estimates the attitude from the transition of the position.
  • the control unit 15 controls the screen display control unit 61 to display an image based on the result processed by the surrounding environment recognition unit 12 and the position and orientation acquired and estimated by the position and orientation acquisition unit 11.
  • the screen display control unit 61 outputs the generated image to the screen display unit 62.
  • the screen display unit 62 displays an image toward the person who got on the car.
  • the third distance image is a black and white distance image
  • the reliability of the first distance information is red channel
  • the reliability of the second distance information is blue channel.
  • the third distance image is generated as a black and white distance image, the object area recognized by the surrounding environment recognition process is enclosed by a rectangle, the object type is described by characters, or the image of the object area is captured by the imaging device.
  • the environment recognition result may be visualized by describing the rectangle, the object type label, and the distance to the object.
  • the position and the orientation of the vehicle are displayed on the map, and the objects or the like recognized in the surrounding environment recognition processing are displayed as points or rectangles to display the surrounding environment recognition result as a bird's eye view You may Further, the image generation method is not limited to the above, and any method may be used as long as the recognition result and the position and orientation of the automobile 1000 are known.
  • control unit 15 controls operation control unit 4, and based on the result processed by ambient environment recognition unit 12 and the position and orientation acquired and estimated by position and orientation acquisition unit 11, actuator unit 5 Control the car 1000 through.
  • step S1110 the control unit 15 determines whether to end the system. If the user has reached the destination, or if an end command has been input from the user via an input unit (not shown), the process ends. If not, the process returns to step S1020 and continues.
  • the distance image is estimated using the learning model for the input image, and integrated with the distance of the distance sensor (LiDAR) to obtain only the distance sensor or a plurality of viewpoints.
  • the distance can be obtained even in environments and parts where distance can not be obtained by distance measurement only by simply combining them or simply combining them, and driving control of the vehicle becomes possible in more various environments.
  • the reliability of the first distance image is a value obtained by normalizing the reflection intensity of the laser for each pixel, but the method of determining the reliability of the distance image is not limited to this.
  • the reliability of the pixel for which the distance value could not be acquired may be set to 0, and the value set in advance for the acquired pixel may be uniformly set to, for example, 0.5.
  • the reliability may be determined based on the range of the effective distance of the distance sensor. For example, 1 within the effective range, 0 outside the effective range, and 0 near the effective range boundary are interpolated with spline curves or straight lines set in advance. It is also good. This makes it possible to cope with the case where there is no object in the vicinity or the case where the distance to the object is too close to measure.
  • the reliability of the second distance image is not limited to the method of uniformly setting the previously set values as described in the first embodiment, and the likelihood of distance estimation by CNN is set to 0 to 1
  • the reliability of each pixel may be normalized.
  • the reliability of the first and second distances may be determined based on the continuity with the nearby region.
  • the reciprocal of the frequency may be normalized to 0 to 1, or the gradient may be obtained from the neighborhood and the reciprocal of the difference with the distance value predicted from the gradient may be normalized.
  • the degree of reliability may be obtained not in each pixel but in an area divided into grids or an input image divided into areas and held for each area.
  • the reliability for each area an average value or a median of the reliability calculated for each pixel may be used.
  • the reliability referred to at the time of integration uses the reliability of the area including the pixel.
  • the distance value of the third distance image is calculated by weighted averaging with the reliability weighted for each pixel, but the third distance image generation method is As long as the first and second distance information are integrated based on the reliability, it is not limited to this. A higher reliability value may be adopted for each pixel, or a weighted average may be taken after removing a distance value having a reliability lower than a preset threshold value.
  • noise removal processing such as smoothing processing may be performed after the first distance information and the second distance information are integrated to generate the third distance information.
  • the third distance image is generated in the coordinate system of the second distance image, but may be generated in the coordinate system of the first distance image, or generated in another coordinate system. You may.
  • LiDAR is used as the distance sensor, but the distance sensor is not limited to LiDAR, and a passive stereo system with a plurality of cameras may be used. It may be a stereo system.
  • the similarity in stereo matching may be normalized to be the reliability.
  • coordinate transformation of the first distance information and the second distance information is realized using information calibrated in advance.
  • the alignment method is not limited to this, and optimization calculation may be performed and alignment may be performed so that the distance information matches most, or optimization calculation may be performed so that the boundary parts match. Good.
  • the alignment of the distance information may be performed only at the first time or every time, may be performed only when a shift is detected, or may be performed at preset intervals.
  • third distance information is generated by integrating the distance information acquired by the distance sensor and the distance information estimated using CNN on the image captured by the imaging device. Then, the third distance information was used for driving control of the car.
  • it may be used for depth determination at the time of image composition such as AR (Augmented Reality), or may be used for self-position and posture estimation of a mobile robot, and HMD (Head Mounted Display) and self-position and posture estimation of a mobile terminal. . It may be used to control a robot cleaning a room, a drone flying in the air, an apparatus moving in water, and the like.
  • the information processing device and the operation control system in the second embodiment are estimated using CNN from the distance information acquired from the distance sensor (LiDAR) and one imaging device (camera), as in the first embodiment.
  • the distance information is integrated to generate third distance information, and the driving control of the vehicle is performed based on the generated distance information.
  • the distance information acquired by the distance sensor and the distance information are directly integrated from the image captured by the imaging device using the CNN, but in the second embodiment, the non-patent document 1 describes As described above, it is characterized by using map information constructed using SLAM (Simultaneous Localization and Mapping) technology that simultaneously performs self-localization estimation and environmental mapping.
  • SLAM Simultaneous Localization and Mapping
  • FIG. 4 is a block diagram showing a module configuration of the information processing apparatus 10 and the operation control system in the second embodiment.
  • the same reference numerals as in the first embodiment denote the same parts, and a description thereof will be omitted.
  • a position and orientation calculation unit 207, a three-dimensional map updating unit 208, and a three-dimensional map holding unit 209 are added to the configuration of the first embodiment.
  • the image acquisition unit 102 supplies the image acquired from the imaging device 2 to the position and orientation calculation unit 207 in addition to the second distance information estimation unit 104 and the surrounding environment recognition unit 12.
  • the second distance information estimation unit 104 is disconnected from the reliability determination unit 105 and is newly connected to the three-dimensional map update unit 208.
  • the reliability determination unit 105 is disconnected from the second distance information estimation unit 104 and connected to the three-dimensional map storage unit 209.
  • the position and orientation calculation unit 207 calculates, based on the three-dimensional map held by the three-dimensional map holding unit 209, the position and orientation of the imaging device 2 that has captured the image supplied from the image acquisition unit 102. Supply information to 208.
  • the three-dimensional map updating unit 208 updates the three-dimensional map held by the three-dimensional map holding unit 209 based on the processing results of the position and orientation estimation unit 207 and the second distance information estimation unit 104.
  • the three-dimensional map holding unit 209 holds a set of key frames as a three-dimensional map, with the set of position and orientation and distance images as key frames.
  • the form of the three-dimensional map is not limited to this, and may be a set of three-dimensional point groups such as a point cloud, or any form of distance information used in the SLAM technique.
  • the reliability determination unit 105 determines the reliability of the first distance information supplied from the first distance information acquisition unit 101 and the three-dimensional map held by the three-dimensional map holding unit 209.
  • the position and orientation acquisition unit 11 acquires the position and orientation of the imaging device 2 calculated by the position and orientation calculation unit 207, converts it into the position and orientation of the automobile 1000 using parameters calibrated in advance, and supplies it to the operation control unit. Do. As in the first embodiment, a GPS may be provided, acquired by the position and orientation acquisition unit 11, and supplied to the operation control unit 4.
  • FIG. 5 is a flowchart showing the processing procedure of the operation control system in the second embodiment.
  • the same processing as that of the first embodiment (FIG. 3) is described with the same step number, and the description of the same processing is omitted.
  • the processes from step S1030 to step S2045 are processes of the position and orientation calculation method of the imaging device described in Non-Patent Document 1.
  • the three-dimensional map in the present embodiment is a set of key frames in which a set of position and orientation and distance images is a key frame.
  • step S2035 the control unit 15 controls the position and orientation calculation unit 207 to capture an image obtained in step S1030 based on the three-dimensional map held by the three-dimensional map holding unit 209. Calculate the position and orientation of 1. If a three-dimensional map does not exist in the first process, the position of the imaging device is set as the origin.
  • step S2036 the control unit 15 determines whether to add the current frame as a key frame to the three-dimensional map. An additional process is performed when the change from the position of the key frame held by the three-dimensional map holding unit 209 is large. If the current frame is to be added as a key frame, the process proceeds to step S2040. If not added, the process proceeds to step S2045.
  • step S2040 the control unit 15 controls the second distance information estimation unit 104, and based on the image acquired by the image acquisition unit 102 in step S1030, the learning model held by the learning model holding unit 103 is used. Use to estimate the range image.
  • step S2045 the control unit 15 controls the three-dimensional map update unit 208 to update the three-dimensional map based on the position and orientation calculation result at step S2035 or the second distance information estimation result at step S2040. Do.
  • a specific updating method is as described in Non-Patent Document 1.
  • step S2050 the control unit 16 controls the reliability determination unit 105 as in the first embodiment, and the first distance image acquired by the first distance information acquisition unit 101 in step S1020.
  • the reliability of the three-dimensional map held by the three-dimensional map holding unit 209 is determined.
  • the reliability of the three-dimensional map is calculated with respect to the generated distance image by generating a distance image in the current frame from the three-dimensional map held by the three-dimensional map holding unit 208.
  • the reliability the value of the uncertainty map described in Non-Patent Document 1 is used.
  • the reliability of the three-dimensional map is not limited to this method, and may be the method described in the first embodiment or the method described in the modification of the first embodiment.
  • the distance information acquired by the distance sensor and the three-dimensional map generated by the CNN-SLAM method described in Non-Patent Document 1 are integrated to further enhance reliability. Generate high degree distance information.
  • CNN-SLAM the result of distance estimation by CNN can be refined in time series, and more accurate three-dimensional information can be acquired. Further, by estimating the position and orientation of the imaging device from the image, it is possible to obtain the position and orientation with higher accuracy than acquiring the position and orientation using GPS. Since the three-dimensional information and the position and orientation become highly accurate, more stable operation control of the vehicle becomes possible.
  • the information processing device and operation control system described in the third embodiment integrate the distance measurement result by the distance sensor and the three-dimensional map information estimated by CNN-SLAM into the position and orientation estimation of the imaging device in CNN-SLAM.
  • the third distance information generated is used.
  • FIG. 6 is a block diagram showing a module configuration of the information processing apparatus 10 and the operation control system in the third embodiment.
  • the same reference numerals as in the first embodiment (FIG. 2) and the second embodiment (FIG. 4) denote the same components.
  • the difference from the second embodiment is that the input of the position and orientation calculation unit 207 is not the three-dimensional map held by the three-dimensional map holding unit 209 but the three-dimensional information generated by the third distance information generation unit 106. is there.
  • FIG. 7 is a flowchart showing the processing procedure of the operation control system in the third embodiment.
  • the same steps as those in the first embodiment (FIG. 3) and the second embodiment (FIG. 5) are assigned the same step numbers, and the description of the processes is omitted.
  • step S3031 the control unit 15 controls the reliability determination unit 105 as in step S2050 of the second embodiment, and the first distance information acquisition unit 101 acquires the first in step S1020.
  • the reliability of the distance image and the three-dimensional map held by the three-dimensional map holding unit 209 is determined.
  • the reliability determined here may be used for updating the uncertainty map described in Non-Patent Document 1. Thereby, the uncertainty of the distance value acquired from the three-dimensional sensor can be set low, and the accuracy can be further improved.
  • step S3032 the control unit 15 controls the third distance information generation unit 106 as in step S1060 of the first embodiment, and the first distance information is calculated based on the reliability calculated in step S3031. And the distance image generated from the three-dimensional map are integrated to generate a third distance image.
  • step S3035 the control unit 15 controls the position and orientation calculation unit 207 to pick up the image acquired in step S1030 based on the third distance image generated in step S3032. Calculate the position and orientation.
  • the specific method of calculation is the same as step S2035 in the second embodiment.
  • the three-dimensional map is held by the method described in Non-Patent Document 1 to perform position and orientation estimation, but the present invention is not limited to this. Any method may be used as long as it is a method of estimating the position and orientation of the imaging device 1 using third distance information generated by integrating the first distance information and the second distance information.
  • the method described in Non-Patent Document 3 may be used.
  • the position and orientation of the imaging device 2 calculated by the position and orientation calculation unit and the third distance information generated by the third distance information generation unit 106 are used for recognition of the surrounding environment and operation control of the vehicle.
  • the configuration of the distance measuring device 100 may be used for self position and orientation estimation of a mobile robot equipped with a distance sensor and a monocular camera, and self position and orientation estimation of an HMD and a mobile terminal.
  • the information processing device and the operation control system in the fourth embodiment simultaneously perform distance estimation and semantic area division on an image captured by the imaging device 2 and determine the reliability for each semantic region.
  • the second distance information estimation and semantic domain division may be performed simultaneously using the same learning model.
  • FIG. 8 is a block diagram showing a module configuration of the information processing apparatus 10 and the operation control system in the fourth embodiment.
  • the same reference numerals as in the first embodiment (FIG. 2) denote the same components.
  • the fourth embodiment differs in that a semantic area dividing unit 410 is added.
  • the semantic area dividing unit 410 divides the image acquired by the image acquiring unit 102 into semantic areas using the model held by the learning model holding unit 103, and the information indicating the divided areas and their meanings is determined by the reliability determination unit 105.
  • the semantic area division is a method of dividing an image into areas for each object, and classifying objects according to the divided areas.
  • the semantic area referred to here is a division by the semantic area division method. It is an area with a meaning (label).
  • the labels are classified as wall surfaces, upright objects, floor surfaces (roads), mountains, sky, trees, small objects, and the like.
  • the reliability determination unit 105 determines the reliability of the first distance information and the second distance information based on the supplied semantic area.
  • FIG. 9 is a flow chart showing the processing procedure of the operation control system in the fourth embodiment.
  • the same reference numerals as in the first embodiment denote the same processes.
  • the difference from the first embodiment is that the process of semantic area division is added as step S4041 between step S1040 and step S1050, and the reliability determination process of step S1050 in FIG. 3 is performed as step S4042. It is the point that it became "determination of the degree of confidence for each meaning".
  • step S4041 the control unit 15 controls the semantic area division portion 410 to divide the image acquired in step S1030 into semantic areas.
  • control unit 15 controls reliability determination unit 105, and the first distance image acquired by first distance information acquisition unit 101 at step S1020 and the second distance information estimation unit 104 at step S1040 are estimated.
  • the reliability of the second distance image is determined for each area divided in step S4041. For example, in the case of a wall surface or an area of an upright object that can be accurately measured facing the distance sensor, the reliability of the first distance image is 1 and the reliability of the second distance image is 0.5. For roads and floor areas that tend to be shallow angles with respect to the optical axis of the distance sensor, the reliability of the first distance information is 0.3, and the reliability of the second distance image is 0.5.
  • the reliability of the first distance image is 0.8
  • the reliability of the second distance image is 0.2
  • the reliability of the first distance information is 0.2
  • the reliability of the second distance information is 0.8.
  • the label of the semantic area and the determination method of the reliability based thereon are not limited to this, and any method may be used as long as the semantic area is divided from the image and the reliability is determined accordingly.
  • the image is divided into meaningful regions, the reliability is determined for each of the meaningful regions, and the distance information acquired by the distance sensor and the distance information estimated using the CNN And generate distance information.
  • the distance information acquired by the distance sensor and the distance information estimated using the CNN And generate distance information.
  • the image is divided into semantic areas by CNN using a learning model, but if it can be divided into semantic areas, it is not limited to that by CNN, for example, non-patent document A known area division method or recognition method such as 4 may be used.
  • the information processing device and the operation control system in the fifth embodiment do not generate the third distance information, but update the first or second distance information when integrating the first and second distance information, and An example in which the updated distance information is used as the third distance information will be described.
  • FIG. 10 is a block diagram showing a module configuration of the information processing apparatus 10 and the operation control system in the fifth embodiment.
  • the same reference numerals as in the first embodiment (FIG. 2) denote the same components.
  • the difference between the fifth embodiment and the first embodiment is that the third distance information generation unit 106 is replaced with the distance information update unit 506.
  • the distance information update unit 506 determines the first distance information acquired by the first distance information acquisition unit 101, the second distance information estimated by the second distance information estimation unit 104, and the reliability determined by the reliability determination unit 105.
  • the second distance information is updated based on the first distance information and the reliability.
  • FIG. 11 is a flowchart showing the processing procedure of the operation control system in the fifth embodiment.
  • the same reference numerals as in the first embodiment (FIG. 3) denote the same processes.
  • the difference from the first embodiment is that “distance information update” in step S5010 is performed instead of step S1060.
  • step S5010 the distance information updating unit 506 projects the first distance information acquired in step S1020 onto the second distance information acquired in step S1040. Then, the distance information updating unit 506 uses the pixel value (distance) of the second distance information as the pixel value of the first distance information for the pixels whose reliability of the first distance information is equal to or greater than a predetermined threshold. replace.
  • the distance information updating unit 506 supplies the updated second distance information to the surrounding environment recognition unit 12 as third distance information. In addition, you may update to the value of the weighted average which made the weight the reliability. Alternatively, the second distance information may be projected onto the first distance information, and the first distance information may be updated using the reliability.
  • the first distance information is updated when the first and second distance information are integrated without generating the third distance information. This can reduce the memory area for calculation.
  • the distance information acquired by the distance sensor and the distance information estimated using the CNN from the image captured by the monocular camera are integrated to generate the third distance information.
  • the distance can be measured even in an environment and part where the distance can not be obtained only by the sensor.
  • the second embodiment by executing SLAM using distance information estimated using CNN from an image captured by a single-eye camera, it is possible to improve the accuracy of distance information using time-series information, As compared with the first embodiment, distance measurement with higher accuracy is possible.
  • the position and orientation estimation accuracy and the three-dimensional map to be constructed are integrated by integrating the distance information acquired by the distance sensor and the three-dimensional map constructed by SLAM and using it for the position and orientation estimation of the imaging device. Become more accurate.
  • an image captured by an imaging device is divided into semantic areas, and integration weight is determined for each area, thereby enabling integration that takes into consideration the merits and weaknesses of the measurement method for each semantic area. become.
  • the memory area for calculation can be reduced by updating one of the first and second distance information using the other instead of newly creating the third distance information.
  • the distance information in the present invention is information including distance information such as distance images, distance point groups, and three-dimensional point groups.
  • the distance sensor may be any device capable of measuring distance, such as laser ranging measurement such as LiDAR, passive stereo, active stereo, and the like.
  • the learning model is a model for estimating distance information from a monocular image learned by deep learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明は、さまざまなシーンにおいて高い精度を維持した距離情報を得ることが可能になる。このため、距離センサから距離情報を取得する第１の取得部と、撮像装置から画像を取得する第２の取得部と、画像から距離情報を推定するための学習モデルを保持する保持部と、学習モデルを用いて、第２の取得部で取得した画像に対する第２の距離情報を推定する推定部と、第１の距離情報と第２の距離情報に基づいて第３の距離情報を生成する生成部とを有する。

Description

情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
　本発明は、情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システムに関するものである。
　従来から、複数の視点で撮像した画像を用いて距離情報を計測する技術が知られている。この技術では、複数の画像間の局所領域同士の類似度を算出し、類似度が最大となる領域を探索することで、距離計測を行っている。しかし、対象のテクスチャがない場合や対象が周期的な模様の場合に正しい距離の算出が困難である。
　この問題を解決するために、特許文献１では複数の視点から撮像した画像と、距離計測情報を組み合わせる手法が用いられている。
　また、距離を計測する方法として、非特許文献１では単眼カメラで撮像した画像から、ＣＮＮ(Convolution Neural Network)を用いて距離情報を推定し、時系列情報に基づいて補正する方法を提案している。
特開２０１５－４９２００号公報
K. Tateno, F. Tombari, I. Laina and N. Navab, "CNN-SLAM: Real-time dense monocular SLAM witｈ learned deptｈ prediction", IEEE Computer Societｙ Conference on Computer Vision and Pattern Recognition (CVPR), 2017 J. Levinson and S. Thrun, "Automatic Online Calibration of Cameras and Lasers," Robotics Science and Systems, 2013. C. Kerl, J. Sturm and D. Cremers, "Dense Visual SLAM for RGB-D Cameras，" Proc. of the Int. Conf. on Intelligent Robot Systems (IROS), 2013. P. Krahenbuhl, V.Koltun,"Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials," Neural Information Processing Systems 2011.
　しかしながら、特許文献１に記載の方法では対応できないシーンが存在する。また、非特許文献１に記載の方法より高い精度が望まれていた。
　本発明はこのような事情を鑑みてなされたもので、さまざまなシーンにおいて高い精度を維持した距離情報を得る技術を提供しようとするものである。
　この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
　距離センサから第１の距離情報の取得する第１の取得手段と、
　撮像装置から画像を取得する第２の取得手段と、
　画像から距離情報を推定するための学習モデルを保持する保持手段と、
　前記学習モデルを用いて、前記第２の取得手段で取得した画像に対する第２の距離情報を推定する推定手段と、
　前記第１の距離情報と前記第２の距離情報に基づいて第３の距離情報を生成する生成手段とを備える。
　本発明によれば、さまざまなシーンにおいて高い精度を維持した距離情報を得る技術を提供しようとするものである。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
第１の実施形態の運転制御システムの構成を示す構成図。 第１の実施形態の運転制御システムのモジュール構成を示すブロック図。 第１の実施形態の運転制御システムの処理手順を示すフローチャート。 第２の実施形態の運転制御システムのモジュール構成を示すブロック図。 第２の実施形態の運転制御システムの処理手順を示すフローチャート。 第３の実施形態の運転制御システムのモジュール構成を示すブロック図。 第３の実施形態の運転制御システムの処理手順を示すフローチャート。 第４の実施形態の運転制御システムのモジュール構成を示すブロック図。 第４の実施形態の運転制御システムの処理手順を示すフローチャート。 第５の実施形態の運転制御システムのモジュール構成を示すブロック図。 第５の実施形態の運転制御システムの処理手順を示すフローチャート。
　以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
　［第１の実施形態］
　［概要及び具体的なユースケース］
　第１の実施形態では、ＬＩＤＡＲ（Light Detection and Ranging;光による検知と測距）による距離計測と、単眼のカラーカメラで撮影した画像からＣＮＮ（Convolutional Neural Network）を用いた距離推定とを行い、距離計測結果と距離推定結果とを統合してひとつの距離情報を生成する。生成した距離画像を用いて周囲環境認識を行い、自動車の運転制御を行う運転制御システム（又は運転支援システム）について説明する。雨や雪といった天候、あるいは周囲に物体がない場合や、物体との距離が近すぎる場合など、ＬｉＤＡＲで距離計測が困難な状況においても、単眼カメラの画像からＣＮＮを用いて距離推定を行ったものと統合することで距離を取得でき、安定した自動車の運転制御が実現できる。また、環境にテクスチャが少ない場合や、周期的な模様があるような場合などの複数視点による距離計測が困難な状況においても同様に距離を取得でき、安定した自動車の運転制御が実現できる。
　なお、本実施形態では、距離情報として距離画像を扱う。ＬｉＤＡＲと単眼カメラは事前に校正済みであり、ＬｉＤＡＲによって取得した距離画像と、ＣＮＮで推定した距離画像は互いに座標変換が可能である。なお、校正については、例えば、非特許文献２に記載の方法を用いるものとする。
　[構成の説明]
　図１のシステム構成図、及び、図２のブロック図により、本実施形態の情報処理装置１０を備える自動車１０００の運転制御システムの構成例を示す。
　運転制御システムは、距離センサ１、撮像装置２、ＧＰＳ（Global Positioning System）３、運転制御部４、アクチュエータ部５、画像表示装置６、情報処理装置１０、を備える。画像表示装置６は、画像表示制御部６１と画像表示部６２からなる。情報処理装置１０は、位置姿勢取得部１１、周囲環境認識部１２、距離計測装置１００、並びに、装置全体の制御を司る制御部１５を備え、運転制御に必要な情報を取得及び生成する。制御部１５はＣＰＵ及びＣＰＵが実行するプログラム及びワークエリアとして使用されるメモリを有する。距離計測装置１００は、第一距離情報取得部１０１、画像取得部１０２、学習モデル保持部１０３、第二距離情報推定部１０４、信頼度決定部１０５、第三距離情報生成部１０６を備えて、距離センサの出力と、ＣＮＮによる距離推定を統合した距離画像を生成する。なお、情報処理装置１０が有する各処理部の一部もしくは全部は、コンピュータがプログラムを実行することで実現しても構わない。
　[構成の詳細説明]
　距離センサ１は距離計測装置１００の第一距離情報取得部１０１に接続され、第一距離情報取得部１０１からの要求に応じて周囲環境の距離計測を行い、その計測結果を第一距離情報取得部１０１に供給する。本実施形態における距離センサ１は、ＬｉＤＡＲセンサとして説明するが、例えばＴｏＦ(Time of Flight)センサでも良い。
　撮像装置２は距離計測装置１００の画像取得部１０２に接続され、画像取得部１０２からの要求に応じて周囲環境の画像を撮像し、画像取得部１０２に供給する。本実施形態では撮像装置は、単眼のカラーカメラであるが、グレーカメラでも赤外線カメラであってもよい。また、撮像装置２の撮影画角範囲は、距離センサ１の距離計測の範囲と同じであるものとする。
　ＧＰＳ３は情報処置装置１０の位置姿勢取得部１１に接続され、位置姿勢取得部１１の要求に応じて現在の車両の位置を計測し、その計測結果を位置姿勢取得部１１に供給する。
　運転制御部４は、情報処置装置１０の位置姿勢取得部１１と周囲環境認識部１２に接続され、位置姿勢取得部１１が取得した車両の位置姿勢と、周囲環境認識部１２が認識した周囲環境に基づいて、アクチュエータ部５を介して自動車１０００の運転を制御する。
　アクチュエータ部５は、運転制御部４の命令に基づいて、自動車の車輪のトルク及び方向を自動的あるいは半自動的に制御する。
　画面表示装置６の画面表示制御部６１は、周囲環境認識部１２の入力及び認識結果を可視化し、画面表示部６２に表示する。
　情報処置装置１０の位置姿勢取得部１１は、ＧＰＳ３から自己位置を取得し、運転制御部４へ供給する。情報処置装置１０の周囲環境認識部１２は、距離計測装置１００の画像取得部１０２からの画像、及び、第三距離情報生成部１０６から距離画像を受け取り、周囲環境を認識し、運転制御部４へ供給する。
　距離計測装置１００の第一距離情報取得部１０１は距離センサ１から距離画像を取得し、信頼度決定部１０５に供給する。画像取得部１０２は、定期的に撮像装置２に撮像命令を出力することで撮像画像を取得し、取得した画像を第二距離情報推定部１０４、及び、周囲環境認識部１２へ供給する。なお、撮像命令の周期は早いほど良いが、各種処理部の処理能力により決定すればよい。
　学習モデル保持部１０３は、第二距離情報推定部１０４が画像取得部１０２から供給された画像から距離情報を推定するための学習モデルを保持し、第二距離情報推定部１０４からの要求があった際に、学習モデルを第二距離情報推定部１０４へ供給する。学習モデル保持部１０３が保持する学習モデルは、後述する深層学習のためのＣＮＮのモデルである。第二距離情報推定部１０４は、画像取得部１０２から供給された画像から、学習モデル保持部１０３が保持する学習モデルを用いて第二の距離情報を推定し、信頼度決定部１０５へ供給する。
　信頼度決定部１０５は、第一距離情報取得部１０１から供給された第一の距離情報と、第二距離情報推定部１０４から供給された第二の距離情報それぞれに対して、信頼度を決定し、第三距離情報生成部１０６へ供給する。
　第三距離情報生成部１０６は、第一の距離情報と第二の距離情報を、信頼度決定部１０５で算出した信頼度に基づいて統合し、第三の距離情報を生成し、周囲環境認識部１２へ供給する。
　[処理手順のフローチャートの説明]
　次に以上のような構成を備えた第１の実施形態における情報処理装置１０及び運転制御システムの処理手順について図３のフローチャートを用いて説明する。
　・初期化処理
　ステップＳ１０１０にて、制御部１５はシステムの初期化を行う。情報処置装置１０に接続された各機器の起動や、パラメータ設定、学習モデルの読み込み、センサ及び撮像装置のキャリブレーション値の読み込みを行う。
　・第一距離情報取得
　ステップＳ１０２０にて、制御部１５は第一距離情報取得部１０１を制御し、距離センサ１への撮像命令を出力させる。距離センサ１はこの命令に従ってシーンの距離センシングを行うことになる。第一距離情報取得部１０１は距離センサ１で距離センシングして得た情報を距離画像として取得する。
　・画像取得
　ステップＳ１０３０にて、制御部１５は画像取得部１０２を制御し、撮像装置２に撮像命令を出力させる。撮像装置２はこの命令に従ってシーンの画像を撮像する。画像取得部１０２は、撮像装置２が撮像した画像を取得する。本実施形態における撮像装置２により得られる画像は１画素につきＲＧＢの３成分で構成される画像とする。
　・第二距離情報推定
　ステップＳ１０４０にて、制御部１５は第二距離情報推定部１０４を制御し、ステップＳ１０３０で画像取得部１０２が取得した画像から、学習モデル保持部１０３の保持する学習モデルを用いて距離画像を推定する。画像から学習モデルを用いて距離画像を推定できれば良いのでその方法は特に問わないが、例えば非特許文献１に記載の方法で行うものとする。もちろん他の公知の方法を用いても構わない。
　・信頼度決定
　ステップＳ１０５０にて、制御部１５は信頼度決定部１０５を制御し、第一距離情報取得部１０１が取得した第一の距離画像と、第二距離情報推定部１０４が推定した第二の距離画像の信頼度を決定する。信頼度は各画像の各画素に対して０～１の範囲の実数値として決定する。
　本実施形態において、第二の距離画像はＣＮＮを用いた推定によって算出するため信頼度はあらかじめ不図示の記憶媒体に記憶した一様なパラメータ値、例えば０．５と設定されているものとする。また、第一の距離画像の信頼度は、ＬｉＤＡＲのレーザーの反射強度を正規化した値を用いるものとする。
　・第三距離情報生成
　ステップＳ１０６０にて、制御部１５は第三距離情報生成部１０６を制御し、信頼度決定部１０５が算出した信頼度に基づいて、第一の距離画像と第二の距離画像を統合し、第三の距離画像を生成する。
　本実施形態における第三距離情報生成部１０６は、第三の距離画像として、第二の距離画像の座標系における距離画像を生成する。第三の距離画像の各画素の距離値は、第一の距離画像と第二の距離画像の対応する画素の信頼度を重みとした加重平均によって画素ごとに算出する。第二の距離画像の画素に対応する第一の距離画像の画素位置は、事前に校正した値を用いて座標変換することで算出する。これにより、距離センサが苦手な領域を、画像からＣＮＮを用いて推定した距離推定結果でカバーできる。あるいは、推定した距離精度が高い場合に積極的に利用できる。
　なお、第一の距離情報における座標（ｘ、ｙ）の距離をＤ１（ｘ，ｙ）、その信頼度をＷ１とし、第二の距離情報における座標（ｘ、ｙ）の距離をＤ２（ｘ、ｙ）、その信頼度をＷ２（実施形態では“０．５”に固定）としたとき、第三の距離情報における座標（ｘ，ｙ）の距離Ｄ３（ｘ，ｙ）を次式に従って求めれば良い。
Ｄ3(x,y)＝｛Ｗ1×Ｄ1(x,y)＋Ｗ2×Ｄ2(x,y)｝／（Ｗ1＋Ｗ2）
　・周囲環境認識
　ステップＳ１０７０にて、制御部１５は周囲環境認識部１２を制御し、画像取得部１０２が取得した画像と、第三距離情報生成部１０６が生成した距離画像に基づいて、周囲環境を認識する。具体的には、周囲環境認識部１２は、撮像画像から深層学習等を用いて周囲の物体及び状態を認識し、距離画像からその物体までの距離を取得する。周辺環境の認識方法は、この限りではなく、運転制御に用いる距離情報と画像を用いたものであれば公知のいかなる方法を用いてもよい。
　・位置姿勢取得
　ステップＳ１０８０にて、制御部１５は位置姿勢取得部１１を制御し、ＧＰＳ３から現在の自動車１０００の位置を取得し、位置の推移から姿勢を推測する。
　・画面表示
　ステップＳ１０９０にて、制御部１５は画面表示制御部６１を制御し、周囲環境認識部１２が処理した結果と、位置姿勢取得部１１が取得及び推定した位置姿勢に基づく表示すべき画像を生成させる。画面表示制御部６１は、生成した画像を画面表示部６２に出力する。この結果、画面表示部６２は、自動車に搭乗した人物に向けて、画像を表示することになる。なお、画面表示制御部６１が生成する画像は、例えば第三の距離画像を白黒の距離画像とし、第一の距離情報の信頼度を赤チャンネル、第二の距離情報の信頼度を青チャンネとし、それぞれの値を０から２５５に正規化した画像とする。この結果、どちらの距離情報を用いて計測されたのかを可視化できる。
　なお、第三の距離画像を白黒の距離画像として生成し、周囲環境認識処理によって認識した物体領域を矩形で囲み、物体種を文字で記載したり、撮像装置で撮像した画像上に物体領域の矩形と物体種ラベル及び物体までの距離を記載したりすることで、環境認識結果を可視化してもよい。
　また、従来のカーナビゲーションシステムと同様に、地図上に自車両の位置と向きを表示し、周辺環境認識処理で認識した物体等を点や矩形で表示することで、周囲環境認識結果を俯瞰表示してもよい。また、画像生成方法は上記に限定するものではなく、認識結果及び自動車１０００の位置姿勢がわかればいかなる方法でもよい。
　・運転制御
　ステップＳ１１００にて、制御部１５は運転制御部４を制御し、周囲環境認識部１２が処理した結果と、位置姿勢取得部１１が取得及び推定した位置姿勢に基づいて、アクチュエータ部５を介して自動車１０００を制御する。
　・システム終了
　ステップＳ１１１０にて、制御部１５は、システムを終了するか否かを判定する。目的地に到達した場合や、不図示の入力部を介してユーザから終了命令が入力された場合には終了し、そうでなければステップＳ１０２０に戻り処理を続ける。
　[効果]
　以上に述べたように、第１の実施形態では、入力画像に対して学習モデルを用いて距離画像を推定し、距離センサ（ＬｉＤＡＲ）の距離と統合することで、距離センサだけ、あるいは複数視点による距離計測だけ、あるいはそれらを単に組み合わせただけでは距離を取得できない環境及び部分においても距離を取得でき、より様々な環境で自動車の運転制御が可能になる。
　［変形例１］
　上記第１の実施形態では、第一の距離画像の信頼度を画素ごとにレーザーの反射強度を正規化した値としてが、距離画像の信頼度の決定方法はこれに限るものではない。距離値を取得できなかった画素の信頼度を０、取得できた画素にあらかじめ設定しておいた値を一様に、例えば０．５と設定しても良い。
　距離センサの有効距離の範囲に基づいて信頼度を決定しても良く、例えば、有効範囲内は１、有効範囲外を０とし、有効範囲境界付近をあらかじめ設定したスプライン曲線や直線で補間してもよい。これにより、周囲に物体がない場合や、物体までに距離が近すぎて計測できない場合にも対応できる。
　第二の距離画像の信頼度も、第１の実施形態で記述したように、あらかじめ設定した値を一様に設定する方法に限るものではなく、ＣＮＮによる距離推定の尤もらしさを０～１に正規化して各画素の信頼度にしても良い。
　第一及び第二の距離の信頼度は、近傍領域との連続性に基づいて決定しても良い。具体的には、周波数の逆数を０～１に正規化しても良いし、近傍から勾配を求めて勾配から予測される距離値との差の逆数を正規化した値にしても良い。
　また、信頼度は画素ごとではなく、格子状に分けた領域や、入力画像を領域分割してその領域ごとに持っても良い。領域ごとの信頼度は、画素ごとに計算した信頼度の平均値や中央値を用いても良い。その際、統合時に参照する信頼度はその画素を含む領域の信頼度を用いる。
　［変形例２］
　第１の実施形態では、第三距離情報生成において、画素ごとに信頼度を重みとした加重平均によって第三の距離画像の距離値を算出したが、第三の距離画像の生成方法は、第一及び第二の距離情報を信頼度に基づいて統合していれば、これに限定するものではない。画素ごとに信頼度が高いほうの値を採用しても良いし、あらかじめ設定した閾値以下の信頼度となる距離値は除去したうえで加重平均をとっても良い。
　さらに、第一の距離情報と第二の距離情報とを統合して第三の距離情報を生成した後に平滑化処理などのノイズ除去処理を施してもよい。
　また、第１の実施形態では、第二の距離画像の座標系で第三の距離画像を生成したが、第一の距離画像の座標系で生成しても良いし、別の座標系で生成しても良い。
　［変形例３］
　第１の実施形態では、距離センサとしてＬｉＤＡＲを用いたが、距離センサはＬｉＤＡＲに限定するものではなく、複数台のカメラによるパッシブステレオ方式のものを利用しても良いし、投光器とカメラによるアクティブステレオ方式のものでもよい。
　パッシブステレオ方式やアクティブステレオ方式の距離センサを用いる場合には、変形例１で記述した信頼度の算出方法のほかに、ステレオマッチングの際の類似度を正規化して信頼度としてもよい。
　［変形例４］
　第１の実施形態では、第一の距離情報と第二の距離情報の座標変換は、事前に校正した情報を用いて実現した。しかし、位置合わせ方法はこれに限ったものではなく、距離情報が最も一致するように最適化計算をおこなって位置合わせをしても良いし、境界部分が一致するように最適化計算してもよい。これらの距離情報の位置合わせは初回だけ行っても良いし、毎回行っても良いし、ズレを検知した場合にのみ行っても良いし、あらかじめ設定された間隔で行っても良い。
　［変形例５］
　第１の実施形態では、距離センサで取得した距離情報と撮像装置で撮像した画像に対してＣＮＮを用いて推定した距離情報とを統合して、第三の距離情報を生成した。そして、その第三の距離情報を自動車の運転制御に用いた。しかし、これに限定されるものではない。例えばＡＲ（Augmented Reality）などの画像合成時時の奥行き判定に用いても良いし、移動ロボットの自己位置姿勢推定や、ＨＭＤ（Head Mounted Display）及びモバイル端末の自己位置姿勢推定に用いてもよい。室内を清掃するロボット・空中を飛行するドローン・水中を移動する装置などの制御に用いても良い。
　［第２の実施形態］
　第２の実施形態における情報処置装置及び運転制御システムは、第１の実施形態と同様に、距離センサ（ＬｉＤＡＲ）から取得した距離情報と、１つの撮像装置（カメラ）からＣＮＮを用いて推定した距離情報とを統合して、第三の距離情報を生成し、生成した距離情報に基づいて自動車の運転制御を行う。第１の実施形態では、距離センサで取得した距離情報と、撮像装置で撮像した画像からＣＮＮを用いて距離情報とを直接統合したが、本第２の実施形態では、非特許文献１に記載のように、自己位置推定と環境地図作成を同時に行うＳＬＡＭ(Simultaneous Localization and Mapping)技術を用いて構築した地図情報を用いることを特徴とする。
　[構成の説明]
　図４は、本第２の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付し、その説明は省略する。本第２の実施形態では、第１の実施形態の構成に、位置姿勢算出部２０７、三次元マップ更新部２０８、三次元マップ保持部２０９が追加される。画像取得部１０２は、第二距離情報推定部１０４と周囲環境認識部１２に加え、位置姿勢算出部２０７に対しても、撮像装置２から取得した画像を供給する。第二距離情報推定部１０４は、信頼度決定部１０５とは切断され、新たに三次元マップ更新部２０８に接続される。信頼度決定部１０５は、第二距離情報推定部１０４とは切断され、三次元マップ保持部２０９と接続される。
　位置姿勢算出部２０７は、三次元マップ保持部２０９が保持する三次元マップに基づいて、画像取得部１０２から供給される画像を撮像した撮像装置２の位置姿勢を算出し、三次元マップ更新部２０８に情報を供給する。
　三次元マップ更新部２０８は、位置姿勢推定部２０７及び第二距離情報推定部１０４の処理結果に基づいて三次元マップ保持部２０９が保持する三次元マップを更新する。
　三次元マップ保持部２０９は、位置姿勢および距離画像の組をキーフレームとした、キーフレームの集合を三次元マップとして保持する。三次元マップの形態はこれに限ったものではなく、ポイントクラウドなど三次元点群の集合でも良いし、ＳＬＡＭ技術で用いられるいかなる距離情報の形態であっても良い。
　信頼度決定部１０５は、第一距離情報取得部１０１から供給された第一の距離情報と、三次元マップ保持部２０９が保持する三次元マップの信頼度を決定する。
　位置姿勢取得部１１は、位置姿勢算出部２０７が算出した撮像装置２の位置姿勢を取得し、事前に校正しておいたパラメータを用いて自動車１０００の位置姿勢に変換して運転制御部に供給する。なお、第１の実施形態と同様にＧＰＳを備え、位置姿勢取得部１１で取得し、運転制御部４に供給しても良い。
　[処理手順]
　図５は、本第２の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一のステップ番号を付して記載してあり、同一の処理であるものに関する説明は省略する。また、ステップＳ１０３０からステップＳ２０４５までの処理は、非特許文献１に記載の撮像装置の位置姿勢算出手法の処理である。本実施形態における三次元マップは、位置姿勢及び距離画像の組をキーフレームとしたキーフレームの集合である。
　・位置姿勢算出
　ステップＳ２０３５にて、制御部１５は位置姿勢算出部２０７を制御し、三次元マップ保持部２０９の保持する三次元マップに基づいて、Ｓ１０３０で取得した画像を撮像した際の撮像装置１の位置姿勢を算出する。初回の処理で三次元マップが存在しない場合には、撮像装置の位置を原点とする。
　・キーフレーム追加判定
　ステップＳ２０３６にて、制御部１５は、現在のフレームをキーフレームとして三次元マップに追加するか否かを判定する。三次元マップ保持部２０９が保持するキーフレームの位置から変化が大きい場合などに追加処理を行う。現在のフレームをキーフレームとして追加する場合にはステップＳ２０４０へ、追加しない場合にはステップＳ２０４５に処理を移行する。
　・第二距離情報推定
　ステップＳ２０４０にて、制御部１５は第二距離情報推定部１０４を制御し、ステップＳ１０３０で画像取得部１０２が取得した画像から、学習モデル保持部１０３の保持する学習モデルを用いて距離画像を推定する。
　・三次元マップ更新
　ステップＳ２０４５にて、制御部１５は三次元マップ更新部２０８を制御し、ステップＳ２０３５の位置姿勢算出結果、もしくはステップＳ２０４０の第二距離情報推定結果に基づいて三次元マップを更新する。具体的な更新手法は非特許文献１に記載のとおりである。
　・信頼度決定
　ステップＳ２０５０にて、制御部１６は、第１の実施形態と同様に、信頼度決定部１０５を制御し、ステップＳ１０２０で第一距離情報取得部１０１が取得した第一の距離画像と、三次元マップ保持部２０９が保持する三次元マップの信頼度を決定させる。
　三次元マップの信頼度は、三次元マップ保持部２０８が保持する三次元マップから現在のフレームにおける距離画像を生成し、生成した距離画像に対して算出する。ここで、この信頼度は非特許文献１に記載の不確実性マップ（uncertainty map）の値を用いる。三次元マップの信頼度はこの方法に限るものではなく、第１の実施形態に記載の方法でもよいし、第１の実施形態の変形例に記載の方法でもよい。
　[効果]
　以上に述べたように、本第２の実施形態では、距離センサによって取得した距離情報と、非特許文献１に記載のＣＮＮ－ＳＬＡＭの手法によって生成した三次元マップとを統合して、より信頼度の高い距離情報を生成する。ＣＮＮ－ＳＬＡＭを用いることで、ＣＮＮで距離推定した結果を時系列に精錬でき、より高精度な三次元情報を取得できる。また、撮像装置の位置姿勢を画像から推定することでＧＰＳを用いて位置姿勢を取得するより高精度に位置姿勢を取得できる。三次元情報及び位置姿勢が高精度になるため、より安定した自動車の運転制御が可能になる。
　［第３の実施形態］
　本第３の実施形態において説明する情報処理装置及び運転制御システムは、ＣＮＮ－ＳＬＡＭにおける撮像装置の位置姿勢推定に、距離センサによる距離計測結果とＣＮＮ－ＳＬＡＭで推定した三次元マップ情報を統合して生成した第三の距離情報を用いる。
　[構成の説明]
　図６は、本第３の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）、及び、第２の実施形態（図４）と同様の構成には同一の参照番号を付してある。第２の実施形態との差異は、位置姿勢算出部２０７の入力が三次元マップ保持部２０９の保持する三次元マップではなく、第三距離情報生成部１０６で生成した三次元情報になる点である。
　[処理手順]
　図７は、本第３の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）及び第２の実施形態（図５）と同様の処理には同一のステップ番号を付し、その処理の説明は省略する。
　・信頼度決定
　ステップＳ３０３１にて、第２の実施形態のステップＳ２０５０と同様、制御部１５は信頼度決定部１０５を制御し、ステップＳ１０２０にて第一距離情報取得部１０１が取得した第一の距離画像と三次元マップ保持部２０９が保持する三次元マップの信頼度を決定する。
　なお、ここで決定した信頼度を、非特許文献１に記載の不確実性マップの更新に用いても良い。これにより、三次元センサから取得した距離値の不確実性を低く設定でき、より精度向上が見込める。
　・第三距離情報生成
　ステップＳ３０３２にて、第１の実施形態のステップＳ１０６０と同様に、制御部１５は第三距離情報生成部１０６を制御し、ステップＳ３０３１で算出した信頼度に基づいて第一の距離情報と、三次元マップから生成した距離画像を統合して第三の距離画像を生成させる。
　・位置姿勢算出
　ステップＳ３０３５にて、制御部１５は位置姿勢算出部２０７を制御し、ステップＳ３０３２で生成した第三の距離画像に基づいて、Ｓ１０３０で取得した画像を撮像した際の撮像装置２の位置姿勢を算出する。算出の具体的な方法は第２の実施形態２のステップＳ２０３５と同様である。
　[効果]
　以上に述べたように、本第３の実施形態では、ＣＮＮ－ＳＬＡＭ（非特許文献１）において、距離センサによって取得した距離情報をＳＬＡＭの三次元マップと統合して位置姿勢推定に用いる。これにより、位置姿勢算出時に参照する三次元マップが高精度になり、より精度よく頑健な位置姿勢算出及び距離情報生成が可能になり、より安定した自動車の運転制御が可能になる。
　［第３の実施形態の変形例１］
　上記第３の実施形態では、第２の実施形態と同様に非特許文献１に記載の方法で三次元マップを保持し、位置姿勢推定を行ったが、本発明はこれに限定するものではなく、第一の距離情報と第二の距離情報を統合して生成した第三の距離情報を用いて撮像装置１の位置姿勢を推定する方法であればいかなる方法でも良い。例えば、非特許文献３に記載の方法でも良い。
　［第３の実施形態の変形例２］
　第３の実施形態では、位置姿勢算出部で算出した撮像装置２の位置姿勢と、第三距離情報生成部１０６で生成した第三の距離情報を周囲環境認識及び自動車の運転制御に用いたが、距離計測装置１００の構成を、距離センサと単眼カメラと搭載した移動ロボットの自己位置姿勢推定や、ＨＭＤ及びモバイル端末の自己位置姿勢推定に用いてもよい。
　［第４の実施形態］
　第４の実施形態における情報処理装置及び運転制御システムは、撮像装置２が撮像した画像に対して、距離推定を行うと同時に意味的領域分割を行い、意味領域ごとに信頼度を決定する。なお、非特許文献１に記載のように、第二距離情報推定と、意味的領域分割を同時に同一の学習モデルを用いて行っても良い。
　[構成の説明]
　図８は、本第４の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付してある。
　本第４の実施形態では、意味的領域分割部４１０が追加される点が異なる。この意味的領域分割部４１０は、画像取得部１０２が取得した画像を学習モデル保持部１０３が保持するモデルを用いて意味領域に分割し、分割領域とその意味を表す情報を信頼度決定部１０５に提供する。意味的領域分割とは、画像を写っている物体ごとの領域に分割し、分割した領域ごとに被写体を分類する手法であり、ここでいう意味領域とは、意味的領域分割手法による分割された意味（ラベル）をもつ領域のことである。本実施形態では、壁面や直立物体、床面（道路）、山、空、木、小物体、といったラベルに分類する。
　信頼度決定部１０５は、供給された意味領域に基づいて、第一の距離情報と第二の距離情報の信頼度を決定する。
　[処理手順]
　図９は、本第４の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一の参照番号を付してある。そして、第１の実施形態との差異は、ステップＳ１０４０とステップＳ１０５０の間にステップＳ４０４１として意味的領域分割の処理が加わる点、及び、図３のステップＳ１０５０の信頼度決定処理が、ステップＳ４０４２として「意味領毎の信頼度決定」となった点である。
　ステップＳ４０４１では、制御部１５は意味的領域分割分４１０を制御して、ステップＳ１０３０で取得した画像を意味領域に分割する。
　ステップＳ４０４２にて、制御部１５は信頼度決定部１０５を制御し、ステップＳ１０２０で第一距離情報取得部１０１が取得した第一の距離画像と、ステップＳ１０４０で第二距離情報推定部１０４が推定した第二の距離画像の信頼度を、ステップＳ４０４１で分割した領域ごとに決定させる。例えば、距離センサに正対していて精度よく計測できる壁面や直立物体の領域は第一の距離画像の信頼度を１、第二の距離画像の信頼度を０．５とする。距離センサの光軸に対して浅い角度になりがちな道路や床面領域は第一の距離情報の信頼度を０．３、第二の距離画像の信頼度を０．５とする。ＣＮＮによる推定の精度が低くなると思われる小物体領域は第一の距離画像の信頼度を０．８、第二の距離画像の信頼度を０．２とする。対象が遠いもしくは無限遠の山や空領域や、微小に揺れて距離値がばらつく木領域は、第一の距離情報の信頼度を０．２、第二の距離情報の信頼度を０．８とする。
　意味領域のラベル及び、それに基づく信頼度の決定方法はこれに限定するものではなく、画像から意味領域を分割してそれに応じて信頼度を決定すればいかなる方法であってもよい。
　[効果]
　以上に述べたように、本第４の実施形態では、画像から意味領域に分割し、意味領域ごとに信頼度を決定し、距離センサで取得する距離情報と、ＣＮＮを用いて推定する距離情報とを統合して距離情報を生成する。これにより、距離計測の対象ごとに重きをおく距離情報を変更でき、苦手な対象物の計測をＣＮＮによる距離推定で補完でき、より安定した自動車の運転制御が可能になる。
　［第４の実施形態の変形例１］
　第４の実施形態では、意味的領域分割処理で、学習モデルを用いてＣＮＮで画像を意味領域に分割したが、意味領域に分割できれば、ＣＮＮによるものに限ったものではなく、例えば非特許文献４のような公知の領域分割手法や認識手法を用いてもよい。
　［第４の実施形態の変形例２］
　第４の実施形態では、第１の実施形態の構成を用いて説明したが、第２の実施形態、又は、第３の実施形態の構成に適用しても良い。
　［第５の実施形態］
　第５の実施形態における情報処理装置及び運転制御システムは、第三距離情報を生成せず、第一及び第二の距離情報を統合する際に、第一もしくは第二距離情報を更新し、その更新後の距離情報を第三の距離情報とする例を説明する。
　[構成の説明]
　図１０は、本第５の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付してある。本第５の実施形態と第１の実施形態との差異は、第三距離情報生成部１０６が距離情報更新部５０６に置き換わっている点である。
　距離情報更新部５０６は、第一距離情報取得部１０１が取得した第一の距離情報を、第二距離情報推定部１０４が推定した第二の距離情報と信頼度決定部１０５で決定した信頼度に基づいて更新する、もしくは第二の距離情報を第一の距離情報と信頼度に基づいて更新する。
　[処理手順]
　図１１は、本第５の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一の参照番号を付してある。そして、第１の実施形態との差異は、ステップＳ１０６０の代わりに、ステップＳ５０１０の「距離情報更新」となった点である。
　ステップＳ５０１０にて、距離情報更新部５０６はステップＳ１０２０で取得した第一の距離情報を、ステップＳ１０４０で取得した第二の距離情報に投影する。そして、距離情報更新部５０６は、第一の距離情報の信頼度が予め設定された閾値以上の画素については、第２の距離情報の画素値（距離）を第１の距離情報の画素値で置き換える。距離情報更新部５０６は、更新後の第二の距離情報を、第三の距離情報として周囲環境認識部１２に供給する。尚、信頼度を重みとした加重平均の値に更新してもよい。また、第二の距離情報を第一の距離情報に投影して信頼度を用いて第一の距離情報を更新してもよい。
　[効果]
　以上に述べたように、第三距離情報を生成せず、第一及び第二の距離情報を統合する際に、第一もしくは第二距離情報を更新する。これにより、計算用のメモリ領域を削減できる。
　以上、本発明に係る実施形態を説明した。ここで、これまで説明した各実施形態の効果をまとめると次の通りである。
　第１の実施形態によると、距離センサで取得した距離情報と、単眼のカメラで撮像した画像からＣＮＮを用いて推定した距離情報とを統合して第三の距離情報を生成することで、距離センサだけでは距離を取得できない環境及び部分においても距離を計測できる。
　第２の実施形態によると、単眼カメラで撮像した画像からＣＮＮを用いて推定した距離情報を使ったＳＬＡＭを実行することで、時系列情報を用いた距離情報の高精度化が可能になり、第１の実施形態に比べより高精度な距離計測が可能になる。
　第３の実施形態によると、距離センサによって取得した距離情報とＳＬＡＭで構築した三次元マップとを統合して撮像装置の位置姿勢推定に用いることで、位置姿勢推定精度および、構築する三次元マップが高精度になる。
　第４の実施形態によると、撮像装置で撮像した画像を意味領域に分割し、領域ごとに統合時の重みを決定することで、意味領域ごとの計測手法の得手不得手を考慮した統合が可能になる。
　第５の実施形態によると、第三の距離情報を新規に作成するのではなく、第一もしくは第二の距離情報の一方を、他方を用いて更新することで計算用のメモリ領域を削減できる。
　以上であるが、本発明における距離情報とは、距離画像や距離点群、三次元点群などの距離の情報を含むもののことである。距離センサは、ＬｉＤＡＲなどのレーザー測距計測やパッシブステレオ、アクティブステレオなど、距離を計測できる装置であればいかなるものでも良い。学習モデルは、深層学習で学習した単眼の画像から距離情報を推定するためのモデルである。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１８年１月１５日提出の日本国特許出願特願２０１８－００４４６７を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (17)

  1. 　距離センサから第１の距離情報の取得する第１の取得手段と、
    　撮像装置から画像を取得する第２の取得手段と、
    　画像から距離情報を推定するための学習モデルを保持する保持手段と、
    　前記学習モデルを用いて、前記第２の取得手段で取得した画像に対する第２の距離情報を推定する推定手段と、
    　前記第１の距離情報と前記第２の距離情報に基づいて第３の距離情報を生成する生成手段と
    　を備えることを特徴とする情報処理装置。
  2. 　三次元マップを保持するマップ保持手段と、
    　前記三次元マップと前記画像に基づいて、前記撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
    　前記位置及び姿勢に基づいて前記三次元マップを更新するマップ更新手段とを更に有し、
    　前記生成手段は、前記第１の距離情報と、前記三次元マップに基づいて前記第３の距離情報を生成する
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記マップ更新手段は、さらに、前記第１距離情報に基づいて前記三次元マップを更新することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記第１、第２の距離情報の少なくとも一方の距離情報の信頼度を決定する信頼度決定手段を有し、
    　前記生成手段は、前記信頼度に基づいて統合することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 　前記信頼度決定手段は、前記第１の距離情報の有無に基づいて信頼度を決定することを特徴とする請求項４に記載の情報処理装置。
  6. 　前記距離センサは、ＬＩＤＡＲに基づくセンサであって、
    　前記信頼度決定手段は、対象物からのレーザーの反射強度に応じて前記第１の距離情報の信頼度を決定することを特徴とする請求項４に記載の情報処理装置。
  7. 　前記信頼度決定手段は、センサの有効距離に基づいて信頼度を決定することを特徴とする請求項４に記載の情報処理装置。
  8. 　前記信頼度決定手段は、距離情報の連続性に基づいて信頼度を決定することを特徴とする請求項４に記載の情報処理装置。
  9. 　前記距離センサはステレオ方式の距離センサであり、
    　前記信頼度決定手段は、前記距離センサが距離情報を取得する際のステレオマッチングの類似度に基づいて決定することを特徴とする請求項４に記載の情報処理装置。
  10. 　前記画像取得手段により取得した画像を意味領域に分割する意味的領域分割手段を更に有し、
    　前記生成手段は、前記意味的領域に基づいて第１距離情報と第２距離情報を統合することを特徴とする請求項１乃至３のいずれか１項に記載の情報処置装置。
  11. 　前記生成手段は、前記第１、第２の距離情報の一方を、他方の前記信頼度決定手段で決定した信頼度に基づいて更新し、当該更新後の距離情報を前記第３の距離情報として生成することを特徴とする請求項４に記載の情報処理装置。
  12. 　前記第３の距離情報もしくは前記更新した第３の距離情報を用いて、情報処理装置の位置姿勢を推定することを特徴とする請求項１１に記載の情報処理装置。
  13. 　前記第３の距離画像もしくは前記更新した第３の距離情報、及び、前記第２の取得手段で取得した画像に基づいて周囲環境を認識する環境認識手段と、
    　環境に対する装置の位置姿勢を取得する位置姿勢取得手段を更に有することを特徴とする請求項１１に記載の情報処置装置。
  14. 　前記距離センサ及び前記撮像装置と、請求項１乃至１３のいずれか１項に記載の情報処理装置とを有することを特徴とする車両の運転支援システム。
  15. 　車両の動きを制御するためのアクチュエータと、
    　前記周囲環境及び位置姿勢に基づいて前記アクチュエータを制御する運転制御手段と
    　を有することを特徴とする請求項１４に記載の車両の運転支援システム。
  16. 　画像から距離情報を推定するための学習モデルを保持する保持手段を有する情報処理装置の制御方法であって、
    　距離センサから第１の距離情報を取得する第１の取得工程と、
    　撮像装置から画像を取得する第２の取得工程と、
    　前記学習モデルを用いて、前記第２の取得工程で取得した画像に対する第２の距離情報を推定する推定工程と、
    　前記第１の距離情報と前記第２の距離情報に基づいて第３の距離情報を生成する生成工程と
    　を備えることを特徴とする情報処理装置の制御方法。
  17. 　画像から距離情報を推定するための学習モデルを保持する保持手段を有するコンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１６に記載の制御方法の各工程を実行させるためのプログラム。
PCT/JP2018/041668 2018-01-15 2018-11-09 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム WO2019138678A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/921,977 US12008778B2 (en) 2018-01-15 2020-07-07 Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018004467A JP7204326B2 (ja) 2018-01-15 2018-01-15 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
JP2018-004467 2018-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/921,977 Continuation US12008778B2 (en) 2018-01-15 2020-07-07 Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system

Publications (1)

Publication Number Publication Date
WO2019138678A1 true WO2019138678A1 (ja) 2019-07-18

Family

ID=67218556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041668 WO2019138678A1 (ja) 2018-01-15 2018-11-09 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム

Country Status (3)

Country Link
US (1) US12008778B2 (ja)
JP (1) JP7204326B2 (ja)
WO (1) WO2019138678A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041219A (ja) * 2020-08-31 2022-03-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
WO2022185726A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022202298A1 (ja) * 2021-03-22 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2024062540A1 (ja) * 2022-09-20 2024-03-28 日立Astemo株式会社 画像処理装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386671B2 (en) 2019-06-25 2022-07-12 Zoox, Inc. Refining depth from an image
JP2021043486A (ja) * 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
DE112020004377T5 (de) * 2019-10-29 2022-07-07 Hitachi Astemo, Ltd. Bilderkennungsvorrichtung
WO2021090535A1 (ja) * 2019-11-08 2021-05-14 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7306275B2 (ja) * 2020-01-09 2023-07-11 いすゞ自動車株式会社 距離画像生成装置及び距離画像生成方法
JP7337458B2 (ja) * 2020-01-28 2023-09-04 アルパイン株式会社 ３次元位置推定装置および３次元位置推定方法
KR20210144151A (ko) 2020-05-21 2021-11-30 삼성전자주식회사 Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
JP7446985B2 (ja) * 2020-12-15 2024-03-11 株式会社東芝 学習方法、プログラム及び画像処理装置
JP7439006B2 (ja) * 2021-03-18 2024-02-27 株式会社東芝 距離推定装置及び距離推定方法
CN118369929A (zh) * 2021-12-09 2024-07-19 索尼集团公司 信息处理设备、信息处理方法和程序
DE102022204770A1 (de) * 2022-05-16 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
JP2024017636A (ja) * 2022-07-28 2024-02-08 株式会社小糸製作所 データ生成方法、データ生成システム、制御装置及びプログラム
WO2024202752A1 (ja) * 2023-03-30 2024-10-03 ソニーグループ株式会社 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307561A (ja) * 2002-04-12 2003-10-31 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2006038775A (ja) * 2004-07-29 2006-02-09 Pioneer Electronic Corp フラットパネルディスプレイ用透明基板の画像検査装置及び画像検査方法
JP2010220001A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 再符号化装置および再符号化方法
WO2014162675A1 (ja) * 2013-04-01 2014-10-09 パナソニック株式会社 複数の光源を有するモーションセンサ装置
JP2016085694A (ja) * 2014-10-28 2016-05-19 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
WO2017057016A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 計測装置および方法、並びにプログラム
JP2017092983A (ja) * 2017-01-25 2017-05-25 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US20170267177A1 (en) * 2016-03-17 2017-09-21 Ford Global Technologies, Llc Vehicle Lane Boundary Position
JP2017184136A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503543B2 (ja) * 1999-10-13 2004-03-08 松下電器産業株式会社 道路構造認識方法、距離測定方法及び距離測定装置
JP3766909B2 (ja) * 2001-11-30 2006-04-19 株式会社日立製作所 走行環境認識方法および装置
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
JP2015049200A (ja) 2013-09-03 2015-03-16 株式会社東芝 計測装置、方法及びプログラム
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
CN105654458A (zh) * 2014-11-14 2016-06-08 华为技术有限公司 图像处理的方法及装置
JP7157765B2 (ja) * 2017-05-09 2022-10-20 ハートフロー， インコーポレイテッド 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
JP6246411B1 (ja) 2017-07-21 2017-12-13 Dmg森精機株式会社 クーラント供給装置
ES2975773T3 (es) * 2017-09-28 2024-07-15 Bd Kiestra Bv Métodos y sistemas para la evaluación automatizada de la sensibilidad a antibióticos
US11644834B2 (en) * 2017-11-10 2023-05-09 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11042163B2 (en) * 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307561A (ja) * 2002-04-12 2003-10-31 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2006038775A (ja) * 2004-07-29 2006-02-09 Pioneer Electronic Corp フラットパネルディスプレイ用透明基板の画像検査装置及び画像検査方法
JP2010220001A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 再符号化装置および再符号化方法
WO2014162675A1 (ja) * 2013-04-01 2014-10-09 パナソニック株式会社 複数の光源を有するモーションセンサ装置
JP2016085694A (ja) * 2014-10-28 2016-05-19 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
WO2017057016A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 計測装置および方法、並びにプログラム
US20170267177A1 (en) * 2016-03-17 2017-09-21 Ford Global Technologies, Llc Vehicle Lane Boundary Position
JP2017184136A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2017092983A (ja) * 2017-01-25 2017-05-25 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041219A (ja) * 2020-08-31 2022-03-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
WO2022185726A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022202298A1 (ja) * 2021-03-22 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2024062540A1 (ja) * 2022-09-20 2024-03-28 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
JP7204326B2 (ja) 2023-01-16
US20200334843A1 (en) 2020-10-22
JP2019124537A (ja) 2019-07-25
US12008778B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
WO2019138678A1 (ja) 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
EP3568334B1 (en) System, method and non-transitory computer readable storage medium for parking vehicle
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
JP2020085886A (ja) 乗物、乗物測位システム、及び乗物測位方法
JP2019125116A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7133927B2 (ja) 情報処理装置及びその制御方法及びプログラム
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN108544494B (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
JP2022016908A (ja) 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
CN112740274A (zh) 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN117727011A (zh) 基于图像融合的目标识别方法、装置、设备及存储介质
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020149186A (ja) 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法
KR102213310B1 (ko) 이동 로봇 및 이의 사람 인식 및 추적 방법
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
US11775577B2 (en) Estimation device, movable body, estimation method, and computer program product
WO2021210492A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020076714A (ja) 位置姿勢推定装置
AU2020317303B2 (en) Information processing device, data generation method, and program
Leishman et al. Robust Motion Estimation with RBG-D Cameras
JP2018116147A (ja) 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900452

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900452

Country of ref document: EP

Kind code of ref document: A1