WO2021106509A1 - 移動体の制御装置及び方法 - Google Patents

移動体の制御装置及び方法 Download PDF

Info

Publication number
WO2021106509A1
WO2021106509A1 PCT/JP2020/041140 JP2020041140W WO2021106509A1 WO 2021106509 A1 WO2021106509 A1 WO 2021106509A1 JP 2020041140 W JP2020041140 W JP 2020041140W WO 2021106509 A1 WO2021106509 A1 WO 2021106509A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional map
weight
unit
map
moving body
Prior art date
Application number
PCT/JP2020/041140
Other languages
English (en)
French (fr)
Inventor
英彰 城戸
門司　竜彦
茂規 早瀬
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112020005077.7T priority Critical patent/DE112020005077T5/de
Priority to US17/779,847 priority patent/US20230004169A1/en
Publication of WO2021106509A1 publication Critical patent/WO2021106509A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Definitions

  • the present invention relates to a control device and method for a moving body.
  • Patent Document 1 the presence or absence of a side wall that causes an erroneous detection when an object is detected by a millimeter wave radar is determined by using map information for navigation, and the presence or absence of the side wall is determined.
  • Patent Document 2 proposes a technique for suppressing reflected waves from a metal object on a road surface by combining object detection of a millimeter-wave radar with map information created by a stereo camera and detection of a polarized region. ing.
  • Patent Document 1 it is possible to predict an object registered in a navigation map, but it cannot be dealt with when an object not registered in a navigation map induces a detection error of a millimeter wave radar. For example, it cannot be solved when a large trailer is running beside the object to be detected or when there is a guardrail that is not registered on the map.
  • Patent Document 2 discloses a detection method for metal objects on the road surface, but does not describe how to deal with a situation where multipath may occur.
  • An object of the present invention is a control device and method for a moving body capable of adjusting the detection result by the radar device according to the three-dimensional shape of each area of the three-dimensional map generated from the image captured by the image pickup device. To provide.
  • one example of the present invention is a moving body control device having an image pickup device and a radar device, and generates a three-dimensional map around the moving body from an image captured by the image pickup device.
  • the weight estimation unit that estimates the weight of the detection result by the radar device for each region of the three-dimensional map from the three-dimensional shape of each region of the three-dimensional map, and the weight An adjustment unit for adjusting the detection result by the radar device based on the radar device is provided.
  • the detection result by the radar device can be adjusted according to the three-dimensional shape of each area of the three-dimensional map generated from the image captured by the image pickup device. Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
  • the embodiment of the invention is shown below.
  • the present embodiment relates to a system for highly understanding the surrounding environment in an automatic driving or a highly safe driving system.
  • Figure 1 shows a vehicle control system that uses an imaging device and millimeter-wave radar.
  • the image pickup device 101 and the millimeter wave radar device 102 are mounted on the vehicle 103, and for example, the distance to the object 104 in front and the relative velocity are measured and transmitted to the moving body control unit 105.
  • the moving body control unit 105 determines the control of the brake and the accelerator from the distance to the object 104 and the relative speed, and controls the vehicle 103.
  • the mobile body control unit 105 is a control device for the vehicle 103 (mobile body) having the image pickup device 101 and the millimeter wave radar device 102 (radar device).
  • FIG. 2 shows a first form of the mobile control unit 105 that implements the present invention.
  • the mobile control unit 105 is, for example, an ECU (Electronic Control Unit), and is composed of a memory (storage device), a CPU (processor), an input / output circuit (communication device), and the like.
  • Object detection units 201 and 202 are provided in the moving body control unit 105 for the image pickup device 101 and the millimeter wave radar device 102, respectively, and detect various objects existing in the field of view seen from the own vehicle (vehicle 103).
  • the image pickup apparatus 101 generates a three-dimensional map in real time from the acquired sensor information by the three-dimensional map generation unit 203.
  • the three-dimensional map has information in the depth direction, the height direction, and the lateral direction (for example, distance information) of an object existing in the field of view of the sensor.
  • the three-dimensional map may use a distance image by a stereo camera or a sensor that acquires a group of points having distance information such as LIDAR, or may generate distance information by time-series analysis using a monocular camera.
  • the generation of the distance image by learning may be used, and the means thereof is not limited.
  • Radar weight map estimation is performed after generating a 3D map.
  • the radar weight map estimation unit 204 generates a weight value of how reliable the radar signal arriving from each point of the three-dimensional map is.
  • the weight adjustment unit 205 adjusts values related to detection such as the reliability, existence probability, and distance accuracy of the object detected by the object detection unit 202 on the millimeter wave radar device 102 (radar device) side. Radar weight map estimation unit 204 It is carried out using the result of. The result is input to the sensor fusion unit 206.
  • the sensor fusion unit 206 collates with the result of the object detection unit 201 on the image pickup device side to form one signal, and transmits the signal to the control unit 109. That is, the sensor fusion unit 206 synthesizes and outputs the detection result by the image pickup apparatus 101 and the detection result by the millimeter wave radar apparatus 102 (radar apparatus) adjusted based on the weight. As a result, the reliability of the synthesized detection result can be ensured.
  • the control unit 109 generates a signal for controlling the vehicle according to the result.
  • FIG. 3 shows a configuration example of the three-dimensional map generation unit 203.
  • the distance can be measured from the parallax of two or more installed cameras by the principle of triangulation, and it is output as the distance image generator 301 and treated as a three-dimensional map with distance information in the horizontal and vertical directions. be able to.
  • the three-dimensional map generation unit 203 has at least such a function.
  • the three-dimensional map generation unit 203 generates a three-dimensional map around the vehicle 103 (moving body) from the image captured by the image pickup device 101.
  • the result of the three-dimensional map generation unit 203 created here can also be used for the object detection unit 201 of the image pickup apparatus 101.
  • the three-dimensional map generation unit 203 includes an object attribute estimation unit 302 that estimates the attributes of the object and the material of the object for each distance by image analysis after being imaged.
  • an object attribute estimation unit 302 that estimates the attributes of the object and the material of the object for each distance by image analysis after being imaged.
  • the use of a classifier for an image, semantic segmentation, instance segmentation, etc. are known as known techniques, and the method is not limited here.
  • the three-dimensional map generation unit 203 includes an object attribute estimation unit 302 (attribute estimation unit) that estimates the attributes of the object detected from the image captured by the image pickup device 101.
  • object attribute estimation unit 302 attribute estimation unit
  • Estimated object attributes are, for example, pedestrians, vehicles, walls, trees, curbs, guardrails, or poles.
  • the radar weight map estimation unit 204 sets the weight of the detection result by the millimeter-wave radar device 102 (radar device) for each area of the three-dimensional map as a three-dimensional shape for each area of the three-dimensional map. For example, it may be estimated (set) from the combination of the corner shape) and the attribute of the object (for example, the guard rail). For example, a small weight is associated with a combination of a "corner shape" as a three-dimensional shape and a "guardrail" as an attribute of an object and stored in a memory.
  • the detection result by the radar device can be adjusted according to the above.
  • FIG. 4 shows a configuration example of the radar weight map estimation unit 204.
  • the information created by the three-dimensional map generation unit 203 is input.
  • the specific shape detection unit 402 estimates a place where multipath may occur by detecting a specific shape by referring to the registered specific shape database 401, and the weight setting unit 404 sets the detected place at the detected place. Assign a low weight.
  • the radar weight map estimation unit 204 sets the weight of the detection result by the millimeter wave radar device 102 (radar device) for each area of the three-dimensional map in three dimensions for each area of the three-dimensional map. Estimated from the shape.
  • the specific shape database 401 retains the characteristics of the shape that are likely to generate multipath. In the specific shape database 401, since it may be necessary to change the weight setting depending on the material of the shape as described later, it is conceivable that the material information of the shape is also transmitted to the weight setting unit.
  • the object size measuring unit 403 detects a large object that is likely to generate multipath, and the weight setting unit 404 assigns a low reliability to the periphery thereof.
  • the radar weight map estimation unit 204 when an object (first object) having a predetermined size or larger exists in the three-dimensional map, is located around the object (first object).
  • the weight of the detection result by the millimeter-wave radar device 102 (radar device) for each area of the three-dimensional map is reduced.
  • the radar weight map estimation unit 204 is an object (first object) when another object (second object) close to the object (first object) exists in the three-dimensional map. ) And another object (second object), the weight of the detection result by the millimeter-wave radar device 102 (radar device) for each area of the three-dimensional map may be reduced. As a result, for example, when a large trailer and a passenger car run side by side, the reliability of the detection result by the radar device around them can be lowered.
  • FIG. 5 shows an example of a specific shape registered in the specific shape database 401.
  • This specific shape differs depending on the angle of arrival from the sensor, but here the shape in the direction shown in 501 is shown.
  • This figure shows a specific shape in a bird's-eye view. Multipath tends to occur at corner-shaped (concave-shaped) parts such as 502. A similar phenomenon may occur in an example in which the shape changes continuously or in the shape 503.
  • the shape 504 in which the circular (convex) pattern is directed toward the vehicle strong reflection enters the vehicle, so that the signal from there becomes dominant and affects the signal group from others. , There is a possibility of erroneous measurement.
  • this specific shape differs depending on the arrival angle of the sensor.
  • the specific shape database 401 it is conceivable to store the specific shape in a sequence of points, adjust the shape with the absolute value of the arrival angle and the reference distance as parameters, and output from the specific shape database 401.
  • the radar weight map estimation unit 204 is a millimeter-wave radar device 102 (weight estimation unit) in a region of the three-dimensional map corresponding to the three-dimensional shape when the three-dimensional shape is a corner shape or a circular shape. Reduce the weight of the detection result by the radar device). As a result, when the three-dimensional shape is a corner shape or a circular shape and the shape tends to induce erroneous detection by the radar device, the weight of the detection result by the radar device can be reduced.
  • weight setting unit 404 An example of the weight setting unit 404 will be described with reference to FIG. 6 (FIGS. 6-1 to 6-3).
  • FIG. 6-2 shows the reference of the spread angle from the center of the sensor, and shows 20 °, 10 °, 0 °, -10 °, and -20 ° from the left.
  • the weight setting unit 404 lowers the weight of the region if a specific shape exists.
  • An example is shown in FIG. 6-3.
  • the horizontal axis is the spread angle from the center of the sensor, and the vertical axis is the distance.
  • Fig. 6-3 the reliability is higher in the order of A, B, C (A> B> C).
  • the reason why C is set at + 20 ° and 30 m ahead is set because the object (front vehicle 602) is a shielded area in front.
  • Fig. 6-3 is based on a bird's-eye view, it is shown in two dimensions, but it is actually possible to have three-dimensional information. In that case, it is possible to change the weight according to the height.
  • the weight adjustment unit 205 in the subsequent stage further controls the importance of the detection result of the millimeter wave radar.
  • the reflectance is generally high and the range affected by the specific shape is large. Therefore, when it is presumed to be a metal body by the object attribute estimation unit 302, it is necessary to apply a larger weight adjustment by the weight setting unit 404.
  • the influence of reflection may be low on an object with low reflectance such as plastic or wood, so if it is estimated by the object attribute estimation unit 302 as such, it will be affected by the weight setting unit 404. Adjustments are needed to prevent it. For example, in that case, the weight of the table given in FIG. 6-3 is changed to A at -15 ° and 20 m.
  • the three-dimensional map generation unit 203 includes an object attribute estimation unit 302 (attribute estimation unit) that estimates the material of the object detected from the image captured by the image pickup device 101.
  • the material of the presumed object is, for example, metal, stone, tree, or plastic.
  • the radar weight map estimation unit 204 calculates the weight of the detection result by the millimeter wave radar device 102 (radar device) for each area of the three-dimensional map, and the weight of the three-dimensional shape and the object for each area of the three-dimensional map. Estimate (set) from the combination with the material. For example, a small weight is associated with a combination of a "corner shape" as a three-dimensional shape and a "metal" as a material of an object and stored in a memory.
  • the detection result by the radar device can be adjusted according to the above.
  • the weight adjusting unit 205 adjusts the result detected by the millimeter wave radar device 102 from the weights set as described above. If the existence probability of the object and the distance / relative velocity accuracy are given at the time of the object detection unit 202 of the millimeter wave radar device 102, it is conceivable to adjust the accuracy and the probability. If it is not given, the weight is processed by the sensor fusion unit 206, and may be simply added to the output of the object detection unit 202, regardless of the method in handling the weight.
  • the weight adjusting unit 205 adjusts the detection result by the millimeter wave radar device 102 (radar device) based on the weight. Specifically, for example, as the weight becomes smaller, the reliability of the detection result by the millimeter wave radar device 102 (radar device) is evaluated lower. As a result, the detection result by the radar device can be adjusted according to the three-dimensional shape of each area of the three-dimensional map generated from the image captured by the image pickup device. In addition, it is possible to deal with the case where the radar device detects an object that is not registered in the navigation map.
  • the moving body control unit 105 generates a three-dimensional map around the vehicle 103 (moving body) from the image captured by the imaging device 101 (S10), and the area of the three-dimensional map.
  • the weight of the detection result by the millimeter-wave radar device 102 (radar device) for each is estimated from the three-dimensional shape of each area of the three-dimensional map (S15), and the millimeter-wave radar device 102 (radar device) is based on the weight.
  • the detection result is adjusted (S20).
  • the sensor fusion unit 206 synthesizes the detection results using the results detected from the millimeter wave radar device 102 and the results detected from the image pickup device 101, and outputs the detection results to the control unit 207.
  • a method of fusion a method of simply adopting the one having a higher weight or probability as a detection result, or a method of stochastically fusing to obtain a detection result is conceivable, and the method does not matter.
  • FIG. 7 shows an example in which past history information is input to the three-dimensional map generation unit 203.
  • the map prediction unit 701 appropriately predicts the three-dimensional map at the next time t + 1 from the three-dimensional map at a certain time t from the behavior of the own vehicle and the speed at each position, and then the three-dimensional map is next.
  • the three-dimensional map generation unit 203 synthesizes the map predicted at time t and the map at time t + 1 at the time of generation. The combined map will be used in the subsequent processing.
  • the moving body control unit 105 includes a map prediction unit 701 that predicts a three-dimensional map in the next frame from the three-dimensional map.
  • the three-dimensional map generation unit 203 generates a three-dimensional map around the vehicle 103 (moving body) from the three-dimensional map of the next frame predicted by the map prediction unit 701 and the image captured by the image pickup device 101. This makes it possible to improve the accuracy of the three-dimensional map generated by the three-dimensional map generation unit using the three-dimensional map before fusion.
  • FIG. 8 describes an example in which the past history information uses the map information synthesized from the information of each sensor after the sensor fusion.
  • the vehicle control system includes a map prediction unit 802 that predicts the current map information from the fused past map information, and is configured to be reflected in the three-dimensional map generation unit 203.
  • the moving body control unit 105 is the next from the synthetic map creation unit 801 that creates a three-dimensional map from the detection result synthesized by the sensor fusion unit 206 and the three-dimensional map created by the synthetic map creation unit 801. It includes a map prediction unit 802 that predicts a three-dimensional map in a frame.
  • the three-dimensional map generation unit 203 generates a three-dimensional map around the vehicle 103 (moving body) from the predicted three-dimensional map of the next frame and the image captured by the image pickup device 101. As a result, it is possible to improve the accuracy of the three-dimensional map generated by the three-dimensional map generation unit using the three-dimensional map after fusion.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • the image pickup device 101 measures the distance with a stereo camera, but it may be measured with a monocular camera.
  • the millimeter wave radar device 102 is used as the radar device, but it may be a radar device that uses radio waves having a wavelength other than millimeter waves.
  • the object detection units 201 and 202 are provided in the moving body control unit 105, but they may be provided in the image pickup device 101 and the millimeter wave radar device 102, respectively. In the above embodiment, it is provided in the mobile control unit 105, but it may be provided in another ECU.
  • each of the above configurations, functions, etc. may be realized by hardware, for example, by designing a part or all of them with an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • the embodiment of the present invention may have the following aspects.
  • a moving body control device including an imaging device for detecting an object in the outside world and a millimeter-wave radar device, a three-dimensional map generator that generates a three-dimensional map around the moving body from the information of the imaging device, and the three-dimensional map.
  • a radar weight estimation unit that estimates the weight of the detection result by the millimeter-wave radar device for each region based on distance and orientation from a three-dimensional shape, and the radar based on the weight estimated by the radar weight estimation unit.
  • a moving body control device including a weight adjusting unit for adjusting the reliability of the object detected by the device.
  • the radar reliability estimation unit according to (1) is based on the three-dimensional map described in (1) when an object having a size larger than a predetermined value exists or has a plurality of adjacent shapes. , A mobile control device characterized by lowering the reliability of the radar device for each direction and distance.
  • the three-dimensional map generation unit described in (1) has a distance information generation unit and an attribute information generation unit, and the attribute information generation unit is one or more of pedestrians, vehicles, walls, trees, curbs, guardrails, and poles.
  • a moving object control device characterized in that the attributes of the above are estimated for the imaging target.
  • the three-dimensional map generation unit described in (1) has a distance information generation unit and a material information generation unit, and the attribute information generation unit captures at least one or more attributes of metal, stone, tree, and plastic.
  • a mobile control device that is characteristic.
  • a moving body control device including an imaging device for detecting an object in the outside world and a millimeter-wave radar device, a three-dimensional map generator that generates a three-dimensional map around the moving body from the information of the imaging device, and the three-dimensional map.
  • a radar weight estimation unit that estimates the weight of the detection result by the millimeter-wave radar device for each region based on distance and orientation from a three-dimensional shape, and the radar based on the weight estimated by the radar weight estimation unit.
  • a movement including a weight adjusting unit that adjusts the reliability of the object detected by the device, and a sensor fusion unit that synthesizes and outputs the detection results of the imaging device and the millimeter-wave radar based on the results of the weight adjusting unit.
  • Body control device including a weight adjusting unit that adjusts the reliability of the object detected by the device, and a sensor fusion unit that synthesizes and outputs the detection results of the imaging device and the millimeter-wave radar based on the results of the weight adjusting unit.
  • a moving body control device including an imaging device for detecting an object in the outside world and a millimeter-wave radar device, a three-dimensional map generator that generates a three-dimensional map around the moving body from the information of the imaging device, and the three-dimensional map.
  • a radar weight estimation unit that estimates the weight of the detection result by the millimeter-wave radar device for each region based on distance and orientation from a three-dimensional shape, and the radar based on the weight estimated by the radar weight estimation unit.
  • a weight adjustment unit that adjusts the reliability of the object detected by the device, and a map prediction that predicts the 3D map in the next frame from the information in the 3D map and reflects it in the 3D map generation unit in the next frame.
  • a moving body control device including a unit.
  • a moving body control device including an imaging device for detecting an object in the outside world and a millimeter-wave radar device, a three-dimensional map generator that generates a three-dimensional map around the moving body from the information of the imaging device, and the three-dimensional map.
  • a radar weight estimation unit that estimates the weight of the detection result by the millimeter-wave radar device for each region based on distance and orientation from a three-dimensional shape, and the radar based on the weight estimated by the radar weight estimation unit. From the weight adjustment unit that adjusts the reliability of the object detected by the device, the sensor fusion unit that synthesizes and outputs the detection results of the image pickup device and the millimeter-wave radar based on the results of the weight adjustment unit, and the synthesis result.
  • a moving body including a composite map creation unit that creates a map and a map prediction unit that predicts a three-dimensional map in the next frame from the information in the composite map creation unit and reflects it in the three-dimensional map generation unit in the next frame.
  • Control device including a composite map creation unit that creates a map and a map prediction unit that predicts a three-dimensional map in the next frame from the information in the composite map creation unit and reflects it in the three-dimensional map generation unit in the next frame.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる移動体の制御装置等を提供する。移動体制御部１０５は、撮像装置１０１とミリ波レーダ装置１０２（レーダ装置）を有する車両（移動体）の制御装置である。三次元地図生成部２０３は、撮像装置１０１で撮像される画像から車両の周辺の三次元地図を生成する。レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２による検出結果の重みを、三次元地図の領域ごとの三次元の形状から推定する。重み調整部２０５（調整部）は重みに基づいてミリ波レーダ装置１０２による検出結果を調整する。

Description

移動体の制御装置及び方法
　本発明は、移動体の制御装置及び方法に関する。
　自動運転や高度安全運転支援システムの実現においては、外界を監視し、障害物やレーン情報など自車走行に必要な物体を検知するセンサの重要性が高まっている。外界監視センサにはカメラやミリ波レーダ、ＬＩＤＡＲなどの種類があるがそれぞれにセンサの特性があり、走行するシーンにおいて得意不得意が存在する。
　例えばカメラにおいては逆光の場合に検知しにくくなる、ミリ波レーダにおいては検知したい物体の横に大きな反射物があると、レーダ波がその反射物に一度反射し別の物体に再度反射して戻って来るマルチパスが起こり距離や到来角度の誤計測や、クラッタによる誤検出を引き起こしやすくなる。
　この課題にあたり、例えば「特許文献１」には、ミリ波レーダで物体を検出する際に誤検出の要因となる側壁を、ナビゲーション用の地図情報を用いてその有無を判定し、ミリ波レーダの監視頻度を低下・停止させることで、信頼性の低い状態でセンサ情報を出力することを抑制する技術がある。例えば「特許文献２」では、ミリ波レーダの物体検出をステレオカメラで作成されたマップ情報と偏光領域の検出を組み合わせることで、路面上にある金属物からの反射波を抑制する技術を提案している。
特許第２９００７３７号明細書 国際公開第２０１７／０５７０５８号
　特許文献１では、ナビゲーション用の地図に登録されている物体については予測が出来るが、ナビゲーション用の地図には登録されていない物体がミリ波レーダの検知誤りを誘発する際に対応できない。例えば、検出対象の物体の横を大型トレーラーが走行していたり、地図に登録されていないガードレールが存在する場合に解決できない。
　特許文献２では、路面上にある金属物に対する検出方法は開示されているものの、マルチパスが起こりえる状況への対応については記載がない。
　本発明の目的は、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる移動体の制御装置及び方法を提供することにある。
　上記目的を達成するために、本発明の一例は、撮像装置とレーダ装置を有する移動体の制御装置であって、前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状から推定する重み推定部と、前記重みに基づいて前記レーダ装置による検出結果を調整する調整部と、を備える。
　本発明によれば、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第一の実施形態に係る車載移動体制御装置の構成を説明する図である。 図１に示す移動体制御部の構成を説明する図である。 図２に示す三次元地図生成部の構成を説明する図である。 レーダ重みマップ推定部の構成を説明する図である。 特定形状データベースに登録される特定形状の例を説明する図である。 前方に複数の車両がいる状態のレーダ重みマップ推定部の挙動を示す図である。 三次元地図の俯瞰図である。 レーダ重みマップ推定部の動作を説明するための図である。 過去の地図情報を活用する図である。 過去の合成された地図情報を活用する図である。 移動体制御装置が実行する処理を示すフローチャートである。
　以下に発明を実施する形態を示す。本実施形態は自動運転や高度安全運転システムにおいて高度に周辺環境を理解するシステムに関する。
　撮像装置とミリ波レーダを用いた車両制御システムを図１に示す。
　撮像装置１０１とミリ波レーダ装置１０２は車両１０３に搭載され、例えば前方の物体１０４までの距離や相対速度を計測して移動体制御部１０５に送信する。移動体制御部１０５はその物体１０４までの距離や相対速度からブレーキやアクセルの制御を決定し車両１０３を制御する。
　すなわち、移動体制御部１０５は、撮像装置１０１とミリ波レーダ装置１０２（レーダ装置）を有する車両１０３（移動体）の制御装置である。
　本発明を実施する移動体制御部１０５の第一の形態を図２に示す。なお、移動体制御部１０５は、例えば、ＥＣＵ（Electronic Control Unit）であり、メモリ（記憶装置）、ＣＰＵ（プロセッサ）、入出力回路（通信装置）等から構成される。
　撮像装置１０１とミリ波レーダ装置１０２に対してそれぞれ物体検出部２０１、２０２が移動体制御部１０５に設けられ、自車（車両１０３）から見える視界中に存在する様々な物体を検出する。撮像装置１０１は取得されたセンサ情報からリアルタイムに三次元地図を三次元地図生成部２０３で生成する。ここで三次元地図は、センサの視界中に存在する物体の奥行方向、高さ方向、横方向の情報（例えば、距離情報）を持つ。
　三次元地図は、ステレオカメラによる距離画像や、ＬＩＤＡＲの様に距離情報を持つ点群を取得するようなセンサを使用してもよいし、単眼カメラを用いた時系列解析による距離情報の生成や学習による距離画像の生成を用いてもよく、その手段を問わない。
　三次元地図を生成した後にレーダ重みマップ推定を実施する。レーダ重みマップ推定部２０４は、三次元地図の各点においてその点から到来したレーダ信号がどれだけ信頼できるかの重み値を生成する。重み調整部２０５は、ミリ波レーダ装置１０２（レーダ装置）側の物体検出部２０２で検出された物体の信頼度や存在確率、距離精度など、検出に関わる値の調整をレーダ重みマップ推定部２０４の結果を用いて実施する。その結果はセンサフュージョン部２０６に入力される。
　センサフュージョン部２０６は、撮像装置側の物体検出部２０１の結果と突き合わせて一つの信号とし、その信号を制御部１０９に送信する。すなわち、センサフュージョン部２０６は、撮像装置１０１による検出結果と重みに基づいて調整されたミリ波レーダ装置１０２（レーダ装置）による検出結果を合成して出力する。これにより、合成された検出結果の信頼度を確保することができる。制御部１０９はその結果に従って車両を制御する信号を生成する。
　図３に三次元地図生成部２０３の構成例を示す。
　ここでは撮像装置１０１の一例としてステレオカメラを用いた場合の例を示す。ステレオカメラでは設置された二つ以上のカメラの視差から三角測量の原理で距離を計測でき、それを距離画像生成部３０１として出力し、水平方向、鉛直方向に距離情報を持つ三次元地図として扱うことができる。三次元地図生成部２０３では少なくともこのような機能を備える。
　換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。なお、ここで作成された三次元地図生成部２０３の結果は、撮像装置１０１の物体検出部２０１にも使われうる。
　また、撮像されたのちに画像解析によって距離毎の物体の属性や、物体の素材推定を実施する、物体属性推定部３０２を三次元地図生成部２０３は備える。物体の属性推定に関しては一般に知られる手法として画像に対して識別器の利用やセマンティックセグメンテーション、インスタンスセグメンテーションなどが公知技術として知られ、ここではその手法を問わない。
　換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から検出される物体の属性を推定する物体属性推定部３０２（属性推定部）を含む。推定される物体の属性は、例えば、歩行者、車両、壁、樹木、縁石、ガードレール、又はポールである。
　なお、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と物体の属性（例えば、ガードレール）との組み合わせから推定（設定）してもよい。例えば、三次元の形状としての「コーナー状」と物体の属性としての「ガードレール」との組み合わせに小さな重みを紐付けてメモリに記憶しておく。
　これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と属性推定部で推定される物体の属性（例えば、ガードレール）との組み合わせに応じてレーダ装置による検出結果を調整することができる。
　図４にレーダ重みマップ推定部２０４の構成例を示す。
　レーダ重みマップ推定部２０４では、三次元地図生成部２０３で作成された情報が入力される。特定形状検出部４０２は、登録された特定形状データベース４０１を参照して特定形状を検出することで、マルチパスが起きる可能性のある場所を推定し、その検出された場所に重み設定部４０４において低い重みを割り当てさせる。
　換言すれば、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状から推定する。
　特定形状データベース４０１は、マルチパスを発生させやすそうな形状の特徴を保持する。特定形状データベース４０１では、後述するように形状の材質によって重み設定を変える必要がある場合があるため、形状の材質情報も重み設定部に送信することが考えられる。
　異なる実現方法として、マルチパスを発生させやすそうな大きな物体を物体サイズ測定部４０３が検出し、重み設定部４０４はその周辺に低い信頼度を割り当てる。
　換言すれば、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図において所定の大きさ以上の物体（第１の物体）が存在する場合、その物体（第１の物体）の周辺の三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げる。これにより、例えば、マルチパスを誘発しやすい大型トレーラーが移動体（自車両）の周辺に存在する場合に、大型トレーラーの周辺のレーダ装置による検出結果の信頼度を下げることができる。
　なお、レーダ重みマップ推定部２０４（重み推定部）は、三次元地図において物体（第１の物体）に近接する別の物体（第２の物体）が存在する場合に、物体（第１の物体）及び別の物体（第２の物体）の周辺の三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げてもよい。これにより、例えば、大型トレーラーと乗用車が並走する場合に、それらの周辺のレーダ装置による検出結果の信頼度を下げることができる。
　図５に特定形状データベース４０１に登録される特定形状の例を示す。
　この特定形状はセンサからの到来角によって異なるが、ここでは５０１に図示した方向における形状を示す。この図では俯瞰した状態における特定形状を示す。マルチパスは５０２のように、コーナー状（凹状）になっている箇所において起こりやすい。その形状が連続的に変化する例や形状５０３も同様の現象が起こる可能性がある。逆に円状（凸状）のパタンが車両方向に向いている形状５０４では、強い反射が車両に対して入るため、そちらからの信号が支配的になり、他からの信号群に影響を与え、誤計測となる可能性がある。
　先述した通りこの特定形状はセンサの到来角によって異なる。特定形状データベース４０１への格納方法としては点列で特定形状を格納し、到来角度の絶対値と参照する距離をパラメータとして形状を調整して特定形状データベース４０１から出力することが考えられる。
　本実施形態では、レーダ重みマップ推定部２０４（重み推定部）は、三次元の形状がコーナー状又は円状の場合、三次元の形状に対応する三次元地図の領域のミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを下げる。これにより、三次元の形状がコーナー状又は円状であり、レーダ装置による誤検出を誘発しやすい形状である場合に、レーダ装置による検出結果の重みを下げることができる。
　図６（図６－１から図６－３）を用いて重み設定部４０４の例を説明する。
　図６－１のように自車両６０１があり、前方に２台の前方車両６０２、６０３が存在し、１台の大型トレーラー６０４がいる時のことを考える。撮像装置１０１から得られた三次元地図の俯瞰図が図６－２の様に得られたとする。図６－２に描画された破線はセンサ中心からの広がり角度の基準を示しており、左から２０°、１０°、０°、－１０°、－２０°を示す。
　図６－２を解析することで、重み設定部４０４は特定形状が存在すればその領域の重みを下げる。図６－３にその一例を示している。横軸はセンサ中心からの広がり角度、縦軸は距離である。今、特定形状データベース４０１（辞書）から特定形状が与えられた場合に、その特定形状（特殊形状）に当てはまる箇所が、－１５°、２０ｍ先の距離だと仮定すると、その領域のミリ波レーダ信頼度を他に比べて落とす。
　この表（図６－３）では、信頼度がＡ、Ｂ、Ｃの順に高い（Ａ＞Ｂ＞Ｃ）。＋２０°、３０ｍ先がＣになっているのは物体（前方車両６０２）が手前にある遮蔽領域であるため設定している。図６－３は俯瞰表現を元にしているため、2次元で表記しているが実際には3次元の情報を持つことも可能である。その場合、高さに応じて重みを変更することが可能である。
　この様な重みマップを持つことによってさらに後段の重み調整部２０５でミリ波レーダの検出結果の重要度を制御する。
　なお、特に当該形状が、ガードレールや金属物体と判断された領域においては一般に反射率が高く特定形状の影響する範囲が大きくなる。そのため、物体属性推定部３０２において金属体と推定される場合には、より大きい重みの調整を重み設定部４０４でかけることが必要となる。
　逆にプラスチックや木材など、反射率が低い物体に対しては反射の影響が低い可能性があるため、そのように物体属性推定部３０２において推定された場合には重み設定部４０４で影響を及ぼさないようにするような調整が必要である。例えばその場合、図６－３で与えられる表の重みを－１５°、２０ｍにおいてＡに変更する。
　換言すれば、三次元地図生成部２０３は、撮像装置１０１で撮像される画像から検出される物体の材質を推定する物体属性推定部３０２（属性推定部）を含む。推定される物体の材質は、例えば、金属、石材、樹木、又はプラスチックである。レーダ重みマップ推定部２０４（重み推定部）は、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状と物体の材質との組み合わせから推定（設定）する。例えば、三次元の形状としての「コーナー状」と物体の材質としての「金属」との組み合わせに小さな重みを紐付けてメモリに記憶しておく。
　これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状（例えば、コーナー状）と属性推定部で推定される物体の材質（例えば、金属）との組み合わせに応じてレーダ装置による検出結果を調整することができる。
　重み調整部２０５は、上記のように設定された重みからミリ波レーダ装置１０２で検出された結果を調整する。ミリ波レーダ装置１０２の物体検出部２０２の時点で物体の存在確率や距離・相対速度精度が与えられる場合には、その精度や確率を調整することが考えられる。与えられない場合においては、その重みをセンサフュージョン部２０６で処理することとし、単純に物体検出部２０２の出力に付加してもよく、重みの扱いにおいてその手法を問わない。
　本実施形態では、重み調整部２０５（調整部）は重みに基づいてミリ波レーダ装置１０２（レーダ装置）による検出結果を調整する。具体的には、例えば、重みが小さくなるにつれてミリ波レーダ装置１０２（レーダ装置）による検出結果の信頼度を低く評価する。
これにより、撮像装置で撮像される画像から生成される三次元地図の領域ごとの三次元の形状に応じてレーダ装置による検出結果を調整することができる。また、ナビゲーション用の地図に登録されていない物体をレーダ装置が検出する場合にも対応することができる。
　なお、移動体制御部１０５は、少なくとも図９に示すように、撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成し（Ｓ１０）、三次元地図の領域ごとのミリ波レーダ装置１０２（レーダ装置）による検出結果の重みを、三次元地図の領域ごとの三次元の形状から推定し（Ｓ１５）、重みに基づいてミリ波レーダ装置１０２（レーダ装置）による検出結果を調整する（Ｓ２０）。
　センサフュージョン部２０６は、ミリ波レーダ装置１０２から検出された結果、撮像装置１０１から検出された結果を用いてそれらの検出結果を合成し、制御部２０７に出力する。フュージョンする方式としては単純に重みや確率が高いほうを検出結果として採用する、確率的にフュージョンして検出結果とするという手法が考えられ、その方式を問わない。
　図７では三次元地図生成部２０３に過去の履歴情報が入力される例を示す。
　図７の形態では、ある時刻ｔでの三次元地図からその次の時刻ｔ＋１の三次元地図を地図予測部７０１が自車挙動や各位置における速度などから適切に予測し、三次元地図を次に生成する際に時刻ｔで予測された地図と時刻ｔ＋１の地図を三次元地図生成部２０３で合成する。合成された地図は後段の処理で使用される。この様な仕組みを取ることで、現在のフレームから取得した三次元地図に誤差があった場合や情報の欠落があった場合でも過去の情報（三次元地図）から外挿を行い、統計的に精度を高めることが期待できる。
　換言すれば、移動体制御部１０５は、三次元地図から次のフレームにおける三次元地図を予測する地図予測部７０１を備える。三次元地図生成部２０３は、地図予測部７０１で予測された次のフレームの三次元地図と撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。これにより、フュージョン前の三次元地図を用いて三次元地図生成部で生成される三次元地図の精度を向上することができる。
　図８では過去の履歴情報がセンサフュージョンの後の各センサの情報から合成した地図情報を使用する例を説明する。
　車両制御システムは、そのフュージョンされた過去の地図情報から現在の地図情報を予測する地図予測部８０２を備え、三次元地図生成部２０３に反映する構成である。
　換言すれば、移動体制御部１０５は、センサフュージョン部２０６で合成された検出結果から三次元地図を作成する合成地図作成部８０１と、合成地図作成部８０１で作成された三次元地図から次のフレームにおける三次元地図を予測する地図予測部８０２と、を備える。三次元地図生成部２０３は、予測された次のフレームの三次元地図と撮像装置１０１で撮像される画像から車両１０３（移動体）の周辺の三次元地図を生成する。これにより、フュージョン後の三次元地図を用いて三次元地図生成部で生成される三次元地図の精度を向上することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　上記実施形態では、撮像装置１０１はステレオカメラで距離を計測しているが、単眼カメラで計測してもよい。上記実施形態では、レーダ装置としてミリ波レーダ装置１０２を用いているが、ミリ波以外の波長の電波を用いるレーダ装置であってもよい。
　上記実施形態では、物体検出部２０１、２０２は移動体制御部１０５に設けられるが、それぞれ撮像装置１０１、ミリ波レーダ装置１０２に設けるようにしてもよい。上記実施形態では、移動体制御部１０５に設けられるが、別のＥＣＵに設けるようにしてもよい。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、を備える移動体制御装置。
　（２）．（１）に記載のレーダ信頼度推定部は、（１）に記載の三次元地図に基づいて、所定以上の大きさを持つ物体が存在する場合、また、複数の近接した形状をもつ場合において、方位と距離毎に前記レーダ装置の信頼度を下げることを特徴とした移動体制御装置。
　（３）．（１）に記載の三次元地図生成部は、距離情報生成部と属性情報生成部を持ち、前記属性情報生成部は歩行者、車両、壁、樹木、縁石、ガードレール、ポールのうち1つ以上の属性を撮像対象に対して推定することを特徴とした移動体制御装置。
　（４）．（１）に記載の三次元地図生成部は、距離情報生成部と材質情報生成部を持ち、前記属性情報生成部は金属、石材、樹木、プラスチックのうち少なくとも一つ以上の属性を撮像対象に対して特徴とした移動体制御装置。
　（５）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記重み調整部の結果に基づいて撮像装置とミリ波レーダの検出結果を合成して出力するセンサフュージョン部と、を備える移動体制御装置。
　（６）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記三次元地図の情報から次のフレームにおける三次元地図を予測し、次のフレームの三次元地図生成部に反映させる地図予測部と、を備える移動体制御装置。
　（７）．外界の物体を検出する撮像装置とミリ波レーダ装置を備える移動体制御装置であって、前記撮像装置の情報から移動体周辺の三次元地図を生成する三次元地図生成部と、前記三次元地図を用いて距離と方位に基づいた領域ごとの前記ミリ波レーダ装置による検出結果の重みを三次元の形状から推定するレーダ重み推定部と、前記レーダ重み推定部で推定した重みに基づいて前記レーダ装置によって検出された前記物体の信頼度を調整する重み調整部と、前記重み調整部の結果に基づいて撮像装置とミリ波レーダの検出結果を合成して出力するセンサフュージョン部と、合成結果から地図を作成する合成地図作成部と、前記合成地図作成部の情報から次のフレームにおける三次元地図を予測し、次のフレームの三次元地図生成部に反映させる地図予測部と、を備える移動体制御装置。
　（１）～（７）によれば、ナビゲーション用の地図に登録されていない物体がミリ波レーダの検知誤りを誘発する際にもその誤りを低減し、信頼性の高いセンサシステムを提供することができる。
１０１…撮像装置、１０２…ミリ波レーダ装置、１０３…車両、１０４…物体、１０５…移動体制御部、１０９…制御部、２０１…物体検出部、２０２…物体検出部、２０３…三次元地図生成部、２０４…レーダ重みマップ推定部、２０５…重み調整部、２０６…センサフュージョン部、２０７…制御部、３０１…距離画像生成部、３０２…物体属性推定部、４０１…特定形状データベース、４０２…特定形状検出部、４０３…物体サイズ測定部、４０４…重み設定部、６０１…自車両、６０２、６０３…前方車両、６０４…大型トレーラー、７０１…地図予測部、８０１…合成地図作成部、８０２…地図予測部

Claims (10)

  1. 　撮像装置とレーダ装置を有する移動体の制御装置であって、
    　前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する三次元地図生成部と、
    　前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状から推定する重み推定部と、
    　前記重みに基づいて前記レーダ装置による検出結果を調整する調整部と、
    　を備える移動体の制御装置。
  2. 　請求項１に記載の移動体の制御装置であって、
    　前記重み推定部は、
    　前記三次元地図において所定の大きさ以上の第１の物体が存在する場合、前記第１の物体の周辺の前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる
    　ことを特徴とする移動体の制御装置。
  3. 　請求項２に記載の移動体の制御装置であって、
    　前記重み推定部は、
    　前記三次元地図において前記第１の物体に近接する第２の物体が存在する場合に、前記第１の物体及び前記第２の物体の周辺の前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを下げる
    　ことを特徴とする移動体の制御装置。
  4. 　請求項１に記載の移動体の制御装置であって、
    　前記三次元地図生成部は、
    　前記撮像装置で撮像される画像から検出される物体の属性を推定する属性推定部を含み、
    　推定される前記物体の属性は、
    　歩行者、車両、壁、樹木、縁石、ガードレール、又はポールであり、
    　前記重み推定部は、
    　前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状と前記物体の属性との組み合わせから推定する
    　ことを特徴とする移動体の制御装置。
  5. 　請求項１に記載の移動体の制御装置であって、
    　前記三次元地図生成部は、
    　前記撮像装置で撮像される画像から検出される物体の材質を推定する属性推定部を含み、
    　推定される前記物体の材質は、
    　金属、石材、樹木、又はプラスチックであり、
    　前記重み推定部は、
    　前記三次元地図の領域ごとの前記レーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状と前記物体の材質との組み合わせから推定する
    　ことを特徴とする移動体の制御装置。
  6. 　請求項１に記載の移動体の制御装置であって、
    　撮像装置による検出結果と前記重みに基づいて調整された前記レーダ装置による検出結果を合成して出力するセンサフュージョン部を備える
    　ことを特徴とする移動体の制御装置。
  7. 　請求項１に記載の移動体の制御装置であって、
    　前記三次元地図から次のフレームにおける三次元地図を予測する地図予測部を備え、
    　前記三次元地図生成部は、
    　前記地図予測部で予測された次のフレームの三次元地図と前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する
    　ことを特徴とする移動体の制御装置。
  8. 　請求項６に記載の移動体の制御装置であって、
    　前記センサフュージョン部で合成された検出結果から三次元地図を作成する合成地図作成部と、
    　前記合成地図作成部で作成された三次元地図から次のフレームにおける三次元地図を予測する地図予測部と、を備え、
    　前記三次元地図生成部は、
    　予測された次のフレームの三次元地図と前記撮像装置で撮像される画像から前記移動体の周辺の三次元地図を生成する
    　ことを特徴とする移動体の制御装置。
  9. 　請求項１に記載の移動体の制御装置であって、
    　前記重み推定部は、
    　前記三次元の形状がコーナー状又は円状の場合、前記三次元の形状に対応する前記三次元地図の領域の前記レーダ装置による検出結果の重みを下げる
    　ことを特徴とする移動体の制御装置。
  10. 　撮像装置で撮像される画像から移動体の周辺の三次元地図を生成する三次元地図生成工程と、
    　前記三次元地図の領域ごとのレーダ装置による検出結果の重みを、前記三次元地図の前記領域ごとの三次元の形状から推定する重み推定工程と、
    　前記重みに基づいて前記レーダ装置による検出結果を調整する調整工程と、
    　を制御装置に実行させる方法。
PCT/JP2020/041140 2019-11-26 2020-11-04 移動体の制御装置及び方法 WO2021106509A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020005077.7T DE112020005077T5 (de) 2019-11-26 2020-11-04 Einrichtung und verfahren zum steuern eines mobilen körpers
US17/779,847 US20230004169A1 (en) 2019-11-26 2020-11-04 Apparatus and Method for Controlling Mobile Body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019213480A JP7401273B2 (ja) 2019-11-26 2019-11-26 移動体の制御装置及び方法
JP2019-213480 2019-11-26

Publications (1)

Publication Number Publication Date
WO2021106509A1 true WO2021106509A1 (ja) 2021-06-03

Family

ID=76087741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041140 WO2021106509A1 (ja) 2019-11-26 2020-11-04 移動体の制御装置及び方法

Country Status (4)

Country Link
US (1) US20230004169A1 (ja)
JP (1) JP7401273B2 (ja)
DE (1) DE112020005077T5 (ja)
WO (1) WO2021106509A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407298A (zh) * 2022-09-15 2022-11-29 中国人民解放军国防科技大学 广角凝视sar起伏路面动目标三维轨迹重构方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252348A (ja) * 2005-03-11 2006-09-21 Secom Co Ltd 移動ロボット
JP2011127782A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 空調制御装置、空調制御方法及び輻射温度計測装置
JP2011127977A (ja) * 2009-12-16 2011-06-30 Ntt Docomo Inc 目的地予測装置、目的地予測方法、交差点進行方向推定装置および交差点進行方向推定方法、三次元地図表示システム、三次元地図表示方法
JP2012173230A (ja) * 2011-02-24 2012-09-10 Daihatsu Motor Co Ltd 物体認識装置
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP5820774B2 (ja) * 2012-06-21 2015-11-24 株式会社豊田中央研究所 路面境界推定装置及びプログラム
JP5900623B2 (ja) * 2012-07-27 2016-04-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
EP4296721A3 (en) * 2015-04-01 2024-03-20 Vayavision Sensing Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
JP6784943B2 (ja) * 2015-09-30 2020-11-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
JP7039514B2 (ja) * 2019-03-15 2022-03-22 株式会社東芝 自己位置推定装置
US11507084B2 (en) * 2019-03-27 2022-11-22 Intel Corporation Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252348A (ja) * 2005-03-11 2006-09-21 Secom Co Ltd 移動ロボット
JP2011127782A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 空調制御装置、空調制御方法及び輻射温度計測装置
JP2011127977A (ja) * 2009-12-16 2011-06-30 Ntt Docomo Inc 目的地予測装置、目的地予測方法、交差点進行方向推定装置および交差点進行方向推定方法、三次元地図表示システム、三次元地図表示方法
JP2012173230A (ja) * 2011-02-24 2012-09-10 Daihatsu Motor Co Ltd 物体認識装置
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407298A (zh) * 2022-09-15 2022-11-29 中国人民解放军国防科技大学 广角凝视sar起伏路面动目标三维轨迹重构方法及装置

Also Published As

Publication number Publication date
US20230004169A1 (en) 2023-01-05
JP7401273B2 (ja) 2023-12-19
JP2021086298A (ja) 2021-06-03
DE112020005077T5 (de) 2022-07-28

Similar Documents

Publication Publication Date Title
US11027653B2 (en) Apparatus, system and method for preventing collision
US20200387160A1 (en) Autonomous cruise control apparatus and method
EP3164859B1 (en) Vehicle radar methods and systems
US10836388B2 (en) Vehicle control method and apparatus
WO2017014080A1 (ja) 運転支援システム
US10940856B2 (en) Driving assistance system
JP5785578B2 (ja) 車両周辺監視装置
JP6694067B2 (ja) 物体検知装置及びそれを備えた車両制御システム
US10325163B2 (en) Vehicle vision
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
WO2019172103A1 (ja) 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置
JPWO2015174178A1 (ja) 移動支援装置
WO2020039840A1 (ja) レーダ処理装置
GB2556384A (en) Detection of oncoming vehicles with IR light
JP2010162975A (ja) 車両制御システム
JP2017162178A (ja) 判定装置、判定方法、および判定プログラム
WO2021106509A1 (ja) 移動体の制御装置及び方法
Jumaa et al. Advanced driver assistance system (ADAS): A review of systems and technologies
JP6834020B2 (ja) 物体認識装置および物体認識方法
KR102326545B1 (ko) 차량 주변 물체 감지 방법 및 장치
CN110065492B (zh) 车辆控制系统
US11906623B1 (en) Velocity estimation using light detection and ranging (LIDAR) system
WO2023013110A1 (ja) 外界認識装置
EP4060373A2 (en) Multispectral object-detection with thermal imaging
JP2023106215A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20891788

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20891788

Country of ref document: EP

Kind code of ref document: A1