WO2019172341A1 - 物体検知装置、物体検知方法、および記録媒体 - Google Patents

物体検知装置、物体検知方法、および記録媒体 Download PDF

Info

Publication number
WO2019172341A1
WO2019172341A1 PCT/JP2019/008953 JP2019008953W WO2019172341A1 WO 2019172341 A1 WO2019172341 A1 WO 2019172341A1 JP 2019008953 W JP2019008953 W JP 2019008953W WO 2019172341 A1 WO2019172341 A1 WO 2019172341A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
data
vehicle
sensor
azimuth
Prior art date
Application number
PCT/JP2019/008953
Other languages
English (en)
French (fr)
Inventor
真 大門
直広 藤原
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to EP19764676.3A priority Critical patent/EP3764339A4/en
Priority to CN201980016991.3A priority patent/CN111801718B/zh
Publication of WO2019172341A1 publication Critical patent/WO2019172341A1/ja
Priority to US17/012,046 priority patent/US11954918B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to an object detection technique for detecting an object existing around a vehicle.
  • Patent Document 1 discloses a technique for ensuring safe driving of a vehicle based on a measurement result by measuring not only the distance to the front obstacle but also the lateral position of the obstacle. This technique calculates the lateral position of two obstacles based on image information and distance information for the purpose of detecting the lateral spread of the obstacle, and based on the calculated lateral position and distance information. Then, the two-dimensional position of the two obstacles is measured.
  • Patent Document 2 discloses a technique for recognizing a three-dimensional object with excellent resolution.
  • a planar distribution of distance information to the surface of an object is measured by ultrasonic sensors arranged on a plane, and a first stereoscopic image of the object is extracted based on the measured distance information.
  • a planar image of the object is extracted from the image captured using the camera.
  • the extracted planar image and the first stereoscopic image are combined to generate a fine second stereoscopic image.
  • This disclosure provides a technique for easily detecting an object based on two one-dimensional information of azimuth data and distance data.
  • An object detection device includes an orientation sensor (11, 12) that measures the orientation of an object existing around a vehicle, and a distance sensor (21) that measures a distance from the vehicle to the object. ) And the azimuth data measured using the azimuth sensor (11, 12) and the distance data measured using the distance sensor (21) to superimpose the position of the object. (30).
  • the position specifying unit (30) has a grid map of a polar coordinate system centered on a vehicle, and specifies a grid where an object exists on the grid map based on the distance data and the orientation data. May be.
  • the object detection device of the present disclosure superimposes one-dimensional information, ie, azimuth data measured using the azimuth sensor (11, 12) and distance data measured using the distance sensor (21), in a predetermined coordinate space. .
  • a common data area is specified for the orientation data and the distance data.
  • the position where the object exists can be easily specified based on the one-dimensional information of the azimuth and the distance.
  • the object detection device specifies a grid area including azimuth data measured using an azimuth sensor and a grid area including distance data measured using a distance sensor in a grid map of a polar coordinate system. Then, in the two specified grid areas, a common grid (a grid in which an object exists) may be specified.
  • the object detection device of the present disclosure includes a plurality of distance sensors (21) having different detection ranges, and the position specifying unit (30) includes the azimuth data, the distance data, and the distance sensor (21).
  • the position of the object may be specified based on detection range data.
  • the object detection device of the present disclosure can identify the position of each object based on the distance data and the azimuth data even when there are a plurality of objects around the vehicle.
  • the object detection device of the present disclosure includes an orientation sensor ECU (12) that controls the orientation sensor (11, 12), and a distance sensor ECU (22) that controls the distance sensor (21),
  • the azimuth sensor ECU (12) stores azimuth data measured using the azimuth sensors (11, 12) in a memory
  • the distance sensor ECU (22) uses the distance sensor (21).
  • the measured distance data is stored in a memory
  • the position specifying unit (30) stores the direction data stored in the direction sensor ECU (12) and the distance data stored in the distance sensor ECU (22).
  • the position of the object may be specified by superimposing the data. In this way, by adopting a configuration in which the distance data is stored, for example, the distance data can be used for vehicle control (short distance PCS, prevention of misstepping, etc.).
  • An object detection device of the present disclosure detects a camera (11) that captures an object existing around a vehicle, and detects the object from an image captured using the camera (11), and determines a direction in which the object exists.
  • An image processing unit (12) for specifying, a distance sensor (21) for measuring a distance from the vehicle to the object, data of a direction specified by the image processing unit (12), and the distance sensor (21)
  • a position specifying unit (30) for specifying a grid in which an object is present on a grid map of a polar coordinate system centered on a vehicle based on distance data measured by using the position specifying unit (30 ) Across multiple grids based on the detection results of the objects from the image data obtained from the image processing unit (12) when the objects are detected in the multiple grids. Identifying the same object to be stationary. With this configuration, the object detection device of the present disclosure can recognize whether the objects detected in the plurality of grids are the same object.
  • the object detection method of the present disclosure includes a step of acquiring azimuth data of an object existing around the vehicle from a direction sensor (11, 12) provided in the vehicle, and a distance sensor (21 provided in the vehicle). ) To acquire the distance data from the vehicle to the object, and superimpose the azimuth data and the distance data to specify the position of the object.
  • the recording medium of the present disclosure is a recording medium that records a program for detecting an object present around a vehicle, and is present around the vehicle from an orientation sensor (11, 12) provided in the vehicle. Obtaining data on the direction of the object to be obtained, obtaining data on the distance from the vehicle to the object from a distance sensor (21) provided in the vehicle, data on the direction and data on the distance And the step of specifying the position of the object is recorded, and the program for causing the ECU to execute is recorded.
  • the technique of the present disclosure can specify a position where an object exists with a simple configuration using one-dimensional information obtained from an orientation sensor and a distance sensor.
  • FIG. 1 is a diagram illustrating a configuration of an object detection device 1 according to the first embodiment.
  • the object detection device 1 is used by being mounted on a vehicle, and has a function of detecting an object existing around the vehicle.
  • the object detection device 1 includes a camera 11, a sonar 21, a position specifying unit 30, and an output unit 31.
  • the camera 11 is connected to the camera ECU 12.
  • the camera ECU 12 has an image processing function (corresponding to an image processing unit).
  • the camera ECU 12 performs predetermined image processing on an image captured using the camera 11 and detects an object from the captured image.
  • the camera ECU 12 obtains azimuth data in which the detected object exists.
  • the azimuth angle indicating the azimuth is calculated from the angle with respect to the reference azimuth and used as azimuth data.
  • the camera ECU 12 constitutes an orientation sensor by the camera 11 and the image processing function.
  • the orientation data obtained by the camera ECU 12 is stored in the storage unit 13 connected to the camera ECU 12.
  • the storage unit 13 is a storage device such as a memory.
  • the sonar 21 is a device that measures the distance to an object using, for example, ultrasonic waves, and corresponds to a distance sensor.
  • the sonar 21 is connected to the sonar ECU 22.
  • the sonar ECU 22 obtains distance data from the detection result of the sonar 21.
  • the time required from transmission of a radio wave to reception of a reflected wave from an object is converted into distance and used as distance data.
  • the distance data obtained by the sonar ECU 22 is stored in the storage unit 23 connected to the sonar ECU 22.
  • the storage unit 23 is a storage device such as a memory.
  • the position specifying unit 30 acquires the orientation data of the object from the camera ECU 12 and the distance data from the sonar ECU 22 to the object.
  • the position specifying unit 30 detects the position of the object based on the azimuth data and the distance data.
  • FIG. 2 is a diagram illustrating the principle of the position detection of the object by the position specifying unit 30.
  • FIG. 2A is a diagram showing a grid map viewed from the vehicle.
  • the position specifying unit 30 has a grid map GM of a polar coordinate system having the installation position of the camera 11 and the sonar 21 in the vehicle 90 as the origin (pole).
  • the grid map GM has a azimuth coordinate axis and a distance coordinate axis.
  • the position specifying unit 30 includes a grid area R1 (first grid area) including object orientation data obtained by the camera ECU 12, and a grid area R2 (second grid) containing object distance data obtained by the sonar ECU 22. Area) is specified on the grid map GM.
  • the position specifying unit 30 specifies the grid A where the two specified grid regions R1 and R2 overlap as a grid in which an object exists. That is, the position specifying unit 30 specifies the common grid A in the two specified grid regions R1 and R2.
  • the object T1 is present obliquely to the left of the vehicle 90.
  • the azimuth data azimuth angle
  • the distance to the object T1 is not known.
  • the object T1 is located in the third grid region R1 from the left (within a range of ⁇ 20 ° to ⁇ 30 °) in the grid map GM.
  • the object T1 exists in the sixth concentric grid region R2 counted from the polar coordinate origin in the grid map GM.
  • the position specifying unit 30 superimposes the grid region R1 including the azimuth data and the grid region R2 including the distance data on the grid map GM of the polar coordinate system. Accordingly, it can be seen that the object T1 exists in the grid A, which is an area where the grid area R1 of the orientation data and the grid area R2 of the distance data overlap. That is, it can be seen that the object T1 exists in a common data area for the azimuth data and the distance data.
  • the above is the principle of object detection by the object detection apparatus 1 of the present embodiment.
  • the object detection device 1 of the present embodiment includes a plurality of sonars 21.
  • FIG. 3 is a diagram showing an example of the camera 11 and the sonars 21a to 21d attached to the vehicle 90.
  • Sonars 21 a and 21 b are installed on the left side of the camera 11, and sonars 21 c and 21 d are installed on the right side of the camera 11. According to this configuration, it is possible to detect the position of an object existing in a range where the shooting range D1 of the camera 11 and the detection ranges D2a to D2d of the sonars 21a to 21d overlap.
  • the detection ranges D2a to D2d of the sonars 21a to 21d are different.
  • the installation position of the camera 11 and the installation positions of the sonars 21a to 21d are shifted. Considering this point, the distance data detected by the sonars 21a to 21d is converted into a polar coordinate system of the azimuth data detected by the camera 11.
  • FIG. 4 is a diagram for explaining object detection when there are two objects T1 and T2.
  • FIG. 4A is a diagram showing a grid map GM viewed from the position where the camera 11 is mounted.
  • the objects T1 and T2 exist on the left oblique front and right oblique front of the vehicle 90.
  • the object T1 is located in the third grid region R11 from the left (within a range of ⁇ 20 ° to ⁇ 30 °) in the grid map GM from the orientation data obtained from the captured image of the camera 11. I understand. It can also be seen that the object T2 is located in the third grid region R12 from the right (within a range of 20 ° to 30 °).
  • the object detection apparatus 1 has a third concentric circle shape from the third grid region R11 (from ⁇ 20 ° to ⁇ 30 °) from the left and the polar coordinate origin on the grid map GM. Are overlapped with the grid region R21.
  • the object detection apparatus 1 detects that the object T1 exists in the grid A where two grid area
  • the right sonar 21c also detects the object T2, and its distance data indicates that the object T2 is located in the fourth concentric grid region R22 counted from the polar coordinate origin.
  • the right sonar 21c has a detection range D2c diagonally forward to the right. Therefore, it can be seen that the object detected by the right sonar 21c is not the object T1 located in the third grid region R11 from the left (within a range of ⁇ 20 ° to ⁇ 30 °).
  • the object detection device 1 Similar to when the object T1 is detected, the object detection device 1 has a fourth concentric grid region R22 from the origin of polar coordinates and a third grid region R12 (20 ° from the right) on the polar coordinate grid map GM. Over the range of ⁇ 30 °. Thereby, the object detection apparatus 1 detects that the object T2 exists in the grid B where two grid area
  • FIG. 5 is a flowchart showing the object detection process executed by the object detection apparatus 1.
  • the object detection device 1 detects an object from the photographed image of the camera 11 by the camera ECU 12, and acquires azimuth data (azimuth angle) of the object (S10).
  • the camera ECU 12 stores the acquired data in the storage unit 13.
  • the object detection device 1 acquires distance data in which an object exists from the detection result of the sonar 21 by the sonar ECU 22 (S11).
  • the sonar ECU 22 stores the acquired data in the storage unit 23.
  • the object detection device 1 causes the position specifying unit 30 to superimpose the azimuth data and the distance data of the sonar 21 whose detection range is the azimuth indicated by the data on the grid map GM.
  • the grid to be specified is specified (S12).
  • the position specifying unit 30 specifies a grid area R1 including orientation data and a grid area R2 including distance data on the grid map GM of the polar coordinate system.
  • the position specifying unit 30 specifies a common grid A in the two specified grid regions R1 and R2.
  • the object detection device 1 outputs the specified grid data as an object detection result to the external device via the output unit 31 (S13).
  • An example of the external device is an operation control device (not shown).
  • the driving control device performs various driving controls on the vehicle based on the detected position data of the object (output data from the object detecting device 1).
  • the operation control device controls the operation of the vehicle as follows.
  • the vehicle includes various actuators such as a steering drive device, an accelerator drive device, and a brake drive device.
  • the steering drive device rotationally drives the steering shaft.
  • the accelerator driving device drives an accelerator pedal.
  • the brake drive device drives a brake pedal.
  • the driving control device detects outputs from a vehicle speed sensor, a steering angle sensor, an accelerator sensor, and a brake sensor, and generates control signals for various actuators to be driven.
  • the operation control device transmits the generated control signal to the actuator. Accordingly, the driving control device controls driving of the steering driving device, the accelerator driving device, the brake driving device, and the like, thereby controlling the driving of the vehicle.
  • the function of the position specifying unit 30 that realizes the operation of the object detection device 1 described above is realized by executing a program in an electronic control unit (ECU).
  • ECU electronice control unit
  • a non-transitional tangible recording medium in which such a program is recorded is also included in the technology of the present disclosure.
  • a schematic configuration of the ECU that realizes the function of the position specifying unit 30 will be described with reference to FIG. 6.
  • the ECU 100 includes a power supply circuit 101, an MPU 102, an input / output circuit 103, and the like.
  • the power supply circuit 101 controls power supplied to the MPU 102.
  • the input / output circuit 103 controls signal input to the MPU 102 and signal output from the MPU 102.
  • the output function of the input / output circuit 103 corresponds to the output unit 31.
  • the MPU 102 includes a CPU 201, a memory 202, an I / O unit 203, and the like.
  • the CPU 201 is a processing device that includes an arithmetic circuit, a control circuit, a register, and the like.
  • the memory 202 is a storage device such as a semiconductor memory such as a ROM or a RAM.
  • the I / O unit 203 is an input / output interface with an external device. These are connected to the bus B so that they can communicate with each other.
  • the ECU 100 reads out a program stored in the memory 202, for example, and the CPU 201 executes the read program.
  • the ECU 100 provides various functions with such a configuration.
  • the position specifying unit 30 is not limited to the implementation method using the software configuration as described above, and may be implemented using a hardware configuration.
  • the position specifying unit 30 can be realized using, for example, an electronic circuit including an LSI and a memory. Further, the position specifying unit 30 may be realized by combining a software configuration (function provided by the ECU) and a hardware configuration (function provided by an electronic circuit).
  • the object detection apparatus 1 is based on a grid map GM in a polar coordinate system in which the orientation of the object detected by the camera 11 and the distance to the object detected by the sonar 21 are the origins of the installation positions of the camera 11 and sonar 21. To map. Then, the object detection device 1 identifies, on the grid map GM, a grid where the orientation mapping result (grid region including the orientation data) and the distance mapping result (grid region including the distance data) overlap as the position of the object. To do. Thereby, the advantages of the camera 11 and the sonar 21 can be integrated, and the position of the object can be detected easily and accurately.
  • the object detection device 1 of the present embodiment includes a plurality of sonars 21 having different detection ranges. Thereby, even when there are a plurality of objects in the vicinity of the vehicle 90, the detection results of the camera 11 and the sonar 21 can be superimposed on the grid map GM to specify the position of the object.
  • the object detection apparatus of 2nd Embodiment is demonstrated.
  • the basic configuration of the object detection device of this embodiment is the same as that of the first embodiment (see FIG. 1).
  • the object detection device of this embodiment is different from the first embodiment in the following points.
  • the position specifying unit 30 detects that the objects detected in the plurality of grids are the same based on the detection result of the object from the image data. Judge whether the object.
  • the position specifying unit 30 associates the object detected from the image data received from the camera ECU 12 with the grid where the object exists.
  • the object detection device of the present embodiment detects an object detection result (image) in addition to azimuth data and distance data. Analysis result) is used.
  • object detection result image
  • analysis result is used.
  • FIG. 7 is a flowchart showing object detection processing executed by the object detection device 1 of the present embodiment.
  • the object detection process of this embodiment is the same as the object detection process executed by the object detection apparatus 1 of the first embodiment.
  • Steps S20 to S22 and S24 shown in FIG. 7 correspond to steps S10 to S13 of FIG. 5, respectively.
  • the position specifying unit 30 specifies the grid where the object exists based on the azimuth data and the distance data (S22).
  • FIG. 8 is a diagram for explaining object detection when the same object exists across a plurality of grids.
  • the object T3 exists on the left front side of the vehicle 90.
  • the object detection apparatus may specify a plurality of discontinuous grids as the grid on which the object exists. Specifically, in the example illustrated in FIG. 8A, it is desirable to specify four consecutive grids as the grid on which the object T3 exists.
  • FIG. 8 it is desirable to specify four consecutive grids as the grid on which the object T3 exists.
  • the position specifying unit 30 specifies an object based on the detection result of the object from the image data, and associates the specified object with the grid in which the object exists ( S23). Specifically, the position specifying unit 30 first performs edge detection processing (feature extraction processing) on the image data acquired from the camera ECU 12.
  • the edge detection process may be executed by the camera ECU 12, and in this case, the processing result may be input to the position specifying unit 30.
  • the position specifying unit 30 determines whether the objects detected in the plurality of grids are the same object based on the edge detection result. For example, the edge detection result (feature point extraction result) in the same image area is different between the case where one object exists in the image area and the case where a plurality of different objects exist.
  • the position specifying unit 30 uses this detection characteristic to specify objects detected in a plurality of grids. In other words, the position specifying unit 30 specifies an object that exists across a plurality of grids based on the detection result of the object from the image data.
  • the position specifying unit 30 associates the specified object with the grid in which the object exists.
  • the position specifying unit 30 also includes grids E and F positioned between the grids C and D in addition to the grids C and D specified as the grid on which the object T3 exists.
  • the object T3 is associated as a grid. That is, the position specifying unit 30 associates four consecutive grids C, D, E, and F as the grid on which the object T3 exists.
  • the object detection device 1 specifies a grid where an object exists based on the azimuth data and the distance data. Furthermore, the object detection apparatus 1 associates the object specified based on the detection result from the image data with the grid on which the object exists. As a result, the object detection apparatus 1 according to the present embodiment, for example, as shown in FIG. 8B, even if an object T3 that exists across a plurality of grids is detected in a missing state on the grid map GM of the polar coordinate system. Based on the image analysis result, the position where the object is present can be specified with high accuracy.
  • the object detection device 1 uses the image analysis result to determine the azimuth data and the distance data even when a plurality of discontinuous grids are specified as the grid where the same object exists.
  • the accuracy of the technique for specifying the position of the object based on the above can be improved.
  • image analysis since image analysis has already been performed, there is an effect that it is not necessary to perform object recognition processing in a later process.
  • the object detection device and the object detection method of the present disclosure have been described in detail with specific embodiments, but the technology of the present disclosure is not limited to the above content.
  • the sonar 21 is exemplified as the distance sensor.
  • the distance sensor is not limited to the sonar, and for example, a millimeter wave radar or a Lidar sensor may be used.
  • the orientation sensor is not limited to the camera, and for example, a Lidar sensor can be used.
  • the distance data is stored in the storage unit 23 connected to the sonar ECU 22 and the azimuth data is stored in the storage unit 13 connected to the camera ECU 12 in the above embodiment, the present invention is not limited to this.
  • the distance data may be stored in a memory included in the sonar ECU 22.
  • the azimuth data may be stored in a memory provided in the camera ECU 12.
  • the storage destination of the distance data and the azimuth data may be either a memory provided in the ECU or a storage device connected to the ECU, as long as each data can be used in other functions such as vehicle control.
  • the ECU that realizes the function of the position specifying unit 30 is an ECU different from the camera ECU 12 or the sonar ECU 22 is described, but the present invention is not limited thereto.
  • the camera ECU 12 may be an ECU that realizes the function of the position specifying unit 30.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

物体検知装置（１）は、カメラ（１１）の撮影画像から物体を検出し、当該物体が存在する方向を特定することで、物体の方位を測定するカメラ用ＥＣＵ（１２）と、車両の周辺に存在する物体までの距離を測定するソナー（２１）と、測定された方位データと距離データとを極座標系のグリッドマップ（ＧＭ）上で重ね合わせて、グリッドマップ上において、物体が存在するグリッドを特定することで、物体の位置を特定する位置特定部（３０）と、を備える。

Description

物体検知装置、物体検知方法、および記録媒体
　本開示は、車両の周辺に存在する物体を検知する物体検知技術に関する。
　車両の運転支援を行うため、あるいは、自動運転制御等のために、車両の周辺に存在する物体を検知する技術が研究、開発されている。特許文献１は、前方障害物までの距離だけでなく、障害物の横位置をも測定することにより、測定結果に基づき車両の安全運転を確保する技術を開示している。この技術は、障害物の横方向の広がりも検知することを目的として、画像情報と距離情報とに基づいて、２つの障害物の横位置を算出し、算出した横位置と距離情報とに基づいて、２つの障害物の２次元位置を測定する。
　特許文献２は、分解能に優れた３次元物体の認識を行う技術を開示している。この技術は、まず、平面上に配列された超音波センサによって、物体の表面までの距離情報の平面分布を測定し、測定した距離情報に基づいて、物体の第１立体像を抽出する。続いて、第１立体像の位置情報に基づいて、カメラを用いて撮像された画像から物体の平面像を抽出する。そして、抽出した平面像と第１立体像とを合成して、精細な第２立体像を生成する。
特開２０００－１２３２９８号公報 特開平６－１７４８３９号公報
　本開示は、方位データと距離データとの２つの１次元情報に基づいて、簡易に物体を検知する技術を提供する。
　本開示は、上記課題を解決するために、以下の技術的構成を採用する。なお、括弧内の符号は、ひとつの態様として後述する実施の形態に記載の構成との対応関係を示す一例である。よって、本開示の技術的範囲を限定するものではない。
　本開示の技術の一態様である物体検知装置は、車両の周辺に存在する物体の方位を測定する方位センサ（１１，１２）と、前記車両から前記物体までの距離を測定する距離センサ（２１）と、前記方位センサ（１１，１２）を用いて測定した方位のデータと前記距離センサ（２１）を用いて測定した距離のデータとを重ね合わせて、前記物体の位置を特定する位置特定部（３０）と、を備える。前記位置特定部（３０）は、車両を中心とする極座標系のグリッドマップを有し、前記距離のデータと前記方位のデータとに基づいて、前記グリッドマップ上において物体が存在するグリッドを特定してもよい。
　本開示の物体検知装置は、方位センサ（１１，１２）を用いて測定した方位データと距離センサ（２１）を用いて測定した距離データという、それぞれ１次元の情報を所定の座標空間において重ね合わせる。その結果、方位データと距離データとで共通するデータ領域を特定する。これにより、方位と距離との１次元情報に基づいて、容易に物体が存在する位置を特定することができる。例えば物体検知装置は、極座標系のグリッドマップにおいて、方位センサを用いて測定した方位データを含むグリッド領域と距離センサを用いて測定した距離データを含むグリッド領域とを特定する。そして、特定した２つのグリッド領域において、共通するグリッド（物体が存在するグリッド）を特定してもよい。
　本開示の物体検知装置は、検知範囲の異なる複数の距離センサ（２１）を有し、前記位置特定部（３０）は、前記方位のデータ、前記距離のデータ、および前記距離センサ（２１）の検知範囲のデータに基づいて、前記物体の位置を特定してもよい。この構成により、本開示の物体検知装置では、車両の周辺に複数の物体が存在する場合であっても、距離データと方位データとに基づいて、各物体の位置を特定することができる。
　本開示の物体検知装置は、前記方位センサ（１１，１２）を制御する方位センサ用ＥＣＵ（１２）と、前記距離センサ（２１）を制御する距離センサ用ＥＣＵ（２２）と、を備え、前記方位センサ用ＥＣＵ（１２）は、前記方位センサ（１１，１２）を用いて測定した方位のデータをメモリに記憶し、前記距離センサ用ＥＣＵ（２２）は、前記距離センサ（２１）を用いて測定した距離のデータをメモリに記憶し、前記位置特定部（３０）は、前記方位センサ用ＥＣＵ（１２）に記憶された方位のデータと前記距離センサ用ＥＣＵ（２２）に記憶された距離のデータとを重ね合わせて、物体の位置を特定してもよい。このように、距離のデータを記憶しておく構成とすることで、例えば、距離のデータを、車両制御（近距離ＰＣＳ、踏み間違え防止など）に活用することができる。
　本開示の物体検知装置は、車両の周辺に存在する物体を撮影するカメラ（１１）と、前記カメラ（１１）を用いて撮影された画像から前記物体を検出し、当該物体が存在する方向を特定する画像処理部（１２）と、前記車両から前記物体までの距離を測定する距離センサ（２１）と、前記画像処理部（１２）によって特定された方位のデータと前記距離センサ（２１）を用いて測定した距離のデータとに基づいて、車両を中心とする極座標系のグリッドマップ上において、物体が存在するグリッドを特定する位置特定部（３０）と、を備え、前記位置特定部（３０）は、複数のグリッドにおいて物体が検知されたときに、前記画像処理部（１２）から得られる画像データからの前記物体の検出結果に基づいて、複数のグリッドにまたがって存在する同一の物体を特定する。この構成により、本開示の物体検知装置は、複数のグリッドにおいて検知された物体が同一の物体かを認識することができる。
　本開示の物体検知方法は、車両に備えられた方位センサ（１１，１２）から、前記車両の周辺に存在する物体の方位のデータを取得するステップと、前記車両に備えられた距離センサ（２１）から、前記車両から前記物体までの距離のデータを取得するステップと、前記方位のデータと前記距離のデータとを重ね合わせて、前記物体の位置を特定するステップと、を含む。
　本開示の記録媒体は、車両の周辺に存在する物体を検知するためのプログラムを記録した記録媒体であって、前記車両に備えられた方位センサ（１１，１２）から、前記車両の周辺に存在する物体の方位のデータを取得するステップと、前記車両に備えられた距離センサ（２１）から、前記車両から前記物体までの距離のデータを取得するステップと、前記方位のデータと前記距離のデータとを重ね合わせて、前記物体の位置を特定するステップと、をＥＣＵに実行させる前記プログラムを記録する。
　本開示の技術は、方位センサと距離センサとから得られる１次元情報を用いて、簡易な構成で物体が存在する位置を特定することができる。
第１実施形態の物体検知装置の構成を示す図である。 物体の位置検知の原理を示す図である。 物体の位置検知の原理を示す図である。 車両におけるカメラおよびソナーの取り付け例を示す図である。 複数の物体が存在するときの物体検知の例を示す図である。 複数の物体が存在するときの物体検知の例を示す図である。 第１実施形態の物体検知装置で実行される処理を示すフローチャートである。 ＥＣＵの概略構成を示す図である。 第２実施形態の物体検知装置で実行される処理を示すフローチャートである。 同一の物体が複数のグリッドにまたがって存在するときの物体検知の例を示す図である。 同一の物体が複数のグリッドにまたがって存在するときの物体検知の例を示す図である。 同一の物体が複数のグリッドにまたがって存在するときの物体検知の例を示す図である。 変形例の物体検知装置の構成を示す図である。
　以下、本開示の技術の一態様である実施形態について図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態の物体検知装置１の構成を示す図である。物体検知装置１は、車両に搭載されて用いられ、車両の周辺に存在する物体を検知する機能を有する。物体検知装置１は、カメラ１１と、ソナー２１と、位置特定部３０と、出力部３１と、を有している。
　カメラ１１は、カメラ用ＥＣＵ１２に接続されている。カメラ用ＥＣＵ１２は、画像処理機能（画像処理部に相当する）を有している。カメラ用ＥＣＵ１２は、カメラ１１を用いて撮影された画像に対し、所定の画像処理を行い、撮影画像から物体を検出する。カメラ用ＥＣＵ１２は、検出した物体が存在する方位のデータを求める。本実施形態では、基準方位に対する角度によって方位を示す方位角を算出し、方位のデータとする。このように、カメラ用ＥＣＵ１２は、カメラ１１と画像処理機能とによって、方位センサを構成している。カメラ用ＥＣＵ１２によって求められた方位データは、カメラ用ＥＣＵ１２に接続された記憶部１３に記憶される。なお、記憶部１３は、例えばメモリ等の記憶装置である。
　ソナー２１は、例えば超音波によって物体までの距離を測定する機器であり、距離センサに相当する。ソナー２１は、ソナー用ＥＣＵ２２に接続されている。ソナー用ＥＣＵ２２は、ソナー２１の検知結果から物体までの距離のデータを求める。本実施形態では、電波を送信してから物体からの反射波を受信するまでの所要時間を距離に換算し、距離のデータとする。ソナー用ＥＣＵ２２によって求められた距離データは、ソナー用ＥＣＵ２２に接続された記憶部２３に記憶される。なお、記憶部２３は、例えばメモリ等の記憶装置である。
　位置特定部３０は、カメラ用ＥＣＵ１２から物体の方位データを取得すると共に、ソナー用ＥＣＵ２２から物体までの距離データを取得する。位置特定部３０は、方位データと距離データとに基づいて、物体の位置を検知する。
　図２は、位置特定部３０による物体の位置検知の原理を示す図である。図２Ａは、車両から見たグリッドマップを示す図である。位置特定部３０は、車両９０におけるカメラ１１およびソナー２１の設置位置を原点（極）とする極座標系のグリッドマップＧＭを有する。グリッドマップＧＭは、方位の座標軸と距離の座標軸とを有する。位置特定部３０は、カメラ用ＥＣＵ１２によって求められた物体の方位データを含むグリッド領域Ｒ１（第１グリッド領域）と、ソナー用ＥＣＵ２２によって求められた物体の距離データを含むグリッド領域Ｒ２（第２グリッド領域）とを、グリッドマップＧＭ上において特定する。そして、位置特定部３０は、特定した２つのグリッド領域Ｒ１，Ｒ２が重なり合うグリッドＡを、物体が存在するグリッドとして特定する。つまり、位置特定部３０は、特定した２つのグリッド領域Ｒ１，Ｒ２において、共通するグリッドＡを特定する。図２Ａに示す例では、車両９０の左斜め前方に物体Ｔ１が存在する。この場合、カメラ１１の撮影画像から求められる方位データ（方位角）からは、物体Ｔ１までの距離は分からない。しかし、方位データからは、物体Ｔ１が、グリッドマップＧＭにおいて、左から３番目のグリッド領域Ｒ１内（－２０°～－３０°の範囲内）に位置することが分かる。また、ソナー２１の検知結果から求められる距離データからは、物体Ｔ１がどの方向に存在するかは分からない。しかし、距離データからは、物体Ｔ１が、グリッドマップＧＭにおいて、極座標の原点から数えて６番目の同心円状のグリッド領域Ｒ２内に位置することが分かる。図２Ｂに示すように、位置特定部３０は、極座標系のグリッドマップＧＭ上で、方位データを含むグリッド領域Ｒ１と距離データを含むグリッド領域Ｒ２とを重ね合わせる。これにより、物体Ｔ１が、方位データのグリッド領域Ｒ１と距離データのグリッド領域Ｒ２とが重なり合う領域であるグリッドＡに存在することが分かる。つまり、物体Ｔ１が、方位データと距離データとで共通するデータ領域に存在することが分かる。以上が、本実施形態の物体検知装置１による物体検知の原理である。
　本実施形態の物体検知装置１は、複数のソナー２１を備えている。図３は、車両９０に取り付けられたカメラ１１及びソナー２１ａ～２１ｄの例を示す図である。カメラ１１の左側には、ソナー２１ａ，２１ｂが設置され、カメラ１１の右側には、ソナー２１ｃ，２１ｄが設置されている。この構成によれば、カメラ１１の撮影範囲Ｄ１とソナー２１ａ～２１ｄの検知範囲Ｄ２ａ～Ｄ２ｄとが重なる範囲に存在する物体の位置を検知できる。ソナー２１ａ～２１ｄの検知範囲Ｄ２ａ～Ｄ２ｄは異なっている。また、カメラ１１の設置位置とソナー２１ａ～２１ｄの設置位置はずれている。この点を考慮し、ソナー２１ａ～２１ｄによって検知した距離データは、カメラ１１で検知した方位データの極座標系に変換される。
　本実施形態の物体検知装置１は、検知範囲の異なる複数のソナー２１を備えているので、車両９０の周辺に複数の物体が存在する場合であっても、各物体の位置を検知することができる。図４は、２つの物体Ｔ１，Ｔ２が存在する場合の物体検知について説明をするための図である。図４Ａは、カメラ１１が搭載された位置から見たグリッドマップＧＭを示す図である。図４Ａに示す例では、車両９０の左斜め前方と右斜め前方に物体Ｔ１，Ｔ２が存在する。この場合、カメラ１１の撮影画像から求められる方位データからは、物体Ｔ１が、グリッドマップＧＭにおいて、左から３番目のグリッド領域Ｒ１１内（－２０°～－３０°の範囲内）に位置することが分かる。また、物体Ｔ２が、右から３番目のグリッド領域Ｒ１２内（２０°～３０°の範囲内）に位置することが分かる。
　カメラ１１の左側に設置されたソナー２１ｂは、左斜め前方に検知範囲Ｄ２ｂを有し、カメラ１１の右側に設定されたソナー２１ｃは、右斜め前方に検知範囲Ｄ２ｃを有するとする。左側のソナー２１ｂによって物体Ｔ１を検知し、その距離データからは、物体Ｔ１が、グリッドマップＧＭにおいて、極座標の原点から数えて６番目の同心円状のグリッド領域Ｒ２１内に位置することが分かる。したがって、図４Ｂに示すように、物体検知装置１は、グリッドマップＧＭ上において、左から３番目のグリッド領域Ｒ１１（－２０°～－３０°の範囲）と極座標の原点から６番目の同心円状のグリッド領域Ｒ２１とを重ね合わせる。これにより、物体検知装置１は、２つのグリッド領域Ｒ１１，Ｒ２１が重なり合うグリッドＡに物体Ｔ１が存在することを検知する。右側のソナー２１ｃも物体Ｔ２を検知し、その距離データからは、物体Ｔ２が、極座標の原点から数えて４番目の同心円状のグリッド領域Ｒ２２内に位置することを示している。しかし、右側のソナー２１ｃは、右斜め前方に検知範囲Ｄ２ｃを有する。よって、右側のソナー２１ｃが検知した物体は、左から３番目のグリッド領域Ｒ１１内（－２０°～－３０°の範囲内）に位置する物体Ｔ１でないことが分かる。
　物体Ｔ１を検知したときと同様に、物体検知装置１は、極座標系のグリッドマップＧＭ上において、極座標の原点から４番目の同心円状のグリッド領域Ｒ２２と右から３番目のグリッド領域Ｒ１２（２０°～３０°の範囲）とを重ね合わせる。これにより、物体検知装置１は、２つのグリッド領域Ｒ１２，Ｒ２２が重なり合うグリッドＢに物体Ｔ２が存在することを検知する。このように、物体検知装置１では、ソナー２１ａ～２１ｄの検知範囲Ｄ２ａ～Ｄ２ｄを考慮することで、複数の物体が存在する場合であっても、各物体の位置を特定することができる。
　図５は、物体検知装置１で実行される物体検知処理を示すフローチャートである。物体検知装置１は、カメラ用ＥＣＵ１２によって、カメラ１１の撮影画像から物体を検出し、物体の方位データ（方位角）を取得する（Ｓ１０）。カメラ用ＥＣＵ１２は、取得したデータを記憶部１３に記憶する。物体検知装置１は、ソナー用ＥＣＵ２２によって、ソナー２１の検知結果から物体が存在する距離データを取得する（Ｓ１１）。ソナー用ＥＣＵ２２は、取得したデータを記憶部２３に記憶する。
　次に、物体検知装置１は、位置特定部３０によって、方位データと、当該データによって示される方位を検知範囲とするソナー２１の距離データと、をグリッドマップＧＭ上で重ね合わせて、物体が存在するグリッドを特定する（Ｓ１２）。具体的には、位置特定部３０は、極座標系のグリッドマップＧＭ上において、方位データを含むグリッド領域Ｒ１と距離データを含むグリッド領域Ｒ２とを特定する。そして、位置特定部３０は、特定した２つのグリッド領域Ｒ１，Ｒ２において、共通するグリッドＡを特定する。物体検知装置１は、特定したグリッドのデータを物体検知結果として、出力部３１を介して外部装置に出力する（Ｓ１３）。外部装置としては、例えば運転制御装置（非図示）等が挙げられる。これにより、運転制御装置は、検知された物体の位置のデータ（物体検知装置１からの出力データ）に基づいて、車両に対する各種運転制御を行う。その結果、例えば、車両の進行方向に物体が検知された場合には、物体を避けるような走行経路を計算し、車両の走行を制御したり、車両の至近距離において物体が検知された場合には、車両を停止させたりできる。なお、運転制御装置は、次のように車両の運転を制御する。車両は、ステアリング駆動装置、アクセル駆動装置、ブレーキ駆動装置等の各種アクチュエータを備える。ステアリング駆動装置は、ステアリングシャフトを回転駆動する。アクセル駆動装置は、アクセルペダルを駆動する。ブレーキ駆動装置は、ブレーキペダルを駆動する。これらの駆動装置は、通信可能な状態で運転制御装置に接続されている。運転制御装置は、車速センサ、操舵角センサ、アクセルセンサ、ブレーキセンサからの出力を検出し、駆動させる各種アクチュエータに対する制御信号を生成する。運転制御装置は、生成した制御信号をアクチュエータに送信する。これにより、運転制御装置は、ステアリング駆動装置、アクセル駆動装置、ブレーキ駆動装置等の駆動を制御し、車両の運転を制御する。
　以上に説明した物体検知装置１の動作を実現する位置特定部３０の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムを記録した非遷移的実体的記録媒体も本開示の技術に含まれる。ここで位置特定部３０の機能を実現するＥＣＵの概略構成について図６を用いて説明する。なお、以降に説明する概略構成については、他のＥＣＵ１２，２２においても同様である。ＥＣＵ１００は、電源回路１０１、ＭＰＵ１０２、および入出力回路１０３等を備える。電源回路１０１は、ＭＰＵ１０２への供給電力を制御する。入出力回路１０３は、ＭＰＵ１０２への信号入力、および、ＭＰＵ１０２からの信号出力を制御する。入出力回路１０３の出力機能は、出力部３１に相当する。ＭＰＵ１０２は、ＣＰＵ２０１、メモリ２０２、およびＩ／Ｏユニット２０３等を備える。ＣＰＵ２０１は、演算回路、制御回路、およびレジスタ等を備える処理装置である。メモリ２０２は、ＲＯＭやＲＡＭといった半導体メモリ等の記憶装置である。Ｉ／Ｏユニット２０３は、外部デバイスとの入出力インタフェースである。これらは、相互に通信可能となるようにバスＢに接続されている。ＥＣＵ１００は、例えばメモリ２０２に記憶されたプログラムを読み出し、読み出したプログラムをＣＰＵ２０１が実行する。ＥＣＵ１００は、このような構成により、各種機能を提供する。なお、位置特定部３０は、上述したようなソフトウェア構成による実現方法に限らず、ハードウェア構成によって実現してもよい。位置特定部３０は、例えばＬＳＩやメモリを含む電子回路を用いて実現できる。さらに、位置特定部３０は、ソフトウェア構成（ＥＣＵにより提供される機能）およびハードウェア構成（電子回路により提供される機能）を組合せることによって実現してもよい。
　本実施形態の物体検知装置１は、カメラ１１で検知した物体の方位とソナー２１で検知した物体までの距離とを、カメラ１１およびソナー２１の設置位置を原点とする極座標系のグリッドマップＧＭ上にマッピングする。そして、物体検知装置１は、グリッドマップＧＭ上において、方位のマッピング結果（方位データを含むグリッド領域）と距離のマッピング結果（距離データを含むグリッド領域）とが重なり合うグリッドを、物体の位置として特定する。これにより、カメラ１１とソナー２１との長所を融合して、簡易かつ正確に物体の位置を検知できる。
　また、本実施形態の物体検知装置１は、検知範囲の異なる複数のソナー２１を備える。これにより、車両９０の周辺に複数の物体が存在する場合であっても、カメラ１１とソナー２１とによる検知結果を、グリッドマップＧＭ上で重ね合わせて、物体の位置を特定することができる。
（第２実施形態）
　次に、第２実施形態の物体検知装置について説明する。本実施形態の物体検知装置の基本的な構成は、第１実施形態と同じである（図１参照）。本実施形態の物体検知装置は、次の点で第１実施形態と異なる。本実施形態の物体検知装置は、複数のグリッドにおいて物体が検知された場合に、位置特定部３０が、画像データからの物体の検出結果に基づいて、複数のグリッドにおいて検知された物体が同一の物体か否かを判断する。複数のグリッドにおいて検知された物体が同一の物体と判断された場合、位置特定部３０は、カメラ用ＥＣＵ１２から受信した画像データから検出された物体と、物体が存在するグリッドと、を対応付ける。本実施形態の物体検知装置は、方位データと距離データとに基づいて物体の位置を特定する技術の精度を高めるために、方位データと距離データに加え、画像データからの物体の検出結果（画像解析結果）を用いる。なお、以降の説明では、第１実施形態と同じ点については同一の参照符号を付し、その説明を省略する。
　図７は、本実施形態の物体検知装置１で実行される物体検知処理を示すフローチャートである。本実施形態の物体検知処理は、第１実施形態の物体検知装置１で実行される物体検知処理と、基本的な処理が同じである。図７に示すステップＳ２０～Ｓ２２、Ｓ２４は、それぞれ図５のステップＳ１０～Ｓ１３に対応する。
　本実施形態の物体検知装置１は、位置特定部３０によって、方位データと距離データとに基づいて、物体が存在するグリッドを特定する（Ｓ２２）。図８は、同一の物体が複数のグリッドにまたがって存在するときの物体検知について説明するための図である。図８Ａに示す例では、車両９０の左斜め前方に物体Ｔ３が存在する。このように、同一の物体が複数のグリッドにまたがって存在する場合、物体検知装置は、物体が存在するグリッドとして、非連続な複数のグリッドを特定してしまうことが考えられる。具体的には、図８Ａに示す例では、物体Ｔ３が存在するグリッドとして、連続する４つのグリッドを特定することが望ましい。しかしながら、物体検知装置では、図８Ｂに示すように、物体Ｔ３が存在するグリッドとして、非連続な２つのグリッドＣ，Ｄを特定してしまう場合がある。つまり、物体検知装置では、同一の物体が複数のグリッドにまたがって存在する場合、同一の物体を異なる複数の物体として検知してしまうことが考えられる。このような事象が発生する理由には、例えば方位センサや距離センサ等の検出範囲の有限性や検出結果のデータ特性が挙げられる。そこで、本実施形態の物体検知装置１では、位置特定部３０が、画像データからの物体の検出結果に基づいて物体を特定し、特定した物体と、当該物体が存在するグリッドと、を対応付ける（Ｓ２３）。具体的には、位置特定部３０は、まず、カメラ用ＥＣＵ１２から取得した画像データに対し、エッジ検出処理（特徴抽出処理）を行う。なお、エッジ検出処理については、カメラ用ＥＣＵ１２によって実行されてもよく、この場合には、処理結果が位置特定部３０に入力される構成であってもよい。位置特定部３０は、エッジの検出結果に基づいて、複数のグリッドにおいて検知された物体が同一の物体か否かを判断する。例えば同じ画像領域におけるエッジの検出結果（特徴点の抽出結果）は、当該画像領域に１つの物体が存在する場合と異なる複数の物体が存在する場合とでは異なる。位置特定部３０は、この検出特性を利用して、複数のグリッドにおいて検知された物体を特定する。換言すれば、位置特定部３０は、画像データからの物体の検出結果に基づいて、複数のグリッドにまたがって存在する物体を特定する。その結果、複数のグリッドにおいて検知された物体が同一の物体である場合、位置特定部３０は、特定した物体と、当該物体が存在するグリッドと、を対応付ける。具体的には、位置特定部３０は、図８Ｃに示すように、物体Ｔ３が存在するグリッドとして特定したグリッドＣ，Ｄに加えて、当該グリッドＣ，Ｄの間に位置するグリッドＥ，Ｆも、物体Ｔ３が存在するグリッドとして対応付ける。つまり、位置特定部３０は、物体Ｔ３が存在するグリッドとして、連続する４つのグリッドＣ，Ｄ，Ｅ，Ｆを対応付ける。
　本実施形態の物体検知装置１は、方位データと距離データとに基づいて、物体が存在するグリッドを特定する。さらに、物体検知装置１は、画像データからの検出結果を基に特定した物体と、当該物体が存在するグリッドと、を対応付ける。これにより、本実施形態の物体検知装置１は、例えば図８Ｂに示すように、複数のグリッドにまたがって存在する物体Ｔ３が極座標系のグリッドマップＧＭ上において歯抜けの状態で検知されたとしても、画像解析結果に基づいて、精度良く物体がある位置を特定することができる。換言すれば、本実施形態の物体検知装置１は、同一の物体が存在するグリッドとして非連続な複数のグリッドが特定されたとしても、画像解析結果を利用することで、方位データと距離データとに基づいて物体の位置を特定する技術の精度を高めることができる。また、すでに画像解析を行っていることから、後の工程で物体の認識処理を行なう必要がなくなるという効果もある。
　以上、本開示の物体検知装置、及び、物体検知方法について、具体的な実施形態を挙げて詳細に説明したが、本開示の技術は、上記内容に限定されるものではない。
　上記実施形態では、距離センサとしてソナー２１を例として挙げたが、距離センサはソナーに限らず、例えば、ミリ波レーダーやＬｉｄａｒセンサを用いることもできる。また、方位センサについても、カメラに限らず、例えば、Ｌｉｄａｒセンサを用いることもできる。
　上記実施形態では、距離データはソナー用ＥＣＵ２２に接続された記憶部２３に記憶され、方位データはカメラ用ＥＣＵ１２に接続された記憶部１３に記憶される例について説明したが、この限りでない。例えば、距離データは、ソナー用ＥＣＵ２２が備えるメモリに記憶されてもよい。方位データは、カメラ用ＥＣＵ１２が備えるメモリに記憶されてもよい。つまり、距離データや方位データの記憶先は、ＥＣＵが備えるメモリであってもＥＣＵに接続された記憶装置であっても、どちらでもよく、車両制御等の他の機能において各データが利用できればよい。
　上記実施形態では、位置特定部３０の機能を実現するＥＣＵが、カメラ用ＥＣＵ１２やソナー用ＥＣＵ２２と異なるＥＣＵである例について説明したが、この限りでない。例えば図９に示す物体検知装置２のように、カメラ用ＥＣＵ１２が位置特定部３０の機能を実現するＥＣＵであってもよい。このように、本開示の技術を実現するために必要なＥＣＵは少ない方が好ましい。
１，２　物体検知装置
１１　カメラ
１２　カメラ用ＥＣＵ
１３　記憶部
２１　ソナー
２２　ソナー用ＥＣＵ
２３　記憶部
３０　位置特定部
３１　出力部

Claims (10)

  1. 　車両の周辺に存在する物体の方位を測定する方位センサ（１１，１２）と、
    　前記車両から前記物体までの距離を測定する距離センサ（２１）と、
    　前記方位センサ（１１，１２）を用いて測定した方位のデータと前記距離センサ（２１）を用いて測定した距離のデータとを重ね合わせて、前記物体の位置を特定する位置特定部（３０）と、
    　を備える、物体検知装置。
  2. 　前記位置特定部（３０）は、前記車両を中心とする極座標系のグリッドマップ（ＧＭ）を有し、
    　前記距離のデータと前記方位のデータとに基づいて、前記グリッドマップ上において、前記物体が存在するグリッドを特定することによって、前物体の位置を特定する、請求項１に記載の物体検知装置。
  3. 　検知範囲の異なる複数の距離センサ（２１）を有し、
    　前記位置特定部（３０）は、前記方位のデータ、前記距離のデータ、および前記距離センサ（２１）の前記検知範囲のデータに基づいて、前記物体の位置を特定する、請求項１または２に記載の物体検知装置。
  4. 　前記距離センサ（２１）は、ソナー（２１）、ミリ波レーダー、またはＬｉｄａｒセンサである、請求項１乃至３のいずれか一項に記載の物体検知装置。
  5. 　前記方位センサ（１１，１２）は、
    　前記車両の周辺に存在する前記物体を撮影するカメラ（１１）と、
    　前記カメラ（１１）を用いて撮影された画像から前記物体を検出し、当該物体が存在する方向を特定する画像処理部（１２）と、
    　を備える、請求項１乃至３のいずれか一項に記載の物体検知装置。
  6. 　前記方位センサ（１１，１２）は、Ｌｉｄａｒセンサである、請求項１乃至３のいずれか一項に記載の物体検知装置。
  7. 　前記方位センサ（１１，１２）を制御する方位センサ用ＥＣＵ（１２）と、
    　前記距離センサ（２１）を制御する距離センサ用ＥＣＵ（２２）と、
    　を備え、
    　前記方位センサ用ＥＣＵ（１２）は、前記方位センサ（１１，１２）を用いて測定した前記方位のデータをメモリに記憶し、
    　前記距離センサ用ＥＣＵ（２２）は、前記距離センサ（２１）を用いて測定した距離のデータをメモリに記憶し、
    　前記位置特定部（３０）は、前記方位センサ用ＥＣＵ（１２）に記憶された前記方位のデータと前記距離センサ用ＥＣＵ（２２）に記憶された前記距離のデータとを重ね合わせて、前記物体の位置を特定する、請求項１乃至６のいずれか一項に記載の物体検知装置。
  8. 　車両の周辺に存在する物体を撮影するカメラ（１１）と、
    　前記カメラ（１１）を用いて撮影された画像から前記物体を検出し、当該物体が存在する方向を特定する画像処理部（１２）と、
    　前記車両から前記物体までの距離を測定する距離センサ（２１）と、
    　前記画像処理部（１２）にて求めた方位のデータと前記距離センサ（２１）を用いて測定した距離のデータとに基づいて、前記車両を中心とする極座標系のグリッドマップ（ＧＭ）上において、前記物体が存在するグリッドを特定する位置特定部（３０）とを備え、
    　前記位置特定部（３０）は、複数のグリッドにおいて前記物体が検知されたときに、前記画像処理部（１２）から得られる画像データからの前記物体の検出結果に基づいて、複数のグリッドにまたがって存在する同一の物体を特定する、物体検知装置。
  9. 　車両に備えられた方位センサ（１１，１２）から、前記車両の周辺に存在する物体の方位のデータを取得するステップと、
    　前記車両に備えられた距離センサ（２１）から、前記車両から前記物体までの距離のデータを取得するステップと、
    　前記方位のデータと前記距離のデータとを重ね合わせて、前記物体の位置を特定するステップと、
    　を含む、物体検知方法。
  10. 　車両の周辺に存在する物体を検知するためのプログラムを記録した記録媒体であって、
    　前記車両に備えられた方位センサ（１１，１２）から、前記車両の周辺に存在する前記物体の方位のデータを取得するステップと、
    　前記車両に備えられた距離センサ（２１）から、前記車両から前記物体までの距離のデータを取得するステップと、
    　前記方位のデータと前記距離のデータとを重ね合わせて、前記物体の位置を特定するステップと、
    　をＥＣＵに実行させる前記プログラムを記録した記録媒体。
PCT/JP2019/008953 2018-03-07 2019-03-06 物体検知装置、物体検知方法、および記録媒体 WO2019172341A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19764676.3A EP3764339A4 (en) 2018-03-07 2019-03-06 OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD AND RECORDING MEDIA
CN201980016991.3A CN111801718B (zh) 2018-03-07 2019-03-06 物体探测装置、物体探测方法、以及记录介质
US17/012,046 US11954918B2 (en) 2018-03-07 2020-09-04 Object detection device, object detection method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-040816 2018-03-07
JP2018040816A JP2019159380A (ja) 2018-03-07 2018-03-07 物体検知装置、物体検知方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/012,046 Continuation US11954918B2 (en) 2018-03-07 2020-09-04 Object detection device, object detection method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019172341A1 true WO2019172341A1 (ja) 2019-09-12

Family

ID=67847054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008953 WO2019172341A1 (ja) 2018-03-07 2019-03-06 物体検知装置、物体検知方法、および記録媒体

Country Status (5)

Country Link
US (1) US11954918B2 (ja)
EP (1) EP3764339A4 (ja)
JP (1) JP2019159380A (ja)
CN (1) CN111801718B (ja)
WO (1) WO2019172341A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649865B2 (ja) * 2016-10-27 2020-02-19 株式会社Ｓｏｋｅｎ 物体検知装置
DE102018115895A1 (de) * 2018-06-30 2020-01-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Erkennung von Hindernissen
JP7406350B2 (ja) * 2019-11-15 2023-12-27 日本信号株式会社 物体検知装置及び物体検知プログラム
US12060078B2 (en) 2020-12-10 2024-08-13 Motional Ad Llc Merging LiDAR information and camera information
JP2024136723A (ja) * 2023-03-24 2024-10-04 日立Astemo株式会社 物体検出システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06174839A (ja) 1992-12-08 1994-06-24 Nippon Telegr & Teleph Corp <Ntt> ３次元物体像の生成方法
JP2000123298A (ja) 1998-10-13 2000-04-28 Japan Aviation Electronics Industry Ltd 障害物位置検出装置およびその検出方法
JP2001063500A (ja) * 1999-08-26 2001-03-13 Matsushita Electric Works Ltd 車両周辺障害物監視装置
JP2015125760A (ja) * 2013-12-27 2015-07-06 日立建機株式会社 鉱山用作業機械
JP2016080539A (ja) * 2014-10-17 2016-05-16 トヨタ自動車株式会社 車載センサ
JP2016101055A (ja) * 2014-11-26 2016-05-30 アイシン精機株式会社 移動体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2532344B2 (ja) * 1993-08-24 1996-09-11 日東紡音響エンジニアリング株式会社 航空機飛行コ―ス測定方法及び装置
JPH0966900A (ja) * 1995-09-01 1997-03-11 Hitachi Ltd 飛行状態監視方法とその装置
US20070182623A1 (en) * 2006-02-03 2007-08-09 Shuqing Zeng Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
JP4544233B2 (ja) * 2006-10-11 2010-09-15 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
CN102385060A (zh) * 2006-11-06 2012-03-21 电子地图有限公司 用于二维和三维精确位置和定向确定的布置和方法
EP1926048B1 (en) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
JP2009169776A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd 検出装置
JP2009180536A (ja) * 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
DE102010012187B4 (de) * 2010-03-19 2020-12-31 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Bestimmung der Position zumindest eines ersten und eines zweiten Fahrzeuges innerhalb einer Anlage
EP2551695A1 (en) * 2011-07-25 2013-01-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for determining an orientation of a mobile device
DE102013102153A1 (de) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
WO2015194371A1 (ja) * 2014-06-19 2015-12-23 日立オートモティブシステムズ株式会社 物体認識装置及びそれを用いた車両走行制御装置
JP6408860B2 (ja) * 2014-10-22 2018-10-17 株式会社デンソー 物体検知装置
US9563808B2 (en) * 2015-01-14 2017-02-07 GM Global Technology Operations LLC Target grouping techniques for object fusion
DE102015201747A1 (de) * 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren
JP6635428B2 (ja) * 2015-05-20 2020-01-22 修一 田山 自動車周辺情報表示システム
CN105044754A (zh) * 2015-07-01 2015-11-11 西安交通大学 一种基于多传感器融合的移动平台室外定位方法
CN106842231B (zh) * 2016-11-08 2019-03-22 长安大学 一种道路边界检测及跟踪方法
US20190132555A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Methods and systems to broadcast sensor outputs in an automotive environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06174839A (ja) 1992-12-08 1994-06-24 Nippon Telegr & Teleph Corp <Ntt> ３次元物体像の生成方法
JP2000123298A (ja) 1998-10-13 2000-04-28 Japan Aviation Electronics Industry Ltd 障害物位置検出装置およびその検出方法
JP2001063500A (ja) * 1999-08-26 2001-03-13 Matsushita Electric Works Ltd 車両周辺障害物監視装置
JP2015125760A (ja) * 2013-12-27 2015-07-06 日立建機株式会社 鉱山用作業機械
JP2016080539A (ja) * 2014-10-17 2016-05-16 トヨタ自動車株式会社 車載センサ
JP2016101055A (ja) * 2014-11-26 2016-05-30 アイシン精機株式会社 移動体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3764339A4

Also Published As

Publication number Publication date
EP3764339A1 (en) 2021-01-13
JP2019159380A (ja) 2019-09-19
US11954918B2 (en) 2024-04-09
CN111801718B (zh) 2022-08-02
EP3764339A4 (en) 2021-04-28
CN111801718A (zh) 2020-10-20
US20200401825A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
WO2019172341A1 (ja) 物体検知装置、物体検知方法、および記録媒体
JP5152244B2 (ja) 追従対象車特定装置
US11762071B2 (en) Multi-mode multi-sensor calibration
JP6212880B2 (ja) 物標認識装置
JP6885721B2 (ja) 物体検出装置、物体検出方法
WO2018043028A1 (ja) 周辺監視装置及び周辺監視方法
CN107004360A (zh) 车辆雷达方法和系统
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
JP6394228B2 (ja) 物体検出装置
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP2018054315A (ja) 軸ずれ推定装置
JP2016065760A (ja) 物体検出装置
CN106605153B (zh) 轴偏移诊断装置
WO2021172535A1 (ja) 物体検知装置
CN109715465B (zh) 用于运行第一车辆的方法和设备
CN113091756A (zh) 位置推定装置、以及位置推定方法
JP2022076876A (ja) 位置推定装置、位置推定方法、及び位置推定プログラム
WO2020021596A1 (ja) 車両位置推定装置および車両位置推定方法
JP2007085825A (ja) 到来方向推定装置
US20230194659A1 (en) Target-based sensor calibration
JP6930512B2 (ja) 物体検知装置、物体検知方法およびプログラム
US20210278500A1 (en) Method and device for calibrating a sensor system of a moving object
JP2023041436A (ja) 物体認識装置
WO2019180978A1 (ja) 情報提供システム、情報提供方法、コンピュータプログラム
JP2024013990A (ja) 情報処理システム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019764676

Country of ref document: EP

Effective date: 20201007