WO2022254610A1 - 物体検出装置および物体検出方法 - Google Patents

物体検出装置および物体検出方法 Download PDF

Info

Publication number
WO2022254610A1
WO2022254610A1 PCT/JP2021/021004 JP2021021004W WO2022254610A1 WO 2022254610 A1 WO2022254610 A1 WO 2022254610A1 JP 2021021004 W JP2021021004 W JP 2021021004W WO 2022254610 A1 WO2022254610 A1 WO 2022254610A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
radar
frame
camera
speed
Prior art date
Application number
PCT/JP2021/021004
Other languages
English (en)
French (fr)
Inventor
龍也 上村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/021004 priority Critical patent/WO2022254610A1/ja
Priority to DE112021007746.5T priority patent/DE112021007746T5/de
Priority to JP2023525241A priority patent/JPWO2022254610A1/ja
Publication of WO2022254610A1 publication Critical patent/WO2022254610A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an object detection device and an object detection method for detecting objects.
  • the vehicle-mounted object detection device detects objects such as people and obstacles in the environment where the vehicle is used in a short period of time. Safe vehicle driving can be realized by using data of the object detected by the object detection device for vehicle control, alarm notification, and the like.
  • Object detection devices use sensors such as radar, cameras, lidar (LIDAR: Light Detection And Ranging), and ultrasonic sensors.
  • sensors such as radar, cameras, lidar (LIDAR: Light Detection And Ranging), and ultrasonic sensors.
  • LIDAR Light Detection And Ranging
  • ultrasonic sensors In recent years, with the widespread use of various sensors, fusion-type object detection devices that improve performance by combining multiple types of sensors have come to be widely used.
  • the object detection device described in Patent Document 1 uses a radar and a camera to realize a fusion type object detection device.
  • the object detection device described in Patent Document 1 outputs object detection data based on object position data detected using radar and object position data detected using a camera.
  • the present disclosure has been made in view of the above, and aims to obtain an object detection device capable of accurately detecting an object at a low manufacturing cost.
  • the object detection apparatus of the present disclosure includes a radar that emits electromagnetic waves to an object and receives a reflected signal from the object, and a radar that detects the position of the object based on the reflected signal.
  • the object detection apparatus of the present disclosure uses radar position data and radar speed data in the first frame to obtain first detected position data indicating the position of the object in the first frame and velocity of the object in the first frame.
  • the fusion processor has a data storage that stores the first detected position data, and if the radar position data and the radar velocity data are lost in a second frame that is a frame after the first frame, second detection position data indicating the position of the object in the second frame and the speed of the object in the second frame based on the first detection position data and the camera speed data acquired in the second frame; The second detected speed data shown is generated and output to an external device.
  • the object detection device has the effect of being able to detect objects with high accuracy at low manufacturing costs.
  • FIG. 1 is a diagram showing a configuration of an object detection device according to a first embodiment
  • FIG. 4 is a flowchart showing an object detection processing procedure by the object detection device according to the first embodiment
  • FIG. 2 shows a configuration of an object detection device according to a second embodiment
  • 10 is a flowchart showing an object detection processing procedure by the object detection device according to the second embodiment
  • FIG. 4 is a diagram showing a configuration example of a processing circuit provided in the object detection devices according to Embodiments 1 and 2 when the processing circuit is realized by a processor and a memory
  • FIG. 4 is a diagram showing an example of a processing circuit provided in the object detection apparatus according to Embodiments 1 and 2 when the processing circuit is configured by dedicated hardware;
  • Embodiment 1. 1 is a diagram illustrating a configuration of an object detection device according to a first embodiment; FIG.
  • the object detection device 100A is a fusion-type object detection device that combines a plurality of types of sensors, and calculates object detection data based on data obtained from the plurality of types of sensors. When the object detection data is lost due to the usage environment, the object detection device 100A estimates the position, speed, etc. of the object using the detection data obtained in the previous frame.
  • the detection data output by the object detection device 100A is used for vehicle control and the like.
  • the object detection device 100A includes a radar 1, a camera 2, a signal processor 3, an image processor 4A, and a fusion processor 5A.
  • the fusion processor 5A has an identity determination unit 6A, a detected data transfer unit 10, and a data storage unit 11A.
  • the identity determination unit 6A includes an identity determiner 7A, an erasure determiner 8, and an erasure extrapolator 9A.
  • the radar 1 emits electromagnetic waves to objects such as people and obstacles existing in the environment where the object detection device 100A is placed, and receives reflected signals from the objects.
  • the radar 1 generally uses the FMCW (Frequency Modulated Continuous Wave) method and the FCM (Fast Chirp Modulation) method for vehicle-mounted applications.
  • the radar 1 is composed of, for example, high-frequency semiconductor parts, power supply semiconductor parts, a substrate, a crystal device, chip parts, an antenna, and the like.
  • the signal processor 3 processes the reflected signal (received signal) sent from the radar 1 to detect the position and relative velocity of the object.
  • the signal processor 3 sends position data indicating the position of the object calculated based on the received signal from the radar 1 to the fusion processor 5A as radar position data.
  • the signal processor 3 also sends speed data indicating the speed of the object calculated based on the received signal from the radar 1 to the fusion processor 5A as radar speed data.
  • the signal processor 3 is composed of, for example, an MCU (Micro Control Unit), a CPU (Central Processing Unit), and the like.
  • the camera 2 acquires image information of an object by capturing an image of the object.
  • the camera 2 is composed of parts such as a lens, a holder, a CMOS (Complementary Metal Oxide Semiconductor) sensor, a power semiconductor part, and a crystal device.
  • the camera 2 may be a low-performance camera that does not detect the position of an object.
  • the image processor 4A executes object recognition based on the image information acquired by the camera 2, and also calculates the relative velocity of the object to the object detection device 100A and the direction in which the object is positioned.
  • the image processor 4A is composed of, for example, an MCU and a CPU.
  • the image processor 4A recognizes objects such as people and obstacles using feature data obtained by machine learning or deep learning as a database, and detects the relative speed and direction of the object.
  • Feature data is data indicating features of an object such as a person or an obstacle.
  • the image processor 4A sends object recognition data indicating that the object has been recognized to the fusion processor 5A.
  • Object recognition data is data for distinguishing whether an object is a person or an obstacle.
  • the image processor 4A distinguishes between a person and an obstacle with 1 bit, for example, "0" for a person and "1" for an obstacle are generated as object recognition data.
  • the image processor 4A sends speed data indicating the relative speed of the object to the object detection device 100A as camera speed data to the fusion processor 5A.
  • the image processor 4A also sends orientation data indicating the orientation of the object to the fusion processor 5A.
  • the image processor 4A may be a low-performance processor that does not calculate the position of an object.
  • the signal processor 3 calculates the radar position data and the radar speed data for each frame and sends them to the fusion processor 5A.
  • the image processor 4A calculates object recognition data, camera speed data, and azimuth data on a frame-by-frame basis and sends them to the fusion processor 5A.
  • the signal processor 3 calculates radar position data and radar speed data for each specific timing.
  • the image processor 4A also calculates object recognition data, camera speed data, and direction data at each specific timing.
  • the signal processor 3 and the image processor 4A calculate data at the same timing. That is, the signal processor 3 and the image processor 4A calculate each data from the object at the same time.
  • the timing at which the signal processor 3 and the image processor 4A calculate data corresponds to a frame.
  • the nth frame includes nth radar position data and radar velocity data.
  • the image processor 4A calculates data at the n-th timing
  • the n-th frame includes the n-th object recognition data, camera velocity data, and orientation data.
  • the (n-1)th frame is the first frame and the nth frame is the second frame.
  • the fusion processor 5A generates signals for the radar position data and radar velocity data sent from the signal processor 3 and the object recognition data, camera velocity data, and azimuth data sent from the image processor 4A. Execute the process.
  • the fusion processor 5A outputs the result of signal processing as the detection result of the object detection device 100A.
  • the detection results of the object detection device 100A are object recognition data, speed data, and position data.
  • the identity determiner 7A of the identity determiner 6A performs object identity determination processing based on radar position data, radar velocity data, camera velocity data, azimuth data, and object recognition data. Run.
  • the same object determination process is a process of determining whether or not the object detected by the radar 1 and the object detected by the camera 2 are the same object.
  • the identity determiner 7A executes identity determination processing for the objects, and if it can determine that the objects are the same, the radar position data and radar velocity data obtained using the radar 1 and the radar speed data obtained using the camera 2 Associate with object recognition data and camera speed data.
  • the identity determiner 7A uses data in which the radar position data, the radar velocity data, the object recognition data, and the camera velocity data are associated with each other (hereinafter referred to as first association data) for the disappearance determination connected at the subsequent stage.
  • first association data data in which the radar position data, the radar velocity data, the object recognition data, and the camera velocity data are associated with each other
  • the disappearance determiner 8 determines whether or not the signal of the radar position data and radar speed data acquired using the radar 1 has disappeared. In the state where the signal loss occurs, the object detection device 100A was able to acquire the radar position data and the radar speed data in the previously detected frame, but the radar position data and the radar speed data in the current detection frame. Speed data cannot be obtained temporarily. That is, the state of no signal is a state in which the radar 1 cannot detect the object although the camera 2 can detect the object.
  • the erasure determiner 8 When there is no signal loss, the erasure determiner 8 sends the radar position data, radar velocity data, and object recognition data to the erasure extrapolator 9A. The erasure determiner 8 sends object recognition data and camera velocity data to the erasure extrapolator 9A when there is a signal erasure.
  • the object detection device 100A detects an object using the radar 1, it frequently happens that the desired object is buried in clutter or multipaths and cannot be detected.
  • the erasure extrapolator 9A executes data extrapolation only when the erasure determiner 8 detects the erasure of data.
  • the loss extrapolator 9A converts the radar position data, the radar speed data, and the object recognition data sent from the loss determiner 8 to the position data (detection Position data), speed data (detected speed data), and object recognition data are sent to the detected data transfer unit 10 .
  • the loss extrapolator 9A When there is signal loss, the loss extrapolator 9A generates the position data and speed data of the current frame, extrapolates them to the current frame, and transfers them to the detection data transfer unit 10. Specifically, when there is signal loss, the loss extrapolator 9A extracts the position data and speed data of the current frame based on the position data and camera speed data stored in the data storage unit 11A. It is extrapolated and sent to the detection data transfer unit 10 . That is, the erasure extrapolator 9A transfers the generated position data, the generated velocity data, and the object recognition data to the detection data transfer unit 10 when there is signal loss.
  • the detection data transfer unit 10 transfers the position data, speed data, and object recognition data as the current frame to the external device.
  • An example of the external device is the vehicle control device 12 that controls the vehicle.
  • the detected data transfer unit 10 stores the same position data as the position data transferred to the vehicle control device 12 in the data storage device 11A.
  • the position data stored in the data storage unit 11A is read out by the erasure extrapolator 9A when there is signal loss in the next frame.
  • the detected data transfer unit 10 always stores the position data (latest position data) in the current frame in the data storage device 11A, and transfers the position data, speed data, and object recognition data to the vehicle control device 12.
  • the position data output from the detected data transfer unit 10 to the vehicle control device 12 is detected position data
  • the speed data output from the detected data transfer unit 10 to the vehicle control device 12 is detected speed data.
  • the loss extrapolator 9A uses the position data of the previously detected frame stored in the data storage unit 11A and the camera speed of the currently detected frame. Based on the data, the direction of movement of the object is estimated, and position data corresponding to the current position of the object and velocity data corresponding to the current velocity of the object are estimated. Erasure extrapolator 9A extrapolates the estimated position and velocity data to the current frame.
  • FIG. 2 is a flowchart of an object detection processing procedure performed by the object detection apparatus according to the first embodiment
  • the object detection device 100A starts generating frames for object detection (step S1).
  • the object detection device 100A uses the radar 1 to detect the position and speed of the object (step S2). Specifically, the radar 1 emits electromagnetic waves to an object, receives a reflected signal from the object, and outputs the received signal to the signal processor 3 .
  • a signal processor 3 generates radar position data indicating the position of an object and radar speed data indicating the speed of the object based on the signal received from the radar 1 .
  • the object detection device 100A recognizes the object using the camera 2 and detects the speed and direction of the object (step S3A). Specifically, the camera 2 acquires image information of the object by capturing an image of the object, and outputs the image information to the image processor 4A.
  • the image processor 4A executes object recognition based on the image information acquired by the camera 2, and also generates camera speed data indicating the relative speed of the object with respect to the object detection device 100A and orientation data indicating the orientation of the object. to generate Note that the object detection device 100A simultaneously executes the process of step S2 and the process of step S3A.
  • the signal processor 3 sends radar position data and radar speed data to the fusion processor 5A
  • the image processor 4A sends object recognition data, camera speed data, and direction data indicating that an object has been recognized. is sent to the fusion processor 5A.
  • the identity determiner 7A of the fusion processor 5A executes object identity determination processing based on the radar position data, radar velocity data, camera velocity data, azimuth data, and object recognition data (step S4). . That is, the identity determiner 7A determines whether or not the object detected by the radar 1 and the object detected by the camera 2 are the same object.
  • the radar position data and radar velocity data obtained using the radar 1 and the object recognition data and camera velocity obtained using the camera 2 are used.
  • the first association data associated with the data is generated and sent to the erasure determiner 8 .
  • the disappearance determiner 8 determines whether or not the radar detection data, which are the position data and speed data acquired using the radar 1, have disappeared in the current frame (step S5). That is, the loss determiner 8 determines the presence or absence of signal loss.
  • step S5 If the radar detection data has disappeared (step S5, Yes), that is, if there is signal loss, the disappearance determiner 8 sends the object recognition data and camera speed data to the disappearance extrapolator 9A.
  • the erasure extrapolator 9A extracts the position data and velocity data of the current frame based on the position data stored in the data storage unit 11A and the camera velocity data sent from the erasure determiner 8. Estimate and generate. That is, the erasure extrapolator 9A estimates the current position and velocity of the object based on the position data detected in the previous frame and the camera velocity data detected in the current frame.
  • the estimation method is as follows.
  • (Xn-1, Yn-1) be the position data detected by the object detection device 100A in the frame immediately preceding the current frame, that is, the (n-1)th frame.
  • (VXCn, VYCn) be the camera velocity data detected using camera 2 in the current frame, ie, the n-th frame.
  • X indicates the coordinate in the horizontal direction with respect to the object detection device 100A
  • Y indicates the coordinate in the vertical direction with respect to the object detection device 100A. Therefore, Xn-1 indicates the position in the X direction and Yn-1 indicates the position in the Y direction.
  • VXCn indicates the velocity in the X direction, and VYCn indicates the velocity in the Y direction.
  • the estimated position data (Xn, Yn) of the object in the current frame is given by the following equations (1) and (2).
  • Tf in equations (1) and (2) is the frame update cycle time of the object detection device 100A.
  • Xn (Xn ⁇ 1)+VXCn ⁇ Tf (1)
  • Yn (Yn ⁇ 1)+VYCn ⁇ Tf (2)
  • the estimated velocity data (VXn, VYn) of the object in the current frame is as follows.
  • VXn VXCn
  • VYn VYCn
  • the erasure extrapolator 9A extrapolates the generated position data and velocity data to the current frame. That is, the erasure extrapolator 9A generates the erasure radar detection data and extrapolates it to the current frame (step S6).
  • the erasure extrapolator 9A associates the extrapolated position data, the extrapolated velocity data, and the object recognition data, and sends them to the detection data transfer unit 10 (step S7). That is, erasure extrapolator 9A sends estimated position data (Xn, Yn), estimated velocity data (VXn, VYn), and object recognition data to detection data transfer unit 10 .
  • step S5 if the radar detection data has not disappeared (step S5, No), that is, if there is no signal loss, the disappearance determiner 8 determines the radar position data (XRn, YRn) detected by the radar 1 and the radar velocity data (VXRn , VYRn) to the erasure extrapolator 9A.
  • the erasure extrapolator 9A in this case adopts the radar position data (XRn, YRn) and radar velocity data (VXRn, VYRn) detected by the radar 1 as position data and velocity data.
  • the position data (Xn, Yn) and velocity data (VXn, VYn) adopted by the erasure determiner 8 are as follows.
  • the erasure extrapolator 9A associates the adopted position data, the adopted velocity data, and the object recognition data, and sends them to the detection data transfer unit 10 (step S7).
  • the detection data transfer unit 10 sends the position data, speed data, and object recognition data sent from the disappearance determiner 8 to the vehicle control device 12 .
  • the position data that the detected data transfer unit 10 sends to the vehicle control device 12 as the (n ⁇ 1)th frame is the first detected position data
  • the detected data transfer unit 10 sends the (n ⁇ 1)th frame. is the first detected speed data.
  • the position data that the detection data transfer unit 10 sends to the vehicle control device 12 as the n)th frame is the second detection position data
  • the detection data transfer unit 10 sends the position data to the vehicle control device 12 as the nth frame. is the second detected speed data.
  • the vehicle control device 12 controls the vehicle based on the position data, speed data, and object recognition data sent from the detection data transfer section 10 (step S8).
  • the object detection device 100A proceeds to generate the next frame after object detection (step S9). As a result, the object detection device 100A repeatedly executes the processes from step S1 to step S9.
  • the object detection apparatus 100A uses the radar detection data of the previous frame and the camera 2 of the current frame even if the radar detection data of the object using the radar 1 is temporarily lost.
  • the detected data is used to generate position and velocity data for the current frame. That is, the object detection device 100A generates the position data and speed data of the current frame based on the position data of the previous frame and the camera speed data of the current frame.
  • the object detection device 100A can improve the loss of radar detection data as a result. Therefore, the object detection device 100A can improve the object detection performance.
  • the object detection device 100A can accurately detect an object by using a camera 2 and an image processor 4A that are compact, low-cost, and low-load.
  • the object detection device 100A when the radar detection data is lost, the object detection device 100A generates the position data and speed data of the current frame based on the position data of the two or more previous frames and the camera speed data of the current frame. You may When the radar detection data is lost, the object detection device 100A generates the position data and velocity data of the current frame based on the position data of the frame as new as possible and the camera velocity data of the current frame. In this way, when the radar detection data is lost, the object detection device 100A stores the latest position data and the camera speed data of the current frame, which is the frame after the frame of the latest position data. and generate position and velocity data for the current frame.
  • the object detection device 100A detects the position of the object only with the radar 1 and the signal processor 3, and does not detect the position of the object with the camera 2 and the image processor 4A. With such a configuration of the object detection device 100A, it is possible to reduce the hardware and software loads of the camera 2 and the image processor 4A.
  • the camera 2 In order to detect and output the position of an object, it is common to measure the distance with a stereo camera, but in the object detection device 100A, the camera 2 can be configured with a monocular camera.
  • the image processor 4A is configured not to detect the position, and the processing capacity can be reduced accordingly. For these reasons, the camera 2 and the image processor 4A of the object detection apparatus 100A can be operated in a short processing time, so that the size can be reduced and the manufacturing cost can be reduced.
  • the object detection device of the comparative example will be explained. Similarly to the object detection device 100A, the object detection device of the comparative example does not detect position data with a camera. The object detection device of the comparative example does not include the erasure determiner 8 and the erasure extrapolator 9A. As with the object detection device 100A, the object detection device of this comparative example also obtains positive position data after the fusion processing of the position data acquired using the radar. However, since the object detection device of the comparative example does not include the disappearance determiner 8 and the disappearance extrapolator 9A, the position data cannot be detected when the radar detection data disappears due to a temporary use environment. .
  • the disappearance determiner 8 determines whether or not the radar position data and radar speed data acquired using the radar 1 have disappeared for the current frame. Further, in the object detection device 100A, the erasure extrapolator 9A calculates the position data of the current frame based on the position data saved in the previous frame and the velocity data of the camera 2 detected in the current frame. Position and velocity data are estimated and extrapolated to the current frame.
  • the object detection device 100A can improve the average object detection accuracy even when the camera 2 is a monocular camera with a small size and low manufacturing cost. That is, the object detection device 100A is small, can be manufactured at low cost, and can perform high-performance object detection.
  • the object detection device 100A generates the current position data and speed data using the position data and the current camera speed data saved in the previous frame. Therefore, an object can be accurately detected with a small size and low manufacturing cost.
  • Embodiment 2 Next, Embodiment 2 will be described with reference to FIGS. 3 and 4.
  • FIG. 1 the position data detected using the camera 2 (camera position data described later) is extrapolated to the current frame only when the radar detection data has disappeared.
  • FIG. 3 is a diagram showing the configuration of the object detection device according to the second embodiment. 3 that achieve the same functions as those of the object detection apparatus 100A of the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and overlapping descriptions are omitted.
  • the object detection device 100B is a fusion-type object detection device that combines multiple types of sensors, and calculates object detection data based on data obtained from multiple types of sensors. .
  • the object detection device 100B estimates the position, speed, etc. of the object using the detection data obtained in the previous frame.
  • the object detection device 100B includes an image processor 4B instead of the image processor 4A. Also, the object detection device 100B includes a fusion processor 5B instead of the fusion processor 5A. That is, the object detection device 100B includes a radar 1, a camera 2, a signal processor 3, an image processor 4B, and a fusion processor 5B.
  • the fusion processor 5B has an identical judgment section 6B instead of the identical judgment section 6A. Also, the fusion processor 5B does not include the data storage device 11A.
  • the identity determination unit 6B includes an identity determiner 7B instead of the identity determiner 7A, and an erasure extrapolator 9B instead of the erasure extrapolator 9A.
  • the image processor 4B executes object recognition and calculates the relative velocity of the object with respect to the object detection device 100B and the position of the object.
  • the image processor 4B like the image processor 4A, is composed of, for example, an MCU and a CPU. Similar to the image processor 4A, the image processor 4B uses feature data obtained by machine learning or deep learning as a database to recognize objects such as people and obstacles, and calculates relative velocities and positions of the objects.
  • the image processor 4B sends object recognition data indicating that the object has been recognized, camera speed data, and camera position data indicating the position of the object to the fusion processor 5B.
  • the image processor 4B differs from the image processor 4A in calculating the position of the object.
  • the identity determiner 7B executes object identity determination processing based on radar position data, radar speed data, camera speed data, camera position data, and object recognition data. If the object is determined to be the same, the identity determiner 7B associates the radar position data, the radar speed data, the object recognition data, the camera speed data, and the camera position data. The identity determiner 7B sends these associated data (hereinafter referred to as second associated data) to the erasure determiner 8 connected in the subsequent stage.
  • the loss determiner 8 of the second embodiment determines whether or not there is signal loss of radar position data and radar speed data in the same manner as the loss determiner 8 of the first embodiment.
  • the loss determiner 8 When there is no signal loss, the loss determiner 8 sends radar position data, radar velocity data, and object recognition data to the loss extrapolator 9B.
  • the erasure determiner 8 sends object recognition data, camera speed data, and camera position data to the erasure extrapolator 9B when there is a signal erasure.
  • the erasure extrapolator 9B executes data extrapolation only when the erasure determiner 8 detects the erasure of data. When there is no signal loss, the annihilation extrapolator 9B converts the radar position data, radar velocity data, and object recognition data sent from the annihilation determiner 8 to the position data and velocity detected by the object detection device 100B. data and object recognition data to the detection data transfer unit 10 .
  • the loss extrapolator 9B When there is signal loss, the loss extrapolator 9B generates the position data and speed data of the current frame, extrapolates them to the current frame, and transfers them to the detection data transfer unit 10 . Specifically, when there is signal loss, the loss extrapolator 9B replaces the camera position data, camera speed data, and object recognition data with the position data, speed data, and object recognition data detected by the object detection device 100B. It is transferred to the detection data transfer unit 10 as data.
  • FIG. 4 is a flowchart of an object detection processing procedure performed by the object detection device according to the second embodiment. Note that, among the processes shown in FIG. 4, the description of the same processes as those described with reference to FIG. 2 will be omitted.
  • the object detection device 100B executes the processes of steps S1 and S2.
  • object detection device 100B executes step S3B instead of step S3A. That is, object detection device 100B recognizes an object using camera 2 and detects the speed and position of the object (step S3B). Specifically, the camera 2 acquires image information of the object by capturing an image of the object, and outputs the image information to the image processor 4B.
  • the image processor 4B executes object recognition based on the image information acquired by the camera 2, and also calculates camera speed data indicating the relative speed of the object with respect to the object detection device 100B and the relative position of the object with respect to the object detection device 100B. and camera position data shown.
  • the image processor 4B sends object recognition data, camera speed data, and camera position data indicating that the object has been recognized to the fusion processor 5B. Note that the object detection device 100B simultaneously executes the process of step S2 and the process of step S3B.
  • the identity determiner 7B of the fusion processor 5B executes object identity determination processing based on the radar position data, radar speed data, camera speed data, camera position data, and object recognition data (step S4 ).
  • the same determiner 7B determines the radar position data, the radar speed data, the object recognition data acquired using the camera 2, the camera speed data, and the camera position data. is generated and sent to the erasure determiner 8 .
  • the disappearance determiner 8 of the object detection device 100B determines whether or not the radar detection data, which are the radar position data and the radar speed data, have disappeared (step S5). Then, if the radar detection data has disappeared (step S5, Yes), that is, if there is signal loss, the disappearance determiner 8 sends the object recognition data, camera position data, and camera speed data to the disappearance extrapolator 9B. send.
  • the lost extrapolator 9B extrapolates the camera position data and camera velocity data to the current frame when the radar detection data is lost.
  • the lost extrapolator 9B adopts the camera position data as the position data of the current frame and adopts the camera velocity data as the velocity data of the current frame when the radar detection data is lost.
  • the erasure extrapolator 9B generates the erasure radar detection data and extrapolates it to the current frame (step S6).
  • the object detection device 100B executes the processing after step S7 by the same processing as the object detection device 100A. If the radar detection data has not disappeared, the erasure extrapolator 9B performs the same processing as the erasure extrapolator 9A.
  • the object detection device 100B calculates radar position data detected using the radar 1 and camera position data detected using the camera 2 .
  • the object detection device 100B uses the detection data of the camera 2 only when the detection data of the radar 1 is lost. That is, the object detection device 100B extrapolates the camera position data and camera speed data to the current frame only when the radar position data and radar speed data are lost. As a result, the object detection apparatus 100B can improve the average object detection accuracy even when the camera 2 is composed of a monocular camera that is compact and low in manufacturing cost.
  • the object detection device 100B detects the detection data of the previous frame detected by the object detection device 100B and the detection data of the current frame. Radar detection data is estimated based on detection data using camera 2 . As a result, the object detection device 100B can improve the disappearance of radar detection data and improve the average object detection accuracy. Therefore, the object detection device 100B can accurately detect an object using the compact, low-cost, and low-load camera 2 and image processor 4B.
  • Object detection devices 100A and 100B are implemented by processing circuits.
  • the processing circuit may be a processor and memory that executes a program stored in the memory, or may be dedicated hardware such as a dedicated circuit.
  • Processing circuitry is also called control circuitry.
  • FIG. 5 is a diagram showing a configuration example of a processing circuit provided in the object detection apparatus according to Embodiments 1 and 2 when the processing circuit is realized by a processor and a memory. Since the object detection devices 100A and 100B have similar hardware configurations, the hardware configuration of the object detection device 100A will be described below.
  • a processing circuit 90 shown in FIG. 5 is a control circuit and includes a processor 91 and a memory 92 .
  • each function of the processing circuit 90 is implemented by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 92 .
  • each function is realized by the processor 91 reading and executing the program stored in the memory 92.
  • FIG. That is, the processing circuit 90 has a memory 92 for storing a program that results in the execution of the processing of the object detection device 100A.
  • This program can also be said to be a program for causing the object detection device 100A to execute each function realized by the processing circuit 90 .
  • This program may be provided by a storage medium storing the program, or may be provided by other means such as a communication medium.
  • the above program can also be said to be a program that causes the object detection device 100A to execute object detection processing.
  • the processor 91 is, for example, a CPU (central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, DSP (Digital Signal Processor)) or system LSI (Large Scale Integration).
  • CPU central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, DSP (Digital Signal Processor)) or system LSI (Large Scale Integration).
  • the memory 92 is a non-volatile or volatile memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (registered trademark) (Electrically EPROM), etc.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable ROM), EEPROM (registered trademark) (Electrically EPROM), etc.
  • a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc) is applicable.
  • FIG. 6 is a diagram showing an example of a processing circuit when the processing circuit included in the object detection device according to Embodiments 1 and 2 is configured with dedicated hardware.
  • the processing circuit 93 shown in FIG. 6 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these thing applies.
  • the processing circuit 93 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the processing circuitry 93 can implement each of the functions described above by dedicated hardware, software, firmware, or a combination thereof.
  • the signal processor 3 and the image processor 4A may be configured by separate CPUs or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

物体検出装置（１００Ａ）は、レーダ（１）が受信した反射信号に基づいて、物体の位置を示すレーダ位置データおよび物体の速度を示すレーダ速度データを算出する信号処理器（３）と、カメラ（２）が取得した画像情報に基づいて、物体の速度を示すカメラ速度データを算出する画像処理器（４Ａ）と、第１のフレームにおけるレーダ位置データおよびレーダ速度データを、第１の検出位置データおよび第１の検出速度データとして車両制御装置（１２）に出力するフュージョン処理器（５Ａ）と、を備え、フュージョン処理器は、第１のフレームよりも後の第２のフレームにおいてレーダ位置データおよびレーダ速度データを消失した場合には、第１の検出位置データおよび第２のフレームのカメラ速度データに基づいて、第２のフレームにおける第２の検出位置データおよび第２の検出速度データを生成して外部装置に出力する。

Description

物体検出装置および物体検出方法
　本開示は、物体を検出する物体検出装置および物体検出方法に関する。
　車両搭載用の物体検出装置は、車両を利用する環境に存在する人、障害物などの物体を短時間に検出する。この物体検出装置が検出した物体のデータが、車両制御、警報通知などに用いられることで、安全な車両運転を実現することが可能となる。
　物体検出装置には、レーダ、カメラ、ライダ（LIDAR：LIght　Detection　And　Ranging）、超音波センサなどのセンサが用いられる。近年では、各種センサの普及により、複数種類のセンサを組合せることで性能向上を実現するフュージョン型の物体検出装置が幅広く利用されるようになっている。
　特許文献１に記載の物体検出装置は、レーダおよびカメラを用いてフュージョン型の物体検出装置を実現している。この特許文献１に記載の物体検出装置は、レーダを用いて検出した物体の位置データと、カメラを用いて検出した物体の位置データとに基づいて、物体の検出データを出力している。
国際公開第２０１０／１１９８６０号
　しかしながら、上記特許文献１の技術では、物体を精度良く検出するために高性能なカメラで物体の位置データを検出しているので、物体検出装置の製造コストが高くなるという問題があった。
　本開示は、上記に鑑みてなされたものであって、低製造コストで精度良く物体を検出することができる物体検出装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示の物体検出装置は、物体に電磁波を発射して、物体からの反射信号を受信するレーダと、反射信号に基づいて、物体の位置を示すレーダ位置データおよび物体の速度を示すレーダ速度データを算出する信号処理器と、物体を撮像することで、物体の画像情報を取得するカメラと、画像情報に基づいて、物体の速度を示すカメラ速度データを算出する画像処理器と、を備える。また、本開示の物体検出装置は、第１のフレームにおけるレーダ位置データおよびレーダ速度データを、第１のフレームにおいて物体の位置を示す第１の検出位置データおよび第１のフレームにおいて物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理器を備える。フュージョン処理器は、第１の検出位置データを保存しておくデータ保存器を有し、第１のフレームよりも後のフレームである第２のフレームにおいてレーダ位置データおよびレーダ速度データを消失した場合には、第１の検出位置データおよび第２のフレームで取得したカメラ速度データに基づいて、第２のフレームにおいて物体の位置を示す第２の検出位置データおよび第２のフレームにおいて物体の速度を示す第２の検出速度データを生成して外部装置に出力する。
　本開示にかかる物体検出装置は、低製造コストで精度良く物体を検出することができるという効果を奏する。
実施の形態１にかかる物体検出装置の構成を示す図 実施の形態１にかかる物体検出装置による物体の検出処理手順を示すフローチャート 実施の形態２にかかる物体検出装置の構成を示す図 実施の形態２にかかる物体検出装置による物体の検出処理手順を示すフローチャート 実施の形態１，２に係る物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図 実施の形態１，２に係る物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図
　以下に、本開示の実施の形態にかかる物体検出装置および物体検出方法を図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる物体検出装置の構成を示す図である。物体検出装置１００Ａは、複数種類のセンサを組合せたフュージョン型の物体検出装置であり、複数種類のセンサから得られたデータに基づいて、物体の検出データを算出する。物体検出装置１００Ａは、使用環境が原因で物体の検出データが消失した場合に、１つ前のフレームで得られた検出データを用いて物体の位置、速度などを推定する。物体検出装置１００Ａが出力する検出データは、車両の制御などに用いられる。
　物体検出装置１００Ａは、レーダ１と、カメラ２と、信号処理器３と、画像処理器４Ａと、フュージョン処理器５Ａとを備えている。フュージョン処理器５Ａは、同一判定部６Ａと、検出データ転送部１０と、データ保存器１１Ａとを有している。同一判定部６Ａは、同一判定器７Ａと、消失判定器８と、消失外挿器９Ａとを具備している。
　レーダ１は、物体検出装置１００Ａが配置される環境に存在する人、障害物などの物体に電磁波を発射して、物体からの反射信号を受信する。レーダ１は、車両搭載用途の場合、一般的にＦＭＣＷ（Frequency　Modulated　Continuous　Wave、周波数変調連続波）方式、ＦＣＭ（Fast　Chirp　Modulation）方式を使用する。レーダ１は、例えば、高周波半導体部品、電源半導体部品、基板、水晶デバイス、チップ部品、アンテナなどから構成されている。
　信号処理器３は、レーダ１から送られてくる反射信号（受信信号）を信号処理して、物体の位置および相対速度を検出する。信号処理器３は、レーダ１からの受信信号に基づいて算出した物体の位置を示す位置データを、レーダ位置データとしてフュージョン処理器５Ａに送る。また、信号処理器３は、レーダ１からの受信信号に基づいて算出した物体の速度を示す速度データを、レーダ速度データとしてフュージョン処理器５Ａに送る。信号処理器３は、例えば、ＭＣＵ（Micro　Control　Unit）、ＣＰＵ（Central　Processing　Unit）などで構成されている。
　カメラ２は、物体を撮像することで、物体の画像情報を取得する。カメラ２は、レンズ、ホルダ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサ、電源半導体部品、水晶デバイスなどの部品で構成されている。カメラ２は、物体の位置を検出しない低性能なカメラでよい。
　画像処理器４Ａは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに物体の物体検出装置１００Ａに対する相対速度、物体が位置している方位を算出する。画像処理器４Ａは、例えば、ＭＣＵ、ＣＰＵなどで構成されている。画像処理器４Ａは、機械学習または深層学習によって得られた特徴データをデータベースとして、人、障害物などの物体を認識し、物体の相対速度および方位を検出する。特徴データは、人、障害物などの物体の特徴を示すデータである。
　画像処理器４Ａは、物体を認識したことを示す物体認識データをフュージョン処理器５Ａに送る。物体認識データは、物体が、人であるか障害物であるかを区別するためのデータである。画像処理器４Ａは、１ビットで人と障害物とを区別する場合には、例えば、人の場合は「０」、障害物の場合は「１」を物体認識データとして生成する。また、画像処理器４Ａは、物体の物体検出装置１００Ａに対する相対速度を示す速度データを、カメラ速度データとしてフュージョン処理器５Ａに送る。また、画像処理器４Ａは、物体が位置している方位を示す方位データをフュージョン処理器５Ａに送る。画像処理器４Ａは、物体の位置を算出しない低性能な処理器でよい。
　物体検出装置１００Ａでは、信号処理器３がフレーム単位で、レーダ位置データおよびレーダ速度データを算出してフュージョン処理器５Ａに送る。また、物体検出装置１００Ａでは、画像処理器４Ａがフレーム単位で、物体認識データ、カメラ速度データ、および方位データを算出してフュージョン処理器５Ａに送る。
　信号処理器３は、特定のタイミング毎に、レーダ位置データおよびレーダ速度データを算出する。また、画像処理器４Ａは、特定のタイミング毎に、物体認識データ、カメラ速度データ、および方位データを算出する。信号処理器３および画像処理器４Ａに要する信号処理時間が同じである場合、信号処理器３および画像処理器４Ａがデータを算出するタイミングは同じタイミングである。すなわち、信号処理器３および画像処理器４Ａは、同じ時刻の物体から各データを算出する。
　信号処理器３および画像処理器４Ａがデータを算出するタイミングは、フレームに対応している。例えば、信号処理器３が、第ｎ（ｎは自然数）番目のタイミングでデータを算出した場合、第ｎ番目のフレームには第ｎ番目のレーダ位置データおよびレーダ速度データが含まれる。また、画像処理器４Ａが、第ｎ番目のタイミングでデータを算出した場合、第ｎ番目のフレームには第ｎ番目の物体認識データ、カメラ速度データ、および方位データが含まれる。第（ｎ－１）番目のフレームが第１のフレームであり、第ｎ番目のフレームが第２のフレームである。
　フュージョン処理器５Ａは、信号処理器３から送られてくるレーダ位置データおよびレーダ速度データと、画像処理器４Ａから送られてくる物体認識データ、カメラ速度データ、および方位データと、に対して信号処理を実行する。フュージョン処理器５Ａは、信号処理の結果を、物体検出装置１００Ａの検出結果として出力する。物体検出装置１００Ａの検出結果は、物体認識データ、速度データ、および位置データである。
　フュージョン処理器５Ａでは、同一判定部６Ａの同一判定器７Ａが、レーダ位置データと、レーダ速度データと、カメラ速度データと、方位データと、物体認識データとに基づいて、物体の同一判定処理を実行する。物体の同一判定処理は、レーダ１が検出した物体と、カメラ２が検出した物体とが同一の物体であるか否かの判定処理である。
　同一判定器７Ａは、物体の同一判定処理を実行し、同一であると判定できた場合は、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データと、カメラ２を用いて取得された物体認識データおよびカメラ速度データとの対応付けを行う。同一判定器７Ａは、レーダ位置データと、レーダ速度データと、物体認識データと、カメラ速度データとを対応付けしたデータ（以下、第１対応付けデータという）を、後段に接続されている消失判定器８に送る。
　消失判定器８は、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データの信号消失の有無を判定する。信号消失が発生している状態は、物体検出装置１００Ａが、１つ前に検出されたフレームではレーダ位置データおよびレーダ速度データを取得できていたが、現在の検出フレームでは、レーダ位置データおよびレーダ速度データを一時的に取得できていない状態である。すなわち、信号消失の状態は、カメラ２では物体を検出できているにも関わらず、レーダ１では物体を検出できていない状態である。
　消失判定器８は、信号消失が無い場合には、レーダ位置データ、レーダ速度データ、および物体認識データを消失外挿器９Ａに送る。消失判定器８は、信号消失がある場合には、物体認識データおよびカメラ速度データを消失外挿器９Ａに送る。
　物体検出装置１００Ａは、レーダ１を用いて物体を検出する際には、所望の物体がクラッタまたはマルチパスに埋もれてしまい、物体を検出することができないことが高頻度に生じる。
　消失外挿器９Ａは、消失判定器８がデータの消失を検出した場合のみデータの外挿を実行する。消失外挿器９Ａは、信号消失が無い時は、消失判定器８から送られてきた、レーダ位置データ、レーダ速度データ、および物体認識データを、物体検出装置１００Ａが検出した、位置データ（検出位置データ）、速度データ（検出速度データ）、および物体認識データとして、検出データ転送部１０に送る。
　消失外挿器９Ａは、信号消失が有る時は、現在のフレームの位置データおよび速度データを生成して、現在のフレームに外挿し、検出データ転送部１０に転送する。具体的には、消失外挿器９Ａは、信号消失が有る時は、データ保存器１１Ａに保存されている位置データと、カメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを外挿して、検出データ転送部１０に送る。すなわち、消失外挿器９Ａは、信号消失が有る場合、生成した位置データ、生成した速度データ、および物体認識データを検出データ転送部１０に転送する。
　検出データ転送部１０は、位置データ、速度データ、および物体認識データを現在のフレームとして、外部装置に転送する。外部装置の例は、車両の制御を行う車両制御装置１２である。また、検出データ転送部１０は、車両制御装置１２に転送した位置データと同じ位置データをデータ保存器１１Ａに保存する。データ保存器１１Ａに保存された位置データは、次のフレームで信号消失が有った場合に、消失外挿器９Ａによって読み出される。
　検出データ転送部１０は、常に現在のフレームにおける位置データ（最新の位置データ）をデータ保存器１１Ａに格納するとともに、位置データ、速度データ、および物体認識データを、車両制御装置１２に転送する。検出データ転送部１０が車両制御装置１２に出力する位置データが検出位置データであり、検出データ転送部１０が車両制御装置１２に出力する速度データが検出速度データである。
　消失外挿器９Ａは、現在のフレームにおいて信号消失が有った場合は、データ保存器１１Ａに保存されている１つ前に検出されたフレームの位置データと、現在検出されたフレームのカメラ速度データとに基づいて、物体の移動方向を推定し、現在の物体の位置に対応する位置データおよび現在の物体の速度に対応する速度データを推定する。消失外挿器９Ａは、推定した位置データおよび速度データを、現在のフレームに外挿する。
　つぎに、物体検出装置１００Ａによる物体の検出処理手順について説明する。図２は、実施の形態１にかかる物体検出装置による物体の検出処理手順を示すフローチャートである。
　物体検出装置１００Ａは、物体検出のフレーム生成を開始する（ステップＳ１）。物体検出装置１００Ａは、レーダ１を用いて物体の位置および速度を検出する（ステップＳ２）。具体的には、レーダ１は、物体に電磁波を発射して、物体からの反射信号を受信し、受信信号を信号処理器３に出力する。信号処理器３は、レーダ１からの受信信号に基づいて、物体の位置を示すレーダ位置データおよび物体の速度を示すレーダ速度データを生成する。
　また、物体検出装置１００Ａは、カメラ２を用いて物体を認識し、物体の速度および方位を検出する（ステップＳ３Ａ）。具体的には、カメラ２は、物体を撮像することで、物体の画像情報を取得し、画像情報を画像処理器４Ａに出力する。画像処理器４Ａは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに、物体の物体検出装置１００Ａに対する相対速度を示すカメラ速度データ、物体が位置している方位を示す方位データを生成する。なお、物体検出装置１００Ａは、ステップＳ２の処理と、ステップＳ３Ａの処理とを同時に実行する。
　物体検出装置１００Ａでは、信号処理器３がレーダ位置データおよびレーダ速度データをフュージョン処理器５Ａに送るとともに、画像処理器４Ａが物体を認識したことを示す物体認識データ、カメラ速度データ、および方位データをフュージョン処理器５Ａに送る。
　フュージョン処理器５Ａの同一判定器７Ａは、レーダ位置データと、レーダ速度データと、カメラ速度データと、方位データと、物体認識データとに基づいて、物体の同一判定処理を実行する（ステップＳ４）。すなわち、同一判定器７Ａは、レーダ１が検出した物体と、カメラ２が検出した物体とが同一の物体であるか否かの判定を行う。
　同一判定器７Ａは、物体が同一であると判定できた場合には、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データと、カメラ２を用いて取得された物体認識データおよびカメラ速度データとを対応付けした第１対応付けデータを生成して消失判定器８に送る。
　消失判定器８は、現在のフレームにおいて、レーダ１を用いて取得された位置データおよび速度データであるレーダ検出データが消失したか否かを判定する（ステップＳ５）。すなわち、消失判定器８は、信号消失の有無を判定する。
　レーダ検出データが消失している場合（ステップＳ５、Ｙｅｓ）、すなわち信号消失が有る場合、消失判定器８は、物体認識データおよびカメラ速度データを消失外挿器９Ａに送る。
　この場合、消失外挿器９Ａは、データ保存器１１Ａに保存されている位置データと、消失判定器８から送られてきたカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを推定し生成する。すなわち、消失外挿器９Ａは、１つ前のフレームで検出された位置データ、および現在のフレームで検出されたカメラ速度データに基づいて、現在の物体の位置および速度を推定する。推定方法に関しては、以下の通りである。
　現在のフレームの１つ前のフレーム、すなわち第（ｎ－１）番目のフレームにおいて、物体検出装置１００Ａが検出した位置データを（Ｘｎ－１，Ｙｎ－１）とする。現在のフレーム、すなわち第ｎ番目のフレームにおいて、カメラ２を用いて検出されたカメラ速度データを（ＶＸＣｎ，ＶＹＣｎ）とする。ここでのＸは、物体検出装置１００Ａに対して水平方向の座標を示し、Ｙは物体検出装置１００Ａに対して垂直方向の座標を示す。したがって、Ｘｎ－１はＸ方向の位置を示し、Ｙｎ－１はＹ方向の位置を示す。また、ＶＸＣｎは、Ｘ方向の速度を示し、ＶＹＣｎは、Ｙ方向の速度を示す。
　これらのデータより、現在のフレームにおける物体の推定される位置データ（Ｘｎ，Ｙｎ）は以下の式（１）および式（２）で示される。式（１）および式（２）におけるＴｆは、物体検出装置１００Ａのフレームの更新周期時間である。
　Ｘｎ＝（Ｘｎ－１）＋ＶＸＣｎ×Ｔｆ・・・（１）
　Ｙｎ＝（Ｙｎ－１）＋ＶＹＣｎ×Ｔｆ・・・（２）
　また、現在のフレームにおける物体の推定される速度データ（ＶＸｎ，ＶＹｎ）は、以下のようになる。
　ＶＸｎ＝ＶＸＣｎ
　ＶＹｎ＝ＶＹＣｎ
　消失外挿器９Ａは、生成した位置データおよび速度データを、現在のフレームに外挿する。すなわち、消失外挿器９Ａは、消失したレーダ検出データを生成して現在のフレームに外挿する（ステップＳ６）。消失外挿器９Ａは、外挿した位置データと、外挿した速度データと、物体認識データとを対応付けして、検出データ転送部１０に送る（ステップＳ７）。すなわち、消失外挿器９Ａは、推定した位置データ（Ｘｎ，Ｙｎ）、推定した速度データ（ＶＸｎ，ＶＹｎ）、および物体認識データを、検出データ転送部１０に送る。
　一方、レーダ検出データが消失していない場合（ステップＳ５、Ｎｏ）、すなわち信号消失が無い場合、消失判定器８は、レーダ１が検出したレーダ位置データ（ＸＲｎ，ＹＲｎ）およびレーダ速度データ（ＶＸＲｎ，ＶＹＲｎ）を消失外挿器９Ａに送る。
　この場合の消失外挿器９Ａは、レーダ１が検出したレーダ位置データ（ＸＲｎ，ＹＲｎ）およびレーダ速度データ（ＶＸＲｎ，ＶＹＲｎ）を、そのまま位置データおよび速度データとして採用する。消失判定器８が採用する位置データ（Ｘｎ，Ｙｎ）および速度データ（ＶＸｎ，ＶＹｎ）は、以下のようになる。
　Ｘｎ＝ＸＲｎ
　Ｙｎ＝ＹＲｎ
　ＶＸｎ＝ＶＸＲｎ
　ＶＹｎ＝ＶＹＲｎ
　消失外挿器９Ａは、採用した位置データと、採用した速度データと、物体認識データとを対応付けして、検出データ転送部１０に送る（ステップＳ７）。
　検出データ転送部１０は、消失判定器８から送られてきた位置データ、速度データ、および物体認識データを車両制御装置１２に送る。検出データ転送部１０が、第（ｎ－１）番目のフレームとして車両制御装置１２に送る位置データが第１の検出位置データであり、検出データ転送部１０が第（ｎ－１）番目のフレームとして車両制御装置１２に送る速度データが第１の検出速度データである。また、検出データ転送部１０が、第ｎ）番目のフレームとして車両制御装置１２に送る位置データが第２の検出位置データであり、検出データ転送部１０が第ｎ番目のフレームとして車両制御装置１２に送る速度データが第２の検出速度データである。車両制御装置１２は、検出データ転送部１０から送られてきた位置データ、速度データ、および物体認識データに基づいて、車両を制御する（ステップＳ８）。
　物体検出装置１００Ａは、物体検出の次のフレーム生成に移行する（ステップＳ９）。これにより、物体検出装置１００Ａは、ステップＳ１からステップＳ９の処理を繰り返し実行する。
　このように、物体検出装置１００Ａは、レーダ１を用いた物体のレーダ検出データを一時的に消失した場合であっても、１つ前のフレームのレーダ検出データおよび現在のフレームのカメラ２を用いた検出データを用いて、現在のフレームの位置データおよび速度データを生成する。すなわち、物体検出装置１００Ａは、１つ前のフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。
　物体検出装置１００Ａは、生成した位置データおよび速度データを現在のフレームの検出データとして外挿することで、結果としてレーダ検出データの消失を改善することができる。したがって、物体検出装置１００Ａは、物体の検出性能を向上させることができる。物体検出装置１００Ａは、小型、かつ低製造コスト、かつ低負荷な、カメラ２および画像処理器４Ａを用いて精度良く物体を検出することができる。
　なお、物体検出装置１００Ａは、レーダ検出データが消失した場合、２つ以上前のフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成してもよい。物体検出装置１００Ａは、レーダ検出データが消失した場合、できるだけ新しいフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。このように、物体検出装置１００Ａは、レーダ検出データが消失した場合、格納しておいた最新の位置データと、この最新の位置データのフレームよりも後のフレームである現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。
　以下、物体検出装置１００Ａを用いて物体を検出する場合の具体的なメリットについて説明する。物体検出装置１００Ａは、レーダ１および信号処理器３でのみ物体の位置を検出し、カメラ２および画像処理器４Ａでは物体の位置を検出しない。このような物体検出装置１００Ａの構成により、カメラ２および画像処理器４Ａのハードウェアおよびソフトウェアの負荷を低減することが可能となる。
　物体の位置を検出して出力するには、ステレオカメラで測距することが一般的であるが、物体検出装置１００Ａでは、カメラ２を単眼カメラで構成することができる。画像処理器４Ａは、位置を検出しない構成であり、その分だけ処理能力を低減することができる。これらの理由から物体検出装置１００Ａのカメラ２および画像処理器４Ａは、低処理時間での動作でよいので、小型化できるとともに低製造コストで構成することができる。
　ここで比較例の物体検出装置について説明する。比較例の物体検出装置も物体検出装置１００Ａと同様にカメラで位置データを検出しない。比較例の物体検出装置は、消失判定器８および消失外挿器９Ａを備えていない。この比較例の物体検出装置も物体検出装置１００Ａと同様に、レーダを用いて取得した位置データがフュージョン処理後の位置データで正となる。ところが、比較例の物体検出装置は、消失判定器８および消失外挿器９Ａを備えていないので、一時的な使用環境が原因でレーダ検出データが消失した場合、位置データを検出することができない。
　一方、物体検出装置１００Ａでは、消失判定器８が、現在のフレームに対し、レーダ１を用いて取得したレーダ位置データおよびレーダ速度データが消失しているか否かを判定している。また、物体検出装置１００Ａでは、消失外挿器９Ａが、１つ前のフレームで保存しておいた位置データ、および現在のフレームで検出されたカメラ２の速度データに基づいて、現在のフレームの位置データおよび速度データを推定して現在のフレームに外挿している。
　これにより、物体検出装置１００Ａは、カメラ２が小型で低製造コストの単眼カメラで構成された場合であっても、物体の平均的な検出精度を向上させることができる。すなわち、物体検出装置１００Ａは、小型かつ低製造コストで高性能な物体検出が可能となる。
　このように、実施の形態１によれば、物体検出装置１００Ａは、１つ前のフレームで保存しておいた位置データおよび現在のカメラ速度データを用いて現在の位置データおよび速度データを生成するので、小型かつ低製造コストで精度良く物体を検出することができる。
実施の形態２．
　つぎに、図３および図４を用いて実施の形態２について説明する。実施の形態２では、レーダ検出データが消失した場合にのみ、カメラ２を用いて検出した位置データ（後述するカメラ位置データ）を現在のフレームに外挿する。
　図３は、実施の形態２にかかる物体検出装置の構成を示す図である。図３の各構成要素のうち図１に示す実施の形態１の物体検出装置１００Ａと同一機能を達成する構成要素については同一符号を付しており、重複する説明は省略する。
　物体検出装置１００Ｂは、物体検出装置１００Ａと同様に、複数種類のセンサを組合せたフュージョン型の物体検出装置であり、複数種類のセンサから得られたデータに基づいて、物体の検出データを算出する。物体検出装置１００Ｂは、使用環境が原因で物体の検出データが消失した場合に、１つ前のフレームで得られた検出データを用いて物体の位置、速度などを推定する。
　物体検出装置１００Ｂは、画像処理器４Ａの代わりに画像処理器４Ｂを備えている。また、物体検出装置１００Ｂは、フュージョン処理器５Ａの代わりにフュージョン処理器５Ｂを備えている。すなわち、物体検出装置１００Ｂは、レーダ１と、カメラ２と、信号処理器３と、画像処理器４Ｂと、フュージョン処理器５Ｂとを備えている。
　フュージョン処理器５Ｂは、同一判定部６Ａの代わりに同一判定部６Ｂを有している。また、フュージョン処理器５Ｂは、データ保存器１１Ａを備えていない。同一判定部６Ｂは、同一判定器７Ａの代わりに同一判定器７Ｂを具備し、消失外挿器９Ａの代わりに消失外挿器９Ｂを具備している。
　以下、画像処理器４Ｂと画像処理器４Ａとの差異点、フュージョン処理器５Ｂとフュージョン処理器５Ａとの差異点について説明する。
　画像処理器４Ｂは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに物体の物体検出装置１００Ｂに対する相対速度、物体の位置を算出する。画像処理器４Ｂは、画像処理器４Ａと同様に、例えば、ＭＣＵ、ＣＰＵなどで構成されている。画像処理器４Ｂは、画像処理器４Ａと同様に、機械学習または深層学習によって得られた特徴データをデータベースとして、人、障害物などの物体を認識し、物体の相対速度および位置を算出する。
　画像処理器４Ｂは、物体を認識したことを示す物体認識データ、カメラ速度データ、および物体の位置を示すカメラ位置データをフュージョン処理器５Ｂに送る。このように、画像処理器４Ｂは、画像処理器４Ａと比較して、物体の位置を算出する点が異なる。
　同一判定器７Ｂは、レーダ位置データと、レーダ速度データと、カメラ速度データと、カメラ位置データと、物体認識データとに基づいて、物体の同一判定処理を実行する。同一判定器７Ｂは、物体が同一であると判定できた場合は、レーダ位置データと、レーダ速度データと、物体認識データと、カメラ速度データと、カメラ位置データとの対応付けを行う。同一判定器７Ｂは、これらの対応付けしたデータ（以下、第２対応付けデータという）を、後段に接続されている消失判定器８に送る。
　実施の形態２の消失判定器８は、実施の形態１の消失判定器８と同様に、レーダ位置データおよびレーダ速度データの信号消失の有無を判定する。
　消失判定器８は、信号消失が無い場合には、レーダ位置データ、レーダ速度データ、および物体認識データを消失外挿器９Ｂに送る。消失判定器８は、信号消失がある場合には、物体認識データ、カメラ速度データ、およびカメラ位置データを消失外挿器９Ｂに送る。
　消失外挿器９Ｂは、消失判定器８がデータの消失を検出した場合のみデータの外挿を実行する。消失外挿器９Ｂは、信号消失が無い時は、消失判定器８から送られてきた、レーダ位置データ、レーダ速度データ、および物体認識データを、物体検出装置１００Ｂが検出した、位置データ、速度データ、および物体認識データとして検出データ転送部１０に送る。
　消失外挿器９Ｂは、信号消失が有る時は、現在のフレームの位置データおよび速度データを生成して現在のフレームに外挿し、検出データ転送部１０に転送する。具体的には、消失外挿器９Ｂは、信号消失が有る時は、カメラ位置データ、カメラ速度データ、および物体認識データを、物体検出装置１００Ｂが検出した、位置データ、速度データ、および物体認識データとして検出データ転送部１０に転送する。
　つぎに、物体検出装置１００Ｂによる物体の検出処理手順について説明する。図４は、実施の形態２にかかる物体検出装置による物体の検出処理手順を示すフローチャートである。なお、図４に示す処理のうち、図２で説明した処理と同様の処理については、その説明を省略する。
　物体検出装置１００ＢがステップＳ１，Ｓ２の処理を実行する。実施の形態２では、物体検出装置１００Ｂが、ステップＳ３Ａの代わりにステップＳ３Ｂを実行する。すなわち、物体検出装置１００Ｂは、カメラ２を用いて物体を認識し、物体の速度および位置を検出する（ステップＳ３Ｂ）。具体的には、カメラ２は、物体を撮像することで、物体の画像情報を取得し、画像情報を画像処理器４Ｂに出力する。
　画像処理器４Ｂは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに、物体の物体検出装置１００Ｂに対する相対速度を示すカメラ速度データと、物体の物体検出装置１００Ｂに対する相対位置を示すカメラ位置データとを生成する。画像処理器４Ｂは、物体を認識したことを示す物体認識データ、カメラ速度データ、およびカメラ位置データをフュージョン処理器５Ｂに送る。なお、物体検出装置１００Ｂは、ステップＳ２の処理と、ステップＳ３Ｂの処理とを同時に実行する。
　フュージョン処理器５Ｂの同一判定器７Ｂは、レーダ位置データと、レーダ速度データと、カメラ速度データと、カメラ位置データと、物体認識データとに基づいて、物体の同一判定処理を実行する（ステップＳ４）。
　同一判定器７Ｂは、物体が同一であると判定できた場合には、レーダ位置データと、レーダ速度データと、カメラ２を用いて取得された物体認識データと、カメラ速度データと、カメラ位置データとを対応付けした第２対応付けデータを生成して消失判定器８に送る。
　物体検出装置１００Ｂの消失判定器８は、レーダ位置データおよびレーダ速度データであるレーダ検出データが消失したか否かを判定する（ステップＳ５）。そして、レーダ検出データが消失している場合（ステップＳ５、Ｙｅｓ）、すなわち信号消失が有る場合、消失判定器８は、物体認識データ、カメラ位置データ、およびカメラ速度データを消失外挿器９Ｂに送る。
　消失外挿器９Ｂは、レーダ検出データが消失している場合、カメラ位置データおよびカメラ速度データを現在のフレームに外挿する。換言すると、消失外挿器９Ｂは、レーダ検出データが消失している場合、カメラ位置データを現在のフレームの位置データに採用し、カメラ速度データを現在のフレームの速度データに採用する。このように、消失外挿器９Ｂは、消失したレーダ検出データを生成して現在のフレームに外挿する（ステップＳ６）。
　この後、物体検出装置１００Ｂは、物体検出装置１００Ａと同様の処理によってステップＳ７以降の処理を実行する。なお、レーダ検出データが消失していない場合、消失外挿器９Ｂは、消失外挿器９Ａと同様の処理を実行する。
　以下、物体検出装置１００Ｂを用いて物体を検出する場合の具体的なメリットについて説明する。物体検出装置１００Ｂは、レーダ１を用いて検出したレーダ位置データと、カメラ２を用いて検出したカメラ位置データとを算出する。
　カメラ２が小型で低製造コストな単眼カメラの場合、一般的にカメラ２を用いて検出したカメラ位置データおよびカメラ速度データの精度は、レーダ１を用いて検出したレーダ位置データおよびレーダ速度データの精度よりも低い。このため、物体検出装置１００Ｂは、レーダ１の検出データを消失した場合のみ、カメラ２の検出データを用いる。すなわち、物体検出装置１００Ｂは、レーダ位置データおよびレーダ速度データを消失した場合にのみ、カメラ位置データおよびカメラ速度データを現在のフレームに外挿する。これにより、物体検出装置１００Ｂは、カメラ２が小型で低製造コストな単眼カメラで構成されていた場合であっても、平均的な物体検出精度を向上させることができる。
　このように、実施の形態２によれば、物体検出装置１００Ｂは、レーダ検出データを一時的に消失したとしても、物体検出装置１００Ｂが検出した１つ前のフレームの検出データおよび現在のフレームのカメラ２を用いた検出データに基づいて、レーダ検出データを推定する。これにより、物体検出装置１００Ｂは、レーダ検出データの消失を改善することができ、平均的な物体検出精度を向上させることができる。したがって、物体検出装置１００Ｂは、小型、かつ低製造コスト、かつ低負荷な、カメラ２および画像処理器４Ｂを用いて精度良く物体を検出することができる。
　ここで、物体検出装置１００Ａ，１００Ｂのハードウェア構成について説明する。物体検出装置１００Ａ，１００Ｂは、処理回路により実現される。処理回路は、メモリに格納されるプログラムを実行するプロセッサおよびメモリであってもよいし、専用回路などの専用のハードウェアであってもよい。処理回路は制御回路とも呼ばれる。
　図５は、実施の形態１，２に係る物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図である。物体検出装置１００Ａ，１００Ｂは同様のハードウェア構成を有しているので、以下では物体検出装置１００Ａのハードウェア構成について説明する。
　図５に示す処理回路９０は制御回路であり、プロセッサ９１およびメモリ９２を備える。処理回路９０がプロセッサ９１およびメモリ９２で構成される場合、処理回路９０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路９０では、メモリ９２に記憶されたプログラムをプロセッサ９１が読み出して実行することにより、各機能を実現する。すなわち、処理回路９０は、物体検出装置１００Ａの処理が結果的に実行されることになるプログラムを格納するためのメモリ９２を備える。このプログラムは、処理回路９０により実現される各機能を物体検出装置１００Ａに実行させるためのプログラムであるともいえる。このプログラムは、プログラムが記憶された記憶媒体により提供されてもよいし、通信媒体など他の手段により提供されてもよい。上記プログラムは、物体の検出処理を物体検出装置１００Ａに実行させるプログラムであるとも言える。
　プロセッサ９１は、例えば、ＣＰＵ（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital　Signal　Processor）ともいう）またはシステムＬＳＩ（Large　Scale　Integration）である。
　また、メモリ９２は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically　ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital　Versatile　Disc）などが該当する。
　図６は、実施の形態１，２に係る物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図である。図６に示す処理回路９３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）、またはこれらを組み合わせたものが該当する。処理回路９３については、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路９３は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。また、前述したように、信号処理器３および画像処理器４Ａは、それぞれ別々のＣＰＵなどで構成されてもよい。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　レーダ、２　カメラ、３　信号処理器、４Ａ，４Ｂ　画像処理器、５Ａ，５Ｂ　フュージョン処理器、６Ａ，６Ｂ　同一判定部、７Ａ，７Ｂ　同一判定器、８　消失判定器、９Ａ，９Ｂ　消失外挿器、１０　検出データ転送部、１１Ａ　データ保存器、１２　車両制御装置、９０，９３　処理回路、９１　プロセッサ、９２　メモリ、１００Ａ，１００Ｂ　物体検出装置。

Claims (5)

  1. 　物体に電磁波を発射して、前記物体からの反射信号を受信するレーダと、
    　前記反射信号に基づいて、前記物体の位置を示すレーダ位置データおよび前記物体の速度を示すレーダ速度データを算出する信号処理器と、
    　前記物体を撮像することで、前記物体の画像情報を取得するカメラと、
    　前記画像情報に基づいて、前記物体の速度を示すカメラ速度データを算出する画像処理器と、
    　第１のフレームにおける前記レーダ位置データおよび前記レーダ速度データを、前記第１のフレームにおいて前記物体の位置を示す第１の検出位置データおよび前記第１のフレームにおいて前記物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理器と、
    　を備え、
    　前記フュージョン処理器は、前記第１の検出位置データを保存しておくデータ保存器を有し、
    　前記第１のフレームよりも後のフレームである第２のフレームにおいて前記レーダ位置データおよび前記レーダ速度データを消失した場合には、前記第１の検出位置データおよび前記第２のフレームで取得した前記カメラ速度データに基づいて、前記第２のフレームにおいて前記物体の位置を示す第２の検出位置データおよび前記第２のフレームにおいて前記物体の速度を示す第２の検出速度データを生成して前記外部装置に出力する、
    　ことを特徴とする物体検出装置。
  2. 　前記画像処理器は、前記画像情報に基づいて、前記物体の方位を示す方位データを算出し、
    　前記フュージョン処理器は、前記レーダおよび前記カメラが検出した前記物体が同一の物体であるかの否かの同一判定処理を実行する同一判定器を有し、
    　前記同一判定器は、前記レーダ位置データと、前記レーダ速度データと、前記カメラ速度データと、前記方位データとに基づいて、前記物体の同一判定処理を実行する、
    　ことを特徴とする請求項１に記載の物体検出装置。
  3. 　物体に電磁波を発射して、前記物体からの反射信号を受信するレーダと、
    　前記反射信号に基づいて、前記物体の位置を示すレーダ位置データおよび前記物体の速度を示すレーダ速度データを算出する信号処理器と、
    　前記物体を撮像することで、前記物体の画像情報を取得するカメラと、
    　前記画像情報に基づいて、前記物体の速度を示すカメラ速度データおよび前記物体の位置を示すカメラ位置データを算出する画像処理器と、
    　第１のフレームにおける前記レーダ位置データおよび前記レーダ速度データを、前記第１のフレームにおいて前記物体の位置を示す第１の検出位置データおよび前記第１のフレームにおいて前記物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理器と、
    　を備え、
    　前記フュージョン処理器は、
    　前記第１のフレームよりも後のフレームである第２のフレームにおいて前記レーダ位置データおよび前記レーダ速度データを消失した場合には、前記第２のフレームにおける前記カメラ速度データおよび前記カメラ位置データを、前記第２のフレームにおいて前記物体の位置を示す第２の検出位置データおよび前記第２のフレームにおいて前記物体の速度を示す第２の検出速度データとして前記外部装置に出力する、
    　ことを特徴とする物体検出装置。
  4. 　前記フュージョン処理器は、前記レーダおよび前記カメラが検出した前記物体が同一の物体であるかの否かの同一判定処理を実行する同一判定器を有し、
    　前記同一判定器は、前記レーダ位置データと、前記レーダ速度データと、前記カメラ速度データと、前記カメラ位置データとに基づいて、前記物体の同一判定処理を実行する、
    　ことを特徴とする請求項３に記載の物体検出装置。
  5. 　物体に電磁波を発射して、前記物体からの反射信号を受信するレーダと、前記物体を撮像することで、前記物体の画像情報を取得するカメラと、を備えた物体検出装置が、前記反射信号に基づいて、前記物体の位置を示すレーダ位置データおよび前記物体の速度を示すレーダ速度データを算出する信号処理ステップと、
    　前記物体検出装置が、前記画像情報に基づいて、前記物体の速度を示すカメラ速度データを算出する画像処理ステップと、
    　前記物体検出装置が、第１のフレームにおける前記レーダ位置データおよび前記レーダ速度データを、前記第１のフレームにおいて前記物体の位置を示す第１の検出位置データおよび前記第１のフレームにおいて前記物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理ステップと、
    　を含み、
    　前記物体検出装置は、前記フュージョン処理ステップでは、前記第１の検出位置データを保存しておき、前記第１のフレームよりも後のフレームである第２のフレームにおいて前記レーダ位置データおよび前記レーダ速度データを消失した場合には、前記第１の検出位置データおよび前記第２のフレームで取得した前記カメラ速度データに基づいて、前記第２のフレームにおいて前記物体の位置を示す第２の検出位置データおよび前記第２のフレームにおいて前記物体の速度を示す第２の検出速度データを生成して前記外部装置に出力する、
    　ことを特徴とする物体検出方法。
PCT/JP2021/021004 2021-06-02 2021-06-02 物体検出装置および物体検出方法 WO2022254610A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/021004 WO2022254610A1 (ja) 2021-06-02 2021-06-02 物体検出装置および物体検出方法
DE112021007746.5T DE112021007746T5 (de) 2021-06-02 2021-06-02 Objekterkennungsvorrichtung und Objekterkennungsverfahren
JP2023525241A JPWO2022254610A1 (ja) 2021-06-02 2021-06-02

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021004 WO2022254610A1 (ja) 2021-06-02 2021-06-02 物体検出装置および物体検出方法

Publications (1)

Publication Number Publication Date
WO2022254610A1 true WO2022254610A1 (ja) 2022-12-08

Family

ID=84322908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021004 WO2022254610A1 (ja) 2021-06-02 2021-06-02 物体検出装置および物体検出方法

Country Status (3)

Country Link
JP (1) JPWO2022254610A1 (ja)
DE (1) DE112021007746T5 (ja)
WO (1) WO2022254610A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置
JP2008021069A (ja) * 2006-07-12 2008-01-31 Alpine Electronics Inc 周辺監視システム
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5210233B2 (ja) 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置
JP2008021069A (ja) * 2006-07-12 2008-01-31 Alpine Electronics Inc 周辺監視システム
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法

Also Published As

Publication number Publication date
JPWO2022254610A1 (ja) 2022-12-08
DE112021007746T5 (de) 2024-04-18

Similar Documents

Publication Publication Date Title
US11816852B2 (en) Associating LIDAR data and image data
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
US10739784B2 (en) Radar aided visual inertial odometry initialization
US11615629B2 (en) Estimation of time to collision in a computer vision system
TW202013251A (zh) 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法
TW201619752A (zh) 手勢辨識方法及其裝置
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
US11954918B2 (en) Object detection device, object detection method, and storage medium
US20190162842A1 (en) Radar aided visual inertial odometry outlier removal
US10775242B2 (en) Tracking and ranging system and method thereof
JP6977787B2 (ja) センサ情報統合システム、センサ情報統合方法及びプログラム
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
WO2022254610A1 (ja) 物体検出装置および物体検出方法
JP6331566B2 (ja) 人物頭部検知装置及び姿勢推定装置
JP2013054399A (ja) 車両周辺監視装置
WO2011047508A1 (en) Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens
US20210129341A1 (en) Robot localization method and apparatus and robot using the same
CN110873882B (zh) 可进行人体追踪的追踪测距系统及其方法
WO2023248341A1 (ja) 物体検出装置
WO2019092874A1 (ja) 物体認識装置および物体認識方法
Park et al. Sonar sensor data processing based on optical flow in robot navigation
JP2020173155A (ja) 目標運動推定装置及び目標運動推定方法
US20230168356A1 (en) Object information generating system and operating method thereof
US20230134912A1 (en) Information processing device, information processing system, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944114

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023525241

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18563942

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007746

Country of ref document: DE