WO2023248341A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2023248341A1
WO2023248341A1 PCT/JP2022/024708 JP2022024708W WO2023248341A1 WO 2023248341 A1 WO2023248341 A1 WO 2023248341A1 JP 2022024708 W JP2022024708 W JP 2022024708W WO 2023248341 A1 WO2023248341 A1 WO 2023248341A1
Authority
WO
WIPO (PCT)
Prior art keywords
radar
detection
speed
camera
stationary
Prior art date
Application number
PCT/JP2022/024708
Other languages
English (en)
French (fr)
Inventor
龍也 上村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/024708 priority Critical patent/WO2023248341A1/ja
Publication of WO2023248341A1 publication Critical patent/WO2023248341A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to an object detection device that detects an object from a vehicle.
  • a vehicle-mounted object detection device is a device that can detect objects such as people and obstacles in the vehicle usage environment in a short time. This object detection device can realize safe vehicle driving by using a vehicle control function or an alarm notification function and an object detection function.
  • vehicle-mounted object detection devices that use radars, cameras, lidar (LiDAR: Light Detection and Ranging), ultrasonic sensors, and the like.
  • lidar Light Detection and Ranging
  • ultrasonic sensors and the like.
  • fusion-type object detection devices that achieve improved performance by combining multiple sensors have come into wide use.
  • the object detection device described in Patent Document 1 is a fusion-type object detection device that uses a radar and a camera, and determines whether the object is a pedestrian from the position data of the object detected using the radar and camera. Judging.
  • Patent Document 1 does not use the speed of the own vehicle when detecting an object with the radar, so there is a problem that the tracking performance of the object by the radar is low, and the object may not be detected accurately. was there.
  • the present disclosure has been made in view of the above, and aims to provide an object detection device that can accurately detect objects.
  • an object detection device of the present disclosure includes a radar that emits electromagnetic waves and receives reflected signals from objects including moving objects and stationary objects, and a radar that images the object. and a camera that acquires image data of the object.
  • the object detection device of the present disclosure also includes a radar signal processing unit that detects a radar detection position that is the position of the object and a radar detection speed that is the speed of the object by performing signal processing on the reflected signal, and an image data and a camera image processing unit that detects a camera detection position, which is the position of the object, and an object type, which is the type of the object.
  • the object detection device of the present disclosure determines whether the position indicated by the radar detection position and the position indicated by the camera detection position are the same, and the radar detection position, radar detection speed, and a fusion processing unit that outputs the object type to an external device.
  • the camera image processing section detects the camera detection position of the moving object and the object type of the moving object.
  • the radar signal processing unit identifies a stationary object among objects based on the radar detection position, the camera detection position of the moving object, and the object type of the moving object, and determines whether the own device detects the stationary object based on the radar detection speed of the stationary object.
  • the speed of the own vehicle which is the vehicle on which it is mounted, is calculated as the own vehicle speed, and based on the own vehicle speed, moving objects and stationary objects are tracked by the radar.
  • the object detection device has the advantage of being able to accurately detect objects.
  • a diagram showing the configuration of an object detection device according to an embodiment Flowchart illustrating the processing procedure of a process in which the object detection device according to the embodiment detects an object Diagram for explaining an object detected by the object detection device according to the embodiment Diagram for explaining the position and speed of an object detected by the object detection device according to the embodiment
  • FIG. 1 is a diagram showing the configuration of an object detection device according to an embodiment.
  • the vehicle-mounted object detection device 100 is a fusion type object detection device, and uses a radar 1 and a camera 2 to detect objects.
  • the object detection device 100 improves the detection accuracy of the radar 1, which is one of the sensors, by detecting an object using the camera 2.
  • the object detection device 100 combines a radar 1 and a camera 2 to detect the speed of a vehicle (own vehicle) in which the object detection device 100 is mounted with high accuracy, and improves the accuracy of object tracking processing by the radar 1. Detects objects with high precision.
  • the object detection device 100 includes a radar 1, a camera 2, a radar signal processor 3 as a radar signal processor, a camera image processor 4 as a camera image processor, and a fusion processor 5 as a fusion processor. Equipped with.
  • the camera 2 is configured using components such as a lens, a holder, a CMOS (complementary metal oxide semiconductor) sensor, a power supply semiconductor component, and a crystal device.
  • the camera 2 acquires image data (image information) of the object by capturing an image of the object, and outputs it to the camera image processor 4 .
  • the camera image processor 4 detects object position and object type data (hereinafter referred to as object type) based on the image data.
  • the camera image processor 4 uses an MCU (Micro Control Unit), a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the camera image processor 4 includes an object recognition section 12 and a memory 42.
  • the object recognition unit 12 is connected to the camera 2 and receives image data from the camera 2.
  • the object recognition unit 12 uses feature data (feature amounts) obtained through machine learning, deep learning, etc. as a database, and recognizes people, obstacles, etc. based on the feature data in the database and image data from the camera 2. Recognize objects and detect object types. Specifically, the object recognition unit 12 extracts feature data from image data, recognizes the object by comparing this feature data with feature data obtained by deep learning, etc., and detects the object type. .
  • the object recognition unit 12 detects the object type for a specific moving object set in advance.
  • the object recognition unit 12 extracts, for example, a walking person, a moving bicycle, or the like as a moving object, and detects the object type of the extracted moving object.
  • the object recognition unit 12 detects the position of the object (hereinafter referred to as camera detection position) based on the coordinates of the object included in the image data.
  • the object recognition unit 12 stores the object type and camera detection position in the memory 42 as camera detection data 13 which is object recognition data.
  • the camera image processor 4 outputs camera detection data 13 including the object type and camera detection position to the radar signal processor 3. Since the object recognized by the object recognition unit 12 is a moving object, the camera image processor 4 outputs camera detection data 13 including the object type and camera detection position of the moving object to the radar signal processor 3.
  • the radar 1 emits electromagnetic waves to objects such as people and obstacles, and receives reflected signals from the objects.
  • the radar 1 outputs the reflected signal to the radar signal processor 3.
  • Radar 1 receives reflected signals from both moving and stationary objects.
  • the radar signal processor 3 detects the position and speed of the object by performing signal processing on the reflected signal (received signal) received by the radar 1. Since the radar 1 is disposed in a vehicle-mounted object detection device 100, it detects objects using an FMCW (Frequency Modulated Continuous Wave) method, an FCM (Fast Chirp Modulation) method, or the like.
  • the radar 1 is configured using high frequency semiconductor components, power supply semiconductor components, a substrate, a crystal device, chip components, an antenna, and the like.
  • the radar signal processor 3 uses an MCU, a CPU, etc.
  • the radar signal processor 3 includes a position detection section 6, a speed detection section 7, a tracking processing section 8, a memory 41, a stationary object discrimination section 10, and a host vehicle speed detection section 11.
  • the position detection unit 6 and the speed detection unit 7 are connected to the radar 1 and receive reflected signals from the radar 1.
  • the position detection unit 6 and the velocity detection unit 7 perform arithmetic processing using Fast Fourier Transformation (FFT) on the reflected signal.
  • FFT Fast Fourier Transformation
  • the position detection unit 6 and the velocity detection unit 7 detect the position and velocity of the object, respectively, by performing fast Fourier transform on the reflected signal in the distance direction, velocity direction, and horizontal angle direction.
  • the position detection section 6 outputs the object position (position data) as a radar detection position to the stationary object discrimination section 10 and the tracking processing section 8, and the speed detection section 7 outputs the object's speed (velocity data) as a radar detection speed.
  • the signal is output to the stationary object discrimination section 10 and the tracking processing section 8.
  • the stationary object determination unit 10 determines whether an object existing on the field in which the object detection device 100 is used is a stationary object.
  • the stationary object discrimination unit 10 identifies a moving object included in the object based on the radar detection position, camera detection position, and object type.
  • the stationary object discrimination unit 10 extracts the radar detection speed corresponding to a stationary object by removing the radar detection speed corresponding to a moving object from among the radar detection speeds.
  • the stationary object determination unit 10 identifies the radar detection speed of a stationary object by deleting only data corresponding to a moving object from among a plurality of object data (radar detection position and radar detection speed).
  • the stationary object discrimination unit 10 selects an object type that is the same as a preset specific object type and a type corresponding to this object type from among the camera detection position and object type detected by the camera image processor 4. Extract the camera detection position.
  • the stationary object discriminator 10 extracts, as stationary object data, a radar detection speed corresponding to a radar detection position that is the same as the extracted camera detection position from among the radar detection positions.
  • the stationary object determination unit 10 determines that the object at the camera detection position corresponding to the object type is a moving object. Then, the stationary object discrimination section 10 removes the detection data of the object determined to be a moving object from among the detection data sent from the position detection section 6 and the speed detection section 7. That is, the stationary object discrimination section 10 converts the detection data of an object whose radar detection position and the camera detection position sent from the position detection section 6 and the speed detection section 7 are at the same position into the detection data of a moving object. Remove as. The stationary object discriminator 10 deletes only the data corresponding to a moving object from the plurality of detection data (radar detection position and radar detection speed) sent from the position detection section 6 and the speed detection section 7, thereby identifying a stationary object. Determine the radar detection speed of
  • the stationary object discrimination section 10 outputs the radar detection position of the stationary object and the radar detection speed of the stationary object to the own vehicle speed detection section 11.
  • the moving objects detected by the camera image processor 4 include people, other vehicles, and the like.
  • the own vehicle which is the vehicle in which the object detection device 100 is mounted
  • a relative velocity is given to a stationary object. That is, when the own vehicle is moving, the object detection device 100 detects the relative speed between the object detection device 100 and a stationary object as the speed of the stationary object. Therefore, it is difficult for the object detection device 100 to distinguish between a moving object and a stationary object using only the radar 1, but the object detection device 100 of this embodiment uses a combination of the radar 1 and the camera 2. It is possible to easily determine whether an object is stationary or not.
  • the own vehicle speed detection unit 11 calculates the speed of the own vehicle (hereinafter referred to as the own vehicle speed) by averaging the radar detection speeds sent from the stationary object discrimination unit 10.
  • the own vehicle speed detection section 11 outputs the own vehicle speed to the tracking processing section 8 as a detection result.
  • the tracking processing section 8 detects the moving object based on the radar detection position and radar detection speed sent from the position detection section 6 and speed detection section 7 and the own vehicle speed sent from the own vehicle speed detection section 11. and a stationary object are tracked using separate parameters.
  • the tracking processing unit 8 distinguishes objects into moving objects and stationary objects based on the radar detection position, radar detection speed, and own vehicle speed. Then, the tracking processing unit 8 causes the radar 1 to track moving objects and stationary objects using separate parameters, respectively, based on the own vehicle speed.
  • the tracking processing section 8 smoothes the radar detection position and radar detection speed sent from the position detection section 6 and speed detection section 7 based on the own vehicle speed. Further, the tracking processing unit 8 estimates the radar detection position and radar detection speed in the next frame based on the own vehicle speed. The tracking processing unit 8 also adds identification information to the radar detection position and radar detection speed. The tracking processing unit 8 stores the radar detection position and radar detection speed used in the tracking process in the memory 41 as radar detection data 9.
  • the fusion processor 5 acquires the radar detection position and radar detection speed detected by the radar 1 from the radar signal processor 3. Furthermore, the fusion processor 5 acquires the object type and camera detection position from the camera image processor 4. The fusion processor 5 executes data processing using the radar detection position, radar detection speed, object type, and camera detection position, and transmits the data processing result to an external device (for example, a vehicle) as a detection result as the object detection device 100. output to the control device 20). That is, the fusion processor 5 executes data processing on the position, speed, and object type of a moving object, and outputs the data processing results to an external device.
  • an external device for example, a vehicle
  • the fusion processor 5 includes an identity determination section 14, a memory 43, and an output section 16.
  • the identity determination unit 14 executes identity determination of objects based on the radar detection position and the camera detection position. Specifically, the identity determination unit 14 identifies the object indicated by the radar detection position and the camera detection based on whether the position of the object indicated by the radar detection position and the position of the object indicated by the camera detection position are the same. An identity determination process is executed to determine whether or not the object indicated by the position is the same. Through this sameness determination process, the identity determination unit 14 distinguishes between the radar detection position acquired using the radar 1, the radar detection speed acquired using the radar 1, and the object type acquired using the camera 2. Make a correspondence.
  • the identity determination unit 14 stores data in which the radar detection position, radar detection speed, and object type are associated with each other in the memory 43 as fusion detection data 15. Since the object type identified using the camera 2 is a moving object, the identity determination unit 14 generates data that associates the radar detection position of the moving object, the radar detection speed of the moving object, and the object type of the moving object. is stored in the memory 43 as fusion detection data 15.
  • the output unit 16 outputs fusion detection data 15 in which the radar detection position, radar detection speed, and object type are associated with each other to the vehicle control device 20, which is a device downstream of the object detection device 100.
  • the fusion processor 5 transfers the fusion detection data 15 including the radar detection position, radar detection speed, and object type to the vehicle control device 20.
  • the vehicle control device 20 mounted on the own vehicle uses the fusion detection data 15 for controlling the own vehicle. That is, the vehicle control device 20 controls the own vehicle based on the position, speed, and type of the moving object.
  • the output unit 16 may be placed outside the fusion processor 5.
  • FIG. 2 is a flowchart illustrating a processing procedure of a process in which the object detection device according to the embodiment detects an object.
  • the radar 1 When the vehicle-mounted object detection device 100 starts an object detection frame (step S1), the radar 1 outputs a reflected signal acquired from the object to the radar signal processor 3 (step S2), and the camera 2 The acquired image data is output to the camera image processor 4 (step S8).
  • the position detecting section 6 and the speed detecting section 7 detect the position and speed of the object (step S3).
  • the position detection unit 6 outputs the position of the object detected using the radar 1 to the stationary object discrimination unit 10 and the tracking processing unit 8 as a radar detection position
  • the speed detection unit 7 outputs the position of the object detected using the radar 1 as a radar detection position.
  • the speed is output to the stationary object discriminator 10 and the tracking processor 8 as a radar detection speed.
  • the object recognition unit 12 recognizes the object based on the image data (step S9) and detects the object type. Furthermore, the object recognition unit 12 detects a camera detection position, which is the position of the object, based on the coordinates of the object included in the image data.
  • the camera image processor 4 stores the camera detection position and object type in the memory 42 as camera detection data 13 (step S10). That is, the camera image processor 4 outputs the camera detection position and object type to the memory 42 and stores them in the memory 42 as the camera detection data 13. Camera image processor 4 outputs camera detection data 13 in memory 42 to radar signal processor 3 and fusion processor 5.
  • the stationary object discrimination unit 10 of the radar signal processor 3 discriminates stationary objects from objects based on the radar detection position, camera detection position, and object type (step S4).
  • FIG. 3 is a diagram for explaining an object detected by the object detection device according to the embodiment.
  • the object detection device 100 is mounted on a vehicle 30, which is the own vehicle, and an object is located in front of the vehicle 30 (in the moving direction).
  • Objects include stationary objects and moving objects.
  • FIG. 3 shows a case where stationary objects A1 to C1 and a moving object X1 are located in front of the vehicle 30.
  • the object detection device 100 detects an object while the vehicle 30 is moving.
  • the radar 1 receives a reflected signal from an object located in front of the vehicle 30 in the moving direction, and the camera 2 acquires image data from an object located in front of the vehicle 30 in the moving direction.
  • An area included in both the radar horizontal coverage area 21, which is the horizontal coverage area of the radar 1, and the camera horizontal coverage area 22, which is the horizontal coverage area of the camera 2, is a field in which the object detection device 100 detects an object.
  • stationary objects A1 to C1 and a moving object X1 are located within the radar horizontal coverage area 21 and within the camera horizontal coverage area 22. Therefore, the position detecting section 6 and the speed detecting section 7 of the radar signal processor 3 can both detect the stationary objects A1 to C1 and the moving object X1. Furthermore, the object recognition unit 12 of the camera image processor 4 can detect the moving object X1.
  • the own vehicle speed detection section 11 calculates the own vehicle speed based on the speed of the determined stationary object (step S5). Specifically, the own vehicle speed detection section 11 calculates the own vehicle speed by averaging the radar detection speeds of the stationary objects A1 to C1 sent from the stationary object discrimination section 10. In this way, the object detection device 100 can calculate the vehicle speed based on the radar detection speeds of the stationary objects A1 to C1.
  • FIG. 4 is a diagram for explaining the position and speed of an object detected by the object detection device according to the embodiment.
  • FIG. 4 shows an image diagram in which the position and velocity detected from the object shown in FIG. 3 by the position detection section 6 and velocity detection section 7 of the radar signal processor 3 are plotted.
  • the positions and speeds of the stationary objects A1 to C1 are shown as Pa to Pc, and the position and speed of the moving object X1 are shown as Px.
  • the stationary objects A1 to C1 and the moving object X1 both have speed. That is, when the vehicle 30 moves, the radar signal processor 3 detects that the stationary objects A1 to C1 and the moving object X1 have relative speeds with respect to the vehicle 30.
  • the camera image processor 4 detects the camera detection position and object type. Then, the stationary object discrimination unit 10 of the radar signal processor 3 detects the moving object X1 based on the radar detection position, camera detection position, and object type. The stationary object discrimination unit 10 extracts stationary objects A1 to C1 from among the objects by excluding the moving object X1 from the stationary object candidates.
  • the own vehicle speed detection unit 11 calculates the following equation (1).
  • the own vehicle speed Vcar is calculated using
  • Vcar (VA+VB+VC)/3...(1)
  • the object detection device 100 calculates the relative speed of a stationary object with respect to the vehicle 30, and calculates the own vehicle speed based on this relative speed.
  • the object detection device 100 calculates the own vehicle speed based on the average value of the speed of a stationary object. , maximum value, median value, etc. may be adopted as the own vehicle speed.
  • the radar signal processor 3 executes object tracking processing based on the own vehicle speed. Specifically, the tracking processing unit 8 executes object tracking processing based on the own vehicle speed, the radar detection position, and the radar detection speed (step S6). The tracking processing unit 8 performs tracking processing for moving objects and stationary objects using separate parameters, based on the own vehicle speed, radar detection position, and radar detection speed.
  • the tracking processing unit 8 stores the radar detection position and radar detection speed used in the tracking process in the memory 41 as radar detection data 9 (step S7). That is, the tracking processing unit 8 outputs the radar detection position and the radar detection speed to the memory 41, and stores the radar detection data 9 in the memory 41.
  • the radar signal processor 3 outputs the radar detection data 9 in the memory 41 to the fusion processor 5.
  • the identity determination unit 14 of the fusion processor 5 acquires the radar detection position and radar detection speed from the radar signal processor 3.
  • the identity determination unit 14 executes identity determination of the objects based on the radar detection position and the camera detection position (step S11).
  • the identity determination unit 14 determines whether the object indicated by the radar detection position is the same as the object indicated by the camera detection position, based on whether the position of the object indicated by the radar detection position is the same as the position of the object indicated by the camera detection position.
  • the sameness determination process is executed to determine whether or not the two are the same.
  • the identity determination unit 14 associates the radar detection position, radar detection speed, and object type with the various data sent to the fusion processor 5. Determine the identity of objects based on their positions.
  • the identity determination unit 14 associates radar detection positions, radar detection speeds, and object types with objects (moving bodies) determined to be the same.
  • the identity determination unit 14 stores data in which the radar detection position, radar detection speed, and object type are associated with each other in the memory 43 as fusion detection data 15 (step S12). That is, the identity determination unit 14 outputs data in which the radar detection position, radar detection speed, and object type are associated with each other to the memory 43, and stores the data in the memory 43 as the fusion detection data 15.
  • the position and velocity data that the identity determination unit 14 stores in the memory 43 as part of the fusion detection data 15 are the radar detection position and radar detection velocity detected using the radar 1. Further, the object type that the identity determination unit 14 stores in the memory 43 as part of the fusion detection data 15 is data detected using the camera 2.
  • the output unit 16 of the fusion processor 5 outputs the fusion detection data 15 in the memory 43 to the vehicle control device 20. Thereby, the fusion detection data 15 is used for controlling the vehicle 30 by the vehicle control device 20 (step S13). With the above, the object detection frame is completed, the process moves to the next frame of object detection (step S14), and the same process is repeatedly executed from steps S1 to S14.
  • the tracking processing unit 8 of the radar signal processor 3 that processes the detection data of the radar 1 cannot identify whether the object to be detected is a moving object or a stationary object if the speed of the host vehicle is unknown. Therefore, the tracking processing performance of the tracking processing section 8 deteriorates.
  • the stationary object discrimination unit 10 detects a moving object based on the object position (camera detection position) and object type obtained by the camera 2 and camera image processor 4, and Moving object data is deleted from object data. Thereby, the stationary object discrimination unit 10 can extract only stationary object data with high accuracy. As a result, the own vehicle speed detection section 11 can detect the own vehicle speed with high accuracy.
  • the tracking processing unit 8 can discriminate between a moving object and a stationary object with high accuracy based on the own vehicle speed, so that the accuracy of the tracking process is improved and the object detection performance using the radar 1 is improved. In this way, the fusion-type object detection device 100 that uses detection data from the radar 1 can improve object detection performance.
  • the object detection devices there is a device that obtains speed information of the own vehicle from the own vehicle in which the object detection device is mounted, and reflects the information in radar tracking processing.
  • this object detection device as the number of interfaces with the own vehicle increases, the manufacturing cost increases due to expansion of the hardware scale, etc.
  • the radar signal processor 3 that is a radar signal processing section
  • the camera image processor 4 that is a camera image processing section
  • the fusion processor 5 that is a fusion processing section that the object detection device 100 has
  • the data processing section of the object detection device 100 is realized by a processing circuit.
  • the processing circuit may be a processor and memory that executes a program stored in the memory, or may be dedicated hardware such as a dedicated circuit.
  • the processing circuit is also called a control circuit.
  • FIG. 5 is a diagram illustrating an example of the configuration of a processing circuit when the processing circuit included in the object detection device according to the embodiment is implemented by a processor and memory.
  • a processing circuit 90 shown in FIG. 5 is a control circuit and includes a processor 91 and a memory 92.
  • each function of the processing circuit 90 is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 92.
  • each function is realized by a processor 91 reading and executing a program stored in a memory 92.
  • the processing circuit 90 includes a memory 92 for storing a program that will result in the processing of the data processing unit included in the object detection device 100 being executed.
  • This program can also be said to be a program for causing the object detection device 100 to execute each function realized by the processing circuit 90.
  • This program may be provided by a storage medium in which the program is stored, or may be provided by other means such as a communication medium.
  • the above program can also be said to be a program that causes the data processing unit included in the object detection device 100 to execute a process of detecting an object.
  • the processor 91 is, for example, a CPU (Central Processing Unit, also referred to as a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor)) or a system LSI (Large Scale Integration).
  • a CPU Central Processing Unit
  • processing unit also referred to as a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor)) or a system LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • the memory 92 may be a nonvolatile or volatile memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), or EEPROM (registered trademark) (Electrically EPROM).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable ROM), or EEPROM (registered trademark) (Electrically EPROM).
  • EPROM Erasable Programmable ROM
  • EEPROM registered trademark
  • FIG. 6 is a diagram showing an example of a processing circuit in the case where the processing circuit included in the object detection device according to the embodiment is configured with dedicated hardware.
  • the processing circuit 93 shown in FIG. 6 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these. applicable.
  • a part may be realized by dedicated hardware, and a part may be realized by software or firmware. In this way, the processing circuit 93 can realize each of the above functions using dedicated hardware, software, firmware, or a combination thereof.
  • the radar signal processor 3, the camera image processor 4, and the fusion processor 5 may each be configured with separate processing circuits. Furthermore, two of the radar signal processor 3, camera image processor 4, and fusion processor 5 may be configured with the above-mentioned processing circuit, and the remaining one may be configured with the above-mentioned processing circuit.
  • the object detection device 100 identifies a stationary object among objects based on the camera detection position of the moving object and the object type of the moving object, and automatically detects a stationary object based on the radar detection speed of the stationary object.
  • the speed of the own vehicle which is the vehicle on which the device is mounted, is calculated as the own vehicle speed, and based on the own vehicle speed, the radar 1 is made to track moving objects and stationary objects. Thereby, the object detection device 100 can accurately detect the object.
  • the configuration shown in the above embodiments is an example, and it is possible to combine it with another known technology, and a part of the configuration can be omitted or changed without departing from the gist. It is possible.

Abstract

物体検出装置（１００）が、移動物および静止物を含む物体からレーダ（１）が受信した反射信号に対して信号処理を実行することで物体のレーダ検出位置およびレーダ検出速度を検出するレーダ信号処理器（３）と、カメラ（２）による物体の画像データに基づいて、物体のカメラ検出位置および物体種類を検出するカメラ画像処理器（４）と、レーダ検出位置が示す位置とカメラ検出位置が示す位置とが同一である物体の、レーダ検出位置、レーダ検出速度、および物体種類を車両制御装置（２０）に出力するフュージョン処理器（５）と、を備え、カメラ画像処理器は、移動物のカメラ検出位置および物体種類を検出し、レーダ信号処理器は、レーダ検出位置、移動物のカメラ検出位置、および移動物の物体種類に基づいて、物体の中から静止物を特定し、静止物のレーダ検出速度に基づいて自車両速度を算出し、自車両速度に基づいて物体をレーダに追尾させる。

Description

物体検出装置
　本開示は、車両から物体を検出する物体検出装置に関する。
　車両搭載用の物体検出装置は、車両の利用環境に存在する人、障害物等の物体を短時間に検出できる装置である。この物体検出装置は、車両制御機能または警報通知機能と、物体検出機能とを用いることによって、安全な車両運転を実現することができる。車両搭載用の物体検出装置には、レーダ、カメラ、ライダ（ＬｉＤＡＲ：Light　Detection　And　Ranging、光による検知と測距）、超音波センサ等を用いた種々の種類がある。近年では、各種センサの普及により、複数のセンサを組合せることで性能の向上を実現するフュージョン型の物体検出装置が幅広く利用されるようになっている。
　特許文献１に記載の物体検出装置は、レーダおよびカメラを用いたフュージョン型の物体検出装置であり、レーダおよびカメラを用いて検出した物体の位置データから、物体が歩行者であるか否かを判定している。
国際公開第２０１０／１１９８６０号
　しかしながら、上記特許文献１の技術では、レーダによって物体を検出する際に自車両の速度を用いていないので、レーダによる物体の追尾処理性能が低くなり、物体を正確に検出できない場合があるという問題があった。
　本開示は、上記に鑑みてなされたものであって、物体を正確に検出できる物体検出装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示の物体検出装置は、電磁波を発射して移動物および静止物を含む物体からの反射信号を受信するレーダと、物体を撮像することで物体の画像データを取得するカメラとを備える。また、本開示の物体検出装置は、反射信号に対して信号処理を実行することで物体の位置であるレーダ検出位置および物体の速度であるレーダ検出速度を検出するレーダ信号処理部と、画像データに基づいて、物体の位置であるカメラ検出位置および物体の種類である物体種類を検出するカメラ画像処理部とを備える。また、本開示の物体検出装置は、レーダ検出位置が示す位置とカメラ検出位置が示す位置とが同一であるか否かを判定し、同一と判定した物体の、レーダ検出位置、レーダ検出速度、および物体種類を外部装置に出力するフュージョン処理部を備える。カメラ画像処理部は、移動物のカメラ検出位置および移動物の物体種類を検出する。レーダ信号処理部は、レーダ検出位置、移動物のカメラ検出位置、および移動物の物体種類に基づいて、物体の中から静止物を特定し、静止物のレーダ検出速度に基づいて、自装置が搭載される車両である自車両の速度を自車両速度として算出し、自車両速度に基づいて、移動物および静止物をレーダに追尾させる。
　本開示にかかる物体検出装置は、物体を正確に検出できるという効果を奏する。
実施の形態にかかる物体検出装置の構成を示す図 実施の形態にかかる物体検出装置が物体を検出する処理の処理手順を示すフローチャート 実施の形態にかかる物体検出装置が検出する物体を説明するための図 実施の形態にかかる物体検出装置が検出した物体の位置および速度を説明するための図 実施の形態にかかる物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図 実施の形態にかかる物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図
　以下に、本開示の実施の形態にかかる物体検出装置を図面に基づいて詳細に説明する。　　　
実施の形態．
　図１は、実施の形態にかかる物体検出装置の構成を示す図である。車両搭載用の物体検出装置１００は、フュージョン型の物体検出装置であり、レーダ１およびカメラ２を用いて物体を検出する。
　物体検出装置１００は、カメラ２を用いて物体を検出することで、センサの１つであるレーダ１の検出精度を向上させる。物体検出装置１００は、レーダ１とカメラ２とを組合せて物体検出装置１００が搭載される車両（自車両）の速度を高精度に検出し、レーダ１による物体の追尾処理の精度を向上させることで、高精度に物体を検出する。
　物体検出装置１００は、レーダ１と、カメラ２と、レーダ信号処理部であるレーダ信号処理器３と、カメラ画像処理部であるカメラ画像処理器４と、フュージョン処理部であるフュージョン処理器５とを備える。
　カメラ２は、レンズ、ホルダ、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor、相補型金属酸化膜半導体）センサ、電源半導体部品、水晶デバイス等の部品を用いて構成されている。カメラ２は、物体を撮像することで物体の画像データ（画像情報）を取得し、カメラ画像処理器４に出力する。
　カメラ画像処理器４は、画像データに基づいて、物体の位置および物体の種類のデータ（以下、物体種類という）を検出する。カメラ画像処理器４には、ＭＣＵ（Micro　Control　Unit）、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等が用いられる。カメラ画像処理器４は、物体認識部１２と、メモリ４２とを有している。
　物体認識部１２は、カメラ２に接続されており、カメラ２から画像データを受け付ける。物体認識部１２は、機械学習、深層学習等によって得られた特徴データ（特徴量）をデータベースとし、データベース内の特徴データと、カメラ２からの画像データとに基づいて、人、障害物等の物体を認識し、物体種類を検出する。具体的には、物体認識部１２は、画像データから特徴データを抽出し、この特徴データと、深層学習等によって得られた特徴データとを比較することで物体を認識し、物体種類を検出する。
　物体認識部１２は、予め設定された特定の移動物に対して物体種類を検出する。物体認識部１２は、例えば、歩行中の人、移動中の自転車などを移動物として抽出し、抽出した移動物の物体種類を検出する。
　また、物体認識部１２は、画像データに含まれる物体の座標に基づいて、物体の位置（以下、カメラ検出位置という）を検出する。物体認識部１２は、物体種類およびカメラ検出位置を、物体認識データであるカメラ検出データ１３としてメモリ４２に格納する。
　カメラ画像処理器４は、物体種類およびカメラ検出位置を含んだカメラ検出データ１３をレーダ信号処理器３に出力する。物体認識部１２が認識する物体は、移動物であるので、カメラ画像処理器４は、移動物の物体種類およびカメラ検出位置を含んだカメラ検出データ１３をレーダ信号処理器３に出力する。
　レーダ１は、人、障害物等の物体に電磁波を発射して、物体からの反射信号を受信する。レーダ１は、反射信号をレーダ信号処理器３に出力する。レーダ１は、移動物および静止物の両方の物体から反射信号を受信する。
　レーダ信号処理器３は、レーダ１が受信した反射信号（受信信号）に対して信号処理を実行することで、物体の位置および速度を検出する。レーダ１は、車両搭載用の物体検出装置１００に配置されるので、ＦＭＣＷ（Frequency　Modulated　Continuous　Wave、周波数変調連続波）方式、ＦＣＭ（Fast　Chirp　Modulation）方式などを用いて物体を検出する。レーダ１は、高周波半導体部品、電源半導体部品、基板、水晶デバイス、チップ部品、アンテナ等を用いて構成される。
　レーダ信号処理器３には、ＭＣＵ、ＣＰＵ等が用いられる。レーダ信号処理器３は、位置検出部６と、速度検出部７と、追尾処理部８と、メモリ４１と、静止物判別部１０と、自車両速度検出部１１とを有している。
　位置検出部６および速度検出部７は、レーダ１に接続されており、レーダ１から反射信号を受け付ける。位置検出部６および速度検出部７は、反射信号に対し、高速フーリエ変換（ＦＦＴ：Fast　Fourier　Transformation）を用いた演算処理を実行する。具体的には、位置検出部６および速度検出部７は、反射信号に対し、距離方向、速度方向、および水平角度方向に高速フーリエ変換を実行することで、物体の位置および速度をそれぞれ検出する。位置検出部６は、物体の位置（位置データ）をレーダ検出位置として静止物判別部１０および追尾処理部８に出力し、速度検出部７は、物体の速度（速度データ）をレーダ検出速度として静止物判別部１０および追尾処理部８に出力する。
　静止物判別部１０は、物体検出装置１００を使用するフィールド上に存在する物体が静止物であるか否かを判別する。静止物判別部１０は、レーダ検出位置、カメラ検出位置、および物体種類に基づいて、物体に含まれる移動物を特定する。静止物判別部１０は、レーダ検出速度の中から移動物に対応するレーダ検出速度を除去することで、静止物に対応するレーダ検出速度を抽出する。静止物判別部１０は、複数からなる物体のデータ（レーダ検出位置およびレーダ検出速度）の中から、移動物に相当するデータのみを削除することで、静止物のレーダ検出速度を特定する。
　具体的には、静止物判別部１０は、カメラ画像処理器４が検出したカメラ検出位置および物体種類の中から、予め設定された特定の物体種類と同じ物体種類と、この物体種類に対応するカメラ検出位置とを抽出する。静止物判別部１０は、レーダ検出位置の中から、抽出したカメラ検出位置と同じ位置を示すレーダ検出位置に対応するレーダ検出速度を静止物のデータとして抽出する。
　具体的には、静止物判別部１０は、物体種類に対応するカメラ検出位置の物体を移動物であると判定する。そして、静止物判別部１０は、位置検出部６および速度検出部７から送られてきた検出データの中から、移動物であると判定した物体の検出データを除去する。すなわち、静止物判別部１０は、位置検出部６および速度検出部７から送られてきたレーダ検出位置と、カメラ検出位置とが同じ位置となっている物体の検出データを、移動物の検出データとして除去する。静止物判別部１０は、位置検出部６および速度検出部７から送られてきた複数の検出データ（レーダ検出位置およびレーダ検出速度）から移動物に相当するデータのみを削除することで、静止物のレーダ検出速度を特定する。
　静止物判別部１０は、静止物のレーダ検出位置と、静止物のレーダ検出速度とを自車両速度検出部１１に出力する。
　カメラ画像処理器４が検出する移動物は、人、他の車両等が該当する。物体検出装置１００が搭載される車両である自車両が移動している時には、静止物に相対速度が付与される。すなわち、物体検出装置１００は、自車両が移動している時には、物体検出装置１００と静止物との間の相対速度を静止物の速度として検出する。このため、物体検出装置１００は、レーダ１のみで移動物と静止物とを判別することは困難であるが、本実施の形態の物体検出装置１００は、レーダ１とカメラ２とを組み合わせることで物体が静止物であるか否かを容易に判別できる。
　自車両速度検出部１１は、静止物判別部１０から送られてくるレーダ検出速度を平均化処理することで、自車両の速度（以下、自車両速度という）を算出する。自車両速度検出部１１は、自車両速度を検出結果として追尾処理部８に出力する。
　追尾処理部８は、位置検出部６および速度検出部７から送られてくるレーダ検出位置およびレーダ検出速度と、自車両速度検出部１１から送られてくる自車両速度とに基づいて、移動物と静止物とをそれぞれ別々のパラメータで追尾処理する。
　具体的には、追尾処理部８は、レーダ検出位置、レーダ検出速度、および自車両速度に基づいて、物体を移動物と静止物とに区別する。そして、追尾処理部８は、自車両速度に基づいて、移動物と静止物とをそれぞれ別々のパラメータでレーダ１に追尾させる。
　追尾処理部８は、位置検出部６および速度検出部７から送られてくるレーダ検出位置およびレーダ検出速度を、自車両速度に基づいて平滑化する。また、追尾処理部８は、次のフレームにおけるレーダ検出位置およびレーダ検出速度を、自車両速度に基づいて推定する。また、追尾処理部８は、レーダ検出位置およびレーダ検出速度に識別情報を付与する。追尾処理部８は、追尾処理に用いたレーダ検出位置およびレーダ検出速度をレーダ検出データ９としてメモリ４１に格納する。
　フュージョン処理器５は、レーダ１が検出したレーダ検出位置およびレーダ検出速度をレーダ信号処理器３から取得する。また、フュージョン処理器５は、カメラ画像処理器４から物体種類およびカメラ検出位置を取得する。フュージョン処理器５は、レーダ検出位置、レーダ検出速度、物体種類、およびカメラ検出位置を用いてデータ処理を実行し、データ処理結果を、物体検出装置１００としての検出結果として外部装置（例えば、車両制御装置２０）に出力する。すなわち、フュージョン処理器５は、移動物の位置、速度、および物体種類に対してデータ処理を実行し、データ処理結果を外部装置に出力する。
　フュージョン処理器５は、同一判定部１４と、メモリ４３と、出力部１６とを有している。同一判定部１４は、レーダ検出位置とカメラ検出位置とに基づいて、物体の同一判定を実行する。具体的には、同一判定部１４は、レーダ検出位置が示す物体の位置と、カメラ検出位置が示す物体の位置とが同じであるか否かに基づいて、レーダ検出位置が示す物体とカメラ検出位置が示す物体とが同一であるか否かの判定処理である同一判定処理を実行する。同一判定部１４は、この同一判定処理により、レーダ１を用いて取得されたレーダ検出位置と、レーダ１を用いて取得されたレーダ検出速度と、カメラ２を用いて取得された物体種類との対応付けを行う。
　同一判定部１４は、レーダ検出位置と、レーダ検出速度と、物体種類とを対応付けしたデータを、フュージョン検出データ１５としてメモリ４３に格納する。カメラ２を用いて特定された物体種類は移動物であるので、同一判定部１４は、移動物のレーダ検出位置と、移動物のレーダ検出速度と、移動物の物体種類とを対応付けしたデータを、フュージョン検出データ１５としてメモリ４３に格納する。
　出力部１６は、レーダ検出位置と、レーダ検出速度と、物体種類とが対応付けされたフュージョン検出データ１５を、物体検出装置１００の後段側の装置である車両制御装置２０に出力する。このように、フュージョン処理器５は、レーダ検出位置と、レーダ検出速度と、物体種類とを含んだフュージョン検出データ１５を、車両制御装置２０に転送する。これにより、自車両に搭載された車両制御装置２０は、フュージョン検出データ１５を自車両の制御に用いる。すなわち、車両制御装置２０は、移動物の位置、速度、および種類に基づいて、自車両を制御する。なお、出力部１６は、フュージョン処理器５の外部に配置されていてもよい。
　つぎに、物体検出装置１００による物体検出の処理手順について説明する。図２は、実施の形態にかかる物体検出装置が物体を検出する処理の処理手順を示すフローチャートである。車両搭載用の物体検出装置１００は、物体検出のフレームを開始すると（ステップＳ１）、レーダ１が、物体から取得した反射信号をレーダ信号処理器３に出力し（ステップＳ２）、カメラ２が、取得した画像データをカメラ画像処理器４に出力する（ステップＳ８）。
　レーダ信号処理器３では、位置検出部６および速度検出部７が物体の位置および速度を検出する（ステップＳ３）。位置検出部６は、レーダ１を用いて検出した物体の位置をレーダ検出位置として静止物判別部１０および追尾処理部８に出力し、速度検出部７は、レーダ１を用いて検出した物体の速度をレーダ検出速度として静止物判別部１０および追尾処理部８に出力する。
　カメラ画像処理器４では、物体認識部１２が、画像データに基づいて、物体を認識し（ステップＳ９）、物体種類を検出する。また、物体認識部１２は、画像データに含まれる物体の座標に基づいて、物体の位置であるカメラ検出位置を検出する。
　カメラ画像処理器４は、カメラ検出位置および物体種類をカメラ検出データ１３としてメモリ４２に格納する（ステップＳ１０）。すなわち、カメラ画像処理器４は、カメラ検出位置および物体種類を、メモリ４２に出力し、カメラ検出データ１３としてメモリ４２に記憶させる。カメラ画像処理器４は、メモリ４２内のカメラ検出データ１３をレーダ信号処理器３およびフュージョン処理器５に出力する。
　レーダ信号処理器３の静止物判別部１０は、レーダ検出位置、カメラ検出位置、および物体種類に基づいて、物体の中から静止物を判別する（ステップＳ４）。
　ここで、静止物の判別方法について説明する。図３は、実施の形態にかかる物体検出装置が検出する物体を説明するための図である。ここでは、物体検出装置１００が自車両である車両３０に搭載され、車両３０の前方（移動方向）に物体が位置している場合について説明する。物体には、静止物と移動物とがある。図３では、車両３０の前方に静止物Ａ１～Ｃ１と、移動物Ｘ１とが位置している場合を示している。
　物体検出装置１００は、車両３０の移動中に物体を検出する。レーダ１は、車両３０の移動方向の前方に位置する物体から反射信号を受信し、カメラ２は、車両３０の移動方向の前方に位置する物体から画像データを取得する。
　レーダ１の水平覆域であるレーダ水平覆域２１およびカメラ２の水平覆域であるカメラ水平覆域２２の両方に含まれる領域が、物体検出装置１００が物体を検出するフィールドである。図３では、レーダ水平覆域２１内およびカメラ水平覆域２２内に、静止物Ａ１～Ｃ１と、移動物Ｘ１とが位置している。したがって、レーダ信号処理器３の位置検出部６および速度検出部７は、何れも静止物Ａ１～Ｃ１および移動物Ｘ１を検出できる。また、カメラ画像処理器４の物体認識部１２は、移動物Ｘ１を検出できる。
　静止物判別部１０が静止物を判別すると、自車両速度検出部１１は、判別した静止物の速度に基づいて自車両速度を算出する（ステップＳ５）。具体的には、自車両速度検出部１１は、静止物判別部１０から送られてくる静止物Ａ１～Ｃ１のレーダ検出速度を平均化処理することで、自車両速度を算出する。このように、物体検出装置１００は、静止物Ａ１～Ｃ１のレーダ検出速度に基づいて自車両速度を算出することができる。
　図４は、実施の形態にかかる物体検出装置が検出した物体の位置および速度を説明するための図である。図４では、レーダ信号処理器３の位置検出部６および速度検出部７が図３に示した物体から検出した位置および速度をプロットしたイメージ図を示している。図４では、静止物Ａ１～Ｃ１の位置および速度をＰａ～Ｐｃとして図示し、移動物Ｘ１の位置および速度をＰｘとして図示している。
　車両３０が移動している時、物体検出装置１００から見ると、静止物Ａ１～Ｃ１および移動物Ｘ１は、ともに速度を持つこととなる。すなわち、車両３０が移動すると、レーダ信号処理器３は、静止物Ａ１～Ｃ１および移動物Ｘ１が車両３０に対して相対速度を有していることを検出する。
　また、カメラ画像処理器４は、カメラ検出位置および物体種類を検出する。そして、レーダ信号処理器３の静止物判別部１０は、レーダ検出位置、カメラ検出位置、および物体種類に基づいて、移動物Ｘ１を検出する。静止物判別部１０は、静止物の候補から移動物Ｘ１を除外することで、物体の中から静止物Ａ１～Ｃ１を抽出する。
　例えば、レーダ信号処理器３が静止物であると判定した静止物Ａ１，Ｂ１，Ｃ１の速度を、それぞれＶＡ，ＶＢ，ＶＣとすると、自車両速度検出部１１は、以下の式（１）を用いて自車両速度Ｖｃａｒを算出する。
　Ｖｃａｒ＝（ＶＡ＋ＶＢ＋ＶＣ）／３・・・（１）
　このように、物体検出装置１００は、静止物の車両３０に対する相対速度を算出し、この相対速度に基づいて自車両速度を算出する。
　なお、本実施の形態では、物体検出装置１００が、静止物の速度の平均値に基づいて自車両速度を算出する場合について説明したが、物体検出装置１００は、静止物の速度の、最小値、最大値、中央値等を自車両速度として採用してもよい。
　レーダ信号処理器３は、自車両速度を算出した後、自車両速度に基づいて、物体の追尾処理を実行する。具体的には、追尾処理部８は、自車両速度、レーダ検出位置、およびレーダ検出速度に基づいて、物体の追尾処理を実行する（ステップＳ６）。追尾処理部８は、自車両速度、レーダ検出位置、およびレーダ検出速度に基づいて、移動物と静止物とをそれぞれ別々のパラメータで追尾処理する。
　追尾処理部８は、追尾処理に用いたレーダ検出位置およびレーダ検出速度をレーダ検出データ９としてメモリ４１に格納する（ステップＳ７）。すなわち、追尾処理部８は、レーダ検出位置およびレーダ検出速度を、メモリ４１に出力し、レーダ検出データ９としてメモリ４１に記憶させる。レーダ信号処理器３は、メモリ４１内のレーダ検出データ９をフュージョン処理器５に出力する。
　フュージョン処理器５の同一判定部１４は、レーダ検出位置およびレーダ検出速度をレーダ信号処理器３から取得する。同一判定部１４は、レーダ検出位置とカメラ検出位置とに基づいて、物体の同一判定を実行する（ステップＳ１１）。同一判定部１４は、レーダ検出位置が示す物体の位置と、カメラ検出位置が示す物体の位置とが同じであるか否かに基づいて、レーダ検出位置が示す物体とカメラ検出位置が示す物体とが同一であるか否かの判定処理である同一判定処理を実行する。
　このように、同一判定部１４は、フュージョン処理器５に送られてきた各種データに対して、レーダ検出位置、レーダ検出速度、および物体種類を紐づけするために、レーダ検出位置、およびカメラ検出位置に基づいて物体の同一判定をする。
　同一判定部１４は、同一であると判定した物体（移動体）に対し、レーダ検出位置と、レーダ検出速度と、物体種類とを対応付けする。同一判定部１４は、レーダ検出位置、レーダ検出速度、および物体種類を対応付けしたデータを、フュージョン検出データ１５としてメモリ４３に格納する（ステップＳ１２）。すなわち、同一判定部１４は、レーダ検出位置、レーダ検出速度、および物体種類を対応付けしたデータを、メモリ４３に出力し、フュージョン検出データ１５としてメモリ４３に記憶させる。
　同一判定部１４が、フュージョン検出データ１５の一部としてメモリ４３に格納する位置および速度のデータは、レーダ１を用いて検出されたレーダ検出位置およびレーダ検出速度である。また、同一判定部１４が、フュージョン検出データ１５の一部としてメモリ４３に格納する物体種類は、カメラ２を用いて検出されたデータである。
　フュージョン処理器５の出力部１６は、メモリ４３内のフュージョン検出データ１５を車両制御装置２０に出力する。これにより、フュージョン検出データ１５は、車両制御装置２０による車両３０の制御に用いられる（ステップＳ１３）。以上で、物体検出フレームが完了し、物体検出の次フレームに移行して（ステップＳ１４）、同様の処理がステップＳ１からＳ１４まで繰り返し実行される。
　レーダ１の検出データをデータ処理するレーダ信号処理器３の追尾処理部８は、仮に自車両の速度が未知の場合、検出する物体が移動物であるか静止物であるかを識別することができず、追尾処理部８による追尾処理性能が低下する。本実施の形態では、静止物判別部１０が、カメラ２およびカメラ画像処理器４で得た、物体の位置（カメラ検出位置）および物体種類に基づいて移動物を検出し、レーダ１が検出した物体のデータから移動物のデータを削除している。これにより、静止物判別部１０は、高精度に静止物のデータのみを抽出することができる。その結果、自車両速度検出部１１は、高精度に自車両速度を検出できる。したがって、追尾処理部８は、自車両速度に基づいて、移動物と静止物とを高精度に判別できるので、追尾処理の精度が向上し、レーダ１を用いた物体検出性能が向上する。このように、レーダ１による検出データを採用するフュージョン型の物体検出装置１００は、物体の検出性能を向上させることができる。
　なお、物体検出装置の中には、物体検出装置が搭載される自車両から自車両の速度情報を入手して、レーダの追尾処理に反映する装置がある。この物体検出装置の場合、自車両とのインターフェース数が増加することで、ハードウェア規模の拡大等によって製造コストが増加する。
　ここで、物体検出装置１００が備える、レーダ信号処理部であるレーダ信号処理器３、カメラ画像処理部であるカメラ画像処理器４、およびフュージョン処理部であるフュージョン処理器５のハードウェア構成について説明する。以下、レーダ信号処理器３、カメラ画像処理器４、およびフュージョン処理器５を、データ処理部という。物体検出装置１００のデータ処理部は、処理回路により実現される。処理回路は、メモリに格納されるプログラムを実行するプロセッサおよびメモリであってもよいし、専用回路などの専用のハードウェアであってもよい。処理回路は制御回路とも呼ばれる。
　図５は、実施の形態にかかる物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図である。図５に示す処理回路９０は制御回路であり、プロセッサ９１およびメモリ９２を備える。処理回路９０がプロセッサ９１およびメモリ９２で構成される場合、処理回路９０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路９０では、メモリ９２に記憶されたプログラムをプロセッサ９１が読み出して実行することにより、各機能を実現する。すなわち、処理回路９０は、物体検出装置１００が備えるデータ処理部の処理が結果的に実行されることになるプログラムを格納するためのメモリ９２を備える。このプログラムは、処理回路９０により実現される各機能を物体検出装置１００に実行させるためのプログラムであるともいえる。このプログラムは、プログラムが記憶された記憶媒体により提供されてもよいし、通信媒体など他の手段により提供されてもよい。上記プログラムは、物体を検出する処理を物体検出装置１００が備えるデータ処理部に実行させるプログラムであるとも言える。
　プロセッサ９１は、例えば、ＣＰＵ（Central　Processing　Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital　Signal　Processor）ともいう）またはシステムＬＳＩ（Large　Scale　Integration）である。
　また、メモリ９２は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically　ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital　Versatile　Disc）などが該当する。
　図６は、実施の形態にかかる物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図である。図６に示す処理回路９３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）、またはこれらを組み合わせたものが該当する。処理回路９３については、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路９３は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。また、レーダ信号処理器３、カメラ画像処理器４、およびフュージョン処理器５は、それぞれ別々の処理回路で構成されてもよい。また、レーダ信号処理器３、カメラ画像処理器４、およびフュージョン処理器５のうちの２つが上述した処理回路で構成され、残りの１つが上述した処理回路で構成されてもよい。
　このように実施の形態では、物体検出装置１００が移動物のカメラ検出位置および移動物の物体種類に基づいて、物体の中から静止物を特定し、静止物のレーダ検出速度に基づいて、自装置が搭載される車両である自車両の速度を自車両速度として算出し、自車両速度に基づいて、移動物および静止物をレーダ１に追尾させる。これにより、物体検出装置１００は、物体を正確に検出することができる。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　レーダ、２　カメラ、３　レーダ信号処理器、４　カメラ画像処理器、５　フュージョン処理器、６　位置検出部、７　速度検出部、８　追尾処理部、９　レーダ検出データ、１０　静止物判別部、１１　自車両速度検出部、１２　物体認識部、１３　カメラ検出データ、１４　同一判定部、１５　フュージョン検出データ、１６　出力部、２０　車両制御装置、２１　レーダ水平覆域、２２　カメラ水平覆域、３０　車両、４１～４３　メモリ、１００　物体検出装置、Ａ１～Ｃ１　静止物、Ｘ１　移動物。

Claims (3)

  1. 　電磁波を発射して移動物および静止物を含む物体からの反射信号を受信するレーダと、
    　前記物体を撮像することで前記物体の画像データを取得するカメラと、
    　前記反射信号に対して信号処理を実行することで前記物体の位置であるレーダ検出位置および前記物体の速度であるレーダ検出速度を検出するレーダ信号処理部と、
    　前記画像データに基づいて、前記物体の位置であるカメラ検出位置および前記物体の種類である物体種類を検出するカメラ画像処理部と、
    　前記レーダ検出位置が示す位置と前記カメラ検出位置が示す位置とが同一であるか否かを判定し、同一と判定した前記物体の、前記レーダ検出位置、前記レーダ検出速度、および前記物体種類を外部装置に出力するフュージョン処理部と、
    　を備え、
    　前記カメラ画像処理部は、
    　前記移動物の前記カメラ検出位置および前記移動物の前記物体種類を検出し、
    　前記レーダ信号処理部は、
    　前記レーダ検出位置、前記移動物の前記カメラ検出位置、および前記移動物の前記物体種類に基づいて、前記物体の中から前記静止物を特定し、前記静止物の前記レーダ検出速度に基づいて、自装置が搭載される車両である自車両の速度を自車両速度として算出し、前記自車両速度に基づいて、前記移動物および前記静止物を前記レーダに追尾させる、
    　ことを特徴とする物体検出装置。
  2. 　前記カメラ画像処理部は、
    　前記画像データに基づいて、前記移動物の前記カメラ検出位置および前記移動物の前記物体種類を検出する物体認識部を有し、
    　前記レーダ信号処理部は、
    　前記反射信号に基づいて前記レーダ検出位置を検出する位置検出部と、
    　前記反射信号に基づいて前記レーダ検出速度を検出する速度検出部と、
    　前記レーダ検出位置、前記移動物の前記カメラ検出位置、および前記移動物の前記物体種類に基づいて、前記速度検出部が検出した前記レーダ検出速度の中から、前記静止物の前記レーダ検出速度を特定する静止物判別部と、
    　前記静止物の前記レーダ検出速度に基づいて前記自車両速度を算出する自車両速度検出部と、
    　前記位置検出部が検出した前記レーダ検出位置と、前記速度検出部が検出した前記レーダ検出速度と、前記自車両速度とに基づいて、前記移動物と前記静止物とをそれぞれ別々のパラメータで追尾処理する追尾処理部と、
    　を有する、
    　ことを特徴とする請求項１に記載の物体検出装置。
  3. 　前記フュージョン処理部は、
    　前記カメラ画像処理部から前記移動物の前記カメラ検出位置および前記移動物の前記物体種類を取得し、前記レーダ信号処理部から前記静止物の前記レーダ検出位置および前記静止物の前記レーダ検出速度を取得し、前記レーダ検出位置が示す前記物体の位置と、前記カメラ検出位置が示す前記物体の位置とが同じであるか否かに基づいて、前記レーダ検出位置が示す前記物体と前記カメラ検出位置が示す前記物体とが同一であるか否かを判定する同一判定部と、
    　前記同一判定部が同一と判定した前記物体の前記レーダ検出位置、前記レーダ検出速度、および前記物体種類を外部装置に出力する出力部と、
    　を有する、
    　ことを特徴とする請求項１または２に記載の物体検出装置。
PCT/JP2022/024708 2022-06-21 2022-06-21 物体検出装置 WO2023248341A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024708 WO2023248341A1 (ja) 2022-06-21 2022-06-21 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024708 WO2023248341A1 (ja) 2022-06-21 2022-06-21 物体検出装置

Publications (1)

Publication Number Publication Date
WO2023248341A1 true WO2023248341A1 (ja) 2023-12-28

Family

ID=89379571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024708 WO2023248341A1 (ja) 2022-06-21 2022-06-21 物体検出装置

Country Status (1)

Country Link
WO (1) WO2023248341A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119860A1 (ja) * 2009-04-14 2010-10-21 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP2011117895A (ja) * 2009-12-07 2011-06-16 Toyota Motor Corp 物体検出装置、物体検出装置を備えた車両の安全システム
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119860A1 (ja) * 2009-04-14 2010-10-21 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP2011117895A (ja) * 2009-12-07 2011-06-16 Toyota Motor Corp 物体検出装置、物体検出装置を備えた車両の安全システム
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法

Similar Documents

Publication Publication Date Title
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
US11340332B2 (en) Method and apparatus for processing radar data
CN111712731B (zh) 目标检测方法、系统及可移动平台
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
CN113119963B (zh) 智能超声系统、车辆后方碰撞警告装置及其控制方法
RU151809U1 (ru) Видеосистема для обеспечения безопасности транспортных средств
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2001099930A (ja) 周辺監視センサ
US11884299B2 (en) Vehicle traveling control device, vehicle traveling control method, control circuit, and storage medium
EP3851870A1 (en) Method for determining position data and/or motion data of a vehicle
JP2006258497A (ja) 車両用物体認識装置
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
JP2011039833A (ja) 車両検出装置、車両検出プログラム、および車両検出方法
US11474535B2 (en) Method of processing data, apparatus for processing data, and system for controlling vehicle
CN115729245A (zh) 用于矿区坡道的障碍物融合检测方法、芯片和终端
JP6411933B2 (ja) 車両状態判定装置
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
US20230094836A1 (en) Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle
KR101449288B1 (ko) 레이더를 이용한 감지 시스템
WO2023248341A1 (ja) 物体検出装置
JP6834020B2 (ja) 物体認識装置および物体認識方法
JP4823282B2 (ja) 周辺監視センサ
WO2022254610A1 (ja) 物体検出装置および物体検出方法
JPWO2019065411A1 (ja) 車両検知システム
US11852723B2 (en) System and method for controlling detecting distance of ultrasonic sensor based on ground recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22947904

Country of ref document: EP

Kind code of ref document: A1