KR102336654B1 - Method And Apparatus for Sensor Fusion of Vehicle - Google Patents

Method And Apparatus for Sensor Fusion of Vehicle Download PDF

Info

Publication number
KR102336654B1
KR102336654B1 KR1020200055283A KR20200055283A KR102336654B1 KR 102336654 B1 KR102336654 B1 KR 102336654B1 KR 1020200055283 A KR1020200055283 A KR 1020200055283A KR 20200055283 A KR20200055283 A KR 20200055283A KR 102336654 B1 KR102336654 B1 KR 102336654B1
Authority
KR
South Korea
Prior art keywords
object information
fusion
sensor
lidar
vehicle
Prior art date
Application number
KR1020200055283A
Other languages
Korean (ko)
Other versions
KR20200104258A (en
Inventor
이건용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190022270A external-priority patent/KR102656945B1/en
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200055283A priority Critical patent/KR102336654B1/en
Publication of KR20200104258A publication Critical patent/KR20200104258A/en
Application granted granted Critical
Publication of KR102336654B1 publication Critical patent/KR102336654B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3017—Radars

Abstract

본 발명은 차량의 센서 융합 장치 및 방법에 관한 것으로서, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하고, 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 라이다 오브젝트 정보를 카메라 오브젝트 정보를 이용하여 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 것을 특징으로 하는 차량의 센서 융합 장치 및 방법을 제공한다.The present invention relates to a sensor fusion apparatus and method for a vehicle, and to camera object information and radar object information respectively obtained through a camera sensor and a radar sensor mounted on the vehicle. object information) to generate initial fused object information, obtain lidar object information through a lidar sensor, and convert lidar object information to a camera object Provide a sensor fusion apparatus and method for a vehicle, characterized in that correction using information and updating first fusion object information based on the corrected lidar object information to generate final fused object information do.

Figure 112020046864363-pat00001
Figure 112020046864363-pat00001

Description

차량의 센서 융합 장치 및 방법{Method And Apparatus for Sensor Fusion of Vehicle}Method And Apparatus for Sensor Fusion of Vehicle

본 발명은 차량의 센서 융합 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량에 장착된 복수의 센서에 의해 획득된 오브젝트 정보를 융합하는 차량의 센서 융합 장치 및 방법에 관한 것이다.The present invention relates to a sensor fusion apparatus and method for a vehicle, and more particularly, to a sensor fusion apparatus and method for a vehicle that fuses object information obtained by a plurality of sensors mounted on the vehicle.

자율주행 차량(autonomous driving vehicle)이란 주행 시 외부정보를 감지하고 처리하여 주변의 환경을 인식하고, 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말한다. 자율주행 차량은 운전자가 조향휠(steering wheel), 가속페달(acceleration pedal) 또는 브레이크(brake) 등을 조작하지 않아도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 주행할 수 있다. 예를 들어, 직선 도로에서는 가속을 수행하고, 곡선 도로에서는 도로의 곡률에 대응하여 주행 방향을 변경하면서 감속을 수행할 수 있다.An autonomous driving vehicle is a vehicle that senses and processes external information during driving to recognize the surrounding environment, determine a driving route by itself, and drive independently using its own power. The autonomous vehicle prevents collision with obstacles on the driving path without the driver operating the steering wheel, accelerator pedal, or brake, and adjusts the vehicle speed and speed according to the shape of the road. It can drive itself while controlling the driving direction. For example, acceleration may be performed on a straight road, and deceleration may be performed on a curved road while changing a driving direction in response to the curvature of the road.

자율주행 차량에 적용되는 측위 시스템은 GPS(Global Positioning System) 및 레이더(radar), 라이더(lidar), 카메라(camera) 등과 같은 각종 센서를 이용하여 구축한 도로맵 정보를 바탕으로, 주행 중 획득되는 GPS 위치데이터 및 차량에 탑재된 센서를 통해 획득되는 센서 데이터 등을 통해 차량의 현재 위치를 결정한다.The positioning system applied to autonomous vehicles is based on road map information built using various sensors such as GPS (Global Positioning System) and radar, lidar, and camera, and is obtained while driving. The current location of the vehicle is determined through GPS location data and sensor data acquired through a sensor mounted on the vehicle.

자율주행의 안정성을 확보하기 위해서는 차량의 현재 위치를 정확하게 파악하는 것이 중요하며, 이를 위해 GPS의 위치 정확도를 향상시킬 수 있는 DGPS(Differential GPS), RTK-DGPS(Real Time Kinematic-DGPS) 등을 사용하기도 한다. 또한, 필연적으로 발생하는 GPS 위치 데이터의 오차를 보정하기 위해 미리 구축하여 놓은 도로맵(road map)과 센서 데이터를 비교하는 맵매칭(map matching) 기술이 적용되기도 한다.In order to secure the stability of autonomous driving, it is important to accurately determine the current location of the vehicle. also do In addition, a map matching technology that compares sensor data with a road map that has been built in advance to correct an inevitably occurring error in GPS location data is also applied.

이에 따라, 차량의 현재 위치뿐 아니라 차량에 장착된 센서를 이용하여 차량 주위에 존재하는 오브젝트를 정확하게 검출하여 차량의 주행 제어에 활용할 필요가 있다. 더욱이, 자율주행 차량에 적용되는 센싱 시스템이 고도화됨에 따라 사용되는 센서의 수가 증가 중인 추세를 고려하면, 각 센서로부터 획득된 주변 오브젝트 정보를 융합하여 더욱 정확하게 주변 오브젝트를 검출하는 아키텍처(architecture)가 요구된다.Accordingly, it is necessary to accurately detect an object existing around the vehicle using a sensor mounted on the vehicle as well as the current location of the vehicle, and use it for driving control of the vehicle. Furthermore, considering the trend that the number of sensors used is increasing as the sensing system applied to autonomous vehicles is advanced, there is a need for an architecture that more accurately detects surrounding objects by fusing the surrounding object information obtained from each sensor. do.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0098071호(2017.08.29. 공개)에 개시되어 있다.The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2017-0098071 (published on August 29, 2017).

본 발명의 일 측면에 따른 목적은 차량의 장착된 복수의 객체 검출 센서, 특히 카메라 센서, 레이더 센서 및 라이다 센서로부터 획득된 오브젝트 정보를 융합하여 오브젝트에 대한 검출 오차를 최소화하는 차량의 센서 융합 장치 및 방법을 제공하는 것이다.An object according to an aspect of the present invention is a sensor fusion device for a vehicle that minimizes a detection error for an object by fusing object information obtained from a plurality of object detection sensors mounted on the vehicle, in particular, a camera sensor, a radar sensor, and a lidar sensor and to provide a method.

본 실시예의 일 측면에 의하면, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합부(primary sensor fusion unit); 및 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합부(secondary sensor fusion unit)를 포함하는 것을 특징으로 하는 차량의 센서 융합 장치를 제공한다.According to one aspect of the present embodiment, by fusing camera object information and radar object information obtained through a camera sensor and a radar sensor mounted on a vehicle, respectively, a first sensor fusion unit for generating primary fused object information; and obtaining lidar object information through a lidar sensor, correcting the lidar object information using the camera object information, and based on the corrected lidar object information, the second 1 There is provided a sensor fusion device for a vehicle, comprising a second sensor fusion unit that updates fusion object information to generate final fused object information.

본 실시예의 다른 측면에 의하면, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합과정(primary sensor fusion process); 및 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합과정(secondary sensor fusion process)을 포함하는 것을 특징으로 하는 차량의 센서 융합 방법을 제공한다.According to another aspect of this embodiment, by fusing camera object information and radar object information obtained through a camera sensor and a radar sensor mounted on a vehicle, respectively, a first sensor fusion process for generating primary fused object information; and obtaining lidar object information through a lidar sensor, correcting the lidar object information using the camera object information, and based on the corrected lidar object information, the second 1 There is provided a sensor fusion method for a vehicle, comprising: a second sensor fusion process of updating fusion object information to generate final fused object information.

본 개시의 일 측면에 따르면, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트래킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.According to an aspect of the present disclosure, after primary fusion of camera object information and radar object information, the detection error of objects around the vehicle is minimized by correcting the primary fusion result through lidar object information and performing tracking post-processing. can do it

도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하는 블록구성도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a sensor fusion device for a vehicle according to an embodiment of the present invention.
2 is a block diagram illustrating a detailed configuration of a sensor fusion device for a vehicle according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a field of view (FOV) of a front camera, a front radar, a corner radar, and a front lidar applied to a sensor fusion device for a vehicle according to an embodiment of the present invention.
4 is a block diagram illustrating the operation of the preprocessing unit and the measurement value fusion unit of the second sensor fusion unit in the sensor fusion device for a vehicle according to an embodiment of the present invention.
5 is a flowchart illustrating a method for fusion of sensors in a vehicle according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 센서 융합 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of a sensor fusion device and method for a vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이며, 도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 나타내는 예시도이고, 도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하는 블록구성도이다.1 is a block diagram illustrating a sensor fusion device for a vehicle according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating a detailed configuration of a sensor fusion device for a vehicle according to an embodiment of the present invention. , FIG. 3 is an exemplary view showing a field of view (FOV) of a front camera, a front radar, a corner radar, and a front lidar applied to a sensor fusion device for a vehicle according to an embodiment of the present invention, and FIG. 4 is the present invention is a block diagram illustrating the operation of the preprocessing unit and the measurement value fusion unit of the second sensor fusion unit in the sensor fusion device for a vehicle according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 차량의 센서 융합 장치는 제1 센서 융합부(primary sensor fusion unit; 100) 및 제2 센서 융합부(secondary sensor fusion unit; 200)를 포함할 수 있다. 제2 센서 융합부(200)는 전처리부(pre-processing unit; 210), 측정치 융합부(measuring fusion unit; 220), 트래킹부(tracking unit; 230) 및 후처리부(post-processing unit; 240)를 포함할 수 있다.1 and 2 , a sensor fusion device for a vehicle according to an embodiment of the present invention includes a first sensor fusion unit 100 and a second sensor fusion unit 200 . may include The second sensor fusion unit 200 includes a pre-processing unit 210 , a measuring fusion unit 220 , a tracking unit 230 and a post-processing unit 240 . may include

제1 센서 융합부(100)는 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)로부터 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 미리 정의된 융합 알고리즘(fusion algorithm)을 이용하여 융합(fusion)하여 1차 융합 오브젝트 정보(initial fused object information)를 생성할 수 있다. 여기서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변을 움직이는 동적 오브젝트 정보(moving object information)를 의미한다. 예를 들어, 동적 오브젝트는 다른 차량, 자전거 또는 보행자 등이 될 수 있다. 동적 오브젝트 정보는 동적 오브젝트의 위치, 방향(헤딩각; heading angle), 가속도, 속도, 형상 및 크기, 종류 또는 동적 오브젝트의 존재 유무 등이 될 수 있다. 이에 따라, 제1 센서 융합부(100)는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 이용하여 융합함으로써 1차 융합 오브젝트 정보(initial fused object information)를 생성할 수 있으며, 융합 알고리즘에 따른 오브젝트 융합 과정 중 차량 자세 정보 등의 소정의 정보가 필요할 경우에는 C-CAN(Chassis-Controller Area Network) 통신을 통해 전달받을 수도 있다.The first sensor fusion unit 100 pre-defines camera object information and radar object information respectively obtained from a camera sensor and a radar sensor mounted on the vehicle. By fusion using a fusion algorithm, it is possible to generate initial fused object information. Here, the camera object information and the radar object information refer to moving object information moving around the vehicle. For example, the dynamic object may be another vehicle, bicycle or pedestrian, etc. The dynamic object information may be a position, direction (heading angle), acceleration, speed, shape and size, type, or existence of a dynamic object of a dynamic object. Accordingly, the first sensor fusion unit 100 may generate initial fused object information by fusing camera object information and radar object information using a predefined fusion algorithm, and If predetermined information such as vehicle posture information is required during the object fusion process, it may be transmitted through Chassis-Controller Area Network (C-CAN) communication.

제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보 및 차량에 장착된 라이다 센서로부터 획득된 라이다 오브젝트 정보(lidar object information)를 동기화(synchronization)하기 위한 전처리(pre-processing)를 수행한다. 전처리 후, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보(attribute information)을 플래그(flag)로서 부가하여 라이다 오브젝트 정보를 보정한다. 제2 센서 융합부는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 여기서, 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트의 정보(static object information)를 포함할 수 있다. 이러한 정적 오브젝트는 신호등, 이정표 또는 고정 장애물 등이 될 수 있다.The second sensor fusion unit 200 performs pre-processing for synchronizing camera object information, primary fusion object information, and lidar object information obtained from a lidar sensor mounted on a vehicle. ) is performed. After pre-processing, the LiDAR object information is corrected by adding attribute information of the corresponding object as a flag to the synchronized LiDAR object information. The second sensor fusion unit may generate final fusion object information by updating primary fusion object information based on the corrected lidar object information. Here, the lidar object information may include information on a dynamic object and a static object located in the vicinity of the vehicle (static object information). These static objects may be traffic lights, milestones, or fixed obstacles.

본 실시예에서 카메라 센서에는 전방 카메라 센서(front camera sensor)가 포함될 수 있다. 레이더 센서에는 전방 레이더(front radar) 또는 코너 레이더(corner radar)가 포함될 수 있다. 라이다 센서에는 전방 라이다 센서(front lidar sensor)가 포함될 수 있다. 도 3에는 이러한 각 센서들의 FOV(Field Of View)의 예시를 도시하고 있다. 다만, 각 센서의 FOV는 설계자의 의도와 실험적 결과에 기초하여 다양한 범위로 설계될 수도 있다.In this embodiment, the camera sensor may include a front camera sensor. The radar sensor may include a front radar or a corner radar. The lidar sensor may include a front lidar sensor. 3 shows an example of a Field Of View (FOV) of each of these sensors. However, the FOV of each sensor may be designed in various ranges based on the designer's intention and experimental results.

이하에서는 제2 센서 융합부(200)의 기능을 그 하위 구성을 통해 구체적으로 설명한다. 도 2에 도시된 것과 같이 제2 센서 융합부(200)는 전처리부(210), 측정치 융합부(220), 트래킹부(230) 및 후처리부(240)를 포함할 수 있다. 도 4는 전처리부(210) 및 측정치 융합부(220)의 동작을 설명하는 블록구성도로서, 이하의 전처리부(210) 및 측정치 융합부(220)의 동작 설명은 도 4를 참조하기로 한다.Hereinafter, the function of the second sensor fusion unit 200 will be described in detail through its sub-configuration. As shown in FIG. 2 , the second sensor fusion unit 200 may include a preprocessor 210 , a measurement value fusion unit 220 , a tracking unit 230 , and a postprocessor 240 . 4 is a block diagram illustrating the operation of the pre-processing unit 210 and the measurement value fusion unit 220, and the following description of the operation of the pre-processing unit 210 and the measurement value fusion unit 220 will refer to FIG. .

전처리부(210)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리(pre-processing)를 수행할 수 있다. 여기서, 오브젝트 정보의 동기화는 좌표 동기화(coordinate synchronization) 및 시간 동기화(time synchronization)를 의미할 수 있다.The preprocessor 210 may perform pre-processing for synchronizing camera object information, primary fusion object information, and lidar object information acquired through a lidar sensor mounted on a vehicle. Here, synchronization of object information may mean coordinate synchronization and time synchronization.

구체적으로, 전처리부(210)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행할 수 있다. 이를 위해 전처리부(210)에는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 좌표로 변화하기 위한 변환 매트릭스(convergence matrix)가 좌표 동기화 전에 정의되어 있을 수 있다. 전처리부(210)는 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행할 수 있다. 나아가, 전처리부(210)는 자차량의 움직임과, 각 오브젝트 정보에 반영된 해당 오브젝트의 움직임을 고려하여 해당 오브젝트에 대한 위치를 보상하는 보정을 수행할 수도 있다.Specifically, the preprocessor 210 may perform coordinate synchronization by converting the coordinates of the camera object information and the primary fusion object information into the coordinate system of the lidar sensor. To this end, in the preprocessor 210 , a convergence matrix for changing the coordinates of the camera object information and the primary fusion object information into LiDAR coordinates may be defined before coordinate synchronization. The preprocessor 210 may perform time synchronization to match the coordinates of the synchronized camera object information, the primary fusion object information, and the lidar object information. Furthermore, the preprocessor 210 may perform correction for compensating for the position of the corresponding object in consideration of the movement of the own vehicle and the movement of the corresponding object reflected in each object information.

측정치 융합부(200)는 전처리부(210)에 의해 좌표 동기화 및 시간 동기화가 이루어진 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보(attribute information)를 플래그(flag)로서 부가하여 라이다 오브젝트 정보를 보정할 수 있다. 라이다 오브젝트 정보의 보정이란, 라이다 센서에 의해 획득된 라이다 오브젝트 정보의 동기화가 이루어진 후 해당 오브젝트의 속성 정보가 부가된 상태인 것을 의미한다. 이때, 측정치 융합부(220)는 카메라 오브젝트 정보를 이용하여, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보(flag)를 부가할 수 있다. 이러한 속성 정보는 오브젝트의 종류로서, 승용차, 트럭, 자전거, 보행자 등이 될 수 있다.The measurement value fusion unit 200 adds attribute information of the corresponding object as a flag to the lidar object information for which coordinate synchronization and time synchronization have been performed by the preprocessor 210 to correct lidar object information. can The correction of lidar object information means that the attribute information of the corresponding object is added after synchronization of lidar object information obtained by the lidar sensor is performed. In this case, the measurement value fusion unit 220 may add attribute information (flag) according to the type of the corresponding object to the synchronized lidar object information by using the camera object information. Such attribute information is a type of object, and may be a car, a truck, a bicycle, a pedestrian, or the like.

측정치 융합부(220)는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성할 수 있다. 구체적으로는, 측정치 융합부(220)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 1차 융합 오브젝트 정보는 동적 오브젝트 정보인 카메라 오브젝트 정보 및 레이더 오브젝트 정보의 융합 정보이므로, 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가함으로써, 최종 융합 오브젝트 정보에는 차량 주변의 동적 오브젝트 및 정적 오브젝트 정보가 반영되게 되며, 최종 융합 오브젝트 정보에 대한 해당 오브젝트의 속성 정보도 포함되게 된다.The measurement value fusion unit 220 may generate final fused object information by updating the primary fusion object information based on the corrected lidar object information. Specifically, the measurement value fusion unit 220 updates the primary fusion object information in a manner that adds the static object information reflected in the corrected lidar object information to the primary fusion object information to generate final fusion object information. can Since the primary fusion object information is fusion information of camera object information and radar object information, which are dynamic object information, by adding the static object information reflected in the lidar object information to the primary fusion object information, the final fusion object information includes the vehicle surroundings Dynamic object and static object information of , is reflected, and attribute information of the corresponding object for final fusion object information is also included.

트래킹부(230)는 최종 융합 오브젝트 정보에 대응하는 오브젝트 각각에 대하여 트래킹 전에 정의된 트래킹 알고리즘을 이용하여 트래킹(tracking)을 수행할 수 있다. 도 2에 도시된 것과 같이 트래킹부(230)는 일반적인 타겟 추적 알고리즘에 따라 예측(prediction), 데이터 연관(data association) 및 업데이트(update) 방식을 통해 해당 오브젝트를 트래킹할 수 있다. 1차 융합 오브젝트 정보 및 라이다 오브젝트 정보는 각각 별도의 트래킹 과정을 통해 획득되는 정보로서, 트래킹부(230)를 통해 추가적인 트래킹을 수행함으로써 해당 오브젝트에 대한 트래킹 오차를 감소시킬 수 있다.The tracking unit 230 may perform tracking for each object corresponding to the final fusion object information using a tracking algorithm defined before tracking. As shown in FIG. 2 , the tracking unit 230 may track a corresponding object through a prediction, data association, and update method according to a general target tracking algorithm. The primary fusion object information and lidar object information are information obtained through separate tracking processes, respectively, and by performing additional tracking through the tracking unit 230, a tracking error for the corresponding object can be reduced.

후처리부(240)는 트래킹되는 해당 오브젝트의 위치 정보를 최종적으로 출력할 수 있으며, 해당 오브젝트의 위치 정보, 방향(헤딩각), 가속도, 속도, 형상, 크기 또는 종류에 대한 정보를 출력할 수 있다.The post-processing unit 240 may finally output position information of the corresponding object to be tracked, and may output information about the position information, direction (heading angle), acceleration, speed, shape, size or type of the corresponding object. .

도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method for fusion of sensors in a vehicle according to an embodiment of the present invention.

제1 센서 융합부(100)는 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성한다(S100). 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트의 정보를 의미한다.The first sensor fusion unit 100 generates primary fusion object information by fusing camera object information and radar object information respectively acquired through a camera sensor and a radar sensor mounted on the vehicle through a predefined fusion algorithm (S100). ). The camera object information and the radar object information refer to information on dynamic objects located around the vehicle.

제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행한다(S200). 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트의 정보를 포함한다. 제2 센서 융합부(200)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행하고, 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행하여 전처리를 수행한다.The second sensor fusion unit 200 performs preprocessing for synchronizing the camera object information, the primary fusion object information, and the lidar object information obtained through the lidar sensor mounted on the vehicle (S200). The lidar object information includes information on dynamic objects and static objects located in the vicinity of the vehicle. The second sensor fusion unit 200 converts the coordinates of the camera object information and the first fusion object information into the coordinate system of the lidar sensor to perform coordinate synchronization, and the coordinate-synchronized camera object information and the primary fusion object information and the lidar Preprocessing is performed by performing time synchronization to match the time of object information.

제2 센서 융합부(200)는 S200 단계를 통해 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보를 부가하여 라이다 오브젝트 정보를 보정한다(S300). S300 단계에서, 제2 센서 융합부(200)는 카메라 오브젝트 정보를 이용하여, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하는 보정을 한다.The second sensor fusion unit 200 corrects the lidar object information by adding attribute information of the corresponding object to the lidar object information synchronized through step S200 (S300). In step S300 , the second sensor fusion unit 200 performs correction by adding attribute information according to the type of the object to the synchronized lidar object information using the camera object information.

제2 센서 융합부(200)는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신한다(S400). 구체적으로, 제2 센서 융합부(200)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식을 통해 1차 융합 오브젝트 정보를 갱신한다. 이로써 최종 융합 오브젝트 정보가 생성된다.The second sensor fusion unit 200 updates the primary fusion object information based on the corrected lidar object information (S400). Specifically, the second sensor fusion unit 200 updates the primary fusion object information by adding the static object information reflected in the corrected lidar object information to the primary fusion object information. As a result, final fusion object information is generated.

제2 센서 융합부(200)는 최종 융합 오브젝트 정보에 대응하는 오브젝트를 트래킹 전 정의된 트래킹 알고리즘을 이용하여 트래킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력한다(S500). 제2 센서 융합부(200)는 해당 오브젝트의 위치 정보와 함께 방향(헤딩각), 가속도, 속도, 형상 및 크기, 종류에 대한 정보도 출력할 수 있다.The second sensor fusion unit 200 tracks the object corresponding to the final fusion object information using a defined tracking algorithm before tracking, and then outputs the position information of the object through post-processing (S500). The second sensor fusion unit 200 may also output information on a direction (heading angle), acceleration, speed, shape, size, and type along with location information of the corresponding object.

이와 같이 본 실시예는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트래킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.As such, in this embodiment, after first fusion of camera object information and radar object information, the detection error of objects around the vehicle can be minimized by correcting the first fusion result through lidar object information and performing tracking post-processing. have.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and it is understood that various modifications and equivalent other embodiments are possible by those of ordinary skill in the art. will understand Accordingly, the true technical protection scope of the present invention should be defined by the following claims.


100: 제1 센서 융합부
200: 제2 센서 융합부
210: 전처리부
220: 측정치 융합부
230: 트래킹부
240: 후처리부
100: first sensor fusion unit
200: second sensor fusion unit
210: preprocessor
220: measurement value fusion unit
230: tracking unit
240: post-processing unit

Claims (12)

차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합부(primary sensor fusion unit); 및
라이다 센서(lidar sensor)를 통해 정적 오브젝트 정보를 포함하는 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합부(secondary sensor fusion unit)를 포함하되,
상기 제2 센서 융합부는,
상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가함으로써 상기 갱신을 수행하는 것
을 특징으로 하는 차량의 센서 융합 장치.As dynamic object information obtained through a camera sensor and a radar sensor mounted on a vehicle, respectively, the primary fusion by fusion of camera object information and radar object information a first sensor fusion unit that generates initial fused object information; and
Obtaining lidar object information including static object information through a lidar sensor, correcting the lidar object information using the camera object information, and corrected lidar object information and a second sensor fusion unit configured to update the primary fusion object information based on and generate final fused object information,
The second sensor fusion unit,
performing the update by adding static object information of the corrected lidar object information to the primary fusion object information
A vehicle sensor fusion device, characterized in that. 제 1 항에 있어서,
상기 제2 센서 융합부는,
상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보 및 상기 라이다 오브젝트 정보를 동기화(synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.The method of claim 1,
The second sensor fusion unit,
The sensor fusion device of a vehicle, characterized in that for synchronizing the camera object information, the primary fusion object information, and the lidar object information. 제 2 항에 있어서,
상기 동기화는,
상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화(coordinate synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.3. The method of claim 2,
The synchronization is
A sensor fusion device for a vehicle, characterized in that coordinate synchronization is performed by converting the coordinates of the camera object information and the first fusion object information into the coordinate system of the lidar sensor. 제 3 항에 있어서,
상기 동기화는,
좌표 동기화한 상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보와 상기 라이다 오브젝트 정보의 시간을 동기화(time synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.4. The method of claim 3,
The synchronization is
A sensor fusion device for a vehicle, characterized in that time synchronization of the coordinate-synchronized camera object information and the primary fusion object information and the lidar object information. 제 4 항에 있어서,
상기 제2 센서 융합부는,
좌표 및 시간 동기화한 상기 라이다 오브젝트 정보에 속성 정보(attribute information)를 부가하여 보정하는 것을 특징으로 하는 차량의 센서 융합 장치.5. The method of claim 4,
The second sensor fusion unit,
The sensor fusion device of a vehicle, characterized in that the correction by adding attribute information (attribute information) to the coordinates and time-synchronized lidar object information. 삭제delete 제 1 항에 있어서,
상기 제2 센서 융합부는,
상기 최종 융합 오브젝트 정보의 오브젝트를 기 설정된 트래킹 알고리즘을 이용하여 트래킹(tracking)하는 것을 특징으로 하는 차량의 센서 융합 장치.The method of claim 1,
The second sensor fusion unit,
The sensor fusion device for a vehicle, characterized in that the object of the final fusion object information is tracked using a preset tracking algorithm. 제 7 항에 있어서,
상기 트래킹은,
타겟 추적 알고리즘에 따라 예측(prediction), 데이터 연관(data association) 및 업데이트(update)를 수행하여 이루어지는 것을 특징으로 하는 차량의 센서 융합 장치.8. The method of claim 7,
The tracking is
A sensor fusion device for a vehicle, characterized in that it is made by performing prediction, data association, and update according to a target tracking algorithm. 제 7 항에 있어서,
상기 제2 센서 융합부는,
트래킹된 상기 오브젝트의 위치, 방향(헤딩각, heading angle), 가속도, 속도, 형상 및 크기 정보의 전부 또는 일부를 출력하는 것을 특징으로 하는 차량의 센서 융합 장치.8. The method of claim 7,
The second sensor fusion unit,
A sensor fusion device for a vehicle, characterized in that it outputs all or part of the tracked object position, direction (heading angle), acceleration, speed, shape and size information. 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 동적 오브젝트 정보로서, 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합과정(primary sensor fusion process); 및
라이다 센서(lidar sensor)를 통해 정적 오브젝트 정보를 포함하는 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합과정(secondary sensor fusion process)을 포함하되,
상기 제2 센서 융합과정은,
상기 보정된 라이다 오브젝트 정보의 정적 오브젝트 정보를 상기 1차 융합 오브젝트 정보에 부가함으로써 상기 갱신을 수행하는 것
을 특징으로 하는 차량의 센서 융합 방법.As dynamic object information obtained through a camera sensor and a radar sensor mounted on a vehicle, respectively, the primary fusion by fusion of camera object information and radar object information a primary sensor fusion process for generating initial fused object information; and
Obtaining lidar object information including static object information through a lidar sensor, correcting the lidar object information using the camera object information, and corrected lidar object information A second sensor fusion process for generating final fused object information by updating the primary fusion object information based on
The second sensor fusion process,
performing the update by adding static object information of the corrected lidar object information to the primary fusion object information
A vehicle sensor fusion method, characterized in that. 제 10 항에 있어서,
상기 제2 센서 융합과정은,
상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보 및 상기 라이다 오브젝트 정보를 동기화하는 것을 특징으로 하는 차량의 센서 융합 방법.11. The method of claim 10,
The second sensor fusion process,
The sensor fusion method of a vehicle, characterized in that for synchronizing the camera object information, the primary fusion object information, and the lidar object information. 제 10 항에 있어서,
상기 제2 센서 융합과정은,
상기 최종 융합 오브젝트 정보의 해당 오브젝트를 기 설정된 트래킹 알고리즘으로 트래킹(tracking)을 수행하는 것을 특징으로 하는 차량의 센서 융합 방법.




11. The method of claim 10,
The second sensor fusion process,
The sensor fusion method of the vehicle, characterized in that the tracking (tracking) of the object of the final fusion object information with a preset tracking algorithm.
KR1020200055283A 2019-02-26 2020-05-08 Method And Apparatus for Sensor Fusion of Vehicle KR102336654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200055283A KR102336654B1 (en) 2019-02-26 2020-05-08 Method And Apparatus for Sensor Fusion of Vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190022270A KR102656945B1 (en) 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof
KR1020200055283A KR102336654B1 (en) 2019-02-26 2020-05-08 Method And Apparatus for Sensor Fusion of Vehicle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022270A Division KR102656945B1 (en) 2019-02-26 2019-02-26 Apparatus for sensor fusion of vehicle and method thereof

Publications (2)

Publication Number Publication Date
KR20200104258A KR20200104258A (en) 2020-09-03
KR102336654B1 true KR102336654B1 (en) 2021-12-06

Family

ID=78936287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055283A KR102336654B1 (en) 2019-02-26 2020-05-08 Method And Apparatus for Sensor Fusion of Vehicle

Country Status (1)

Country Link
KR (1) KR102336654B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529886B (en) * 2022-04-24 2022-08-02 苏州挚途科技有限公司 Method, device and system for determining obstacle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137288A (en) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp Device and method for monitoring surroundings of vehicle
WO2018105136A1 (en) * 2016-12-06 2018-06-14 本田技研工業株式会社 Vehicle surrounding information acquisition device and vehicle
JP2019015606A (en) * 2017-07-06 2019-01-31 本田技研工業株式会社 Information processing method and information processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137288A (en) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp Device and method for monitoring surroundings of vehicle
WO2018105136A1 (en) * 2016-12-06 2018-06-14 本田技研工業株式会社 Vehicle surrounding information acquisition device and vehicle
JP2019015606A (en) * 2017-07-06 2019-01-31 本田技研工業株式会社 Information processing method and information processing device

Also Published As

Publication number Publication date
KR20200104258A (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
US11167758B2 (en) Vehicle position correction method and vehicle position correction device for drive-assisted vehicle
EP3091338B1 (en) Misrecognition determination device
CN108122425B (en) Apparatus and method for recognizing vehicle position
JP6809531B2 (en) Vehicle determination method, travel route correction method, vehicle determination device, and travel route correction device
JPWO2016189649A1 (en) Stop position setting apparatus and method
JPWO2017056247A1 (en) Travel control method and travel control apparatus
US11685402B2 (en) Autonomous driving apparatus and method
WO2016194168A1 (en) Travel control device and method
US11390272B2 (en) Parking assistance device
JP2020001668A (en) Vehicular travel control system
KR102336654B1 (en) Method And Apparatus for Sensor Fusion of Vehicle
US11619495B2 (en) Position estimating apparatus and position estimating method
WO2018123217A1 (en) External-world recognition system
JP2022122118A (en) Travel environment recognition device
JP7056379B2 (en) Vehicle driving control device
KR102656945B1 (en) Apparatus for sensor fusion of vehicle and method thereof
JP5353667B2 (en) Route creation device
KR20240036550A (en) Apparatus for sensor fusion of vehicle and method thereof
KR102644324B1 (en) Autonomous driving apparatus and method
JP2022154840A (en) Detection device, vehicle system, detection method, and program
KR20220111763A (en) Apparatus and method for tracking vehicle based on v2v communication and lidar
JP7000283B2 (en) Vehicle driving control device
JP7120181B2 (en) Object recognition device
KR20240030846A (en) Apparatus for estimating a vehicel by using a lidar sensor and method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant