KR20200104258A - 차량의 센서 융합 장치 및 방법 - Google Patents

차량의 센서 융합 장치 및 방법 Download PDF

Info

Publication number
KR20200104258A
KR20200104258A KR1020200055283A KR20200055283A KR20200104258A KR 20200104258 A KR20200104258 A KR 20200104258A KR 1020200055283 A KR1020200055283 A KR 1020200055283A KR 20200055283 A KR20200055283 A KR 20200055283A KR 20200104258 A KR20200104258 A KR 20200104258A
Authority
KR
South Korea
Prior art keywords
object information
sensor
fusion
lidar
vehicle
Prior art date
Application number
KR1020200055283A
Other languages
English (en)
Other versions
KR102336654B1 (ko
Inventor
이건용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190022270A external-priority patent/KR102656945B1/ko
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200055283A priority Critical patent/KR102336654B1/ko
Publication of KR20200104258A publication Critical patent/KR20200104258A/ko
Application granted granted Critical
Publication of KR102336654B1 publication Critical patent/KR102336654B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3017—Radars

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 차량의 센서 융합 장치 및 방법에 관한 것으로서, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하고, 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 라이다 오브젝트 정보를 카메라 오브젝트 정보를 이용하여 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 것을 특징으로 하는 차량의 센서 융합 장치 및 방법을 제공한다.

Description

차량의 센서 융합 장치 및 방법{Method And Apparatus for Sensor Fusion of Vehicle}
본 발명은 차량의 센서 융합 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량에 장착된 복수의 센서에 의해 획득된 오브젝트 정보를 융합하는 차량의 센서 융합 장치 및 방법에 관한 것이다.
자율주행 차량(autonomous driving vehicle)이란 주행 시 외부정보를 감지하고 처리하여 주변의 환경을 인식하고, 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말한다. 자율주행 차량은 운전자가 조향휠(steering wheel), 가속페달(acceleration pedal) 또는 브레이크(brake) 등을 조작하지 않아도, 주행 경로 상에 존재하는 장애물과의 충돌을 방지하고 도로의 형상에 따라 차속과 주행 방향을 조절하면서 스스로 주행할 수 있다. 예를 들어, 직선 도로에서는 가속을 수행하고, 곡선 도로에서는 도로의 곡률에 대응하여 주행 방향을 변경하면서 감속을 수행할 수 있다.
자율주행 차량에 적용되는 측위 시스템은 GPS(Global Positioning System) 및 레이더(radar), 라이더(lidar), 카메라(camera) 등과 같은 각종 센서를 이용하여 구축한 도로맵 정보를 바탕으로, 주행 중 획득되는 GPS 위치데이터 및 차량에 탑재된 센서를 통해 획득되는 센서 데이터 등을 통해 차량의 현재 위치를 결정한다.
자율주행의 안정성을 확보하기 위해서는 차량의 현재 위치를 정확하게 파악하는 것이 중요하며, 이를 위해 GPS의 위치 정확도를 향상시킬 수 있는 DGPS(Differential GPS), RTK-DGPS(Real Time Kinematic-DGPS) 등을 사용하기도 한다. 또한, 필연적으로 발생하는 GPS 위치 데이터의 오차를 보정하기 위해 미리 구축하여 놓은 도로맵(road map)과 센서 데이터를 비교하는 맵매칭(map matching) 기술이 적용되기도 한다.
이에 따라, 차량의 현재 위치뿐 아니라 차량에 장착된 센서를 이용하여 차량 주위에 존재하는 오브젝트를 정확하게 검출하여 차량의 주행 제어에 활용할 필요가 있다. 더욱이, 자율주행 차량에 적용되는 센싱 시스템이 고도화됨에 따라 사용되는 센서의 수가 증가 중인 추세를 고려하면, 각 센서로부터 획득된 주변 오브젝트 정보를 융합하여 더욱 정확하게 주변 오브젝트를 검출하는 아키텍처(architecture)가 요구된다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0098071호(2017.08.29. 공개)에 개시되어 있다.
본 발명의 일 측면에 따른 목적은 차량의 장착된 복수의 객체 검출 센서, 특히 카메라 센서, 레이더 센서 및 라이다 센서로부터 획득된 오브젝트 정보를 융합하여 오브젝트에 대한 검출 오차를 최소화하는 차량의 센서 융합 장치 및 방법을 제공하는 것이다.
본 실시예의 일 측면에 의하면, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합부(primary sensor fusion unit); 및 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합부(secondary sensor fusion unit)를 포함하는 것을 특징으로 하는 차량의 센서 융합 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합과정(primary sensor fusion process); 및 라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합과정(secondary sensor fusion process)을 포함하는 것을 특징으로 하는 차량의 센서 융합 방법을 제공한다.
본 개시의 일 측면에 따르면, 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트래킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하는 블록구성도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 센서 융합 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치의 세부 구성을 보인 블록구성도이며, 도 3은 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에 적용되는 전방 카메라, 전방 레이더, 코너 레이더 및 전방 라이다의 FOV(Field Of View)를 나타내는 예시도이고, 도 4는 본 발명의 일 실시예에 따른 차량의 센서 융합 장치에서 제2 센서 융합부의 전처리부 및 측정치 융합부의 동작을 설명하는 블록구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 차량의 센서 융합 장치는 제1 센서 융합부(primary sensor fusion unit; 100) 및 제2 센서 융합부(secondary sensor fusion unit; 200)를 포함할 수 있다. 제2 센서 융합부(200)는 전처리부(pre-processing unit; 210), 측정치 융합부(measuring fusion unit; 220), 트래킹부(tracking unit; 230) 및 후처리부(post-processing unit; 240)를 포함할 수 있다.
제1 센서 융합부(100)는 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)로부터 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 미리 정의된 융합 알고리즘(fusion algorithm)을 이용하여 융합(fusion)하여 1차 융합 오브젝트 정보(initial fused object information)를 생성할 수 있다. 여기서, 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변을 움직이는 동적 오브젝트 정보(moving object information)를 의미한다. 예를 들어, 동적 오브젝트는 다른 차량, 자전거 또는 보행자 등이 될 수 있다. 동적 오브젝트 정보는 동적 오브젝트의 위치, 방향(헤딩각; heading angle), 가속도, 속도, 형상 및 크기, 종류 또는 동적 오브젝트의 존재 유무 등이 될 수 있다. 이에 따라, 제1 센서 융합부(100)는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 이용하여 융합함으로써 1차 융합 오브젝트 정보(initial fused object information)를 생성할 수 있으며, 융합 알고리즘에 따른 오브젝트 융합 과정 중 차량 자세 정보 등의 소정의 정보가 필요할 경우에는 C-CAN(Chassis-Controller Area Network) 통신을 통해 전달받을 수도 있다.
제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보 및 차량에 장착된 라이다 센서로부터 획득된 라이다 오브젝트 정보(lidar object information)를 동기화(synchronization)하기 위한 전처리(pre-processing)를 수행한다. 전처리 후, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보(attribute information)을 플래그(flag)로서 부가하여 라이다 오브젝트 정보를 보정한다. 제2 센서 융합부는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 여기서, 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트의 정보(static object information)를 포함할 수 있다. 이러한 정적 오브젝트는 신호등, 이정표 또는 고정 장애물 등이 될 수 있다.
본 실시예에서 카메라 센서에는 전방 카메라 센서(front camera sensor)가 포함될 수 있다. 레이더 센서에는 전방 레이더(front radar) 또는 코너 레이더(corner radar)가 포함될 수 있다. 라이다 센서에는 전방 라이다 센서(front lidar sensor)가 포함될 수 있다. 도 3에는 이러한 각 센서들의 FOV(Field Of View)의 예시를 도시하고 있다. 다만, 각 센서의 FOV는 설계자의 의도와 실험적 결과에 기초하여 다양한 범위로 설계될 수도 있다.
이하에서는 제2 센서 융합부(200)의 기능을 그 하위 구성을 통해 구체적으로 설명한다. 도 2에 도시된 것과 같이 제2 센서 융합부(200)는 전처리부(210), 측정치 융합부(220), 트래킹부(230) 및 후처리부(240)를 포함할 수 있다. 도 4는 전처리부(210) 및 측정치 융합부(220)의 동작을 설명하는 블록구성도로서, 이하의 전처리부(210) 및 측정치 융합부(220)의 동작 설명은 도 4를 참조하기로 한다.
전처리부(210)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리(pre-processing)를 수행할 수 있다. 여기서, 오브젝트 정보의 동기화는 좌표 동기화(coordinate synchronization) 및 시간 동기화(time synchronization)를 의미할 수 있다.
구체적으로, 전처리부(210)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행할 수 있다. 이를 위해 전처리부(210)에는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 좌표로 변화하기 위한 변환 매트릭스(convergence matrix)가 좌표 동기화 전에 정의되어 있을 수 있다. 전처리부(210)는 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행할 수 있다. 나아가, 전처리부(210)는 자차량의 움직임과, 각 오브젝트 정보에 반영된 해당 오브젝트의 움직임을 고려하여 해당 오브젝트에 대한 위치를 보상하는 보정을 수행할 수도 있다.
측정치 융합부(200)는 전처리부(210)에 의해 좌표 동기화 및 시간 동기화가 이루어진 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보(attribute information)를 플래그(flag)로서 부가하여 라이다 오브젝트 정보를 보정할 수 있다. 라이다 오브젝트 정보의 보정이란, 라이다 센서에 의해 획득된 라이다 오브젝트 정보의 동기화가 이루어진 후 해당 오브젝트의 속성 정보가 부가된 상태인 것을 의미한다. 이때, 측정치 융합부(220)는 카메라 오브젝트 정보를 이용하여, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보(flag)를 부가할 수 있다. 이러한 속성 정보는 오브젝트의 종류로서, 승용차, 트럭, 자전거, 보행자 등이 될 수 있다.
측정치 융합부(220)는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성할 수 있다. 구체적으로는, 측정치 융합부(220)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식으로 1차 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보를 생성할 수 있다. 1차 융합 오브젝트 정보는 동적 오브젝트 정보인 카메라 오브젝트 정보 및 레이더 오브젝트 정보의 융합 정보이므로, 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가함으로써, 최종 융합 오브젝트 정보에는 차량 주변의 동적 오브젝트 및 정적 오브젝트 정보가 반영되게 되며, 최종 융합 오브젝트 정보에 대한 해당 오브젝트의 속성 정보도 포함되게 된다.
트래킹부(230)는 최종 융합 오브젝트 정보에 대응하는 오브젝트 각각에 대하여 트래킹 전에 정의된 트래킹 알고리즘을 이용하여 트래킹(tracking)을 수행할 수 있다. 도 2에 도시된 것과 같이 트래킹부(230)는 일반적인 타겟 추적 알고리즘에 따라 예측(prediction), 데이터 연관(data association) 및 업데이트(update) 방식을 통해 해당 오브젝트를 트래킹할 수 있다. 1차 융합 오브젝트 정보 및 라이다 오브젝트 정보는 각각 별도의 트래킹 과정을 통해 획득되는 정보로서, 트래킹부(230)를 통해 추가적인 트래킹을 수행함으로써 해당 오브젝트에 대한 트래킹 오차를 감소시킬 수 있다.
후처리부(240)는 트래킹되는 해당 오브젝트의 위치 정보를 최종적으로 출력할 수 있으며, 해당 오브젝트의 위치 정보, 방향(헤딩각), 가속도, 속도, 형상, 크기 또는 종류에 대한 정보를 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량의 센서 융합 방법을 설명하기 위한 흐름도이다.
제1 센서 융합부(100)는 차량에 장착된 카메라 센서 및 레이더 센서를 통해 각각 획득된 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 미리 정의된 융합 알고리즘을 통해 융합하여 1차 융합 오브젝트 정보를 생성한다(S100). 카메라 오브젝트 정보 및 레이더 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트의 정보를 의미한다.
제2 센서 융합부(200)는 카메라 오브젝트 정보, 1차 융합 오브젝트 정보, 및 차량에 장착된 라이다 센서를 통해 획득된 라이다 오브젝트 정보를 동기화하기 위한 전처리를 수행한다(S200). 라이다 오브젝트 정보는 차량의 주변에 위치한 동적 오브젝트 및 정적 오브젝트의 정보를 포함한다. 제2 센서 융합부(200)는 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화를 수행하고, 좌표 동기화된 카메라 오브젝트 정보 및 1차 융합 오브젝트 정보와 라이다 오브젝트 정보의 시간을 일치시키는 시간 동기화를 수행하여 전처리를 수행한다.
제2 센서 융합부(200)는 S200 단계를 통해 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 속성 정보를 부가하여 라이다 오브젝트 정보를 보정한다(S300). S300 단계에서, 제2 센서 융합부(200)는 카메라 오브젝트 정보를 이용하여, 동기화된 라이다 오브젝트 정보에 해당 오브젝트의 종류에 따른 속성 정보를 부가하는 보정을 한다.
제2 센서 융합부(200)는 보정된 라이다 오브젝트 정보를 기반으로 1차 융합 오브젝트 정보를 갱신한다(S400). 구체적으로, 제2 센서 융합부(200)는 보정된 라이다 오브젝트 정보에 반영되어 있는 정적 오브젝트 정보를 1차 융합 오브젝트 정보에 부가하는 방식을 통해 1차 융합 오브젝트 정보를 갱신한다. 이로써 최종 융합 오브젝트 정보가 생성된다.
제2 센서 융합부(200)는 최종 융합 오브젝트 정보에 대응하는 오브젝트를 트래킹 전 정의된 트래킹 알고리즘을 이용하여 트래킹을 수행한 후, 후처리를 통해 해당 오브젝트의 위치 정보를 출력한다(S500). 제2 센서 융합부(200)는 해당 오브젝트의 위치 정보와 함께 방향(헤딩각), 가속도, 속도, 형상 및 크기, 종류에 대한 정보도 출력할 수 있다.
이와 같이 본 실시예는 카메라 오브젝트 정보 및 레이더 오브젝트 정보를 1차 융합한 후 라이다 오브젝트 정보를 통해 1차 융합 결과를 보정하고 트래킹 후처리를 수행함으로써 차량 주변의 오브젝트에 대한 검출 오차를 최소화시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 제1 센서 융합부
200: 제2 센서 융합부
210: 전처리부
220: 측정치 융합부
230: 트래킹부
240: 후처리부

Claims (12)

  1. 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합부(primary sensor fusion unit); 및
    라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합부(secondary sensor fusion unit)
    를 포함하는 것을 특징으로 하는 차량의 센서 융합 장치.
  2. 제 1 항에 있어서,
    상기 제2 센서 융합부는,
    상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보 및 상기 라이다 오브젝트 정보를 동기화(synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.
  3. 제 2 항에 있어서,
    상기 동기화는,
    상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보의 좌표를 라이다 센서의 좌표계로 변환하여 좌표 동기화(coordinate synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.
  4. 제 3 항에 있어서,
    상기 동기화는,
    좌표 동기화한 상기 카메라 오브젝트 정보 및 상기 1차 융합 오브젝트 정보와 상기 라이다 오브젝트 정보의 시간을 동기화(time synchronization)하는 것을 특징으로 하는 차량의 센서 융합 장치.
  5. 제 4 항에 있어서,
    상기 제2 센서 융합부는,
    좌표 및 시간 동기화한 상기 라이다 오브젝트 정보에 속성 정보(attribute information)를 부가하여 보정하는 것을 특징으로 하는 차량의 센서 융합 장치.
  6. 제 5 항에 있어서,
    상기 제2 센서 융합부는,
    보정된 상기 라이다 오브젝트 정보의 정적 오브젝트 정보(static object information)를 상기 1차 융합 오브젝트 정보에 부가함으로써 최종 융합 오브젝트 정보를 생성하는 것을 특징으로 하는 차량의 센서 융합 장치.
  7. 제 1 항에 있어서,
    상기 제2 센서 융합부는,
    상기 최종 융합 오브젝트 정보의 오브젝트를 기 설정된 트래킹 알고리즘을 이용하여 트래킹(tracking)하는 것을 특징으로 하는 차량의 센서 융합 장치.
  8. 제 7 항에 있어서,
    상기 트래킹은,
    타겟 추적 알고리즘에 따라 예측(prediction), 데이터 연관(data association) 및 업데이트(update)를 수행하여 이루어지는 것을 특징으로 하는 차량의 센서 융합 장치.
  9. 제 7 항에 있어서,
    상기 제2 센서 융합부는,
    트래킹된 상기 오브젝트의 위치, 방향(헤딩각, heading angle), 가속도, 속도, 형상 및 크기 정보의 전부 또는 일부를 출력하는 것을 특징으로 하는 차량의 센서 융합 장치.
  10. 차량에 장착된 카메라 센서(camera sensor) 및 레이더 센서(radar sensor)를 통해 각각 획득된 카메라 오브젝트 정보(camera object information) 및 레이더 오브젝트 정보(radar object information)를 융합하여 1차 융합 오브젝트 정보(initial fused object information)를 생성하는 제1 센서 융합과정(primary sensor fusion process); 및
    라이다 센서(lidar sensor)를 통해 라이다 오브젝트 정보(lidar object information)를 획득하고, 상기 카메라 오브젝트 정보를 이용하여 상기 라이다 오브젝트 정보를 보정하고, 보정된 라이다 오브젝트 정보를 기반으로 상기 제1 융합 오브젝트 정보를 갱신하여 최종 융합 오브젝트 정보(final fused object information)를 생성하는 제2 센서 융합과정(secondary sensor fusion process)
    을 포함하는 것을 특징으로 하는 차량의 센서 융합 방법.
  11. 제 10 항에 있어서,
    상기 제2 센서 융합과정은,
    상기 카메라 오브젝트 정보, 상기 1차 융합 오브젝트 정보 및 상기 라이다 오브젝트 정보를 동기화하는 것을 특징으로 하는 차량의 센서 융합 방법.
  12. 제 10 항에 있어서,
    상기 제2 센서 융합과정은,
    상기 최종 융합 오브젝트 정보의 해당 오브젝트를 기 설정된 트래킹 알고리즘으로 트래킹(tracking)을 수행하는 것을 특징으로 하는 차량의 센서 융합 방법.




KR1020200055283A 2019-02-26 2020-05-08 차량의 센서 융합 장치 및 방법 KR102336654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200055283A KR102336654B1 (ko) 2019-02-26 2020-05-08 차량의 센서 융합 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190022270A KR102656945B1 (ko) 2019-02-26 2019-02-26 차량의 센서 융합 장치 및 방법
KR1020200055283A KR102336654B1 (ko) 2019-02-26 2020-05-08 차량의 센서 융합 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190022270A Division KR102656945B1 (ko) 2019-02-26 2019-02-26 차량의 센서 융합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200104258A true KR20200104258A (ko) 2020-09-03
KR102336654B1 KR102336654B1 (ko) 2021-12-06

Family

ID=78936287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055283A KR102336654B1 (ko) 2019-02-26 2020-05-08 차량의 센서 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102336654B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529886A (zh) * 2022-04-24 2022-05-24 苏州挚途科技有限公司 障碍物的确定方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法
WO2018105136A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
JP2019015606A (ja) * 2017-07-06 2019-01-31 本田技研工業株式会社 情報処理方法及び情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137288A (ja) * 2013-01-17 2014-07-28 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視方法
WO2018105136A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
JP2019015606A (ja) * 2017-07-06 2019-01-31 本田技研工業株式会社 情報処理方法及び情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529886A (zh) * 2022-04-24 2022-05-24 苏州挚途科技有限公司 障碍物的确定方法、装置和系统
CN114529886B (zh) * 2022-04-24 2022-08-02 苏州挚途科技有限公司 障碍物的确定方法、装置和系统

Also Published As

Publication number Publication date
KR102336654B1 (ko) 2021-12-06

Similar Documents

Publication Publication Date Title
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
US9880554B2 (en) Misrecognition determination device
EP3470789A1 (en) Autonomous driving support apparatus and method
EP3431926B1 (en) Road surface shape measuring device, measuring method, and program
JP6809531B2 (ja) 車両判定方法、走行経路補正方法、車両判定装置、及び走行経路補正装置
KR20240036550A (ko) 차량의 센서 융합 장치 및 방법
US20190094883A1 (en) Position determination apparatus and method for vehicle
WO2016194168A1 (ja) 走行制御装置及び方法
KR20190109645A (ko) 차량의 측위 장치 및 그 방법
KR20190030859A (ko) 자율 주행 장치, 방법 및 시스템
KR20210083237A (ko) 차량의 측위 장치 및 방법
KR102336654B1 (ko) 차량의 센서 융합 장치 및 방법
WO2018123217A1 (ja) 外界認識システム
US11187815B2 (en) Method of determining location of vehicle, apparatus for determining location, and system for controlling driving
WO2020230314A1 (ja) 自己位置補正方法及び自己位置補正装置
KR102336070B1 (ko) 차량의 측위 장치 및 방법
JP2018185156A (ja) 物標位置推定方法及び物標位置推定装置
KR20220111763A (ko) V2v 통신 및 라이다 기반의 차량 추적 장치 및 방법
KR20210066777A (ko) 위치정보 보정 시스템 및 방법
JP2022139009A (ja) 運転支援装置、運転支援方法及びプログラム
JP2020003458A (ja) 自車位置検出装置
EP4328619A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof
US20220276054A1 (en) Estimation device, estimation method, program product for estimation
KR20190054352A (ko) 차량 추적 장치 및 그것의 동작 방법
US20240069206A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant