KR20210098875A - 형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법 - Google Patents
형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법 Download PDFInfo
- Publication number
- KR20210098875A KR20210098875A KR1020210015655A KR20210015655A KR20210098875A KR 20210098875 A KR20210098875 A KR 20210098875A KR 1020210015655 A KR1020210015655 A KR 1020210015655A KR 20210015655 A KR20210015655 A KR 20210015655A KR 20210098875 A KR20210098875 A KR 20210098875A
- Authority
- KR
- South Korea
- Prior art keywords
- radar
- lidar
- autonomous driving
- vehicle
- information
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title abstract description 7
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법이 개시된다. 본 개시의 기술적 사상에 따른 융합 추적 장치는, 자차량의 상태와 레이더 및 라이다의 측정값을 입력으로 하며, 주변 차량의 중심 위치, 속도를 출력으로 하는 알고리즘을 수행하고 이를 하나의 트랙으로 관리함으로써 하나의 물체에 대한 효율적인 추정이 가능하며, 다양할 필터들(일 예로서, centralized Kalman filter)를 이용한 정보 융합을 통해 최적성을 보장 할 수 있다.
Description
본 개시의 기술적 사상은 주변 차량 추적 방법에 관한 것으로, 더욱 상세하게는, 형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법에 관한 것이다.
자율 주행에 있어서 레이더(RADAR)와 라이다(LIDAR)가 이용될 수 있고, 레이더의 속도 측정값은 반지름 방향의 상대속도만 측정 가능하기 때문에 정확한 활용을 위해서는 레이더의 측정 위치가 주변 차량의 어느 부분이며 그 주변 차량의 진행 방향까지 알아야 할 필요가 있다. 그러나, 이는 레이더만으로는 측정이 불가능하기 때문에, 기존의 경우에는 모두 반지름 방향과 진행방향이 같아지는 전반 차량에 대해 상대 속도 정보를 활용하여야 하는 필요성이 있었다.
본 개시의 기술적 사상이 해결하려는 과제는, 자율주행 차량의 주변 차량을 추적하는 과정에서 레이더와 라이다의 측정값을 융합함에 기반하여, 라이다 정보를 활용하여 주변 차량의 형상을 알아내고 그 정보를 활용해서 레이더의 속도 측정값을 엄밀하게 반영함으로써 주변 차량의 추정 정확도를 향상시키는 데 있다.
본 개시의 기술적 사상에 따른 융합 추적 장치는, 자차량의 상태와 레이더 및 라이다의 측정값을 입력으로 하며, 주변 차량의 중심 위치, 속도를 출력으로 하는 알고리즘을 수행하고 이를 하나의 트랙으로 관리함으로써 하나의 물체에 대한 효율적인 추정이 가능하며, 다양할 필터들(일 예로서, centralized Kalman filter)를 이용한 정보 융합을 통해 최적성을 보장할 수 있다.
본 개시의 기술적 사상에 따른 융합 추적 장치에 따르면, 라이다 정보를 활용하여 주변 차량의 형상을 알아내고 그 정보를 활용해서 레이더의 속도 측정값을 엄밀하게 반영함으로써 주변 차량의 추정 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 예시적인 실시예에 따른 융합 추적 알고리즘의 일 예를 나타낸다.
도 2는 각 상태 및 측정 모델의 물리적 의미를 나타내는 도면이다.
도 3은 도로에서의 추적 결과의 일 예를 나타내는 도면이다.
도 4는 본 발명의 예시적인 실시예에 따른 융합 추적 모듈이 자동차에 채용되는 자율 주행 모듈 내에 구현되는 예를 나타내는 블록도이다.
도 2는 각 상태 및 측정 모델의 물리적 의미를 나타내는 도면이다.
도 3은 도로에서의 추적 결과의 일 예를 나타내는 도면이다.
도 4는 본 발명의 예시적인 실시예에 따른 융합 추적 모듈이 자동차에 채용되는 자율 주행 모듈 내에 구현되는 예를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
최근 딥러닝과 관련하여 자율 주행 시스템이 주목을 받고 있다. 해당 기술은 카메라 장치에서 전달 받은 이미지를 분석하고 이에 대해 상황을 인식하여 차량 주행을 제어하는 것을 목적으로 하고 있다. 본 발명에서는 라이다(LIDAR) 정보를 활용한 형상 추출을 통해 레이더(RADAR)의 측정 위치와 주변 차량의 진행 방향을 추정하고, 이 값을 활용하여 레이더의 속도 정보를 융합하기 위한 엄밀한 식을 유도하고 이를 통해서 정보를 융합하는 방안이 개시된다.
도 1은 본 발명의 예시적인 실시예에 따른 융합 추적 알고리즘의 일 예를 나타낸다. 본 발명의 장치는 반도체 칩, 반도체 장치 및 반도체 패키지를 포함하는 다양한 종류의 장치들을 포함할 수 있고, 일 예로서 본 발명의 장치는 자율 주행과 관련하여 ADAS(Advanced Driver Assistance System) 시스템 온 칩(SOC)을 포함할 수 있다. 또한, 상기한 본 발명의 장치를 지칭함에 있어서 융합 추적 장치 또는 주변 차량 추적 장치로 지칭될 수 있을 것이다.
도 1을 참조하면, 본 발명의 장치에 적용되는 융합 추적 알고리즘의 일 예를 나타내고, 상기한 융합 추적 알고리즘은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 결합에 의해 수행될 수 있다. 일 예로서, 본 발명의 융합 추적 장치(예컨대, ADAS SOC)는 상기한 융합 추적 알고리즘을 수행하는 융합 추적 모듈(또는, 주변 차량 추적 모듈)을 포함할 수 있고, 소프트웨어적으로 실행되는 기능의 경우 프로그램들을 저장하는 메모리와, 메모리에 저장된 프로그램들을 실행하기 위한 프로세서가 본 발명의 융합 추적 장치에 포함될 수 있을 것이다.
도 1의 융합 추적 알고리즘을 참조하면, 자차량의 상태와 레이더 및 라이다의 측정값을 입력으로 하며, 주변 차량의 중심 위치, 속도를 출력으로 한다. 또한, 도 1의 융합 추적 알고리즘에서는, 레이더와 라이다를 독립적으로 추정한 후 트랙-투-트랙 퓨전(track to track fusion)을 하는 것이 아니라, 하나의 트랙으로 관리 하기 때문에 하나의 물체에 대한 효율적인 추정이 가능하며, 다양할 필터들(일 예로서, centralized Kalman filter)를 이용한 정보 융합을 통해 최적성을 보장 할 수 있다.
일 예로, 융합 추적 장치는 입력을 기초로 자차량(호스트 차량) 필터링 기능과, 형상 추출 동작을 수행하고, 또한 각 트랙에서 측정의 유효성과 보상 함수를 업데이트하는 트랙 관리 동작을 수행할 수 있다. 상기 입력은 레이더 및 라이다의 측정 값을 포함할 수 있고, 일 예로서, 라이다의 입력은 형상 추출 동작에 이용되고, 레이더 및 라이다의 입력은 트랙 관리 동작에 이용될 수 있다. 또한, 융합 추적 장치는 호스트 차량 필터링 결과와 트랙 관리 동작의 결과를 기초로 타겟 상태 필터링 동작을 수행할 수 있다. 타겟 상태 필터링 동작에서는 라이다 및 레이더의 측정 값이 존재하는 지 여부가 판단될 수 있고, 라이다 및 레이더의 측정 값이 존재하는 경우에는 라이다/레이더 측정 결과를 기초로 업데이트된 값을 출력으로써 제공할 수 있다. 트랙 관리 동작 및/또는 타겟 상태 필터링 동작은 도 2에 도시된 수학식들을 포함하는 알고리즘을 기초로 수행될 수 있고, 본 개시의 알고리즘은 도 2의 수학식들을 포함할 수 있으나 이에 국한될 필요는 없다. 또한, 타겟 상태 필터링 동작의 결과는 트랙 관리 동작에 이용될 수 있다.
도 2는 각 상태 및 측정 모델의 물리적 의미를 나타내는 도면이다.
도 2의 도면 및 수식을 참조하면, 레이더의 속도 측정 값은 반지름 방향의 상대 속도를 의미하며 이는 해당 차량의 속도로 직접 변환 될 수 없다. 따라서 라이다를 이용한 형상 추출 결과를 통해 레이더의 속도 측정값과 주변 차량의 속도와의 관계를 유도하고, 그 관계를 통해서 레이더의 반지름 방향과 차량의 진행 방향의 차이가 큰 경우에도(일 예로, 자차량을 추월하는 차량, 차선 변경 차량 등) 레이더 속도 측정값을 유효하게 활용할 수 있다. 예컨대, 도 2에 도시된 레이더의 측정값에 관련된 각종 정보들(예컨대, h 함수 등)과, 라이더의 측정값에 관련된 각종 정보들(예컨대, 타차량의 방향 θ등)을 기초로 도 2에 도시된 알고리즘이 본 개시의 실시예에 적용될 수 있으며, 본 개시의 실시예는 도 2의 알고리즘을 기초로 하는 동작을 포함할 수 있다.
도 3은 도로에서의 추적 결과의 일 예를 나타내는 도면이다. 도 3에서 (a)는 실제 도로의 환경을 나타내고 1, 2, 3 등은 주변 차를 나타내며, (b)에서 빨간 차(1, 2, 3, 4 등에 도시된 차)는 형상 추출 결과를 나타내고 검정 라인은 가상 광선을 나타내며, (c)에서 녹색 자동차는 호스트 차량을 나타내고 빨간 점과 검정 원은 각각 라이다 포인트 클라우드와 레이다 측정을 나타낸다.
도 3에서는 본 발명의 실시예에 따라 고속도로 환경에서 레이더 및 라이다 퓨전을 통한 차량 추적의 결과를 나타낼 수 있으며, (a)는 당시 상황을 설명하기 위한 전방 카메라의 영상에 해당하고, (b)에 도시된 바와 같이 라이다를 이용한 형상 추출의 결과가 생성될 수 있다. 본 발명의 예시적인 실시예에 따라, 레이더 및 라이다 퓨전을 통해서 라이다의 측정이 희소(sparse)해지는 (2)번과 (3)번 경우에 대해서도 모두 적절한 추정이 이뤄지는 것을 알 수 있다
도 4는 본 발명의 예시적인 실시예에 따른 융합 추적 모듈이 자동차에 채용되는 자율 주행 모듈 내에 구현되는 예를 나타내는 블록도이다. 도 4에 도시된 시스템은 자율 주행 시스템에 해당할 수 있으며, 자율 주행 시스템은 센서 정보 수집부, 네비게이션 정보 수집부, 자율 주행 모듈 및 중앙 처리 장치를 포함할 수 있다. 또한, 자율 주행 모듈은 뉴럴 네트워크 장치 및 융합 추적 모듈을 포함할 수 있다.
뉴럴 네트워크 장치는 각종 영상 정보 및 음성 정보를 이용한 뉴럴 네트워크 동작을 수행하고, 수행 결과를 기초로 영상 인식 결과 및 음성 인식 결과 등의 정보 신호를 생성할 수 있다. 일 예로서, 센서 정보 수집부는 카메라나 마이크 등의 각종 영상 정보 및 음성 정보를 수집할 수 있는 장치들을 포함할 수 있고, 또한 전술한 실시예들에서 설명된 각종 장치로서 레이더 및 라이다를 포함할 수 있다. 센서 정보 수집부로부터의 각종 수집 결과는 자율 주행 모듈로 제공할 수 있다. 또한, 네비게이션 정보 수집부는 자동차 운행과 관련된 각종 정보(예컨대, 위치 정보 등)를 자율 주행 모듈로 제공할 수 있다. 뉴럴 네트워크 장치는 센서 정보 수집부 및/또는 네비게이션 정보 수집부로부터의 정보를 입력으로 하여, 다양한 종류의 뉴럴 네트워크 모델을 실행함으로써 상기 정보 신호를 생성할 수 있다.
한편, 융합 추적 모듈은 전술한 실시예들에 따른 융합 추적 알고리즘을 수행할 수 있으며, 일 예로서 중앙 처리 장치의 제어에 기반하여 융합 추적 알고리즘을 수행할 수 있다. 예컨대, 융합 추적 모듈은 레이더 및 라이다 측정값을 기반으로 다양한 종류의 필터링 동작을 수행할 수 있으며, 일 예로서 전술한 실시예에서와 같이 centralized Kalman filter 를 이용할 수도 있으나, 이외에도 다른 다양한 종류의 필터가 이용될 수도 있다.
상기와 같은 본 발명의 예시적인 실시예에 따르면, 레이더 속도 정보의 엄밀한 활용을 위해 라이다 및 레이더 정보를 융합하는 방법이 개시되고, 레이더와 라이다를 활용한 주변 차량 추적 모듈에 본 발명의 실시예들이 적용될 수 있다. 또한, 레이더 및 라이다 등의 센서 측정값을 직접 활용하여 퓨전할 수 있으며, 추월 차량에 대해서 레이더의 속도 정보를 유효하게 활용할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
Claims (2)
- 자율 주행 시스템에 있어서,
레이더 및 라이다를 포함하는 센서 정보 수집부; 및
자율 주행 동작과 관련된 각종 제어 동작을 수행하는 자율 주행 모듈을 구비하고,
상기 자율 주행 모듈은,
영상 정보 및 음성 정보를 이용한 뉴럴 네트워크 동작을 수행하고, 수행 결과를 기초로 영상 인식 결과 및 음성 인식 결과 등의 정보 신호를 생성하는 뉴럴 네트워크 장치; 및
상기 레이더 및 라이다의 측정값을 수신하고, 상기 라이다의 측정값을 이용하여 형상 추출을 통해 상기 레이더의 측정 위치와 주변 차량의 진행 방향을 추정하고, 상기 추정 결과와 상기 레이더의 측정값을 이용한 알고리즘에 기초하여 상기 주변 차량의 속도를 판단하는 융합 추적 모듈을 구비하는 자율 주행 모듈을 포함하는 것을 특징으로 하는 주행 시스템. - 제1항에 있어서,
자차량의 자동차 운행과 관련된 위치 정보를 생성하여 상기 자율 주행 모듈로 제공하는 네비게이션 정보 수집부를 더 구비하는 것을 특징으로 하는 주행 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200012823 | 2020-02-03 | ||
| KR1020200012823 | 2020-02-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210098875A true KR20210098875A (ko) | 2021-08-11 |
Family
ID=77314133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210015655A KR20210098875A (ko) | 2020-02-03 | 2021-02-03 | 형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210098875A (ko) |
-
2021
- 2021-02-03 KR KR1020210015655A patent/KR20210098875A/ko active Search and Examination
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| US12017663B2 (en) | Sensor aggregation framework for autonomous driving vehicles | |
| US10488205B2 (en) | Method and system for updating maps based on control feedbacks of autonomous driving vehicles | |
| US10642278B2 (en) | Autonomous driving device | |
| CN108688660B (zh) | 运行范围确定装置 | |
| US11747814B2 (en) | Autonomous driving device | |
| US10860868B2 (en) | Lane post-processing in an autonomous driving vehicle | |
| CN110654381B (zh) | 用于控制车辆的方法和装置 | |
| CN110696826B (zh) | 用于控制车辆的方法和装置 | |
| US10839678B2 (en) | Vehicle identifying device | |
| CN110654380A (zh) | 用于控制车辆的方法和装置 | |
| CN112558036A (zh) | 用于输出信息的方法和装置 | |
| KR20210098875A (ko) | 형상 모델 기반의 라이다/레이더 정보 융합을 통한 주변 차량 추적 방법 | |
| WO2022091595A1 (ja) | 物体追跡装置及び物体追跡方法 | |
| US11312380B2 (en) | Corner negotiation method for autonomous driving vehicles without map and localization | |
| CN113327456A (zh) | 一种车道结构检测方法及装置 | |
| JP7126629B1 (ja) | 情報統合装置、情報統合方法、及び情報統合プログラム | |
| JP6861911B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP2022024740A (ja) | 車両用位置推定装置及び車両用位置推定方法 | |
| WO2020073270A1 (en) | Snapshot image of traffic scenario | |
| WO2020073271A1 (en) | Snapshot image of traffic scenario | |
| WO2020073272A1 (en) | Snapshot image to train an event detector | |
| AU2023224143A1 (en) | Method and apparatus for modeling object, storage medium, and vehicle control method | |
| EP3864579A1 (en) | Snapshot image to train roadmodel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |