KR20230101560A - 차량용 라이다 시스템 및 그 객체 검출 방법 - Google Patents

차량용 라이다 시스템 및 그 객체 검출 방법 Download PDF

Info

Publication number
KR20230101560A
KR20230101560A KR1020210191763A KR20210191763A KR20230101560A KR 20230101560 A KR20230101560 A KR 20230101560A KR 1020210191763 A KR1020210191763 A KR 1020210191763A KR 20210191763 A KR20210191763 A KR 20210191763A KR 20230101560 A KR20230101560 A KR 20230101560A
Authority
KR
South Korea
Prior art keywords
lidar
data
previous
current
vector value
Prior art date
Application number
KR1020210191763A
Other languages
English (en)
Inventor
양윤석
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210191763A priority Critical patent/KR20230101560A/ko
Priority to US18/071,272 priority patent/US20230204776A1/en
Publication of KR20230101560A publication Critical patent/KR20230101560A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/005—Sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

실시 예에 의한 차량용 라이다 시스템의 객체 검출 방법은, 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 단계; 및 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 단계;를 포함한다.

Description

차량용 라이다 시스템 및 그 객체 검출 방법{VEHICLE LIDAR SYSTEM AND OBJECT DETECTING METHOD THEREOF}
실시 예는 차량용 라이다 시스템 및 그 객체 검출 방법에 관한 것이다.
라이다(Light Detecting And Ranging, LIADAR)는 3차원 GIS(geographic information system) 정보구축을 위한 지형 데이터를 구축하고, 이를 가시화하는 형태로 발전되었다. 라이다 시스템은 라이다 센서를 이용하여 타겟 차량 등의 주변 객체에 대한 정보를 획득하고, 획득된 정보를 이용하여 센서를 장착한 차량(이하, ‘자차’라 함)의 자율 주행 기능을 보조할 수 있다.
라이다 센서를 이용하여 인식한 객체에 대한 정보가 부정확할 경우 자율 주행에 대한 신뢰도가 저하될 수 있고, 운전자의 안전을 위협할 수 있으므로 객체 검출의 정확도를 높이기 위한 연구가 계속되고 있다.
실시 예는 객체의 헤딩 정보를 정확하게 구할 수 있는 차량용 라이다 시스템 및 그 객체 검출 방법을 제공한다.
실시 예에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시 예에 의한 차량용 라이다 시스템의 객체 검출 방법은, 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 단계; 및 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 단계;를 포함할 수 있다.
예를 들어, 상기 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 단계는, 상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하는 단계; 상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링하는 단계; 및 상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계;를 포함할 수 있다.
예를 들어, 상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하는 단계는, 상기 추적 객체의 3차원 좌표계의 쉐이프 박스의 정보를 획득하는 단계; 및 상기 3차원 좌표계의 쉐이프 박스와 관련된 3차원 좌표계의 컨투어 정보를 획득하는 단계;를 포함할 수 있다.
예를 들어, 상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링하는 단계는, 상기 이전 시점과 현재 시점의 상기 3차원 좌표계의 컨투어 정보를 각각 2차원 좌표계의 컨투어 정보로 변환하는 단계; 및 상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링하는 단계;를 포함할 수 있다.
예를 들어, 상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링하는 단계는, 상기 컨투어 정보에 대해 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링하는 단계를 포함할 수 있다.
예를 들어, 상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계는, 상기 현재 시점의 외곽 라인의 데이터를 기준 데이터로 고정하는 단계; 및 상기 이전 시점의 외곽 라인의 데이터가 상기 현재 시점의 외곽 라인의 데이터에 최소의 오차를 가지고 피팅될 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계;를 포함할 수 있다.
예를 들어, 상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계는, 상기 현재 시점의 외곽 라인의 데이터와 상기 이전 시점의 외곽 라인의 데이터를 ICP(Iterative Closest Point) 필터의 입력으로 대입하는 단계; 및 상기 ICP 필터의 출력을 상기 대표 벡터값으로 적용하는 단계;를 포함할 수 있다.
예를 들어, 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 단계는, 상기 대표 벡터값과 동일한 방향으로 상기 헤딩 정보를 설정하는 단계를 포함할 수 있다.
다른 실시예에 의하면, 차량용 라이다 시스템의 객체 검출 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 기능; 및 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 기능을 구현하는 프로그램을 기록할 수 있으며, 컴퓨터로 읽을 수 있다.
또 다른 실시예에 의한 차량용 라이다 시스템은, 라이다 센서; 및 상기 라이다 센서를 통해 획득된 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하고, 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 라이다 신호 처리장치;를 포함할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하고, 상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링한 후, 상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 추적 객체의 3차원 좌표계의 쉐이프 박스의 정보를 획득하고, 상기 3차원 좌표계의 쉐이프 박스와 관련된 3차원 좌표계의 컨투어 정보를 획득할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 이전 시점과 현재 시점의 상기 3차원 좌표계의 컨투어 정보를 각각 2차원 좌표계의 컨투어 정보로 변환하고, 상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 컨투어 정보에 대해 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 현재 시점의 외곽 라인의 데이터를 기준 데이터로 고정하고, 상기 이전 시점의 외곽 라인의 데이터가 상기 현재 시점의 외곽 라인의 데이터에 최소의 오차를 가지고 피팅될 수 있는 벡터값을 상기 대표 벡터값으로 산출할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 현재 시점의 외곽 라인의 데이터와 상기 이전 시점의 외곽 라인의 데이터를 입력 받아 상기 대표 벡터값을 출력하는 ICP(Iterative Closest Point) 필터를 포함할 수 있다.
예를 들어, 상기 라이다 신호 처리장치는, 상기 대표 벡터값과 동일한 방향으로 상기 헤딩 정보를 설정할 수 있다.
실시 예에 따른 차량용 라이다 시스템 및 그 객체 검출 방법은 객체의 현재 시점 및 이전 시점의 라이다 포인트를 이용하여 이동 벡터를 생성하고, 생성된 이동 벡터들로부터 객체의 헤딩 정보를 추출함으로써, 형상 가변이 크게 발생하는 객체에 대해서도 정확한 헤딩 정보를 획득할 수 있다.
또한, 본 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과는 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 실시 예에 따른 차량용 라이다 시스템의 블록도이다.
도 2는 실시 예에 따른 차량용 라이다 시스템의 객체 추적 방법의 흐름도이다.
도 3은 도 1의 라이다 신호처리장치에서 검출되는 박스를 설명하기 위한 도면이다.
도 4 및 도 5는 비교예에 따른 헤딩 정보 추출방법을 설명하기 위한 도면이다.
도 6은 실시예에 따른 헤딩 정보 추출방법의 개략적인 흐름도이다.
도 7 내지 도 8은 도 6의 헤딩 정보 추출 방법을 설명하기 위한 도면이다.
도 9는 실시예에 따른 헤딩 정보 추출방법의 상세 흐름도이다.
도 10 내지 도 14는 도 9의 헤딩 정보 추출방법을 설명하기 위한 도면이다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
본 실시 예의 설명에 있어서, 각 구성요소(element)의 "상(위) 또는 하(아래)(on or under)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 구성요소(element)가 서로 직접(directly)접촉되거나 하나 이상의 다른 구성요소(element)가 상기 두 구성요소(element) 사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다.
또한 "상(위)" 또는 "하(아래)(on or under)"로 표현되는 경우 하나의 구성요소(element)를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서 이용될 수도 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 실시 예에 따르면, 라이다(LiDAR: Light Detection and Ranging) 센서를 이용한 객체 검출 시, 객체의 현재 시점 및 이전 시점의 라이다 포인트 데이터들 이용하여 이동 벡터를 생성하고, 생성된 이동 벡터에 기초하여 객체의 헤딩 정보를 추출한다. 이에, 형상 가변이 크게 발생하는 객체에 대해서도 정확한 헤딩 정보를 획득할 수 있다.
이하, 실시 예에 의한 차량용 라이다 시스템 및 그 객체 검출 방법에 대해서 도면을 참조하면서 설명한다.
도 1은 실시 예에 의한 차량용 라이다 시스템의 블록도이다.
도 1을 참조하면, 차량용 라이다 시스템은 라이다 센서(100)와, 라이다 센서(100)로부터 획득된 데이터를 처리하여 객체 추적 정보를 출력하는 라이다 신호처리장치(200)와, 객체 추적 정보에 따라 차량의 각종 기능을 제어하는 차량 장치(300)를 포함할 수 있다.
라이다 센서(100)는 레이저 펄스를 객체로 조사한 후, 측정 범위 내에 있는 객체에서 반사된 레이저 펄스가 되돌아온 시간을 측정하여, 라이다 센서(100)로부터 객체까지의 거리, 객체의 방향, 속도, 온도, 물질 분포 및 농도 특성 등과 같이 객체에 대한 정보를 센싱할 수 있다. 여기서, 객체란, 라이다 센서(100)가 장착된 차량의 외부에 존재하는 다른 차량, 사람, 사물 등일 수 있으나, 실시 예는 객체의 특정한 종류에 국한되지 않는다. 라이다 센서(100)는 단일 객체에 대해 복수 포인트(point로 구성된 라이다 포인트 데이터를 출력할 수 있다.
라이다 신호처리장치(200)는 라이다 포인트 데이터를 수신하여 객체를 인식하고, 인식된 객체를 추적할 수 있으며 객체의 종류를 분류할 수도 있다. 이러한 라이다 신호처리장치(200)는 전처리 및 군집화(clustering)부(210), 객체 검출부(220), 객체 추적부(230) 및 객체 분류부(240)를 포함할 수 있다.
전처리 및 군집화부(210)는 라이다 센서(100)로부터 수신된 라이다 포인트 데이터를 처리 가능한 형태로 전처리한 후 군집화(grouping)할 수 있다. 전처리 및 군집화부(210)는 지면 포인트들을 제거하여 라이다 포인트 데이터를 전처리할 수 있다. 또한, 라이다 센서(100)가 장착된 위치 각도에 따라 기준 좌표계에 맞게 라이다 포인트 데이터를 변환하고, 라이다 포인트 데이터의 세기(intensity) 또는 컨피던스(confidence) 정보를 통해 세기 또는 반사율이 낮은 포인트는 필터링을 통해 제거하여 전처리할 수 있다. 또한, 라이다 센서(100)의 장착 위치와 시야각에 따라 자차량의 차체에 의해 가려지는 영역이 존재하므로, 전처리부(120)는 기준 좌표계를 이용하여 자차량의 차체에 반사되는 데이터를 제거할 수 있다. 라이다 포인트 데이터의 전처리 과정은 유효 데이터를 정제하기 위한 것이므로 일부 또는 전체 처리 과정이 생략되거나 다른 처리 과정이 추가될 수 있다. 전처리 및 군집화부(210)는 전처리된 라이다 포인트 데이터를 미리 정한 규칙에 따라 의미 있는 단위로 군집화할 수 있다. 라이다 포인트 데이터는 위치 정보 등의 정보를 포함하므로, 전처리 및 군집화부(210)는 복수의 점을 의미 있는 형상 단위로 군집화하여 객체 검출부(220)로 출력할 수 있다.
객체 검출부(220)는 군집화된 포인트들로 컨투어를 생성하고, 생성된 컨투어를 기반으로 객체의 형상(shape)판단할 수 있다. 객체 검출부(220)는 판단된 객체의 형상에 기초하여 객체의 형상에 맞는 쉐이프 박스를 생성할 수 있다. 객체 검출부(220)는 현 시점(t)에서 단위 타겟 객체에 대해 쉐이프 박스를 생성하여 객체 추적부(230)로 제공할 수 있다.
객체 추적부(230)는 객체 검출부(220)에서 생성된 쉐이프 박스를 기반으로 객체 추적을 위한 추적 박스(track box)를 생성하고, 추적 중인 객체와 연계(association)된 추적 박스(track box)를 선정하여 객체를 추적한다. 객체 추적부(230)는 복수의 라이다 센서(500) 각각에서 획득된 라이다 포인트 데이터를 신호 처리하여 추적 박스(track box)의 헤딩(heading) 등의 속성 정보를 구할 수 있다. 객체 추적부(640)는 매 주기마다 이러한 속성 정보를 구하는 신호 처리를 수행할 수 있다. 이하, 속성 정보를 구하는 주기를 ‘스텝’(step)이라 한다. 각 스텝에서 인식된 정보들은 히스토리(history) 정보로 보존될 수 있으며, 일반적으로 최대 5 스텝의 정보를 히스토리 정보로 보존한다.
객체 분류부(240)는 검출된 트랙들을 속성 정보에 따라, 보행자, 가드레일, 가드레일, 자동차 등 객체를 분류하여 차량 장치(300)로 출력한다.
차량 장치(300)는 라이다 신호처리장치(200)로부터 라이다 트랙을 제공받아 주행 기능을 제어하는 데에 적용할 수 있다.
도 2는 실시 예에 의한 라이다 센서를 이용한 객체 추적 방법의 흐름도이다.
라이다 신호처리장치(200)는 라이다 센서(100)로부터 수신된 라이다 포인트 데이터를 처리 가능한 형태로 전처리한 후 군집화한다(S10). 전처리 및 군집화부(210)는 라이다 포인트 데이터에서 지면 데이터를 제거하는 전처리 과정을 수행할 수 있으며, 전처리된 라이다 포인트 데이터를 의미 있는 형상 단위, 즉, 동일 객체라고 생각되는 부분의 포인트 단위로 군집화할 수 있다.
군집화된 포인트에 기초하여 객체를 검출한다(S20). 객체 검출부(220)는 군집화된 포인트들로 컨투어를 생성하고 생성된 컨투어를 기반으로 객체 형상에 따른 쉐이프 박스를 생성하여 출력할 수 있다.
검출된 박스에 기초하여 객체를 추적한다(S30). 객체 추적부(230)는 쉐이프 박스를 기반으로 객체와 연계된 추적 박스를 생성하여 객체를 추적한다.
객체 추적 결과인 트랙들을 보행자, 가드레일, 자동차 등의 구체적인 객체로 분류하여(S40), 주행 기능을 제어하는 데에 적용할 수 있다.
이상의 라이다 센서를 이용한 객체 추적 방법에 있어서, 실시예에 따른 객체 추적부(230)는 객체의 현재 시점 및 이전 시점의 라이다 포인트 데이터를 이용하여 이동 벡터를 생성하고, 생성된 이동 벡터들로부터 객체의 헤딩 정보를 추출할 수 있다.
도 3은 라이다 신호처리장치(200)에서 검출되는 박스를 설명하기 위한 도면이다.
도 3을 참조하면, 객체 검출부(220)는 포인트(P) 클라우드에 대해 미리 정한 규칙에 따라 컨투어(C)를 생성할 수 있다. 컨투어(C)는 객체를 구성하는 포인트(P)의 형상이 어떠한 모양인지를 나타내는 형상(shape) 정보를 제공할 수 있다.
이 후, 객체 검출부(220)는 군집화된 포인트(P)들로 생성된 컨투어(C)의 형상(shape) 정보를 기반으로 쉐이프 박스(SB)를 생성할 수 있다. 생성된 쉐이프 박스(SB)는 하나의 객체로 판단된 수 있다. 쉐이프 박스(SB)는 군집화된 포인트(P)들에 피팅하여 생성된 박스로서, 쉐이프 박스(SB)의 네 변은 실재 해당 객체의 최외곽과 일치하지 않을 수 있다. 객체 추적부(230)는 쉐이프 박스(SB) 중 현재 추적 중인 타겟 객체의 추적을 유지하기 위해 사용될 박스를 선정하여 추적 박스(TB)를 생성한다. 객체 추적부(230)는 객체 추적을 위해 쉐이프 박스(SB)의 후면의 중심을 추적 포인트(TP)로 설정할 수 있다. 추적 포인트(TP)를 쉐이프 박스(SB)의 후면의 중심으로 설정하는 경우, 라이다 센서(100)가 장착되는 위치를 기준으로 후면 중심의 라이다 포인트 데이터의 밀집도가 높으므로 객체를 안정적으로 추적하는 데 유리할 수 있다. 객체 추적부(230)는 쉐이프 박스(SB)의 추적 결과 헤딩 정보(HD)를 추출할 수 있다.
도 4 및 도 5는 비교예에 따른 헤딩 정보 추출방법을 설명하기 위한 도면이다. 비교예에 따르면, 객체의 헤딩 정보는 객체의 형상을 기반으로 검출될 수 있다.
도 4는 제1 비교예에 따라 현재 스텝(T-0 step)의 헤딩정보를 히스토리 정보에 업데이트하는 방법을 설명하기 위한 도면이다. 일반적으로 히스토리 정보는 최대 5 스텝의 정보를 포함한다. 즉, 현재 스텝인 T-0 step의 정보부터 이전 T-4 step까지의 정보가 누적되어, T-4 step 의 쉐이프 박스 SB-4의 형상과 위치, 그 다음 스텝인 T-3 step 의 쉐이프 박스 SB-3의 형상과 위치 등의 정보가 현재 스텝인 T-0 step까지 누적되어 저장될 수 있다.
현재 스텝인 T-0 step의 헤딩 정보(HD)는, T-4 step의 쉐이프 박스 SB-4 부터 T-0 step 의 쉐이프 박스 SB-0 까지 발생한 쉐이프 박스의 이동 변위(d)에 기초하여 검출될 수 있다. 쉐이프 박스(SB)의 이동 변위(d)는 각 스텝에서의 쉐이프 박스의 형상을 기준으로 검출된다.
최종적으로 현재 스텝인 T-0 step에는 T-0 step의 쉐이프 박스(SB) 및 추적 박스(TB)와, 쉐이프 박스(SB)의 이동 변위(d)에 기초하여 생성된 헤딩 정보(HD)와 추적 박스(TB)의 진행방향의 후면의 중심이 추적 포인트(TP)가 저장될 수 있다. 여기서, 추적 박스(TB)는 객체의 분류에 따라 헤딩 방향을 기준으로 크기가 조정될 수 있다.
이상의 제1 비교예와 같이, 히스토리 정보에 저장된 이전 스텝에서의 쉐이프 박스의 형상과 위치 정보를 이용하여 쉐이프 박스의 이동 변위(d)를 검출함으로써 현재 스텝의 추적 박스의 헤딩 정보를 추출할 수 있다.
도 5는 제2 비교예에 따라 현재 스텝(T-0 step)의 헤딩정보를 히스토리 정보에 업데이트하는 방법을 설명하기 위한 도면으로서, 각 스텝에서 생성된 쉐이프 박스의 크기가 변화하는 경우를 예시하고 있다.
라이다 포인트 데이터는 라이다 센서와 객체와의 위치, 거리, 속도, 등의 다양한 요인에 영향을 받을 수 있다. 또한, 라이다 포인트 데이터에 대한 전처리 및 객체 검출 프로세스의 특성으로 인해, 동일한 객체를 인식하는 경우에도 그 인식 결과에 차이가 발생할 수 있다. 이에, 각 스텝에서 인식된 객체의 형상, 즉 쉐이프 박스의 크기가 상이할 수 있다. 제2 비교예는 객체의 각 스텝에서 인식된 쉐이프 박스의 크기가 상이할 경우 헤딩정보의 추출 결과를 예시하고 있다.
도 5를 참조하면, 실제 + 방향으로 진행하는 타겟에 대해, 이전 스텝(T-1 step)에서 인식된 쉐이프 박스(SB-1) 보다, 현재 스텝(T-0 step)에서 인식된 쉐이프 박스(SB-0)의 크기가 더 작게 인식될 수 있다. 이와 같이, 쉐이프 박스의 크기가 상이하게 인식된 상태에서 현재 스텝(T-0 step) 및 이전 스텝(T-1 step) 간의 이동 변위를 검출하면, 박스 변 중 기준선에 가까운 박스변은 + 방향으로 이동한 것으로 검출되고, 기준선과 먼 박스변은 - 방향으로 이동한 것으로 검출된다. 두 변위 중 - 방향 변위가 더 크기 때문에, 결과적으로 현재 스텝(T-0 step)의 헤딩 정보(HD)는 - 방향으로 결정된다.
이상 비교예와 같이 쉐이프 박스의 형상에 기초하여 헤딩 정보를 생성하는 경우, 객체의 실제 진행 방향과는 반대 방향으로 헤딩 정보가 오검출 되는 현상이 발생할 수 있다. 객체가 저속 이동하는 물체이거나 보행자인 경우 쉐이프 박스의 각도 변화가 심하게 발생할 수 있다. 이와 같이 형상의 변화가 심한 객체에 대해 쉐이프 박스를 기준으로 헤딩 정보를 추출하는 경우, 제2 비교예와 같이 헤딩 정보가 오검출되는 현상을 확인할 수 있다. 이러한 오검출 현상을 방지하기 위해, 실시예에서는 객체의 형상이 아닌, 객체의 라이다 포인트 데이터를 이용하여 헤딩 정보를 생성한다.
도 6 내지 도 8은 실시예에 따른 헤딩 정보 추출방법을 설명하기 위한 도면으로서, 도 6은 실시예에 따라 헤딩 정보를 추출하기 위한 데이터 처리 방법의 흐름도이고, 도 7은 도 6의 데이터 처리 단계 별 라이다 포인트 데이터의 상태를 도시한 것이고, 도 8은 도 6의 S200 단계 및 S300단계의 라이다 포인트 데이터 처리 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 실시예에 따라 헤딩 정보를 추출하기 위해 먼저 추적 객체의 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 수집한다(S100). 도 7의 (a)는 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 도시한 도면이다. 도 7 (a)를 참조하면, 라이다 포인트 데이터의 정보는 3차원(3D)의 X, Y, Z 좌표계의 정보로 수집될 수 있다.
현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 3차원(3D) 좌표계에서 2차원(2D) X-Y 평면으로 투영한 후, 포인트 외곽 라인을 샘플링 한 데이터 셋을 생성한다(S200). 도 7의 (b)는 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 2차원(2D) X-Y 평면으로 투영한 결과를 도시한 도면이다.
2차원(2D) X-Y 평면에 투영된 라이다 포인트 데이터들에 대해, 현재 스텝(T-0 step)과 이전 스텝(T-1 step) 간의 변화량을 나타낼 수 있는 최적 벡터를 계산하고, 이에 기초하여 현재 스텝(T-0 step)의 헤딩 정보(HD)를 추출한다(S300). 여기서, 최적 벡터는 이전 스텝(T-1 step)의 포인트 데이터들에 적용하였을 시 현재 스텝(T-0 step)의 라이다 포인트와 최대한 피팅될 수 있도록 하는 벡터들로 추출될 수 있다. 도 7의 (c)는 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터와 이전 스텝(T-1 step)의 라이다 포인트 데이터를 벡터 연산에 의해 이동시켰을 경우 산출되는 예측 데이터(T-1 step')를 도시한 것이다. 최적 벡터는 예측 데이터(T-1 step')와 현재 스텝(T-0 step)의 데이터 간 차이를 최소화하는 벡터로 산출될 수 있다. 이 후, 산출된 최적 벡터에 기초하여 현재 스텝(T-0 step)의 헤딩 정보(HD)를 추출할 수 있다.
도 8은 도 6의 S200 단계 및 S300단계의 라이다 포인트 데이터 처리 방법을 설명하기 위한 도면이다.
도 8의 (a)는 현재 스텝(T-0 step)의 라이다 포인트(P-0)와 이전 스텝(T-1 step)의 라이다 포인트(P-1)를 2차원 평면 상에 투영한 결과를 도시한 도면이다. 이전 스텝(T-1 step)의 라이다 포인트(P-1)들에 이동 벡터를 적용하면 라이다 포인트(P-1)가 이동 벡터 값만큼 이동한다. 이에, 이전 스텝(T-1 step)의 라이다 포인트(P-1)들을 현재 스텝(T-0 step)의 라이다 포인트(P-0)의 위치와 최대한 근접하게 이동시킬 수 있는 벡터를 최적 벡터로 산출한다.
도 8의 (b)는 이전 스텝(T-1 step)의 라이다 포인트(P-1)들에 최적 벡터(vector)를 적용하여 연산하였을 경우 산출되는 예측 라이다 포인트(P-1')를 도시한 도면이다. 최적 벡터는 예측 라이다 포인트(P-1')와 현재 스텝(T-0 step)의 라이다 포인트(P-0) 간의 차이를 최소화할 수 있는 값으로 산출된다. 최적 벡터를 산출하는 방법은 두 포인트 군을 정합할 수 있는 함수를 산출하는 주지의 기술들이 적용될 수 있으며, 예를 들어, 3차원 포인트 클라우드를 정합하는 데 사용되는 ICP(Iterative Closest Point) 필터를 적용하여 최적 벡터를 산출할 수 있다. ICP는 한 대상물에 대해 다른 시점 혹은 지점에서 스캔된 두 개의 포인트 클라우드를 정합(registration)하는 알고리즘으로서, 포인트 데이터의 매칭 시 널리 사용되고 있다. 실시예에서 ICP 필터는 현재 스텝(T-0 step)의 라이다 포인트(P-0)를 고정하고, 이전 스텝(T-1 step)의 라이다 포인트(P-1)가 현재 스텝(T-0 step)에 최소 오차를 가지면서 피팅(fitting)될 수 있는 최적 벡터를 최소 제곱법(Least Squares)을 이용하여 추출할 수 있다. 최소 제곱법(Least Squares)은 측정값과 추정값 간의 제곱 편차의 합을 최소화함을 원칙으로 하여 추정값을 적합시키는 통계적 방법 중 하나다. 이러한 ICP 필터의 상세 처리 방법은 본 실시예의 요지와는 무관하므로 상세한 설명은 생략한다. 또한, 실시예에서 최적 벡터를 산출하는 방법은 ICP 필터에 한정되지 아니하고, 이전 스텝(T-1 step)의 라이다 포인트(P-1)를 현재 스텝(T-0 step)의 라이다 포인트(P-0)에 정합시킬 수 있는 최적의 벡터를 산출하는 다양한 기술이 적용될 수 있다.
도 8의 (c)는 최적 벡터를 이용하여 헤딩 정보(HD)를 추출한 후 최종 출력되는 트랙정보를 도시한 것이다. 헤딩 정보(HD)는 최적 벡터의 방향에 따라 전방을 향하는 것으로 결정될 수 있다. 도 8의 (c)에 도시된 바와 같이, 이전 스텝(T-1 step)에서 인식된 쉐이프 박스(SB-1) 보다, 현재 스텝(T-0 step)에서 인식된 쉐이프 박스(SB-0)의 크기가 더 작게 인식된 경우에도, 쉐이프 박스의 형상과는 무관하게, 현재 스텝(T-0 step)의 라이다 포인트(P-0)와 이전 스텝(T-1 step)의 라이다 포인트(P-1)의 이동 벡터에 기초하여 헤딩 정보(HD)를 결정하기 때문에 실제 객체의 이동 방향과 일치하는 헤딩 정보(HD)를 추출할 수 있다.
도 9는 도 6의 실시예에 따른 헤딩 정보 추출방법을 상세히 도시한 흐름도이고, 도 10 내지 도 14는 도 9의 각 처리 단계를 설명하기 위한 도면이다.
도 9를 참조하면, S100 단계는 추적 객체의 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 수집하는 단계에 해당한다(도 6). S100 단계는 추적 객체의 형상 정보를 히스토리 정보에 누적하는 단계(S110)와 컨투어(Contour) 포인트 정보를 히스토리 정보에 누적하는 단계를 포함할 수 있다(S120). 여기서, 추적 객체의 형상 정보와 컨투어 정보는 모두 3차원(3D)의 X, Y, Z 좌표계의 정보로 수집될 수 있다.
S110 단계에 따라 추적 객체의 형상 정보를 누적할 시, 도 10에 도시된 바와 같이 각 스텝 별 쉐이프 박스(SB)의 정보가 저장될 수 있다. 또한, 각 스텝에서 쉐이프 박스의 3차원 포인트 데이터, 쉐이프 박스의 크기 및 중앙 포인트 정보가 추적 객체의 형상 정보로 누적될 수 있다.
이 후, S120 단계에 따라 컨투어 포인트 정보를 히스토리 정보에 누적할 시, 각 스텝에서 객체의 컨투어에 해당하는 포인트들의 정보가 저장될 수 있다. 컨투어는 군집된 포인트들에 의해 결정되며, 각 스텝에서의 객체의 컨투어는 도 11에 도시된 바와 같이 3차원 좌표계의 포인트 데이터의 형태를 갖는다. 이에, 각 스텝에서의 컨투어 포인트 정보는 3차원 좌표계의 데이터로 저장될 수 있다.
도 9를 참조하면, S200 단계는 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 라이다 포인트 데이터를 2차원(2D) X-Y 평면으로 투영한 후, 포인트 외곽 라인을 샘플링 한 데이터 셋을 생성하는 단계에 해당한다(도 6). S200 단계는, 라이다 포인트 데이터를 2차원(2D) X-Y 평면으로 변환하는 단계(S210)와 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링하는 단계(S220)를 포함할 수 있다.
S210 단계에 따라 라이다 포인트 데이터를 2차원 X-Y 평면으로 변환하는 단계는, 각 스텝에서 3차원 좌표계의 데이터로 저장된 컨투어 포인트 정보를 2차원 X-Y 평면으로 변환하는 단계이다. 도 12는 컨투어 포인트 정보를 2차원 X-Y 평면 상에 도시한 도면이다. 도 11에 도시된 3차원 좌표계의 컨투어 포인트 데이터를 2차원 X-Y 평면으로 투영하면 도 12와 같이 2차원 좌표계의 컨투어 포인트 정보를 얻을 수 있다.
이 후, 2차원 좌표계의 컨투어 포인트 정보에 대해, S220 단계에 따라 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링할 수 있다. 그라함 스캔(Graham scan)은 주어진 점들을 모두 포함하는 최소 크기의 다각형을 생성하는 알고리즘으로써, 포인트 클라우드 데이터 처리 시 사용되는 주지의 기술이다. 본 실시예에서는 2차원 좌표계의 컨투어 포인트들에 대해 외곽 라인을 추출하여, 외곽 라인의 데이터를 샘플링하는 데에 그라함 스캔(Graham scan) 기술을 이용하는 것을 예시하고 있으나, 이에 한정되지 아니하고, 포인트들의 군집의 외곽 라인의 도출할 수 있는 다양한 기술들이 적용될 수 있다. 도 13을 참조하면, 현재 스텝(T-0 step) 및 이전 스텝(T-1 step)의 2차원 좌표계의 컨투어 포인트 정보에 대해, 각각 그라함 스캔(Graham scan)을 수행하면, 현재 스텝(T-0 step)의 컨투어 포인트의 외곽 라인과 이전 스텝(T-1 step)의 컨투어 포인트의 외곽 라인의 데이터를 샘플링할 수 있다.
도 9를 참조하면, S300 단계는 최적 벡터를 계산하고 이에 기초하여 현재 스텝(T-0 step)의 헤딩 정보(HD)를 추출하는 단계를 포함한다(도 6). S300 단계는 현재 스텝(T-0 step)의 컨투어 포인트의 외곽 라인의 샘플링 데이터와 이전 스텝(T-1 step)의 컨투어 포인트의 외곽 라인의 샘플링 데이터에 기초하여 최적 벡터를 추출하는 단계(S310)와, 추출된 벡터 값을 이용하여 추적 객체의 헤딩 데이터(HD)를 추출하는 단계(S320)를 포함할 수 있다.
S310 단계에 따라 최적 벡터를 추출하는 단계는, 현재 스텝(T-0 step)의 샘플링 데이터와 이전 스텝(T-1 step)의 샘플링 데이터를 ICP(Iterative Closest Point) 필터의 입력으로 전달하여 그 결과를 최적 벡터로 획득할 수 있다. 도 14를 참조하면, ICP 필터는 두 개의 포인트 클라우드를 정합시킬 수 있는 벡터를 추출하는 프로그램의 형태로 제공될 수 있다.
ICP 필터는 현재 스텝(T-0 step)의 샘플링 데이터와 이전 스텝(T-1 step)의 샘플링 데이터를 입력 받아, 현재 스텝(T-0 step)의 샘플링 데이터를 고정한 후, 이전 스텝(T-1 step)의 샘플링 데이터가 현재 스텝(T-0 step)의 샘플링 데이터에 최소 오차를 가지며 피팅(fitting) 될 수 있는 최적 벡터를 최소 자승(Least Squares) 방식으로 추출할 수 있다. 도 14에서, 이전 스텝(T-1 step)의 샘플링 데이터를 벡터 연산한 예측 데이터(T-1 step')와 현재 스텝(T-0 step)의 샘플링 데이터 간의 오차를 최소화하는 벡터가 최적의 벡터로 산출될 수 있다.
이 후, 추출된 최적 벡터 값을 이용하여 추적 객체의 헤딩 데이터(HD)를 추출할 수 있다. 도 14에서 추출된 최적 벡터는 - 방향 벡터이므로 헤딩 데이터(HD)는 - 방향을 갖는 것으로 결정될 수 있다.
이상 설명한 바와 같이, 본 실시예는 라이다 센서의 특성으로 인하여, 센서에 인식되는 면에 따라 객체의 형상 가변이 크게 발생하고 추적 객체의 헤딩 오검출 현상이 발생하는 것을 개선하기 위해, 객체의 라이다 포인트를 기반으로 헤딩 정보를 검출하는 방법을 제안한다. 본 실시예는 현재 시점과 이전 시점의 라이다 포인트 데이터의 이동 변화량을 대표할 수 있는 최적 벡터를 도출하고, 최적 벡터에 기초하여 헤딩 정보를 추출함으로써 저속 이동 객체나, 보행자, 자전거 등 형상 가변이 크게 발생하는 객체에 대해서도 정확한 헤딩 정보를 획득할 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 단계; 및
    상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  2. 제1항에 있어서,
    상기 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 단계는,
    상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하는 단계;
    상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링하는 단계; 및
    상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  3. 제2항에 있어서,
    상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하는 단계는,
    상기 추적 객체의 3차원 좌표계의 쉐이프 박스의 정보를 획득하는 단계; 및
    상기 3차원 좌표계의 쉐이프 박스와 관련된 3차원 좌표계의 컨투어 정보를 획득하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  4. 제3항에 있어서,
    상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링하는 단계는,
    상기 이전 시점과 현재 시점의 상기 3차원 좌표계의 컨투어 정보를 각각 2차원 좌표계의 컨투어 정보로 변환하는 단계; 및
    상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  5. 제4항에 있어서,
    상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링하는 단계는,
    상기 컨투어 정보에 대해 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링하는 단계를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  6. 제4항에 있어서,
    상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계는,
    상기 현재 시점의 외곽 라인의 데이터를 기준 데이터로 고정하는 단계; 및
    상기 이전 시점의 외곽 라인의 데이터가 상기 현재 시점의 외곽 라인의 데이터에 최소의 오차를 가지고 피팅될 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  7. 제4항에 있어서,
    상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 단계는,
    상기 현재 시점의 외곽 라인의 데이터와 상기 이전 시점의 외곽 라인의 데이터를 ICP(Iterative Closest Point) 필터의 입력으로 대입하는 단계; 및
    상기 ICP 필터의 출력을 상기 대표 벡터값으로 적용하는 단계;
    를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  8. 제1항에 있어서,
    상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 단계는,
    상기 대표 벡터값과 동일한 방향으로 상기 헤딩 정보를 설정하는 단계를 포함하는 차량용 라이다 시스템 및 그 객체 검출 방법.
  9. 차량용 라이다 시스템의 객체 검출 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
    추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하는 기능; 및
    상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 기능;
    을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 라이다 센서; 및
    상기 라이다 센서를 통해 획득된 추적 객체의 이전 시점의 라이다 포인트 데이터와 현재 시점의 라이다 포인트 데이터에 기초하여, 상기 이전 시점에서부터 상기 현재 시점까지 상기 라이다 포인트 데이터의 이동 변화량을 대표하는 대표 벡터값을 산출하고, 상기 대표 벡터값에 기초하여 상기 추적 객체의 헤딩 정보를 추출하는 라이다 신호 처리장치;
    를 포함하는 차량용 라이다 시스템.
  11. 제10항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 추적 객체의 이전 시점과 현재 시점의 라이다 포인트 데이터를 수집하고, 상기 라이다 포인트 데이터에 기초하여, 상기 이전 시점의 상기 추적 객체의 외곽 라인과 상기 현재 시점의 상기 추적 객체의 외곽 라인의 데이터를 샘플링한 후, 상기 현재 시점의 샘플링 데이터를 기준으로 상기 이전 시점의 샘플링 데이터를 피팅시킬 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 차량용 라이다 시스템.
  12. 제11항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 추적 객체의 3차원 좌표계의 쉐이프 박스의 정보를 획득하고, 상기 3차원 좌표계의 쉐이프 박스와 관련된 3차원 좌표계의 컨투어 정보를 획득하는 차량용 라이다 시스템.
  13. 제12항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 이전 시점과 현재 시점의 상기 3차원 좌표계의 컨투어 정보를 각각 2차원 좌표계의 컨투어 정보로 변환하고, 상기 2차원 좌표계로 변환된 상기 컨투어 정보에 기초하여 상기 외곽 라인의 데이터를 샘플링하는 차량용 라이다 시스템.
  14. 제13항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 컨투어 정보에 대해 그라함 스캔(Graham scan)을 수행하여 외곽 라인의 데이터를 샘플링하는 차량용 라이다 시스템.
  15. 제13항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 현재 시점의 외곽 라인의 데이터를 기준 데이터로 고정하고, 상기 이전 시점의 외곽 라인의 데이터가 상기 현재 시점의 외곽 라인의 데이터에 최소의 오차를 가지고 피팅될 수 있는 벡터값을 상기 대표 벡터값으로 산출하는 차량용 라이다 시스템.
  16. 제13항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 현재 시점의 외곽 라인의 데이터와 상기 이전 시점의 외곽 라인의 데이터를 입력 받아 상기 대표 벡터값을 출력하는 ICP(Iterative Closest Point) 필터를 포함하는 차량용 라이다 시스템.
  17. 제10항에 있어서,
    상기 라이다 신호 처리장치는,
    상기 대표 벡터값과 동일한 방향으로 상기 헤딩 정보를 설정하는 차량용 라이다 시스템.
KR1020210191763A 2021-12-29 2021-12-29 차량용 라이다 시스템 및 그 객체 검출 방법 KR20230101560A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210191763A KR20230101560A (ko) 2021-12-29 2021-12-29 차량용 라이다 시스템 및 그 객체 검출 방법
US18/071,272 US20230204776A1 (en) 2021-12-29 2022-11-29 Vehicle lidar system and object detection method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191763A KR20230101560A (ko) 2021-12-29 2021-12-29 차량용 라이다 시스템 및 그 객체 검출 방법

Publications (1)

Publication Number Publication Date
KR20230101560A true KR20230101560A (ko) 2023-07-06

Family

ID=86897551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191763A KR20230101560A (ko) 2021-12-29 2021-12-29 차량용 라이다 시스템 및 그 객체 검출 방법

Country Status (2)

Country Link
US (1) US20230204776A1 (ko)
KR (1) KR20230101560A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230213633A1 (en) * 2022-01-06 2023-07-06 GM Global Technology Operations LLC Aggregation-based lidar data alignment
CN117334080B (zh) * 2023-12-01 2024-02-02 江苏镭神激光智能系统有限公司 基于激光雷达和相机识别的车辆追踪方法及系统

Also Published As

Publication number Publication date
US20230204776A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP5822255B2 (ja) 対象物識別装置及びプログラム
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
CN110794406B (zh) 多源传感器数据融合系统和方法
EP3410416B1 (en) Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
EP3422289A1 (en) Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
KR20230101560A (ko) 차량용 라이다 시스템 및 그 객체 검출 방법
EP3422285A1 (en) Image processing device, image pickup device, moving body apparatus control system, image processing method, and program
CN109002800A (zh) 基于多传感器融合的三维目标实时识别机构及识别方法
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
Meier et al. Object detection and tracking in range image sequences by separation of image features
EP3555854A1 (en) A method of tracking objects in a scene
US20230094836A1 (en) Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
CN112286178B (zh) 识别系统、车辆控制系统、识别方法及存储介质
KR20230119334A (ko) 레이더 클러터 제거를 위한 자가 집중 기법 적용 3차원 물체 검출 기술
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
Dang et al. Fast object hypotheses generation using 3D position and 3D motion
Wang et al. A system of automated training sample generation for visual-based car detection
Hwang et al. Vehicle detection system design based on stereo vision sensors
Shin et al. Vehicle classification by road lane detection and model fitting using a surveillance camera