KR102224106B1 - 자율 주행 자동차의 객체 검출 시스템 - Google Patents

자율 주행 자동차의 객체 검출 시스템 Download PDF

Info

Publication number
KR102224106B1
KR102224106B1 KR1020190152181A KR20190152181A KR102224106B1 KR 102224106 B1 KR102224106 B1 KR 102224106B1 KR 1020190152181 A KR1020190152181 A KR 1020190152181A KR 20190152181 A KR20190152181 A KR 20190152181A KR 102224106 B1 KR102224106 B1 KR 102224106B1
Authority
KR
South Korea
Prior art keywords
equation
lidar
calculation unit
data
prediction
Prior art date
Application number
KR1020190152181A
Other languages
English (en)
Inventor
박만복
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020190152181A priority Critical patent/KR102224106B1/ko
Application granted granted Critical
Publication of KR102224106B1 publication Critical patent/KR102224106B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • B60Y2300/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control

Abstract

본 발명은 자율 주행 자동차의 객체 검출 시스템에 대한 것으로, 본 발명에 따르면 차량의 주행 경로와 라이다의 스캔데이터를 이용하여 차량의 이동 경로를 예측하고, 예측된 식을 이용하여 새롭게 스캔된 데이터에서 예측된 식 상에 존재하는 점들은 지면데이터라 간주하여 제거함으로써, 지면데이터가 제거된 스캔데이터만 분석하여 객체 검출 정확성을 향상시킬 수 있다.

Description

자율 주행 자동차의 객체 검출 시스템{Object detection system}
본 발명은 자율 주행 자동차의 객체 검출 시스템에 대한 것으로, 더욱 구체적으로는 라이다의 스캔데이터 중 지면데이터를 제거하고 남아 있는 데이터만을 활용하여 객체를 효과적으로 검출할 수 있도록 하는 기술에 대한 것이다.
최근 첨단 운전자 보조 시스템(Advanced Driver Assistant System, ADAS), 자율 주행 자동차 등에 대한 관심이 높아짐에 따라, 차량에 장착되어 주변의 객체를 검출하는 기술에 대한 연구가 활발하게 진행되고 있다.
주변 객체를 검출하는 대표적인 방법으로는 카메라로 촬영된 영상을 분석하는 것이다. 카메라를 이용할 경우 객체의 정확한 형상 정보를 획득하여 객체의 종류를 상대적으로 정확하게 판단할 수 있다는 장점이 있다. 하지만 2차원 영상을 생성하는 카메라의 특성상 객체의 3차원 위치(거리정보)까지는 정확하게 추정하기 어렵다는 한계가 있다. 또한 어두운 환경에서는 정확한 영상을 확보하는 것이 어렵고, 반사된 빛에 의한 영향, 그림자 등이 객체로 인식되는 등 외부 환경에 의한 오류 가능성이 높다.
한편 라이다(Lidar) 등의 센서를 이용하여 객체를 검출하는 방법도 제시된 바 있다. 라이다는 고출력 펄스 레이저를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 대상 물체까지의 거리, 방향을 정밀하게 측정할 수 있는 장치를 말한다. 라이다를 이용하면 점의 집합인 점군 형태의 고정밀 데이터를 확보할 수가 있다.
하지만 이러한 라이다를 이용한 스캔데이터에는 객체에 대한 정보뿐만 아니라 지면 데이터도 포함되어 있다. 따라서 라이다 데이터를 통해 객체를 검출할 시 지면 데이터까지 포함된 대용량의 데이터를 분석해야 하기 때문에 분석 시간이 오래 걸리고, 검출 정확도가 떨어진다는 문제가 있다.
한편, 라이다를 이용한 객체 검출과 관련한 종래기술로는 대한민국공개특허 제10-2019-0127624호(2019.11.13. '라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법') 등이 있다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 라이다의 스캔데이터 중 지면데이터를 제거하고 남아 있는 데이터만을 활용하여 객체를 효과적으로 검출할 수 있도록 하는 기술을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 객체 검출 시스템은, 차량의 주행 경로를 추출하는 주행경로추출부; 차량의 이동속도, 이동시간 정보를 획득하는 주행정보획득부; 차량 주변을 스캔하여 스캔데이터를 취득하는 라이다; 상기 주행경로추출부와 상기 라이다에서 취득한 스캔데이터를 이용하여 이동경로에 대한 계측식을 산출하는 계측식산출부; 상기 계측식산출부에서 산출한 계측식과 상기 주행정보획득부에서 획득한 이동속도, 이동시간 정보를 이용하여 이동경로에 대한 예측식을 산출하는 예측식산출부; 및 상기 예측식산출부에서 산출한 예측식과 상기 라이다에서 새로 스캔한 스캔데이터를 비교하여 지면데이터를 제거하고 객체를 검출하는 객체검출부;를 포함한다.
여기서, 상기 라이다는 서로 다른 각도로 복수 층을 스캔하고, 상기 계측식산출부는 상기 주행경로추출부에서 추출한 주행 경로와 상기 라이다에서 복수의 층을 스캔한 스캔데이터가 서로 중첩되는 교차점들을 연결하는 곡선을 계측식으로 산출해 낼 수 있다.
또한, 상기 예측식산출부는 상기 계측식산출부에서 산출한 계측식을 이동속도, 이동시간을 이용하여 수평이동 및 회전시켜 예측식을 산출하고, 상기 객체검출부는 상기 라이다에서 새로 스캔한 데이터 중, 상기 예측식산출부에서 산출한 예측식 상에 존재하는 점을 스캔한 라이다 층의 데이터는 제거하되, 상기 예측식 상에 존재하지 않는 점의 데이터는 남겨둘 수 있다.
본 발명에 따른 객체 검출 시스템은 차량의 주행 경로와 라이다의 스캔데이터를 통해 고도정보가 반영된 이동경로를 예측식으로 산출하고, 이렇게 지면을 나타내는 예측식 상에 존재하는 데이터를 제거하면 객체를 나타내는 데이터만 남기 때문에, 객체 검출 분석 시간을 줄일 수 있고, 객체 검출 오류 가능성을 줄여 정확성을 크게 향상시킬 수가 있다.
도1은 본 발명의 실시예에 따른 객체 검출 시스템을 설명하기 위한 블록도.
도2는 본 발명의 실시예에 따른 객체 검출 방법을 설명하기 위한 흐름도.
도3은 차량의 주행 경로와 라이다의 스캔데이터를 이용하여 차량의 이동 경로를 계측식으로 산출하는 과정을 설명하기 위한 개념도.
도4는 차량의 이동 경로 상에 객체가 존재할 시 계측식과 예측식을 비교 설명하기 위한 도면.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
도1은 본 발명의 실시예에 따른 객체 검출 시스템을 설명하기 위한 블록도이다. 도1에 도시된 바와 같이 본 발명의 실시예에 따른 객체 검출 시스템(30)은 주행경로추출부(31), 주행정보획득부(32), 라이다(33), 계측식산출부(34), 예측식산출부(35) 및 객체검출부(36)를 포함한다. 설명하기에 앞서 본 발명의 실시예에 따른 객체 검출 시스템(30)은 자율 주행 차량에 탑재된 상태에서 차량의 진행이 예상되는 전방의 객체를 검출하고, 이렇게 검출된 객체 정보는 별도의 프로그램 또는 장치를 통해 추적이 이루어짐으로써 돌발 상황 발생시 제동 또는 스티어링 휠의 방향 전환이 이루어지도록 할 수 있다.
주행경로추출부(31)는 차량의 주행 경로를 추출하기 위해 마련된다. 주행 경로(way point)란 차량이 진행하면서 그릴 예상 궤적을 말한다. 잠시 도3의 (a)를 참조하면 차량을 위에서 바라보았을 시 차량의 주행 경로를 곡선으로 표시해 놓은 것을 확인할 수 있다. 차량이 차선 변경을 하지 않을 시 주행 경로는 차선의 형태와 일치하게 된다. 다만 본 실시예에서는 차량의 중심을 기준으로 연장되는 주행 경로가 필요하기 때문에 차량 양쪽에 위치하는 차선의 중심을 따라 이동하는 궤적을 주행 경로라고 볼 수 있다. 주행경로추출부(31)는 GPS모듈(미도시)을 이용하여 현재 차량의 위치 및 이동 방향을 확인하고, 지도데이터를 통해 현재 차량이 위치하는 지점에서 진행하고 있는 방향에 대한 도로 형태 또는 차선 형태를 이용하여 주행 경로를 추출할 수 있다. 또한 차량의 주행 경로를 추출하는 기술은 이미 공지된 기술이기 때문에 자세한 설명은 생략토록 한다. 도3의 (a)에서는 차량의 전방을 X축, 횡방향을 Y축으로 하는 좌표상에 추출된 주행 경로를 곡선 형태로 도시하였다.
주행정보획득부(32)는 차량 주행에 관련된 정보들을 획득하기 위해 마련된다. 예컨대 주행정보획득부(32)는 차량의 이동속도, 이동시간 등의 정보를 획득하며, 이렇게 획득된 정보는 예측식산출부(35)에서 활용된다.
라이다(33)는 차량 주변을 스캔하여 스캔데이터를 획득하기 위해 마련된다. 라이다(Lidar)는 전파 대신 직진성이 강한 고출력 펄스 레이저를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 대상 물체까지의 거리, 방향을 정밀하게 측정할 수 있는 장치를 말한다. 라이다(33)는 렌즈 등 광학부와 레이저 발광/수광부, 레이저 구동부, 레이저 신호를 처리하는 프로세서 등을 포함할 수 있다. 라이다(33)를 이용하면 점의 집합인 점구름(점군, Point cloud) 형태의 고정밀 데이터를 확보할 수가 있고, 폭과 거리, 높낮이까지 반영한 3차원의 점을 한데 모아 사물의 형상 데이터를 추출할 수가 있다. 더불어 라이다(33)의 스캔데이터를 분석하면 스캔된 특정 지점에 대한 상대좌표도 추출해 낼 수 있다.
계측식산출부(34)는 주행경로추출부(31)에서 추출한 주행 경로와 라이다(33)에서 스캔한 스캔데이터를 이용하여 차량의 이동 경로를 계측식으로 산출하기 위해 마련된다. 계측식산출부(34)는 실시간으로 갱신되는 주행 경로와 라이다(33)의 스캔데이터를 이용하여 계측식을 산출해 낸다.
예측식산출부(35)는 계측식산출부(34)에서 산출한 계측식을 이용하여 예측식을 산출하거나, 직전에 산출된 예측식을 이용하여 다음 예측식을 산출해 내기 위해 마련된다. 또한 예측식산출부(35)는 주행정보획득부(32)에서 획득한 이동속도, 이동시간을 이용하여 계측식 또는 직전의 예측식을 평면 좌표 상에서 평행이동 및 회전시킴으로써 다음의 예측식을 산출한다. 또한 예측식산출부(35)는 기존 예측식을 평행이동 및 회전시켜 산출한 예측식과 계측식산출부(34)에서 산출한 계측식을 비교하여 임계치 이하로 차이가 없을 경우에는 계측식을 예측식으로 갱신하고, 임계치를 초과하여 차이가 있을 경우에는 계측식은 버리고 예측식을 계속 유지한다.
객체검출부(36)는 라이다(33)의 스캔데이터에서 지면데이터로 간주되는 데이터들은 제거하고 남아 있는 데이터를 분석하여 객체를 검출하기 위해 마련된다. 여기서 객체검출부(36)는 예측식산출부(35)에서 갱신된 예측식을 이용하여 예측식에 포함되는 스캔데이터들을 지면데이터라고 간주하고 제거한다.
도1에 도시된 객체 검출 시스템(30)을 통해 객체를 검출하는 과정은 도2 내지 도4를 통해 더욱 자세하게 설명될 것이다.
도2는 본 발명의 실시예에 따른 객체 검출 과정을 설명하기 위한 흐름도이다. 즉 도1에 도시된 객체 검출 시스템(30)에서 객체 검출이 이루어지는 과정에 대한 것이다.
먼저 주행경로추출부(31)는 GPS모듈(미도시)를 이용하여 현재 차량의 위치 및 이동 방향을 확인하고, 지도데이터를 통해 현재 차량이 위치하는 지점에서 진행하고 있는 방향에 대한 도로 형태 또는 차선 형태를 이용하여 주행 경로(way point)를 추출<S205>한 후, 추출된 주행 경로에 대한 정보를 계측식산출부(34)로 전달한다. 주행경로추출부(31)에서 주행 경로를 추출하는 기술은 공지된 기술이기 때문에 구체적인 설명은 생략하도록 한다.
주행 경로는 도3에 도시된 바와 같이 차량을 위에서 바라보았을 시 차량의 중심을 지나는 소정의 곡선 형태로 표시될 수 있다. 이 주행 경로 곡선의 형태는 차선 또는 도로의 형태와 동일하며, 주행 경로는 도3의 (a)에 도시한 바와 같이 X축(차량 진행 방향에 대한 종축)과 Y축(차량 진행 방향에 대한 횡축) 평면상에서 곡선으로 표시할 수 있다. 또한 이 주행경로를 3차 방정식으로 산출할 수도 있다. 다만 주행 경로는 X-Y축 평면 상에 도시된 것이기 때문에 Z 성분은 포함하고 있지 않다.
즉 도3의 (a)와 같이 평면 지도상에 차량의 주행 경로를 표시할 수는 있지만, 실질적으로 차량은 언덕을 오르거나 내리막길을 내려갈 수도 있다. 즉 실제 주행에 있어서는 차량의 고도 정보도 반영되어야 하나, 평면 지도상에서 주행 경로를 추출하는 것은 고도 정보는 전혀 반영이 되지 않은 것이다. 따라서 주행 경로는 실제 차량의 이동 경로을 예측할 수 있는 정보가 되지는 못한다. 이를 위해 라이다(33)의 스캔데이터를 이용하여 계측식산출부(34)에서 고도 정보가 반영된 실제 차량의 이동 경로를 산출해 낸다.
라이다(33)는 차량 주변을 스캔<S210>하여 물체에 반사되어 돌아온 정보를 받아 물체까지의 거리, 방향 등의 정보를 획득한다. 차량에 설치된 라이다(33)는 서로 다른 각도를 향해 복수의 층(레이어)을 스캔한다. 예컨대 0.2도 간격으로 16개 방향에 대하여 360도 스캔이 이루어질 수 있다.
도3의 (a)에서는 차량을 중심으로 라이다(33)가 서로 다른 각도로 360도 스캔하여 획득한 스캔데이터를 평면 좌표상에 직관적으로 도시하였다. 도면에서는 편의상 원형의 스캔데이터를 도시하였지만, 지면의 상태에 따라, 그리고 주변의 물체 유무에 따라 스캔데이터의 형태가 불규칙하게 변화할 수 있다. 라이다(33)가 스캔하는 복수의 레이어 중 가장 낮은 각도의 레이어는 차량과 가장 가까운 위치의 지면과 물체를 스캔하게 된다. 반면 가장 높은 각도의 레이어는 상대적으로 멀리 떨어진 위치의 지면과 물체를 스캔하게 된다. 이렇게 라이다(33)에서 복수 레이어에 대한 스캔이 이루어지면, 스캔데이터가 계측식산출부(34)에 전달된다. 물론 라이다(33)의 스캔데이터는 객체검출부(36)에도 전달되며, 객체검출부(36)에서는 예측식산출부(35)에서 산출한 예측식과 라이다(33)의 스캔데이터를 비교하여 지면데이터를 제거한다. 이에 대한 설명은 이하에서 다시 다루도록 한다.
계측식산출부(34)는 주행경로추출부(31)에서 추출한 주행 경로 정보, 그리고 라이다(33)의 스캔데이터를 통해 실제 차량의 이동 경로 궤적을 계측식으로 산출한다. 즉 계측식산출부(34)는 도3의 (a)에 도시된 바와 같이 라이다(33)의 복수 레이어가 차량 주변을 360도 회전하면서 스캔하여 취득한 점군 형태의 스캔데이터 중에서 주행경로추출부(31)에서 추출한 주행 경로와 만나는 교차점(p1, p2, p3, p4, p5)을 추출<S215>해 낸다.
라이다(33)의 스캔데이터는 3차원의 정보, 즉 X성분, Y성분 및 Z성분을 모두 담고 있다. 즉 계측식산출부(34)는 스캔데이터 중 주행 경로의 X성분 및 Y성분과 일치하는 교차점(p1~p5)을 추출하는 것이고, 이렇게 추출된 교차점(p1~p5)은 Z성분, 즉 고도정보까지 포함하게 된다. 따라서 도3의 (b)와 같이 교차점(p1~p5)들을 이어주는 가상의 곡선이 실제 차량이 이동할 것으로 예상되는 이동 경로가 된다.
도3의 (b)는 차량을 측면에서 바라 보았을 시 교차점(p1~p5)들을 잇는 이동 경로를 X-Z 좌표상에 개념적으로 도시한 것이다. 즉 도3의 (b)의 이동 경로를 통해 확인할 수 있듯이, 차량은 오르막길을 주행할 것으로 예측된다. 또한 계측식산출부(34)는 X-Z 좌표상에 도시되는 이동 경로, 즉 교차점(p1~p5)들을 잇는 가상의 곡선을 계측식으로 산출<S220>해 낸다. 즉 이동 경로 곡선을 나타내는 3차식이 바로 계측식산출부(34)에서 산출한 계측식[
Figure 112019121010076-pat00001
]이 되는 것이다.
계측식[
Figure 112019121010076-pat00002
]은 예컨대 다음과 같은 3차 방정식으로 표현될 수 있다.
z=ax3+bx2+cx+d
이 계측식을 차량을 원점으로 하는 X-Z 좌표상에 도시하면 도3의 (b)에 도시한 바와 같은 고도 정보가 포함된 이동 경로가 되는 것이다.
계측식산출부(34)에서 산출되는 계측식은 도3의 (b)에 도시된 바와 같이 지면을 나타내는 데이터이기도 하다. 물론 전방에 객체가 존재하지 않는다면 이 계측식을 계속 활용하여 지면데이터가 어느 것인지 확인하면 된다. 하지만 전방에 객체가 존재한다면 라이다(33)에서 지면만을 스캔하지는 않을 것이기 때문에, 지면데이터를 나타내는 예측식을 활용해야 한다.
즉, 예측식산출부(35)는 계측식산출부(34)에서 산출된 계측식을 이용하여 예측식을 산출<S225>해 낸다. 예측식은 주행경로추출부(31)에서 추출한 주행 경로와 라이다(33)의 스캔데이터를 활용하는 것이 아니라, 계측식산출부(34)에서 산출한 계측식과 주행정보획득부(32)에서 획득한 주행정보를 이용하여 산출해 낸다.
계측식산출부(34)에서 산출한 계측식을
Figure 112019121010076-pat00003
라고 하자. 이후 예측식산출부(35)는 주행정보획득부(32)를 통해 계측식산출부(34)에서 기존 계측식을 산출한 시점부터 현재 위치까지 차량이 주행하는 동안 걸린 이동시간, 그리고 이동속도를 확인한다.
이후 차량의 이동속도와 이동시간을 이용하여 이동거리를 산출해 낸다. 물론 계측식[
Figure 112019121010076-pat00004
]은 곡선 형태이기 때문에 계측식[
Figure 112019121010076-pat00005
]에서 Arc length 연산 방법을 적용하면 곡선 상에서 이동한 거리가 연산되고, 이에 따라 차량이 좌표 상에서 이동한 좌표를 구할 수 있다.
또한 예측식산출부(35)는 계측식산출부(34)에서 산출한 계측식[
Figure 112019121010076-pat00006
]를 미분하여 기울기값을 구할 수 있다. 이렇게 차량이 얼마 만큼의 좌표로 이동하였는지를 통해 계측식[
Figure 112019121010076-pat00007
]을 평행이동 시키고, 미분을 통해 산출한 기울기값을 이용하여 계측식[
Figure 112019121010076-pat00008
]을 회전이동 시키면, 예측식[
Figure 112019121010076-pat00009
]을 산출할 수 있다.
이러한 방식으로 예측식산출부(35)에서는 계측식산출부(34)에서 산출한 계측식[
Figure 112019121010076-pat00010
]을 이용하여 다음 위치까지 차량이 이동한 좌표, 그리고 차량이 기울어진 정도를 반영하여 예측식[
Figure 112019121010076-pat00011
]을 산출해내게 되는데, 예측식산출부(35)는 예측한 식과 현재 시점에서 계측한 식을 비교하여 계측식을 예측식으로 갱신하거나, 계측식은 무시하고 예측식만을 이용하여 예측식을 꾸준히 갱신할 수 있다.
예컨대, 제1시점에서 전방에 아무런 차량이 없을 때 계측식산출부(34)에서 제1계측식[
Figure 112019121010076-pat00012
]을 산출해 냈다고 가정하자.
이후 제2시점에서도 전방에 아무런 차량이 없고 제2시점에서 계측식산출부(34)가 제2계측식[
Figure 112019121010076-pat00013
]을 산출해 냈다고 가정하자. 또한 제2시점에서 예측식산출부(35)는 제1계측식[
Figure 112019121010076-pat00014
]을 평행이동 및 회전시켜 예측식[
Figure 112019121010076-pat00015
]을 산출해 낼 수 있다. 이때 예측식산출부(35)는 계측식산출부(34)가 산출한 제2계측식[
Figure 112019121010076-pat00016
]과 예측식[
Figure 112019121010076-pat00017
]을 비교한다. 만약 도3의 (b)와 같이 전방에 차량이 없는 상태라면 제2계측식[
Figure 112019121010076-pat00018
]과 예측식[
Figure 112019121010076-pat00019
]은 동일하거나 임계치 이내의 오차만 보일 것이다. 따라서 예측식산출부(35)는 실측 자료를 기반으로 산출된 제2계측식[
Figure 112019121010076-pat00020
]을 예측식[
Figure 112019121010076-pat00021
]으로 갱신시킨다.
반면 제2시점에서 도4에 도시된 바와 같이 전방에 차량이 등장하였다면, 제2계측식[
Figure 112019121010076-pat00022
]은 예측식[
Figure 112019121010076-pat00023
]과 임계치를 초과하여 큰 차이를 보이게 된다. 즉 도4에 도시된 교차점(p1~p5)들을 확인해 보면 교차점 p1, p2는 제2계측식[
Figure 112019121010076-pat00024
]과 예측식[
Figure 112019121010076-pat00025
]에서 모두 검출된다. 하지만 교차점 p4, p5는 제2계측식[
Figure 112019121010076-pat00026
]과 예측식[
Figure 112019121010076-pat00027
]에서 위치하는 좌표가 큰 차이를 보이게 된다. 예측식산출부(35)에서 이러한 제2계측식[
Figure 112019121010076-pat00028
]과 예측식[
Figure 112019121010076-pat00029
]의 차이를 확인하게 되면 제2계측식[
Figure 112019121010076-pat00030
]은 무시하고 예측식[
Figure 112019121010076-pat00031
]을 유지하게 된다. 즉 다음 제3시점에서 예측식을 산출할 때에는 제2시점에서의 제2계측식[
Figure 112019121010076-pat00032
]을 이용하는 것이 아니라, 제2시점에서 유지된 예측식[
Figure 112019121010076-pat00033
]을 이용하여 평행이동 또는 회전을 통해 제3시점의 예측식[
Figure 112019121010076-pat00034
]을 산출해내는 것이다.
예측식산출부(35)에서 계측식과 예측식을 비교하여 계측식을 예측식으로 갱신하거나, 또는 예측식을 유지한 후 다음 예측식을 산출할 때 활용하는 이유는 예측식[
Figure 112019121010076-pat00035
]은 지면데이터를 나타내는 방정식이기 때문이다. 즉 본 발명에서 달성하고자 하는 바는 라이다(33)의 스캔데이터에서 지면데이터를 제거하여 객체를 효율적이고 정확하게 분석해 내기 위해서이다. 따라서 예측식산출부(35)는 지속적으로 지면데이터만을 나타내는 예측식을 유지할 필요가 있는 것이며, 전방에 객체가 존재할 시에는 라이다(33)의 스캔데이터를 통해 뽑아낸 계측식이 지면데이터를 올바르게 나타내고 있지 못하기 때문에, 기존의 예측식을 이용하여 다음의 예측식을 산출토록 하는 것이다.
이러한 방식으로 예측식산출부(35)가 지면에 대한 정보를 갖는 예측식을 산출하면, 객체검출부(36)는 라이다(33)에서 새롭게 스캔한 스캔데이터와 예측식산출부(35)에서 새롭게 갱신된 예측식[
Figure 112019121010076-pat00036
]을 비교하여 지면데이터를 제거함으로써 객체를 검출<S230>한다.
즉 객체검출부(36)는 라이다(33)에서 스캔한 스캔데이터 중 예측식산출부(35)에서 새롭게 갱신된 예측식에 대응하는 층을 스캔한 데이터는 지면데이터라고 간주하고 제거한다.
예컨대 도3의 (b)와 같이 전방에 객체가 존재하지 않는다면 계측식[
Figure 112019121010076-pat00037
] 예측식[
Figure 112019121010076-pat00038
]은 동일할 것이고, 예측식 상에 포함된 교차점(p1~p5)은 모두 지면에 해당할 것이므로, p1 내지 p5를 스캔한 라이다 층의 데이터는 모두 삭제하는 것이다. 이에 따라 지면데이터는 모두 제거된다.
반면 도4와 같이 전방에 객체가 존재한다면 계측식은 예측식산출부(35)에서 무시되었고, 예측식[
Figure 112019121010076-pat00039
]만이 지면을 나타내는 식이된다. 이 중 교차점 p1과 p2는 예측식 상에 존재하는 점이기 때문에 p1과 p2를 스캔한 라이다 층의 데이터는 모두 제거한다. 반면 p3, p4, p5는 예측식 상에 존재하는 점이 아니다. 따라서 객체검출부(36)는 p3, p4, p5의 점들은 제거하지 않는다.
물론 객체검출부(36)는 p3, p4, p5의 점들은 제거하지 않는다 하더라도, p3, p4, p5를 스캔하는 라이다 층이 예측식과 만나는 지점의 나머지 점군데이터들은 삭제한다. 즉 도4 상에서는 p3, p4, p5가 객체를 가르키고 있지만, 예측식[
Figure 112019121010076-pat00040
]은 기존 예측식 또는 기존 계측식을 평행이동 및 회전시켜서 산출한 것이다. 따라서 예측식[
Figure 112019121010076-pat00041
]에는 객체가 없을 시 p3, p4, p5가 찍힐 것으로 예상되는 교차점에 대한 정보도 가지고 있다. 따라서 객체검출부(36)가 객체가 없을 시 p3, p4, p5가 찍힐 것으로 예상되는 교차점을 찾아내고, 이 교차점을 스캔한 라이다 층의 데이터들을 모두 삭제한다면, 객체 좌우측의 지면데이터들도 모두 제거 될 것이다.
이 경우에 객체검출부(36)에서 삭제시키는 데이터들 역시 예측식[
Figure 112019121010076-pat00042
] 상에 존재할 것으로 예상되는 점들의 데이터이기 때문에, 예측식[
Figure 112019121010076-pat00043
] 상에 존재하지 않는 실제 객체에 찍힌 p3, p4, p5의 점들은 제거되지 않는다. 즉 객체검출부(36)에서 제거하는 것은 예측식 상에 존재하거나, 예측식 상에 존재할 것으로 예상되는 점을 스캔한 라이다 층의 데이터이되, 예측식 상에 존재하지 않는 점들의 데이터는 남겨두는 것이기 때문에, 오로지 객체에 대한 스캔데이터만 남아 있게 되는 것이다.
이렇게 지면데이터는 제거하고 남아 있는 스캔데이터만을 분석한다면 객체검출부(36)가 오류 없이 객체를 빠르고 정확하게 검출해 낼 수 있다.
이상에서 상세히 설명한 바와 같이, 본 발명에 따른 객체 검출 시스템(30)은 차량의 주행 경로와 라이다(33)의 스캔데이터를 통해 고도정보가 반영된 이동경로를 예측식으로 산출하고, 이렇게 지면을 나타내는 예측식 상에 존재하는 데이터를 제거하면 객체를 나타내는 데이터만 남기 때문에, 객체 검출 분석 시간을 줄일 수 있고, 객체 검출 오류 가능성을 줄여 정확성을 크게 향상시킬 수가 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.
10 : 차량
20 : 객체
30 : 객체 검출 시스템
31 : 주행경로추출부
32 : 주행정보획득부
33 : 라이다
34 : 계측식산출부
35 : 예측식산출부
36 : 객체검출부
p1~p5 : 교차점

Claims (3)

  1. 차량의 주행 경로를 추출하는 주행경로추출부;
    차량의 이동속도, 이동시간 정보를 획득하는 주행정보획득부;
    차량 주변을 스캔하여 스캔데이터를 취득하는 라이다;
    상기 주행경로추출부와 상기 라이다에서 취득한 스캔데이터를 이용하여 이동경로에 대한 계측식을 산출하는 계측식산출부;
    상기 계측식산출부에서 산출한 계측식과 상기 주행정보획득부에서 획득한 이동속도, 이동시간 정보를 이용하여 이동경로에 대한 예측식을 산출하는 예측식산출부; 및
    상기 예측식산출부에서 산출한 예측식과 상기 라이다에서 새로 스캔한 스캔데이터를 비교하여 지면데이터를 제거하고 객체를 검출하는 객체검출부;를 포함하는 것을 특징으로 하는 객체 검출 시스템.
  2. 제1항에 있어서,
    상기 라이다는 서로 다른 각도로 복수 층을 스캔하고,
    상기 계측식산출부는 상기 주행경로추출부에서 추출한 주행 경로와 상기 라이다에서 복수의 층을 스캔한 스캔데이터가 서로 중첩되는 교차점들을 연결하는 곡선을 계측식으로 산출해 내는 것을 특징으로 하는 객체 검출 시스템.
  3. 제1항에 있어서,
    상기 예측식산출부는 상기 계측식산출부에서 산출한 계측식을 이동속도, 이동시간을 이용하여 수평이동 및 회전시켜 예측식을 산출하고,
    상기 객체검출부는 상기 라이다에서 새로 스캔한 데이터 중, 상기 예측식산출부에서 산출한 예측식 상에 존재하는 점을 스캔한 라이다 층의 데이터는 제거하되, 상기 예측식 상에 존재하지 않는 점의 데이터는 남겨두는 것을 특징으로 하는 객체 검출 시스템.
KR1020190152181A 2019-11-25 2019-11-25 자율 주행 자동차의 객체 검출 시스템 KR102224106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152181A KR102224106B1 (ko) 2019-11-25 2019-11-25 자율 주행 자동차의 객체 검출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152181A KR102224106B1 (ko) 2019-11-25 2019-11-25 자율 주행 자동차의 객체 검출 시스템

Publications (1)

Publication Number Publication Date
KR102224106B1 true KR102224106B1 (ko) 2021-03-08

Family

ID=75184986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152181A KR102224106B1 (ko) 2019-11-25 2019-11-25 자율 주행 자동차의 객체 검출 시스템

Country Status (1)

Country Link
KR (1) KR102224106B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985171B1 (ko) * 2007-11-15 2010-10-05 (주)엠앤소프트 고가도로 맵매칭 시스템 및 방법
KR20150047215A (ko) * 2013-10-24 2015-05-04 현대모비스 주식회사 회전형 라이다 센서를 이용한 타겟 차량 감지 장치 및 회전형 라이다 센서
KR20180077502A (ko) * 2016-12-29 2018-07-09 전남대학교산학협력단 도로의 포트홀 검출장치 및 검출방법
KR20190064798A (ko) * 2017-12-01 2019-06-11 현대자동차주식회사 라이다를 이용한 노면 검출 시스템 및 그를 이용한 노면의 검출 방법
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985171B1 (ko) * 2007-11-15 2010-10-05 (주)엠앤소프트 고가도로 맵매칭 시스템 및 방법
KR20150047215A (ko) * 2013-10-24 2015-05-04 현대모비스 주식회사 회전형 라이다 센서를 이용한 타겟 차량 감지 장치 및 회전형 라이다 센서
KR20180077502A (ko) * 2016-12-29 2018-07-09 전남대학교산학협력단 도로의 포트홀 검출장치 및 검출방법
KR20190064798A (ko) * 2017-12-01 2019-06-11 현대자동차주식회사 라이다를 이용한 노면 검출 시스템 및 그를 이용한 노면의 검출 방법
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치

Similar Documents

Publication Publication Date Title
CN112665556B (zh) 使用被动和主动测量生成场景的三维地图
US11085775B2 (en) Methods and systems for generating and using localisation reference data
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
CN111108342A (zh) 用于高清地图创建的视觉测程法和成对对准
EP4085230A1 (en) Systems and methods for vehicle navigation
WO2015173034A1 (en) Method and system for determining a position relative to a digital map
CN105277190A (zh) 用于车辆自定位的装置和方法
JP7052543B2 (ja) 自車位置推定装置
JP2018092483A (ja) 物体認識装置
CN112698306A (zh) 一种多激光雷达结合相机解决地图构建盲区的系统和方法
JP2010202017A (ja) データ解析装置及びデータ解析方法及びプログラム
JP7155284B2 (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
JP2023075184A (ja) 出力装置、制御方法、プログラム及び記憶媒体
CN113743171A (zh) 目标检测方法及装置
CN111999744A (zh) 一种无人机多方位探测、多角度智能避障方法
JP2016045767A (ja) 運動量推定装置及びプログラム
US10916034B2 (en) Host vehicle position estimation device
KR102224106B1 (ko) 자율 주행 자동차의 객체 검출 시스템
JP2022513828A (ja) 位置決めのための環境モデルを生成する方法およびシステム
CN111766601B (zh) 识别装置、车辆控制装置、识别方法及存储介质
CN115140045A (zh) 车辆控制装置、车辆控制方法及车辆控制用计算机程序
CN110809228B (zh) 速度测量方法、装置、设备和计算机可读存储介质
KR102520904B1 (ko) 과속방지턱 감지 시스템
CN111712731B (zh) 目标检测方法、系统及可移动平台
US20220307840A1 (en) Apparatus, method, and computer program for identifying road being traveled

Legal Events

Date Code Title Description
GRNT Written decision to grant