KR20220078519A - 자율주행을 위한 차량의 위치추정 장치 및 방법 - Google Patents

자율주행을 위한 차량의 위치추정 장치 및 방법 Download PDF

Info

Publication number
KR20220078519A
KR20220078519A KR1020210172380A KR20210172380A KR20220078519A KR 20220078519 A KR20220078519 A KR 20220078519A KR 1020210172380 A KR1020210172380 A KR 1020210172380A KR 20210172380 A KR20210172380 A KR 20210172380A KR 20220078519 A KR20220078519 A KR 20220078519A
Authority
KR
South Korea
Prior art keywords
information
vehicle
absolute
pose
relative
Prior art date
Application number
KR1020210172380A
Other languages
English (en)
Other versions
KR102633705B1 (ko
Inventor
권순
쿠마 아재이
김제석
박재형
이진희
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Publication of KR20220078519A publication Critical patent/KR20220078519A/ko
Application granted granted Critical
Publication of KR102633705B1 publication Critical patent/KR102633705B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

본 발명은 자율주행을 위한 차량의 위치추정 장치 및 방법에 관한 것으로, 보다 구체적으로, 차량의 위치추정에 있어서 상대 포즈 정보 추정 후 절대 포즈 정보를 추정하는 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 차량의 위치추정 기술에 관한 것으로, 본 발명의 일실시예에 따른 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 상대 포즈 추정부, 상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 절대 포즈 추정부 및 상기 추정된 절대 포즈 정보와 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하는 융합 추정부를 포함할 수 있다.

Description

자율주행을 위한 차량의 위치추정 장치 및 방법{APPARATUS AND METHOD OF ESTIMATING VEHICLE LOCATION FOR AUTONOMOUS DRIVING}
본 발명은 자율주행을 위한 차량의 위치추정 장치 및 방법에 관한 것으로, 보다 구체적으로, 차량의 위치추정에 있어서 상대 포즈 정보 추정 후 절대 포즈 정보를 추정하는 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 차량의 위치추정 기술에 관한 것이다.
고도의 자율 주행 성능을 달성하기 위해서는 정확한 차량 위치 파악을 위한 로컬라이제이션(Localization)기능이 요구될 수 있다.
현재 로컬라이제이션의 성능을 충족하기 위해서 고가의 RTK(Real Time Kinematic) GPS(Global Positioning System) 및 IMU(Inertial Measurement Unit)기반 관성 내비게이션 시스템 기반의 솔루션이 사용되고 있다.
그러나, GPS의 위치 정확도는 특히 신호 저하 또는 신호 끊김 환경 및 스카이 뷰(sky-view)가 열악한 조건(예: 위성으로부터 GPS수신기의 신호수신을 위해서는 상공이 탁 트인 공간이 가장 우수하고 수신기주변 상공이 가려진 빌딩숲과 같은 공간이 열악할 수 있다.)에서 성능이 떨어지며 이는 자율 주행 기능을 동작 시키기 위한 조건을 충족하지 않는다.
시스템 비용을 절감하고 로컬라이제이션 정확도와 안정성을 높이기 위해 라이다(Light Detection and Ranging, LiDAR) 및 카메라(Camera) 융합 기반 로컬라이제이션 방법이 있다.
라이다 및 카메라 기반 로컬라이제이션 접근 방식에서는 라이다 및 카메라에서 각각 획득된 스캔단위 또는 프레임 단위 3D 포인트 클라우드 데이터(Point-Cloud-Data, PCD)가 사전에 획득된 포인트클라우드맵(Point-Cloud-Map, PCM) 비교하여 매칭(Matching)여부를 파악하여 현재 차량의 위치를 추정하는 방식이 이용된다.
라이다 기능은 환경 조명 조건에 관계 없이 주변 장면의 3D 포인트 클라우드를 얻을 수 있다는 점이 카메라 기반 위치 확인 시스템에 비해 주요한 이점으로 작용될 수 있다.
카메라만을 사용한 비전 기반 기술이 고가인 라이다의 저가솔루션 대안으로 도입되었지만 자율 주행에 대한 신뢰성과 정확성 요구 사항을 충족하지 못한다.
또한, 비전 기반 기술은 특정 환경에 국한된 조명 조건으로 제한됨에 따라 정확도를 높이기 위해 더 많은 계산 기능에 따른 능력이 요구될 수 있다.
따라서, 모든 요소를 고려할 때, 라이다 기반의 로컬라이제이션 기술은 저 비용으로 정확하고 강력한 로컬라이제이션을 달성할 수 있는 보다 신뢰할 수 있는 솔루션으로 활용될 수 있다.
GPS 솔루션 방식과 비교할 때 이러한 맵(map) 기반 매칭 방식이(특히, LiDAR 기반 Map-matching 방식에서) 더 정확하고 효율적인 것으로 나타나고 있다.
포인트 투 포인트(point-to-point), 포인트 투 커브(point-to-curve), 특징 투 특징(feature-to-feature)과 같은 많은 맵 매칭 방법이 문헌에서 제안되어 더 효율적인 것으로 입증되었다.
그러나, 이러한 접근 방식을 위한 포인트 클라우드 맵을 제작하고 유지하는 것은 과정이 복잡하고 비용이 많이 들고 시간이 많이 걸린다는 단점이 존재한다.
일례로, 미리 구축 된 포인트 클라우드 맵에 대해 실시간으로 데이터를 수정 (예: 나무의 포인트 밀도는 계절에 따라 다를 수 있다.)을 반영하기가 매우 어렵다.
한편, 포인트 클라우드 맵을 최신상태로 업데이트하는데 시간이 많이 걸리지 않아야 한다.
이를 위해 자율주행 또는 ADAS(Advanced Driver Assistance Systems) 시스템에서는 맵의 데이터용량이 적절하고 유지 관리 복잡성을 줄일 수 있는 일반화 된 추상맵이 필요할 수 있다.
한국등록특허 제10-2283773호, "라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법" 한국공개특허 제10-2020-0096725호, "자율 주행 차량을 위한 RGB 포인트 클라우드 기반의 맵 생성 시스템" 한국등록특허 제10-1273245호, "자율이동 차량용 자율주행 시스템 및 이를 이용한 주행가능 경로 생성 방법" 한국등록특허 제10-2137043호, "환경센서와 정밀지도를 이용한 측위 정확도 개선 시스템"
본 발명은 차량의 위치추정에 있어서 상대 포즈 정보 추정 후 절대 포즈 정보를 추정하는 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 차량의 위치추정 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 자율주행 시스템에서 차량의 위치인식의 정확도를 향상하여 주행 판단 및 경로 계획과 같은 자율주행의 성능을 향상시키는 것을 목적으로 한다.
본 발명은 맵(map) 기반의 자율주행 시스템에서 맵 업데이트 및 관리의 효율성을 증대하는 것을 목적으로 한다.
본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 로컬라이제이션(localization) 기능을 제공함에 따라 객체 검출 모델의 성능과 연산 효율성을 향상하여 다양한 응용 분야에서 위치 추정 기술에 대한 사용성을 향상시키는 것을 목적으로 한다.
본 발명은 자율 주행 및 ADAS(Advanced Driver Assistance Systems)에 적용되어 위험 요소 탐지 및 경고 성능을 개선하는 것을 목적으로 한다.
본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 위치 추정 기술을 통해 기타 공장 자동화, 드론, 영상 보안, 의료, 핸드폰, 증강 현실, 인터넷, 가전 제품 등의 시장 가치를 상승시키는 것을 목적으로 한다.
본 발명의 일실시예에 따른 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 상대 포즈 추정부, 상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 절대 포즈 추정부 및 상기 추정된 상대 포즈 정보 또는 상기 추정된 절대 포즈 정보와, 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하되, 상기 상대 포즈 정보만 추정된 상태에서는 상기 상대 포즈 정보로써 상기 차량의 위치를 추정하다가, 상기 절대 포즈 정보가 추정되면 상기 상대 포즈 정보를 기반으로 상기 절대 포즈 정보로 업데이트 하여 상기 차량의 위치를 추정하는 융합 추정부를 포함할 수 있다.
상기 상대 포즈 추정부는 이전 스캔데이터에 해당하는 상기 제1 스캔데이터로부터 추출된 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 현재 스캔데이터에 해당하는 상기 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 상호 비교하여 상대적인 포즈의 변화량을 계산하고, 상기 계산된 변화량을 상기 상대 포즈 정보로 추정할 수 있다.
상기 계산된 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함할 수 있다.
상기 절대 포즈 추정부는 상기 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보와 상기 제2 절대 특징 정보에 포함된 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도정보 및 제2 정지선 정보 중 적어도 하나의 제2 절대 특징 정보를 상호 비교하여 상기 절대 포즈 정보로 추정할 수 있다.
상기 융합 추정부는 확장 칼만 필터(Extended Kalman Filter)에 기반하여 상기 추정된 절대 포즈 정보와 상기 적어도 하나의 추가 정보를 융합하여 상기 추정된 절대 포즈 정보를 수정하고, 상기 수정된 절대 포즈 정보에 따라 추정된 상기 차량의 포즈에 따라 상기 차량의 위치를 추정할 수 있다.
상기 융합 추정부는 상기 차량에 대한 GNSS(Global Navigation Satellite System) 정보에 기반한 제1 포즈 정보를 상기 정밀도로지도 데이터에 반영하고, 상기 추정된 상대 포즈 정보에 기반하여 상기 정밀도로지도 데이터에서 상기 제1 포즈 정보를 제2 포즈 정보로 수정하며, 상기 추정된 절대 포즈 정보에 기반하여 상기 정밀지도 데이터에서 상기 수정된 제2 포즈 정보를 제3 포즈 정보로 수정하여 상기 제1 포즈 정보, 상기 제2 포즈 정보 및 상기 제3 포즈 정보를 상기 정밀도로지도 데이터에 적용할 수 있다.
상기 제1 스캔데이터는 특정 시점 이전에 라이다(Lidar)로부터 스캔된 포인트 클라우드 데이터(Point-Cloud-Data)를 포함하고, 상기 제2 스캔데이터는 상기 특정 시점에서 라이다로부터 스캔된 포인트 클라우드 데이터를 포함할 수 있다.
상기 상대 포즈 정보는 상기 차량의 x축, y축 및 z축의 변화 값과 관련되고, 상기 차량의 회전과 관련된 요(yaw)축의 변화 값, 상기 차량의 전진 및 후진과 관련된 피치(pitch)축의 변화 값 및 상기 차량의 좌우 이동과 관련된 롤(roll)축의 변화 값과 관련하여 추정되는 상기 차량의 포즈 정보를 포함할 수 있다.
상기 절대 포즈 정보는 상기 제1 절대 특징 정보와 상기 제2 절대 특징 정보가 상호 매칭되는 차량의 x축, y축 및 z축의 값과 관련되고, 상기 차량의 회전과 관련된 요(yaw)축의 값, 상기 차량의 전진 및 후진과 관련된 피치(pitch)축의 값 및 상기 차량의 좌우 이동과 관련된 롤(roll)축의 값과 관련하여 추정되는 상기 차량의 포즈 정보를 포함할 수 있다.
본 발명의 일실시예에 따르면 자율주행을 위한 차량의 위치추정 방법은 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 단계, 상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 단계 및 상기 추정된 상대 포즈 정보 또는 상기 추정된 절대 포즈 정보와 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하되, 상기 상대 포즈 정보만 추정된 상태에서는 상기 상대 포즈 정보로써 상기 차량의 위치를 추정하다가, 상기 절대 포즈 정보가 추정되면 상기 상대 포즈 정보를 기반으로 상기 절대 포즈 정보로 업데이트 하여 상기 차량의 위치를 추정하는 단계를 포함할 수 있다.
상기 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 단계는, 이전 스캔데이터에 해당하는 상기 제1 스캔데이터로부터 추출된 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 현재 스캔데이터에 해당하는 상기 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 상호 비교하여 상대적인 포즈의 변화량을 계산하는 단계 및 상기 계산된 변화량을 상기 상대 포즈 정보로 추정하는 단계를 포함하고, 상기 계산된 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함할 수 있다.
상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 단계는, 상기 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보와 상기 제2 절대 특징 정보에 포함된 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도 정보 및 제2 정지선 정보 중 적어도 하나의 제2 절대 특징 정보를 상호 비교하여 상기 절대 포즈 정보로 추정하는 단계를 포함할 수 있다.
상기 추정된 절대 포즈 정보와 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하는 단계는, 확장 칼만 필터(Extended Kalman Filter)에 기반하여 상기 추정된 절대 포즈 정보와 상기 적어도 하나의 추가 정보를 융합하여 상기 추정된 절대 포즈 정보를 수정하는 단계 및 상기 수정된 절대 포즈 정보에 따라 추정된 상기 차량의 포즈에 따라 상기 차량의 위치를 추정하는 단계를 포함할 수 있다.
본 발명은 차량의 위치추정에 있어서 상대 포즈 정보 추정 후 절대 포즈 정보를 추정하는 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 차량의 위치추정 장치 및 방법을 제공할 수 있다.
본 발명은 자율주행 시스템에서 차량의 위치인식의 정확도를 향상하여 주행 판단 및 경로 계획과 같은 자율주행의 성능을 향상시킬 수 있다.
본 발명은 맵(map) 기반의 자율주행 시스템에서 맵 업데이트 및 관리의 효율성을 증대할 수 있다.
본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 로컬라이제이션(localization) 기능을 제공함에 따라 객체 검출 모델의 성능과 연산 효율성을 향상하여 다양한 응용 분야에서 위치 추정 기술에 대한 사용성을 향상시킬 수 있다.
본 발명은 자율 주행 및 ADAS(Advanced Driver Assistance Systems)에 적용되어 위험 요소 탐지 및 경고 성능을 개선할 수 있다.
본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 위치 추정 기술을 통해 기타 공장 자동화, 드론, 영상 보안, 의료, 핸드폰, 증강 현실, 인터넷, 가전 제품 등의 시장 가치를 상승시킬 수 있다.
도 1 및 도 2a는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치를 설명하는 도면이다.
도 2b는 차량의 위치 추정을 위해, 현재 포즈를 결정하는 흐름을 나타낸다.
도 3 내지 도 6은 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법을 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 포즈추정과정의 결과가 적용된 정밀도로지도 데이터를 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 스테이지, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 스테이지, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1 및 도 2는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치를 설명하는 도면이다.
도 1은 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치의 구성 요소를 예시한다.
도 1을 참고하면, 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치(100)는 상대 포즈 추정부(110), 절대 포즈 추정부(120) 및 융합 추정부(130)를 포함한다.
일례로, 자율주행을 위한 차량의 위치추정 장치(100)는 자율주행이 가능한 차량의 장치 구성 중 하나로서, 차량의 위치를 추정하기 위한 장치일 수 있다.
자율주행을 위한 차량의 위치추정 장치(100)는 스캔 대 스캔 매칭을 통해 상대 포즈 정보를 추정하고, 스캔 대 맵 매칭을 통해서 절대 포즈 정보를 추정함에 따라 차량의 포즈를 추정하고, 추정된 차량의 포즈에 기반하여 차량의 위치를 추정할 수 있다.
또한, 자율주행을 위한 차량의 위치추정 장치(100)는 차량의 위치 추정에 기반하여 차량의 자율주행을 지원하는 장치일 수 있다.
본 발명의 일실시예에 따르면 상대 포즈 추정부(110)는 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정할 수 있다.
예를 들어, 제1 스캔데이터는 특정 시점 이전에 라이다(Lidar)로부터 스캔된 포인트 클라우드 데이터(Point-Cloud-Data)를 포함할 수 있다.
또한, 제2 스캔데이터는 특정 시점에서 라이다로부터 스캔된 포인트 클라우드 데이터를 포함할 수 있다.
다시 말해, 제1 및 제2 스캔데이터는 라이다를 통해 이전 시점과 현재 시점에 스캔된 포인트 클라우드 데이터일 수 있다.
여기서, 특정 시점은 자율주행을 위한 차량의 위치추정 장치(100)가 제2 스캔데이터로부터 상대 특징 정보를 추출하는 시점으로서 현재 시점에 해당할 수 있다.
예를 들어, 상대 특징 정보는 에지(edge) 특징, 기둥(pole) 특징 및 평면(planar) 특징 중 적어도 하나를 포함할 수 있다.
일례로, 상대 포즈 정보는 이전 스캔데이터에서 추출된 상대 특징 정보와 현재 스캔데이터에서 추출된 상대 특징 정보를 스캔 정보 대 스캔 정보로 상호 비교하여 추정되는 상대적인 포즈의 변화량을 포함할 수 있다.
예를 들어, 상대적인 포즈의 변화량은 변형(translation) 및 회전(rotation)에 대한 변화량일 수 있다.
즉, 상대 포즈 추정부(110)는 스캔 대 스캔 매칭을 통해서 포즈의 변화량을 추정하고, 추정된 변화량을 상대 포즈 정보로 추정할 수 있다.
본 발명의 일실시예에 따르면 절대 포즈 추정부(120)는 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도(high definition map, HD-MAP) 데이터에 포함된 제2 절대 특징 정보를 비교하여 절대 포즈 정보를 추정할 수 있다.
본 발명에서 사용되는 상대 특징 또는 절대 특징은 그 의미가 상대적인 특징 또는 절대적인 특징을 나타내는 것은 아니다.
상대 특징은 상대 포즈를 추정하는데 필요한 특징이고, 절대 특징은 절대 포즈를 추정하는데 필요한 특징으로서, 각 특징들은 에지, 기둥, 평면과 같이 특징들이 종류가 다를 뿐, 특징 자체가 서로 상대적이거나 절대적임을 의미하지는 않는다.
또한, 본 발명에서 상대 특징 또는 절대 특징으로 분류하여 나열하는 특징들의 종류는 예시에 불과하고, 포인트클라우드데이터(PCD)에 나타나 있는 주행도로나 도로인접 건물 등으로부터 추출될 수 있는 다양한 특징들로 해석될 수 있다.
일례로, 절대 포즈 추정부(120)는 현재 시점에서 스캔된 포인트 클라우드 데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 상호 비교하여 상대 포즈 정보에 기반한 차량의 포즈로부터 수정된 절대 포즈 정보를 추정할 수 있다.
즉, 절대 포즈 추정부(120)는 제1 절대 특징 정보와 제2 절대 특징 정보의 매칭을 통해 기 추정된 상대 포즈 정보를 수정하고, 수정된 상대 포즈 정보를 절대 포즈 정보로 추정할 수 있다.
예를 들어, 제1 및 제2 절대 특징 정보는 선 정보, 도로마킹(road marking) 정보, 횡단보도(cross walk) 정보 및 정지선(stop line) 정보를 포함할 수 있다.
일례로, 절대 포즈 추정부(120)는 제1 절대 특징 정보에 해당하는 스캔 정보와 제2 절대 특징 정보에 해당하는 맵 정보에 대한 매칭인 스캔 정보 대 맵 정보의 상호 비교를 통해 절대 포즈 정보를 추정할 수 있다.
본 발명의 일실시예에 따르면 융합 추정부(130)는 상대 포즈 정보 또는 절대 포즈 정보와 위치 추정 대상인 차량의 추가 정보를 융합하여 차량의 위치를 추정할 수 있다.
융합 추정부(130)는 상대 포즈 정보만 추정된 상태에서는 상대 포즈 정보를 최종 포즈로써 차량의 위치를 추정하다가, 절대 포즈 정보가 추정되면 상대 포즈 정보를 기반으로 절대 포즈 정보로 업데이트 하여 차량의 위치를 추정할 수 있다.
절대 포즈 정보가 생성되는 경우 상대 포즈 정보는 절대 포즈 정보와 동기화되어 누적된 오차가 제거될 수 있다.
다른 일례로, 상대 포즈 정보는 절대 포즈 정보로 대체되어, 차량의 위치가 추정될 수도 있다.
일반적으로 상대 포즈 정보는 절대 포즈 정보 보다 더 많은(빠른) 빈도로 산출될 수 있다.
절대 포즈 정보는 상대 포즈 정보에 비해서 보다 정확한 위치 추정이 가능하나, 자율차의 빠른이동 시 위치 추정이 부정확할 수 있다.
이를 방지하고자, 더 많은(빠른) 빈도로 산출될 수 있는 상대 포즈 정보를 최종 포즈로써 차량의 위치를 추정하다가, 절대 포즈 정보가 산출되면 상대 포즈 정보 대신에 절대 포즈 정보를 최종 포즈로써 차량의 위치를 추정할 수 있다.
즉, 상대 포즈 정보와 절대 포즈 정보가 10hz, 5hz의 속도로 추정된다면 상대 포즈 정보를 2회 추정할 때 절대 포즈 정보를 1회 추정하므로, 상대 포즈 정보의 추정 2회중 1회는 절대 포즈 정보의 추정이 이루어지지 않으므로 상대 포즈 정보만으로 최종 포즈가 결정된다.
이후, 절대 포즈 정보가 추정되면, 추정된 절대 포즈 정보를 최종 포즈로 결정하여 차량의 위치를 추정할 수 있다.
차량의 추가 정보는 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나를 포함할 수 있다.
일례로, 융합 추정부(130)는 절대 포즈 추정부(120)에 의하여 추정된 최종 포즈 값에 해당하는 절대 포즈 정보에 대한 값을 IMU 또는 TWIST 정보와 융합하여 추가적으로 보다 정밀하게 차량의 포즈를 추정함에 따라 차량의 위치를 추정할 수 있다.
여기서, 융합 추정부(130)는 정보의 융합에 확장 칼만 필터(extended Kalman filter)를 이용할 수 있다.
따라서, 본 발명은 차량의 위치추정에 있어서 상대 포즈 정보 추정 후 절대 포즈 정보를 추정하는 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 차량의 위치추정 장치 및 방법을 제공할 수 있다.
도 2a는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치의 구성 요소를 보다 세부적으로 예시한다.
도 2a를 참고하면, 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 장치(200)는 데이터 수집부(210), 특징 정보 추출부(220), 상대 포즈 추정부(230), 절대 포즈 추정부(240), 정밀지도 제공부(250) 및 융합 추정부(260)를 포함한다.
본 발명의 일실시예에 따르면 자율주행을 위한 차량의 위치추정 장치(200)는 복잡한 포인트 클라우드 맵 대신 맵 용량(크기)가 작고 추상화된 정밀도로지도 기반의 스캔 매칭을 통해 차량의 로컬라이제이션을 수행할 수 있다.
일례로, 데이터 수집부(210)는 스캔데이터 수집부(211), GNSS(Global Navigation Satellite System) 데이터 수집부(212) 및 CAN(Controller Area Network) 데이터 수집부를 포함한다.
본 발명의 일실시예에 따르면 스캔데이터 수집부(211)는 차량의 위치와 관련하여 라이다로부터 스캔된 포인트클라우드 데이터를 스캔데이터로 수집한다.
스캔데이터는 수집되는 시점에 따라 제1 내지 제N 스캔데이터로 구분 가능하고, 비교 대상인 이전 시점이 제1 스캔데이터인 경우 현재 시점이 제2 스캔데이터로 구분될 수 있다.
예를 들어, 스캔데이터는 상대 포즈 추정을 위한 상대 특징 정보와 절대 포즈 추정을 위한 절대 특징 정보를 포함할 수 있다.
본 발명의 일실시예에 따르면 GNSS 데이터 수집부(212)는 인공위성을 이용하여 지상물에 해당하는 차량의 위치, 고도 속도 등에 대한 정보인 GNSS 정보에 해당하는 GNSS 데이터를 수집한다.
GNSS 정보는 차량의 초기 위치를 결정하기 위하여 이용될 수 있다.
본 발명의 일실시예에 따르면 CAN 데이터 수집부(213)는 차량 네트워크 통신 관련 데이터인 CAN 데이터를 수집하고, CAN 데이터는 차량의 위치 추정에 활용될 수 있다.
일례로, 특징 정보 추출부(220)는 스캔데이터 수집부(211)에 의해 수집된 스캔데이터로부터 특징 정보를 추출한다.
추출된 특징 정보는 상대 특징 정보와 절대 특징 정보를 포함할 수 있다.
예를 들어, 상대 특징 정보는 에지(edge) 특징, 기둥(pole) 특징 및 평면(planar) 특징 중 적어도 하나를 포함할 수 있다.
예를 들어, 절대 특징 정보는 선 정보, 도로마킹(road marking) 정보, 횡단보도(cross walk) 정보 및 정지선(stop line) 정보를 포함할 수 있다.
상대 특징 정보는 스캔 정보이고, 절대 특징 정보는 도로특징정보일 수 있다.
본 발명의 일실시예에 따르면 상대 포즈 추정부(230)는 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈 정보를 추정한다.
일례로, 상대 포즈 추정부(230)는 이전 스캔데이터에 해당하는 제1 스캔데이터로부터 추출된 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 현재 스캔데이터에 해당하는 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 상호 비교하여 상대적인 포즈의 변화량을 계산하고, 계산된 변화량을 상대 포즈 정보로 추정할 수 있다.
본 명세서에서는 상대 특징 정보로서, 에지(edge) 특징, 기둥(pole) 특징 및 평면(planar) 특징 중에서 적어도 하나를 포함하는 것으로 설명하고 있으나, 이는 예시에 불과하고, 상대 특징 정보는 포인트클라우드데이터(PCD)에 나타나있는 주행도로나 도로인접 건물로부터 다양한 특징들을 조합한 정보로 해석될 수도 있다.
본 발명의 일실시예에 따르면 상대 포즈 추정부(230)는 제1 에지 특징과 제2 에지 특징을 매칭하여 상호 비교하고, 제1 기둥 특징과 제2 기둥 특징을 매칭하여 상호 비교하며, 제1 평면 특징과 제2 평면 특징을 매칭하여 상호 비교한다.
예를 들어, 계산된 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함할 수 있다.
본 발명의 일실시예에 따르면 절대 포즈 추정부(240)는 스캔데이터에 기반한 절대 특징 정보와 정밀도로지도에 기반한 절대 특징 정보를 비교하여 상대 포즈 추정부(230)에 의해 추정된 상대 포즈 정보를 수정하여 절대 포즈 정보를 추정한다.
일례로, 절대 포즈 추정부(240)는 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보와 제2 절대 특징 정보에 포함된 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도 정보 및 제2 정지선 정보 중 적어도 하나의 제2 절대 특징 정보를 상호 비교하여 절대 포즈 정보로 추정할 수 있다.
본 명세서에서는 절대 특징 정보로서, 정지선(stop line) 정보 중 적어도 하나의 절대 특징 정보와 절대 특징 정보에 포함된 선 정보, 도로마킹 정보, 횡단보도 정보 및 정지선 정보 중 적어도 하나를 포함하는 것으로 설명하고 있다. 그러나, 이는 예시에 불과하고, 절대 특징 정보는 포인트클라우드데이터(PCD)에 나타나있는 주행도로나 도로인접 건물로부터 다양한 특징들을 조합한 정보로 해석될 수도 있다.
본 발명의 일실시예에 따르면 절대 포즈 추정부(240)는 제1 선 정보와 제2 선 정보를 매칭하여 상호 비교하고, 제1 도로마킹 정보와 제2 도로마킹 정보를 매칭하여 상호 비교하며, 제1 횡단보도 정보와 제2 횡단보도 정보를 매칭하여 상호 비교하고, 제1 정지선 정보와 제2 정지선 정보를 매칭하여 상호 비교한다.
일례로, 정밀지도 제공부(250)는 절대 포즈 정보 추정에 이용되는 정밀도로지도 데이터를 외부 데이터베이스로부터 다운로드하거나 항공사진 데이터를 수집하여 정밀도로지도 데이터를 생성할 수 있다.
본 발명의 일실시예에 따르면 정밀지도 제공부(250)는 정밀도로지도 데이터를 절대 포즈 추정부(240)로 제공할 수 있다.
본 발명의 일실시예에 따르면 융합 추정부(260)는 절대 포즈 추정부(240)에 의해 추정된 절대 포즈 정보에 기반한 포즈 값을 IMU 또는 차량의 TWIST 정보와 융합하여 추가적으로 보다 정밀하게 차량의 포즈를 추정하고, 추정된 포즈에 기반하여 차량의 위치를 추정할 수 있다.
일례로, 융합 추정부(260)는 확장 칼만 필터(Extended Kalman Filter)에 기반 기 추정된 절대 포즈 정보와 차량에 대한 적어도 하나의 추가 정보를 융합하여 절대 포즈 정보를 수정하고, 수정된 절대 포즈 정보에 따라 추정된 차량의 포즈에 따라 차량의 위치를 추정할 수 있다.
본 발명의 일실시예에 따르면 융합 추정부(260)는 차량에 대한 GNSS(Global Navigation Satellite System) 정보에 기반한 제1 포즈 정보를 정밀도로지도 데이터에 반영할 수 있다.
또한, 융합 추정부(260)는 상대 포즈 정보에 기반하여 정밀도로지도 데이터에서 제1 포즈 정보를 제2 포즈 정보로 수정할 수 있다.
또한, 융합 추정부(260)는 절대 포즈 정보에 기반하여 정밀지도 데이터에서 수정된 제2 포즈 정보를 제3 포즈 정보로 수정할 수 있다.
이에 따라, 융합 추정부(260)는 제1 포즈 정보, 제2 포즈 정보 및 제3 포즈 정보를 정밀도로지도 데이터에 적용할 수 있다.
제1 포즈 정보, 제2 포즈 정보 및 제3 포즈 정보를 정밀도로지도 데이터에 적용된 결과는 도 7을 이용하여 보충 설명한다.
따라서, 본 발명은 자율주행 시스템에서 차량의 위치인식의 정확도를 향상하여 주행 판단 및 경로 계획과 같은 자율주행의 성능을 향상시킬 수 있다.
또한, 본 발명은 자율 주행 및 ADAS(Advanced Driver Assistance Systems)에 적용되어 위험 요소 탐지 및 경고 성능을 개선할 수 있다.
또한, 본 발명은 맵(map) 기반의 자율주행 시스템에서 맵 업데이트 및 관리의 효율성을 증대할 수 있다.
도 2b는 차량의 위치 추정을 위해, 현재 포즈를 결정하는 흐름(270)을 나타낸다.
상대 포즈 정보는 먼저 Lidar로부터 스캔된 Point-Cloud-Data(포인트클라우드데이터)로부터 에지(edge), 기둥(pole) 평면(planar feature) 등의 특징을 추출하고, 이전 스캔데이터의 특징과 현재 스캔데이터에서의 특징을 상호 비교하여 상대적인 포즈의 변화량(Translation값(T)과 Rotation값(T))을 산출하여 추정될 수 있다.
한편, 절대 포즈 정보는 스캔된 Point-Cloud-Data(포인트클라우드데이터)에서 추출한 선, 도로마킹 등과 같은 도로특징정보들을 HD-MAP에 포함된 도로특징정보와 상호 비교하여 매칭되는 경우 절대 포즈 정보로 추정할 수 있다.
본 발명에서는 상대 포즈 정보만 추정된 상태에서는 상대 포즈 정보를 최종 포즈로써 차량의 위치를 추정하다가, 절대 포즈 정보가 추정되면 상대 포즈 정보를 기반으로 절대 포즈 정보로 업데이트 하여 차량의 위치를 추정할 수 있다.
일반적으로 상대 포즈 정보는 절대 포즈 정보 보다 더 많은(빠른) 빈도로 산출될 수 있다.
절대 포즈 정보는 상대 포즈 정보에 비해서 보다 정확한 위치 추정이 가능하나, 자율차의 빠른이동 시 위치 추정이 부정확할 수 있다.
이를 방지하고자, 더 많은(빠른) 빈도로 산출될 수 있는 상대 포즈 정보를 최종 포즈로써 차량의 위치를 추정하다가, 절대 포즈 정보가 산출되면 상대 포즈 정보 대신에 절대 포즈 정보를 최종 포즈로써 차량의 위치를 추정할 수 있다.
즉, 상대 포즈 정보와 절대 포즈 정보가 10hz, 5hz의 속도로 추정된다면 상대 포즈 정보를 2회 추정할 때 절대 포즈 정보를 1회 추정하므로, 상대 포즈 정보의 추정 2회중 1회는 절대 포즈 정보의 추정이 이루어지지 않으므로 상대 포즈 정보만으로 최종 포즈가 결정된다.
이후, 절대 포즈 정보가 추정되면, 추정된 절대 포즈 정보를 최종 포즈로 결정하여 차량의 위치를 추정할 수 있다.
도 3 및 도 4는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법을 설명하는 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법이 상대 포즈 정보 추정, 절대 포즈 정보 추정 및 융합 추정을 통해서 차량의 위치를 추정하는 방법을 예시한다.
도 3을 참고하면, 단계(301)에서 자율주행을 위한 차량의 위치추정 방법은 상대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 이전 시점에 해당하는 제1 스캔데이터 및 현재 시점에 해당하는 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈 정보를 추정할 수 있다.
다시 말해, 자율주행을 위한 차량의 위치추정 방법은 스캔 투 스캔(scan-to-scan) 매칭을 통해 상대 포즈 정보를 추정할 수 있다.
단계(302)에서 자율주행을 위한 차량의 위치추정 방법은 상대 포즈 정보를 수정하여 절대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교한 매칭 결과에 기반하여 상대 포즈 정보를 수정하고, 수정된 상대 포즈 정보를 절대 포즈 정보로 추정할 수 있다.
다시 말해, 자율주행을 위한 차량의 위치추정 방법은 스캔 투 맵(scan-to-map) 매칭을 통해 절대 포즈 정보를 추정할 수 있다.
단계(303)에서 자율주행을 위한 차량의 위치추정 방법은 절대 포즈 정보와 차량의 추가 정보를 융합하여 차량의 위치를 추정할 수 있다.
즉, 자율주행을 위한 차량의 위치추정 방법은 단계(302)에서 추정된 절대 포즈 정보와 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 차량의 위치를 추정할 수 있다.
따라서, 본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 로컬라이제이션(localization) 기능을 제공함에 따라 객체 검출 모델의 성능과 연산 효율성을 향상하여 다양한 응용 분야에서 위치 추정 기술에 대한 사용성을 향상시킬 수 있다.
도 4를 참고하면, 단계(401)에서 자율주행을 위한 차량의 위치추정 방법은 차량의 포즈에 대한 스캔데이터를 수집한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 차량의 위치와 관련하여 라이다로부터 스캔된 포인트클라우드 데이터를 스캔데이터로 수집한다.
예를 들어, 스캔데이터는 수집되는 시점에 따라 제1 내지 제N 스캔데이터로 구분 가능하고, 비교 대상인 이전 시점이 제1 스캔데이터인 경우 현재 시점이 제2 스캔데이터로 구분될 수 있다.
단계(402)에서 자율주행을 위한 차량의 위치추정 방법은 상대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 이전 시점에 해당하는 제1 스캔데이터 및 현재 시점에 해당하는 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈 정보를 추정할 수 있다.
단계(403)에서 자율주행을 위한 차량의 위치추정 방법은 데이터베이스에 내장된 정밀도로지도 데이터를 로딩한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 절대 포즈 정보 추정에 이용되는 정밀도로지도 데이터를 외부 데이터베이스로부터 사전에 다운로드하여 데이터베이스를 통해 유지하고, 필요시 이를 로딩할 수 있다.
단계(404)에서 자율주행을 위한 차량의 위치추정 방법은 상대 포즈 정보를 수정하여 절대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교한 매칭 결과에 기반하여 상대 포즈 정보를 수정하고, 수정된 상대 포즈 정보를 절대 포즈 정보로 추정할 수 있다.
단계(405)에서 자율주행을 위한 차량의 위치추정 방법은 차량의 포즈를 갱신함에 따라 차량의 위치를 추정한다.
자율주행을 위한 차량의 위치추정 방법은 절대 포즈 정보와 차량의 추가 정보를 융합하여 차량의 위치를 추정할 수 있다.
즉, 자율주행을 위한 차량의 위치추정 방법은 단계(404)에서 추정된 절대 포즈 정보와 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 차량의 포즈를 갱신하고, 갱신된 포즈에 기반하여 차량의 위치를 추정할 수 있다.
도 5는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법이 상대 포즈 정보를 추정하는 방법을 예시한다.
도 5를 참고하면, 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법은 단계(501)에서 차량의 포즈에 대한 스캔데이터를 수집한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 차량의 위치와 관련하여 라이다로부터 스캔된 포인트클라우드 데이터를 스캔데이터로 수집한다.
단계(502)에서 자율주행을 위한 차량의 위치추정 방법은 제1 및 제2 스캔데이터로부터 상대 특징 정보를 추출한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 이전 스캔데이터에 해당하는 제1 스캔데이터로부터 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 추출한다.
또한, 자율주행을 위한 차량의 위치추정 방법은 현재 스캔데이터에 해당하는 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 추출한다.
단계(503)에서 자율주행을 위한 차량의 위치추정 방법은 제1 상대 특징 정보와 제2 상대 특징 정보를 상호 매칭한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제1 에지 특징과 제2 에지 특징을 매칭하여 상호 비교하고, 제1 기둥 특징과 제2 기둥 특징을 매칭하여 상호 비교하며, 제1 평면 특징과 제2 평면 특징을 매칭하여 상호 비교하여 매칭한다.
예를 들어, 제1 상대 특징 정보는 제1 에지 특징, 제1 기둥 특징 및 제1 평면 특징을 포함하고, 제2 상대 특징 정보는 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징을 포함할 수 있다.
단계(504)에서 자율주행을 위한 차량의 위치추정 방법은 상대 포즈 변화량에 따른 상대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제1 상대 특징 정보와 제2 상대 특징 정보를 상호 비교한 결과인 상대적인 포즈의 변화량에 기반하여 상대 포즈 정보를 추정할 수 있다.
예를 들어, 상대적인 포즈의 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함할 수 있다.
도 6은 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법을 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법이 절대 포즈 정보를 추정하는 방법을 예시한다.
도 6을 참고하면, 본 발명의 일실시예에 따른 자율주행을 위한 차량의 위치추정 방법은 단계(601)에서 차량의 포즈에 대한 스캔데이터를 수집한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 차량의 위치와 관련하여 라이다로부터 스캔된 포인트클라우드 데이터를 스캔데이터로 수집한다.
단계(602)에서 자율주행을 위한 차량의 위치추정 방법은 스캔데이터로부터 절대 특징 정보를 추출한다. 여기서, 스캔데이터는 현재 시점에 해당하는 제2 스캔데이터일 수 있다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보를 스캔데이터로부터 추출한다.
단계(603)에서 자율주행을 위한 차량의 위치추정 방법은 단계(602)에서 추출된 절대 특징 정보와 정밀도로지도 데이터에 포함된 절대 특징 정보를 상호 매칭한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 제1 선 정보와 제2 선 정보를 매칭하여 상호 비교하고, 제1 도로마킹 정보와 제2 도로마킹 정보를 매칭하여 상호 비교하며, 제1 횡단보도 정보와 제2 횡단보도 정보를 매칭하여 상호 비교하고, 제1 정지선 정보와 제2 정지선 정보를 매칭하여 상호 비교한다.
예를 들어, 추출된 절대 특징 정보는 제1 선 정보, 제1 도로마킹 정보, 제1 횡단보도 정보 및 제1 정지선 정보를 포함하고, 정밀도로지도 데이터에 포함된 절대 특징 정보는 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도 정보 및 제2 정지선 정보를 포함할 수 있다.
예를 들어, 추출된 절대 특징 정보는 제1 절대 특징 정보이고, 정밀도로지도 데이터에 포함된 절대 특징 정보는 제2 절대 특징 정보일 수 있다.
단계(604)에서 자율주행을 위한 차량의 위치추정 방법은 절대 포즈 정보를 추정한다.
즉, 자율주행을 위한 차량의 위치추정 방법은 단계(603)에서 매칭된 결과에 기반하여 도 5에서 추정된 상대 포즈 정보를 수정하여 절대 포즈 정보를 추정할 수 있다.
예를 들어, 절대 포즈 정보는 차량의 절대 포즈를 추정하기 위해 사전 제작된 정밀도로지도와 스캔데이터에서 추출된 도로특징정보들 간의 비교매칭 결과를 반영하여 수정된 차량의 포즈에 대한 정보일 수 있다.
도 7은 본 발명의 일실시예에 따른 포즈추정과정의 결과가 적용된 정밀도로지도 데이터를 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 포즈추정과정의 결과가 적용된 정밀도로지도 데이터를 예시한다.
도 7을 참고하면, 본 발명의 일실시예에 따른 포즈추정과정의 결과가 적용된 정밀도로지도 데이터(700)는 차량에 대한 GNSS 정보에 기반한 제1 포즈 정보(701), 상대 포즈 정보에 기반하여 제1 포즈 정보(701)를 수정한 제2 포즈 정보(702), 절대 포즈 정보에 기반하여 제2 포즈 정보(703)를 수정한 제3 포즈 정보(703)를 포함한다.
일례로, 상대 포즈 정보는 차량의 x축, y축 및 z축의 변화 값과 관련되고, 차량의 회전과 관련된 요(yaw)축의 변화 값, 차량의 전진 및 후진과 관련된 피치(pitch)축의 변화 값 및 차량의 좌우 이동과 관련된 롤(roll)축의 변화 값과 관련하여 추정되는 차량의 포즈 정보를 포함할 수 있다.
본 발명의 일실시예에 따르면 절대 포즈 정보는 제1 절대 특징 정보와 제2 절대 특징 정보가 상호 매칭되는 차량의 x축, y축 및 z축의 값과 관련되고, 차량의 회전과 관련된 요(yaw)축의 값, 차량의 전진 및 후진과 관련된 피치(pitch)축의 값 및 차량의 좌우 이동과 관련된 롤(roll)축의 값과 관련하여 추정되는 차량의 포즈 정보를 포함할 수 있다.
예를 들어, 제2 포즈 정보(702)는 x축의 변화에 해당하는 Tx, y축의 변화에 해당하는 Ty, z축의 변화에 해당하는 Tz, 롤축의 값에 해당하는 r, 피치축의 값에 해당하는 p 및 요축의 값에 해당하는 y로 표시될 수 있다.
예를 들어, 제3 포즈 정보(703)는 x축에 해당하는 X, y축에 해당하는 Y, z축에 해당하는 Z, 롤축의 값에 해당하는 r, 피치축의 값에 해당하는 p 및 요축의 값에 해당하는 y로 표시될 수 있다.
따라서, 본 발명은 스캔 투 스캔(scan-to-scan) 및 스캔 투 맵(scan-to-map) 매칭 구조를 이용한 위치 추정 기술을 통해 기타 공장 자동화, 드론, 영상 보안, 의료, 핸드폰, 증강 현실, 인터넷, 가전 제품 등의 시장 가치를 상승시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 자율주행을 위한 차량의 위치추정 장치
110: 상대 포즈 추정부 120: 절대 포즈 추정부
130: 융합 추정부

Claims (13)

  1. 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 상대 포즈 추정부;
    상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로 상기 절대 포즈 정보를 추정하는 절대 포즈 추정부; 및
    상기 추정된 상대 포즈 정보 또는 상기 추정된 절대 포즈 정보와, 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하되, 상기 상대 포즈 정보만 추정된 상태에서는 상기 상대 포즈 정보로써 상기 차량의 위치를 추정하다가, 상기 절대 포즈 정보가 추정되면 상기 상대 포즈 정보를 기반으로 상기 절대 포즈 정보로 업데이트 하여 상기 차량의 위치를 추정하는 융합 추정부를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  2. 제1항에 있어서,
    상기 상대 포즈 추정부는 이전 스캔데이터에 해당하는 상기 제1 스캔데이터로부터 추출된 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 현재 스캔데이터에 해당하는 상기 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 상호 비교하여 상대적인 포즈의 변화량을 계산하고, 상기 계산된 변화량을 상기 상대 포즈 정보로 추정하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  3. 제2항에 있어서,
    상기 계산된 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  4. 제1항에 있어서,
    상기 절대 포즈 추정부는 상기 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보와 상기 제2 절대 특징 정보에 포함된 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도 정보 및 제2 정지선 정보 중 적어도 하나의 제2 절대 특징 정보를 상호 비교하여 상기 절대 포즈 정보로 추정하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  5. 제1항에 있어서,
    상기 융합 추정부는 확장 칼만 필터(Extended Kalman Filter)에 기반하여 상기 추정된 절대 포즈 정보와 상기 적어도 하나의 추가 정보를 융합하여 상기 추정된 절대 포즈 정보를 수정하고, 상기 수정된 절대 포즈 정보에 따라 추정된 상기 차량의 포즈에 따라 상기 차량의 위치를 추정하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  6. 제1항에 있어서,
    상기 융합 추정부는 상기 차량에 대한 GNSS(Global Navigation Satellite System) 정보에 기반한 제1 포즈 정보를 상기 정밀도로지도 데이터에 반영하고, 상기 추정된 상대 포즈 정보에 기반하여 상기 정밀도로지도 데이터에서 상기 제1 포즈 정보를 제2 포즈 정보로 수정하며, 상기 추정된 절대 포즈 정보에 기반하여 상기 정밀지도 데이터에서 상기 수정된 제2 포즈 정보를 제3 포즈 정보로 수정하여 상기 제1 포즈 정보, 상기 제2 포즈 정보 및 상기 제3 포즈 정보를 상기 정밀도로지도 데이터에 적용하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  7. 제1항에 있어서,
    상기 제1 스캔데이터는 특정 시점 이전에 라이다(Lidar)로부터 스캔된 포인트 클라우드 데이터(Point-Cloud-Data)를 포함하고,
    상기 제2 스캔데이터는 상기 특정 시점에서 라이다로부터 스캔된 포인트 클라우드 데이터를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  8. 제1항에 있어서,
    상기 상대 포즈 정보는 상기 차량의 x축, y축 및 z축의 변화 값과 관련되고, 상기 차량의 회전과 관련된 요(yaw)축의 변화 값, 상기 차량의 전진 및 후진과 관련된 피치(pitch)축의 변화 값 및 상기 차량의 좌우 이동과 관련된 롤(roll)축의 변화 값과 관련하여 추정되는 상기 차량의 포즈 정보를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  9. 제1항에 있어서,
    상기 절대 포즈 정보는 상기 제1 절대 특징 정보와 상기 제2 절대 특징 정보가 상호 매칭되는 차량의 x축, y축 및 z축의 값과 관련되고, 상기 차량의 회전과 관련된 요(yaw)축의 값, 상기 차량의 전진 및 후진과 관련된 피치(pitch)축의 값 및 상기 차량의 좌우 이동과 관련된 롤(roll)축의 값과 관련하여 추정되는 상기 차량의 포즈 정보를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 장치.
  10. 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 단계;
    상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 단계; 및
    상기 추정된 상대 포즈 정보 또는 상기 추정된 절대 포즈 정보와 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하되, 상기 상대 포즈 정보만 추정된 상태에서는 상기 상대 포즈 정보로써 상기 차량의 위치를 추정하다가, 상기 절대 포즈 정보가 추정되면 상기 상대 포즈 정보를 기반으로 상기 절대 포즈 정보로 업데이트 하여 상기 차량의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 방법.
  11. 제10항에 있어서,
    상기 제1 및 제2 스캔데이터로부터 추출된 상대 특징 정보를 비교하여 차량의 상대 포즈(pose) 정보를 추정하는 단계는,
    이전 스캔데이터에 해당하는 상기 제1 스캔데이터로부터 추출된 제1 상대 특징 정보에 포함된 제1 에지(edge) 특징, 제1 기둥(pole) 특징 및 제1 평면(planar) 특징 중 적어도 하나의 제1 상대 특징 정보를 현재 스캔데이터에 해당하는 상기 제2 스캔데이터로부터 추출된 제2 상대 특징 정보에 포함된 제2 에지 특징, 제2 기둥 특징 및 제2 평면 특징 중 적어도 하나의 제2 상대 특징 정보를 상호 비교하여 상대적인 포즈의 변화량을 계산하는 단계; 및
    상기 계산된 변화량을 상기 상대 포즈 정보로 추정하는 단계를 포함하고,
    상기 계산된 변화량은 에지 특징, 기둥 특징 및 평면 특징 중 적어도 하나에 대한 변형(translation) 값 및 회전(rotation) 값 중 적어도 하나의 변화 값을 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 방법.
  12. 제10항에 있어서,
    상기 제2 스캔데이터로부터 추출된 제1 절대 특징 정보와 정밀도로지도 데이터에 포함된 제2 절대 특징 정보를 비교하여 상기 추정된 상대 포즈 정보를 기반으로, 상대 절대 포즈 정보를 추정하는 단계는,
    상기 제1 절대 특징 정보에 포함된 제1 선 정보, 제1 도로마킹(road marking) 정보, 제1 횡단보도(cross walk) 정보 및 제1 정지선(stop line) 정보 중 적어도 하나의 제1 절대 특징 정보와 상기 제2 절대 특징 정보에 포함된 제2 선 정보, 제2 도로마킹 정보, 제2 횡단보도 정보 및 제2 정지선 정보 중 적어도 하나의 제2 절대 특징 정보를 상호 비교하여 상기 절대 포즈 정보로 추정하는 단계를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 방법.
  13. 제10항에 있어서,
    상기 추정된 절대 포즈 정보와 상기 차량의 IMU(Inertial Measurement Unit) 정보 및 차량의 TWIST 정보 중 적어도 하나의 추가 정보를 융합하여 상기 차량의 위치를 추정하는 단계는,
    확장 칼만 필터(Extended Kalman Filter)에 기반하여 상기 추정된 절대 포즈 정보와 상기 적어도 하나의 추가 정보를 융합하여 상기 추정된 절대 포즈 정보를 수정하는 단계; 및
    상기 수정된 절대 포즈 정보에 따라 추정된 상기 차량의 포즈에 따라 상기 차량의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는
    자율주행을 위한 차량의 위치추정 방법.
KR1020210172380A 2020-12-03 2021-12-03 자율주행을 위한 차량의 위치추정 장치 및 방법 KR102633705B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200167672 2020-12-03
KR20200167672 2020-12-03

Publications (2)

Publication Number Publication Date
KR20220078519A true KR20220078519A (ko) 2022-06-10
KR102633705B1 KR102633705B1 (ko) 2024-02-06

Family

ID=81986483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210172380A KR102633705B1 (ko) 2020-12-03 2021-12-03 자율주행을 위한 차량의 위치추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102633705B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606633B1 (ko) * 2023-04-21 2023-11-29 주식회사 라이드플럭스 자율주행 차량의 주행 환경 특성을 고려한 스캔 데이터의 매칭 방법, 장치 및 컴퓨터프로그램

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101273245B1 (ko) 2013-02-26 2013-06-11 국방과학연구소 자율이동 차량용 자율주행 시스템 및 이를 이용한 주행가능 경로 생성방법
KR20180103462A (ko) * 2017-03-10 2018-09-19 현대자동차주식회사 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
JP2019137391A (ja) * 2018-02-07 2019-08-22 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両のための自己位置推定方法、システム及び機械可読媒体
KR20190109645A (ko) * 2018-03-06 2019-09-26 현대모비스 주식회사 차량의 측위 장치 및 그 방법
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
JP2020055400A (ja) * 2018-10-01 2020-04-09 日立オートモティブシステムズ株式会社 車両制御システム
JP2020056733A (ja) * 2018-10-03 2020-04-09 アイシン精機株式会社 車両制御装置
KR20200042760A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
KR102137043B1 (ko) 2019-05-02 2020-07-23 한국교통대학교산학협력단 환경센서와 정밀지도를 이용한 측위 정확도 개선 시스템
KR20200096725A (ko) 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101273245B1 (ko) 2013-02-26 2013-06-11 국방과학연구소 자율이동 차량용 자율주행 시스템 및 이를 이용한 주행가능 경로 생성방법
US20200098135A1 (en) * 2016-12-09 2020-03-26 Tomtom Global Content B.V. Method and System for Video-Based Positioning and Mapping
KR20180103462A (ko) * 2017-03-10 2018-09-19 현대자동차주식회사 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
KR102283773B1 (ko) 2017-03-10 2021-07-29 현대자동차주식회사 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
JP2019137391A (ja) * 2018-02-07 2019-08-22 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両のための自己位置推定方法、システム及び機械可読媒体
KR20190109645A (ko) * 2018-03-06 2019-09-26 현대모비스 주식회사 차량의 측위 장치 및 그 방법
JP2020055400A (ja) * 2018-10-01 2020-04-09 日立オートモティブシステムズ株式会社 車両制御システム
JP2020056733A (ja) * 2018-10-03 2020-04-09 アイシン精機株式会社 車両制御装置
KR20200042760A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
KR20200096725A (ko) 2019-01-30 2020-08-13 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 rgb 포인트 클라우드 기반의 맵 생성 시스템
KR102137043B1 (ko) 2019-05-02 2020-07-23 한국교통대학교산학협력단 환경센서와 정밀지도를 이용한 측위 정확도 개선 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606633B1 (ko) * 2023-04-21 2023-11-29 주식회사 라이드플럭스 자율주행 차량의 주행 환경 특성을 고려한 스캔 데이터의 매칭 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
KR102633705B1 (ko) 2024-02-06

Similar Documents

Publication Publication Date Title
KR102273559B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN108230379B (zh) 用于融合点云数据的方法和装置
CN109214248B (zh) 用于识别无人驾驶车辆的激光点云数据的方法和装置
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
KR102463176B1 (ko) 위치 추정 장치 및 방법
CN110084832B (zh) 相机位姿的纠正方法、装置、系统、设备和存储介质
KR20200044420A (ko) 위치 추정 방법 및 장치
EP3438925A1 (en) Information processing method and information processing device
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN112712558A (zh) 一种无人驾驶设备的定位方法及装置
CN111461981A (zh) 点云拼接算法的误差估计方法和装置
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN111784835A (zh) 制图方法、装置、电子设备及可读存储介质
CN114636414A (zh) 高清晰度城市地图绘制
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN111263308A (zh) 定位数据采集方法及系统
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
CN111736586A (zh) 用于路径规划的自动驾驶车辆位置的方法及其装置
US10977953B2 (en) Probabilistic landmark navigation (PLN) system
KR102322000B1 (ko) 비주얼 로컬리제이션과 오도메트리를 기반으로 한 경로 추적 방법 및 시스템
KR102633705B1 (ko) 자율주행을 위한 차량의 위치추정 장치 및 방법
CN113761647B (zh) 一种无人集群系统的仿真方法及系统
KR20200109116A (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
CN116958452A (zh) 三维重建方法和系统
CN112380933A (zh) 无人机识别目标的方法、装置及无人机

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant