KR20220065126A - 다중 센서 기반 주행 차로 인식 장치 및 방법 - Google Patents

다중 센서 기반 주행 차로 인식 장치 및 방법 Download PDF

Info

Publication number
KR20220065126A
KR20220065126A KR1020200150903A KR20200150903A KR20220065126A KR 20220065126 A KR20220065126 A KR 20220065126A KR 1020200150903 A KR1020200150903 A KR 1020200150903A KR 20200150903 A KR20200150903 A KR 20200150903A KR 20220065126 A KR20220065126 A KR 20220065126A
Authority
KR
South Korea
Prior art keywords
information
sensor
driving lane
vehicle
road
Prior art date
Application number
KR1020200150903A
Other languages
English (en)
Inventor
황대성
박준호
서재규
이연주
정호기
Original Assignee
현대자동차주식회사
기아 주식회사
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 한국교통대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020200150903A priority Critical patent/KR20220065126A/ko
Priority to US17/344,287 priority patent/US11741725B2/en
Priority to CN202110654786.9A priority patent/CN114475615A/zh
Publication of KR20220065126A publication Critical patent/KR20220065126A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Abstract

저가용 GPS(Global Positioning System)와 다중 환경 인식센서, 정밀지도의 융합을 기반으로 한 도로 경계 검출 및 주행 차로 인식 기술을 통해 도로에서의 정밀측위의 성능을 향상시키는 주행 차로 인식 장치가 제공된다. 상기 주행 차로 인식 장치는, 도로 정보를 산출하는 제 1 센서, 이동 장애물 정보를 산출하는 제 2 센서, 차량의 움직임 정보를 산출하는 제 3 센서, 및 상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 움직임 정보를 기반으로 상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나를 최종 후보 위치 정보로 선택하는 제어기를 포함하는 것을 특징으로 한다.

Description

다중 센서 기반 주행 차로 인식 장치 및 방법{Apparatus and Method for detecting driving lane based on multi-sensor}
본 발명은 주행 차로 인식 기술에 관한 것으로서, 더 상세하게는 도로에서의 정밀측위를 가능하게 하는 다중 센서 기반 주행 차로 인식 시스템 및 방법에 대한 것이다.
고가의 GNSS/INS(global navigation satellite systems/Inertial Navigation System)를 사용하여 데모용 자율주행 차량을 구현하는 기술이 연구되고 있다. 특히, 자율주행의 경우, 종방향 위치 인식은 카메라를 이용하여 노면 표시, 차선, 신호등, 이정표 등과 같은 도로상의 랜드마크와 INS를 활용하여 이루어지고 있다.
그런데, 자율주행의 경우, 횡방향 위치 인식이 중요한데, 이를 위해서는 주행 차로 인식과 차로내 위치를 종합하여 인식하는 기술이 필요하다. 또한, 주행 차로 인식을 위해서는 도로 경계 검출이 요구되고 있다.
그런데, 도로 경계 검출의 경우, 날씨, 장애물의 종류, 센서들의 특징 등으로 인해 부정확하다는 문제점이 있다.
또한, GNSS/INS(global navigation satellite systems/Inertial Navigation System)를 양산용 자율주행 차량에 적용하기 어렵다는 문제점이 있다.
1. 한국공개특허번호 제10-2020-0065875호
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 저가용 GPS(Global Positioning System)와 다중 환경 인식센서, 정밀지도의 융합을 기반으로 한 도로 경계 검출 및 주행 차로 인식 기술을 통해 도로에서의 정밀측위의 성능을 향상시키는 주행 차로 인식 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 저가용 GPS(Global Positioning System)와 다중 환경 인식센서, 정밀지도의 융합을 기반으로 한 도로 경계 검출 및 주행 차로 인식 기술을 통해 도로에서의 정밀측위의 성능을 향상시키는 주행 차로 인식 장치를 제공한다.
상기 주행 차로 인식 장치는,
도로 정보를 산출하는 제 1 센서;
이동 장애물 정보를 산출하는 제 2 센서;
차량의 움직임 정보를 산출하는 제 3 센서; 및
상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 움직임 정보를 기반으로 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나를 최종 후보 위치 정보로 선택하는 제어기;를 포함하는 것을 특징으로 한다.
이때, 상기 도로 경계 데이터는 상기 움직임 정보를 이용하여 이전 복수개의 프레임에서 추출되어 현재 프레임에 누적되는 것을 특징으로 한다.
또한, 복수개의 상기 후보 위치 정보는 제 4 센서를 이용하여 획득되는 주행 차선 정보 또는 현재 차량 위치 정보를 기준으로 미리 설정되는 정밀 지도 차선 정보를 이용하여 산출되는 것을 특징으로 한다.
또한, 복수개의 상기 후보 위치 정보는 상기 정밀 지도 차선 정보의 지도 도로 경계에 놓이게 되는 미리 설정되는 관심영역을 일정한 간격으로 나누어 형성되는 격자를 기반으로 산출되는 것을 특징으로 한다.
또한, 상기 격자는 다수개의 종방향과 다수개의 횡방향으로 이루어지며, 다수개의 상기 종방향과 다수개의 상기 횡방향이 모두 각각 횡방향 후보 위치 정보 및 종방향 후보 위치 정보로 설정되는 것을 특징으로 한다.
또한, 상기 격자는 다수개의 방향각으로 이루어지며, 다수개의 방향각은 상기 관심영역을 상기 차량의 중심점을 기준으로 일정한 간격으로 분할하여 생성되며, 다수개의 상기 방향각은 모두 후보 방향각 정보로 설정되는 것을 특징으로 한다.
또한, 상기 복수개는 상기 종방향 위치 정보의 갯수 및 상기 횡방향 위치 정보의 갯수 및 상기 방향각 위치 정보의 갯수의 곱인 것을 특징으로 한다.
또한, 복수개의 상기 후보 위치 정보는 상기 차량의 위치 오차를 고려하여 횡방향에 기반하여 미리설정되는 개수의 횡방향 후보 위치 정보로만 이루어지는 것을 특징으로 한다.
또한, 하나의 도로 경계내에 존재하는 상기 차량의 위치를 주행 차선과 상기 차량의 중심사이에서 산출되는 측방향 옵셋의 비율로 결정하는 것을 특징으로 한다.
또한, 상기 정밀 지도 차선 정보에서 미리 설정되는 관심영역내에 파악되는 차선 위치 및 개수를 기준으로 상기 측방향 옵셋의 비율로 각 차선마다 미리 설정되는 개수의 상기 횡방향 후보 위치 정보가 결정되는 것을 특징으로 한다.
또한, 미리설정되는 개수의 상기 횡방향 후보 위치 정보의 각 방향각은 상기 제 2 센서를 통해 인식되는 상기 차량의 전방 사이의 좌차선 방향각과 우차선 방향각의 제 1 평균 및 상기 정밀 지도 차선 정보를 통해 산출되는 미리설정되는 개수의 상기 횡방향 후보 위치 정보의 좌차선 방향각과 우차선 방향각의 제 2 평균의 차이값을 이용하여 산출되는 것을 특징으로 한다.
또한, 상기 제어기는 복수개의 상기 후보 위치 정보를 기준으로 검색되는 정밀 지도 도로 경계 정보와 누적된 도로 경계 데이터를 정합하여 각 후보 위치 정보마다 정합도 점수를 부여하고, 가장 높은 정합도 점수가 부여된 상기 최종 후보 위치 정보의 차로를 주행 차로로 선정하는 것을 특징으로 한다.
또한, 상기 제어기는 상기 정밀 지도 도로 경계 정보와 상기 누적된 도로 경계 데이터를 Y축 좌표와 상기 X축 좌표로 이루어지는 좌표계로 변환하여 상기 Y축 좌표의 인덱스를 기준으로 상기 X축 좌표의 값만을 비교하여 상기 정합도 점수를 계산하는 것을 특징으로 한다.
또한, 상기 정합도 점수는 상기 정밀 지도 도로 경계 정보의 근처에 위치하는 데이터점의 갯수를 이용하며, 상기 데이터점은 상기 제 1 센서에 의해 생성되며, 상기 데이터점은 상기 정밀 지도 도로 경계 정보를 기준으로 좌측점의 갯수, 우측점의 갯수, 및 도로 경계사이점의 갯수인 것을 특징으로 한다.
또한, 상기 제어기는 상기 이전 프레임의 갯수가 미리 설정되는 설정값보다 크면 가장 먼 과거의 이전 프레임을 하나 제거하고 하나의 상기 현재 프레임을 추가하여 누적 갯수를 일정하게 유지하는 것을 특징으로 한다.
또한, 상기 누적 갯수는 상기 차량의 차속 또는 이동 거리에 따라 가변적으로 설정되는 것을 특징으로 한다.
또한, 상기 제 1 센서는 거리 센서이고, 제 2 센서는 비전 센서이고, 상기 제 3 센서는 모션 센서이며, 상기 제 4 센서는 GPS(Global Positioning System) 또는 영상 센서인 것을 특징으로 한다.
또한, 상기 제어기는 상기 최종 후보 위치 정보에 대한 미리 설정되는 무효 판단 조건을 실행하여 유효 여부를 판단하는 것을 특징으로 한다.
또한, 상기 무효 판단 조건은 상기 최종 후보 위치 정보의 점수 정합도가 미리 설정되는 제 1 임계값보다 작은지를 비교하는 조건, 상기 최종 후보 위치 정보에서 주행 차선내에 존재하는 거리 센서 잔류량이 미리 설정되는 제 2 임계값보다 큰지를 비교하는 조건, 및 상기 최종 후보 위치 정보에서 상기 차량의 전방에 존재하는 좌차선 방향 및 우차선 방향의 차이에 따른 평행 여부를 만족하는지와 상기 차량의 중심을 기준으로 좌차선의 측방향 옵셋과 우차선의 측방향 옵셋의 차이를 미리 설정되는 도로폭과 비교하여 차로폭 이탈 여부를 결정하는 조건 중 어느 하나인 것을 특징으로 한다.
다른 한편으로, 본 발명의 다른 일실시예는, 제 1 센서 및 제 2 센서가 각각 도로 정보 및 이동 장애물 정보를 산출하는 제 1 정보 산출 단계; 제 3 센서가 차량의 움직임 정보를 산출하는 제 2 정보 산출 단계; 및 제어기가 상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 움직임 정보를 기반으로 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나를 최종 후보 위치 정보로 선택하는 선택 단계;를 포함하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 방법을 제공한다.
또한, 상기 선택 단계는, 상기 제어기가 제 4 센서를 이용하여 획득되는 주행 차선 정보 및 위치 정보 획득부에서 얻은 현재 차량 위치 정보 중 적어도 하나를 기준으로 미리 설정되는 정밀 지도 차선 정보를 이용하여 복수개의 상기 후보 위치 정보를 산출하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 선택 단계는, 상기 제어기가 복수개의 상기 후보 위치 정보를 기준으로 검색되는 정밀 지도 도로 경계 정보와 누적된 도로 경계 데이터를 정합하여 각 후보 위치 정보마다 정합도 점수를 부여하고, 가장 높은 정합도 점수가 부여된 상기 최종 후보 위치 정보의 차로를 주행 차로로 선정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 선택 단계는, 상기 제어기가 상기 정밀 지도 도로 경계 정보와 상기 누적된 도로 경계 데이터를 Y축 좌표와 상기 X축 좌표로 이루어지는 좌표계로 변환하여 상기 Y축 좌표의 인덱스를 기준으로 상기 X축 좌표의 값만을 비교하여 상기 정합도 점수를 계산하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 선택 단계는, 상기 제어기는 상기 최종 후보 위치 정보에 대한 미리 설정되는 무효 판단 조건을 실행하여 유효 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 도로 경계의 형태가 복잡하거나 도로 경계 밖 또는 도로 내 잡음이 많이 있는 경우에도 정밀지도와의 정합을 통한 도로 경계 판단에 의해 도로 경계를 정확하게 검출할 수 있다.
또한, 본 발명의 다른 효과로서는 무효(Invalid) 판단 기능을 통해 카메라 센서 출력 및 라이다 센서 출력의 오류에 의한 도로 경계 오검출 또는 주행 차로 오인식 결과의 사용을 제한할 수 있어 결과적으로 주행 차로 인식률이 높아지는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 다중 센서 기반 주행 차로 인식 장치의 구성 블럭도이다.
도 2는 도 1에 도시된 제어기의 상세한 구성 블럭도이다.
도 3은 본 발명의 일실시예에 따른 다중 센서 기반으로 주행 차로를 인식하는 과정을 보여주는 흐름도이다.
도 4는 도 3에 도시된 거리 센서 출력 분리 단계의 개념을 나타내는 예시이다.
도 5는 도 3에 도시된 거리센서 출력 누적 단계의 개념을 보여주는 도면이다.
도 6은 도 3에 도시된 후보 위치 생성 단계의 개념을 보여주는 도면이다.
도 7은 도 6에 따른 일정범위내 방향각 후보 생성을 보여주는 일예시의 개념도이다.
도 8은 도 6에 따른 후보 위치 생성을 보여주는 다른 예시의 개념도이다.
도 9는 도 8에 따른 인식된 주행 차선의 방향을 찾는 개념도이다.
도 10은 도 8에 따른 정밀 지도의 방향각을 찾는 개념도이다.
도 11은 도 8 내지 도 10에 따른 후보 위치마다의 방향각을 계산하는 흐름도이다.
도 12는 도 3에 도시된 최적후보위치 선정 단계의 개념을 보여주는 일예시이다.
도 13은 도 3에 도시된 최적후보위치 선정 단계의 개념을 보여주는 다른 예시이다.
도 14는 도 3에 도시된 정인식된 최종 후보 위치 정보의 점수와 오인식된 최종 후보 위치 정보의 점수 분포로부터 임계값을 설정하는 개념도이다.
도 15는 도 3에 도시된 무효(invalid) 판단 단계의 개념을 보여주는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 다중 센서 기반 주행 차로 인식 장치 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 다중 센서 기반 주행 차로 인식 장치(100)의 구성 블럭도이다. 도 1을 참조하면, 주행 차로 인식 장치(100)는, 제어기(110), 차량의 현재 위치 정보를 획득하는 위치 정보 획득부(120), 차량이 주행하는 도로의 도로 정보, 도로를 움직이는 이동 장애물 정보, 도로를 움직이는 차량의 움직임 정보를 산출하는 센서계(130), 정보들을 저장하는 저장부(140) 등을 포함하여 구성될 수 있다. 물론, 이외에도 구성 요소들에 전원을 공급하는 전원부(150), 정보를 출력하는 출력부(160) 등을 포함하여 구성될 수 있다. 물론, 도 1에 도시된 구성요소들은 본 발명의 일실시예에 따른 다중 센서 기반 주행 차로 인식 장치를 위한 구성요소들 위주로 기술된 것으로, 다른 구성요소들은 생략되어 있을 뿐이다.
제어기(110)는 구성요소들(120 내지 160)과 신호를 주고받으며, 이들 제어하는 기능을 수행한다. 또한, 제어기(110)는 움직임 정보를 기반으로 상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나의 후보 위치 정보로 선택하는 기능을 수행한다.
위치 정보 획득부(120)는 차량의 현재 위치 정보를 획득하는 기능을 수행한다. 따라서, 위치 정보 획득부(120)는 GPS(Global Positioning System) 수신기가 될 수 있으나, 이에 한정되는 것은 아니며, IMU(Inertial Measurement Unit), LIDAR(Light Detection And Ranging), 레이더 등이 될 수 있다. 또한, IMU는 가속도계, 회전 속도계 등을 포함하여 구성될 수 있다.
센서계(130)는 차량이 주행하는 도로를 센싱하여 도로에 대한 거리 정보를 생성하는 거리 센서(131), 동일 도로상에서 이동하는 이동 장애물을 생성하는 비전 센서(132), 차량에 대한 움직임을 센싱하여 움직임 정보를 생성하는 모션 센서(133), 도로의 차선을 센싱하여 주행 차선 정보를 생성하는 영상 센서(134) 등을 포함하여 구성될 수 있다.
거리 센서(131)는 초음파 센서, 적외선 센서, TOF(Time Of Flight) 센서, 레이저 센서, 라이다, 레이더 등이 될 수 있다.
비전 센서(132)는 이동 물체와 장면을 인식하고 평가하는 센서를 말한다.
모션 센서(133)는 동작 인식 센서로서 물체의 움직임과 위치를 인식하는 센서를 말한다. 따라서, 방향을 감지하는 센서, 움직임을 감지하는 센서, 및 속도를 측정하는 센서로 구성될 수 있다.
영상 센서(134)는 일반적인 도로상의 차선을 촬영하는 기능을 수행한다. CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide Semiconductor) 센서등이 될 수 있다.
저장부(140)는 다중 센서를 기반으로 주행 차로를 인식하는 알고리즘을 갖는 프로그램, 데이터, 소프트웨어 등을 저장하는 기능을 수행한다. 저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
전원부(170)는 구성요소들에 전원을 공급하는 기능을 수행한다. 따라서, 전원부(140)는 충전이 가능한 배터리 셀로 이루어진 배터리 팩, 납축전지 등이 될 수 있다.
출력부(160)는 주행 차로를 인식하는 처리 과정을 화면으로 출력하는 기능을 수행한다. 물론, 제어기(110)에 처리하는 데이터를 출력하는 것도 가능하다. 이를 위해, 출력부(160)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, OLED(Organic LED) 디스플레이, 터치 스크린, 플렉시블 디스플레이, HUD(Head Up Display) 등이 될 수 있다. 터치 스크린의 경우, 입력 수단으로 사용될 수 있다. 물론, 음성, 소리 등으로 입력 및/또는 출력하는 사운드 시스템이 구성될 수도 있다.
도 2는 도 1에 도시된 제어기(110)의 상세한 구성 블럭도이다. 도 2를 참조하면, 센서계(130)로부터 생성되는 센싱 데이터를 수집하는 수집부(210), 차량의 움직임 정보를 이용하여 이전 프레임에서 추출된 도로 경계 데이터를 현재 프레임에 누적하는 누적부(220), 주행 차선 정보와 위치 정보 기준으로 가져온 정밀지도의 차선 정보를 활용하여 각 차선마다 놓이게 될 차량의 후보위치들을 계산하는 계산부(230), 점수를 후보위치들에 부여하여 점수가 높은 후보위치의 차로로 주행차로를 선정하는 계산부(230), 실 도로에서 발생할 수 있는 특이 상황에 대한 예외처리 기능을 수행하는 판단부(240) 등을 포함하여 구성될 수 있다.
수집부(210), 누적부(220), 계산부(230), 판단부(240)는 기술된 기능을 수행하기 위해 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 3은 본 발명의 일실시예에 따른 다중 센서 기반으로 주행 차로를 인식하는 과정을 보여주는 흐름도이다. 도 3을 참조하면, 제어기(110)의 수집부(210)가 거리 센서(131)의 출력으로부터 이동 장애물에 해당되는 주변 차량을 제거하고 도로 경계 데이터만을 추출한다(단계 S310). 부연하면, 거리 센서(131)에 의해 산출된 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 정보만을 추출한다. 이동 장애물 정보를 생성하기 위해 비전 센서(132)가 사용될 수 있다.
이후, 제어기(110)의 누적부(220)는 모션 센서(133)의 출력으로부터 얻은 차량의 움직임 정보를 이용하여 이전 N(>1)개의 프레임에서 추출된 도로 경계 데이터를 현재 프레임에 누적한다(단계 S320).
이후, 제어기(110)의 계산부(230)는 영상 센서(134)에서 얻은 주행 차선 정보와 위치 정보 획득부(120)에서 얻은 현재 차량 위치 정보를 기준으로 가져온 정밀지도 차선 정보를 활용하여 각 차선마다 놓이게 될 자차의 횡방향 후보 위치 정보를 찾는다(단계 S330).
정밀지도 차선 정보는 미리 저장부(140)에 저장되어 있다. 물론, 통신을 통하여 외부에서 공급받을 수 있다. 즉, 현재 차량이 주행중인 위치가 파악됨으로, 이 파악된 위치에 해당하는 최신의 정밀 지도 정보를 이용하여 횡방향 후보 위치 정보를 검색한다. 물론, 이를 위해서는 정밀 지도 정보가 데이터베이스로 저장될 수 있다. 물론, 정밀 지도 정보에는 차선 정보, 도로 경계 정보 등이 포함될 수 있다.
또한, 정밀지도 차선 정보는 영상 센서(134)에서 얻은 주행 차선 정보와 위치 정보 획득부(120)에서 얻은 현재 차량 위치 정보 모두를 기준으로 할 수도 있고, 선택적으로 하나만을 기준으로 할 수도 있다.
이후, 제어기(100)의 계산부(230)는 후보위치 기준으로 가져온 정밀지도 도로경계 정보와 단계 S320에서 누적된 도로 경계 정보 출력을 정합하여 각 후보위치에 점수를 부여한다. 결론적으로 점수가 높은 후보 위치의 차로를 주행 차로로 선정한다. 주행 차로 위치에서 정합할 때 정밀지도 도로경계와 근접한 위치의 거리센서 데이터는 도로 경계로 검출될 수 있다.
이후, 판단부(240)는 실 주행 차로에서 발생할 수 있는 특이 상황에 대한 예외처리 기능을 이용하여 선정된 최적 후보 위치 정보를 무효 여부를 판단한다(단계 S350).
이후, 판단부(240)는 출력부(160)를 통해 도로 경계 검출 및 주행 차로 인식 결과를 디스플레이한다(단계 S360). 결과 정보는 그래픽, 문자, 및 음성의 조합으로 출력될 수 있다.
도 4는 도 3에 도시된 거리 센서 출력 분리 단계(S310)의 개념을 나타내는 예시이다. 즉, 도 4는 비전 센서(132)에서 인식된 결과물을 활용하여 거리 센서(131)로부터 감지된 모든 데이터 중 도로 경계 부분만 추출해내는 흐름도이다.
도 4를 참조하면, 사전에 동적 물체에 대해서 거리 센서와 비전 센서 데이터의 차이를 측정하고 이를 모델링하여 저장부(140)에 데이터베이스로 저장한다.
이후, 비전 센서(132)에서 인식된 이동 장애물의 위치와 크기에 모델링 결과를 반영하여 점유 격자 지도(occupancy grid map) 형태로 변환한다. 이때, 동적 장애물에는 0, 그 외 영역에는 1의 값을 할당할 수 있다.
한편, 거리 센서(131)의 출력도 점유 격자 지도 형태로 변환한다. 이때, 센서 출력 위치에서는 1, 그 외 영역에는 0의 값을 할당할 수 있다.
센서 융합과정에서 거리 센서 지도(410)와 비전 센서 지도(420)를 격자 단위 로 AND 연산을 수행하여 도로 경계 지도(430)가 산출된다. 결과적으로 거리 센서 출력 중 이동 장애물은 제거되고, 도로 경계에 해당하는 정적 물체만 얻게 된다.
이와 달리, 이동 장애물과 정적 물체를 구분하여 출력하는 거리 센서를 사용할 수도 있다. 즉, 거리 센서를 복수개로 구성하여 하나는 이동 장애물만을 센싱하고, 다른 하나는 정적 물체만을 센싱하는 것을 들 수 있다.
도 5는 도 3에 도시된 거리센서 출력 누적 단계의 개념을 보여주는 도면이다. 즉, 도 5는 이전 프레임의 데이터들이 현재 프레임에 누적되는 개념을 보여준다. 도 5를 참조하면, 다음과 같다.
1) 누적할 프레임의 갯수를 설정한다. 이때, 고정된 N(>0)개로 설정할 수 있다.
2) N개의 이전 프레임 데이터들(502)이 현재 프레임에서 어느 곳(즉 구간)에 위치하는 지에 대한 위치 예측이 필요하다(510). 이는 모션 센서에서 출력된 차속과 각속도 정보(501)를 CTRV(Constant Turn Rate and Velocity) 모델에 적용하여 계산할 수 있다. 일반적으로 프레임은 여러 개의 필드로 구성된다. 이때 이전 프레임 데이터를 현재 프레임의 데이터 필드에 위치시킨다.
3) 현재 프레임의 도로 경계 데이터와 이전 프레임들의 도로 경계 데이터를 누적시켜 누적된 도로 경계 데이터를 얻는다(520,530). 누적할 때, 이전 프레임의 수가 설정된 N 값 보다 크면 가장 먼 과거의 이전 프레임을 하나 제거하고 현재 프레임의 데이터를 추가하여 누적 갯수를 일정하게 한다.
이러한 누적을 통해 도로 경계 데이터가 증가된다.
한편으로, 누적할 프레임의 갯수는 차속 또는 이동 거리에 따라 가변적으로 설정될 수 있다. 부연하면, 차속으로 설정할 경우 저속에서는 누적 갯수를 적게, 고속에서는 많게 설정한다. 저속은 주로 교통체증 의한 것이므로 주변 차량에 의해 도로 경계 데이터를 충분히 확보하기 어려운 점이 있다.
도 6은 도 3에 도시된 후보 위치 생성 단계(S330)의 개념을 보여주는 도면이다. 즉, 도 6은 격자 탐색(Grid Search)을 기반으로 종/횡 방향 위치 및 방향각 위치 정보로 구성된 3차원 상의 후보 위치를 생성하는 개념도이다. 도 6을 참조하면, 십자(610)는 자차의 중심이고, 직사각형(600)은 자차를 나타내고, 자차를 포함하는 정사각형(620)은 종/횡 방향으로 자차의 위치를 탐색할 범위인 관심영역을 표시한 것이다. 또한, 직사각형(600)은 GPS에서 파악한 자차의 위치이고, 작은 점선 사각형(611)은 EVP(Emergency Vehicle Preemption)에서 파악한 자차의 위치이고, 작은 점선 삼각형(612)은 RT3002에서 파악한 자차의 위치이다. 여기서, RT3002는 장비명차량 동특성 측정 시스템 (Intertial & GPS Measurement System)의 모델명이다.
일반적으로 차량의 위치는 종/횡 방향 위치와 방향각(heading)으로 결정된다. 종/횡 방향 위치에 대해서는 설정된 관심영역(620)을 일정한 간격으로 나누고, 그 때 생성되는 모든 종/횡 방향 위치를 후보 위치로 설정한다. 이를 좌표로 예를 들어 표시하면, (50,50), (-50,50),(-50,50),(50,-50)이 될 수 있다.
또한, 도 6에서 영상 센서(134)를 이용하여 획득되는 주행 차선 정보(602), 지도 도로 경계(601)이 도시된다.
도 7은 도 6에 따른 일정범위내 방향각 후보 생성을 보여주는 일예시의 개념도이다. 도 7을 참조하면, 방향각 위치 정보에 대해서는 설정된 범위(예. 좌,우±10°)를 일정한 간격으로 나누고, 그 때 생성되는 모든 방향각을 후보 방향각으로 설정한다. 생성된 후보 위치의 갯수는 (종방향 위치 정보의 갯수×횡방향 위치 정보의 갯수× 방향각 위치 정보의 갯수)가 된다.
자차의 중심은 GPS 위치를 기준으로 가져오고, 기본 방향각 또한 GPS에서 얻은 방향각이 된다. 후보 위치의 범위는 GPS 위치 오차를 고려하여 설정하게 되며, 탐색 간격은 정밀도를 고려하여 실험에 따라 설정될 수 있다.
도 8은 도 6에 따른 후보 위치 생성을 보여주는 다른 예시의 개념도이다. 도 8은 정밀지도 차선 정보와 비전 센서에서 인식한 주행 차선 정보를 활용하여 소수의 횡방향 후보 위치만을 설정하는 개념도이다. 도 8을 참조하면, 과정은 다음과 같다.
1) GPS 위치 오차를 고려하여 횡 방향으로 후보 위치를 설정할 관심영역(800)의 범위를 설정한다. 관심영역(Region Of Interest)(800)은 크기가 약 20m × 10m일 수 있다. 도 8에서는 생략되어 있으나, 지도 도로 경계(601)에는 정밀 지도 차선(미도시)이 존재한다.
2) 비전 센서(132)에서 인식한 주행 차선과 자차의 중심 사이의 측방향 옵셋(lateral offset)을 계산하고, 한 개 차로 내에 위치하는 자차의 위치를 측방향 옵셋(lateral offset)의 비율로 결정하도록 한다.
3) GPS 기준으로 가져온 정밀 지도 경계에서 관심영역 내에 들어오는 차선 위치와 갯수를 파악하고 각 차선마다 lateral offset의 비율로 횡방향 후보 위치 정보(811,812,813,814)를 찾는다.
도 9는 도 8에 따른 인식된 주행 차선의 방향을 찾는 개념도이다. 도 9는 비전 센서(132)에서 인식된 주행 차선의 방향을 찾는 개념도이다. 도 9를 참조하면, 전방 5~10m이내의 좌, 우 차선(L,R)을 가져와 각각의 방향각을 계산하고, 두 값의 평균을 구한다. 결과로 비전 센서(132)에서 인식된 주행 차선의 방향을 알 수 있다.
도 10은 도 8에 따른 정밀 지도의 방향각을 찾는 개념도이다. 도 10은 정밀 지도의 차선 방향을 찾는 개념도이다. 도 10을 참조하면, 앞서 구한 각 후보 위치정보의 횡방향 값과 GPS 종방향 값, 방향각을 기준으로 정밀 지도를 가져온 후 좌, 우 차선의 방향각을 계산하고, 두 값의 평균을 구한다. 매 후보 위치마다 해당되는 좌, 우 차선의 방향각을 얻게 된다.
도 11은 도 8 내지 도 10에 따른 후보 위치마다의 방향각을 계산하는 흐름도이다. 도 11을 참조하면, 도 9와 도 10에서 결과로 얻어지는 두 값의 차이를 계산하면 GPS 방향각 오차가 계산되고, 이를 GPS 방향각에 적용하면 각 후보 위치의 방향각이 얻어지게 된다.
후보위치 생성은 차선별 횡방향 후보위치 및 각 후보 위치의 방향각을 찾음으로써 이루어진다. 종방향 위치는 GPS에서 제공되는 위치를 그대로 적용될 수 있다.
도 12는 도 3에 도시된 최적후보위치 선정 단계의 개념을 보여주는 일예시이다. 즉, 도 12는 정밀 지도의 도로 경계와 거리 센서의 도로 경계 사이의 정합을 거리 변환(Distance transform)을 기반으로 수행하여 정합도가 가장 높은 위치를 탐색하여 최적의 후보위치를 선정하는 흐름도이다. 도 12를 참조하면, 다음과 같다.
1) GPS 기준 위치로 정밀 지도 도로 경계(1201)를 가져온다. 데이터(1210)는 점유 격자 지도 형태로 나타난다.
2) 정밀 지도 도로 경계에 대한 이진 영상(1220)이 생성되면 영상에 거리 변환을 적용한다.
3) 거리 센서(131)의 도로 경계 데이터(1230)도 점유 격자 지도 형태로 가져온다. 두격자 지도의 기준점(차자의 중심)을 일치시켜 격자단위로 곱셈을 수행하여, 거리 변환 기반 정합 결과(1240)를 산출한다. 일치하는 격자에 할당된 값의 평균을 구하면 정합 점수가 산출된다. 정합 점수가 높을수록 정합도가 높다. 특히, 거리 변환 기반으로 후보 위치를 탐색하고, 정합도가 가장 높은 위치에서 정밀 지도 도로 경계(1203) 및 거리 센서 도로 경계(1202)를 검출한 결과를 보여준다.
4) 후보위치 탐색을 위해 거리 변환 영상의 기준점을 단계(S330)에서 설정한 후보 위치로 이동시켜가면서 위 3)번 과정을 수행하여 각 후보 위치마다 정합 점수를 계산하고 정합도가 가장 높은 위치를 찾는다.
도 13은 도 3에 도시된 최적후보위치 선정 단계의 개념을 보여주는 다른 예시이다. 도 13은 점유 격자 지도 없이 정밀지도의 도로 경계와 거리 센서의 도로 경계 데이터 사이의 정합도를 계산하여 정합도가 가장 높은 후보위치를 탐색하여 최적의 후보위치를 선정하는 개념도이다. 도 13을 참조하면, 다음과 같다.
1) 모든 데이터를 일정한 간격으로 샘플링(sampling)된 Y축 (종축) 좌표값과, 이에 대응되는 X축(횡축) 좌표 값을 갖는 배열의 형태로 변환한다. 물론, 자차를 중심으로 전/후/좌/우 관심영역을 미리 설정하여 놓는다.
2) 정밀지도 도로 경계 데이터를 후보위치로 가져오고, 거리 센서 도로 경계 데이터도 자차의 중심이 후보위치가 되도록 가져온다.
3) 샘플링(Sampling)된 Y축 좌표의 인덱스(index)값에 해당되는 두 데이터의 X축 좌표 값만을 비교하여 정밀지도 도로경계 근처에 거리센서 데이터점이 위치하면 그 점의 갯수만큼 점수를 계산한다. 예를 들면, 도로 경계점, 입력된 라이다점, 우측 도로경계범위내 속한 라이다점, 좌측 도로경계범위내 속한 라이다점으로 표시된다. 따라서, 정합도 점수는 다음과 같다.
정합도 점수 = 좌측점의 갯수 + 우측점의 갯수 - |좌측점의 갯수 - 우측 점의 갯수|/2 - 도로 경계 사이점의 갯수
4) 설정된 후보 위치마다 계산하여 정합도가 가장 높은 위치를 찾는다.
5) 높은 정합도를 갖는 후보위치가 있는 차로를 주행 차로로 인식한다(1310). 후보위치들은 정합도 점수가 부여되며, 이 점수로 서로 비교된다.
6) 도로 경계를 검출하기 위해서 높은 정합도를 갖는 후보위치에서 정밀지도 도로 경계 근처에 존재하는 거리센서 출력을 선택한다(1320).
7) 선택된 거리센서 데이터는 단계(S320)에서 누적된 데이터이기 때문에 매우 가까운 위치에 여러 개의 점들이 놓이게 된다. 근접해 있는 점들은 평균을 취하여 잉여 데이터를 제거한다.
8) 마지막으로 도로 경계만 검출된 거리센서 데이터를 용이하게 사용할 수 있도록 연결성이 있는 점들끼리 오브젝트(object)로 묶어서 최종 출력을 한다(1330). 즉, 누적된 점들을 제거하고 거리센서 데이터중 도로 경계만을 검출한다.
동적 물체(즉, 이동 장애물)가 제거된 거리 센서 출력에는 단순히 도로 경계만 포함되는 것이 아니라 단계(S310)에서 미처 제거되지 못한 동적 물체, 도로 경계 밖 인공구조물 및 나무, 수풀등 같은 다양한 잡음이 함께 포함되어 있다.
따라서, 이들을 모두 제거하고 순수한 도로 경계만을 검출하기 위해 혹은 잡음에 의한 영향을 최소화하기 위해 거리 센서 데이터와 정밀지도를 정합할 때 정밀 지도 도로 경계 근처에 있는 거리 센서 데이터를 선택한다.
또한, 정합도 점수를 계산하는 방법에서도 좌측점의 갯수와 우측점의 갯수의 비율이 유사할때 더 높은 점수를 주도록 설계할 수 있다. 도로 경계 안에 남아있는 점들의 수만큼 점수를 낮춤으로써 미처 제거되지 못한 동적 물체에 의한 영향을 최소화할 수 있다.
도 14는 도 3에 도시된 정인식된 최종 후보 위치 정보의 점수와 오인식된 최종 후보 위치 정보의 점수 분포로부터 임계값을 설정하는 개념도이다. 도 14를 참조하면, 실도로 상황에서는 센서 출력 오류 및 주변 잡음, 차선 변경 등 특이 상황이 발생할 수 있다. 이러한 특이 상황에서는 본 발명의 일실시예에 따른 주행 차로 인식 기술이 정상 동작하지 않을 수 있다. 따라서, 무효(Invalid) 판단을 통해 특이 상황 시의 검출 결과 또는 인식 결과를 예외 처리할 수 있도록 할 수 있다.
이를 위해서는 사전에 설정된 무효(Invalid) 판단 조건을 기준으로 매 프레임마다 유효(validation) 여부를 출력한다. 무효 판단 조건은 세 가지로 설정이 가능하다.
무효 판단 조건 1:
최종 선정된 최종 후보 위치 정보의 정합도 점수가 임계값보다 작으면 무효(invalid)로 처리한다. 정인식된 후보 위치 정보의 정합도 점수들은 대체로 0이상의 값을 갖고 있다(1410). 이와 달리, 오인식된 후보 위치 정보의 정합도 점수는 0보다 작은 값을 갖는 경향을 분포도를 통해 확인할 수 있다(1420). 임계값은 일부 데이터의 결과로부터 구한 데이터 분포를 통해 설정할 수 있다.
무효 판단 조건2:
최종 선정된 최종 후보 위치 정보에서 차선 내에 존재하는 센서(예를 들면, 라이다) 잔류량이 임계값보다 크면 무효(invalid)로 처리한다. 거리 센서 잔류량이 많다는 것은 최종 선정 후보의 오인식을 의미하기도 한다. 임계값은 판단조건 1에서와 동일한 방식으로 설정될 수 있다.
무효 판단 조건3:
영상 센서(134)에서 인식된 주행 차선의 유효성 검사를 통해 유효하지 않다고 판단된 경우 무효로 처리한다. 이에 대해서는 도 15에서 후술하기로 한다.
도 15는 도 3에 도시된 무효(invalid) 판단 단계의 개념을 보여주는 도면이다. 특히, 도 15는 무효 판단 조건3을 이용한 방식이다. 도 15를 참조하면, 영상 센서(134)에서 인식된 차선 정보를 활용하여 자차의 후보위치를 설정하기 때문에 영상 센서(134)에서 인식된 결과가 유효하지 않은 경우에는 오인식된 결과를 가져올 수밖에 없다. 따라서, 영상 센서에서 인식된 주행 차선의 유효성 검사는 invalid 판단에 가장 중요한 판단 조건이다.
평행 여부(1510)는 자차 전방 5~10m이내 존재하는 좌/우 차선의 방향을 계산하고, 두 도로의 방향 차이로 평행 여부를 판단한다.
도로폭 이탈 여부(1520)는 자차 중심을 기준으로 좌/우 차선의 측방향 옵셋(lateral offset)을 구하고 두 값의 차이를 계산하고, 그 차이를 일반적인 도로폭(d)과 비교한다.
따라서, 무효(Invalid) 판단 기능을 통해 영상 센서 출력 및 거리 센서 출력의 오류에 의한 도로 경계 오검출 또는 주행 차로 오인식 결과의 사용을 제한할 수 있다. 결과적으로 주행 차로 인식률이 높아진다.
또한, 영상 센서의 출력 오류는 주로 차선 변경 시에 발생한다. 영상 센서 출력 오류는 주행 차로 오인식에 직접적인 영향을 미친다. 따라서, 무효 판단조건 3에 의해 영상 센서 출력 오류에 의한 오인식 결과를 예외 처리할 수 있다.
또한, 거리 센서(특히, 라이다 센서)의 출력 오류는 예측 불가능하며 이 또한 주행 차로 오인식에 직접적인 영향을 미친다 따라서, 무효 판단조건 1 및 2에 의해 거리 센서의 출력 오류에 의한 오인식 결과를 예외 처리할 수 있다.
위 무효 판단 조건들에 따른 실험 결과를 보면 다음 표와 같다.
무효 프레임 비율 3.43%
주행 차로 인식률 99.58%
처리시간 32.9ms
처리 시간은 Mathworks사의 Matlab 프로그램을 이용하였다.
한편, 거리 센서 출력이 전혀 발생하지 않는 차선의 경우라도 과거의 프레임들을 누적하여 차선 경계 정보를 유지할 수 있다. 즉, 차선 경계 정보가 다른 부변 차량에 의해 손실되더라도 과거의 차선 경계 정보를 누적함으로써 차선 경계를 검출할 수 있다.
또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.
여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100: 주행 차로 인식 장치
110: 제어기
130: 센서 블럭
131: 거리 센서 132: 비전 센서
133: 모션 센서 134: 영상 센서
140: 저장부
150: 전원부
160: 출력부
210: 수집부
220: 누적부
230: 계산부
240: 판단부

Claims (20)

  1. 도로 정보를 산출하는 제 1 센서;
    이동 장애물 정보를 산출하는 제 2 센서;
    차량의 움직임 정보를 산출하는 제 3 센서; 및
    상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 움직임 정보를 기반으로 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나를 최종 후보 위치 정보로 선택하는 제어기;
    를 포함하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  2. 제 1 항에 있어서,
    상기 도로 경계 데이터는 상기 움직임 정보를 이용하여 이전 복수개의 프레임에서 추출되어 현재 프레임에 누적되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  3. 제 1 항에 있어서,
    복수개의 상기 후보 위치 정보는 제 4 센서를 이용하여 획득되는 주행 차선 정보 또는 현재 차량 위치 정보를 기준으로 미리 설정되는 정밀 지도 차선 정보를 이용하여 산출되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  4. 제 3 항에 있어서,
    복수개의 상기 후보 위치 정보는 상기 정밀 지도 차선 정보의 지도 도로 경계에 놓이게 되는 미리 설정되는 관심영역을 일정한 간격으로 나누어 형성되는 격자를 기반으로 산출되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  5. 제 4 항에 있어서,
    상기 격자는 다수개의 종방향과 다수개의 횡방향으로 이루어지며, 다수개의 상기 종방향과 다수개의 상기 횡방향이 모두 각각 횡방향 후보 위치 정보 및 종방향 후보 위치 정보로 설정되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  6. 제 4 항에 있어서,
    상기 격자는 다수개의 방향각으로 이루어지며, 다수개의 방향각은 상기 관심영역을 상기 차량의 중심점을 기준으로 일정한 간격으로 분할하여 생성되며, 다수개의 상기 방향각은 모두 후보 방향각 정보로 설정되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  7. 제 6 항에 있어서,
    상기 복수개는 상기 종방향 위치 정보의 갯수 및 상기 횡방향 위치 정보의 갯수 및 상기 방향각 위치 정보의 갯수의 곱인 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  8. 제 3 항에 있어서,
    복수개의 상기 후보 위치 정보는 상기 차량의 위치 오차를 고려하여 횡방향에 기반하여 미리설정되는 개수의 횡방향 후보 위치 정보로만 이루어지는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  9. 제 8 항에 있어서,
    하나의 도로 경계내에 존재하는 상기 차량의 위치를 주행 차선과 상기 차량의 중심사이에서 산출되는 측방향 옵셋의 비율로 결정하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  10. 제 9 항에 있어서,
    상기 정밀 지도 차선 정보에서 미리 설정되는 관심영역내에 파악되는 차선 위치 및 개수를 기준으로 상기 측방향 옵셋의 비율로 각 차선마다 미리 설정되는 개수의 상기 횡방향 후보 위치 정보가 결정되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  11. 제 9 항에 있어서,
    미리설정되는 개수의 상기 횡방향 후보 위치 정보의 각 방향각은 상기 제 2 센서를 통해 인식되는 상기 차량의 전방 사이의 좌차선 방향각과 우차선 방향각의 제 1 평균 및 상기 정밀 지도 차선 정보를 통해 산출되는 미리설정되는 개수의 상기 횡방향 후보 위치 정보의 좌차선 방향각과 우차선 방향각의 제 2 평균의 차이값을 이용하여 산출되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  12. 제 3 항에 있어서,
    상기 제어기는 복수개의 상기 후보 위치 정보를 기준으로 검색되는 정밀 지도 도로 경계 정보와 누적된 도로 경계 데이터를 정합하여 각 후보 위치 정보마다 정합도 점수를 부여하고, 가장 높은 정합도 점수가 부여된 상기 최종 후보 위치 정보의 차로를 주행 차로로 선정하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  13. 제 12 항에 있어서,
    상기 제어기는 상기 정밀 지도 도로 경계 정보와 상기 누적된 도로 경계 데이터를 Y축 좌표와 X축 좌표로 이루어지는 좌표계로 변환하여 상기 Y축 좌표의 인덱스를 기준으로 상기 X축 좌표의 값만을 비교하여 상기 정합도 점수를 계산하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  14. 제 13 항에 있어서,
    상기 정합도 점수는 상기 정밀 지도 도로 경계 정보의 근처에 위치하는 데이터점의 갯수를 이용하며, 상기 데이터점은 상기 제 1 센서에 의해 생성되며, 상기 데이터점은 상기 정밀 지도 도로 경계 정보를 기준으로 좌측점의 갯수, 우측점의 갯수, 및 도로 경계사이점의 갯수인 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  15. 제 2 항에 있어서,
    상기 제어기는 상기 이전 프레임의 갯수가 미리 설정되는 설정값보다 크면 가장 먼 과거의 이전 프레임을 하나 제거하고 하나의 상기 현재 프레임을 추가하여 누적 갯수를 일정하게 유지하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  16. 제 15 항에 있어서,
    상기 누적 갯수는 상기 차량의 차속 또는 이동 거리에 따라 가변적으로 설정되는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  17. 제 3 항에 있어서,
    상기 제 1 센서는 거리 센서이고, 상기 제 2 센서는 비전 센서이고, 상기 제 3 센서는 모션 센서이며, 상기 제 4 센서는 GPS(Global Positioning System) 센서 또는 영상 센서인 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  18. 제 17 항에 있어서,
    상기 제어기는 상기 최종 후보 위치 정보에 대한 미리 설정되는 무효 판단 조건을 실행하여 유효 여부를 판단하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  19. 제 18 항에 있어서,
    상기 무효 판단 조건은 상기 최종 후보 위치 정보의 점수 정합도가 미리 설정되는 제 1 임계값보다 작은지를 비교하는 조건, 상기 최종 후보 위치 정보에서 주행 차선내에 존재하는 거리 센서 잔류량이 미리 설정되는 제 2 임계값보다 큰지를 비교하는 조건, 및 상기 최종 후보 위치 정보에서 상기 차량의 전방에 존재하는 좌차선 방향 및 우차선 방향의 차이에 따른 평행 여부를 만족하는지와 상기 차량의 중심을 기준으로 좌차선의 측방향 옵셋과 우차선의 측방향 옵셋의 차이를 미리 설정되는 도로폭과 비교하여 도로폭 이탈 여부를 결정하는 조건 중 어느 하나인 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 장치.
  20. 제 1 센서 및 제 2 센서가 각각 도로 정보 및 이동 장애물 정보를 산출하는 제 1 정보 산출 단계;
    제 3 센서가 차량의 움직임 정보를 산출하는 제 2 정보 산출 단계; 및
    제어기가 상기 도로 정보로부터 이동 장애물 정보를 제거하여 도로 경계 데이터만을 추출하고, 상기 움직임 정보를 기반으로 상기 도로 경계 데이터를 누적하여 상기 차량에 대한 복수개의 후보 위치 정보를 산출하고, 복수개의 상기 후보 위치 정보 중 하나를 최종 후보 위치 정보로 선택하는 선택 단계;
    를 포함하는 것을 특징으로 하는 다중 센서 기반 주행 차로 인식 방법.
KR1020200150903A 2020-11-12 2020-11-12 다중 센서 기반 주행 차로 인식 장치 및 방법 KR20220065126A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200150903A KR20220065126A (ko) 2020-11-12 2020-11-12 다중 센서 기반 주행 차로 인식 장치 및 방법
US17/344,287 US11741725B2 (en) 2020-11-12 2021-06-10 Apparatus and method for recognizing driving lane based on multiple sensors
CN202110654786.9A CN114475615A (zh) 2020-11-12 2021-06-11 用于基于多个传感器识别行驶车道的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150903A KR20220065126A (ko) 2020-11-12 2020-11-12 다중 센서 기반 주행 차로 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220065126A true KR20220065126A (ko) 2022-05-20

Family

ID=81454594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150903A KR20220065126A (ko) 2020-11-12 2020-11-12 다중 센서 기반 주행 차로 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US11741725B2 (ko)
KR (1) KR20220065126A (ko)
CN (1) CN114475615A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873426A (zh) * 2020-06-30 2021-12-31 罗伯特·博世有限公司 用于决策车辆的地理围栏事件的系统、控制单元和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065875A (ko) 2018-11-30 2020-06-09 한국교통대학교산학협력단 랜드마크를 활용한 주행차로 인식 방법 및 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3475778A4 (en) * 2016-06-28 2019-12-18 Cognata Ltd. CREATION AND SIMULATION OF A REALISTIC 3D VIRTUAL WORLD FOR DRIVING SELF-CONDUCTIVE SYSTEMS
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法
US10583839B2 (en) * 2017-12-28 2020-03-10 Automotive Research & Testing Center Method of lane change decision-making and path planning
KR102595897B1 (ko) * 2018-08-27 2023-10-30 삼성전자 주식회사 차선 결정 방법 및 장치
JP7071250B2 (ja) * 2018-09-26 2022-05-18 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
WO2021141142A1 (ko) * 2020-01-06 2021-07-15 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065875A (ko) 2018-11-30 2020-06-09 한국교통대학교산학협력단 랜드마크를 활용한 주행차로 인식 방법 및 시스템

Also Published As

Publication number Publication date
CN114475615A (zh) 2022-05-13
US11741725B2 (en) 2023-08-29
US20220147744A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
US11294392B2 (en) Method and apparatus for determining road line
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
JP6317230B2 (ja) 交差点における画像及び地図に基づく車両の検出法
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
Choi et al. Environment-detection-and-mapping algorithm for autonomous driving in rural or off-road environment
JP6747269B2 (ja) 物体認識装置
US8428362B2 (en) Scene matching reference data generation system and position measurement system
JP6492469B2 (ja) 自車走行レーン推定装置及びプログラム
CN112639502A (zh) 机器人位姿估计
KR20210135389A (ko) 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
KR101941852B1 (ko) 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치
JP2017068700A (ja) 物体検出装置、物体検出方法、及びプログラム
US20230251097A1 (en) Efficient map matching method for autonomous driving and apparatus thereof
JP4760274B2 (ja) 地図更新装置
KR20220065126A (ko) 다중 센서 기반 주행 차로 인식 장치 및 방법
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
US20220171061A1 (en) Apparatus and method for recognizing high-elevation structure using lidar sensor
CN114426030A (zh) 一种行人穿行意图估计方法、装置、设备和汽车
US20240119740A1 (en) Method and apparatus with lane line determination
Chen et al. Hybrid Camera-Radar Vehicle Tracking with Image Perceptual Hash Encoding
Luo et al. A 3D LiDAR localization and mapping method incorporating inertial measurement unit