KR20200023865A - 차선 결정 방법 및 장치 - Google Patents

차선 결정 방법 및 장치 Download PDF

Info

Publication number
KR20200023865A
KR20200023865A KR1020180100318A KR20180100318A KR20200023865A KR 20200023865 A KR20200023865 A KR 20200023865A KR 1020180100318 A KR1020180100318 A KR 1020180100318A KR 20180100318 A KR20180100318 A KR 20180100318A KR 20200023865 A KR20200023865 A KR 20200023865A
Authority
KR
South Korea
Prior art keywords
lane
information
lanes
regression function
road
Prior art date
Application number
KR1020180100318A
Other languages
English (en)
Other versions
KR102595897B1 (ko
Inventor
지대현
이원주
장철훈
오도관
현윤석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180100318A priority Critical patent/KR102595897B1/ko
Priority to CN201910583507.7A priority patent/CN110866433A/zh
Priority to US16/524,377 priority patent/US11294392B2/en
Priority to EP19192537.9A priority patent/EP3654235A1/en
Publication of KR20200023865A publication Critical patent/KR20200023865A/ko
Application granted granted Critical
Publication of KR102595897B1 publication Critical patent/KR102595897B1/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06K9/00765—
    • G06K9/64—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)

Abstract

일 실시예에 따른 차선 결정 방법 및 장치는 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하고, 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단한 결과에 따라 주행 가능한 도로 영역에 관한 제1 정보에 기초하여 적어도 하나의 미검출 차선을 결정한다.

Description

차선 결정 방법 및 장치{METHOD AND APPARATUS OF DETERMINING ROAD LINE}
아래의 실시예들은 운전 가능한 도로 영역에 기초한 차선 결정 방법 및 장치에 관한 것이다.
차량 및 기타 운송 수단의 조향을 보조하기 위한 다양한 시각 정보 증강 현실(Visual Information Augmentation)이 제공되고 있다. 또한, 조향을 보조하기 위해 임의의 주행 영상으로부터 차선 표시 또는 도로 정보 등을 추출하는 다양한 방법들 이 이용된다.
예를 들어, 원거리 영상에 대한 픽셀 정보가 부족한 경우, 도로 환경에서 다양한 객체에 의해 차선이 가려지는 경우, 갓길 주행 시에 그늘이 져서 차선이 잘 검출 되지 않는 경우, 차선이 닳아서 없어진 경우, 차선이 불명확하게 병합(Merge) 또는 분할(Split)된 경우 등과 같이 영상으로부터 차선 검출이 용이하지 않은 상황들이 발생할 수 있다.
정확한 차선 검출이 이루어지지 않는 경우, 차량의 제어, 경로 결정 등과 같이 차량의 주행을 위한 정확한 정보를 제공하는 데에 어려움이 발생할 수 있다.
일 측에 따르면, 차선 결정 방법은 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하는 단계; 상기 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라, 주행 가능한 도로 영역(drivable road area)에 관한 제1 정보에 기초하여 상기 적어도 하나의 미검출 차선을 결정하는 단계를 포함한다.
상기 제1 정보는 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵(map)을 포함할 수 있다.
상기 적어도 하나의 미검출 차선을 결정하는 단계는 상기 양 차선 중 일측의 차선이 검출되고, 반대측의 차선이 검출되지 않았다는 판단에 따라, 상기 일측의 차선을 기초로, 상기 반대측의 차선을 예측하는 단계; 및 상기 제1 정보에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 보정하는 단계를 포함할 수 있다.
상기 반대측의 차선을 예측하는 단계는 상기 일측의 차선에 대응하는 제1 차선 회귀 함수에 기초하여, 상기 반대측의 차선에 대응하는 제2 차선 회귀 함수를 예측하는 단계를 포함하고, 상기 반대측의 차선을 보정하는 단계는 상기 반대측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제2 차선 회귀 함수를 보정하는 단계를 포함할 수 있다.
상기 적어도 하나의 미검출 차선을 결정하는 단계는 상기 양 차선이 검출되지 않았다는 판단에 따라, 상기 제1 정보에 기초하여, 상기 양 차선 중 일측의 차선을 예측하는 단계; 및 상기 일측의 차선에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 예측하는 단계를 포함할 수 있다.
상기 일측의 차선을 예측하는 단계는 상기 제1 정보 내 상기 주행 가능한 도로 영역의 경계를 검색하는 단계; 및 상기 경계에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하는 단계를 포함할 수 있다.
상기 경계를 검색하는 단계는 상기 제1 정보 내에서 주행 불가능 영역을 검색하는 단계; 및 상기 주행 불가능 영역에 기초하여 상기 경계를 검색하는 단계를 포함할 수 있다.
상기 적어도 하나의 미검출 차선을 결정하는 단계는 상기 양 차선이 검출되지 않았다는 판단에 따라, 상기 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여, 상기 일측의 차선을 예측하는 단계; 및 상기 제1 정보에 기초하여, 상기 일측의 차선을 보정하는 단계를 포함할 수 있다.
상기 일측의 차선을 예측하는 단계는 상기 기 저장된 정보에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하는 단계를 포함하고, 상기 일측의 차선을 보정하는 단계는 상기 일측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제1 차선 회귀 함수를 보정하는 단계를 포함할 수 있다.
상기 양 차선을 검출하는 단계는 상기 주행 중인 차로에 대한 영상을 획득하는 단계; 상기 차량의 현재 위치에 대응하는 웨이포인트(waypoint) 정보를 획득하는 단계; 및 상기 웨이포인트 정보 및 상기 영상으로부터 검출된 차선 정보에 기초하여, 상기 양 차선을 검출하는 단계를 포함할 수 있다.
상기 양 차선을 검출하는 단계는 상기 웨이포인트 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수의 곡률 파라미터를 산출하는 단계; 및 상기 차선 정보에 기초하여, 상기 제1 차선 회귀 함수의 오프셋 파라미터를 산출하는 단계를 포함할 수 있다.
상기 적어도 하나의 미검출 차선을 결정하는 단계는 상기 주행 중인 차로의 형태에 관한 제2 정보를 획득하는 단계; 상기 제2 정보에 기초하여 상기 제1 정보 내 탐색 범위를 설정하는 단계; 및 상기 탐색 범위 내에서 상기 제1 정보를 탐색함으로써 상기 적어도 하나의 미검출 차선에 대응하는 적어도 하나의 가상 차선을 생성하는 단계를 포함할 수 있다.
상기 제2 정보를 획득하는 단계는 상기 검출된 차선 정보에 기초하여 상기 제2 정보를 결정하는 단계; 상기 차량의 현재 위치에 대응하는 웨이포인트 정보에 기초하여 상기 제2 정보를 결정하는 단계; 기존에 주행했던 도로의 형태 정보로부터 상기 제2 정보를 결정하는 단계; 및 상기 제1 정보로부터 검출된 주행 가능한 도로의 형태 정보에 기초하여 상기 제2 정보를 결정하는 단계 중 적어도 하나를 포함할 수 있다.
상기 탐색 범위는 상기 제1 정보에 포함된 복수의 픽셀들 중 적어도 하나의 차선의 후보에 해당하는 픽셀들을 포함할 수 있다.
상기 탐색 범위를 설정하는 단계는 상기 제2 정보에 기초하여 산출된 제1 차선 회귀 함수에 기초하여, 상기 탐색 범위를 지시하는 오프셋 범위를 설정하는 단계를 포함할 수 있다.
상기 가상 차선을 생성하는 단계는 상기 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출하는 단계; 및 상기 추출된 픽셀들에 기초하여 제2 차선 회귀 함수를 산출하는 단계를 포함할 수 있다.
상기 차선 결정 방법은 상기 주행 중인 차로에 관한 영상을 세그먼테이션(segmentation) 함으로써, 상기 주행 가능한 도로 영역에 관한 제1 정보를 획득하는 단계를 더 포함할 수 있다.
상기 차선 결정 방법은 상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 생성하는 단계를 더 포함할 수 있다.
상기 차선 결정 방법은 상기 적어도 하나의 미검출 차선에 기초하여 차량의 주행을 제어하는 단계; 및 상기 적어도 하나의 미검출 차선을 디스플레이하는 단계 중 적어도 하나를 더 포함할 수 있다.
일 측에 따르면, 차선 결정 장치는 영상을 획득하는 센서; 및 상기 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하고, 상기 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단하며, 상기 판단 결과에 따라, 주행 가능한 도로 영역에 관한 제1 정보에 기초하여 상기 적어도 하나의 미검출 차선을 결정하는 프로세서를 포함한다.
상기 제1 정보는 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 포함할 수 있다.
상기 프로세서는 상기 양 차선 중 일측의 차선이 검출되고, 반대측의 차선이 검출되지 않았다는 판단에 따라, 상기 일측의 차선을 기초로, 상기 반대측의 차선을 예측하고, 상기 제1 정보에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 보정할 수 있다.
상기 프로세서는 상기 일측의 차선에 대응하는 제1 차선 회귀 함수에 기초하여, 상기 반대측의 차선에 대응하는 제2 차선 회귀 함수를 예측하고, 상기 반대측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제2 차선 회귀 함수를 보정할 수 있다.
상기 프로세서는 상기 양 차선이 검출되지 않았다는 판단에 따라, 상기 제1 정보에 기초하여, 상기 양 차선 중 일측의 차선을 예측하고, 상기 일측의 차선에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 예측할 수 있다.
상기 프로세서는 상기 제1 정보 내 상기 주행 가능한 도로 영역의 경계를 검색하고, 상기 경계에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출할 수 있다.
상기 프로세서는 상기 제1 정보 내에서 주행 불가능 영역을 검색하고, 상기 주행 불가능 영역에 기초하여 상기 경계를 검색할 수 있다.
상기 프로세서는 상기 양 차선이 검출되지 않았다는 판단에 따라, 상기 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여, 상기 일측의 차선을 예측하고, 상기 제1 정보에 기초하여, 상기 일측의 차선을 보정할 수 있다.
상기 프로세서는 상기 기 저장된 정보에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하고, 상기 일측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제1 차선 회귀 함수를 보정할 수 있다.
상기 프로세서는 상기 차량의 현재 위치에 대응하는 웨이포인트 정보를 획득하고, 상기 웨이포인트 정보 및 상기 영상으로부터 검출된 차선 정보에 기초하여 상기 양 차선을 검출할 수 있다.
상기 프로세서는 상기 웨이포인트 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수의 곡률 파라미터를 산출하고, 상기 차선 정보에 기초하여, 상기 제1 차선 회귀 함수의 오프셋 파라미터를 산출할 수 있다.
상기 프로세서는 상기 주행 중인 차로의 형태에 관한 제2 정보를 획득하고, 상기 제2 정보에 기초하여 상기 제1 정보 내 탐색 범위를 설정하며, 상기 탐색 범위 내에서 상기 제1 정보를 탐색함으로써 상기 적어도 하나의 미검출 차선에 대응하는 적어도 하나의 가상 차선을 생성할 수 있다.
상기 프로세서는 상기 검출된 차선 정보에 기초하여 상기 제2 정보를 결정하거나, 상기 차량의 현재 위치에 대응하는 웨이포인트 정보에 기초하여 상기 제2 정보를 결정거나, 기존에 주행했던 도로의 형태 정보로부터 상기 제2 정보를 결정하거나, 또는 상기 제1 정보로부터 검출된 주행 가능한 도로의 형태 정보에 기초하여 상기 제2 정보를 결정할 수 있다.
상기 탐색 범위는 상기 제1 정보에 포함된 복수의 픽셀들 중 적어도 하나의 차선의 후보에 해당하는 픽셀들을 포함할 수 있다.
상기 프로세서는 상기 제2 정보에 기초하여 산출된 제1 차선 회귀 함수에 기초하여, 상기 탐색 범위를 지시하는 오프셋 범위를 설정할 수 있다.
상기 프로세서는 상기 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출하고, 상기 추출된 픽셀들에 기초하여 제2 차선 회귀 함수를 산출할 수 있다.
상기 프로세서는 상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 주행 가능한 도로 영역에 관한 제1 정보를 획득할 수 있다.
상기 프로세서는 상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 생성할 수 있다.
상기 프로세서는 상기 적어도 하나의 미검출 차선에 기초하여 차량의 주행을 제어할 수 있다.
상기 차선 결정 장치는 상기 적어도 하나의 미검출 차선을 디스플레이하는 디스플레이 장치를 더 포함할 수 있다
도 1은 일 실시예에 따른 주행 가능한 도로 영역을 고려하지 않고 차선을 결정하는 경우에 발생하는 문제점을 설명하기 위한 도면.
도 2는 일 실시예에 따른 차선 결정 방법을 나타낸 흐름도.
도 3은 일 실시예에 따라 제1 정보를 획득하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따라 양 차선 중 어느 일측의 차선이 미검출된 경우에 미검출된 차선을 결정하는 방법을 설명하기 위한 도면.
도 5는 일 실시예에 따라 양 차선 중 어느 일측의 차선이 검출된 경우에 미검출된 차선을 결정하는 방법을 나타낸 흐름도.
도 6은 일 실시예에 따라 양 차선이 미검출된 경우에 미검출된 양 차선을 결정하는 방법을 설명하기 위한 도면.
도 7 내지 도 9는 실시예들에 따라 미검출된 양 차선을 결정하는 방법들을 나타낸 흐름도이다.
도 10a 내지 도 10c는 실시예들에 따라 제2 정보를 획득하는 방법을 설명하기 위한 도면.
도 11은 일 실시예에 따라 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하는 방법을 나타낸 흐름도.
도 12는 일 실시예에 따라 1 차선 회귀 함수의 곡률 파라미터 및 오프셋 파라미터를 산출하는 방법을 설명하기 위한 도면.
도 13 및 도 14는 다른 실시예들에 따른 차선 결정 방법을 나타낸 흐름도.
도 15는 일 실시예에 따른 차선 결정 장치의 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 차선을 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하거나, 또는 차량의 주행을 위한 다양한 제어 정보를 제공하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에 시각 정보(Visual Information)를 제공하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 주행 가능한 도로 영역을 고려하지 않고 차선을 결정하는 경우에 발생하는 문제점을 설명하기 위한 도면이다. 도 1을 참조하면, 차량이 주행 중인 차로를 포함하는 도로의 영상을 도시한 도면(110) 및 해당 도로에서의 주행 가능 영역(133) 및 주행 불가능 영역(136)를 나타낸 도면(130)이 도시된다.
예를 들어, 날씨가 매우 흐리거나, 또는 눈, 비, 안개 등에 의해 도로 전방의 차선 인식이 불가능한 경우, 전방에 다수의 차량들이 복잡하게 엉켜 있거나, 그림자에 의해 가려져서 차선이 잘 파악되지 않는 경우, 도로의 차선이 차벽 등에 의해 훼손되어 잘 보이지 않는 경우, 차선 일부가 소실된 경우 등에는 영상(110)으로부터 차선 검출이 매우 어렵거나 또는 불가능할 수 있다.
차선이 검출되지 않는 경우, 현재 주행 중인 차로의 폭을 가정하고, 검출된 어느 일측의 차선을 반대측 차선으로 미러링(mirroring)하거나, 또는 마지막으로 검출된 차선을 유추하여 차선을 결정하는 것이 일반적이다.
하지만, 도면(130)에 도시된 것과 같이 도로 전방의 주행 가능 영역(133)이 차량이 현재 주행 중인 도로 영역(139)과 상이할 수 있다. 이와 같이, 주행 가능 영역(133)이 실제 도로 영역(139)과 상이한 경우, 차선 결정 시에 주행 가능 영역(133)을 반영하지 않으면 도로 전방에 대하여 결정되는 주행 차선이 차로 밖의 주행 불가능 영역(136)에 생성되어 큰 사고를 유발할 수 있다.
일 실시예에서는 차선의 결정 시에 차로의 형태, 및/또는 주행 가능 영역(133)(또는 주행 불가능 영역(136))을 함께 고려함으로써 차선이 일부 소실되거나, 또는 그림자 등에 의해 가려져 잘 보이지 않는 경우에도 안정적으로 차선을 검출할 수 있으며, 또한, 차선 검출의 정확도 또한 향상시킬 수 있다.
이하, 본 명세서에서, '주행 가능 영역'은 도로 교통법 상 차량이 운행 가능한 것으로 지정된 도로 영역, 차량의 진출입이 가능한 인도의 일부 영역, 및/또는 도로 옆의 공터 등과 같이 도로 교통법 상 인정되지 않더라도 관습적으로 차량의 주행이 가능한 영역으로 인정되는 영역들을 모두 포함하는 의미로 이해될 수 있다. 주행 가능 영역은 '주행 가능한 도로 영역(drivable road area)'이라고도 부를 수 있다. 이하에서 주행 가능 영역과 주행 가능한 도로 영역은 동일한 의미로 이해될 수 있다.
또한, '주행 불가능 영역'은 도로 교통법 상 차량 운행이 불가능한 것으로 지정된 영역, 및/또는 산, 골짜기, 계곡, 바다 등과 같이 자연 지형 등에 의해 차량의 주행이 불가능한 영역을 모두 포함하는 의미로 이해될 수 있다.
도 2는 일 실시예에 따른 차선 결정 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 차선 결정 장치(이하, '장치')는 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출한다(210). 여기서, 영상은 예를 들어, 차량에 장착된 촬영 장치를 이용하여 획득된 주행 영상일 수 있다. 주행 영상은 하나 또는 복수 개의 주행 영상들을 포함할 수 있다. 주행 영상은 복수의 프레임들을 포함할 수 있다. 촬영 장치는 예를 들어, 차량의 윈드 실드(windshield), 대시 보드(dashboard), 백미러(rear-view mirror) 등과 같이 미리 정해진 위치에 고정되어 차량 전방의 주행 영상을 촬영할 수 있다. 촬영 장치는 예를 들어, 비전 센서, 이미지 센서, 또는 이와 유사한 기능을 수행하는 장치를 포함할 수 있다. 촬영 장치는 단일 영상을 촬영하거나, 경우에 따라 프레임 별 영상을 촬영할 수도 있다. 또는 주행 영상은 검출 장치 이외의 다른 장치에서 캡쳐된 영상일 수 있다. 주행 영상은 예를 들어, 도 3에 도시된 영상(310)일 수 있다.
단계(210)에서, 장치는 예를 들어, 영상으로부터 차선들을 포함하는 차선 영역을 인식하도록 미리 학습된 신경망(Neural Network)을 이용하여 영상으로부터 차량이 주행 중인 차로의 (양) 차선을 검출할 수 있다. 컨볼루션 신경망은 예를 들어, 영상에서 검출하고자 하는 차선의 바운딩 박스와 검출하고자 하는 차선의 종류 등이 함께 판별되도록 학습된 것일 수 있다. 장치가 주행 중인 차로의 양 차선을 검출하는 방법의 다른 예시는 아래의 도 11 및 도 12를 참조하여 구체적으로 설명한다.
장치는 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단한다(220). 단계(220)에서 장치는 양 차선이 모두 검출되었는지, 양 차선 중 어느 하나의 차선이 검출되었는지, 또는 양 차선이 모두 검출되지 않았는지를 판단할 수 있다.
장치는 단계(220)의 판단 결과에 따라, 주행 가능한 도로 영역(drivable road area)에 관한 제1 정보에 기초하여 적어도 하나의 미검출 차선을 결정한다(230). 제1 정보는 예를 들어, 영상 내 픽셀들이 주행 가능한 도로 영역일 확률들을 지시하는 맵(map), 다시 말해 도로 확률 맵일 수 있다. 제1 정보는 예를 들어, 주행 중인 차로에 대한 영상을 세그먼테이션 함으로써 획득될 수 있다. 장치가 제1 정보를 획득하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다.
일 실시예에 따른 장치는 예를 들어, 현재까지 검출된 차선 정보, 현재 검출된 차선 정보, 현재 검출된 도로 가능 영역을 활용하여 주행 가능한 가상 차선을 산출함으로써 미검출 차선(들)을 결정할 수 있다. 또는 장치는 양 차선 중 검출된 어느 하나의 차선(일측의 차선)을 제1 정보에 의해 보정하고, 보정된 일측의 차선에 기초하여 일측에 대응되는 반대측의 차선을 결정할 수도 있다.
예를 들어, 양 차선 중 어느 하나의 차선(일측의 차선)이 검출된 경우에 장치가 반대측 차선을 결정하는 방법은 아래의 도 4 내지 도 5를 참조하여 구체적으로 설명한다. 또한, 양 차선이 모두 검출되지 않은 경우에 장치가 양 차선을 결정하는 방법은 아래의 도 6 내지 도 9를 참조하여 구체적으로 설명한다.
장치는 단계(230)에서 결정된 적어도 하나의 미검출 차선에 기초하여 차량의 주행을 제어할 수 있다. 장치는 예를 들어, 단계(230)에서 결정된 적어도 하나의 미검출 차선에 기초하여 차량의 조향, 브레이크, 가감속 패달 등의 제어를 위한 제어 파라미터들을 생성하고, 제어 파라미터들을 이용하여 차량의 주행을 제어할 수 있다.
또한, 장치는 단계(230)에서 결정된 적어도 하나의 미검출 차선을 디스플레이 장치(예를 들어, 도 15의 디스플레이 장치(1550))에 디스플레이할 수 있다.
이하, 본 명세서에서 '차량(vehicle)'은 도로 위로 주행 중인 차량을 의미하는 것으로서, 예를 들어, 자율 주행 차량, 첨단 운전자 지원 시스템(Advanced Driver Assistance System; ADAS)을 구비한 지능형 차량 등을 포함할 수 있다. '도로(road)'는 차량들이 다니는 길을 의미하며, 예를 들어, 고속도로, 국도, 지방도, 고속 국도, 자동차 전용 도로 등과 같은 다양한 유형의 도로를 포함할 수 있다. 도로는 하나 또는 다수 개의 차로를 포함할 수 있다. '차로(lane)'는 도로 노면 상에 표시된 차선들(lines)을 통해 서로 구분되는 도로 공간에 해당할 수 있다. 차로는 해당 차로에 인접한 좌우의 차선(또는 차로 경계선)에 의해 구분될 수 있다. 또한, '차선(line)'은 도로 노면 상에 흰색, 파란색 또는 노랑색으로 표시된 실선, 점선, 곡선, 및 지그재그선 등 다양한 형태의 선으로 이해될 수 있다. 차선은 하나의 차로를 구분하는 일 측의 차선에 해당할 수도 있고, 하나의 차로를 구분하는 차선들의 쌍, 다시 말해, 좌측 차선 및 우측 차선에 해당할 수도 있다.
도 3은 일 실시예에 따라 제1 정보를 획득하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 영상(310) 및 영상(310)에 대응하는 세그먼테이션 영상(330)이 도시된다.
영상(310)는 예를 들어, 다른 차량(들), 차선, 연석, 인도, 주변 환경 등을 포함하는 도로 영상 및 도로 노면 영상 등을 포함할 수 있다. 영상(310)은 차량 및 차선들을 포함하는 차선 영역 및 주변 건물, 나무, 하늘 등 주변 환경 영역을 포함할 수 있다.
장치는 예를 들어, 영상(310)으로부터 객체(object)를 분할하고, 분할된 객체(예를 들어, 차선 또는 도로)가 어떤 의미를 갖는지를 픽셀(pixel) 단위로 파악함으로써 세그먼테이션 영상(330)을 생성할 수 있다. 객체는 클래스(class) 단위로 분류될 수 있으며, 클래스는 예를 들어, 도로, 차선, 차량, 인도, 사람, 동물, 하늘, 건물 등과 같은 다양한 의미 단위를 포함할 수 있다.
보다 구체적으로, 일 실시예에 따른 장치는 예를 들어, 여러 단계의 컨볼루션 레이어(convolution layer) 및 풀리 커넥티드 레이어(fully connected layer)로 구성된 분류 네트워크를 거쳐 세그먼테이션 영상(330)을 생성할 수 있다. 장치는 트레이닝 이미지로부터 트레이닝 출력을 출력하도록 트레이닝된, 분류기 모델(classifier model)을 이용하여, 영상(310)을 복수의 영역으로 분할할 수 있다. 분류기 모델은 예를 들어, 컨볼루셔널 뉴럴 네트워크일 수 있다. 트레이닝 이미지는 예를 들어, 컬러 이미지일 수 있고, 트레이닝 출력은 트레이닝 입력이 분할된 영역 이미지를 나타낼 수 있다. 예를 들어, 트레이닝 출력은, 트레이닝 이미지의 각 픽셀에 대응하는 속성(또는 클래스)(예를 들어, 차선, 도로, 차량, 사람, 객체, 및 배경 등)이 수동으로 지정되고, 지정된 속성에 기초하여 미리 분할된 영역 이미지일 수 있다.
장치는 예를 들어, AlexNet, VGGNet, GoogleNET 처럼 잘 알려진 분류 네트워크를 이용하여 영상(310)으로부터 의미 단위로 물체를 분할하고, 분할된 영역이 어떤 의미를 갖는지를 픽셀 단위로 파악하여 각 클래스마다 레이블링 함으로써 세그먼테이션 영상(330)을 생성할 수 있다. 일 실시예에 따르면, 장치는 모든 픽셀의 클래스를 분류하는 대신, 주행 가능한 도로에 해당하는 클래스의 픽셀과 주행 가능한 도로에 해당하는 클래스가 아닌 픽셀을 구분하도록 동작할 수도 있다.
장치는 세그먼테이션 영상(330)에서 주행 가능한 도로 영역(335)으로 미리 구분된 클래스들(예를 들어, 도로, 차선, 주행 가능한 인도 일부 등)에 대응하는 확률을 포함하는 제1 정보를 획득할 수 있다. 실시예에 따라, 장치는 주행 가능한 도로일 확률이 미리 설정된 기준 이상인 픽셀들에 대한 정보를 포함하는 제1 정보를 획득할 수도 있다. 장치는 예를 들어, 도로 클래스(또는 차선 클래스)에 대응하는 확률(0.9)이 미리 설정된 기준(0.758)보다 높은 확률 값을 가지는 경우, 해당 클래스(도로 클래스)에 대응하는 영역에 대한 확률 값(0.9)을 제1 정보로 획득할 수 있다.
도 4는 일 실시예에 따라 양 차선 중 어느 일측의 차선이 미검출된 경우에 미검출된 차선을 결정하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 주행 불가능 영역(410), 주행 가능 영역(430), 영상으로부터 검출된 좌측 차선(450) 및 좌측 차선(450)으로부터 추정(또는 예측)된 우측 차선(470)이 도시된다.
예를 들어, 영상으로부터 좌측 차선(450)만이 검출된 경우, 장치는 검출된 좌측 차선(450)을 기반으로 우측 차선(470)의 형태를 추정(또는 예측)할 수 있다. 예를 들어, 검출된 좌측 차선(450)이 S자 형태를 가지는 경우, 장치는 우측 차선(470) 또한 S자 형태를 가지는 것으로 추정할 수 있다.
장치는 추정한 우측 차선(470)이 주행 불가능 영역(410)이 아닌 주행 가능 영역(430) 내로 들어올 수 있도록 추정한 우측 차선(470)의 위치를 보정할 수 있다. 장치는 보정된 우측 차선을 최종적인 우측 차선(470)으로 결정하고, 검출된 좌측 차선(450)과 보정된 우측 차선(470)에 따라 주행하도록 차량을 제어할 수 있다.
도 5는 일 실시예에 따라 양 차선 중 어느 일측의 차선이 검출된 경우에 미검출된 차선을 결정하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 전술한 단계(230)에서 양 차선 중 일측의 차선이 검출되고, 반대측의 차선이 검출되지 않은 것으로 판단된 경우에 반대측의 차선을 결정하는 방법이 도시된다.
장치는 검출된 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출할 수 있다(510). 장치는 예를 들어, 차량의 현재 위치로부터 일정 거리 이내에 위치하는 지도 상의 복수의 웨이포인트들을 선택하고, 웨이포인트들에 대한 선형 회귀 분석을 통해 지도 상의 도로에서 일측의 차선의 형태를 표현하는 제1 차선 회귀 함수를 산출할 수 있다. 이때, 차량의 현재 위치는 예를 들어, 장치에 포함된 GPS 센서, 가속도 센서, 및 나침반 센서 등을 이용하여 측정될 수 있다. 또한, '지도 정보'는 예를 들어, 지구 표면 상의 지형지물(geographic feature)을 기호, 문자, 그림 등을 통해 나타낸 지도, 해당 지형지물의 위도, 경도, 및 고도를 포함하는 지도 좌표, 및 지도에 나타난 경로 상의 복수의 웨이포인트들 등을 포함할 수 있다. 여기서, 복수의 웨이포인트들은 도로 상의 단일 차로를 주행하면서 미리 정해진 간격으로 획득된 위치 좌표들의 집합일 수 있다. 지도 정보는 일반 지도 수준의 지도 정보이거나, 또는 일반 내비게이션 수준의 지도 정보에 해당할 수 있다. 지도 정보는 장치의 메모리(예를 들어, 도 15의 메모리(1530) 참조)에 미리 저장되거나, 장치의 통신 인터페이스(예를 들어, 도 15의 통신 인터페이스(1540))를 통해 장치의 외부로부터 수신한 것일 수 있다.
장치는 제1 차선 회귀 함수에 기초하여, 반대측의 차선에 대응하는 제2 차선 회귀 함수를 예측할 수 있다(520). 장치는 제1 차선 회귀 함수를 기초로, 반대측에 해당하는 주행 가능한 도로 영역에 대한 제1 정보를 검색하고, 검색된 제1 정보 중 미리 설정된 기준보다 높은 값을 가지는 제1 정보를 이용하여 제2 차선 회귀 방적식을 예측할 수 있다. 또는, 장치는 예를 들어, 제1 차선 회귀 함수에 기존에 주행했던 차로의 차폭의 s배(s는 미리 정해진 수, 예를 들어 2)를 오프셋(offset)으로 더한 방정식을 이용하여 반대측의 차선(가상 차선)에 대응하는 제2 차선 회귀 함수를 예측할 수 있다.
장치는 제1 정보에 기초하여, 반대측의 차선이 주행 가능한 도로 영역 내에 포함될 수 있도록, 제2 차선 회귀 함수를 보정할 수 있다(530).
장치는 제2 차선 회귀 함수에 기초하여 반대측의 차선을 결정할 수 있다(540).
도 6은 일 실시예에 따라 양 차선이 미검출된 경우에 미검출된 양 차선을 결정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 주행 불가능 영역(610), 주행 가능 영역(630), 추정된 우측 차선(650) 및 추정된 좌측 차선(670)이 도시된다.
장치는 양 차선이 미검출된 경우, 주행 가능 영역(630)의 형태를 기반으로 우측 차선(650) 및 좌측 차선(670)의 형태를 추정할 수 있다. 장치는 예를 들어, 주행 가능 영역(630)을 기반으로 우측 차선(650)의 형태가 직선에서 왼쪽으로 굽은 곡선 형태임을 추정할 수 있다. 장치는 추정한 우측 차선(650)을 기반으로 일정 차폭만큼 좌측으로 떨어진 거리에 좌측 차선(670)을 생성함으로써 좌측 차선(670)의 형태 또한 추정할 수 있다. 장치는 추정된 우측 차선(650) 및 좌측 차선(670)이 주행 가능 영역(630) 내에 포함되도록 추정된 우측 차선(650) 및 좌측 차선(670)의 위치를 보정할 수 있다. 장치는 최종적으로 보정된 우측 차선(650) 및 좌측 차선(670)에 따라 주행하도록 차량을 제어할 수 있다.
영상에서 양 차선이 모두 미검출된 경우, 장치는 예를 들어, 주행 가능한 영역과 주행 불가능한 영역 사이의 경계에 기초하여 일측의 차선 정보를 추정하고, 추정된 일측의 차선 정보에 기초하여 나머지 일측의 차선 정보를 추정할 수 있다.
또는, 장치는 예를 들어, 영상에서 차선(들)이 인식된 순간까지 매 프레임 별로 저장된 차선 정보를 이용하여 차선 회귀 함수를 산출할 수 있다.
장치는 차선 회귀 함수 및 주행 불가능 영역(610)에 인접한 일측의 차선에 대응하는 제1 정보에 포함된 복수의 필셀들 중 미리 설정된 기준보다 높은 값을 가지는 픽셀들을 이용하여 주행 불가능 영역(610)에 인접한 일측(예를 들어, 우측)의 차선의 위치를 추정할 수 있다. 장치는 예를 들어, 차선 회귀 함수가 미리 설정된 기준보다 높은 값을 가지는 픽셀들의 영역에 포함되는 동시에, 주행 불가능 영역(610)에 포함되지 않도록 제3 차선 회귀 함수를 조절(또는 이동)시킴으로써 주행 불가능 영역(610)에 인접한 일측(예를 들어, 우측)의 차선의 위치를 추정할 수 있다.
장치는 주행 불가능 영역(610)에 인접한 일측의 가상 차선의 위치를 기초로, 주행 불가능 영역(610)에 인접한 일측의 차선에 대응되는 반대측의 차선의 위치를 추정할 수 있다. 장치는 예를 들어, 주행 불가능 영역(610)에 인접한 우측의 차선의 위치를 기준으로 좌측으로 일정 거리(또는 일정 차로 폭)만큼 좌측으로 떨어진 위치를 반대측의 차선의 위치로 추정할 수 있다.
장치가 미검출된 양 차선을 결정하는 구체적인 실시예들은 아래의 도 7 내지 도 9를 참조하여 설명한다.
도 7은 일 실시예에 따라 미검출된 양 차선을 결정하는 방법들을 나타낸 흐름도이다. 도 7을 참조하면, 전술한 단계(230)에서 양 차선이 미검출된 경우에 도로 영역의 경계를 이용하여 미검출 차선을 결정하는 방법이 도시된다.
일 실시예에 따른 장치는 양 차선이 미검출된 경우, 제1 정보에 기초하여 양 차선 중 일측의 차선을 예측하고, 일측의 차선에 기초하여 일측의 차선에 대응되는 반대측의 차선을 예측할 수 있다.
보다 구체적으로, 장치는 제1 정보 내 주행 가능한 도로 영역의 경계를 검색할 수 있다(710). 장치는 예를 들어, 도 6에서 전술한 바와 같이 제1 정보 내에서 주행 불가능 영역을 검색하고, 주행 불가능 영역에 기초하여 주행 가능한 도로 영역의 경계를 검색할 수 있다.
장치는 주행 가능한 도로 영역의 경계에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출할 수 있다(720).
장치는 제1 차선 회귀 함수를 이용하여 일 측의 차선을 결정할 수 있다(730). 이하, 단계(740) 내지 단계(760)의 과정은 전술한 단계(520) 내지 단계(540)의 과정과 동일하므로 구체적인 설명은 생략한다.
도 8은 일 실시예에 따라 미검출된 양 차선을 결정하는 방법들을 나타낸 흐름도이다. 도 8을 참조하면, 전술한 단계(230)에서 양 차선이 미검출된 경우에 기존 도로 형태를 이용하여 미검출 차선을 결정하는 방법이 도시된다.
장치는 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여 일측의 차선을 예측하고, 제1 정보에 기초하여 일측의 차선을 보정할 수 있다. 장치는 양 차선 중 일측의 차선을 결정한 후, 일측의 차선에 기초하여 일측의 차선에 대응되는 반대측의 차선을 결정할 수 있다.
보다 구체적으로, 장치는 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출할 수 있다(810). 장치는 차량이 기존에 주행했던 차로의 차선들을 연장한 연장 차선들을 생성하고, 연장 차선들에 해당하는 차선 회귀 함수를 산출함으로써 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출할 수 있다.
장치는 제1 정보에 기초하여, 일측의 차선이 주행 가능한 도로 영역 내에 포함될 수 있도록 제1 차선 회귀 함수를 보정할 수 있다(820). 장치는 단계(820)에서 산출된 제1 차선 회귀 함수가 운전 가능한 도로 영역 내에 포함되도록, 제1 정보에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 값을 가지는 픽셀들에 대응하는 영역(또는 위치)에 제1 차선 회귀 함수가 위치하도록 제1 차선 회귀 함수를 보정할 수 있다.
장치는 단계(820)에서 보정된 제1 차선 회귀 함수를 이용하여 일 측의 차선을 결정할 수 있다(830). 이하, 단계(840) 내지 단계(860)의 과정은 전술한 단계(520) 내지 단계(540)의 과정과 동일하므로 구체적인 설명은 생략한다.
도 9는 일 실시예에 따라 미검출된 양 차선을 결정하는 방법들을 나타낸 흐름도이다. 도 9를 참조하면, 전술한 단계(230)에서 적어도 하나의 차선이 미검출된 경우에 탐색 범위(search range)를 설정하여 미검출 차선을 결정하는 방법이 도시된다.
장치는 주행 중인 차로의 형태에 관한 제2 정보를 획득할 수 있다(910). 장치는 예를 들어, 차량이 기존에 주행했던 차로의 차선들을 연장한 연장 차선들을 생성함으로써 제2 정보를 획득할 수 있다. 또는 장치는 예를 들어, 영상으로부터 검출된 차선 정보, 기존에 주행했던 도로의 형태 정보, 제1 정보로부터 검출된 주행 가능한 도로의 형태 정보, 및/또는 차량의 현재 위치에 대응하는 웨이포인트 정보, 및 이들의 조합에 기초하여 제2 정보를 결정할 수 있다. 장치가 제2 정보를 결정하는 구체적인 방법은 아래의 도 10을 참조하여 구체적으로 설명한다.
장치는 제2 정보에 기초하여 제1 정보 내 탐색 범위를 설정할 수 있다(920). 또는 장치는 예를 들어, 제2 정보에 기초하여 산출된 제1 차선 회귀 함수에 기초하여, 탐색 범위를 지시하는 오프셋 범위를 설정할 수 있다. 여기서, 탐색 범위는 제1 정보에 포함된 복수의 픽셀들 중 적어도 하나의 차선의 후보에 해당하는 픽셀들을 포함할 수 있다.
장치는 탐색 범위 내에서 제1 정보를 탐색함으로써 적어도 하나의 미검출 차선에 대응하는 적어도 하나의 가상 차선을 생성할 수 있다(930). 장치는 예를 들어, 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출할 수 있다. 장치는 추출된 픽셀들에 기초하여 제2 차선 회귀 함수를 산출함으로써 적어도 하나의 가상 차선을 생성할 수 있다.
장치는 단계(930)에서 생성한 적어도 하나의 가상 차선에 기초하여 적어도 하나의 미검출 차선을 결정할 수 있다(940).
도 10a 내지 도 10c는 실시예들에 따라 제2 정보를 획득하는 방법을 설명하기 위한 도면이다. 도 10a를 참조하면, 영상으로부터 인식된 차선 정보(1010)가 도시된다.
일 실시예에 따른 장치는 영상으로부터 차선들을 포함하는 차선 영역을 인식하도록 미리 학습된 신경망을 이용하여 영상으로부터 차선 정보(1010)를 인식할 수 있다. 이때, 신경망은 차량, 및 기타 객체들과 같은 차선 이외의 객체들(1020)과 차선 정보(1010)를 서로 구분할 수 있으며, 차선의 종류 또한 함께 판별할 수 있다. 장치는 예를 들어, 인식된 차선 정보(1010)로부터 차로를 구성하는 좌,우측 차선의 위치, 형상, 차로의 차폭 등과 같은 차로의 형태에 관한 제2 정보를 획득할 수 있다.
도 10b를 참조하면, 지도(1030)로부터 획득된 웨이포인트 정보(W1, W2, W3, W4, W5, W6, W7)(1040)가 도시된다. 일 실시예에 따른 장치는 차량의 위치에 해당하는 지도 정보에 기초하여 차량이 주행 중인 도로에 대응되는 차선 회수 함수(예를 들어, 1차식, 2차식, 3차식 또는 곡선(클로소이드))를 결정(예측)하고, 차선 회귀 함수를 이용하여 영상으로부터 차선을 검출할 수 있다.
보다 구체적으로, 장치는 지도(1030)에서 차량의 현재 위치에 대응하여 추출된 웨이포인트 정보(W1, W2, W3, W4, W5, W6, W7)(1040)를 회귀함으로써 도로의 형태가 곡선 또는 S자 형태임을 인식할 수 있다.
장치는 도로의 형태(예를 들어, S자 곡선 형태)를 표현하는 데에 적합한 차선 회귀 함수를 결정할 수 있다. 장치는 예를 들어, W1 지점에 대하여는 2차 다항식 예를 들어,
Figure pat00001
을 차선 회귀 함수로 결정하고, W3 지점에 대하여는 3차 다항식 예를 들어,
Figure pat00002
을 차선 회귀 함수로 결정할 수 있다.
장치는 예를 들어, W1 지점의 차선 회귀 함수에 비해, W3 지점의 차선 회귀 함수에 대한 회귀 가중치(또는 곡률 가중치)를 더 주어 휘어짐을 잘 표현하도록 할 수 있다.
일 실시예에 따른 장치는 웨이포인트 정보를 이용하여 지도 상에서의 도로의 형태를 인식하고, 도로의 형태에 기초하여 차로에 대응하는 차선 회귀 함수를 결정할 수 있다. 장치는 예를 들어, 웨이포인트 정보에 대한 회귀 분석(regression analysis)을 통해 차로에 대응하는 차선 회귀 함수의 회귀 가중치를 부여할 수 있다. 장치는 차로에 대응하는 차선 회귀 함수를 이용하여 차로의 형태에 관한 제2 정보를 결정할 수 있다.
또한, 장치는 웨이포인트 정보가 나타내는 도로의 형태를 가장 적합하게 표현할 수 있도록 웨이포인트 정보의 일정 구간, 또는 각 웨이포인트 정보의 좌표 지점에 대하여 결정된 차수, 및 회귀 가중치 등이 반영된 차선 회귀 함수를 이용하여 차선을 검출함으로써 제2 정보를 보다 정확하고 신속하게 결정할 수 있다.
도 10c를 참조하면, 기존에 주행했던 도로의 형태 정보(1050)로부터 결정된 가상 차선(1060)이 도시된다.
장치는 차량이 기존에 주행했던 차로의 차선들을 연장한 연장 차선들을 생성함으로써 제2 정보를 획득할 수 있다. 장치는 예를 들어, 기존에 주행했던 차로의 차선들(1050)에 대응하는 로컬 경로를 결정하고, 로컬 경로에 따라 기존에 주행했던 차로의 차선(들)을 연장함으로써 연장 차선(들)(1060)을 생성할 수 있다. 장치는 연장 차선들(1060)이 운전 가능한 도로 영역 내에 포함되도록 제1 정보 내 탐색 범위를 설정할 수 있다. 장치는 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출하고, 추출된 픽셀들에 기초하여 산출한 차선 회귀 함수에 의해 제2 정보를 결정할 수 있다.
도 11은 일 실시예에 따라 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하는 방법을 나타낸 흐름도이고, 도 12는 일 실시예에 따라 제1 차선 회귀 함수의 곡률 파라미터 및 오프셋 파라미터를 산출하는 방법을 설명하기 위한 도면이다.
도 11 및 도 12를 참조하면, 일 실시예에 따른 장치는 영상으로부터 차량이 주행 중인 차로에 대한 영상을 획득할 수 있다(1110).
장치는 예를 들어, 도 12의 1210과 같이 차량(1230)의 현재 위치에 대응하는 웨이포인트(waypoint) 정보를 획득할 수 있다(1120). 이때, 웨이포인트 정보는 예를 들어, 도 12의 차량(1230)이 주행 중인 도로(1250)에 대응하는 지도 상의 도로의 일부 지점들 및/또는 이들의 좌표에 해당할 수 있다. 장치는 예를 들어, 지도 상에서 차량(1230)의 현재 위치에 인접한 웨이포인트로부터 예견 거리(look-ahead distance)에 해당하는 웨이포인트 이내에 위치하는 복수의 웨이포인트들을 이용하여 차량(1230)이 주행 중인 도로의 곡률 정보를 결정할 수 있다. '예견 거리'는 차량(1230)의 주행을 위한 정보가 필요할 것으로 예견되는 거리를 의미하며, 예를 들어, 차량의 속도, 가시 거리(visible distance), 날씨, 주행 상황, 도로의 상태, 또는 이들의 다양한 조합 등에 기초하여 결정될 수 있다. 또는 예견 거리는 미리 정해놓은 차선 회귀 함수(다항식)의 차수에 따라 복수의 웨이포인트들을 가장 잘 표현할 수 있는 거리에 해당할 수 있다.
단계(1110)에서 영상으로부터 검출된 차선 정보 및 단계(1120)에서 획득한 웨이포인트 정보에 기초하여 양 차선을 검출할 수 있다. 보다 구체적으로, 장치는 웨이포인트 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수의 곡률 파라미터를 산출할 수 있다(1130).
장치는 예를 들어, 선형 회귀 분석(linear regression analysis)을 통해 지도 상의 도로(1250)의 형태를 표현하는 제1 차선 회귀 함수(예를 들어,
Figure pat00003
)를 산출하고, 제1 차선 회귀 함수를 이용하여 도로(1250)의 곡률 정보(C1 및 C2)를 결정할 수 있다.
장치는 영상으로부터 검출된 차선 정보에 기초하여, 제1 차선 회귀 함수의 오프셋 파라미터를 산출할 수 있다(1140). 장치는 예를 들어, 차량(1230)에 부착된 카메라를 이용하여 획득한 영상(예를 들어, 주행 영상)으로부터 차선들을 포함하는 차선 영역을 검출하고, 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차량(1230)의 횡방향 오프셋(C0)을 추정할 수 있다. 여기서, 기준선은 예를 들어, 곡률 정보가 0인 경우 직선 형태의 선이고, 곡률 정보가 0보다 큰 경우 커브(curve) 형태의 선일 수 있다. 커브 형태의 선은 한 방향의 곡률을 가지는 곡선, 두 방향 이상의 곡률을 가지는 곡선, 원형의 적어도 일부에 해당하는 곡선, 또는 타원형의 적어도 일부에 해당하는 곡선 등을 포함할 수 있다. 또한, 차량(1230)의 '횡방향 오프셋(lateral offset)'은 차량(1230)의 중심이 도로(1250)의 중심선으로부터 떨어진 거리에 해당할 수 있다.
장치는 제1 차선 회귀 함수의 곡률 파라미터 및 제1 차선 회귀 함수의 오프셋 파라미터를 이용하여 차로의 양 차선을 검출할 수 있다(1150). 장치는 제1 차선 회귀 함수의 곡률 파라미터 및 제1 차선 회귀 함수의 오프셋 파라미터를 이용하여 최종적으로
Figure pat00004
와 같은 차선 회귀 함수를 획득할 수 있다. 장치는 예를 들어, 최종적으로 획득한 차선 회귀 함수에서 오프셋의 2배수를 곱하는 방식으로 해당 차로의 차폭을 구해 차로의 양 차선을 검출할 수 있다.
전술한 예시 이외에도, 영상 정보로부터 차선을 검출하는 다양한 기법들이 이용될 수 있으며, 적어도 하나의 차선이 미검출되는 경우 전술한 실시예들을 통하여 미검출된 차선이 추정될 수 있다.
도 13은 다른 실시예에 따른 차선 결정 방법을 나타낸 흐름도이다. 도 13을 참조하면, 일 실시예에 따른 장치는 영상을 획득하고(1305), 영상으로부터 픽셀 별 확률을 추출하여 세그먼테이션 영상을 생성할 수 있다(1310). 이때, 장치는 픽셀 레벨의 분류를 통해 영상에 포함된 객체(또는 차선 영역)를 구분함으로써 세그먼테이션 영상을 생성할 수 있다. 장치는 차선을 구분한 세그먼테이션 영상을 평면 시점(Top View) 영상으로 변환할 수 있다(1315).
이와 함께, 장치는 예를 들어, GPS 정보와 지도 정보를 이용하여 차량의 현재 위치를 인식할 수 있다(1320). 장치는 단계(1320)에서 인식한 차량의 현재 위치로부터 예견 거리(look-ahead distance)에 해당하는 웨이포인트 이내에 위치하는 복수의 웨이포인트들을 검색하고(1325), 검색된 복수의 웨이포인트들을 이용하여 맵 패턴(map pattern)을 산출할 수 있다(1330).
장치는 단계(1315)에서 생성한 평면 시점 영상과 단계(1330)에서 산출한 맵 패턴을 이용하여 차량이 주행 중인 차로의 차선이 검출되는지를 판단할 수 있다(1335).
단계(1335)에서 차선이 검출된 경우, 장치는 검출된 차선에 대응하는 다항식(Polynomial equation)을 결정할 수 있다(1345). 이때, 검출된 차선에 대응하는 다항식은 예를 들어,
Figure pat00005
일 수 있다. 장치는 예를 들어, 도 12에 도시된 것과 같이 C1 및 C2의 곡률 정보를 갖는 기준선을 픽셀 단위(예를 들어, 한 픽셀)로 이동시켜 가면서, 평면 시점 영상에 포함된 차선들과 기준선 사이의 피팅 스코어들을 산출할 수 있다. 장치는 산출된 피팅 스코어들에 기초하여 차선들을 검출하고, 차량의 횡방향 위치에 인접한 두 차선들을 결정할 수 있다. 장치는 앞서 파악된 도로의 곡률 정보(C1 및 C2) 및 횡방향 오프셋(C0)에 의해 최종적인 다항식(Polynomial equation)을 결정할 수 있다. 이때, 최종적으로 결정된 다항식은 차량의 주행 경로에 따른 도로의 형태 및 주행 차로 내의 차량의 위치를 나타내는 차선 회귀 함수에 해당할 수 있다.
장치는 단계(1345)에서 결정된 다항식을 이용하여 최종적으로 차선을 결정할 수 있다(1350).
또한, 장치는 단계(1345)에서 결정된 다항식을 이용하여 예를 들어, 차량의 핸들 조향, 차량의 가감속을 위한 액셀레이터 및 브레이크 등과 같이 차량의 주행을 제어하기 위한 다양한 제어 파라미터들을 생성하여 출력할 수 있다. 장치는 차선 회귀 함수를 이용하여 차량의 경로를 결정할 수 있다.
단계(1335)에서 차선이 검출되지 않은 경우, 장치는 영상 내 픽셀들이 주행 가능한 도로 영역일 확률들을 지시하는 도로 확률 맵(map)으로부터 단계(1335)에서 검출에 실패한 차선을 재검출할 수 있다(1340). 단계(1340)에는 미검출된 차선을 추정하는 전술한 실시예들이 적용될 수 있다.
장치는 도로 확률 맵으로부터 재검출된 차선을 최종적인 차선으로 결정할 수 있다(1350).
일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법은 자율 주행 시스템뿐만 아니라, 지도 정보가 주어진 실내 로봇 어플리케이션, 스마트 팩토리(smart factory) 등과 같은 다양한 산업 환경에서 정밀한 제어를 요구하는 로봇 시스템에서 로봇의 경로 제어를 위한 제어선 검출 및 제어 정보 제공에도 이용될 수 있다.
도 14는 다른 실시예에 따른 차선 결정 방법을 나타낸 흐름도이다. 도 14를 참조하면, 일 실시예에 따른 장치는 카메리 기반으로 영상을 인식할 수 있다(1410). 장치는 인식된 영상으로부터 픽셀 확률 정보를 취득할 수 있다(1420).
장치는 픽셀 확률 정보에 기초하여 차선을 검출할 수 있다(1430).
장치는 차량이 주행 중인 차로의 양측 차선이 모두 검출되었는지를 판단할 수 있다(1440). 단계(1440)에서 양측 차선이 모두 검출된 것으로 판단되면, 장치는 차선을 유지하여 차량이 주행되도록 할 수 있다(1480).
단계(1440)에서 양측 차선이 모두 검출되지 않은 것으로 판단되면, 장치는 어느 일측의 차선이 검출되었는지를 판단할 수 있다(1450). 단계(1450)에서 어느 일측의 차선이 검출된 것으로 판단되면, 장치는 검출된 일측의 차선에 대응하는 반대 측의 가상 차선을 검출할 수 있다(1460).
단계(1450)에서 어느 일측의 차선도 검출되지 않은 것으로 판단되면, 장치는 기존에 저장해둔 차선 정보를 기반으로 도로 확률 맵을 이용하여 양측 차선을 검출할 수 있다(1470).
도면에 도시하지 않았으나, 단계(1460) 및 단계(1470)에는 운전 가능한 도로 영역에 대한 정보를 기초로 미검출된 차선을 추정하는 실시예들이 적용될 수 있다.
도 15는 일 실시예에 따른 차선 결정 장치의 블록도이다. 도 15를 참조하면, 일 실시예에 따른 차선 결정 장치(이하, '장치')(1500)는 센서들(1510) 및 프로세서(1520)를 포함한다. 또한, 장치(1500)는 메모리(1530), 통신 인터페이스(1540), 및 디스플레이 장치(1550)를 포함할 수 있다. 센서들(1510), 프로세서(1520), 메모리(1530), 통신 인터페이스(1540), 및 디스플레이 장치(1550)는 통신 버스(1505)를 통해 서로 통신할 수 있다.
센서들(1510)은 예를 들어, 이미지 센서, 가속도계 센서, 나침반 센서, GPS 센서, 자이로 센서, 오도미터, 지자기 센서 등을 포함할 수 있다. 센서들(1510)은 차량의 위치를 나타내는 측위 정보를 획득한다. 또한, 센서들(1510)은 차량의 주행 영상을 촬영할 수 있다.
프로세서(1520)는 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출한다. 프로세서(1520)는 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단한 결과에 따라, 주행 가능한 도로 영역에 관한 제1 정보에 기초하여 적어도 하나의 미검출 차선을 결정한다.
장치(1500)는 통신 인터페이스(1540)를 통해 센싱 정보를 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1540)는 장치(1500)의 외부에 존재하는 다른 센서들로부터 센싱 정보를 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1540)는 장치(1500)의 외부로부터 주행 영상, 지도 정보 및 GPS 정보를 수신할 수 있다.
프로세서(1520)는 통신 인터페이스(1540)를 통해 차량의 주행을 위한 정보를 출력할 수 있다. 차량의 주행을 위한 정보는 예를 들어, 차량의 로컬 경로에 따라 차량의 주행 방향, 차량의 핸들 조향 각도, 및 차량의 속도 중 어느 하나 또는 이들의 조합을 제어하기 위한 제어 파라미터를 포함할 수 있다.
또한, 프로세서(1520)는 도 1 내지 도 14를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다
프로세서(1520)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(1520)는 프로그램을 실행하고, 장치(1500)를 제어할 수 있다. 프로세서(1520)에 의하여 실행되는 프로그램 코드는 메모리(1530)에 저장될 수 있다.
메모리(1530)는 영상 및 지도 정보를 저장할 수 있다. 메모리(1530)는 상술한 프로세서(1520)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1530)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1530)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1530)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
디스플레이 장치(1550)는 프로세서(1520)에 의해 결정된 차선을 지도 정보, 와 함께 또는 별도로 표시할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (40)

  1. 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하는 단계;
    상기 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라, 주행 가능한 도로 영역(drivable road area)에 관한 제1 정보에 기초하여 상기 적어도 하나의 미검출 차선을 결정하는 단계
    를 포함하는, 차선 결정 방법.
  2. 제1항에 있어서,
    상기 제1 정보는
    상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵(map)을 포함하는, 차선 결정 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 미검출 차선을 결정하는 단계는
    상기 양 차선 중 일측의 차선이 검출되고, 반대측의 차선이 검출되지 않았다는 판단에 따라,
    상기 일측의 차선을 기초로, 상기 반대측의 차선을 예측하는 단계; 및
    상기 제1 정보에 기초하여, 상기 반대측의 차선을 보정하는 단계
    를 포함하는, 차선 결정 방법.
  4. 제3항에 있어서,
    상기 반대측의 차선을 예측하는 단계는
    상기 일측의 차선에 대응하는 제1 차선 회귀 함수에 기초하여, 상기 반대측의 차선에 대응하는 제2 차선 회귀 함수를 예측하는 단계
    를 포함하고,
    상기 반대측의 차선을 보정하는 단계는
    상기 반대측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제2 차선 회귀 함수를 보정하는 단계
    를 포함하는, 차선 결정 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 미검출 차선을 결정하는 단계는
    상기 양 차선이 검출되지 않았다는 판단에 따라,
    상기 제1 정보에 기초하여, 상기 양 차선 중 일측의 차선을 예측하는 단계; 및
    상기 일측의 차선에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 예측하는 단계
    를 포함하는, 차선 결정 방법.
  6. 제5항에 있어서,
    상기 일측의 차선을 예측하는 단계는
    상기 제1 정보 내 상기 주행 가능한 도로 영역의 경계를 검색하는 단계; 및
    상기 경계에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하는 단계
    를 포함하는, 차선 결정 방법.
  7. 제6항에 있어서,
    상기 경계를 검색하는 단계는
    상기 제1 정보 내에서 주행 불가능 영역을 검색하는 단계; 및
    상기 주행 불가능 영역에 기초하여 상기 경계를 검색하는 단계
    를 포함하는, 차선 결정 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 미검출 차선을 결정하는 단계는
    상기 양 차선이 검출되지 않았다는 판단에 따라,
    상기 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여, 상기 일측의 차선을 예측하는 단계; 및
    상기 제1 정보에 기초하여, 상기 일측의 차선을 보정하는 단계
    를 포함하는, 차선 결정 방법.
  9. 제8항에 있어서,
    상기 일측의 차선을 예측하는 단계는
    상기 기 저장된 정보에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하는 단계
    를 포함하고,
    상기 일측의 차선을 보정하는 단계는
    상기 일측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제1 차선 회귀 함수를 보정하는 단계
    를 포함하는, 차선 결정 방법.
  10. 제1항에 있어서,
    상기 양 차선을 검출하는 단계는
    상기 주행 중인 차로에 대한 영상을 획득하는 단계;
    상기 차량의 현재 위치에 대응하는 웨이포인트(waypoint) 정보를 획득하는 단계; 및
    상기 웨이포인트 정보 및 상기 영상으로부터 검출된 차선 정보에 기초하여, 상기 양 차선을 검출하는 단계
    를 포함하는, 차선 결정 방법.
  11. 제10항에 있어서,
    상기 양 차선을 검출하는 단계는
    상기 웨이포인트 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수의 곡률 파라미터를 산출하는 단계; 및
    상기 차선 정보에 기초하여, 상기 제1 차선 회귀 함수의 오프셋 파라미터를 산출하는 단계
    를 포함하는, 차선 결정 방법.
  12. 제1항에 있어서,
    상기 적어도 하나의 미검출 차선을 결정하는 단계는
    상기 주행 중인 차로의 형태에 관한 제2 정보를 획득하는 단계;
    상기 제2 정보에 기초하여 상기 제1 정보 내 탐색 범위를 설정하는 단계; 및
    상기 탐색 범위 내에서 상기 제1 정보를 탐색함으로써 상기 적어도 하나의 미검출 차선에 대응하는 적어도 하나의 가상 차선을 생성하는 단계
    를 포함하는, 차선 결정 방법.
  13. 제12항에 있어서,
    상기 제2 정보를 획득하는 단계는
    상기 검출된 차선 정보에 기초하여 상기 제2 정보를 결정하는 단계;
    상기 차량의 현재 위치에 대응하는 웨이포인트 정보에 기초하여 상기 제2 정보를 결정하는 단계;
    기존에 주행했던 도로의 형태 정보로부터 상기 제2 정보를 결정하는 단계; 및
    상기 제1 정보로부터 검출된 주행 가능한 도로의 형태 정보에 기초하여 상기 제2 정보를 결정하는 단계
    중 적어도 하나를 포함하는, 차선 결정 방법.
  14. 제12항에 있어서,
    상기 탐색 범위는
    상기 제1 정보에 포함된 복수의 픽셀들 중 적어도 하나의 차선의 후보에 해당하는 픽셀들을 포함하는, 차선 결정 방법.
  15. 제12항에 있어서,
    상기 탐색 범위를 설정하는 단계는
    상기 제2 정보에 기초하여 산출된 제1 차선 회귀 함수에 기초하여, 상기 탐색 범위를 지시하는 오프셋 범위를 설정하는 단계
    를 포함하는, 차선 결정 방법.
  16. 제12항에 있어서,
    상기 가상 차선을 생성하는 단계는
    상기 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출하는 단계; 및
    상기 추출된 픽셀들에 기초하여 제2 차선 회귀 함수를 산출하는 단계
    를 포함하는, 차선 결정 방법.
  17. 제1항에 있어서,
    상기 주행 중인 차로에 관한 영상을 세그먼테이션(segmentation) 함으로써, 상기 주행 가능한 도로 영역에 관한 제1 정보를 획득하는 단계
    를 더 포함하는, 차선 결정 방법.
  18. 제1항에 있어서,
    상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 생성하는 단계
    를 더 포함하는, 차선 결정 방법.
  19. 제1항에 있어서,
    상기 적어도 하나의 미검출 차선에 기초하여 차량의 주행을 제어하는 단계; 및
    상기 적어도 하나의 미검출 차선을 디스플레이하는 단계
    중 적어도 하나를 더 포함하는, 차선 결정 방법.
  20. 하드웨어와 결합되어 제1항 내지 제19항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  21. 영상을 획득하는 센서; 및
    상기 영상으로부터 차량이 주행 중인 차로의 양 차선을 검출하고, 상기 양 차선 중 적어도 하나의 차선이 미검출 되었는지 여부를 판단하며, 상기 판단 결과에 따라, 주행 가능한 도로 영역에 관한 제1 정보에 기초하여 상기 적어도 하나의 미검출 차선을 결정하는 프로세서
    를 포함하는, 차선 결정 장치.
  22. 제21항에 있어서,
    상기 제1 정보는
    상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 포함하는, 차선 결정 장치.
  23. 제21항에 있어서,
    상기 프로세서는
    상기 양 차선 중 일측의 차선이 검출되고, 반대측의 차선이 검출되지 않았다는 판단에 따라,
    상기 일측의 차선을 기초로, 상기 반대측의 차선을 예측하고, 상기 제1 정보에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 보정하는, 차선 결정 장치.
  24. 제23항에 있어서,
    상기 프로세서는
    상기 일측의 차선에 대응하는 제1 차선 회귀 함수에 기초하여, 상기 반대측의 차선에 대응하는 제2 차선 회귀 함수를 예측하고, 상기 반대측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제2 차선 회귀 함수를 보정하는, 차선 결정 장치.
  25. 제21항에 있어서,
    상기 프로세서는
    상기 양 차선이 검출되지 않았다는 판단에 따라,
    상기 제1 정보에 기초하여, 상기 양 차선 중 일측의 차선을 예측하고, 상기 일측의 차선에 기초하여, 상기 일측의 차선에 대응되는 반대측의 차선을 예측하는, 차선 결정 장치.
  26. 제25항에 있어서,
    상기 프로세서는
    상기 제1 정보 내 상기 주행 가능한 도로 영역의 경계를 검색하고, 상기 경계에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하는, 차선 결정 장치.
  27. 제26항에 있어서,
    상기 프로세서는
    상기 제1 정보 내에서 주행 불가능 영역을 검색하고, 상기 주행 불가능 영역에 기초하여 상기 경계를 검색하는, 차선 결정 장치.
  28. 제21항에 있어서,
    상기 프로세서는
    상기 양 차선이 검출되지 않았다는 판단에 따라,
    상기 양 차선 중 일측의 차선의 형태에 관하여 기 저장된 정보에 기초하여, 상기 일측의 차선을 예측하고, 상기 제1 정보에 기초하여, 상기 일측의 차선을 보정하는, 차선 결정 장치.
  29. 제28항에 있어서,
    상기 프로세서는
    상기 기 저장된 정보에 기초하여, 상기 일측의 차선에 대응하는 제1 차선 회귀 함수를 산출하고, 상기 일측의 차선이 상기 주행 가능한 도로 영역 내에 포함될 수 있도록, 상기 제1 차선 회귀 함수를 보정하는, 차선 결정 장치.
  30. 제21항에 있어서,
    상기 프로세서는
    상기 차량의 현재 위치에 대응하는 웨이포인트 정보를 획득하고, 상기 웨이포인트 정보 및 상기 영상으로부터 검출된 차선 정보에 기초하여 상기 양 차선을 검출하는, 차선 결정 장치.
  31. 제30항에 있어서,
    상기 프로세서는
    상기 웨이포인트 정보에 기초하여, 일측의 차선에 대응하는 제1 차선 회귀 함수의 곡률 파라미터를 산출하고, 상기 차선 정보에 기초하여, 상기 제1 차선 회귀 함수의 오프셋 파라미터를 산출하는, 차선 결정 장치.
  32. 제21항에 있어서,
    상기 프로세서는
    상기 주행 중인 차로의 형태에 관한 제2 정보를 획득하고, 상기 제2 정보에 기초하여 상기 제1 정보 내 탐색 범위를 설정하며, 상기 탐색 범위 내에서 상기 제1 정보를 탐색함으로써 상기 적어도 하나의 미검출 차선에 대응하는 적어도 하나의 가상 차선을 생성하는, 차선 결정 장치.
  33. 제32항에 있어서,
    상기 프로세서는
    상기 검출된 차선 정보에 기초하여 상기 제2 정보를 결정하거나,
    상기 차량의 현재 위치에 대응하는 웨이포인트 정보에 기초하여 상기 제2 정보를 결정거나,
    기존에 주행했던 도로의 형태 정보로부터 상기 제2 정보를 결정하거나, 또는
    상기 제1 정보로부터 검출된 주행 가능한 도로의 형태 정보에 기초하여 상기 제2 정보를 결정하는,
    차선 결정 장치.
  34. 제32항에 있어서,
    상기 탐색 범위는
    상기 제1 정보에 포함된 복수의 픽셀들 중 적어도 하나의 차선의 후보에 해당하는 픽셀들을 포함하는, 차선 결정 장치.
  35. 제32항에 있어서,
    상기 프로세서는
    상기 제2 정보에 기초하여 산출된 제1 차선 회귀 함수에 기초하여, 상기 탐색 범위를 지시하는 오프셋 범위를 설정하는, 차선 결정 장치.
  36. 제32항에 있어서,
    상기 프로세서는
    상기 탐색 범위에 포함된 복수의 픽셀들 중 미리 설정된 기준보다 높은 확률 값을 가지는 픽셀들을 추출하고, 상기 추출된 픽셀들에 기초하여 제2 차선 회귀 함수를 산출하는, 차선 결정 장치.
  37. 제21항에 있어서,
    상기 프로세서는
    상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 주행 가능한 도로 영역에 관한 제1 정보를 획득하는, 차선 결정 장치.
  38. 제21항에 있어서,
    상기 프로세서는
    상기 주행 중인 차로에 관한 영상을 세그먼테이션 함으로써, 상기 영상 내 픽셀들이 상기 주행 가능한 도로 영역일 확률들을 지시하는 맵을 생성하는, 차선 결정 장치.
  39. 제21항에 있어서,
    상기 프로세서는
    상기 적어도 하나의 미검출 차선에 기초하여 차량의 주행을 제어하는, 차선 결정 장치.
  40. 제21항에 있어서,
    상기 적어도 하나의 미검출 차선을 디스플레이하는 디스플레이 장치
    를 더 포함하는, 차선 결정 장치.
KR1020180100318A 2018-08-27 2018-08-27 차선 결정 방법 및 장치 KR102595897B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180100318A KR102595897B1 (ko) 2018-08-27 2018-08-27 차선 결정 방법 및 장치
CN201910583507.7A CN110866433A (zh) 2018-08-27 2019-07-01 用于确定道路标线的方法和设备
US16/524,377 US11294392B2 (en) 2018-08-27 2019-07-29 Method and apparatus for determining road line
EP19192537.9A EP3654235A1 (en) 2018-08-27 2019-08-20 Method and apparatus for determining road line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180100318A KR102595897B1 (ko) 2018-08-27 2018-08-27 차선 결정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200023865A true KR20200023865A (ko) 2020-03-06
KR102595897B1 KR102595897B1 (ko) 2023-10-30

Family

ID=67659451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180100318A KR102595897B1 (ko) 2018-08-27 2018-08-27 차선 결정 방법 및 장치

Country Status (4)

Country Link
US (1) US11294392B2 (ko)
EP (1) EP3654235A1 (ko)
KR (1) KR102595897B1 (ko)
CN (1) CN110866433A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564856B1 (ko) * 2018-09-07 2023-08-08 삼성전자주식회사 차선을 검출하는 방법 및 장치
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
KR102061140B1 (ko) * 2019-02-12 2020-02-12 주식회사 만도 차로 유지 장치, 그를 가지는 차량 및 그 제어 방법
DE102019204943A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum teleoperierten Fahren eines Fahrzeuges
WO2021014954A1 (ja) * 2019-07-24 2021-01-28 株式会社デンソー 表示制御装置及び表示制御プログラム
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
KR20220065126A (ko) * 2020-11-12 2022-05-20 현대자동차주식회사 다중 센서 기반 주행 차로 인식 장치 및 방법
CN112396041B (zh) * 2021-01-19 2021-04-06 四川京炜数字科技有限公司 一种基于图像识别的道路标线对位系统
JP2022125932A (ja) * 2021-02-17 2022-08-29 本田技研工業株式会社 ヨーレート推定装置
CN113928336B (zh) * 2021-09-24 2023-09-01 上海时代之光照明电器检测有限公司 一种汽车自动驾驶辅助方法及系统
US11443531B1 (en) * 2021-12-16 2022-09-13 Plusai, Inc. Methods and apparatus for automatic collection of under-represented data for improving a training of a machine learning model
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068196A (ko) * 2013-12-11 2015-06-19 삼성테크윈 주식회사 차선 검출 시스템 및 차선 검출 방법
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
US20180150700A1 (en) * 2015-05-07 2018-05-31 Hitachi, Ltd. Lane Detection Device and Lane Detection Method
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
KR20130003308A (ko) 2011-06-30 2013-01-09 충북대학교 산학협력단 차량의 차선 인식 방법
KR101641251B1 (ko) 2011-08-05 2016-07-20 엘지전자 주식회사 차선 인식 장치 및 그 방법
KR20130057112A (ko) 2011-11-23 2013-05-31 현대자동차주식회사 가상 차선 생성 장치 및 방법
US20150165973A1 (en) 2012-06-14 2015-06-18 Toyota Jidosha Kabushiki Kaisha Lane Separation Mark Detection Apparatus and Drive Support System
JP6171612B2 (ja) * 2013-06-20 2017-08-02 株式会社豊田中央研究所 仮想レーン生成装置及びプログラム
KR102040705B1 (ko) 2013-08-16 2019-11-05 현대모비스 주식회사 차선 보상 장치 및 방법
KR102083207B1 (ko) 2013-11-21 2020-03-02 현대모비스 주식회사 지수평활법을 이용한 차선 유지 제어 시스템 및 가상 차선 생성 장치
KR101502511B1 (ko) 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
EP4254383A3 (en) 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US10262213B2 (en) 2014-12-16 2019-04-16 Here Global B.V. Learning lanes from vehicle probes
JP6456682B2 (ja) 2014-12-25 2019-01-23 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US10474907B2 (en) * 2016-03-10 2019-11-12 Panasonic Intellectual Property Corporation Of America Apparatus that presents result of recognition of recognition target
KR102421855B1 (ko) 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068196A (ko) * 2013-12-11 2015-06-19 삼성테크윈 주식회사 차선 검출 시스템 및 차선 검출 방법
US20180150700A1 (en) * 2015-05-07 2018-05-31 Hitachi, Ltd. Lane Detection Device and Lane Detection Method
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置

Also Published As

Publication number Publication date
KR102595897B1 (ko) 2023-10-30
US20200064855A1 (en) 2020-02-27
CN110866433A (zh) 2020-03-06
US11294392B2 (en) 2022-04-05
EP3654235A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
KR102595897B1 (ko) 차선 결정 방법 및 장치
KR102541561B1 (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
EP3673407B1 (en) Automatic occlusion detection in road network data
US11657072B2 (en) Automatic feature extraction from imagery
US8791996B2 (en) Image processing system and position measurement system
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
EP2372309B1 (en) Vehicle position detection system
US11460851B2 (en) Eccentricity image fusion
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
KR102589967B1 (ko) 차선을 검출하는 방법 및 장치
KR20200045696A (ko) 주행 정보를 결정하는 방법 및 장치
JP2023539868A (ja) マップベースの現実世界モデル化のシステム及び方法
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
CN114248778A (zh) 移动设备的定位方法和定位装置
US20230314163A1 (en) Map generation apparatus
WO2023188262A1 (ja) 地図生成装置
US20240037961A1 (en) Systems and methods for detecting lanes using a segmented image and semantic context
CN115195746A (zh) 地图生成装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant