KR20190097453A - 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들 - Google Patents

차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들 Download PDF

Info

Publication number
KR20190097453A
KR20190097453A KR1020180016904A KR20180016904A KR20190097453A KR 20190097453 A KR20190097453 A KR 20190097453A KR 1020180016904 A KR1020180016904 A KR 1020180016904A KR 20180016904 A KR20180016904 A KR 20180016904A KR 20190097453 A KR20190097453 A KR 20190097453A
Authority
KR
South Korea
Prior art keywords
vehicle
lane
information
driving
determining
Prior art date
Application number
KR1020180016904A
Other languages
English (en)
Other versions
KR102541561B1 (ko
Inventor
이원주
구자후
이동욱
이재우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180016904A priority Critical patent/KR102541561B1/ko
Priority to US16/142,257 priority patent/US11113544B2/en
Priority to CN201811247356.XA priority patent/CN110155053B/zh
Priority to EP18203797.8A priority patent/EP3524936A1/en
Priority to JP2019016926A priority patent/JP7349792B2/ja
Publication of KR20190097453A publication Critical patent/KR20190097453A/ko
Application granted granted Critical
Publication of KR102541561B1 publication Critical patent/KR102541561B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2550/12—
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법 및 장치는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하고, 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차량의 횡방향 오프셋을 추정하며, 곡률 정보 및 횡방향 오프셋에 기초하여, 차량의 주행을 위한 정보를 포함하는 신호를 출력한다.

Description

차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들{METHOD OF PROVIDING INFORMATION FOR DRIVING VEHICLE AND APPARATUS THEREOF}
아래의 실시예들은 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들에 관한 것이다.
차량 및 기타 운송 수단의 조향을 보조하기 위한 다양한 시각 정보 증강 현실(Visual Information Augmentation)이 제공되고 있다. 그 중 임의의 주행 영상으로부터 차선 표시 또는 도로 정보 등을 추출하는 다양한 방법들이 이용된다.
예를 들어, 원거리 영상에 대한 픽셀 정보가 부족한 경우, 도로 환경에서 다양한 객체에 의해 차선이 가려지는 경우, 비와 눈 등과 같은 기상 변화, 낮과 밤과 같은 시간 변화에 따른 영상 밝기 또는 대비(contrast) 변화가 발생하는 경우, 도로의 생김새(예를 들어, 램프 등) 또는 도로의 고도 변화 등으로 인하여 영상 정보가 부족하거나 부정확한 경우 등과 같이 차선 검출이 용이하지 않은 상황들이 발생할 수 있다. 정확한 차선 검출이 이루어지지 않는 경우, 차량의 제어, 경로 결정 등과 같이 차량의 주행을 위한 정확한 정보를 제공하는 데에 어려움이 발생할 수 있다.
일 측에 따르면, 차량의 주행을 위한 정보를 제공하는 방법은 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하는 단계; 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하는 단계; 상기 곡률 정보에 기반한 기준선(reference line)과 상기 차선 영역을 이용하여 상기 차량의 횡방향 오프셋(lateral offset)을 추정하는 단계; 및 상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계를 포함한다.
상기 차선 영역을 검출하는 단계는 상기 주행 영상에 포함된 객체를 구분한 세그먼테이션(segmentation) 영상을 생성하는 단계; 및 상기 세그먼테이션 영상으로부터 상기 차선 영역을 검출하는 단계를 포함할 수 있다.
상기 곡률 정보를 결정하는 단계는 상기 차량의 현재 위치를 결정 하는 단계; 및 상기 차량의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들(waypoints)을 이용하여 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는 상기 현재 위치로부터 예견 거리(look-ahead distance) 이내에 위치하는 상기 중간 지점들을 선택하는 단계를 포함할 수 있다.
상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는 상기 중간 지점들에 기초하여, 상기 지도 상의 도로의 형태를 인식하는 단계; 및 상기 지도 상의 도로의 형태에 기초하여, 상기 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 지도 상의 도로의 형태를 인식하는 단계는 상기 중간 지점들에 대한 선형 회귀 분석(linear regression analysis)을 통해 상기 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출하는 단계를 포함할 수 있다.
상기 예견 거리는 상기 차량의 속도, 가시 거리, 날씨, 주행 상황, 및 상기 도로의 상태 중 어느 하나 또는 이들의 조합에 기초하여 결정될 수 있다.
상기 곡률 정보를 결정하는 단계는 상기 차량이 주행 중인 도로가 복수의 경로들을 포함하는 경우, 상기 차량의 목적지 정보를 이용하여 어느 하나의 경로를 선택하는 단계; 및 상기 선택된 경로에 대응하는 도로의 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 차량의 횡방향 오프셋을 추정하는 단계는 상기 차선 영역의 영상을 평면 시점 영상으로 변환 하는 단계; 상기 평면 시점 영상에 포함된 차선들과 상기 기준선 간의 피팅 스코어들(fitting scores)을 산출하는 단계; 및 상기 피팅 스코어들에 기초하여 상기 차량의 횡방향 오프셋을 추정 하는 단계를 포함할 수 있다.
상기 피팅 스코어들을 산출하는 단계는 상기 기준선을 픽셀 단위로 이동시켜 가면서, 상기 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트함으로써 상기 기준선의 이동에 따른 후보 피팅 스코어들을 산출하는 단계를 포함할 수 있다.
상기 후보 피팅 스코어들을 산출하는 단계는 상기 기준선을 픽셀 단위로 이동시키는 단계; 상기 픽셀 단위로 이동된 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트하는 단계; 및 상기 매칭되는 픽셀들의 개수에 기초하여 상기 픽셀 단위로 이동된 기준선의 후보 피팅 스코어를 산출하는 단계를 포함할 수 있다.
상기 차량의 횡방향 오프셋을 추정하는 단계는 상기 피팅 스코어들에 기초하여, 차선들을 검출하는 단계; 및 상기 검출된 차선들 및 상기 평면 시점 영상에서 상기 차량의 횡방향 위치(lateral position)에 기초하여, 상기 횡방향 오프셋을 산출하는 단계를 포함할 수 있다.
상기 차선들을 검출하는 단계는 미리 정해진 임계값에 기초하여, 상기 피팅 스코어들 중 각 차선에 해당하는 적어도 하나의 피팅 스코어를 결정하는 단계; 및 상기 각 차선에 해당하는 적어도 하나의 피팅 스코어에 기초하여, 해당하는 차선을 검출하는 단계를 포함할 수 있다.
상기 해당하는 차선을 검출하는 단계는 상기 해당하는 차선의 적어도 하나의 피팅 스코어 중 가장 높은 값을 갖는 피팅 스코어를 검출하는 단계; 및 상기 검출된 피팅 스코어에 대응하는 오프셋 정보를 이용하여, 상기 해당하는 차선을 결정하는 단계를 포함할 수 있다.
상기 해당하는 차선을 검출하는 단계는 상기 해당하는 차선의 적어도 하나의 피팅 스코어를 가중치로 하여, 상기 적어도 하나의 피팅 스코어에 대응하는 적어도 하나의 오프셋 정보를 가중 합산하는 단계; 및 상기 가중 합산 결과를 이용하여, 상기 해당하는 차선을 결정하는 단계를 포함할 수 있다.
상기 횡방향 오프셋을 산출하는 단계는 상기 차량의 횡방향 위치에 인접한 좌우 차선들의 중심선을 결정하는 단계; 및 상기 중심선과 상기 차량의 횡방향 위치 사이의 거리를 산출하는 단계를 포함할 수 있다.
상기 평면 시점 영상에서 상기 차량의 횡방향 위치는 상기 평면 시점 영상의 횡방향으로 가운데 위치를 포함할 수 있다.
상기 평면 시점 영상에서 상기 차량의 횡방향 위치는 상기 주행 영상을 촬영하기 위하여 상기 차량에 부착된 카메라의 횡방향 위치에 기초하여 결정될 수 있다.
상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계는 상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 로컬 경로를 결정하는 단계; 및 상기 로컬 경로에 기초하여, 상기 차량의 주행을 제어 하기 위한 신호를 생성하는 단계를 포함할 수 있다.
상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계는 상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 로컬 경로를 결정하는 단계; 및 상기 로컬 경로에 기초하여, 상기 차량의 주행 경로를 포함하는 주행 정보를 제공하는 단계를 포함할 수 있다.
상기 주행 영상을 획득하는 단계; 및 상기 지도 정보를 획득하는 단계를 더 포함할 수 있다.
일 측에 따르면, 차선을 검출하는 방법은 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하는 단계; 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하는 단계; 및 상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 차선을 검출하는 단계를 포함한다.
상기 차선 영역을 검출하는 단계는 상기 주행 영상에 포함된 객체를 구분한 세그먼테이션 영상을 생성하는 단계; 및 상기 세그먼테이션 영상으로부터 상기 차선 영역을 검출하는 단계를 포함할 수 있다.
상기 곡률 정보를 결정하는 단계는 상기 차량의 현재 위치를 결정 하는 단계; 및 상기 차량의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들을 이용하여 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는 상기 현재 위치로부터 예견 거리 이내에 위치하는 상기 중간 지점들을 선택하는 단계를 포함할 수 있다.
상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는 상기 중간 지점들에 기초하여, 상기 지도 상의 도로의 형태를 인식하는 단계; 및 상기 지도 상의 도로의 형태에 기초하여, 상기 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 지도 상의 도로의 형태를 인식하는 단계는 상기 중간 지점들에 대한 선형 회귀 분석을 통해 상기 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출하는 단계를 포함할 수 있다.
상기 예견 거리는 상기 차량의 속도, 가시 거리, 날씨, 주행 상황, 및 상기 도로의 상태 중 어느 하나 또는 이들의 조합에 기초하여 결정될 수 있다.
상기 곡률 정보를 결정하는 단계는 상기 차량이 주행 중인 도로가 복수의 경로들을 포함하는 경우, 상기 차량의 목적지 정보를 이용하여 어느 하나의 경로를 선택하는 단계; 및 상기 선택된 경로에 대응하는 도로의 곡률 정보를 결정하는 단계를 포함할 수 있다.
상기 차선을 검출하는 단계는 상기 차선 영역의 영상을 평면 시점 영상으로 변환하는 단계; 상기 평면 시점 영상에 포함된 차선들과 상기 기준선 간의 피팅 스코어들을 산출하는 단계; 및 상기 피팅 스코어들에 기초하여 상기 차선을 검출하는 단계를 포함할 수 있다.
상기 피팅 스코어들을 산출하는 단계는 상기 기준선을 픽셀 단위로 이동시켜 가면서, 상기 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트함으로써 상기 기준선의 이동에 따른 후보 피팅 스코어들을 산출하는 단계를 포함할 수 있다.
상기 후보 피팅 스코어들을 산출하는 단계는 상기 기준선을 픽셀 단위로 이동시키는 단계; 상기 픽셀 단위로 이동된 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트하는 단계; 및 상기 매칭되는 픽셀들의 개수에 기초하여 상기 픽셀 단위로 이동된 기준선의 후보 피팅 스코어를 산출하는 단계를 포함할 수 있다.
상기 피팅 스코어들에 기초하여 상기 차선을 검출하는 단계는 미리 정해진 임계값에 기초하여, 상기 피팅 스코어들 중 각 차선에 해당하는 적어도 하나의 피팅 스코어를 결정하는 단계; 및 상기 각 차선에 해당하는 적어도 하나의 피팅 스코어에 기초하여, 해당하는 차선을 검출하는 단계를 포함할 수 있다.
상기 해당하는 차선을 검출하는 단계는 상기 해당하는 차선의 적어도 하나의 피팅 스코어 중 가장 높은 값을 갖는 피팅 스코어를 검출하는 단계; 및 상기 검출된 피팅 스코어에 대응하는 오프셋 정보를 이용하여, 상기 해당하는 차선을 결정하는 단계를 포함할 수 있다.
상기 해당하는 차선을 검출하는 단계는 상기 해당하는 차선의 적어도 하나의 피팅 스코어를 가중치로 하여, 상기 적어도 하나의 피팅 스코어에 대응하는 적어도 하나의 오프셋 정보를 가중 합산하는 단계; 및 상기 가중 합산 결과를 이용하여, 상기 해당하는 차선을 결정하는 단계를 포함할 수 있다.
상기 차선을 검출하는 방법은 상기 주행 영상을 획득하는 단계; 및 상기 지도 정보를 획득하는 단계를 더 포함할 수 있다.
일 측에 따르면, 차량의 주행을 위한 정보를 제공하는 장치는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하고, 상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 상기 차량의 횡방향 오프셋을 추정하며, 상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 프로세서를 포함한다.
일 측에 따르면, 차선을 검출하는 장치는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하며, 상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 차선을 검출하는 프로세서를 포함한다.
도 1은 일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 나타낸 흐름도.
도 3은 일 실시예에 따라 차선 영역을 검출하는 방법을 나타낸 흐름도.
도 4 내지 도 5는 실시예들에 따라 곡률 정보를 결정하는 방법을 나타낸 흐름도.
도 6은 일 실시예에 따라 차량의 횡방향 오프셋을 추정하는 방법을 나타낸 흐름도.
도 7은 일 실시예에 따라 피팅 스코어들을 산출하는 방법을 나타낸 흐름도.
도 8은 일 실시예에 따라 피팅 스코어들에 기초하여 차량의 횡방향 오프셋을 추정하는 방법을 나타낸 흐름도.
도 9는 일 실시예에 따라 차선들을 검출하는 방법을 나타낸 흐름도.
도 10은 다른 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 나타낸 흐름도.
도 11은 다른 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 설명하기 위한 도면.
도 12는 일 실시예에 따른 차선 회귀 함수를 설명하기 위한 도면.
도 13은 일 실시예에 따른 주행 영상 및 주행 영상에 대응되는 세그먼테이션 영상을 도시한 도면.
도 14는 일 실시예에 따른 세그먼테이션 영상으로부터 검출된 차선 영역의 영상 및 차선 영역의 영상으로부터 변환된 평면 시점 영상을 도시한 도면.
도 15는 일 실시예에 따라 차선들을 검출하고, 차량의 횡방향 오프셋을 검출하는 방법을 설명하기 위한 도면.
도 16a 및 도 16b는 일 실시예에 따라 카메라가 차량의 중심에서 이격된 위치에 부착된 경우 차량의 횡방향 오프셋을 추정하는 방법을 설명하기 위한 도면.
도 17은 일 실시예에 따른 차선을 검출하는 방법을 나타낸 흐름도.
도 18은 일 실시예에 따라 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차선을 검출하는 방법을 나타낸 흐름도.
도 19는 일 실시예에 따른 차량의 주행을 위한 정보를 제공하거나, 차선을 검출하는 장치의 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 차선을 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하거나, 또는 차량의 주행을 위한 다양한 제어 정보를 제공하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD 등의 지능 시스템을 포함하는 기기에 시각 정보(Visual Information)를 제공하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 설명하기 위한 도면이다.
자율 주행 시스템에서는 도로의 곡률과 도로 중앙으로부터의 오프셋을 포함하는 다항식을 이용하여 차선 유지 또는 차선 변경 등의 로컬 경로를 생성할 수 있다. 일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 장치(이하, '제공 장치')는 지도 정보로부터 도로의 곡률 정보를 추출한다. 제공 장치는 주행 영상으로부터 차선 기반의 횡방향 오프셋 검출 시에 도로의 곡률 정보를 활용한다. 이로 인하여, 제공 장치는 주행 영상으로부터 정확한 정보 검출이 어려운 다양한 상황(예를 들어, 원거리 영상에 대한 픽셀 정보가 부족한 경우, 도로 환경에서의 다양한 객체에 의해 차선이 가려지는 경우, 또는 고속 주행에 의해 검출 가능한 차선 거리가 짧아지는 경우 등)에서도 차선 검출 및 횡방향 오프셋 추정을 보다 정확하게 수행할 수 있고, 차량의 주행을 위한 정보를 안정적으로 제공할 수 있다.
도 1을 참조하면, 차량(110)의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들(waypoints)(130, .. , 140)이 도시된다. 이때, 복수의 중간 지점들(130, .. , 140)은 차량(110)이 주행 중인 도로에 대응하는 지도 상의 도로(150)의 일부 지점들에 해당할 수 있다.
제공 장치는 지도 상에서 차량(110)의 현재 위치에 인접한 중간 지점(130)부터 예견 거리(look-ahead distance)에 해당하는 중간 지점(140) 이내에 위치하는 복수의 중간 지점들(130, .. , 140)을 이용하여 차량(110)이 주행 중인 도로의 곡률 정보를 결정할 수 있다. '예견 거리'는 차량(110)의 주행을 위한 정보가 필요할 것으로 예견되는 거리를 의미하며, 예를 들어, 차량의 속도, 가시 거리(visible distance), 날씨, 주행 상황, 도로의 상태, 또는 이들의 다양한 조합 등에 기초하여 결정될 수 있다. 또는 예견 거리는 미리 정해놓은 차선 회귀 함수(다항식)의 차수에 따라 복수의 중간 지점들(130, .. , 140)을 가장 잘 표현할 수 있는 거리에 해당할 수 있다.
제공 장치는 예를 들어, 중간 지점들(130, .. , 140)에 대한 선형 회귀 분석(linear regression analysis)을 통해 지도 상의 도로(150)의 형태를 표현하는 회귀 함수를 산출할 수 있다. 제공 장치는 회귀 함수를 이용하여 도로(150)의 곡률 정보를 결정할 수 있다.
제공 장치는 차량(110)에 부착된 카메라를 이용하여 획득한 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차량(110)의 횡방향 오프셋을 추정할 수 있다. 여기서, 차량(110)의 '횡방향 오프셋(lateral offset)'은 차량(110)의 중심(115)이 도로(150)의 중심선(155)으로부터 떨어진 거리(d)에 해당할 수 있다.
이하에서, 지도 정보로부터 획득한 도로의 곡률 정보와 주행 영상으로부터 검출한 차선 영역을 이용하여 차량의 주행을 위한 정보를 제공하는 방법은 도 2 내지 도 15를 참조하여 설명한다. 또한, 지도 정보로부터 획득한 도로의 곡률 정보와 주행 영상으로부터 검출한 차선 영역을 이용하여 차선을 검출하는 방법은 도 16 내지 도 18을 참조하여 설명한다.
본 명세서에서 '차량(vehicle)'은 도로 위로 주행 중인 차량을 의미하는 것으로서, 예를 들어, 자율 주행 차량, 첨단 운전자 지원 시스템(Advanced Driver Assistance System; ADAS)을 구비한 지능형 차량 등을 포함할 수 있다. '도로(road)'는 차량들이 다니는 길을 의미하며, 예를 들어, 고속도로, 국도, 지방도, 고속 국도, 자동차 전용 도로 등과 같은 다양한 유형의 도로를 포함할 수 있다. 도로는 하나 또는 다수 개의 차로를 포함할 수 있다. '차로(lane)'는 도로 노면 상에 표시된 차선들(lines)을 통해 서로 구분되는 도로 공간에 해당할 수 있다. 차로는 해당 차로에 인접한 좌우의 차선에 의해 구분될 수 있다.
또한, '차선들(lines)'은 도로 노면 상에 흰색, 파란색 또는 노랑색으로 표시된 실선, 또는 점선 등 다양한 형태의 선으로 이해될 수 있다. '차선 영역'은 주행 영상 내에서 차선들을 포함하는 영역 또는 차선들에 대응하는 영역을 포함할 수 있다.
도 2는 일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 제공 장치는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출한다(210). 제공 장치는 예를 들어, 차량에 장착된 촬영 장치를 이용하여 하나 또는 복수 개의 주행 영상들을 획득할 수 있다. 촬영 장치는 예를 들어, 차량의 윈드 실드(windshield), 대시 보드(dashboard), 혹은 백미러(rear-view mirror) 등과 같이 미리 정해진 위치에 고정되어 차량 전방의 주행 영상을 촬영할 수 있다. 촬영 장치는 예를 들어, 비전 센서, 이미지 센서, 또는 이와 유사한 기능을 수행하는 장치를 포함할 수 있다. 촬영 장치는 단일 영상을 촬영하거나, 경우에 따라 프레임 별 영상을 촬영할 수도 있다. 또는 주행 영상은 제공 장치에 포함된 촬영 장치, 또는 제공 장치 이외의 다른 장치에서 캡쳐된 영상일 수 있다. 주행 영상은 예를 들어, 도 13에 도시된 주행 영상(1310)일 수 있다.
일 실시예에 따르면, 단계(210)에서, 제공 장치는 딥 러닝(deep learning) 기법 등을 기반으로 주행 영상에서 차선 성분 또는 도로 성분에 해당하는 픽셀들을 분류하여 차선 영역을 검출할 수 있다. 제공 장치가 차선 영역을 검출하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다.
제공 장치는 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정한다(220). '지도 정보'는 예를 들어, 지구 표면 상의 지형지물(geographic feature)을 기호, 문자, 그림 등을 통해 나타낸 지도, 해당 지형지물의 위도, 경도, 및 고도를 포함하는 지도 좌표, 및 지도에 나타난 경로 상의 복수의 중간 지점들 등을 포함할 수 있다. 여기서, 복수의 중간 지점들은 도로 상의 단일 차로를 주행하면서 미리 정해진 간격으로 획득된 위치 좌표들의 집합일 수 있다. 지도 정보는 일반 지도 수준의 지도 정보이거나, 또는 일반 내비게이션 수준의 지도 정보에 해당할 수 있다. 지도 정보는 제공 장치의 메모리(예를 들어, 도 18의 메모리(1840) 참조)에 미리 저장되거나, 제공 장치의 통신 인터페이스(예를 들어, 도 18의 통신 인터페이스(1820))를 통해 제공 장치의 외부로부터 수신한 것일 수 있다.
단계(220)에서, 제공 장치는 예를 들어, 차량의 현재 위치로부터 예견 거리 이내에 위치하는 지도 상의 복수의 중간 지점들을 선택하고, 중간 지점들에 대한 선형 회귀 분석을 통해 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출할 수 있다. 차량의 현재 위치는 예를 들어, 제공 장치에 포함된 GPS 센서, 가속도 센서, 및 나침반 센서 등을 이용하여 측정될 수 있다. 제공 장치는 회귀 함수에 기초하여 도로의 곡률 정보를 결정할 수 있다. 제공 장치가 도로의 곡률 정보를 결정하는 방법은 아래의 도 4 내지 도 5를 참조하여 구체적으로 설명한다.
제공 장치는 곡률 정보에 기반한 기준선(reference line)과 차선 영역을 이용하여 차량의 횡방향 오프셋을 추정한다(230). 기준선은 예를 들어, 곡률 정보가 0인 경우 직선 형태의 선이고, 곡률 정보가 0보다 큰 경우 커브(curve) 형태의 선일 수 있다. 커브 형태의 선은 한 방향의 곡률을 가지는 곡선, 두 방향 이상의 곡률을 가지는 곡선, 원형의 적어도 일부에 해당하는 곡선, 또는 타원형의 적어도 일부에 해당하는 곡선 등을 포함할 수 있다. 차량의 횡방향 오프셋은 차량의 중심이 주행 중인 차로의 중심으로부터의 떨어진 거리에 해당할 수 있다. 차량의 횡방향 오프셋은 예를 들어, 차선 유지를 위한 로컬 경로 생성을 위해 정확하게 결정되어야 한다. 제공 장치가 차량의 횡방향 오프셋을 추정하는 방법은 아래의 도 6 내지 도 9를 참조하여 구체적으로 설명한다.
제공 장치는 곡률 정보 및 횡방향 오프셋에 기초하여, 차량의 주행을 위한 정보를 포함하는 신호를 출력한다(240). 제공 장치는 예를 들어, 곡률 정보 및 횡방향 오프셋에 기초하여, 차량의 로컬 경로(local path)를 결정할 수 있다. 제공 장치는 로컬 경로에 기초하여 차량의 주행을 위한 정보를 생성할 수 있다.
이때, 차량의 주행을 위한 정보는 예를 들어, 핸들 조향 제어 정보, 액셀레이터 및 브레이크를 통한 가감속 제어 정보, 검출된 차선에 의한 주행 정보, 차량의 로컬 경로를 포함하는 영상 정보, 및 제어 정보 및 영상 정보를 음향으로 표현하는 음향 정보 등을 포함할 수 있다. 차량의 주행을 위한 정보는 예를 들어, 곡률 정보 및 횡방향 오프셋을 반영한 차선 회귀 함수에 기초하여 결정될 수 있다. 차선 회귀 함수는 예를 들어,
Figure pat00001
와 같은 다항식(polynomial equation), 또는 평면 곡선의 일종인 클로소이드(clothoid) 형태일 수 있다. 클로소이드는 곡률 변경이 곡선 길이에 반비례하는 나선(spiral)의 하나로 자동차의 핸들을 등각속도로 돌렸을 때 자동차의 주행 궤적에 일치하는 곡선에 해당할 수 있다.
또는 제공 장치는 예를 들어, 헤드 업 디스플레이(Head Up Display; HUD) 등과 같은 디스플레이 장치를 위해 로컬 경로에 기초한 차량의 주행 경로 정보, 또는 주행 경로 영상를 포함하는 주행 정보를 제공할 수 있다.
도 3은 일 실시예에 따라 차선 영역을 검출하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 제공 장치는 주행 영상에 포함된 객체를 구분한 세그먼테이션(segmentation) 영상을 생성할 수 있다(310). 제공 장치는 예를 들어, 주행 영상으로부터 의미(semantic) 단위로 객체(object)를 분할하고, 분할된 객체(차선 또는 도로)가 어떤 의미를 갖는지를 픽셀(pixel) 단위로 파악함으로써 세그먼테이션 영상을 생성할 수 있다. 객체는 클래스(class) 단위로 분류될 수 있으며, 클래스는 예를 들어, 도로, 차선, 차량, 인도, 사람, 동물, 하늘, 건물 등과 같은 다양한 의미 단위를 포함할 수 있다. 세그먼테이션 영상은 예를 들어, 도 13의 세그먼테이션 영상(1330)일 수 있다. 제공 장치가 세그먼테이션 영상을 생성하는 방법은 도 13을 참조하여 보다 구체적으로 설명한다.
제공 장치는 세그먼테이션 영상으로부터 차선 영역을 검출할 수 있다(320). 제공 장치는 세그먼테이션 영상에 포함된 픽셀 단위의 레이블로부터 객체, 배경 등 영상 내에 구성 요소들이 어디에 어떻게 존재하는지 정밀하게 파악할 수 있다. 제공 장치는 예를 들어, 차선 클래스로 분류되는 픽셀들을 포함하는 차선 영역의 영상을 생성할 수 있다. 세그먼테이션 영상으로부터 검출된 차선 영역의 영상은 예를 들어, 도 14의 영상(1410)일 수 있다.
일 실시예에 따르면, 제공 장치는 차선들을 포함하는 차선 영역을 인식하도록 미리 학습된 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN), 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 주행 영상으로부터 차선 영역을 검출할 수 있다. 컨볼루션 신경망은 예를 들어, 주행 영상에서 검출하고자 하는 차선의 바운딩 박스와 검출하고자 하는 차선의 종류 등이 함께 판별 되도록 학습된 것일 수 있다.
도 4는 일 실시예에 따라 곡률 정보를 결정하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 제공 장치는 차량의 현재 위치를 결정할 수 있다(410). 제공 장치는 예를 들어, GPS 정보 및 지도 정도에 기초하여 차량의 현재 위치를 결정할 수 있다. 또한, 제공 장치는 차량의 오도미터, 자지기 측정 값 등을 이용하여 차량의 현재 위치를 결정할 수 있다. 차량의 현재 위치가 결정되면, 제공 장치는 차량의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들(waypoints)을 이용하여 곡률 정보를 결정할 수 있다.
제공 장치는 현재 위치로부터 예견 거리 이내에 위치하는 중간 지점들을 선택할 수 있다(420). 예견 거리는 예를 들어, 차량의 속도, 가시 거리, 날씨, 주행 상황, 및 도로의 상태 중 어느 하나 또는 이들의 조합에 기초하여 결정될 수 있다.
예를 들어, 예견 거리를 50m라고 하자. 제공 장치는 차량의 속도가 설정된 속도(예를 들어, 60km)보다 빠른 경우, 예견 거리를 70m 또는 100m로 확장시키고, 차량의 속도가 설정된 속도보다 느린 경우, 예견 거리를 40m 또는 30m로 축소시킬 수 있다. 또는 제공 장치는 예를 들어, 안개 또는 눈, 비에 의해 주행 영상으로부터 파악되는 가시 거리가 짧은 경우, 예견 거리를 축소시킬 수 있다. 제공 장치는 미세 먼지가 없는 날 또는 날씨가 맑은 날과 같이 가시 거리가 긴 경우, 예견 거리를 확장시킬 수 있다.
제공 장치는 예를 들어, 도로의 굴곡이 심한 경우와 같이 도로의 상태가 나쁜 경우에는 예견 거리를 축소시키고, 완만한 평지와 같이 도로의 상태가 좋은 경우에는 예견 거리를 확장시킬 수 있다. 이 밖에도, 제공 장치는 러시아워(rush hour)에 의한 교통 흐름이 혼잡한 주행 상황에서는 예견 거리를 축소시키고, 교통 흐름이 원활한 주행 상황에서는 예견 거리를 확장시킬 수 있다. 다만, 실시예들에 따른 예견 거리의 결정 방법은 전술한 예시들에 한정되지 않는다.
제공 장치는 중간 지점들을 이용하여 곡률 정보를 결정할 수 있다(430). 제공 장치는 중간 지점들에 기초하여, 지도 상의 도로의 형태를 인식할 수 있다. 제공 장치는 예를 들어, 중간 지점들에 대한 선형 회귀 분석(linear regression analysis)을 통해 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출할 수 있다. 제공 장치는 회귀 함수를 이용하여 지도 상의 도로의 형태를 인식하고, 지도 상의 도로의 형태에 기초하여, 곡률 정보를 결정할 수 있다. 예를 들어, 회귀 함수가
Figure pat00002
과 같은 다항식이라고 하면, 제공 장치는 다항식의 계수에 해당하는 C2, 및 C1을 곡률 정보로 결정할 수 있다. 이하에서, 설명의 편의를 위하여 회귀 함수가 이차 다항식인 경우를 설명하나, 회귀 함수는 삼차 이상의 다항식, 원의 방정식, 또는 타원의 방정식 등으로 다양하게 변형될 수 있다.
도 5는 다른 실시예에 따라 곡률 정보를 결정하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 차량이 주행 중인 도로가 분기점 또는 회차로 등과 같이 복수의 경로들을 포함하는 경우에 곡률 정보를 결정하는 방법이 도시된다.
일 실시예에 따른 제공 장치는 차량이 주행 중인 도로가 복수의 경로들을 포함하는지를 판단할 수 있다(510). 제공 장치는 예를 들어, 지도 정보 및 GPS 정보를 이용하여 차량이 주행 중인 도로가 복수의 경로들을 포함하는지를 판단할 수 있다.
단계(510)에서 차량이 주행 중인 도로가 복수의 경로들을 포함한다고 판단되면, 제공 장치는 차량의 목적지 정보를 이용하여 어느 하나의 경로를 선택할 수 있다(520). 예를 들어, 차량의 목적지가 도시 A이고, 차량이 주행 중인 도로가 도시 B로 향하는 경로와 도시 C로 향하는 경로를 포함한다고 하자. 제공 장치는 차량의 목적지 정보(도시 A)를 이용하여 도시 B와 도시 C 중 도시 A로 향하는 경로 상에 있는 도시 B로 향하는 경로를 선택할 수 있다.
제공 장치는 선택된 경로에 대응하는 지도 상의 복수의 중간 지점들을 이용하여 곡률 정보를 결정할 수 있다(530).
단계(510)에서 차량이 주행 중인 도로가 복수의 경로들을 포함하지 않는다고 판단되면, 제공 장치는 차량의 현재 위치를 결정하고(540), 차량의 현재 위치에 대응하는 지도 상의 복수의 중간 지점들을 이용하여 곡률 정보를 결정할 수 있다(550).
도 6은 일 실시예에 따라 차량의 횡방향 오프셋을 추정하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 제공 장치는 차선 영역의 영상을 평면 시점 영상으로 변환할 수 있다(610). 제공 장치는 예를 들어, 차선 영역의 영상에 호모그래피 매트릭스를 곱하여 평면 시점 영상으로 변환할 수 있다. 평면 시점 영상은 '조감도(Bird's Eye View; BEV) 영상'이라고도 부를 수 있다. 또는 제공 장치는 역원근 변환 방법(Inverse Perspective Mapping; IPM)을 이용하여 차선 영역의 영상을 평면 시점 영상으로 변환할 수 있다. 제공 장치가 역원근 변환 방법을 이용하여 차선 영역의 영상을 평면 시점 영상으로 변환하는 방법은 도 13을 참조하여 구체적으로 설명한다.
제공 장치는 평면 시점 영상에 포함된 차선들과 기준선 간의 피팅 스코어들(fitting scores)을 산출할 수 있다(620). 예를 들어, 평면 시점 영상에 포함된 차선이 제1 차선, 제2 차선 및 제3 차선의 총 3개라고 하자. 제공 장치는 평면 시점 영상에 포함된 제1 차선과 기준선 간의 피팅 스코어를 산출하고, 제2 차선과 기준선 간의 피팅 스코어를 산출할 수 있다. 마찬가지로, 제공 장치는 제3 차선과 기준선 간의 피팅 스코어를 산출할 수 있다. 제공 장치가 피팅 스코어들을 산출하는 방법은 아래의 도 7을 참조하여 구체적으로 설명한다.
제공 장치는 피팅 스코어들에 기초하여 차량의 횡방향 오프셋을 추정할 수 있다(630). 제공 장치가 차량의 횡방향 오프셋을 추정하는 방법은 아래의 도 8을 참조하여 구체적으로 설명한다.
도 7은 일 실시예에 따라 피팅 스코어들을 산출하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 제공 장치는 기준선을 미리 정해진 픽셀 단위로 이동시킬 수 있다(710). 제공 장치는 예를 들어, 기준선을 평면 시점 영상의 한쪽 끝에서 반대쪽 끝을 향하여 이동시킬 수 있다. 이 때, 기준선은 평면 시점 영상에서 횡방향으로 미리 정해진 픽셀 단위로 이동될 수 있다. 제공 장치는 예를 들어, 기준선을 한 픽셀 단위로 이동시킬 수도 있고, 두 픽셀 또는 세 픽셀 단위로 이동시킬 수도 있다.
제공 장치는 픽셀 단위로 이동된 기준선과 평면 시점 영상에 포함된 차선들(예를 들어, 제1 차선, 제2 차선, 및 제3 차선) 사이에 매칭되는 픽셀들의 개수를 카운트할 수 있다(720). 평면 시점 영상에 포함된 각 차선들은 복수의 픽셀들에 해당하는 두께를 가질 수 있다. 실시예에 따라서, 기준선을 이동시키는 미리 정해진 픽셀 단위는 각 차선들의 두께에 해당하는 픽셀들의 수보다 작을 수 있다. 이 경우, 각 차선들마다 복수의 매칭 동작이 수행될 수 있다.
제공 장치는 매칭되는 픽셀들의 개수에 기초하여 픽셀 단위로 이동된 기준선의 후보 피팅 스코어를 산출할 수 있다(730). 후보 피팅 스코어는 복수의 차선들을 서로 구분하기 이전에, 픽셀 단위로 이동된 기준선의 횡방향 위치에 대응하여 피팅된 결과일 수 있다.
제공 장치는 도 7에 도시된 과정을 반복하여 후보 피팅 스코어들을 산출할 수 있다. 제공 장치는 후보 피팅 스코어들을 이용하여 복수의 차선들을 서로 구분할 수 있다. 예를 들어, 특정 횡방향 위치에 대응하는 후보 피팅 스코어가 미리 정해진 임계치를 초과하는 경우, 해당하는 횡방향 위치의 선은 차선으로 분류될 수 있다. 반면, 특정 횡방향 위치에 대응하는 후보 피팅 스코어가 미리 정해진 임계치 미만인 경우, 해당하는 횡방향 위치의 선은 차선이 아닌 것으로 인식될 수 있다. 일 실시예에 따르면, 차선이 아닌 것으로 인식되는 선이 미리 정해진 수(예를 들어, 하나 또는 둘 등) 이상 연속적으로 검출되는 경우, 해당하는 선의 좌우로 서로 다른 차선이 존재하는 것으로 인식될 수 있다.
아래에서 상세하게 설명하겠으나, 제공 장치는 복수의 차선들이 서로 구분되면, 차선들에 해당하는 후보 피팅 스코어들(이하, 피팅 스코어들)을 이용하여 차선을 검출할 수 있다.
도 8은 일 실시예에 따라 피팅 스코어들에 기초하여 차량의 횡방향 오프셋을 추정하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 제공 장치는 피팅 스코어들에 기초하여, 차선들을 검출할 수 있다(810). 제공 장치가 차선들을 검출하는 방법은 아래의 도 9를 참조하여 구체적으로 설명한다.
제공 장치는 차량의 횡방향 위치에 인접한 좌우 차선들의 중심선을 결정할 수 있다(820). 제공 장치는 평면 시점 영상에서 차량의 횡방향 위치를 기준으로 좌측으로 인접한 차선과 우측으로 인접한 차선을 검출할 수 있다.
평면 시점 영상에서 차량의 횡방향 위치는 주행 영상을 촬영하기 위하여 차량에 부착된 카메라의 횡방향 위치에 기초하여 결정될 수 있다. 일 실시예에 따르면, 카메라의 시야각(Field of View)은 좌우 방향으로 균일하다고 가정할 수 있다. 이 경우, 평면 시점 영상의 횡방향으로 가운데에 카메라가 위치하는 것으로 판단될 수 있다. 만약 카메라가 차량의 가운데에 부착되어 있다면, 평면 시점 영상의 횡방향으로 가운데에 차량의 중심이 위치하는 것으로 판단될 수 있다. 카메라가 차량의 가운데에 부착된 경우의 동작은 도 15를 통하여 후술한다.
또한, 카메라가 차량의 가운데에서 이격된 위치에 부착된 경우, 카메라의 위치에 기초하여 평면 시점 영상 내 차량의 중심 위치를 추정할 수 있다. 카메라가 차량의 가운데에서 이격된 위치에 부착된 경우의 동작은 도 16a 및 도 16b를 통하여 후술한다.
평면 시점 영상에서 차량의 횡방향 위치가 결정되면, 제공 장치는 차량의 횡방향 위치에서 좌우로 인접한 차선들을 검출할 수 있다. 검출된 차선들은 차량이 주행 중인 차로의 양측 차선들일 수 있다. 제공 장치는 검출된 차선들의 중심선(다시 말해, 주행 중인 차로의 중심선)을 결정할 수 있다.
제공 장치는 주행 중인 차로의 중심선과 차량의 횡방향 위치 사이의 거리를 산출함으로써, 횡방향 오프셋을 추정한다(830).
도 9는 일 실시예에 따라 차선들을 검출하는 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 제공 장치는 미리 정해진 임계값에 기초하여, 후보 피팅 스코어들 중 각 차선에 해당하는 적어도 하나의 피팅 스코어를 결정할 수 있다(910). 하나의 차선은 여러 개의 라인들로 구성될 수 있으므로 하나의 차선을 구성하는 여러 개의 라인들 각각에 대한 피팅 스코어들이 존재할 수 있다. 제공 장치는 후보 피팅 스코어들 중 차선이 아닌 부분의 후보 피팅 스코어는 배제하고, 각 차선에 해당하는 피팅 스코어들만을 이용하여 차선이 검출되도록 임계값을 초과하는 피팅 스코어들만을 선택할 수 있다.
제공 장치는 각 차선에 해당하는 적어도 하나의 피팅 스코어에 기초하여 해당하는 차선을 검출할 수 있다(920).
예를 들어, 제2 차선을 구성하는 라인들 및 제2 차선의 인접 라인들의 후보 피팅 스코어들에 대응하는 오프셋 정보들이 아래의 [표 1]과 같다고 하자. 또한, 후보 피팅 스코어에 대하여 미리 정해진 임계값이 0.4라고 하자.
Figure pat00003
제공 장치는 [표 1]에 나타난 후보 피팅 스코어들 중 임계값(0.4) 이하의 값을 갖는 후보 피팅 스코어들을 제거하고, 0.4를 초과하는 후보 피팅 스코어들을 제2 차선에 해당하는 피팅 스코어들로 결정할 수 있다.
제공 장치는 해당하는 차선의 적어도 하나의 피팅 스코어 중 가장 높은 값을 갖는 피팅 스코어를 검출하고, 검출된 피팅 스코어에 대응하는 오프셋 정보를 이용하여, 해당하는 차선을 결정할 수 있다. 제공 장치는 예를 들어, 제2 차선의 적어도 하나의 피팅 스코어(0.7, 0.8, 0.9, 0.75) 중 대표값(예를 들어, 가장 높은 값)을 갖는 피팅 스코어(0.9)를 검출하고, 검출된 피팅 스코어에 대응하는 오프셋 정보(7)를 이용하여 해당하는 차선을 결정할 수 있다.
실시예에 따라서, 제공 장치는 해당하는 차선의 적어도 하나의 피팅 스코어를 가중치로 하여, 적어도 하나의 피팅 스코어에 대응하는 적어도 하나의 오프셋 정보를 가중 합산할 수 있다. 제공 장치는 가중 합산 결과를 이용하여, 해당하는 차선을 결정할 수 있다. 제공 장치는 예를 들어, 제2 차선의 적어도 하나의 피팅 스코어(0.7, 0.8, 0.9, 0.75)에 대응하는 적어도 하나의 오프셋 정보(5, 6, 7, 8)를 (0.7 x 5) + (0.8 x 6) + (0.9x 7) + (0.75x 8) = 3.5+ 4.8 + 6.3 + 6 = 20.6과 같이 가중 합산(weighted sum)할 수 있다. 제공 장치는 가중 합산 결과의 평균(20.6 /4 = 5.15)을 이용하여 해당하는 차선을 결정할 수 있다.
도 9를 통해 설명한 차선을 검출하는 방법은 아래의 도 17의 단계(1730)에서 차선을 검출하는 데에도 동일하게 적용될 수 있다.
도 10은 다른 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 나타낸 흐름도이다. 도 10을 참조하면, 일 실시예에 따른 제공 장치는 주행 영상을 획득할 수 있다(1005). 제공 장치는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출할 수 있다(1010).
제공 장치는 지도 정보를 획득하고(1015), GPS 정보를 획득할 수 있다(1020).
제공 장치는 GPS 정보 및 지도 정보에 기초하여 차량의 현재 위치를 결정하고(1025), 현재 위치로부터 예견 거리 이내에 위치하는 중간 지점들을 선택할 수 있다(1030).
제공 장치는 중간 지점들에 대한 선형 회귀 분석을 통해 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출할 수 있다(1035).
제공 장치는 회귀 함수를 이용하여 지도 상의 도로의 형태(예를 들어, 구불구불한 S자 형태, 일부 곡선 형태, 원형 형태, 직선형 형태 등)를 인식할 수 있다(1040). 제공 장치는 지도 상의 도로의 형태에 기초하여, 곡률 정보를 결정할 수 있다(1045).
제공 장치는 차선 영역의 영상을 평면 시점 영상으로 변환하고(1050), 평면 시점 영상에 포함된 차선들과 기준선 간의 피팅 스코어들을 산출할 수 있다(1055).
제공 장치는 피팅 스코어들에 기초하여 차선들을 검출할 수 있다(1060). 제공 장치는 평면 시점 영상에서 차량의 횡방향 위치에 인접한 좌우 차선들의 중심선을 결정할 수 있다(1065). 제공 장치는 차량의 횡방향 오프셋을 추정하기 위해 중심선과 차량의 횡방향 위치 사이의 거리를 산출할 수 있다(1070).
제공 장치는 곡률 정보 및 횡방향 오프셋에 기초하여, 차량의 로컬 경로를 결정하고(1075), 로컬 경로에 기초하여, 차량의 주행을 제어하기 위한 신호를 생성할 수 있다(1080).
도 11은 다른 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시예에 따른 제공 장치는 주행 영상을 획득하고(1110), 픽셀 레벨의 분류를 통해 주행 영상에 포함된 객체(또는 차선 영역)를 구분한 세그먼테이션 영상을 생성할 수 있다(1120). 제공 장치는 차선을 구분한 세그먼테이션 영상을 평면 시점 영상으로 변환할 수 있다(1130).
또한, 제공 장치는 GPS 정보(1140)와 지도 정보(1150)를 획득할 수 있다. 제공 장치는 GPS 정보 및 지도 정보를 이용하여 차량의 현재 위치를 찾고, 차량의 현재 위치에 인접한 지도 상의 복수의 중간 지점들을 모아서 다항식 피팅(Polynomial fitting)을 수행할 수 있다(1160). 예를 들어, 다항식이
Figure pat00004
라고 하면, 제공 장치는 다항식 피팅을 통해 도로의 곡률 정보에 해당하는 C1 및 C2를 파악할 수 있다. 이때, 피팅 결과 도출되는 C0는 이용되지 않거나, 다항식에서 C0 = 0 으로 설정되어 다항식 피팅이 수행될 수 있다.
제공 장치는 예를 들어, 도 12에 도시된 것과 같이 C1 및 C2의 곡률 정보를 갖는 기준선을 픽셀 단위(예를 들어, 한 픽셀)로 이동시켜 가면서, 평면 시점 영상에 포함된 차선들과 기준선 사이의 피팅 스코어들을 산출할 수 있다(1170).
제공 장치는 단계(1170)에서 산출된 피팅 스코어들에 기초하여 차선들을 검출하고, 차량의 횡방향 위치에 인접한 두 차선들을 결정하며, 차량이 주행 중인 차로의 중심선 및 차량의 횡방향 위치 사이의 차이를 차량의 횡방향 오프셋으로 결정할 수 있다(1180). 이때, 오프셋 정보는 다항식
Figure pat00005
에서 C0에 해당할 수 있다.
제공 장치는 단계(1160)을 통해 파악된 도로의 곡률 정보(C1 및 C2)와 단계(1180)에서 결정된 차량의 횡방향 오프셋(C0)에 의해 최종적인 다항식(Polynomial equation)을 결정할 수 있다(1190). 이때, 최종적으로 결정된 다항식은 차량의 주행 경로에 따른 도로의 형태 및 주행 차로 내의 차량의 위치를 나타내는 차선 회귀 함수에 해당할 수 있다. 또한, 제공 장치는 차선 회귀 함수를 이용하여 예를 들어, 차량의 핸들 조향, 차량의 가감속을 위한 액셀레이터 및 브레이크 등과 같이 차량의 주행을 제어하기 위한 다양한 제어 파라미터들을 생성하여 출력할 수 있다. 제공 장치는 차선 회귀 함수를 이용하여 차량의 경로를 결정할 수 있다.
일 실시예에 따른 차량의 주행을 위한 정보를 제공하는 방법은 자율 주행 시스템뿐만 아니라, 지도 정보가 주어진 실내 로봇 어플리케이션, 스마트 팩토리(smart factory) 등과 같은 다양한 산업 환경에서 정밀한 제어를 요구하는 로봇 시스템에서 로봇의 경로 제어를 위한 제어선 검출 및 제어 정보 제공에도 이용될 수 있다.
도 12는 일 실시예에 따른 차선 회귀 함수를 설명하기 위한 도면이다. 도 12를 참조하면, C1 및 C2의 곡률 정보를 갖는 기준선에 기초하여 차량의 횡방향 오프셋 C0을 결정함으로써 차선 회귀 함수
Figure pat00006
가 결정된다.
일 실시예에 따른 제공 장치는 예를 들어, 다항식(Polynomial equation) 또는 클로소이드(Clothoid) 기반의 차선 회귀 함수를 이용하여 차량의 주행을 위한 정보를 제공할 수 있다.
예를 들어, 차선 회귀 함수가
Figure pat00007
와 같은 다항식이라고 하자. x는 차량의 현재 위치에서 주행 방향으로 떨어진 거리에 해당하므로, 일 실시예에 따르면, 근거리 차선은 횡방향 오프셋 정보인 C0에 기초하여 제어되고, 원거리 차선은 도로 곡률 정보에 해당하는 C1 및 C2에 기초하여 제어될 수 있다. 이때, 제공 장치는 도로 곡률 및 횡방향 오프셋을 고려한 차선 회귀 함수에 기초하여 주행 방향 또는 주행각에 의해 핸들을 제어할 수 있다.
제공 장치는 원거리 상의 차선 검출의 어려움을 지도 정보를 통해 보정함으로써 자차의 횡방향 오프셋을 검출하고, 이를 통해 주행 상황과 독립적으로 안정적인 제어를 유도할 수 있다.
도 13은 일 실시예에 따른 주행 영상 및 주행 영상에 대응되는 세그먼테이션 영상을 도시한 도면이다. 도 13을 참조하면, 일 실시예에 따른 주행 영상(1310) 및 주행 영상에 대응하는 세그먼테이션 영상(1330)이 도시된다.
주행 영상(1310)는 예를 들어, 다른 차량(들), 차선, 연석, 인도, 주변 환경 등을 포함하는 도로 영상 및 도로 노면 영상 등을 포함할 수 있다. 주행 영상(1310)은 차량 및 차선들을 포함하는 차선 영역 및 주변 건물, 나무, 하늘 등 주변 환경 영역을 포함할 수 있다.
세그먼테이션 영상(1330)은 예를 들어, 시멘틱 세그먼테이션 영상일 수 있다. 시멘틱 세그먼테이션은 객체를 픽셀 단위까지 밀도있게 예측하고, 영상에 어떠한 객체가 포함되어 있는지를 파악하여 객체 클래스(object class)가 포함된 픽셀 단위의 영역을 출력할 수 있다.
보다 구체적으로, 일 실시예에 따른 제공 장치는 예를 들어, 여러 단계의 컨볼루션 레이어(convolution layer) 및 풀리 커넥티드 레이어(fully connected layer)로 구성된 분류 네트워크를 거쳐 세그먼테이션 영상을 생성할 수 있다. 분류 네트워크를 거치면서 주행 영상은 원 영상의 1/32의 크기로 줄어드는데, 픽셀 단위로 조밀한 예측을 하려면 다시 원영상 크기로 복원하는 과정을 거쳐야 한다. 제공 장치는 트레이닝 이미지로부터 트레이닝 출력을 출력하도록 트레이닝된, 분류기 모델(classifier model)을 이용하여, 주행 영상을 복수의 영역으로 분할할 수 있다. 분류기 모델은 예를 들어, 컨볼루셔널 뉴럴 네트워크일 수 있다. 트레이닝 이미지는 예를 들어, 컬러 이미지일 수 있고, 트레이닝 출력은 트레이닝 입력이 분할된 영역 이미지를 나타낼 수 있다. 예를 들어, 트레이닝 출력은, 트레이닝 이미지의 각 픽셀에 대응하는 속성(또는 클래스)(예를 들어, 차선, 도로, 차량, 사람, 객체, 및 배경 등)이 수동으로 지정되고, 지정된 속성에 기초하여 미리 분할된 영역 이미지일 수 있다.
제공 장치는 예를 들어, AlexNet, VGGNet, GoogleNET 처럼 잘 알려진 분류 네트워크를 이용하여 주행 영상으로부터 의미 단위로 물체를 분할하고, 분할된 영역이 어떤 의미를 갖는지를 픽셀 단위로 파악하여 각 클래스마다 레이블링 함으로써 세그먼테이션 영상을 생성할 수 있다.
일 실시예에 따르면, 제공 장치는 모든 픽셀의 클래스를 분류하는 대신, 차선 클래스의 픽셀과 차선 클래스가 아닌 픽셀을 구분하도록 동작할 수도 있다.
도 14는 일 실시예에 따른 세그먼테이션 영상으로부터 검출된 차선 영역의 영상 및 차선 영역의 영상으로부터 변환된 평면 시점 영상을 도시한 도면이다. 도 14를 참조하면, 세그먼테이션 영상으로부터 검출된 차선 영역의 영상(1410) 및 차선 영역의 영상으로부터 변환된 평면 시점 영상(1430)이 도시된다.
일 실시예에 따른 제공 장치는 예를 들어, 미리 학습된 컨볼루션 신경망을 이용하여 주행 영상으로부터 복수의 차선들을 포함하는 차선 영역을 검출할 수 있다. 이 밖에도 제공 장치는 다양한 기계 학습(Machine Learning) 방법들을 이용하여 차선 영역의 영상(1410)과 같이 복수의 차선들을 포함하는 차선 영역을 검출할 수 있다.
제공 장치는 예를 들어, 복수의 차선들을 포함하는 차선 영역에 대하여 역원근 변환(IPM)을 적용하여 평면 시점으로 변환된 차선들(1435)을 포함하는 평면 시점 영상(1430)으로 변환할 수 있다. 평면 시점으로 변환된 차선들(1435)은 왼쪽의 제1 차선부터 제4 차선까지 총 4개일 수 있다.
제공 장치는 소실점으로 모이는 도로 영상에 역원근 변환을 적용하여 하늘에서 내려다 본 형태의 평면 시점 영상으로 변환함으로써 차선이 더 균일하고 명료하게 파악되도록 할 수 있다. 평면 시점 영상에서는 차선 간의 변별력이 높다.
역원근 변환은 원근 효과를 가진 주행 영상에서 원근 효과를 제거하고 영상 평면의 위치 정보를 세계 좌표계의 위치 정보로 변환시키는 것이다. 제공 장치는 역원근 변환을 통해, 세계 좌표계로 나타난 차선의 위치 정보로부터 도로의 중심선으로부터 차량의 원점까지의 법선 거리와 차량의 방향으로 정의된 도로에 대한 차량의 상대 위치를 용이하게 표현할 수 있다.
제공 장치는 예를 들어, 바운딩 박스의 중심을 기준으로 주변 영상은 제외하고, 검출된 차선에 대하여만 역원근 변환을 적용함으로써 전체 영상의 픽셀(Pixel)들을 변환하는 것에 비해 계산량을 크게 감소시킬 수 있다.
도 15는 일 실시예에 따라 차선들을 검출하고, 차량의 횡방향 오프셋을 검출하는 방법을 설명하기 위한 도면이다. 도 15에서는 카메라가 차량의 가운데에 부착된 경우를 가정하고 설명한다.
도 15를 참조하면, 평면 시점으로 변환된 차선들(1435) 및 기준선(1510)이 도시된다. 차량(자차)의 위치(1530)는 평면 시점 영상의 횡방향으로 가운데 위치에 해당할 수 있다. 설명의 편의를 위하여 기준선(1510)을 직선으로 도시하였으나, 기준선(1510)은 전술한 도로의 곡률 정보(C1 및 C2)에 기반한 것일 수 있다.
일 실시예에 따른 제공 장치는 평면 시점 영상에 포함된 차선들(1435)과 기준선(1510) 간의 피팅 스코어들(fitting scores)을 산출할 수 있다. 제공 장치는 기준선(1510)을 평면 시점 영상의 좌측 혹은 우측 모서리에서 반대쪽 모서리를 향하여 픽셀 단위(예를 들어, 한 픽셀)로 이동시켜 가면서, 기준선(1510)과 평면 시점 영상에 포함된 변환된 차선들(1435) 사이에 매칭되는 픽셀들의 개수를 카운트할 수 있다. 제공 장치는 매칭되는 픽셀들의 개수를 이용하여 기준선의 횡방향 위치에 대응하는 후보 피팅 스코어를 결정할 수 있다. 제공 장치는 후보 피팅 스코어들 중 미리 정해진 임계값보다 큰 값을 가지는 후보 피팅 스코어들을 각 차선에 해당하는 피팅 스코어들로 결정할 수 있다. 이 과정을 통해 제공 장치는 평면 시점 영상에 포함된 변환된 차선들(1435) 각각(제1 차선 내지 제4차선)을 검출할 수 있다.
제공 장치는 차량의 횡방향 위치(1530)에 인접한 좌우 차선들(예를 들어, 제2 차선과 제3 차선)의 중심선을 결정할 수 있다. 제공 장치는 좌우 차선들의 중심선(1540)과 차량의 횡방향 위치(1530) 사이의 거리를 산출할 수 있다.
도 16a 및 도 16b는 일 실시예에 따라 카메라가 차량의 중심에서 이격된 위치에 부착된 경우 차량의 횡방향 오프셋을 추정하는 방법을 설명하기 위한 도면이다.
도 16a를 참조하면, 주행 영상을 촬영하기 위한 카메라(1605)가 차량의 정가운데 위치(1610)에 부착된 경우, 평면 시점 영상에서 차량의 횡방향 위치는 평면 시점 영상(1630)의 횡방향으로 가운데 위치(1640)일 수 있다. 한편, 카메라(1605)가 차량의 정가운데 위치(1610)로부터 오른쪽으로 10cm 떨어진 위치(1620) 부착된 경우, 차량의 횡방향 위치는 평면 시점 영상(1630)의 횡방향의 가운데(1640)에서 왼쪽으로 치우친 위치(1650)일 수 있다. 제공 장치는 카메라의 해상도 등을 고려하여, 카메라가 이격된 정도(예를 들어, 10cm)에 대응하는 평면 시점 영상 상의 위치를 결정할 수 있다.
도 16b를 참조하면, 평면 시점 영상(1660)에 포함된 차선의 개수가 제1 차선(1661), 제2 차선(1663), 제3 차선(1665), 및 제4 차선(1667)의 4개, 다시 말해 해당 도로가 3차로이고, 차량의 횡방향 위치는 평면 시점 영상(1660)의 횡방향의 가운데(1670)에서 왼쪽으로 5 cm 에 해당하는 위치(1675)라고 하자. 제공 장치는 차량의 횡방향 위치(1675)에 인접한 좌우 차선들(예를 들어, 제2 차선(1663) 및 제3 차선(1665))의 중심선(1680)을 결정할 수 있다. 예를 들어, 중심선(1680)은 차량이 주행 중인 차로(예를 들어, 2차로) 차폭의 가운데에 해당할 수 있다.
제공 장치는 중심선(1680)과 차량의 횡방향 위치(1675) 사이의 거리를 산출할 수 있다(830). 제공 장치는 중심선(2차로 차폭의 가운데)(1680)와 차량의 횡방향 위치(1675) 사이의 거리를 산출할 수 있다. 이때, 중심선(1680)과 차량의 횡방향 위치(1675) 사이의 거리가 횡방향 오프셋에 해당할 수 있다.
도 17은 일 실시예에 따른 차선을 검출하는 방법을 나타낸 흐름도이다. 도 17을 참조하면, 일 실시예에 따른 차선을 검출하는 장치(이하, 검출 장치)는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출한다(1710). 일 실시예에 따른 검출 장치는 전술한 제공 장치 자체일 수도 있고, 제공 장치와 별개의 장치일 수도 있다. 검출 장치가 차선 영역을 검출하는 방법은 전술한 도 3과 동일하므로 해당 부분의 설명을 참고하기로 한다.
검출 장치는 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정한다(1720). 검출 장치가 도로의 곡률 정보를 결정하는 방법은 전술한 도 4 내지 도 5와 동일하므로 해당 부분의 설명을 참고하기로 한다.
검출 장치는 곡률 정보에 기반한 기준선(reference line)과 차선 영역을 이용하여 차선을 검출한다(1730). 검출 장치가 차선을 검출하는 방법은 아래의 도 18을 참조하여 구체적으로 설명한다.
도 18은 일 실시예에 따라 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차선을 검출하는 방법을 나타낸 흐름도이다. 도 18을 참조하면, 일 실시예에 따른 검출 장치는 차선 영역의 영상을 평면 시점 영상으로 변환할 수 있다(1810). 검출 장치가 차선 영역의 영상을 평면 시점 영상으로 변환하는 방법은 전술한 도 6의 단계(610) 및 도 14에 대한 설명과 동일하므로 해당 부분의 설명을 참고하기로 한다.
검출 장치는 평면 시점 영상에 포함된 차선들과 기준선 간의 피팅 스코어들을 산출할 수 있다(1820). 검출 장치가 피팅 스코어들을 산출하는 방법은 전술한 도 7과 동일하므로 해당 부분의 설명을 참고하기로 한다.
검출 장치는 피팅 스코어들에 기초하여 차선을 검출할 수 있다(1830). 검출 장치가 차선을 검출하는 방법은 전술한 도 9와 동일하므로 해당 부분의 설명을 참고하기로 한다.
도 19는 일 실시예에 따른 차량의 주행을 위한 정보를 제공하거나, 차선을 검출하는 장치의 블록도이다. 도 19를 참조하면, 일 실시예에 따른 장치(1900)는 프로세서(1930)를 포함한다. 장치(1900)는 센서들(1910), 통신 인터페이스(1920), 메모리(1940) 및 디스플레이 장치(1950)를 더 포함할 수 있다.
센서들(1910), 통신 인터페이스(1920), 프로세서(1930), 메모리(1940) 및 디스플레이 장치(1950)는 통신 버스(1905)를 통해 서로 통신할 수 있다. 센서들(1910)은 예를 들어, 이미지 센서, 가속도계 센서, 나침반 센서, GPS 센서, 자이로 센서, 오도미터, 지자기 센서 등을 포함할 수 있다.
장치(1900)는 통신 인터페이스(1920)를 통해 센싱 정보를 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1920)는 장치(1900)의 외부에 존재하는 다른 센서들로부터 센싱 정보를 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1920)는 장치(1900)의 외부로부터 주행 영상, 지도 정보 및 GPS 정보를 수신할 수 있다.
또한, 프로세서(1930)는 통신 인터페이스(1920)를 통해 차량의 주행을 위한 정보를 포함하는 신호를 출력할 수 있다.
프로세서(1930)는 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출한다. 프로세서(1930)는 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정한다. 프로세서(1930)는 곡률 정보에 기반한 기준선과 차선 영역을 이용하여 차선을 검출하거나, 차량의 횡방향 오프셋을 추정한다. 프로세서(1930)는 곡률 정보 및 횡방향 오프셋에 기초하여, 차량의 주행을 위한 정보를 포함하는 신호를 출력한다.
또한, 프로세서(1930)는 도 1 내지 도 18을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다
프로세서(1930)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(1930)는 프로그램을 실행하고, 제공 장치(1900)를 제어할 수 있다. 프로세서(1930)에 의하여 실행되는 프로그램 코드는 메모리(1940)에 저장될 수 있다.
메모리(1940)는 주행 영상 및 지도 정보를 저장할 수 있다. 메모리(1940)는 상술한 프로세서(1930)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1940)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1940)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1940)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
디스플레이 장치(1950)는 프로세서(1930)에 의해 검출된 차선을 지도 정보, 와 함께 또는 별도로 표시할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (39)

  1. 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하는 단계;
    지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하는 단계;
    상기 곡률 정보에 기반한 기준선(reference line)과 상기 차선 영역을 이용하여 상기 차량의 횡방향 오프셋(lateral offset)을 추정하는 단계; 및
    상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  2. 제1항에 있어서,
    상기 차선 영역을 검출하는 단계는
    상기 주행 영상에 포함된 객체를 구분한 세그먼테이션(Segmentation) 영상을 생성하는 단계; 및
    상기 세그먼테이션 영상으로부터 상기 차선 영역을 검출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  3. 제1항에 있어서,
    상기 곡률 정보를 결정하는 단계는
    상기 차량의 현재 위치를 결정하는 단계; 및
    상기 차량의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들(waypoints)을 이용하여 곡률 정보를 결정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  4. 제3항에 있어서,
    상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는
    상기 현재 위치로부터 예견 거리(look-ahead distance) 이내에 위치하는 상기 중간 지점들을 선택하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  5. 제3항에 있어서,
    상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는
    상기 중간 지점들에 기초하여, 상기 지도 상의 도로의 형태를 인식하는 단계; 및
    상기 지도 상의 도로의 형태에 기초하여, 상기 곡률 정보를 결정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  6. 제5항에 있어서,
    상기 지도 상의 도로의 형태를 인식하는 단계는
    상기 중간 지점들에 대한 선형 회귀 분석(linear regression analysis)을 통해 상기 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  7. 제4항에 있어서,
    상기 예견 거리는
    상기 차량의 속도, 가시 거리, 날씨, 주행 상황, 및 상기 도로의 상태 중 어느 하나 또는 이들의 조합에 기초하여 결정되는, 차량의 주행을 위한 정보를 제공하는 방법.
  8. 제1항에 있어서,
    상기 곡률 정보를 결정하는 단계는
    상기 차량이 주행 중인 도로가 복수의 경로들을 포함하는 경우, 상기 차량의 목적지 정보를 이용하여 어느 하나의 경로를 선택하는 단계; 및
    상기 선택된 경로에 대응하는 도로의 곡률 정보를 결정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  9. 제1항에 있어서,
    상기 차량의 횡방향 오프셋을 추정하는 단계는
    상기 차선 영역의 영상을 평면 시점 영상으로 변환하는 단계;
    상기 평면 시점 영상에 포함된 차선들과 상기 기준선 간의 피팅 스코어들(fitting scores)을 산출하는 단계; 및
    상기 피팅 스코어들에 기초하여 상기 차량의 횡방향 오프셋을 추정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  10. 제9항에 있어서,
    상기 피팅 스코어들을 산출하는 단계는
    상기 기준선을 미리 정해진 픽셀 단위로 이동시켜 가면서, 상기 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트함으로써 상기 기준선의 이동에 따른 후보 피팅 스코어들을 산출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  11. 제10항에 있어서,
    상기 후보 피팅 스코어들을 산출하는 단계는
    상기 기준선을 픽셀 단위로 이동시키는 단계;
    상기 픽셀 단위로 이동된 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트하는 단계; 및
    상기 매칭되는 픽셀들의 개수에 기초하여 상기 미리 정해진 픽셀 단위로 이동된 기준선의 후보 피팅 스코어를 산출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  12. 제9항에 있어서,
    상기 차량의 횡방향 오프셋을 추정하는 단계는
    상기 피팅 스코어들에 기초하여, 차선들을 검출하는 단계; 및
    상기 검출된 차선들 및 상기 평면 시점 영상에서 상기 차량의 횡방향 위치(lateral position)에 기초하여, 상기 횡방향 오프셋을 산출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  13. 제12항에 있어서,
    상기 차선들을 검출하는 단계는
    미리 정해진 임계값에 기초하여, 상기 피팅 스코어들 중 각 차선에 해당하는 적어도 하나의 피팅 스코어를 결정하는 단계; 및
    상기 각 차선에 해당하는 적어도 하나의 피팅 스코어에 기초하여, 해당하는 차선을 검출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  14. 제13항에 있어서,
    상기 해당하는 차선을 검출하는 단계는
    상기 해당하는 차선의 적어도 하나의 피팅 스코어 중 가장 높은 값을 갖는 피팅 스코어를 검출하는 단계; 및
    상기 검출된 피팅 스코어에 대응하는 오프셋 정보를 이용하여, 상기 해당하는 차선을 결정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  15. 제13항에 있어서,
    상기 해당하는 차선을 검출하는 단계는
    상기 해당하는 차선의 적어도 하나의 피팅 스코어를 가중치로 하여, 상기 적어도 하나의 피팅 스코어에 대응하는 적어도 하나의 오프셋 정보를 가중 합산하는 단계; 및
    상기 가중 합산 결과를 이용하여, 상기 해당하는 차선을 결정하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  16. 제12항에 있어서,
    상기 횡방향 오프셋을 산출하는 단계는
    상기 차량의 횡방향 위치에 인접한 좌우 차선들의 중심선을 결정하는 단계; 및
    상기 중심선과 상기 차량의 횡방향 위치 사이의 거리를 산출하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  17. 제12항에 있어서,
    상기 평면 시점 영상에서 상기 차량의 횡방향 위치는
    상기 평면 시점 영상의 횡방향으로 가운데 위치를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  18. 제12항에 있어서,
    상기 평면 시점 영상에서 상기 차량의 횡방향 위치는
    상기 주행 영상을 촬영하기 위하여 상기 차량에 부착된 카메라의 횡방향 위치에 기초하여 결정되는, 차량의 주행을 위한 정보를 제공하는 방법.
  19. 제1항에 있어서,
    상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계는
    상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 로컬 경로를 결정하는 단계; 및
    상기 로컬 경로에 기초하여, 상기 차량의 주행을 제어하기 위한 신호를 생성하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  20. 제1항에 있어서,
    상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 단계는
    상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 로컬 경로를 결정하는 단계; 및
    상기 로컬 경로에 기초하여, 상기 차량의 주행 경로를 포함하는 주행 정보를 제공하는 단계
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  21. 제1항에 있어서,
    상기 주행 영상을 획득하는 단계; 및
    상기 지도 정보를 획득하는 단계
    를 더 포함하는, 차량의 주행을 위한 정보를 제공하는 방법.
  22. 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하는 단계;
    지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하는 단계; 및
    상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 차선을 검출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  23. 제22항에 있어서,
    상기 차선 영역을 검출하는 단계는
    상기 주행 영상에 포함된 객체를 구분한 세그먼테이션 영상을 생성하는 단계; 및
    상기 세그먼테이션 영상으로부터 상기 차선 영역을 검출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  24. 제22항에 있어서,
    상기 곡률 정보를 결정하는 단계는
    상기 차량의 현재 위치를 결정하는 단계; 및
    상기 차량의 현재 위치에 대응하는, 지도 상의 복수의 중간 지점들을 이용하여 곡률 정보를 결정하는 단계
    를 포함하는, 차선을 검출하는 방법.
  25. 제24항에 있어서,
    상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는
    상기 현재 위치로부터 예견 거리 이내에 위치하는 상기 중간 지점들을 선택하는 단계
    를 포함하는, 차선을 검출하는 방법.
  26. 제24항에 있어서,
    상기 중간 지점들을 이용하여 상기 곡률 정보를 결정하는 단계는
    상기 중간 지점들에 기초하여, 상기 지도 상의 도로의 형태를 인식하는 단계; 및
    상기 지도 상의 도로의 형태에 기초하여, 상기 곡률 정보를 결정하는 단계
    를 포함하는, 차선을 검출하는 방법.
  27. 제26항에 있어서,
    상기 지도 상의 도로의 형태를 인식하는 단계는
    상기 중간 지점들에 대한 선형 회귀 분석을 통해 상기 지도 상의 도로의 형태를 표현하는 회귀 함수를 산출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  28. 제25항에 있어서,
    상기 예견 거리는
    상기 차량의 속도, 가시 거리, 날씨, 주행 상황, 및 상기 도로의 상태 중 어느 하나 또는 이들의 조합에 기초하여 결정되는, 차선을 검출하는 방법.
  29. 제22항에 있어서,
    상기 곡률 정보를 결정하는 단계는
    상기 차량이 주행 중인 도로가 복수의 경로들을 포함하는 경우, 상기 차량의 목적지 정보를 이용하여 어느 하나의 경로를 선택하는 단계; 및
    상기 선택된 경로에 대응하는 도로의 곡률 정보를 결정하는 단계
    를 포함하는, 차선을 검출하는 방법.
  30. 제22항에 있어서,
    상기 차선을 검출하는 단계는
    상기 차선 영역의 영상을 평면 시점 영상으로 변환하는 단계;
    상기 평면 시점 영상에 포함된 차선들과 상기 기준선 간의 피팅 스코어들을 산출하는 단계; 및
    상기 피팅 스코어들에 기초하여 상기 차선을 검출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  31. 제30항에 있어서,
    상기 피팅 스코어들을 산출하는 단계는
    상기 기준선을 픽셀 단위로 이동시켜 가면서, 상기 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트함으로써 상기 기준선의 이동에 따른 후보 피팅 스코어들을 산출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  32. 제31항에 있어서,
    상기 후보 피팅 스코어들을 산출하는 단계는
    상기 기준선을 픽셀 단위로 이동시키는 단계;
    상기 픽셀 단위로 이동된 기준선과 상기 평면 시점 영상에 포함된 차선들 사이에 매칭되는 픽셀들의 개수를 카운트하는 단계; 및
    상기 매칭되는 픽셀들의 개수에 기초하여 상기 픽셀 단위로 이동된 기준선의 후보 피팅 스코어를 산출하는 단계
    를 포함하고, 차선을 검출하는 방법.
  33. 제30항에 있어서,
    상기 피팅 스코어들에 기초하여 상기 차선을 검출하는 단계는
    미리 정해진 임계값에 기초하여, 상기 피팅 스코어들 중 각 차선에 해당하는 적어도 하나의 피팅 스코어를 결정하는 단계; 및
    상기 각 차선에 해당하는 적어도 하나의 피팅 스코어에 기초하여, 해당하는 차선을 검출하는 단계
    를 포함하는, 차선을 검출하는 방법.
  34. 제33항에 있어서,
    상기 해당하는 차선을 검출하는 단계는
    상기 해당하는 차선의 적어도 하나의 피팅 스코어 중 가장 높은 값을 갖는 피팅 스코어를 검출하는 단계; 및
    상기 검출된 피팅 스코어에 대응하는 오프셋 정보를 이용하여, 상기 해당하는 차선을 결정하는 단계
    를 포함하는, 차선을 검출하는 방법.
  35. 제33항에 있어서,
    상기 해당하는 차선을 검출하는 단계는
    상기 해당하는 차선의 적어도 하나의 피팅 스코어를 가중치로 하여, 상기 적어도 하나의 피팅 스코어에 대응하는 적어도 하나의 오프셋 정보를 가중 합산하는 단계; 및
    상기 가중 합산 결과를 이용하여, 상기 해당하는 차선을 결정하는 단계
    를 포함하는, 차선을 검출하는 방법.
  36. 제22항에 있어서,
    상기 주행 영상을 획득하는 단계; 및
    상기 지도 정보를 획득하는 단계
    를 더 포함하는, 차선을 검출하는 방법.
  37. 하드웨어와 결합되어 제1항 내지 제36항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  38. 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하고, 상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 상기 차량의 횡방향 오프셋을 추정하며, 상기 곡률 정보 및 상기 횡방향 오프셋에 기초하여, 상기 차량의 주행을 위한 정보를 포함하는 신호를 출력하는 프로세서
    를 포함하는, 차량의 주행을 위한 정보를 제공하는 장치.
  39. 주행 영상으로부터 차선들을 포함하는 차선 영역을 검출하고, 지도 정보를 이용하여 차량이 주행 중인 도로의 곡률 정보를 결정하며, 상기 곡률 정보에 기반한 기준선과 상기 차선 영역을 이용하여 차선을 검출하는 프로세서
    를 포함하는, 차선을 검출하는 장치.
KR1020180016904A 2018-02-12 2018-02-12 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들 KR102541561B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180016904A KR102541561B1 (ko) 2018-02-12 2018-02-12 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
US16/142,257 US11113544B2 (en) 2018-02-12 2018-09-26 Method and apparatus providing information for driving vehicle
CN201811247356.XA CN110155053B (zh) 2018-02-12 2018-10-25 提供用于驾驶车辆的信息的方法和设备
EP18203797.8A EP3524936A1 (en) 2018-02-12 2018-10-31 Method and apparatus providing information for driving vehicle
JP2019016926A JP7349792B2 (ja) 2018-02-12 2019-02-01 車両走行のための情報を提供する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180016904A KR102541561B1 (ko) 2018-02-12 2018-02-12 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들

Publications (2)

Publication Number Publication Date
KR20190097453A true KR20190097453A (ko) 2019-08-21
KR102541561B1 KR102541561B1 (ko) 2023-06-08

Family

ID=64048971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180016904A KR102541561B1 (ko) 2018-02-12 2018-02-12 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들

Country Status (5)

Country Link
US (1) US11113544B2 (ko)
EP (1) EP3524936A1 (ko)
JP (1) JP7349792B2 (ko)
KR (1) KR102541561B1 (ko)
CN (1) CN110155053B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141448A1 (ko) * 2020-01-09 2021-07-15 엘지전자 주식회사 사이드링크를 지원하는 무선통신시스템에서 장치가 cpm을 전송하는 방법 및 이를 위한 장치
CN113232658A (zh) * 2021-06-28 2021-08-10 驭势（上海）汽车科技有限公司 一种车辆定位方法、装置、电子设备和存储介质
CN113830174A (zh) * 2021-09-28 2021-12-24 广州文远知行科技有限公司 一种转向角度修正方法、装置、设备及可读存储介质
KR20220079360A (ko) * 2020-12-03 2022-06-13 모셔널 에이디 엘엘씨 주변 차량에 기초한 로컬화
KR20220146726A (ko) * 2021-04-23 2022-11-02 한국전자기술연구원 주행 계획 장치 및 방법, 이를 적용한 이동 로봇
KR102523146B1 (ko) * 2022-03-28 2023-04-18 주식회사 라이드플럭스 차량의 자율주행을 위한 주행 경로 모델링 방법, 장치 및 컴퓨터프로그램

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022624B2 (ja) * 2018-03-13 2022-02-18 株式会社ディスコ 位置付け方法
EP3767604A4 (en) * 2018-03-15 2021-11-03 Pioneer Corporation TRACK INFORMATION GENERATION PROCESS
KR20200106102A (ko) * 2019-02-21 2020-09-11 현대자동차주식회사 저비용 자율 주행 셔틀 운행 방법 및 장치
EP3971048B1 (en) * 2019-05-15 2023-06-07 NISSAN MOTOR Co., Ltd. Vehicle travel control method and vehicle travel control device
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其系统
CN112441012B (zh) * 2019-09-05 2023-05-12 北京地平线机器人技术研发有限公司 车辆行驶轨迹预测方法和装置
CN111361638B (zh) * 2019-10-12 2020-12-08 北汽福田汽车股份有限公司 车辆感知装置的控制方法、装置、可读存储介质及车辆
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN111123740B (zh) * 2019-12-19 2024-04-16 北京经纬恒润科技股份有限公司 硬件在环测试方法以及装置
CN113104037B (zh) * 2019-12-24 2022-08-30 浙江吉利汽车研究院有限公司 一种车辆方向盘转向角度确定方法及系统
CN111152721B (zh) * 2019-12-31 2022-09-02 合肥疆程技术有限公司 一种绘制车道的引导线的方法、装置及抬头显示系统
CN113155143A (zh) * 2020-01-23 2021-07-23 宝马股份公司 用于评估自动驾驶用的地图的方法、设备和车辆
JP7359715B2 (ja) * 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
FR3107763B1 (fr) * 2020-02-28 2022-01-28 Continental Automotive Procédé de cartographie tri-dimensionnelle et calculateur associé
KR20210112672A (ko) * 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법
US11391596B2 (en) * 2020-04-28 2022-07-19 Vgis Inc. System and method for converging mediated reality positioning data and geographic positioning data
WO2021237754A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 一种路况检测方法和装置
CN111824143A (zh) * 2020-07-22 2020-10-27 中国第一汽车股份有限公司 一种车辆横向控制方法、装置、计算机设备和存储介质
JPWO2022091478A1 (ko) * 2020-10-29 2022-05-05
CN112415552B (zh) * 2020-11-17 2022-04-15 北京百度网讯科技有限公司 车辆位置的确定方法、装置及电子设备
CN112710301B (zh) * 2020-12-09 2023-01-06 上汽大众汽车有限公司 一种自动驾驶车辆高精度定位方法和系统
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113022570B (zh) * 2021-03-19 2022-06-10 武汉理工大学 一种车辆换道行为识别方法及设备
JP2022149451A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN114518123A (zh) * 2022-02-24 2022-05-20 高德软件有限公司 信息处理方法
CN114565904A (zh) * 2022-03-02 2022-05-31 北京百度网讯科技有限公司 确定可行驶区域的方法、装置、设备、介质和车辆
DE102022109576A1 (de) 2022-04-20 2023-10-26 Bayerische Motoren Werke Aktiengesellschaft System, verfahren und software zum anzeigen einer abstandsmarkierung
CN115123218B (zh) * 2022-09-02 2022-11-22 小米汽车科技有限公司 车辆的检测方法、装置及其电子设备
CN116935349B (zh) * 2023-09-15 2023-11-28 华中科技大学 一种基于Zigzag变换的车道线检测方法、系统、设备及介质
CN117132863B (zh) * 2023-10-25 2023-12-22 罗普特科技集团股份有限公司 一种能够进行数据反馈的车辆系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
JP2015116919A (ja) * 2013-12-18 2015-06-25 株式会社ジェイテクト 車両制御装置
KR20160037486A (ko) * 2014-09-29 2016-04-06 현대모비스 주식회사 내비게이션 시스템의 지도 매칭 장치 및 방법
KR20160064275A (ko) * 2014-11-27 2016-06-08 연세대학교 산학협력단 차량 위치 인식 장치 및 방법
JP2017190047A (ja) * 2016-04-13 2017-10-19 トヨタ自動車株式会社 車両走行制御装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP4716703B2 (ja) 2004-10-05 2011-07-06 アルパイン株式会社 ナビゲーション装置及びマップマッチング方法
DE102006011481A1 (de) 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
DE102008003666A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5187171B2 (ja) 2008-12-05 2013-04-24 トヨタ自動車株式会社 車線逸脱警報システム
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8977489B2 (en) 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP5413511B2 (ja) 2010-08-06 2014-02-12 トヨタ自動車株式会社 車両配光制御装置及び方法
US8447519B2 (en) 2010-11-10 2013-05-21 GM Global Technology Operations LLC Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9482536B2 (en) 2012-05-31 2016-11-01 International Electronic Machines Corp. Pose estimation
RU2581809C1 (ru) 2012-10-04 2016-04-20 Ниссан Мотор Ко., Лтд. Устройство управления рулением
TWI523778B (zh) 2013-11-04 2016-03-01 Lane offset warning system and method
EP3812962A1 (en) 2013-12-04 2021-04-28 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
EP3736732A1 (en) 2014-01-30 2020-11-11 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
KR101573764B1 (ko) 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법
JP6506625B2 (ja) * 2015-05-29 2019-04-24 株式会社デンソー 運転支援装置及び運転支援方法
US11125566B2 (en) 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
US10013610B2 (en) 2015-10-23 2018-07-03 Nokia Technologies Oy Integration of positional data and overhead images for lane identification
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
JP6604209B2 (ja) * 2016-01-12 2019-11-13 トヨタ自動車株式会社 運転支援装置
US20170248958A1 (en) 2016-02-25 2017-08-31 Delphi Technologies, Inc. Adjacent lane verification for an automated vehicle
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
JP6525413B1 (ja) * 2017-12-28 2019-06-05 マツダ株式会社 車両制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
JP2015116919A (ja) * 2013-12-18 2015-06-25 株式会社ジェイテクト 車両制御装置
KR20160037486A (ko) * 2014-09-29 2016-04-06 현대모비스 주식회사 내비게이션 시스템의 지도 매칭 장치 및 방법
KR20160064275A (ko) * 2014-11-27 2016-06-08 연세대학교 산학협력단 차량 위치 인식 장치 및 방법
JP2017190047A (ja) * 2016-04-13 2017-10-19 トヨタ自動車株式会社 車両走行制御装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141448A1 (ko) * 2020-01-09 2021-07-15 엘지전자 주식회사 사이드링크를 지원하는 무선통신시스템에서 장치가 cpm을 전송하는 방법 및 이를 위한 장치
KR20220079360A (ko) * 2020-12-03 2022-06-13 모셔널 에이디 엘엘씨 주변 차량에 기초한 로컬화
KR20220146726A (ko) * 2021-04-23 2022-11-02 한국전자기술연구원 주행 계획 장치 및 방법, 이를 적용한 이동 로봇
CN113232658A (zh) * 2021-06-28 2021-08-10 驭势（上海）汽车科技有限公司 一种车辆定位方法、装置、电子设备和存储介质
CN113232658B (zh) * 2021-06-28 2022-06-28 驭势（上海）汽车科技有限公司 一种车辆定位方法、装置、电子设备和存储介质
CN113830174A (zh) * 2021-09-28 2021-12-24 广州文远知行科技有限公司 一种转向角度修正方法、装置、设备及可读存储介质
KR102523146B1 (ko) * 2022-03-28 2023-04-18 주식회사 라이드플럭스 차량의 자율주행을 위한 주행 경로 모델링 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
US20190251373A1 (en) 2019-08-15
CN110155053A (zh) 2019-08-23
JP2019139762A (ja) 2019-08-22
EP3524936A1 (en) 2019-08-14
CN110155053B (zh) 2024-04-05
US11113544B2 (en) 2021-09-07
JP7349792B2 (ja) 2023-09-25
KR102541561B1 (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
KR102541561B1 (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
KR102595897B1 (ko) 차선 결정 방법 및 장치
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
US11003945B2 (en) Localization using semantically segmented images
US11295161B2 (en) Localization using semantically segmented images
US8791996B2 (en) Image processing system and position measurement system
US11915115B2 (en) Lane selection using machine learning
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
KR20200029785A (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
KR102589967B1 (ko) 차선을 검출하는 방법 및 장치
KR20200030305A (ko) 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들
CN112352260A (zh) 车道估计装置、方法以及程序
JP6488913B2 (ja) 車両位置判定装置及び車両位置判定方法
CN114930123A (zh) 用于检测交通灯的系统和方法
EP4275192A2 (en) Systems and methods for common speed mapping and navigation
WO2023129656A1 (en) Calculating vehicle speed for a road curve
JP5679207B2 (ja) 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
US20220404169A1 (en) Map data generation device
CN116601671A (zh) 关于行人和确定交通工具自由空间的交通工具导航

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right