KR20190061153A - 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법 - Google Patents

스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법 Download PDF

Info

Publication number
KR20190061153A
KR20190061153A KR1020170159202A KR20170159202A KR20190061153A KR 20190061153 A KR20190061153 A KR 20190061153A KR 1020170159202 A KR1020170159202 A KR 1020170159202A KR 20170159202 A KR20170159202 A KR 20170159202A KR 20190061153 A KR20190061153 A KR 20190061153A
Authority
KR
South Korea
Prior art keywords
lane
image
road
stereo camera
recognizing
Prior art date
Application number
KR1020170159202A
Other languages
English (en)
Inventor
김중구
구자철
유재형
Original Assignee
(주) 비전에스티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 비전에스티 filed Critical (주) 비전에스티
Priority to KR1020170159202A priority Critical patent/KR20190061153A/ko
Publication of KR20190061153A publication Critical patent/KR20190061153A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42
    • B60W2550/14
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자율주행 자동차에서 스테레오 카메라의 출력영상을 기반으로 차선을 인식하는 기술에 관한 것이다.
이러한 본 발명은 도로 영상을 획득하는 단계; 도로면 인식 및 분리단계; 및 인식하는 차선 인식단계;를 포함하되, 상기 차선 인식단계는 실시간 양안 스테레오카메라를 이용하여 입력 영상으로부터 도로면 영상을 분리하고, 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 안정적으로 차선을 인식할 수 있도록 하는 것을 특징으로 한다.

Description

스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법{METHOD FOR LANE DETECTION AUTONOMOUS CAR ONLY EXPRESSWAY BASED ON OUTPUTTING IMAGE OF STEREO CAMERA}
본 발명은 자율주행 자동차에서 스테레오 카메라의 출력영상을 기반으로 차선을 인식하는 기술에 관한 것으로, 특히 실시간 양안 스테레오카메라를 이용하여 입력 영상으로부터 도로면 영상을 분리하고, 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 안정적으로 차선을 인식할 수 있도록 한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법에 관한 것이다.
자율주행 자동차는 사람 대신 컴퓨터가 카메라, 라이다(LIDAR), 초음파 센서, GPS 등의 다양한 센서를 활용하여 자동차 주변 환경과 도로면을 실시간으로 인식하면서 목적지까지 자동으로 안전하게 운전하는 자동차이다.
자율주행 자동차에 운전자가 동승하지만, 차량에 탑재된 컴퓨터가 운전자를 대신하여 차량에 장착된 상기와 같은 다양한 센서를 이용하여 자동차 주변을 실시간으로 인지하면서 마치 사람처럼 자동차를 운전한다.
최근 들어, 이와 같은 자율주행 자동차에 대하여 세계적으로 유수한 소프트웨어 기반의 IT 업체 뿐만 아니라 수 많은 세계적인 자동차 제조업체에서 많은 인작자원과 자본을 투입하여 활발하게 연구개발을 진행하고 있다.
운전자가 직접 자동차를 운전하는 경우, 운전자는 두 눈으로 차량의 바깥 장면을 관찰하여 운전에 필요한 정보를 실시간으로 획득하고, 이렇게 획득되는 실시간 정보를 바탕으로 운전을 하게 된다.
이에 비하여, 자동차는 3차원 실제 공간에서 고속으로 공간 이동을 하기 때문에 차량 주변의 3차원 정보를 정확하게 획득하는 것은 매우 중요하며 절대적으로 필요하다. 특히, 다른 주행중인 차량과 도로를 모두 포함하는 영상에서 도로에 표시된 여러 가지 객체(예: 차선, 정지선, 방향지시선, 횡단보도 등)를 인식하는 것은 자율주행을 위해 가장 기본적이고 중요한 정보수집 동작이라고 할 수 있다. 상기 객체 중에서 차선은 차량의 실제 주행에 가장 중요한 요소라고 할 수 있다.
스테레오카메라를 통해 획득되는 영상으로부터 도로면 영상을 분리하고 그 분리된 도로면 영상에서 객체를 인식함에 있어서 특히 차선을 안정적으로 인식하기 위하여 다이나믹프로그래밍과 칼만필터를 이용하는데 이에 대한 종래 기술을 설명하면 다음과 같다.
일반적으로, 도로에서 차선은 도로보다 밝은 흰색, 주황색, 파란색 등의 밝은 계통의 색으로 표현되어 있다. 따라서, 운전자는 차선을 매우 쉽고 빠르게 인식할 수 있다. 하지만, 자율주행 자동차의 컴퓨터에 구현되는 종래 기술에 의한 알고리즘이 그와 같은 차선을 인식하는 데에는 다음과 같은 이유로 인하여 어려움이 있다.
자율주행 자동차의 컴퓨터에 구현되는 종래 기술에 의한 알고리즘은 도로면 영상을 밝은 부분과 어두운 부분으로 분리하는 이진화 과정을 수행하거나, 도로면 영상의 밝기 차이에 해당하는 윤곽선(edge)을 검출한 후 랜삭 라인 피팅(RANSAC Line Fitting)이나 허프변환(Hough transform)을 이용하여 차선을 직선 또는 곡선의 형태로 표현한다.
이와 같은 종래 기술에 의한 알고리즘으로 차선을 인식하는 경우, 깨끗한 도로와 깨끗하게 인쇄된 도로에 대해서는 우수한 차선 인식 성능을 발휘하지만, 도로위에 드리워진 그림자가 존재하거나, 도로의 갈라진 틈새가 존재하거나, 도로위의 흰색 차량이 존재하거나, 지워지거나 가려진 차선 등이 존재하는 경우에는 차선 인식 성능이 급격하게 저하되는 문제점이 있다.
국내특허등록번호 제10-1748780호. Jung-Gu Kim, Jae-Hyung Yoo and Ja-Cheol Koo "Road and Lane Detection using Stereo Camera ", Submitted to 2018 IEEE International Conference on Big Data and Smart Computing, January 15-18, 2018, Shanghai, China.. Kalman, R.E. "A new approach to linear filtering and prediction problems" , Journal of Basic Engineering. 82 (1), pp. 35??45, 1960.
본 발명이 해결하고자 하는 과제는 자율주행 자동차에서 스테레오 카메라의 출력영상을 이용하여 도로면을 인식하고, 그 인식된 도로면 영상 이외의 정보들을 분리한 후 그 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 사람이 차선을 인식하는 방법과 유사한 개념으로 도로 면에서 가장 밝은 차선을 따라서 차선을 찾는 방법으로 차선을 인식할 수 있도록 하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법은, 스테레오 카메라를 이용하여 도로 영상을 획득하는 단계; 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및 상기 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식하는 차선 인식단계;를 포함하되, 상기 차선 인식단계는 상기 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 단계;를 포함하는 것을 특징으로 한다.
본 발명은 스테레오 카메라의 출력영상을 바탕으로 도로면을 인식하고, 그 인식된 도로면 영상 이외의 정보들을 분리한 후 그 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 사람이 차선을 인식하는 방법과 유사한 개념으로 차선을 인식할 수 있게 함으로써, 보다 안정적인 차선인식 결과를 얻을 수 있는 효과가 있다.
도 1은 본 발명에 의한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 처리 과정을 나타낸 개념도.
도 2는 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 과정을 상세히 나타낸 블록도.
도 3은 스테레오 카메라를 이용하여 차량과 도로면 영상을 분리하고 분리된 도로면 영상에서 차산을 찾는 방법을 도식화 한 도면.
도 4의 (a)는 스테레오 카메라를 이용하여 분리된 도로 면에서 좌,우 차선의 시작지점과 끝점을 잇는 선을 표시한 예시도.
도 4의 (b)는 도로 영상의 임의의 한 픽셀을 중심으로 상부와 하부 픽셀들 간의 연결 관계를 표현한 예시도.
도 5의 (a)는 도로 영상을 이용하여 전방향 계산을 수행한 결과로 얻어진 코스트 값을 밝기 값으로 표현한 예시도.
도 5의 (b)는 정방향 계산 결과를 바탕으로 역방향 계산을 통해서 구한 최적의 경로의 예시도.
도 6의 (a) 내지 (g)는 본 발명에 따른 차선 인식 처리과정을 나타낸 영상.
본 특허는 국가연구개발사업(과제고유번호: 2016-0-00004, 부처명: 미래창조과학부, 연구관리전문기관: 정보통신기술진흥센터, 연구과제명 : 스마트카의 자율주행을 위한 실시간 센싱융합처리가 가능한 커넥티드 드라이빙 컴퓨팅 시스템 기술 개발)의 일환으로 출원하는 것이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명에 의한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 처리 과정을 나타낸 개념도이고, 도 2는 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 과정을 상세히 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법은, 도로영상 획득단계(S100), 도로면 인식 및 분리단계(S200) 및 차선 인식단계(S300)를 포함하여 이루어진다.
도로영상 획득단계(S100)에서는 리얼 타임 스테레오 카메라(이하, "스테레오 카메라"라 칭함)를 이용하여 도로 영상을 획득한다. 이렇게 획득한 도로영상에는 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵(Disparity map)이 포함된다.
도로면 인식 및 분리단계(S200)에서는 상기 도로영상 획득단계(S100)에서 획득된 도로영상으로부터 도로면을 인식하고 분리한다. 이때, 도로면 인식 및 분리단계(S200)는 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 인식하는 인식단계(S210), 인식된 도로영역을 분리하는 분리단계(S220) 및 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화(adaptive binary)를 통해 도로면의 특징을 분리하는 도로면 특징 분리단계(S230)로 이루어진다.
차선 인식단계(S300)에서는 상기 도로면 인식 및 분리단계(S200)에서 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식한다.
도 3의 (a)에 도시된 바와 같이 차량용 스테레오 카메라는 사람의 눈과 마찬가지로 공간적으로 약간 떨어진 두 대의 카메라를 구비하며, 이들을 이용하여 도 3의 (b),(c)와 같은 좌,우측 영상을 획득한다(S100). 상기 두 영상은 거리에 따라 다른 양안 시차 값을 갖는다. 이러한 양안 시차를 디스패리티라 하며, 영상의 모든 점(픽셀)에 대하여 양안 시차 값을 계산 한 것을 디스패리티 맵(도 3의 (d))이라 한다. 즉, 디스패리티 맵은 영상에 포함된 모든 픽셀의 디스패리티 즉, 양안시차 영상을 의미한다.
도 3의 (e)는 도로면 인식 및 분리단계(S200)에서, 인식된 도로 영상을 나타낸 것이고, 도 3의 (f),(g)는 상기 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리한 영상과 에지 영상을 나타낸 것이다.
도 3의 (h)는 상기 분리된 도로면 영상에 대해 차선인식 알고리즘인 다이나믹 프로그래밍(Dynamic Programming) 알고리즘을 적용하여 획득된 차선 인식 영상을 나타낸 것이다. 이하, 본 발명에 따른 차선 인식단계(S300)에 대하여 좀 더 상세히 설명하면 다음과 같다.
도로 위에 그려진 차선을 관찰하면 수직방향 또는 기울어진 대각선 방향으로 밝은 색(대부분은 흰색)으로 이어진 선이라는 것을 알 수 있다. 즉, 차선은 도로 면에서 가장 밝은 부분으로 가늘고 긴 직선 또는 곡선의 형태로 되어 있고, 실선 또는 점선으로 되어 있다. 차선 인식은 도로 영상에서 차선에 해당하는 부분을 따라서 연결할 수 있는 가장 긴 선을 찾는 문제와 동일하다고 볼 수 있다. 즉, 차선 인식이란 도로 영상내의 차선에 해당하는 각 픽셀을 따라서 서로 연결하는 선을 찾는 방법으로 생각할 수 있다.
따라서, 상기 차선 인식단계(S300)는 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 과정으로 정의할 수 있다. 보통의 경우 다이나믹 프로그래밍은 시작점과 끝점을 알고 있는 상황에서 그 두 점을 연결하는 모든 경로 중에서 최적의 경로를 찾는 문제로 정의된다. 그러나, 도로 영상에서 차선의 경우는 시작점과 끝점을 임의로 정할 수 없으며, 차선의 시작점과 끝점도 알고리즘을 통해서 자동으로 찾아야 한다. 이를 위하여 도로 영상의 상단 부분의 모든 픽셀에서부터 하단 부분의 모든 픽셀을 연결할 수 있는 모든 경로를 구성하고, 차선을 따라서 최적의 경로가 생성되도록 코스트를 구성을 한 후 차선을 찾는다. 또한 차선은 연결되는 선이 갑작스럽게 엉뚱한 방향으로 연결되는 경우는 없으므로, 칼만필터를 이용하여 부드러운 선의 형태를 유지하도록 하였다.
도 4의 (a)는 스테레오 카메라를 이용하여 분리된 도로 면에서 좌,우 차선의 시작지점과 끝점을 잇는 선을 표시한 것이다. 차선 인식단계(S300)에서 차선을 인식할 때, 도로 영상에서 차선에 해당하는 픽셀을 서로 연결하고 그 연결된 선을 차선이라고 인식한다.
도 4의 (b)는 차선 인식단계(S300)에서, 도로 영상의 임의의 한 픽셀을 중심으로 상부와 하부 픽셀들 간의 연결 관계를 표현한 것이다. 도로 영상에서 차선에 해당하는 픽셀들은 좁은 구간에서는 직선 또는 기울기를 가지는 대각선 형태로 표현될 수 있으므로 도 4의 (b)와 같이 임의의 픽셀을 중심으로 상하 픽셀은 좌우로 각각 임의의 N 개(예, N = 5) 픽셀들이 연결되는 구조로 생각할 수 있다. 이제 각 픽셀을 따라서 최적의 경로를 찾는 것이 곧 차선을 찾는 것과 동일하다는 것을 다음의 [수학식 1]과 같이 정의할 수 있다.
Figure pat00001
여기서,
Figure pat00002
은 도로 영상,
Figure pat00003
는 차선에 해당하는 최적의 경로를 의미하고, C는 비용(코스트, Cost) 함수를 나타낸다.
상기 코스트 함수는 도로에서 차선만이 가질 수 있는 특징을 가장 잘 표현하는 함수로 구성하면 되며, 이를 다음의 [수학식 2])와 같이 정의할 수 있다.
Figure pat00004
즉, 도로 영상의 모든 지점(x, y)에 해당하는 픽셀
Figure pat00005
에 대하여 상하에 이웃하는 픽셀들을 연결하는 경로 중 가장 밝은 경로가 우선권을 갖도록 하고(첫 번째 항목), 밝기 값이 유사한 픽셀을 따라서 경로가 형성되도록 하며(두 번째 항목), 밝기 값이 차이가 있는 부분 즉 차선 부분과 차선이 아닌 부분 간에는 경로가 형성되지 않도록 한다(세 번째 항목). 상기 [수학식 2]에서
Figure pat00006
는 노멀라이제이션 파라메터(normalization parameter)와 각 항목의 가중치에 해당하는 파라메터이다.
상기 설명에서는 차선 인식단계(S300)에서 코스트 함수를 [수학식 2]와 같이 정의하는 것을 예로 하였으나, 이에 한정되는 것이 아니라 차선을 특정할 수 있는 다른 값으로 정의할 수도 있다. 예를 들면, 어뎁티브 바이너리 영상의 값 또는 윤곽선 값을 차선의 주요한 코스트 함수의 항목으로 추가할 수 있다.
차선 인식단계(S300)에서 정방향 계산은 도로 영상의 상단 부분에 해당하는 모든 픽셀에서 시작하여 하단부로 경로를 찾아가는 과정을 위한 것으로, 영상의 하단까지 단계적으로 픽셀별 코스트 값과, 최소의 코스트를 가지는 이전 픽셀을 가르키는 지시자(index)를 구하는 계산을 포함한다. 따라서, 정방향 계산을 통해서 도로 영상에서 도로에 해당하는 부분의 모든 픽셀에 대한 코스트 값과 인덱스를 알 수 있게 된다. 상기 정방향 계산은 다음의 [수학식 3]으로 표현할 수 있다.
Figure pat00007
즉, 임의의 픽셀(x, y) 지점에서 코스트 값(
Figure pat00008
)은 이전의 주변 픽셀이 가지는 코스트 값들 중 최소의 코스트 값에 연결된 통로가 가지는 가중치(weight)를 더하는 것으로 구해진다. 여기서, 인덱스(index)
Figure pat00009
는 상기 최소의 코스트를 가지는 이전 픽셀을 의미한다.
도 5의 (a)는 도 4의 도로 영상을 이용하여 전방향 계산을 수행한 결과로 얻어진 코스트 값을 밝기 값(Intensity)으로 표현한 것이다. 즉, 도 5의 (a)는 각 픽셀이 가지는 코스트 값을 영상의 상대적인 밝기 값으로 표현한 것으로, 밝을수록 코스트 값이 작다.
차선 인식단계(S300)에서 역방향 계산은 도로 영상의 하단부에서 시작하여 상단부로 경로를 찾아가는 과정을 위한 것으로, 그 찾아가는 경로가 곧 차선에 해당한다. 도로 영상의 하단부 왼쪽과 오른쪽에서 코스트가 가장 작은 픽셀을 시작지점으로 하여 다음의 [수학식 4]와 같이 경로를 찾아간다.
Figure pat00010
도 5의 (b)는 상기와 같은 정방향 계산 결과를 바탕으로 역방향 계산을 통해서 구한 최적의 경로, 즉 차선에 해당하는 결과 영상을 나타낸 것이다.
본 발명의 다른 실시예로써, 상기 차선 인식단계(S300)에 칼만필터를 적용하면 차선의 연결이 보다 더 부드럽게 이어지는 선의 형태로 찾을 수 있다. 이 칼만필터에 대한 자세한 내용은" Kalman, R.E. "A new approach to linear filtering and prediction problems" , Journal of Basic Engineering. 82 (1), pp. 35??45, 1960."에 잘 나타나 있으므로 여기서 상세한 설명은 생략한다.
한편, 도 6의 (a)는 상기 스테레로 카메라를 통해 입력되는 도로 영상을 나타낸 것이고, (b)는 본 발명에 따른 디스페리티맵을 나타낸 것이고, (c)는 본 발명에 의해 분리된 도로 영상을 나타낸 것이고, (d)는 본 발명의 적응적 이진화로 처리된 영상을 나타낸 것이고, (e)는 본 발명에 의해 처리된 윤곽선 영상을 나타낸 것이고, (f)는 본 발명에 따른 코스트 영상을 나타낸 것이고, (g)는 본 발명에 의해 찾아낸 차선을 나타낸 것이다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.
100 : 도로영상 획득부 200 : 도로면 인식 및 분리부
300 : 차선 인식부

Claims (7)

  1. 스테레오 카메라를 이용하여 도로 영상을 획득하는 단계;
    상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및
    상기 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식하는 차선 인식단계;를 포함하되,
    상기 차선 인식단계는
    상기 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 단계;를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
  2. 제1항에 있어서, 상기 차선 인식단계는
    인식된 차선에 대하여 칼만필터를 적용하여 차선이 부드러운 선의 형태를 유지하도록 하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
  3. 제1항에 있어서, 상기 차선 인식단계는
    상기 차선을 인식할 때, 상기 도로 영상에서 차선에 해당하는 픽셀을 서로 연결하고 그 연결된 선을 차선이라고 인식하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
  4. 제1항에 있어서, 상기 차선 인식단계는
    상기 도로 영상에서 다음의 [수학식]을 이용하여 각 픽셀을 따라서 최적의 경로를 찾아서 차선으로 인식하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
    Figure pat00011

    여기서,
    Figure pat00012
    은 도로 영상,
    Figure pat00013
    는 차선에 해당하는 최적의 경로, C는 비용(코스트, Cost) 함수를 나타낸다.
  5. 제4항에 있어서, 상기 코스트 함수는
    도로 영상의 모든 지점에 해당하는 픽셀에 대하여 상하에 이웃하는 픽셀들을 연결하는 경로 중 가장 밝은 경로가 우선권을 갖도록 하고,
    밝기 값이 유사한 픽셀을 따라서 경로가 형성되도록 하며,
    밝기 값이 차이가 있는 부분 간에는 경로가 형성되지 않는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
  6. 제1항에 있어서, 상기 차선 인식단계는
    상기 도로 영상의 상단 부분에 해당하는 모든 픽셀에서 시작하여 하단부로 경로를 찾아가는 과정을 수행하기 위하여 정방향 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
  7. 제1항에 있어서, 상기 차선 인식단계는
    상기 도로 영상의 하단부에서 시작하여 상단부로 경로를 찾아가는 과정을 수행하기 위하여 역방향 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
KR1020170159202A 2017-11-27 2017-11-27 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법 KR20190061153A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170159202A KR20190061153A (ko) 2017-11-27 2017-11-27 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170159202A KR20190061153A (ko) 2017-11-27 2017-11-27 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법

Publications (1)

Publication Number Publication Date
KR20190061153A true KR20190061153A (ko) 2019-06-05

Family

ID=66845337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170159202A KR20190061153A (ko) 2017-11-27 2017-11-27 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법

Country Status (1)

Country Link
KR (1) KR20190061153A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170228A1 (en) * 2022-03-10 2023-09-14 Continental Automotive Technologies GmbH Method and system for identifying rows of objects in images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748780B1 (ko) 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748780B1 (ko) 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jung-Gu Kim, Jae-Hyung Yoo and Ja-Cheol Koo "Road and Lane Detection using Stereo Camera ", Submitted to 2018 IEEE International Conference on Big Data and Smart Computing, January 15-18, 2018, Shanghai, China..
Kalman, R.E. "A new approach to linear filtering and prediction problems" , Journal of Basic Engineering. 82 (1), pp. 35??45, 1960.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170228A1 (en) * 2022-03-10 2023-09-14 Continental Automotive Technologies GmbH Method and system for identifying rows of objects in images

Similar Documents

Publication Publication Date Title
US10970566B2 (en) Lane line detection method and apparatus
US11482014B2 (en) 3D auto-labeling with structural and physical constraints
US10671860B2 (en) Providing information-rich map semantics to navigation metric map
US11747444B2 (en) LiDAR-based object detection and classification
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
JP2017215940A (ja) 情報処理装置、車両、情報処理方法およびプログラム
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
Deepika et al. Obstacle classification and detection for vision based navigation for autonomous driving
JP2006018751A (ja) 車両用画像処理装置
JP2018063680A (ja) 交通信号認識方法および交通信号認識装置
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
Kim et al. Road and lane detection using stereo camera
US11676403B2 (en) Combining visible light camera and thermal camera information
JP2006318060A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
Alkhorshid et al. Road detection through supervised classification
KR102133876B1 (ko) 객체 검출 장치 및 방법
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质
Sirbu et al. Real-time line matching based speed bump detection algorithm
Jakob et al. Concept for transfer of driver assistance algorithms for blind and visually impaired people
KR20190061153A (ko) 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법
CN109635719B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN112669615A (zh) 一种基于摄像头的停车位检测方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application