KR20190061153A - 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법 - Google Patents

Abstract

본 발명은 자율주행 자동차에서 스테레오 카메라의 출력영상을 기반으로 차선을 인식하는 기술에 관한 것이다.
이러한 본 발명은 도로 영상을 획득하는 단계; 도로면 인식 및 분리단계; 및 인식하는 차선 인식단계;를 포함하되, 상기 차선 인식단계는 실시간 양안 스테레오카메라를 이용하여 입력 영상으로부터 도로면 영상을 분리하고, 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 안정적으로 차선을 인식할 수 있도록 하는 것을 특징으로 한다.

Description

스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법{METHOD FOR LANE DETECTION AUTONOMOUS CAR ONLY EXPRESSWAY BASED ON OUTPUTTING IMAGE OF STEREO CAMERA}

본 발명은 자율주행 자동차에서 스테레오 카메라의 출력영상을 기반으로 차선을 인식하는 기술에 관한 것으로, 특히 실시간 양안 스테레오카메라를 이용하여 입력 영상으로부터 도로면 영상을 분리하고, 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 안정적으로 차선을 인식할 수 있도록 한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법에 관한 것이다.

자율주행 자동차는 사람 대신 컴퓨터가 카메라, 라이다(LIDAR), 초음파 센서, GPS 등의 다양한 센서를 활용하여 자동차 주변 환경과 도로면을 실시간으로 인식하면서 목적지까지 자동으로 안전하게 운전하는 자동차이다.

자율주행 자동차에 운전자가 동승하지만, 차량에 탑재된 컴퓨터가 운전자를 대신하여 차량에 장착된 상기와 같은 다양한 센서를 이용하여 자동차 주변을 실시간으로 인지하면서 마치 사람처럼 자동차를 운전한다.

최근 들어, 이와 같은 자율주행 자동차에 대하여 세계적으로 유수한 소프트웨어 기반의 IT 업체 뿐만 아니라 수 많은 세계적인 자동차 제조업체에서 많은 인작자원과 자본을 투입하여 활발하게 연구개발을 진행하고 있다.

운전자가 직접 자동차를 운전하는 경우, 운전자는 두 눈으로 차량의 바깥 장면을 관찰하여 운전에 필요한 정보를 실시간으로 획득하고, 이렇게 획득되는 실시간 정보를 바탕으로 운전을 하게 된다.

이에 비하여, 자동차는 3차원 실제 공간에서 고속으로 공간 이동을 하기 때문에 차량 주변의 3차원 정보를 정확하게 획득하는 것은 매우 중요하며 절대적으로 필요하다. 특히, 다른 주행중인 차량과 도로를 모두 포함하는 영상에서 도로에 표시된 여러 가지 객체(예: 차선, 정지선, 방향지시선, 횡단보도 등)를 인식하는 것은 자율주행을 위해 가장 기본적이고 중요한 정보수집 동작이라고 할 수 있다. 상기 객체 중에서 차선은 차량의 실제 주행에 가장 중요한 요소라고 할 수 있다.

스테레오카메라를 통해 획득되는 영상으로부터 도로면 영상을 분리하고 그 분리된 도로면 영상에서 객체를 인식함에 있어서 특히 차선을 안정적으로 인식하기 위하여 다이나믹프로그래밍과 칼만필터를 이용하는데 이에 대한 종래 기술을 설명하면 다음과 같다.

일반적으로, 도로에서 차선은 도로보다 밝은 흰색, 주황색, 파란색 등의 밝은 계통의 색으로 표현되어 있다. 따라서, 운전자는 차선을 매우 쉽고 빠르게 인식할 수 있다. 하지만, 자율주행 자동차의 컴퓨터에 구현되는 종래 기술에 의한 알고리즘이 그와 같은 차선을 인식하는 데에는 다음과 같은 이유로 인하여 어려움이 있다.

자율주행 자동차의 컴퓨터에 구현되는 종래 기술에 의한 알고리즘은 도로면 영상을 밝은 부분과 어두운 부분으로 분리하는 이진화 과정을 수행하거나, 도로면 영상의 밝기 차이에 해당하는 윤곽선(edge)을 검출한 후 랜삭 라인 피팅(RANSAC Line Fitting)이나 허프변환(Hough transform)을 이용하여 차선을 직선 또는 곡선의 형태로 표현한다.

이와 같은 종래 기술에 의한 알고리즘으로 차선을 인식하는 경우, 깨끗한 도로와 깨끗하게 인쇄된 도로에 대해서는 우수한 차선 인식 성능을 발휘하지만, 도로위에 드리워진 그림자가 존재하거나, 도로의 갈라진 틈새가 존재하거나, 도로위의 흰색 차량이 존재하거나, 지워지거나 가려진 차선 등이 존재하는 경우에는 차선 인식 성능이 급격하게 저하되는 문제점이 있다.

국내특허등록번호 제10-1748780호. Jung-Gu Kim, Jae-Hyung Yoo and Ja-Cheol Koo "Road and Lane Detection using Stereo Camera ", Submitted to 2018 IEEE International Conference on Big Data and Smart Computing, January 15-18, 2018, Shanghai, China.. Kalman, R.E. "A new approach to linear filtering and prediction problems" , Journal of Basic Engineering. 82 (1), pp. 35??45, 1960.

본 발명이 해결하고자 하는 과제는 자율주행 자동차에서 스테레오 카메라의 출력영상을 이용하여 도로면을 인식하고, 그 인식된 도로면 영상 이외의 정보들을 분리한 후 그 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 사람이 차선을 인식하는 방법과 유사한 개념으로 도로 면에서 가장 밝은 차선을 따라서 차선을 찾는 방법으로 차선을 인식할 수 있도록 하는데 있다.

상기 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법은, 스테레오 카메라를 이용하여 도로 영상을 획득하는 단계; 상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및 상기 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식하는 차선 인식단계;를 포함하되, 상기 차선 인식단계는 상기 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 단계;를 포함하는 것을 특징으로 한다.

본 발명은 스테레오 카메라의 출력영상을 바탕으로 도로면을 인식하고, 그 인식된 도로면 영상 이외의 정보들을 분리한 후 그 분리된 도로면 영상에 다이나믹프로그래밍과 칼만필터를 적용하여 사람이 차선을 인식하는 방법과 유사한 개념으로 차선을 인식할 수 있게 함으로써, 보다 안정적인 차선인식 결과를 얻을 수 있는 효과가 있다.

도 1은 본 발명에 의한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 처리 과정을 나타낸 개념도.
도 2는 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 과정을 상세히 나타낸 블록도.
도 3은 스테레오 카메라를 이용하여 차량과 도로면 영상을 분리하고 분리된 도로면 영상에서 차산을 찾는 방법을 도식화 한 도면.
도 4의 (a)는 스테레오 카메라를 이용하여 분리된 도로 면에서 좌,우 차선의 시작지점과 끝점을 잇는 선을 표시한 예시도.
도 4의 (b)는 도로 영상의 임의의 한 픽셀을 중심으로 상부와 하부 픽셀들 간의 연결 관계를 표현한 예시도.
도 5의 (a)는 도로 영상을 이용하여 전방향 계산을 수행한 결과로 얻어진 코스트 값을 밝기 값으로 표현한 예시도.
도 5의 (b)는 정방향 계산 결과를 바탕으로 역방향 계산을 통해서 구한 최적의 경로의 예시도.
도 6의 (a) 내지 (g)는 본 발명에 따른 차선 인식 처리과정을 나타낸 영상.

본 특허는 국가연구개발사업(과제고유번호: 2016-0-00004, 부처명: 미래창조과학부, 연구관리전문기관: 정보통신기술진흥센터, 연구과제명 : 스마트카의 자율주행을 위한 실시간 센싱융합처리가 가능한 커넥티드 드라이빙 컴퓨팅 시스템 기술 개발)의 일환으로 출원하는 것이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.

도 1은 본 발명에 의한 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 처리 과정을 나타낸 개념도이고, 도 2는 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법의 과정을 상세히 나타낸 블록도이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법은, 도로영상 획득단계(S100), 도로면 인식 및 분리단계(S200) 및 차선 인식단계(S300)를 포함하여 이루어진다.

도로영상 획득단계(S100)에서는 리얼 타임 스테레오 카메라(이하, "스테레오 카메라"라 칭함)를 이용하여 도로 영상을 획득한다. 이렇게 획득한 도로영상에는 도로의 왼쪽 컬러 영상, 오른쪽 컬러 영상 및 디스패리티 맵(Disparity map)이 포함된다.

도로면 인식 및 분리단계(S200)에서는 상기 도로영상 획득단계(S100)에서 획득된 도로영상으로부터 도로면을 인식하고 분리한다. 이때, 도로면 인식 및 분리단계(S200)는 디스패리티 맵과 기준 디스패리티 맵을 이용하여 도로 영역을 인식하는 인식단계(S210), 인식된 도로영역을 분리하는 분리단계(S220) 및 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화(adaptive binary)를 통해 도로면의 특징을 분리하는 도로면 특징 분리단계(S230)로 이루어진다.

차선 인식단계(S300)에서는 상기 도로면 인식 및 분리단계(S200)에서 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식한다.

도 3의 (a)에 도시된 바와 같이 차량용 스테레오 카메라는 사람의 눈과 마찬가지로 공간적으로 약간 떨어진 두 대의 카메라를 구비하며, 이들을 이용하여 도 3의 (b),(c)와 같은 좌,우측 영상을 획득한다(S100). 상기 두 영상은 거리에 따라 다른 양안 시차 값을 갖는다. 이러한 양안 시차를 디스패리티라 하며, 영상의 모든 점(픽셀)에 대하여 양안 시차 값을 계산 한 것을 디스패리티 맵(도 3의 (d))이라 한다. 즉, 디스패리티 맵은 영상에 포함된 모든 픽셀의 디스패리티 즉, 양안시차 영상을 의미한다.

도 3의 (e)는 도로면 인식 및 분리단계(S200)에서, 인식된 도로 영상을 나타낸 것이고, 도 3의 (f),(g)는 상기 분리된 도로면에 해당하는 입력 영상으로부터 적응적 이진화를 통해 도로면의 특징을 분리한 영상과 에지 영상을 나타낸 것이다.

도 3의 (h)는 상기 분리된 도로면 영상에 대해 차선인식 알고리즘인 다이나믹 프로그래밍(Dynamic Programming) 알고리즘을 적용하여 획득된 차선 인식 영상을 나타낸 것이다. 이하, 본 발명에 따른 차선 인식단계(S300)에 대하여 좀 더 상세히 설명하면 다음과 같다.

도로 위에 그려진 차선을 관찰하면 수직방향 또는 기울어진 대각선 방향으로 밝은 색(대부분은 흰색)으로 이어진 선이라는 것을 알 수 있다. 즉, 차선은 도로 면에서 가장 밝은 부분으로 가늘고 긴 직선 또는 곡선의 형태로 되어 있고, 실선 또는 점선으로 되어 있다. 차선 인식은 도로 영상에서 차선에 해당하는 부분을 따라서 연결할 수 있는 가장 긴 선을 찾는 문제와 동일하다고 볼 수 있다. 즉, 차선 인식이란 도로 영상내의 차선에 해당하는 각 픽셀을 따라서 서로 연결하는 선을 찾는 방법으로 생각할 수 있다.

따라서, 상기 차선 인식단계(S300)는 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 과정으로 정의할 수 있다. 보통의 경우 다이나믹 프로그래밍은 시작점과 끝점을 알고 있는 상황에서 그 두 점을 연결하는 모든 경로 중에서 최적의 경로를 찾는 문제로 정의된다. 그러나, 도로 영상에서 차선의 경우는 시작점과 끝점을 임의로 정할 수 없으며, 차선의 시작점과 끝점도 알고리즘을 통해서 자동으로 찾아야 한다. 이를 위하여 도로 영상의 상단 부분의 모든 픽셀에서부터 하단 부분의 모든 픽셀을 연결할 수 있는 모든 경로를 구성하고, 차선을 따라서 최적의 경로가 생성되도록 코스트를 구성을 한 후 차선을 찾는다. 또한 차선은 연결되는 선이 갑작스럽게 엉뚱한 방향으로 연결되는 경우는 없으므로, 칼만필터를 이용하여 부드러운 선의 형태를 유지하도록 하였다.

도 4의 (a)는 스테레오 카메라를 이용하여 분리된 도로 면에서 좌,우 차선의 시작지점과 끝점을 잇는 선을 표시한 것이다. 차선 인식단계(S300)에서 차선을 인식할 때, 도로 영상에서 차선에 해당하는 픽셀을 서로 연결하고 그 연결된 선을 차선이라고 인식한다.

도 4의 (b)는 차선 인식단계(S300)에서, 도로 영상의 임의의 한 픽셀을 중심으로 상부와 하부 픽셀들 간의 연결 관계를 표현한 것이다. 도로 영상에서 차선에 해당하는 픽셀들은 좁은 구간에서는 직선 또는 기울기를 가지는 대각선 형태로 표현될 수 있으므로 도 4의 (b)와 같이 임의의 픽셀을 중심으로 상하 픽셀은 좌우로 각각 임의의 N 개(예, N = 5) 픽셀들이 연결되는 구조로 생각할 수 있다. 이제 각 픽셀을 따라서 최적의 경로를 찾는 것이 곧 차선을 찾는 것과 동일하다는 것을 다음의 [수학식 1]과 같이 정의할 수 있다.

여기서,

은 도로 영상,

는 차선에 해당하는 최적의 경로를 의미하고, C는 비용(코스트, Cost) 함수를 나타낸다.

상기 코스트 함수는 도로에서 차선만이 가질 수 있는 특징을 가장 잘 표현하는 함수로 구성하면 되며, 이를 다음의 [수학식 2])와 같이 정의할 수 있다.

즉, 도로 영상의 모든 지점(x, y)에 해당하는 픽셀

에 대하여 상하에 이웃하는 픽셀들을 연결하는 경로 중 가장 밝은 경로가 우선권을 갖도록 하고(첫 번째 항목), 밝기 값이 유사한 픽셀을 따라서 경로가 형성되도록 하며(두 번째 항목), 밝기 값이 차이가 있는 부분 즉 차선 부분과 차선이 아닌 부분 간에는 경로가 형성되지 않도록 한다(세 번째 항목). 상기 [수학식 2]에서

는 노멀라이제이션 파라메터(normalization parameter)와 각 항목의 가중치에 해당하는 파라메터이다.

상기 설명에서는 차선 인식단계(S300)에서 코스트 함수를 [수학식 2]와 같이 정의하는 것을 예로 하였으나, 이에 한정되는 것이 아니라 차선을 특정할 수 있는 다른 값으로 정의할 수도 있다. 예를 들면, 어뎁티브 바이너리 영상의 값 또는 윤곽선 값을 차선의 주요한 코스트 함수의 항목으로 추가할 수 있다.

차선 인식단계(S300)에서 정방향 계산은 도로 영상의 상단 부분에 해당하는 모든 픽셀에서 시작하여 하단부로 경로를 찾아가는 과정을 위한 것으로, 영상의 하단까지 단계적으로 픽셀별 코스트 값과, 최소의 코스트를 가지는 이전 픽셀을 가르키는 지시자(index)를 구하는 계산을 포함한다. 따라서, 정방향 계산을 통해서 도로 영상에서 도로에 해당하는 부분의 모든 픽셀에 대한 코스트 값과 인덱스를 알 수 있게 된다. 상기 정방향 계산은 다음의 [수학식 3]으로 표현할 수 있다.

즉, 임의의 픽셀(x, y) 지점에서 코스트 값(

)은 이전의 주변 픽셀이 가지는 코스트 값들 중 최소의 코스트 값에 연결된 통로가 가지는 가중치(weight)를 더하는 것으로 구해진다. 여기서, 인덱스(index)

는 상기 최소의 코스트를 가지는 이전 픽셀을 의미한다.

도 5의 (a)는 도 4의 도로 영상을 이용하여 전방향 계산을 수행한 결과로 얻어진 코스트 값을 밝기 값(Intensity)으로 표현한 것이다. 즉, 도 5의 (a)는 각 픽셀이 가지는 코스트 값을 영상의 상대적인 밝기 값으로 표현한 것으로, 밝을수록 코스트 값이 작다.

차선 인식단계(S300)에서 역방향 계산은 도로 영상의 하단부에서 시작하여 상단부로 경로를 찾아가는 과정을 위한 것으로, 그 찾아가는 경로가 곧 차선에 해당한다. 도로 영상의 하단부 왼쪽과 오른쪽에서 코스트가 가장 작은 픽셀을 시작지점으로 하여 다음의 [수학식 4]와 같이 경로를 찾아간다.

도 5의 (b)는 상기와 같은 정방향 계산 결과를 바탕으로 역방향 계산을 통해서 구한 최적의 경로, 즉 차선에 해당하는 결과 영상을 나타낸 것이다.

본 발명의 다른 실시예로써, 상기 차선 인식단계(S300)에 칼만필터를 적용하면 차선의 연결이 보다 더 부드럽게 이어지는 선의 형태로 찾을 수 있다. 이 칼만필터에 대한 자세한 내용은" Kalman, R.E. "A new approach to linear filtering and prediction problems" , Journal of Basic Engineering. 82 (1), pp. 35??45, 1960."에 잘 나타나 있으므로 여기서 상세한 설명은 생략한다.

한편, 도 6의 (a)는 상기 스테레로 카메라를 통해 입력되는 도로 영상을 나타낸 것이고, (b)는 본 발명에 따른 디스페리티맵을 나타낸 것이고, (c)는 본 발명에 의해 분리된 도로 영상을 나타낸 것이고, (d)는 본 발명의 적응적 이진화로 처리된 영상을 나타낸 것이고, (e)는 본 발명에 의해 처리된 윤곽선 영상을 나타낸 것이고, (f)는 본 발명에 따른 코스트 영상을 나타낸 것이고, (g)는 본 발명에 의해 찾아낸 차선을 나타낸 것이다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.

100 : 도로영상 획득부 200 : 도로면 인식 및 분리부
300 : 차선 인식부

Claims (7)

1. 스테레오 카메라를 이용하여 도로 영상을 획득하는 단계;
   상기 획득된 도로영상으로부터 도로면을 인식하고 분리하는 도로면 인식 및 분리단계; 및
   상기 분리된 도로면 영상에 대해 차선인식 알고리즘을 적용하여 도로객체 중 하나의 차선을 인식하는 차선 인식단계;를 포함하되,
   상기 차선 인식단계는
   상기 도로 영상의 각 픽셀을 다이나믹 프로그래밍에서의 노드에 해당한다고 가정하고, 도로 영상 내의 각 노드들을 연결하는 경로를 추종하여 최적의 경로를 찾는 단계;를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   
2. 제1항에 있어서, 상기 차선 인식단계는
   인식된 차선에 대하여 칼만필터를 적용하여 차선이 부드러운 선의 형태를 유지하도록 하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   
3. 제1항에 있어서, 상기 차선 인식단계는
   상기 차선을 인식할 때, 상기 도로 영상에서 차선에 해당하는 픽셀을 서로 연결하고 그 연결된 선을 차선이라고 인식하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   
4. 제1항에 있어서, 상기 차선 인식단계는
   상기 도로 영상에서 다음의 [수학식]을 이용하여 각 픽셀을 따라서 최적의 경로를 찾아서 차선으로 인식하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   

   

   
   여기서,

   

   은 도로 영상,

   

   는 차선에 해당하는 최적의 경로, C는 비용(코스트, Cost) 함수를 나타낸다.
   
5. 제4항에 있어서, 상기 코스트 함수는
   도로 영상의 모든 지점에 해당하는 픽셀에 대하여 상하에 이웃하는 픽셀들을 연결하는 경로 중 가장 밝은 경로가 우선권을 갖도록 하고,
   밝기 값이 유사한 픽셀을 따라서 경로가 형성되도록 하며,
   밝기 값이 차이가 있는 부분 간에는 경로가 형성되지 않는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   
6. 제1항에 있어서, 상기 차선 인식단계는
   상기 도로 영상의 상단 부분에 해당하는 모든 픽셀에서 시작하여 하단부로 경로를 찾아가는 과정을 수행하기 위하여 정방향 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   
7. 제1항에 있어서, 상기 차선 인식단계는
   상기 도로 영상의 하단부에서 시작하여 상단부로 경로를 찾아가는 과정을 수행하기 위하여 역방향 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라의 출력영상을 기반으로 한 자율주행 자동차의 차선 인식 방법.
   

Images