KR101333459B1

KR101333459B1 - 차선 인식 방법 및 장치

Info

Publication number: KR101333459B1
Application number: KR1020120017417A
Authority: KR
Inventors: 김주영; 서현욱; 오준규; 안강일; 정성윤; 임해용; 장자순
Original assignee: 영남대학교 산학협력단
Priority date: 2012-02-21
Filing date: 2012-02-21
Publication date: 2013-11-26
Also published as: KR20130095967A

Abstract

본 발명은 차선 인식 방법 및 장치에 관한 것이다. 본 발명에 따르면, 차선 인식 장치를 이용한 차선 인식 방법에 있어서, 차량에 설치된 카메라로부터 도로 영상을 입력받는 단계와, 상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 단계와, 상기 관심 영역으로부터 잡음을 제거하고 이진화하는 단계와, 상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환하는 단계와, 상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행하는 단계, 및 상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환하는 단계를 포함하는 차선 인식 방법을 제공한다.
상기 차선 인식 방법 및 장치에 따르면, 카메라로부터 입력받은 도로 영상을 전처리하고 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라 변환한 후 RANSAC 알고리즘으로 커브 피팅한 다음 다시 역 로그-폴라 변환하는 것에 의해 도로의 차선 검출 효율을 향상시키고 검출 정확도를 높일 수 있는 이점이 있다.

Description

차선 인식 방법 및 장치{Lane detecting method and apparatus thereof}

본 발명은 차선 인식 방법 및 장치에 관한 것으로서, 보다 상세하게는 카메라로부터 촬영된 도로 영상으로부터 차선 부분을 효과적으로 검출할 수 있는 차선 인식 방법 및 장치에 관한 것이다.

1990년대 이후, 차선 검출 알고리즘은 운전자보조 시스템(DAS), 차선 이탈 경보 시스템(LWDS), 차선유지 시스템(LKS) 등과 같은 많은 무인 자율주행 자동차의 필수적인 요소가 되고 있다. 그런데 차선 검출 알고리즘은 그림자, 태양광의 위치, 날씨 그리고 옆 차량에 의한 차선의 가려짐 등에 의한 영향을 많이 받는다.

이러한 단점들을 해결하기 위하여 많은 알고리즘이 개발되고 있으며, 그 중에서도 CHEVP(Canny/Hough Estimation of Vanishing Points) 알고리즘, IPM(inverse perspective mapping)을 이용한 알고리즘 등이 대표적인 차선인식 알고리즘에 해당된다. CHEVP 알고리즘을 이용한 종래기술은 한국ITS학회논문지, 10(3), 64-73, 2011년 6월, '모서리 검출과 추적을 이용한 차선 감지 및 추적 알고리즘'에 개시되어 있다. 그런데 앞서 제시한 알고리즘들 역시 나무기둥, 전봇대, 빌딩 등에 의한 동일한 방향의 그림자에 대하여 차선을 잘못 검출할 확률이 높은 문제점이 있다.

본 발명은, 카메라로부터 입력받은 도로 영상을 전처리하고 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환한 다음 RANSAC(random sample consensus) 알고리즘으로 커브 피팅하고 다시 역 로그-폴라 변환하는 것에 의해 도로의 차선 검출 효율을 향상시킬 수 있는 차선 인식 방법 및 장치를 제공하는데 목적이 있다.

본 발명은, 차선 인식 장치를 이용한 차선 인식 방법에 있어서, 차량에 설치된 카메라로부터 도로 영상을 입력받는 단계와, 상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 단계와, 상기 관심 영역으로부터 잡음을 제거하고 이진화하는 단계와, 상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환하는 단계와, 상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행하는 단계, 및 상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환하는 단계를 포함하는 차선 인식 방법을 제공한다.

여기서, 상기 관심 영역으로부터 잡음을 제거하고 이진화하는 단계는, 상기 관심 영역으로부터 잡음을 제거하는 단계와, 상기 관심 영역보다 작은 크기의 서브 영역을 화소 단위로 이동시키면서, 상기 서브 영역 내의 화소들의 밝기값과 상기 서브 영역 밖의 임의 화소들의 밝기값에 대한 평균과 분산 값을 사용하여 인덱스 값을 연산하는 단계와, 상기 인덱스 값과 기 설정된 임계값을 비교하는 단계, 및 상기 인덱스 값이 상기 임계값 이상이면 상기 서브 영역의 중심 화소의 밝기값을 제1 밝기값으로 매칭하고, 상기 인덱스 값이 상기 임계값 미만이면 상기 서브 영역의 중심 화소의 밝기값을 상기 제1 밝기값보다 작은 제2 밝기값으로 매칭하는 단계를 포함할 수 있다.

이때, 상기 인덱스 값(Idx)은 아래의 수학식으로 연산될 수 있다.

,

여기서,

로서 상기 서브 영역 내부의 화소들의 밝기값 집합,

로서 상기 서브 영역 외부의 임의 화소들의 밝기값 집합,

는 집합 X의 평균,

는 집합 Y의 평균,

는 집합 X의 분산,

는 집합 Y의 분산을 나타낸다.

또한, 상기 로그-폴라(log-polar) 변환을 수행하는 단계는, 상기 이진화된 관심 영역 내의 직교 좌표계를 갖는 (x,y) 좌표를 아래의 수학식과 같은 로그-폴라 좌표계를 갖는 (u,υ) 좌표로 변환할 수 있다.

여기서, (x₀, y₀)는 상기 직교 좌표계의 임의의 한 점 위치로서 상기 관심 영역의 가장 하단 부분의 중심 위치에 대응되는 좌표이고, M은 변환 스케일을 나타낸다.

또한, 상기 커브 피팅을 수행하는 단계는, 최소 자승법을 이용한 큐빅 B 스플라인(cubic B-Spline) 방법을 사용할 수 있다.

그리고, 본 발명은, 차량에 설치된 카메라로부터 도로 영상을 입력받는 영상 입력부와, 상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 관심영역 설정부와, 상기 관심 영역으로부터 잡음을 제거하고 이진화하는 전처리부와, 상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환하는 로그폴라 변환부와, 상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행하는 커브 피팅부, 및 상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환하는 역 로그폴라 변환부를 포함하는 차선 인식 장치를 제공한다.

여기서, 상기 전처리부는, 상기 관심 영역으로부터 잡음을 제거하는 잡음 제거부와, 상기 관심 영역보다 작은 크기의 서브 영역을 화소 단위로 이동시키면서, 상기 서브 영역 내의 화소들의 밝기값과 상기 서브 영역 밖의 임의 화소들의 밝기값에 대한 평균과 분산 값을 사용하여 인덱스 값을 연산하는 인덱스 연산부와, 상기 인덱스 값과 기 설정된 임계값을 비교하는 비교부, 및 상기 인덱스 값이 상기 임계값 이상이면 상기 서브 영역의 중심 화소의 밝기값을 제1 밝기값으로 매칭하고, 상기 인덱스 값이 상기 임계값 미만이면 상기 서브 영역의 중심 화소의 밝기값을 상기 제1 밝기값보다 작은 제2 밝기값으로 매칭하는 이진화부를 포함할 수 있다.

본 발명에 따른 차선 인식 방법 및 장치에 따르면, 카메라로부터 입력받은 도로 영상을 전처리하고 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라 변환한 후 RANSAC 알고리즘으로 커브 피팅하고 다시 역 로그-폴라 변환하는 것에 의해 도로의 차선 검출 효율을 향상시키고 검출 정확도를 높일 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 차선 인식 장치의 구성도이다.
도 2는 도 1의 전처리부의 구성도이다.
도 3은 도 1을 이용한 차선 인식 방법의 흐름도이다.
도 4는 도 3의 S330 단계를 설명하는 흐름도이다.
도 5는 도 4의 S420 단계를 설명하는 개념도이다.
도 6은 본 발명의 S340단계에 사용되는 로그-폴라 변환의 개념도이다.
도 7은 본 발명의 실시예에 따른 로그 폴라 변환의 결과를 나타낸다.
도 8은 본 발명의 실시예에서 큐빅 B-스플라인을 이용하여 포물선을 연결하는 방법을 설명하는 개념도이다.
도 9는 본 발명의 실시예에 따른 직선 차선의 인식 결과를 나타낸다.
도 10은 본 발명의 실시예에 따른 직선과 곡선이 포함된 차선의 인식 결과를 나타낸다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 차선 인식 장치의 구성도이다. 상기 차선 인식 장치(100)는 영상 입력부(110), 관심영역 설정부(120), 전처리부(130), 로그폴라 변환부(140), 커브 피팅부(150), 역 로그폴라 변환부(160), 표시부(170)를 포함한다.

상기 영상 입력부(110)는 차량에 설치된 카메라(미도시)로부터 도로 영상을 입력받는 부분이다. 카메라는 차량의 실내 또는 실외에서 도로의 차선을 바라보는 방향으로 설치된다.

상기 관심영역 설정부(120)는 상기 입력받은 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 부분이다. 관심 영역은 도로 영상으로부터 기 설정된 영역만큼 자동으로 선택하거나 사용자로부터 해당 영역을 직접 설정받을 수 있다. 자동으로 선택하는 경우에는 전체 영상의 크기에 대비하여 관심 영역(ex, 영상의 중하단 부분)의 위치와 크기를 미리 설정하여 두면 된다.

상기 전처리부(130)는 상기 관심 영역으로부터 잡음을 제거하고 이진화 처리한다. 잡음 제거는 2차원 가우시안 커널(two dimensional Gaussian kernel)을 사용하고 이후에는 임계값을 이용하여 영상을 이진 처리한다.

도 2는 도 1의 전처리부의 구성도이다. 상기 전처리부(130)는 상기 잡음 제거를 위한 잡음 제거부(131)와, 영상의 이진화 처리를 위한 인덱스 연산부(132), 비교부(133), 이진화부(134)를 포함한다. 이러한 전처리부(130)의 보다 상세한 설명은 후술할 것이다.

상기 로그폴라 변환부(140)는 상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환한다. 이러한 로그폴라 변환부(140)는 2차원 직교 좌표계 상의 점(좌표)들을 로그-폴라 좌표계 상의 점들로 변환한다. 이러한 로그-폴라 변환은 직선 또는 곡선의 차선 형태에 관계없이, 직선 성분 및 곡선 성분 모두 포물선 형태의 라인으로 변환할 수 있다.

즉, 직선 성분 또한 포물선 형태로 변환되고 곡선 성분 또한 포물선 형태로 변환되므로, 직선과 곡선 성분이 포함된 차선의 경우 단일 성분의 포물선으로 모델링될 수 있다. 이에 따라 기존에 직선 성분과 곡선 성분을 나누어서 각각 모델링하는 경우에 비하여 검출 성능을 크게 증가시킬 수 있다.

상기 커브 피팅부(150)는 상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행한다. 상기 포물선 형태로 변환된 라인에 커브 피팅을 수행함으로써 보다 자연스러운 곡선의 차선이 구현 가능하게 한다. 커브 피팅의 보다 구체적인 의미는 기존에 공지되어 있으므로 상세한 설명은 생략한다.

상기 역 로그폴라 변환부(160)는 상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환한다. 이는 상기 피팅된 라인들을 다시 2차원 직교 좌표계 상의 라인들로 변환하는 과정이다. 이에 따라 인식된 차선이 최종 검출되며 차선 인식이 완료된다. 상기 표시부(170)는 최종 검출된 차선을 디스플레이하여 표시한다.

도 3은 도 1을 이용한 차선 인식 방법의 흐름도이다. 이하에서는 상기 차선 인식 장치(100)를 이용한 차선 인식 방법에 관하여 보다 상세히 알아본다.

먼저, 영상 입력부(110)는 차량에 설치된 카메라로부터 도로 영상을 입력받는다(S310).

다음, 상기 관심영역 설정부(120)는 상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정한다(S320).

일반적으로 상기 도로 영상에는 육지를 포함한 차선 부분과 하늘을 포함한 배경 부분이 공존하게 된다. 보통의 경우 차선은 영상의 중반 내지 하반부에 걸쳐 위치한다. S320 단계에서는 촬영된 도로 영상 중에서도 필요 없는 부분을 제외하고 차선 부분을 포함하는 영역을 관심 영역으로 설정한다. 여기서, 필요 없는 부분이란 하늘 등의 배경 부분, 그리고 차량의 본네트 부분 등을 포함할 수 있다.

이렇게 관심 영역을 설정하는 이유는 이후의 전처리 과정(S330)에서 필요한 계산 과정을 줄여서 처리 속도를 빠르게 하며 결론적으로 차선 검출의 효율을 증가시키기 위함이다.

본 실시예에서는 사용자로부터 관심 영역의 정보를 입력받아 관심 영역을 설정한다. 입력받는 관심 영역의 정보는 관심 영역의 시작점 (x,y) 좌표, 상기 관심영역의 폭, 높이에 관한 정보를 포함할 수 있다.

이외에도, 현재 촬영 중인 도로 영상이 표시부(170)에 표시되는 경우, 사용자로부터 직접 화면 상에 터치 또는 드래그 입력 방식으로 관심 영역을 설정할 수 있음은 물론이다.

이후, 상기 전처리부(130)에서는 상기 관심 영역으로부터 잡음을 제거하고 이진화하여 전처리를 수행한다(S330). 즉 S330 단계에서는, 2차원 가우시안 커널을 사용하여 관심 영역으로부터 잡음을 먼저 제거한 다음, 임계값을 기준으로 영상 내의 모든 화소들을 High 값(ex, 255)과 Low 값(ex, 0)으로 분류하여 관심 영역을 이진화한다.

도 4는 도 3의 S330 단계를 설명하는 흐름도이다. 이러한 S330 단계를 보다 상세히 설명하면 다음과 같다.

먼저, 잡음 제거부(131)에서는 2차원 가우시안 커널을 가지는 필터를 사용하여 관심 영역의 영상 내에 존재하는 잡음을 제거한다(S410). 2차원 가우시안 커널은 수학식 1과 같이 정의된다.

이러한 수학식 1과 같은 2차원 가우시안 커널 G(x,y)의 구성은 기존에 공지된 내용이므로 이에 관한 상세한 설명은 생략한다.

이와 같이 잡음이 제거되면, 인덱스 연산부(132)에서는 상기 관심 영역보다 작은 크기의 서브 영역을 화소 단위로 이동시키면서, 상기 서브 영역 내의 화소들의 밝기값과 상기 서브 영역 밖의 임의 화소들의 밝기값에 대한 평균과 분산 값을 사용하여 인덱스 값을 연산한다(S420).

도 5는 도 4의 S420 단계를 설명하는 개념도이다. 이러한 도 5는 관심 영역(10)보다 작은 크기의 서브 영역(20)(window)을 픽셀(화소) 단위로 여러 방향(ex, 상하 좌우)으로 이동시키면서 인덱스 값(Idx)을 구하고, 이를 임계치와 비교하면서 서브 영역(20) 내의 중심 화소(21)의 밝기 값을 설정하는 과정을 의미한다. 이러한 도 5의 서브 영역(20)의 크기는 5×5 pixel 크기인 경우로서 본 발명이 반드시 이에 한정되는 것은 아니다.

상기 인덱스 값(Idx)은 아래의 수학식 2로 연산된다.

여기서,

로서 상기 서브 영역(20) 내부의 화소(A)들의 밝기값 집합,

로서 상기 서브 영역(20) 외부의 선택된 임의 화소들의 밝기값 집합을 나타낸다.

그리고,

는 집합 X의 평균으로서

,

는 집합 Y의 평균으로서

,

는 집합 X의 분산으로서

,

는 집합 Y의 분산으로서

이다.

여기서, 서브 영역(20) 내부의 화소들이 25개이므로, X와 Y 집합의 요소 개수가 상호 일치하도록 서브 영역(20) 외부의 화소들도 임의로 25개로 선정하여 idx 값을 계산하도록 한다.

이후, 비교부(133)에서는 상기 인덱스 값과 기 설정된 임계값을 비교한다(S430).

만약, 상기 인덱스 값이 상기 임계값(ex, 0.95) 이상이면 상기 서브 영역(20)의 중심 화소(21)의 밝기값을 제1 밝기값(ex, 255)으로 매칭한다(S440). 이는 상기 인덱스 값이 임계치 이상인 경우 해당 서브 영역의 중심 화소가 의미 있는 물체 즉 차선 부분으로 판단하여 가장 밝은 밝기값으로 매칭하는 것이다.

반대로, 상기 인덱스 값이 상기 임계값(ex, 0.95 미만이면 상기 서브 영역(20)의 중심 화소(21)의 밝기값을 상기 제1 밝기값보다 작은 제2 밝기값(ex, 0)으로 매칭한다(S450). 즉, 상기 인덱스 값이 임계치 미만이면 해당 서브 영역의 중심 화소가 차선 부분이 아닌 배경 부분으로 판단하여 가장 어두운 밝기값으로 매칭하는 것이다.

이상과 같이 상기 임계값은 이동하는 윈도우의 중심 픽셀이 실제 차선 영역 내인지 배경 영역 내인지를 결정하는 요소로 작용한다. 이러한 임계치를 이용한 과정은 관심 영역을 이진화하기 위한 것으로서 관심 영역 내의 모든 화소들의 밝기값을 0과 255의 두 가지 밝기값으로 분류할 수 있게 한다.

이러한 S420 내지 S450 단계를 화소 단위로 움직이는(스캔되는) 서브 영역(20) 별로 수행하여 관심 영역(10) 내의 모든 화소에 대하여 이진화를 수행할 수 있다. 이에 따라 관심 영역 내의 의미 있는 차선 부분은 밝게, 나머지 부분은 어둡게 표현될 수 있다. 또한 이러한 이진화 처리에 의하면, 그림자 또는 태양광에 의한 영향을 제거할 수 있다. 이상과 같은 이진화 과정은 촬영된 도로 영상의 개별 프레임 단위로 수행함은 자명하다.

이상과 같은 전처리를 수행한 다음에는, 상기 로그폴라 변환부(140)가 상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환한다(S340).

앞서 설명한 바와 같이, 로그-폴라 변환은 2차원 직교 좌표계 상의 좌표들을 로그-폴라 좌표계 상의 좌표들로 변환하는 것으로서, 직선이나 곡선의 차선 형태에 관계없이 모두 포물선 형태의 라인으로 변환한다. 따라서, 직선과 곡선 형태의 차선을 단일 성분의 포물선으로 모델링할 수 있으므로 차선 검출 성능을 증가시킨다.

도 6은 본 발명의 S340단계에 사용되는 로그-폴라 변환의 개념도이다. 우선 기본적인 로그-폴라 변환 수식은 수학식 3과 같다.

여기서, x,y는 직교 좌표계이고, ρ는 반지름, θ는 각도를 나타낸다. 로그-폴라 변환은 직교 공간 좌표(Cartesian space coordinates) (x,y)를 반경과 각도를 갖는 성분으로 변환하는 것이다.

즉, S340 단계에서는 상기 이진화된 관심 영역 내의 직교 좌표계를 갖는 (x,y) 좌표를 아래의 수학식 3과 같은 로그-폴라 좌표계를 갖는 (u,υ) 좌표로 변환한다.

여기서, (x₀, y₀)는 상기 직교 좌표계의 임의의 한 점 위치로서 상기 관심 영역의 가장 하단 부분의 중심 위치에 대응되는 좌표이고, 중심 위치는 관심 영역 폭의 1/2 지점(x₀)과 관심 영역의 가장 하단 부분의 지점(y₀)으로 설정한다. M은 변환 스케일로서 임의의 값(ex, 100)이 설정될 수 있다.

도 7은 본 발명의 실시예에 따른 로그-폴라 변환의 결과를 나타낸다. 도 7의 (a)는 원 영상을 나타낸다. 도 7의 (b)는 원 영상의 관심 영역(붉은 사각형 영역)에 대하여 전처리를 수행한 다음 로그-폴라 변환을 수행한 차선 모델링 영상을 나타낸다. 이를 통해 차선이 포물선 형태로 변환된 것을 확인할 수 있다.

이와 같이 로그-폴라 변환을 수행한 다음에는, 커브 피팅부(150)에서는 상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행한다(S350). 이에 따라, 도 7의 (b)의 상태보다 자연스럽고 매끄러운 차선의 형태로 구현 가능하다.

이러한 S350 단계에서 사용되는 RANSAC 알고리즘은 측정 노이즈가 심한 원본 데이터로부터 모델 파라미터를 예측하는 방법으로서, 기존에 차선 검출 알고리즘으로 사용되고 있는 방법이다. 이 알고리즘은 전체 원본 데이터 중에서 모델 파라미터를 결정하는데 필요한 최소의 데이터를 무작위로 선택하여 반복적으로 해를 계산함으로써 최적의 해를 찾는다. 상기 RANSAC 알고리즘은 기존에 공지된 방식이므로 보다 상세한 설명은 생략한다.

본 실시예에서는 차선 모델링된 영상(로그-폴라 변환된 영상)에서 임의의 3점을 선택한 다음 이 점들을 정상적인 데이터로 보고 차선 모델 파라미터를 예측한다. 차선 모델 파라미터 예측은 임의의 점들을 이용하여 포물선(또는 곡선)을 매끄럽게 연결하는 알고리즘인 유니폼 큐빅 B-스플라인 방법을 사용한다. 여기서, 큐빅은 임의의 점들을 잇는 곡선을 위한 것으로서 3차 다항식 (a₀+a₁t+a₂t²+a₃t³)을 사용한다. 이러한 큐빅 B-스플라인 방법은 기존에 공지된 방법으로서 구체적인 원리는 생략한다.

본 발명은, 로그-폴라 변환된 결과에서 무작위로 선택된 3개의 점을 제어점으로 가지는 유니폼 큐빅 B-스플라인 방법으로 포물선을 잇고, 그 결과가 상기 예측된 차선 모델에 잘 매칭 되는지를 최소 자승법(least square method)을 이용하여 판단한다. 만일 이 3개 점이 차선 모델과 잘 매칭되지 않은 경우, 다시 무작위로 3개의 점을 선택하고 앞서 언급한 과정을 재수행한다. 또한, 차선 모델이 잘 매칭되면 그 3개의 점을 최종 제어점으로 하는 포물선(곡선)을 그린다. 도 8은 본 발명의 실시예에서 큐빅 B-스플라인을 이용하여 포물선을 연결하는 방법을 설명하는 개념도이다. 이상과 같이 S350 단계는 최소 자승법을 이용한 큐빅 B 스플라인 방법을 사용하여 차선을 매끄럽게 피팅한다.

그런 다음, 역 로그폴라 변환부(160)에서는 상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환한다(S360). 이는 로그-폴라 변환을 이용하여 차선을 검출하여 커브 피팅한 영상을 다시 2차원 영상으로 되돌리기 위한 과정이다. 이에 따라 차선이 최종 검출되어 차선 인식이 완료되고 상기 표시부(170)에서는 최종 검출된 차선을 디스플레이하여 표시한다(S370).

도 9은 본 발명의 실시예에 따른 직선 차선의 인식 결과를 나타낸다. 도 10는 본 발명의 실시예에 따른 직선과 곡선이 포함된 차선의 인식 결과를 나타낸다.

도 9과 도 10에서, (a)는 S330 단계에 따라 잡음 제거 및 이진화된 영상을 나타내고, (b)는 S340 단계에 따라 로그-폴라 변환된 영상을 나타낸다. (c)는 S350 단계를 통해 커브 피팅이 수행된 결과 영상이고(녹색 선), (d)는 S360 단계를 통해 다시 역 로그-폴라 변환된 영상의 결과(녹색 선)를 나타낸다. 이러한 도 9와 도 10의 결과로부터, 직선 또한 곡선을 포함하는 차선에 대하여 로그-폴라 변환을 적용하여 검출 효율 및 정확도가 우수함을 알 수 있다.

이상과 같은 본 발명에 따른 차선 인식 방법 및 장치에 따르면, 도로 영상에서 관심 영역에 대한 잡음 제거 및 이진화 처리 이후 해당 영상 내의 직선 또는 곡선의 라인을 로그-폴라 변환한 다음 RANSAC 알고리즘으로 커브 피팅을 수행하고 다시 역 로그-폴라 변환하는 과정을 통해 도로의 차선 검출 효율을 향상시킬 수 있는 이점이 있다.

이러한 차선 인식 장치(100)는 도로 영상을 촬영하는 카메라로부터 정보를 수신할 수 있는 단말기(ex, 노트북) 등의 형태로 차량 상에 직접 설치될 수 있다. 이외에도 차선 인식 장치(100)는 차량의 내부 또는 외부에서 별도 서버와 같은 형태로 존재할 수 있다. 서버로 동작하는 경우 카메라로부터 영상 정보를 수신하고 이를 처리하여 차선을 인식한 결과를 다시 차량 내의 디스플레이 수단(ex, 모니터, 내비게이션)으로 전송하는 것도 가능하다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

10: 관심 영역 20: 서브 영역
100: 차선 인식 장치 110: 영상 입력부
120: 관심영역 설정부 130: 전처리부
131: 잡음 제거부 132: 인덱스 연산부
133: 비교부 134: 이진화부
140: 로그폴라 변환부 150: 커브 피팅부
160: 역 로그폴라 변환부 170: 표시부

Claims

차선 인식 장치를 이용한 차선 인식 방법에 있어서,
차량에 설치된 카메라로부터 도로 영상을 입력받는 단계;
상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 단계;
상기 관심 영역으로부터 잡음을 제거하고 이진화하는 단계;
상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환하는 단계;
상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행하는 단계; 및
상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환하는 단계를 포함하며,
상기 관심 영역으로부터 잡음을 제거하고 이진화하는 단계는,
상기 관심 영역으로부터 잡음을 제거하는 단계;
상기 관심 영역보다 작은 크기의 서브 영역을 화소 단위로 이동시키면서, 상기 서브 영역 내의 화소들의 밝기값과 상기 서브 영역 밖의 임의 화소들의 밝기값에 대한 평균과 분산 값을 사용하여 인덱스 값을 연산하는 단계;
상기 인덱스 값과 기 설정된 임계값을 비교하는 단계; 및
상기 인덱스 값이 상기 임계값 이상이면 상기 서브 영역의 중심 화소의 밝기값을 제1 밝기값으로 매칭하고, 상기 인덱스 값이 상기 임계값 미만이면 상기 서브 영역의 중심 화소의 밝기값을 상기 제1 밝기값보다 작은 제2 밝기값으로 매칭하는 단계를 포함하는 차선 인식 방법.
삭제
청구항 1에 있어서,
상기 인덱스 값(Idx)은 아래의 수학식으로 연산되는 차선 인식 방법:

,
여기서,
로서 상기 서브 영역 내부의 화소들의 밝기값 집합,
로서 상기 서브 영역 외부의 임의 화소들의 밝기값 집합,
는 집합 X의 평균,
는 집합 Y의 평균,
는 집합 X의 분산,
는 집합 Y의 분산을 나타낸다.
청구항 1에 있어서,
상기 로그-폴라(log-polar) 변환을 수행하는 단계는,
상기 이진화된 관심 영역 내의 직교 좌표계를 갖는 (x,y) 좌표를 아래의 수학식과 같은 로그-폴라 좌표계를 갖는 (u,υ) 좌표로 변환하는 차선 인식 방법:

여기서, (x₀, y₀)는 상기 직교 좌표계의 임의의 한 점 위치로서 상기 관심 영역의 가장 하단 부분의 중심 위치에 대응되는 좌표이고, M은 변환 스케일을 나타낸다.
청구항 1에 있어서,
상기 커브 피팅을 수행하는 단계는,
최소 자승법을 이용한 큐빅 B 스플라인(cubic B-Spline) 방법을 사용하는 차선 인식 방법.
차량에 설치된 카메라로부터 도로 영상을 입력받는 영상 입력부;
상기 도로 영상으로부터 차선 부분을 포함하는 관심 영역을 설정하는 관심영역 설정부;
상기 관심 영역으로부터 잡음을 제거하고 이진화하는 전처리부;
상기 이진화된 관심 영역 내의 직선 또는 곡선의 라인을 로그-폴라(log-polar) 변환하여 포물선 형태의 라인으로 변환하는 로그폴라 변환부;
상기 로그-폴라 변환된 라인에 RANSAC(random sample consensus) 알고리즘을 적용하여 커브 피팅(curve fitting)을 수행하는 커브 피팅부; 및
상기 커브 피팅된 라인을 역 로그-폴라(inverse log-polar) 변환하는 역 로그폴라 변환부를 포함하며,
상기 전처리부는,
상기 관심 영역으로부터 잡음을 제거하는 잡음 제거부;
상기 관심 영역보다 작은 크기의 서브 영역을 화소 단위로 이동시키면서, 상기 서브 영역 내의 화소들의 밝기값과 상기 서브 영역 밖의 임의 화소들의 밝기값에 대한 평균과 분산 값을 사용하여 인덱스 값을 연산하는 인덱스 연산부;
상기 인덱스 값과 기 설정된 임계값을 비교하는 비교부; 및
상기 인덱스 값이 상기 임계값 이상이면 상기 서브 영역의 중심 화소의 밝기값을 제1 밝기값으로 매칭하고, 상기 인덱스 값이 상기 임계값 미만이면 상기 서브 영역의 중심 화소의 밝기값을 상기 제1 밝기값보다 작은 제2 밝기값으로 매칭하는 이진화부를 포함하는 차선 인식 장치.
삭제
청구항 6에 있어서,
상기 인덱스 값(Idx)은 아래의 수학식으로 연산되는 차선 인식 장치:

,
여기서,
로서 상기 서브 영역 내부의 화소들의 밝기값 집합,
로서 상기 서브 영역 외부의 임의 화소들의 밝기값 집합,
는 집합 X의 평균,
는 집합 Y의 평균,
는 집합 X의 분산,
는 집합 Y의 분산을 나타낸다.
청구항 6에 있어서,
상기 로그폴라 변환부는,
상기 이진화된 관심 영역 내의 직교 좌표계를 갖는 (x,y) 좌표를 아래의 수학식과 같은 로그-폴라 좌표계를 갖는 (u,υ) 좌표로 변환하는 차선 인식 장치:

여기서, (x₀, y₀)는 상기 직교 좌표계의 임의의 한 점 위치로서 상기 관심 영역의 가장 하단 부분의 중심 위치에 대응되는 좌표이고, M은 변환 스케일을 나타낸다.
청구항 6에 있어서,
상기 커브 피팅부는,
최소 자승법을 이용한 큐빅 B 스플라인(cubic B-Spline) 방법을 사용하는 차선 인식 장치.