KR20130112536A

KR20130112536A - 영상인식 기반의 차선 이탈 감지 방법 및 시스템

Info

Publication number: KR20130112536A
Application number: KR1020120034996A
Authority: KR
Inventors: 박용정
Original assignee: 모본주식회사
Priority date: 2012-04-04
Filing date: 2012-04-04
Publication date: 2013-10-14
Also published as: KR101392850B1; WO2013151266A1

Abstract

본 발명은 차선 이탈 감지 방법 및 시스템에 관한 것으로서, 본 발명의 목적은 차선 소실, 각종 노이즈, 도로 형태와 같은 다양한 도로 조건에 강하여 차선 인식 정확도를 극대화할 수 있는 영상인식 기반의 차선 이탈 감지 방법 및 시스템을 제공하는 것이다.
본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법은 차량의 카메라를 통해 촬영된 영상에서 차선표식을 검출하기 위한 영상처리에 사용될 영역(이하, '전체 관심영역' 이라 함)을 설정하는 제1 단계와; 상기 전체 관심영역을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 제2 단계와; 에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별 에지를 추출하는 제3 단계와; 상기 제3 단계에서 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선을 추출하는 제4 단계와; 상기 제4 단계에서 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 제5 단계와; 상기 제5 단계에서 추출된 상기 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 제6 단계; 및 상기 제6 단계에서 규정된 차선 모델을 이용하여 차선 이탈 여부를 판단하는 제7 단계를 포함하는 것을 특징으로 한다.

Description

영상인식 기반의 차선 이탈 감지 방법 및 시스템{METHOD AND SYSTEM FOR LANE DEPARTURE WARNING BASED ON IMAGE RECOGNITION}

본 발명은 차선 이탈 감지 방법 및 시스템에 관한 것으로서, 보다 상세하게는 차량에 장착된 카메라로부터 입력되는 영상을 단위 관심영역으로 분할하고, 점 성분을 추출하여 인식 처리함으로써 차량이 차선을 이탈하는지 여부를 정확히 판별할 수 있는 영상인식 기반의 차선 이탈 감지 방법 및 시스템에 관한 것이다.

일반적으로 차선이탈 경보시스템은 카메라를 통해 촬영된 영상정보를 이용하여 해당 차량의 차선이탈 여부를 판단하고, 차선으로부터 이탈되었다고 판단되는 경우 소정의 경보처리를 수행하도록 구성된다.

종래 차선이탈 경보시스템은 기본적으로 선 형태로 된 차선을 인식하여 그 이탈여부를 판단하도록 구성되어 있고, 종래의 차선이탈 인식방법은 차선의 폭, 차선의 곡률 반경, 차선 횡단 시간, 차선 중심과 카메라 광학축 사이의 차이 등 다양한 많은 변수들이 고려되어야 하기 때문에 그만큼 많은 노이즈원을 포함하고 있어 정확히 차선 이탈을 인식하기가 어려웠다.

또한, 종래 차선이탈 경보시스템은 차선 표식이 중간에 끊긴 도로나 도로에 차선 표식이외의 표식이 형성되어 있을 경우에 대해서는 부정확하였고, 이에 따라 운전중인 차선의 중심으로부터 차량이 이탈하지 않은 경우에도 잘못된 경보음을 발생시킬 수 있는 요소가 있다는 문제점이 있다.

한국특허공개 제2000-0037604호에 차선을 인식하는 방법이 개시되어 있다. 이 기술에 의하면 차선을 인식하기 위하여 두 개의 카메라를 사용하고 있고, 노면 부분에 비하여 고휘도를 가지는 부분을 차선으로 인식한다. 그러나 일반적으로 노면에는 차선 이외에도 차량 적재함에서 낙하한 낙하물 등의 기타 이물질 등이 있을 수 있으며, 이러한 이물질이 노면에 비해 고휘도를 가지는 경우 이를 차선으로 인식하는 오류가 발생할 수 있다. 또한, 두 개의 카메라를 사용함으로써 제작 단가도 증대되고 장착 공간도 크게 필요하는 등 컴팩트한 장치로서 구현하기가 매우 곤란한 문제점이 있었다.

또한, 종래 차선 인식 방법은 소벨 필터만을 사용하여 차선의 에지를 추출하여 이를 통해 차선 표식을 인식하였는데 이러한 방법으로는 노이즈에 매우 취약하여 실제 차선이 아닌 것까지 차선으로 인식하는 오류가 많았다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 차선 중간이 끊기거나 차선 이외의 표식이 있거나 노면에 비해 고휘도를 갖는 이물이 있을 때 야기되는 차선 오인식 오류를 최대한 방지하고, 한 대의 카메라만으로도 노이즈를 효과적으로 배제하며 곡선 도로와 같은 상황에서 차선을 정확하게 인식할 수 있는 영상인식 기반의 차선 이탈 감지 방법 및 시스템을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법은 차량의 카메라를 통해 촬영된 영상에서 차선표식을 검출하기 위한 영상처리에 사용될 영역(이하, '전체 관심영역' 이라 함)을 설정하는 제1 단계와; 상기 전체 관심영역을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 제2 단계와; 에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별 에지를 추출하는 제3 단계와; 상기 제3 단계에서 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선을 추출하는 제4 단계와; 상기 제4 단계에서 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 제5 단계와; 상기 제5 단계에서 추출된 상기 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 제6 단계; 및 상기 제6 단계에서 규정된 차선 모델을 이용하여 차선 이탈 여부를 판단하는 제7 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법 및 시스템에 의하면, 카메라 입력 영상을 단위 관심영역으로 분할하여 처리함으로써 좌·우 차선표식 사이에 존재하는 도로 정보(이정표 등)나 차선표식으로 오인식 될 수 있는 각종 잡음 요소를 제거할 수 있고, 중간에 절단된 영역이 있는 차선의 경우라도 실제 차선에 최대한 합치하는 가상의 차선을 생성할 수 있어 차선 인식 정확도를 극대화할 수 있는 현저한 효과가 있다.

또한, 전체 관심영역을 세로, 가로 방향으로 분할하여 일부 영역(즉, 단위 관심영역)만을 처리함으로써 실제 영상처리가 되는 영역을 최소화할 수 있어 영상처리의 연산 부하를 감소시킬 수 있는 장점이 있다.

또한, 최소 자승법에 차선의 에지 점들을 적용하지 않고 그 대신 에지 정보를 이용한 허프 변환을 통해 추출된 직선으로부터 대표 점 성분들을 구성해서 적용함으로써 직선에 포함되지 않는 에지를 제외시켜 정확도를 높일 수 있고 최소 자승법에 이용할 점들의 수를 줄여 연산 부하를 줄일 수 있는 이점이 있다.

도 1은 본 발명에 따른 영상인식 기반의 차선 이탈 감지 시스템의 전체 구성도.
도 2는 도 1에 도시된 영상인식 처리부의 세부 구성을 도시한 블록구성도.
도 3은 본 발명의 영상인식 기반의 차선 이탈 감지 방법 및 시스템의 좌표 개념도.
도 4는 본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법의 처리 흐름을 도시한 블록순서도.
도 5는 본 발명의 소실선과 후드의 위치를 통해 설정된 전체 관심영역의 일 예.
도 6(a)는 일반적인 흑백 영상의 일례.
도 6(b)는 본 발명의 영상변환부에 의해 변환된 황색 성분이 강조된 흑백 영상의 일례.
도 7(a)는 이전 프레임에서 차선표식이 인식되지 않은 경우 설정된 단위 관심영역의 일례.
도 7(b)는 이전 프레임에서 차선표식이 인식된 경우 설정된 단위 관심영역의 일례.
도 8은 본 발명의 에지추출부의 소벨 연산에 의해 구해진 가로 기울기 영상의 일례.
도 9는 본 발명의 에지추출부의 소벨 연산에 의해 구해진 기울기 크기 영상의 일례.
도 10은 본 발명의 에지추출부를 통해 구해진 에지 영상의 일례.
도 11은 본 발명의 직선정보 추출부를 통해 구해진 직선의 일례.
도 12는 본 발명의 도트 추출부가 직선 차선에 대해 추출한 점 성분의 일례.
도 13은 본 발명의 도트 추출부가 곡선 차선에 대해 추출한 점 성분의 일례.

본 발명은 각종 노이즈원을 최대한 제거할 수 있으면서 더 나아가 직선 도로·곡선 도로와 같은 다양한 도로 조건 및 차선 표식의 훼손과 같은 다양한 환경 조건 하에서도 인식 오류 없이 차선 표식을 정확히 인식하여 차선 이탈을 성공적으로 경고할 수 있는 기술 특징을 개시한다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.

도 1은 본 발명에 따른 영상인식 기반의 차선 이탈 감지 시스템의 전체 구성도이고, 도 2는 도 1에 도시된 영상인식 처리부의 세부 구성을 도시한 블록구성도이다.

도 1 및 도 2를 참조하면, 본 발명의 영상인식 기반의 차선 이탈 감지 시스템은 카메라(10), 영상인식 처리부(20) 및 경보 출력부(95)를 포함하도록 구성된다.

본 발명의 카메라(10)는 차량에 장착되어 차량 전방의 주행도로를 촬영하여 영상을 획득하는 구성부로서, 바람직하게는 CMOS 카메라 또는 CCD 카메라를 채용할 수 있다.

본 발명의 영상인식 처리부(20)는 카메라(10)에 의해 획득된 영상에 표시된 차선을 인식하고 이를 기반으로 소정의 연산 처리를 수행함으로써, 해당 도로를 주행중인 차량의 차선 이탈 여부를 판단하여 졸음 운전이나 운전 부주의에 의해 발생할 수 있는 사고를 방지하는 기능을 실현한다.

영상인식 처리부(20)의 세부 구성을 기능적으로 분리하면 영상변환부(30), 영상분할부(40), 에지추출부(50), 직선정보 추출부(60), 도트 추출부(70), 차선모델 생성부(80), 및 차선이탈 판별부(90)로 나눌 수 있다.

본 발명의 영상인식 기반의 차선 이탈 감지 시스템은 차량의 주행 과정에서 카메라를 통해 수득된 영상을 인식하고 처리하여 차선 이탈 감지 기능을 실현하기 위해 시스템 초기화를 먼저 실시한다.

시스템 초기화란 차량의 카메라를 통해 촬영된 영상에서 차선표식을 검출하기 위한 영상처리에 사용될 영역(이하, '전체 관심영역' 이라 함)을 설정하고, 각종 영상의 처리를 위한 메모리를 할당하고, 차선표식과 도로폭에 대한 정보와, 차량 앞 바퀴 위치 정보와, 허프변환(Hough Transform) 수행시 필요한 정보를 룩업 (Lookup)테이블로 저장한다.

상기의 시스템 초기화가 완료되면 영상인식 처리부(20)의 각 구성부의 다음과 같은 작용을 통해 입력영상의 인식 처리 및 이에 근거한 차선 이탈 감지가 이루어진다.

본 발명의 영상변환부(30)는 기본적으로 차량 카메라로부터 입력된 영상을 흑백 영상으로 변환하는 기능을 하고, 바람직하게는 변환된 흑백 영상에서 황색 성분을 강조하는 처리를 더 수행한다.

본 발명의 영상분할부(40)는 흑백 영상에 설정된 전체 관심영역을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 기능을 한다. 여기서 상기 단위 관심영역은 상기 전체 관심영역을 세로방향 및 가로방향으로 분할하여 형성된 직사각형의 영역으로 구성하고, 상기 직사각형의 단위 관심영역은 상기 전체 관심영역 중 좌측 차선표식과 우측 차선표식 별로 해당 차선표식을 따라 연속으로 이어지며 배열된 형태로 설정되게 구성하는 것이 바람직하다.

본 발명의 에지추출부(50)는 에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별로 에지 정보를 추출하는 기능을 한다. 여기서, 상기 에지 검출 기법은 미분연산자에 의한 밝기 값의 변화를 이용하여 영상 내 물체들의 경계 (윤곽선)을 찾아내는 소벨 에지(Sobel Edge) 추출 방식을 채용할 수 있다.

본 발명의 직선정보 추출부(60)는 에지추출부(50)에 의해 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선 정보를 추출하는 기능을 한다.

참고로, 직선정보 추출부(60)의 연산에 이용되는 허프변환(Hough Transform)은 영상 처리에서 직선을 찾기 위해 가장 널리 사용되는 방법으로서, 2차원 영상 좌표에서의 직선의 방정식을 파라미터공간으로 변환하여 직선을 찾는 알고리즘이다. 허프변환은 공학에서 일반적으로 사용되는 알고리즘이므로 자세한 설명은 생략한다.

또한, 직선정보 추출부(60)는 직선이 추출되지 못한 단위 관심영역(이하, '비추출 단위 관심영역' 이라 함)이 있을 경우, 해당 비추출 단위 관심영역을 기준으로 전·후에 배열된 단위 관심영역에 포함된 직선 정보를 이용한 유추를 통해 상기 비추출 단위 관심영역에 포함될 가상의 직선을 생성함으로써 연속되게 이어진 온전한 차선표식을 도출할 수 있도록 하는 기능을 한다.

본 발명의 도트 추출부(70)는 직선정보 추출부(60)에 의해 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배치된 복수의 점 성분을 추출하는 기능을 한다. 따라서, 도트 추출부(70)에 의해 추출된 다수의 점 성분 중 일 추출군은 좌측 차선표식에 합치되며 좌측 차선을 따라 상호 간격을 두며 배열된 형태를 구성하게 되고, 타 추출군은 우측 차선표식에 합치되며 우측 차선을 따라 상호 간격을 두며 배열된 형태를 구성하게 된다.

본 발명의 차선모델 생성부(80)는 도트 추출부(70)에 의해 추출된 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 기능을 한다.

보다 구체적으로 설명하면, 차선모델 생성부(80)는 단위 관심영역 별로 추출된 직선의 기울기를 이용하여 해당 영상에 표시된 차선표식이 직선인지 곡선인지를 판별하고, 상기 판별 결과가 직선이면 1차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하고, 상기 판별 결과 곡선이면 2차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정함으로써 차선 이탈 검출에 사용될 기준선(즉, 차선표식)을 확정하게 된다.

본 발명의 차선이탈 판단부는 차선모델 생성부(80)를 통해 확정된 차선모델(즉, 차선 이탈 검출에 사용될 기준선)을 이용하여 상기 차량의 차선 이탈 여부를 판단하는데, 구체적으로는 차량의 앞 바퀴와 차선표식 사이의 거리를 연산하고, 상기 연산에 의해 산출된 거리가 기준치를 벗어나면 차선 이탈로 판단하여 경보 출력부(95)에게 경보발생신호를 제공한다.

한편, 차선이탈 판단부는 차량의 차선 이탈시뿐만 아니라 차량이 차선에 일정 거리 이하로 근접하였을 경우에도 이에 대응하는 또 다른 사전경보 발생신호를 경보 출력부(95)에게 제공하도록 구성할 수도 있음은 물론이다.

본 발명의 경보 출력부(95)는 차선이탈 판단부가 보내온 경보발생신호 또는 사전경보 발생신호에 따라 시각적 또는 청각적 경보를 외부로 출력하여 운전자가 해당 사실을 인지할 수 있도록 하는 기능을 한다.

한편, 경보발생신호에 따른 경보와 사전경보 발생신호에 따른 경보는 다른 형태로 출력하도록 구성하여, 운전자로 하여금 차량이 차선을 이탈하기 직전인지 또는 이미 이탈하였는지 구분할 수 있도록 안내하는 것이 바람직하다.

이하에서는 전술한 영상인식 처리부(20)의 각 구성부가 영상 인식 및 처리를 위해 수행하는 기능 및 작용에 대하여 상세히 설명하도록 한다.

도 3은 본 발명의 영상인식 기반의 차선 이탈 감지 방법 및 시스템의 좌표 개념도이다. 참고로, 도 3의 카메라(10)는 차량(미도시)에 장착되며 CMOS 또는 CCD 카메라를 사용할 수 있다.

도 3에서 X_W,Y_W,Z_W 는 주행도로 공간 전체를 포괄하는 월드 좌표계를 의미하고, X_C,Y_C,Z_C 는 카메라 시점을 중심으로 하는 카메라 영상 프레임의 좌표계를 의미한다. 카메라는 차선표식이 형성되어 있는 도로표면에 대하여 각도θ만큼 경사지도록 설치되고, 상기 도로표면으로부터의 높이는 H로 표시된다.

본 발명의 차선 이탈 감지 방법 및 시스템은 월드 좌표계 상의 차선표식 두께와 차선폭과 같은 정보가 이미지 상의 값으로 변환되어 차선표식의 인식 처리와 차선이탈 판단에 사용되는 바, 먼저 월드 좌표계와, 카메라, 이미지 좌표계의 관계에 대하여 설명하도록 한다.

차선표식이 형성되어 있는 도로표면이 카메라의 촬영을 통해 평면 영상으로 변환되는데, 이때 월드 좌표계(X_W,Y_W,Z_W)와 카메라 좌표계 (X_C,Y_C,Z_C)는 다음과 같은 수학식1의 관계에 있다.

(수학식 1에서,

X_C, Y_C, Z_C : 카메라 좌표계의 X, Y, Z 축 좌표,

X_W, Y_W, Z_W : 월드 좌표계의 X, Y, Z 축 좌표,

θ: 카메라 광축(Z_C)이 지평선(Y_W)에 대해 기울어진 각도,

H : 도로면으로부터 카메라가 설치된 위치까지의 높이)

핀홀 카메라 모델과 상기 수학식 1을 이용하면 이미지 좌표계를 다음의 수학식2와 같이 표현할 수 있다.

(수학식 2에서,

u : 이미지 좌표계의 가로축 좌표,

v : 이미지 좌표계의 세로축 좌표,

f : 카메라의 초점 거리)

한편, 인식하고자 하는 차선표식은 도로면에 존재하므로 Z_W의 값은 '0'이라 가정할 수 있으므로, 상기 수학식2 에 Z_W=O 을 대입하면 이미지 좌표계 수식은 간소화된다.

이미지 센서의 가로, 세로 해상도와 픽셀의 가로, 세로 크기를 이용하면 픽셀 좌표계 상의 좌표를 다음의 수학식 3과 같이 표현할 수 있다.

(수학식 3에서,

x_P, y_P : 가로, 세로축 픽셀 좌표,

r_w, r_h : 이미지 센서의 가로, 세로 해상도,

s_u, s_v : 이미지 센서의 가로, 세로 픽셀 크기)

이하에서는, 전술한 바와 같은 월드 좌표계, 카메라, 이미지 좌표계의 관계를 기반으로 입력 영상에서 차선표식을 인식 처리하여 차선이탈을 감지하는 방법에 대하여 상세히 설명하도록 한다.

도 4는 본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법의 흐름을 도시한 블록순서도이다.

도 4를 참조하면, 본 발명에 따른 영상인식 기반의 차선 이탈 감지 방법은 차량의 카메라를 통해 촬영된 영상에서 차선표식을 검출하기 위한 영상처리에 사용될 영역(이하, '전체 관심영역' 이라 함)을 설정하는 단계(단계 1)와; 상기 전체 관심영역을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 단계(단계 2)와; 에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별로 에지를 추출하는 단계(단계 3)와; 단계 3에서 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선을 추출하는 단계(단계 4)와; 단계 4에서 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 단계(단계 5)와; 단계 5에서 추출된 상기 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 단계(단계 6); 및 단계 6에서 규정된 차선 모델을 이용하여 차선 이탈 여부를 판단하는 단계(단계 7)를포함한다.

바람직하게는, 단계 1은 차량 카메라로부터 입력된 영상을 흑백 영상으로 변환하는 단계와, 변환된 상기 흑백 영상에서 황색 성분을 강조 처리하는 단계(단계 1-1)를 더 포함할 수 있다.

단계 2의 단위 관심영역은, 상기 전체 관심영역을 세로방향 및 가로방향으로 분할하여 형성된 직사각형의 영역으로 이루어지고, 상기 직사각형의 단위 관심영역은 상기 전체 관심영역 중 좌측 차선표식과 우측 차선표식 별로 해당 차선표식을 따라 연속으로 이어지며 배열되게 설정되는 것을 특징으로 한다.

단계 3의 에지(edge) 검출 기법은 바람직하게는 소벨 에지(Sobel Edge) 추출 방식을 사용할 수 있다.

단계 4는 단위 관심영역 별로 추출된 직선의 기울기 평균값을 구하는 단계와, 추출된 단위 관심영역 별 직선 중 상기 기울기 평균값보다 일정 각도 이상 차이가 나는 직선을 제거하는 단계를 더 포함할 수 있다.

본 발명의 차선 이탈 감지 방법은 단계 4에서 직선이 추출되지 못한 단위 관심영역(이하, '비추출 단위 관심영역' 이라 함)이 있을 경우, 해당 비추출 단위 관심영역을 기준으로 전·후에 배열된 단위 관심영역에 포함된 직선 정보를 이용한 유추를 통해 상기 비추출 단위 관심영역에 포함될 가상의 직선을 생성하는 단계를 더 포함할 수 있다.

여기서, 전·후에 배열된 단위 관심영역에 포함된 직선 정보를 이용한 유추란, 전·후에 배열된 단위 관심영역에 포함된 직선의 하단과 상단을 잇는 직선을 생성하거나, 이들의 기울기 평균값을 이용하여 이에 합치하는 직선을 생성하는 방법이 사용될 수 있다.

또한, 본 발명의 차선 이탈 감지 방법은 단계 4를 통해 단위 관심영역 별로 추출된 직선의 기울기를 이용하여 상기 카메라를 통해 촬영된 영상의 차선표식이 직선인지 곡선인지를 판별하는 단계를 더 포함할 수 있고, 상기 경우 단계 6은 상기 판별 결과가 직선이면 1차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하고, 상기 판별 결과 곡선이면 2차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하도록 구성된다.

이하에서는 각 단계에 따른 예시를 들어 보다 구체적으로 설명하도록 한다.

<단계 1(S10)>

본 발명의 단계 1은 차량의 주행 과정에서 카메라를 통해 수득된 영상을 인식하고 처리하여 차선 이탈 감지 기능을 실현하기 위해 초기화를 수행하는 단계(S10)로서, 앞서 설명한 수학식 1 내지 3을 이용하여 이미지 상의 소실선의 세로 좌표를 구한다. 소실선은 전체 관심영역의 세로축을 따라 가로 방향으로 분할하는 다수의 라인 중 지평선과 만나는 지점(소실점)에 대응되는 라인을 의미한다.

소실선의 세로 좌표는 월드 좌표계의 Y_W 가 무한대(∞) 값으로 수렴할 때의 y_P값이므로 아래의 같은 수학식 4에 의해 산출될 수 있다.

이미지 상에서, 소실선의 세로 좌표값을 상단으로 하고 차량 후드가 위치하는 지점의 세로 좌표값을 하단으로 하여 전체 관심영역(Region Of Interest)을 설정한다. 도 5의 'vanish'와 'hood'의 두 라인 사이가 영상처리에 사용될 전체 관심영역에 해당한다.

본 발명의 단계 1은 전체 관심영역 설정 외에 다음과 같은 초기화를 더 수행한다. 먼저, 흑백 영상, 가로 기울기 영상, 허프 변환(Hough Transform) 등의 영상처리를 위한 메모리를 할당한다.

그리고, 허프 변환 수행시 필요한 sin , cos 값을 계산하여 룩업(Lookup) 테이블로 저장한다.

그리고, 앞서 설명한 좌표계 수식들을 이용하여 월드 좌표계 상의 차선표식의 최소, 최대 두께와 도로의 최소, 최대폭을 이미지 상의 전체 관심영역의 상단과 하단에 해당하는 모든 세로 좌표에 대응되는 값으로 변환하여 룩업(Lookup) 테이블로 저장한다.

그리고, 좌표계 수식들을 이용하여 차선이탈 여부를 판단하기 위해 이미지 상의 차량 앞 바퀴 위치에 해당하는 세로 좌표 값을 계산하여 저장한다.

< 단계 1-1(S15) >

본 발명의 단계 1-1은 영상변환부(30)에 의해 수행되는데, 구체적으로 차량 카메라로부터 입력된 영상을 흑백 영상으로 변환한 후, 입력 영상에서 황색 차선의 인식률을 높이기 위해 YCbCr 색공간의 Cb 색성분을 이용하여 아래와 같은 방법으로 흑백 영상에서 황색 성분을 강조한다.

{IF Cb -128 < 0 THEN

Gray Pixel = Y + ( 128 - Cb ) * 2

ELSE

Gray Pixel = Y}

도 6(a)는 일반적인 흑백 영상을 보여주고, 도 6(b)는 단계 1-1에 의해 황색 성분이 강조된 흑백 영상을 보여준다. 도 6에서 알 수 있듯이 Cb 색성분을 이용하여 황색 성분을 강조함으로써 흑백 영상에서 차선표식이 더욱 선명하게 대비되고 있음을 알 수 있다.

< 단계 2(S20) >

본 발명의 단계 2는 영상의 전체 관심영역 중에서 좌측 및 우측 차선표식 별로 대응되는 단위 관심영역을 설정하는 단계로서 영상분할부(40)에 의해 수행된다.

차선표식은 차량에 가까울수록 선명하고 직선 성분이 강하며, 차량과 멀어질수록 흐려지고 곡선 도로와 같은 경우에는 직선 성분이 약해지는 특성이 있다. 따라서 도 5와 같이 세로축을 따라 이격 배열된 다수의 가로 방향 라인(41)이 전체 관심영역을 적절한 개수로 분할하여 각각의 분할된 영역 별로 차선표식 인식을 처리할 수 있도록 한다.

이렇게 전체 관심영역을 세로축을 따라 분할하여 처리하게 되면 곡선 도로와 같은 상황에서 차선표식 인식 및 직선 추출에 더 강인한 특성을 가진다. 또한 점선 형태의 차선표식이나 차선표식이 훼손된 경우와 같이 특정 지점(단위 관심영역)에서 차선표식 인식이 어려워도 전후 단계의 단위 관심영역에서 인식된 직선 정보를 이용하여 상기 특정 지점의 차선표식 정보를 유추할 수 있는 이점이 있다.

위와 같이 세로축을 따라 다수 개로 분할된 관심영역은 다시 좌측 및 우측 차선별로 가로축을 따라 다수의 세로 방향 라인(42)으로 분할하여 종국에는 도 7과 같이, 직사각형의 영역으로 이루어진 단위 관심영역을 설정한다.

여기서 상기 직사각형의 단위 관심영역은 상기 전체 관심영역 중 좌측 차선표식과 우측 차선표식 별로 해당 차선표식을 따라 연속으로 이어지며 배열된 형태로 설정되게 구성하는 것이 바람직하다.

한편, 각각의 단위 관심영역의 가로폭은 이전 프레임에서 차선 표식이 인식된 경우와 그렇지 않은 경우에 따라 다르게 설정된다.

도 7(a)는 이전 프레임에서 차선표식이 인식되지 않은 경우 설정된 단위 관심영역을 보여주고, 도 7(b)는 이전 프레임에서 차선표식이 인식된 경우 설정된 단위 관심영역을 보여준다.

먼저, 이전 프레임에서 차선표식이 인식되지 않은 경우, 해당 단위 관심영역의 수평선 상의 이미지의 중심을 기준으로 도로의 최소폭과 최대폭 사이를 해당 단위 관심영역의 가로폭으로 설정한다.(도 7 (a) 참조)

다음으로, 이전 프레임에서 차선 표식이 인식된 경우, 이전 프레임에서 인식한 차선 표식의 위치를 중심으로 일정한 값만큼 좌우로 확장하여 해당 단위 관심영역의 가로폭으로 설정한다.(도 7 (b) 참조)

상기와 같이 단위 관심영역의 가로폭을 제한하게 되면 좌·우 차선표식 사이에 존재하는 도로 정보(이정표 등)나 차선표식으로 오인식 될 수 있는 각종 잡음 요소를 제거할 수 있는 이점이 있다.

< 단계 3(S30) >

본 발명의 단계 3은 에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별 에지를 추출하는 단계로서 에지추출부(50)에 의해 수행된다.

이를 보다 구체적으로 설명하면, 차선표식 인식을 위해 소벨(Sobel) 연산을 수행하여 가로 기울기 영상과 기울기 크기 영상을 구한다.

소벨(Sobel) 연산을 위한 마스크는 다음과 같다. Gx는 수평성분, Gy는 수직성분을 의미한다.

가로 기울기 영상은 소벨 연산을 위한 마스크의 수평성분이며, 도 8은 이러한 가로 기울기 영상의 일례를 보여준다.

기울기 크기 영상은 수평성분과 수직성분을 이용하며 다음의 수학식 5를 통해 구한다.

도 9는 상기 방법을 통해 산출된 기울기 크기 영상의 일례를 보여준다.

단계 1-1과 단계 3에서 구한 흑백 영상과 가로 기울기 영상, 기울기 크기 영상을 이용하여 차선표식을 인식하기 위해 다음과 같은 차선표식의 특성을 이용하게 된다.

-차선표식의 좌우 경계를 기준으로 중심 영역의 밝기가 좌우 바깥쪽 영역의 밝기보다 밝다.

-차선표식의 밝기 변화는 좌측에서 우측으로 밝아졌다 어두워지는 특성이 있다. 도 8의 흰색 픽셀이 밝아지는 지점(51a)이며 검은색 픽셀이 어두워지는 지점(51b)으로 각 점(51a,51b)으로 표시된 부분과 같다.

-차선표식의 좌우 경계 부분은 기울기 크기 영상에서 국소 최대값을 가지는 지점이다. 도 9의 점(붉은 점; 52)으로 표시된 부분이 국소 최대값을 갖는 차선 표식의 좌우 경계 부분이다.

-수평 기울기 영상에서 좌측 차선표식의 안쪽 경계는 음의 값을 가지는 지점이며, 우측 차선표식의 안쪽 경계는 양의 값을 가지는 지점이다.

상기의 4가지 차선 표식 특성을 이용하여 다음과 같은 방법으로 차선 에지 영상을 구한다.

a) 각각의 관심영역에서 상단의 세로 좌표를 y, 하단의 세로 좌표를 y_max로 설정한다.

b) 관심영역의 y좌표에 해당하는 영상의 좌측에서 시작하여 우측으로 이동하며 기울기 크기 영상의 국소 최대값을 가지면서 가로 기울기 영상에서 양의 값을 갖는 픽셀 x₁을 찾는다.

c) 다시, x₁을 기준으로 우측으로 이동하며 기울기 크기 영상의 국소 최대값을 가지면서 가로 기울기 영상이 음의 값을 갖는 픽셀 x₂를 찾는다.

d) x₁과 x₂ 사이의 간격이 초기화 단계에서 구한 이미지 상의 차선표식 두께 룩업(Lookup) 테이블의 y 좌표에 해당하는 최소, 최대값 사이에 존재하면서 흑백 영상의 x₁과 x₂ 지점 사이의 밝기 값의 평균이 x₁과 x₂에 인접한 픽셀(x₁-1, x₂+1) 각각의 밝기 값보다 모두 클 경우 차선표식으로 판단하여 차 표식의 에지로 저장한다. 이때 좌측 차선에 대응하는 단위 관심영역일 경우 x₂를 에지 픽셀로 저장하며, 우측 차선에 대응하는 단위 관심영역일 경우 x₁을 에지 픽셀로 저장한다.

e) y좌표에 해당하는 단위 관심영역의 모든 픽셀에 대해 c ~ d 과정을 반복 수행하고, 모든 처리가 끝나면 y를 1 증가시켜 b ~ d 단계를 다시 반복한다. 이 과정은 y가 y_max에 도달할 때까지 반복하게 된다.

도 10은 상기의 방식으로 구해진 차선표식의 에지 영상의 일례이다. 도 10의 점(붉은 점)은 도 8 및 도 9 각각에 표시된 두 개의 점 중에서 우측 점에 대응된다.

< 단계 4(S40) >

본 발명의 단계 4는 단계 3에서 추출된 단위 관심영역 별 에지 정보를 이용하여, 허프 변환(Hough Transform)을 수행하여 직선을 위한 파라미터(ρ,θ)를 구하는 단계로서 직선정보 추출부(60)를 통해 수행되며, 이 때 직선은 다음의 수학식 6과 같이 표현된다.

한편, 허프 변환에 의해 추출된 직선 중 잡음 성분에 의해 생성되어 차선표식과 일치하지 않는 직선을 제거하는 작업이 필요한데, 상기 잡음 성분에 의한 직선은 다음과 같은 방법을 통해 제거 가능하다.

즉, 현재 단계의 단위 관심영역의 직선은 전·후 단계의 단위 관심영역의 직선과 서로 연결되는 특성을 이용하여 상호 연속되게 이어지지 않고 단절된 직선을 제거한다. 또한 단위 관심영역 별로 추출된 직선의 기울기 평균값을 구하고, 상기 단계 4의 허프 변환을 통해 추출된 단위 관심영역 별 직선 중 상기 기울기 평균값보다 일정 각도 이상 차이가 나는 직선을 제거한다.

한편, 점선 형태의 차선 표식이나 차선 표식이 훼손된 경우 또는 잡음 성분에 의해 직선이 추출되지 못한 단위 관심영역(비추출 단위 관심영역)이 있을 경우, 해당 비추출 단위 관심영역을 기준으로 전·후에 배열된 단위 관심영역에 포함된 직선 정보를 이용한 유추를 통해 상기 비추출 단위 관심영역에 포함될 가상의 직선을 생성한다.

도 11은 에지 정보를 이용하여, 허프 변환(Hough Transform)을 수행하여 구해진 직선을 보여준다. 한편 도 11에서 우측 차선의 3번째 순서에 설정된 단위 관심영역이 상기 비추출 단위 관심영역에 해당하며, 이러한 비추출 단위 관심영역은 전술한 전·후 단위 관심영역에 포함된 직선 정보를 이용한 유추를 통해 가상의 직선을 생성할 수 있다.

< 단계 5(S50) >

본 발명의 단계 5는 단계 4에서 구해진 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 단계로서 도트 추출부(70)에 의해 수행된다.

도트 추출부(70)에 의해 추출된 다수의 점 성분 중 일 추출군은 좌측 차선표식에 합치되며 좌측 차선을 따라 상호 간격을 두며 배열된 형태를 구성하게 되고, 타 추출군은 우측 차선표식에 합치되며 우측 차선을 따라 상호 간격을 두며 배열된 형태를 구성하게 된다.

도 12는 직선 차선에 대해 단계 5에 의해 추출된 점 성분(71)을 보여주고, 도 13은 곡선 차선에 대해 단계 5에 의해 추출된 점 성분(72)을 보여준다.

이렇게 추출된 복수의 점 성분은 단계 6의 최소 자승법에 사용되어 차선 모델 규정을 규정할 수 있게 된다.

< 단계 6(S60) >

본 발명의 단계 6은 단계 5에서 추출된 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 단계로서, 차선모델 생성부(80)를 통해 수행된다.

차선모델 생성부(80)는 해당 점 성분이 직선 차선표식에 대한 점 성분이라면 1차식(x = a + by)으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하고, 해당 점 성분이 곡선 차선표식에 대한 점 성분이라면 2차식(x = a + by + cy²)으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하여 차선 이탈 검출에 사용될 기준선(즉, 차선표식)을 확정하게 된다.

따라서, 차선 모델을 규정하기 위해서는 점 성분을 최소 자승법에 적용하기 전에 해당 점 성분이 직선 차선표식에 대한 점 성분인지 곡선 차선표식에 대한 점 성분이지에 대한 판별이 먼저 수행되어야 한다.

해당 차선표식이 직선에 가까운지 또는 곡선에 가까운지를 판별하는 방법은 다음과 같다. 먼저, 단위 관심영역 별 직선의 기울기 평균과 평균분산을 산출한다. 그리고, 산출된 평균분산이 특정 값이 이상이면서, 좌측(또는 우측) 차선표식의 하단에 설정된 단위 관심영역에서 좌측(또는 우측) 차선표식의 상단에 설정된 단위 관심영역으로 기울기 평균값이 연속적으로 감소하거나 또는 증가할 경우 곡선으로 판별하고, 그렇지 않은 경우 직선으로 판별한다.

이처럼 최소 자승법에 차선의 에지 점들을 적용하지 않고 그 대신 에지 정보를 이용한 허프 변환을 통해 추출된 직선으로부터 대표 점 성분들을 구성해서 적용하게 되면 직선에 포함되지 않는 에지를 제외시킬 수 있고 최소 자승법에 이용할 점들의 수를 줄여 연산 부하를 줄일 수 있는 이점이 있다.

< 단계 7(S70) >

단계 7은 단계 6에서 규정된 차선 모델을 이용하여 차선 이탈 여부를 판단하는 단계로서 차선이탈 판별부(90)에 의해 수행되며, 차량 앞 바퀴와 차선표식까지의 거리를 계산하여 차선 이탈 여부를 판단한다.

보다 구체적으로 설명하면, 단계 1의 초기화 과정에서 미리 계산한 이미지 상의 차량 앞 바퀴가 위치하는 세로 좌표를 차선 모델 방정식에 대입하여 가로 좌표를 계산한다.

그리고, 상기 연산에 의해 구해진 가로 및 세로 좌표와 해당 차량의 폭을 이용하여 차량 앞 바퀴와 차선 표식까지의 거리를 계산한다. 도 12와 도 13의 하단에 녹색으로 표시된 숫자가 차량 앞 바퀴와 차선 표식까지의 거리이다.

즉, 차량의 좌측(또는 우측) 앞 바퀴와 좌측(또는 우측) 차선표식 사이의 거리를 연산하고, 상기 연산에 의해 산출된 거리 중 어느 하나가 차량폭을 근거로 산정된 기준치를 벗어나면 차선 이탈로 판단하여 경보 출력부(95)에게 경보발생신호를 제공하고, 이에 경보 출력부(95)는 경보음 등을 외부로 출력함으로써 운전자에게 위험을 경고할 수 있게 된다.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

10: 카메라 20: 영상인식 처리부
30: 영상변환부 40: 영상분할부
41: 단위관심영역의 가로방향라인 42: 단위관심영역의 세로방향라인
50: 에지추출부 60: 직선정보 추출부
70: 도트추출부 71,72: 점 성분
80: 차선모델 생성부 90: 차선이탈 판별부
95: 경보출력부

Claims

차량의 카메라를 통해 촬영된 영상에서 차선표식을 검출하기 위한 영상처리에 사용될 영역(이하, '전체 관심영역' 이라 함)을 설정하는 제1 단계;
상기 전체 관심영역을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 제2 단계;
에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별 에지를 추출하는 제3 단계;
상기 제3 단계에서 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선을 추출하는 제4 단계;
상기 제4 단계에서 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 제5 단계;
상기 제5 단계에서 추출된 상기 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 제6 단계; 및
상기 제6 단계에서 규정된 차선 모델을 이용하여 차선 이탈 여부를 판단하는 제7 단계;를 포함하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제1 항에 있어서,
상기 차량 카메라로부터 입력된 영상을 흑백 영상으로 변환하는 제1-2 단계; 및 변환된 상기 흑백 영상에서 황색 성분을 강조 처리하는 제1-2 단계;를 더 포함하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제1 항에 있어서,
상기 제2 단계의 상기 단위 관심영역은, 상기 전체 관심영역을 세로방향 및 가로방향으로 분할하여 형성된 직사각형의 영역으로 이루어지고, 상기 직사각형의 단위 관심영역은 상기 전체 관심영역 중 좌측 차선표식과 우측 차선표식 별로 해당 차선표식을 따라 연속으로 이어지며 배열되게 설정되는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제2 항에 있어서,
상기 제3 단계의 에지(edge) 검출 기법은 소벨 에지(Sobel Edge) 추출 방식인 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제3 항에 있어서,
상기 제4 단계에서 단위 관심영역 별로 추출된 직선의 기울기 평균값을 구하는 제4-1 단계;
상기 제4 단계에서 추출된 단위 관심영역 별 직선 중 상기 제4-1 단계의 기울기 평균값보다 일정 각도 이상 차이가 나는 직선을 제거하는 제4-2 단계; 및
상기 제4 단계에서 직선이 추출되지 못한 단위 관심영역(이하, '비추출 단위 관심영역' 이라 함)이 있을 경우, 해당 비추출 단위 관심영역을 기준으로 전·후에 배열된 단위 관심영역에 포함된 직선 정보를 이용한 유추를 통해 상기 비추출 단위 관심영역에 포함될 가상의 직선을 생성하는 제4-3 단계;를 더 포함하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제3 항에 있어서,
상기 제4 단계를 통해 단위 관심영역 별로 추출된 직선의 기울기를 이용하여 상기 카메라를 통해 촬영된 영상의 차선표식이 직선인지 곡선인지를 판별하는 단계를 더 포함하고,
상기 제6 단계는, 상기 판별 결과가 직선이면 1차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하고, 상기 판별 결과 곡선이면 2차식으로 근사하는 최소 자승법을 적용하여 차선 모델을 규정하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제6 항에 있어서,
상기 직선 또는 곡선 여부를 판별하는 단계는,
상기 단위 관심영역 별 직선의 기울기 평균과 평균분산을 산출하는 단계; 및
산출된 평균분산이 특정 값이 이상이면서, 좌측(또는 우측) 차선표식의 하단에 설정된 단위 관심영역에서 좌측(또는 우측) 차선표식의 상단에 설정된 단위 관심영역으로 기울기 평균값이 연속적으로 감소하거나 또는 증가할 경우 곡선으로 판별하고, 그렇지 않은 경우 직선으로 판별하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
제1 항에 있어서,
상기 제7 단계는,
상기 차량의 좌측(또는 우측) 앞 바퀴와 좌측(또는 우측) 차선표식 사이의 거리를 연산하고, 상기 연산에 의해 산출된 거리가 차량폭을 근거로 산정된 기준치를 벗어나면 차선 이탈로 판단하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 방법.
차량 전방을 촬영하여 영상을 획득하는 카메라;
상기 차량 카메라로부터 입력된 영상을 흑백 영상으로 변환하는 영상변환부;
상기 변환된 흑백 영상을 다수 개의 영역(이하, '단위 관심영역' 이라 함)으로 분할하여 설정하는 영상분할부;
에지(edge) 검출 기법을 이용하여, 차선표식을 포함하고 있는 단위 관심영역 별로 에지를 추출하는 에지추출부;
상기 에지추출부에 의해 추출된 단위 관심영역 별 에지를 이용하여, 허프 변환(Hough Transform)을 통해 직선을 추출하는 직선정보 추출부;
상기 직선정보 추출부에 의해 추출된 직선에서, 상기 직선에 대응되며 상호 이격 배열된 복수의 점 성분을 추출하는 도트 추출부;
상기 복수의 점 성분을 최소 자승법에 적용하여 차선 모델을 규정하는 차선모델 생성부;
상기 차선 모델을 이용하여 상기 차량의 차선 이탈 여부를 판단하는 차선이탈 판단부; 및
상기 차단 이탈 판별부에 의한 판단 결과 차선 이탈 발생시 경보를 외부로 출력하는 경보 출력부;를 포함하는 것을 특징으로 하는 영상인식 기반의 차선 이탈 감지 시스템.