KR100975749B1 - 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법 - Google Patents

Abstract

본 발명은 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법에 관한 것으로, 연산량을 경감시키고, 방해물이 존재하는 경우에도 인식율을 향상시킬 수 있는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법을 제공한다. 이를 위한 본 발명은 주행중인 차량의 전방에 대한 영상을 촬영하는 촬영단계와; 상기 촬영된 영상을 그레이 영상으로 변환하는 전처리 단계와; 기하학적 모델링을 통하여 관심영역을 설정하고, 설정된 관심영역에 대하여 상기 전처리된 영상을 좌측영상과 우측영상으로 분할하는 분할 단계와; 상기 분할된 어느 한 영상에 대하여 허프변환을 이용하여 차선을 검출하는 차선검출 단계;를 포함하는 것을 특징으로 한다. 상기와 같은 구성에 의해 본 발명은 차선검출에 필요한 연산량을 경감시켜 처리속도가 향상되고, 방해물 등에 의해 차선의 일부가 가려진 경우에도 높은 인식율을 제공할 수 있는 효과가 있다.

단일차선, 차선인식, 차선이탈검출, 허프변환

Description

단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법{Method for recognizing lane and lane departure with Single Lane Extraction}

본 발명은 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법에 관한 것으로, 특히, 차선이 나타날 확률이 높은 관심영역에 대하여 단일차선을 검출하고 검출된 차선의 위치와 예상 중심점의 거리에 의해 차선이탈을 검출하여 처리속도 및 인식률을 향상시킬 수 있는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법에 관한 것이다.

최근 컴퓨터 하드웨어 성능의 발달로 컴퓨터비전 및 영상처리 기술이 급속히 발달하였고, 고해상도의 영상 데이터를 분석할 수 있을 뿐 아니라, 실시간 동영상 처리가 가능해졌다.

이러한 컴퓨터비전을 자동차에 응용하여 사고율을 줄이고자 많은 연구들이 진행되고 있으며, 더욱이, 21세기 첨단 산업과 맞물려 지능형 자동차에 대한 연구가 활발히 진행 중이다.

또한, 지능형 자동차에서만 아니라, 일반 차량에서도 영상처리 응용에 대한 관심이 높아지고 있다.

최근 차량용 블랙박스 제품이 출시되고 있는데, 이는 충돌감지 센서와 이미지 센서들을 사용하여 사고 발생시, 전후 영상을 저장하는 것이다. 이를 이용하여 과실을 판단하는 증거자료로 활용할 수 있다. 이러한 차량용 블랙박스 제품의 수요가 높아짐에 따라, 여러 기업에서 차선이탈검출 및 경보와 같은 안전에 관련된 기능을 추가하기 위한 노력이 지속되고 있다.

한편, 우리나라와 같이 포장이 잘 된 도로에서는 자동차의 주행 속도가 매우 빠르다. 지능형 자동차가 실생활에 적용되기 위해서는, 빠른 주행 속도에도 성능의 저하 없이 정확한 연산의 처리가 가능해야 한다. 이를 위해서는 하드웨어의 발전과 동시에 소프트웨어 알고리즘의 최적화가 요구되고 있다.

국내외에서 차선인식과 관련하여 많은 연구들이 진행되고 있다. 차선인식에 대한 대표적인 방법은 허프변환을 이용하는 방법, 히스토그램(Histogram)을 이용하는 방법, 에지(Edge) 연결 정보를 이용하는 방법 등이 있다.

첫번째로 허프변환을 이용하는 차선인식 방법은 보편적인 차선검출 방법이다. 일반적으로 컴퓨터비전 및 영상처리 분야에서 사용되는 허프변환은 영상에 존재하는 다항식으로 모델링 가능한 물체를 찾아내는 방법으로, 흐릿한 영상에도 우수한 결과를 얻을 수 있으며, 잡음에 강인한 특성을 갖는다.

이와 같은 허프변환을 이용하여 직선을 찾아내는 방식을 활용하여 차선인식 알고리즘에 적용한 방법은 먼저 도로영상에서 차선이 도로영역과는 확연히 구분되는 명암도 값을 가진다는 점을 기초로 평균값을 이용한 반복적인 이진화를 수행한다.

이진화 영상에서 차선을 검출하기 위해 소벨(Sobel) 연산자를 이용한 에지를 추출하고 허프변환 계산량의 간소화를 위해 세선화(thinning)를 수행한 다음, 허프변환을 통하여 픽셀 도메인을 파라미터 도메인으로 변환함으로써, 차선이 존재하는 좌표 근처에 여러 개의 직선 후보점들이 산출된다.

여기서, 누적된 직선 후보점들의 픽셀들을 합산하여 그 중 최대값을 검출함으로써, 픽셀 도메인상에 존재하는 하나의 직선을 선택하여 차선으로 인식한다.

그러나 이러한 허프변환을 이용한 차선검출은 다른 방법들에 비해 간단하지만, 픽셀 도메인에 존재하는 직선상의 각 픽셀에 대해 파라미터 평면에 각각의 궤적을 그리는 과정으로 인하여, 처리 대상 픽셀 수의 증가로 인해 처리시간이 크게 증가한다는 문제점이 있다.

둘째 히스토그램을 통한 차선인식 방법은 도로 영상에서 차선을 감지하기 위해 그레이 레벨에 대한 히스토그램을 계산하는 방법으로, 도로 영상에서 좁은 수평의 밴드를 구성한 뒤, 영상을 아래에서 위로 스캐닝(scanning) 하며, 각 스캐닝 단계마다 해당 밴드의 히스토그램을 계산하여 최대값으로 스레숄딩(thresholding) 한다. 이렇게 스레숄딩된 밴드들을 결합하여 차선을 인식하는데, 이진영상에는 차선의 대부분과 그 밖의 다른 객체들도 포함된다.

다음으로 히스토그램을 기반으로 분할된 이진영상에서 물체의 각 픽셀들의 소멸점과 형성하는 평균각, 중심, 물체의 크기, 물체의 최대폭과 최대값이 위치한 y좌표 등 여러가지 정보들을 이용하며 특징들을 추출한다. 추출된 특징들은 결정트리에 의해 보다 명확히 분류되어, 도로와 차선과의 관계를 분석하는 과정을 거쳐 최종적으로 남은 후보들을 차선으로 검출한다.

그러나, 이 방법은 다른 방법들보다 계산량이 작지만, 실제 도로상에는 전방에 차량이 존재할 때 많은 부분이 차량에 의해 가려지게 된다는 점과, 도로 주변 환경에 대해 세심하게 고려하지 못하여 인식율이 저하되는 문제점이 있다.

셋째, 에지 연결 정보를 통한 차선인식 방법은 클러스터링 방식을 사용하는 것으로, 카메라를 통해 획득된 영상정보를 먼저 좌영상과 우영상으로 분할한 다음 소벨연산을 거쳐서 나온 차선의 에지 픽셀을 이용하여 클러스터링한다.

클러스터링의 과정은 먼저, 시작점이 될 에지 픽셀을 선정하고 ID를 지정한 후, 시작점의 주변 에지 픽셀 중에 거리가 2픽셀 이내에 있는 에지 픽셀을 찾아내서 시작점과 같은 ID를 부여한다. ID를 부여받은 각 하위 픽셀은 시작점이 되어 다시 자신의 하위 픽셀을 동일한 방법으로 찾는다.

만약 2픽셀 이내에 에지 픽셀이 존재하지 않는다면, ID가 부여되지 않은 다른 에지 픽셀을 찾아 새로운 ID값을 부여하고 동일한 과정을 다시 반복한다. 이와같이 클러스터링 작업이 끝나면 각 클러스터들의 최소 및 최대 y값과 그에 대응하는 x좌표 등을 구한다. 두 좌표값을 이용하여 클러스터별로 직선의 방정식을 구해 연장선을 산출하고, 각 클러스터 사이의 거리를 구하기 위해서 각 클러스터의 직선방정식에 동일한 두개의 y값에 대하여 두 점을 산출하고 차선의 폭과의 차이를 구한다. 이 차이 값이 최소가 되는 두 클러스터를 차선으로 인식한다.

그러나, 이 방법은 좌, 우 영상의 차선의 특징을 따로 검출 및 클러스터링 하기 위해 영상을 분할하기 때문에 초기에 영상의 분할이 잘못된 경우 지속적으로 잘못 인식될 가능성이 있고, 도로에서 전방차량이 근접해 있을 경우 차선의 많은 부분이 감추어지기 때문에 영상의 좌우부분을 분할하기 위한 중심점을 찾기 위해서도 특수한 방법이 요구되는 문제점이 있다.

마지막으로 에지분포함수(Edge Distribution Function: EDF)를 이용한 차선이탈방법은 차선 내에서의 차량의 주행위치가 변하면 입력영상에 나타난 좌우차선경계의 기울기도 동시에 변한다는 사실에 의해 이 차선경계의 기울기 변화량을 검출하면 차선 이탈가능성을 판단할 수 있다는 점을 기초로 한다.

이 방법은 먼저 소벨 연산자를 이용하여 에지를 추출하고, 추출된 에지방향에 대한 1차원의 이산함수로 EDF를 정의한다.

EDF를 계산하기 위해 1°단위로 양자화된 각도에 맞게 181개의 셀로 구성된 1차원의 파라미터 공간을 생성하고, 이 공간의 모든 셀을 0으로 초기화한 후, 에지픽셀의 방향에 해당되는 셀을 찾아서 그 셀의 현재 값에 고려하고 있는 픽셀의 에지크기를 더해 준다.

EDF가 정의되는 범위 0°~180°에서 15°미만이나 165°이상에서는 차선이 나타나지 않는다고 가정한 후, 정의된 EDF을 조사하여 대칭축을 구하고 차선 중앙을 정확히 주행할 때의 EDF와의 차이로 이탈량을 구한다.

예를 들어 차량이 차선 중앙을 주행할 때의 대칭축이 90°이고 차량이 차선의 왼쪽으로 기울어져 주행할 때의 대칭축은 73이라면 이탈량은 17이 되는데, 이 이탈량이 실차실험에 의해 구해진 차선이탈계수보다 작다면 차선이탈의 가능성이 낮은 것이고 차선이탈계수보다 높다면 차선이탈의 경우로 간주한다.

그러나, 이 방법은 양쪽 차선이 모두에 대하여 추출해야한다는 가정이 전제되기 때문에 차선이 차량 등에 의하여 가려진 경우에 차선이탈 인식률이 저하되는 문제점이 있다.

이와 같이 하드웨어 기술의 발달로 지능형 자동차에 대한 연구가 활발히 진행됨에 따라서, 카메라를 활용한 차선인식 및 차량이탈검출과 관련하여 다양한 알고리즘들이 제시되었다.

그러나, 이와 같은 종래의 차선인식 및 이탈검출 방법들은 영상에서 2개의 차선을 모두 검출해야 하기 위하여 많은 영역을 탐색하기 때문에 많은 시간이 소요되어 처리속도가 저하되는 문제점이 있다.

또한, 종래의 방법은 전방의 차량이 차선을 방해하거나, 소방도로와 같이 중앙선만 있다거나, 도로변 주차로 인해 한쪽 차선이 보이 않는 경우 등 실제 운행환경에서의 다양한 여건으로 인하여 인식률이 저하되는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 관심영역에 대한 단일차선을 검출하고 검출된 단일차선으로부터 소실점을 예측하여 연산량을 경감시켜 처리속도를 고속화하고, 방해물에 의해 차선의 일부가 촬영되지 않는 경우에도 인식율을 향상시킬 수 있는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명은 주행중인 차량의 전방에 대한 영상을 촬영하는 촬영단계와; 상기 촬영된 영상을 그레이 영상으로 변환하는 전처리 단계와; 기하학적 모델링을 통하여 관심영역을 설정하고, 설정된 관심영역에 대하여 상기 전처리된 영상을 좌측영상과 우측영상으로 분할하는 분할 단계와; 상기 분할된 어느 한 영상에 대하여 허프변환을 이용하여 차선을 검출하는 차선검출 단계;를 포함하는 것을 특징으로 한다.

바람직하게는 상기 관심영역은 영상을 촬영하는 카메라의 설치 각도 및 시야각에 따라 촬영된 영상내에서 차선이 존재 가능한 영역으로 설정될 수 있다.

바람직하게는 상기 차선검출 단계는 상기 분할된 영상 중 좌측영상에 대하여 차선검출을 수행할 수 있다.

바람직하게는 상기 차선검출 단계는 상기 허프변환에 의하여 산출된 다수의 직선중 상기 관심영역의 중점으로부터 최소거리인 직선을 차선으로 검출할 수 있다.

본 발명은 상기 차선검출 단계에서 차선이 검출되었는지의 여부를 판단하는 제 1 판단 단계를 추가로 포함하고, 상기 차선검출이 실패한 경우에는 다른 분할 영역에 대하여 상기 검출 단계를 수행할 수 있다.

본 발명은 차선이 검출된 영상으로부터 소실점에 대응하는 위치를 산출하는 위치산출 단계와; 산출된 위치에 따라 차량의 차선이탈 여부를 검출하는 이탈검출 단계를 추가로 포함할 수 있다.

바람직하게는 상기 위치산출 단계는, 상기 차선이 검출된 영상이 좌측영상인 경우에는 x좌표의 최대값을 갖는 위치를, 우측영상인 경우에는 x좌표의 최소값을 갖는 위치를 소실점에 대응하는 점으로 산출할 수 있다.

바람직하게는 상기 이탈검출 단계는, 상기 산출된 위치와 영상의 중심점 사이의 거리를 연산하는 거리연산 단계와; 상기 연산된 거리가 일정크기 이상인지를 판단하는 제 2 판단 단계와; 상기 연산된 거리가 일정크기 이상인 경우 차선의 이탈로 판정하는 판정 단계를 포함할 수 있다.

본 발명에 따른 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법은 확률적인 방법에 의해 차선이 집중적으로 분포될 수 있는 관심영역을 설정하고, 영상을 분할한 후 허프변환(Hough Transform)을 사용하여 한 차선의 일부를 찾아낸 다음 일정 크기로 복원하며, 복원한 차선과 영상의 중심점 사이의 거리를 연산하여 차선이탈을 판단함으로써, 차선검출에 필요한 연산량을 경감시켜 처리속도가 향상되고, 방해물 등에 의해 차선의 일부가 가려진 경우에도 높은 인식율을 제공할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법을 나타낸 순서도이다.

본 발명은 촬영된 영상을 좌측 영역과 우측 영역으로 분할된 관심영역을 설 정하고, 허프변환을 사용하여 좌측 영역의 차선을 인식하는 차선인식 과정(단계 S101 내지 단계 S105)과, 차선인식의 성공후 소실점과 차의 중심점과의 거리를 계산하여 차선이탈을 판단하는 차선이탈 검출 과정(단계 S106 내지 단계 S110)으로 구성된다.

먼저, 주행중인 차량의 전방에 대한 영상을 촬영한다(단계 S101).

영상 촬영을 위한 CCD 카메라는 차량의 전면 정중앙에 위치시키고, 도로면으로부터 약 50cm 정도의 높이에서 초점이 15도 정도 하향하도록 설치한다.

다음, 촬영된 영상을 그레이 영상으로 변환하여 전처리한다(단계 S102).

CCD 카메라로부터 촬영된 영상은 컬러 영상은 많은 색상정보를 포함하고 있고, 이러한 정보를 활용하면 더욱 효율적인 차선인식 결과를 얻을 수 있으나, 영상처리에 많은 자원이 소요되므로 실시간 처리에는 비효율적이므로, 연산량을 경감하기 위하여 촬영된 영상을 그레이 영상으로 변환한다.

이와 같이 전처리된 영상에 대하여 기하학적 모델링을 통하여 차선이 존재할 확률이 높은 관심 영역을 설정한 후 설정된 관심영역에 대하여 추출한 다음, 좌측영상과 우측영상으로 분할한다(단계 S103).

여기서, 관심영역은 연산량을 경감하기 위하여 영상처리 영역을 축소시킨 것으로서, 영상을 촬영하는 CCD 카메라의 설치 각도 및 시야각에 따라 촬영된 영상내에서 차선이 존재 가능한 영역으로 설정된다.

이하, 관심영역 설정에 대하여 도 2 내지 도 4를 참조하여 구체적으로 설명한다.

도 2는 촬영 영상에 대한 관심영역을 설정하기 위한 x축 시야각을 나타낸 도면이며, 도 3은 촬영 영상에 대한 관심영역을 설정하기 위한 y축 시야각을 나타낸 도면이다. 도 4는 촬영 영상에 대한 관심영역 설정을 설명하기 위한 그래프이다.

여기서, 관심영역 설정, 차선인식, 차선이탈 검출을 위하여 다음과 같이 가정한다.

(1) 도로면은 평면이고, (2) 양쪽 차선은 항상 평행한 직선이며, (3) 카메라는 자동차의 정중앙에 위치하고, (4) 도로면에서 약 50cm 높이에서 초점이 15도 정도 아래로 설치된다.

연산량을 줄이기 위한 관심영역의 설정은 먼저 차선이 시작되는 위치를 파악해야 하는데, 차선이 시작되는 위치는 차로의 폭과 그리고 카메라의 시야각으로 추정할 수 있다.

국내의 차선의 규격은 아래의 표1에 도시되 바와 같이 국토해양부의 도로설계편람 규정에 정의되어 있으며, 차선의 최소 폭은 3.00m 이다.

도로의 구분			차로의 최소폭(단위 : m)
			지방지역	도시지역
고속도로			3.50	3.50
일반 도로	설계 속도	80㎞/h 이상	3.50	3.25
		70㎞/h 이상	3.25	3.25
		60㎞/h 이상	3.25	3.00
		60㎞/h 미만	3.00	3.00

상기 표 1과 가정(4)를 기초로 도 3에 도시된 바와 같이, 영상에서 차선이 나타나는 지점부터 영상에 나타나지 않는 지점

를 구할 수 있다.

먼저, CCD 카메라의 시야각을 x축(수평)과, y축(수직)으로 나누어 생각해보면, x축 시야각이 2β일 때, 차선의 최소 폭인 3 m가 나타나는 지점은 CCD 카메라로부터 t만큼 떨어진 위치이다. 여기서, t는 하기의 수학식1로 정의된다.

이와 같이 정의된 t를 y축 시야각으로 표현되는 영역으로 옮기면 도 3에 도시된 바와 같다.

즉 A 픽셀 지점부터 폭 3 m인 차선이 나타나게 된다. 또한 △OZA에서 ∠ZOA는 (15-θ)°이다. 이때 θ는 다음 수학식 2로 정의된다.

도 3에 도시된 바와 같이, y축 시야각이 2α이면, 선분 OZ는 하기의 수학식 3으로 구할 수 있다.

이제 구해진 식으로부터,

는 하기의 수학식 4로 정의된다.

이와 같이

를 이용하여 A 픽셀의 값을 산출한다.

한편, 차선은 도로면에 존재하기 때문에 수평선 위로는 나타나지 않는다. 그렇기 때문에

가

와 만나지 않게 되는 점, 즉 수평면과의 거리가 무한대가 되도록 만드는 최초 값 B를 구한다.

먼저

,

이라고 할 때 ∠ZOB는 다음의 수학식 5와 같이 정의된다.

그러므로

가

와의 교점에서 만나게 되는 거리는 D는 다음의 수학식 6으로 정의된다.

D = tan(∠ZOB)×0.5 [m]

여기서, CCD 카메라의 시야각은 예를 들면, x축 시야각이 63도, y축 시야각이 42도이다. 따라서, α = 21°, β = 31.5°로 설정하고 B 픽섹값에 따라 D의 변화를 살펴보면 도 4에 도시된 바와 같다.

도 4에 도시된 바와 같이, 대략 50 픽셀 지점에서 D의 값이 급격하게 증가하는 것을 볼 수 있다. 이는 50 픽셀 부근에서 수평선의 경계가 있음을 알 수 있다.

또한, 여러 가지 상황을 고려하여, 계산된 범위보다 크도록 y축의 관심영역을 [50, 120]으로 설정한다.

도 5는 설정된 관심영역에 대한 촬영 영상의 사진이다.

이와 같이 하나의 차선을 찾기 위해서 모든 영역을 탐색할 필요는 없이 관심영역에 대해서만 처리를 수행함으로써 연산량을 경감하여 처리성능을 향상시킬 수 있다.

또한, 하나의 차선만을 검출하기 위하여 관심영역의 영상을 좌우로 분할한다. 여기서, 영상에서의 차선은 각각 양의 기울기와, 음의 기울기를 대칭적으로 가지는데, 영상의 중심을 기준으로 분할을 하게 되면, 도 5(b),(c)에 도시된 바와 같이, 음의 기울기를 가지는 차선은 왼쪽 차선, 양의 기울기를 가지는 차선은 오른쪽 차선으로 나타난다.

이와 같이 분할된 어느 한 영상에 대하여 허프변환을 이용하여 차선을 검출한다(단계 S104).

여기서, 국내의 경우 차량은 우측통행을 원칙으로 하므로 도로에 주차된 차들이나, 그림자, 기타 물체에 의해서 오른쪽 차선은 방해를 받을 가능성이 높은 반 면, 왼쪽 차선은 방해요인이 적기 때문에 분할된 영상 중 좌측영상에 대하여 먼저 차선검출을 수행한다.

구체적인 차선 검출은 먼저, 차선은 도로영역과는 확연히 구분되는 명암도 값을 가지므로 평균값을 이용한 반복적인 이진화를 수행한 다음, 다양한 에지 검출 연산자 중에서 대각선 방향으로 강인성을 보이는 소벨 연산자를 이용하여 에지를 검출하고, 허프변환 연산량의 간소화를 위해 세선화를 수행 후 이들 정보를 사용하여 허프변환을 통하여 차선을 검출하게 된다.

이러한 허프변환은 물체의 위치에 관한 사전지식이 없이도 물체를 찾을 수 있다는 특징을 가지고 있으며, 2차원 상에서 직선을 이루는 (x,y)의 집합은 직선의 방정식(y=ax+b)으로 나타낼 수 있는데, 이 직선은 b = -ax+y로 표현되는 파라미터 공간상에 나타낼 수 있다.

따라서 픽셀 공간상의 점들은 파라미터 공간상에서 직선으로 표현되고, 하나의 점에서 중첩될 수 있다. 이 경우 수직선을 표현하려면 기울기 a가 무한대로 되기 때문에 구현상의 문제점이 있다. 이런 문제를 해결하기 위해 다음과 같이 (ρ,θ)의 파라미터 공간으로 표현할 수 있다.

ρ = x cosθ + y sinθ

여기서, θ는 [0,π]의 범위를 갖는다.

이와 같은 방법에 의해 영상의 각 픽셀에서 검출된 (ρ,θ)값은 누적표에 가산되고, 이와 같이 누적된 값들 중 최대값을 갖는 (ρ_max,θ_max)를 선정하고 역변환하 여 직선을 추출한다.

이와 같이, 영상에는 수많은 직선 후보들이 존재하므로 (ρ,θ)의 쌍은 다수개가 존재한다. 또한 (ρ_max,θ_max)가 구하고자 하는 차선이라는 보장이 없으므로, 적당한 횟수 이상 누적된 (ρ,θ)의 쌍을 구한 다음, 적정한 방법으로 차선을 선택해야 한다.

이때, 상기 허프변환에 의하여 산출된 다수의 직선 중에 상기 관심영역의 중점으로부터 최소거리인 직선을 차선으로 검출한다.

도 6은 차선 검출과정 상의 영상 사진이다.

예를 들면, 100회 이상 누적된 쌍을 역변환 한 다음, 도 6에 도시된 바와 같이 허프변환을 통하여 총 5개의 직선이 검출된다. 이 직선중 이미지 좌표계에서 관심영역의 중점(160, 85)으로부터의 거리를 계산하여 거리가 최소인 직선을 차선으로 선택한다.

이와 같은 차선검출 단계(단계 S104)에서 차선이 검출되었는지의 여부를 판단하여(단계 S105), 차선이 검출되지 않았다고 판단한 경우, 단계 S104로 복귀하여 다른 분할 영역에 대하여 차선검출을 수행한다.

즉, 단계 S104에서, 분할된 영상중 왼쪽 영상에 대하여 먼저 차선 검출을 수행하고 차선 검출이 실패한 경우, 다시 오른쪽 영상에 대하여 차선 검출을 수행한다.

단계 S105의 판단결과, 차선이 검출되었다고 판단한 경우, 차량의 차선이탈 여부를 검출한다(단계 S106 내지 단계 S110).

이하, 단일차선을 이용하여 차선의 이탈을 검출하는 원리를 도 7 내지 도 9를 참조하여 설명한다.

도 7은 차선 이탈판단을 설명하기 위한 영상 좌표의 도면이다.

소실점은 도 7에 도시된 바와 같이, 두 차선이 교차한 점이다. 여기서, 두 차선이 대칭을 이룬다고 가정하면, 한 차선만 검출하여도 x축 대칭을 통하여 다른 한 차선을 구할 수 있다.

즉, 한 차선 상의 한 점(x,y), 즉 기울기 양인 직선에서는 (x_min, y)에서, 기울기가 음수인 직선에서는(x_max, y)에서 x축 대칭을 통하여 다른 한 차선을 구할 수 있는데, 여기서, (x_min, y), (x_max, y)와 같은 점이 소실점이 된다.

도 8은 차선 이탈판단시 좌표변화의 의미를 나타낸 도면이다.

도 8에 도시된 바와 같이, 차량이 주행중 위치가 변경되면, CCD 카메라에 의해 촬영되는 이 소실점의 좌표 역시 변경된다.

도 8에서 (a)는 차량이 도로의 중앙을 주행 중일 경우를 나타내고, (b)는 차량의 주행 방향이 왼쪽으로 변경되었을 경우의 소실점의 좌표변화를 나타내며, (c)는 차량의 위치가 도로 한쪽으로 이동되었을 경우의 소실점의 좌표변화를 나타낸다.

이와 같이, 차량 주행 방향의 변화는 즉시 CCD 카메라의 촬영 방향의 변화로 나타나며, 이때 소실점에 대응하는 점이 촬영되는 CCD 카메라 시선 방향은 차량의 주행 방향과 차선이 이루는 각도와 같게 된다.

하지만 대칭점 (x_min, y) 또는 (x_max, y)를 산출하는 것은 두 개의 차선을 모두 추출하지 않고는 불가능하다.

본 발명의 차선이탈검출 알고리즘은 영상의 중앙점과 단일차선에서 추정한 소실점에 대응하는 점 사이의 거리 R을 비교하여 판단한다.

도 7에 도시된 바와 같이, 차량이 차선의 중앙을 주행할 때, y = m₁x + b₁의 직선과 x=160 직선의 교점인 (x₁, y₁)을 중심점으로 정의한다. 여기서, y = m₁x + b₁의 y절편 (0,b₁)과 (x₁, y₁)까지의 길이를 D로 가정하면, D와 중심점, (0,b₁)을 기준으로 소실점에 대응하는 점을 추정한다.

다음 CCD 카메라에서 입력되는 영상으로부터 차선을 검출한다. 검출한 차선이 y = m₂x + b₂ 직선이라면, 이 직선의 y축 절편 (0, b₂)를 (0, b₁)로 평행이동하고, 직선의 길이가 D가 되도록 한다.

여기서, 기울기가 m₂ 이고, 점 (0, b₁)으로부터 길이가 D인 직선을 구하는 방법은 다음과 같다.

기울기 m₂를 θ = tan(m₂)^-1 로 변환한다. 이때 θ는 y = m₂x + b₂의 직선이 x축과 이루는 각도이다. 점 (0, b₁)로부터 각도가 θ이고, D 만큼 떨어진 점(x₂,y₂) 는 다음과 수학식 7과 같이 정의된다.

x₂ = D cosθ, y₂ = b₁ + D sin θ

여기서, (0, b₁)로부터 점(x₂, y₂)을 연결한 직선은 거리가 D이고, 이때, 중심점 (x₁, y₁)과 점(x₂, y₂)의 거리를 계산하면 다음의 수학식과 같다.

도 9는 차선 이탈판단시 소실점과 중심점 거리의 변화를 나타낸 도면이다.

도 9 및 수학식 8로부터, 직선 기울기의 변화량에 따라서, 중심점 (x₁, y₁)과 이동된 소실점(x₂, y₂)의 거리가 커짐을 알 수 있다.

따라서 소실점이 중심점으로부터 일정 거리 이상 멀어진다는 것은 차선이탈의 가능성이 있다고 판단하게 되는 근거가 된다. 중심점으로부터 적절한 거리 R을 정함으로써 차선이탈을 검출할 수 있다.

이와 같은 원리에 의해 차선이 검출된 영상으로부터 소실점에 대응하는 위치를 산출한다(단계 S106).

즉, 상기 산출된 차선을 나타내는 직선의 y절편을 중심점에 대응하는 y절편과 일치시킨 후 산출된 직선의 기울기 θ의 기울기로 상술한 바와 같이 미리 설정 된 거리 D 만큼 떨어진 위치를 소실점에 대응하는 위치로 산출한다.

이때, 차선이 검출된 영상이 좌측영상인 경우, 즉, 차선의 기울기기 음수인 경우에는 에는 x좌표의 최대값을 갖는 위치를 소실점에 대응하는 점으로 산출하고, 차선이 검출된 영상이 우측영상인 경우, 즉, 차선의 기울기가 양수인 경우에는 x좌표의 최소값을 갖는 위치를 소실점에 대응하는 점으로 산출한다.

다음 산출된 위치와 영상의 중심점 사이의 거리를 연산한다(단계 S107).

즉, 단계 S106에서 소실점에 대응하는 점으로 산출된 점과 상술한 바와 같이 미리 설정된 영상의 중심점 사이의 거리를 연산한다.

연산된 거리가 일정크기 이상인지를 판단하여(단계 S108), 연산된 거리가 일정크기 이상인 경우 차량이 차선을 이탈한 것으로 판정한다(단계 S109).

즉 상술한 바와 같이 미리 설정된 R과 연산된 거리를 비교하여 연산된 거리가 R보다 큰 경우는 차량이 차선을 이탈한 것으로 판정한다.

단계 S108의 판단결과 연산된 거리가 일정크기 이상이 아니라고 판단한 경우에는 차량이 차선내에서 정상 주행하는 것으로 판정한다(단계 S110).

도 10은 본 발명의 방법을 적용한 처리 영상 및 결과 영상의 사진이다.

도 10에 도시된 바와 같이, 본 발명은 단일 차선에 의해서도 차량에 의해 방해된 소실점을 추정할 수 있어 차선의 이탈유무를 정확하게 판단할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식 을 가진 당업자에게 있어 명백할 것이다.

도 1은 본 발명의 실시예에 따른 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법을 나타낸 순서도이고,

도 2는 촬영 영상에 대한 관심영역을 설정하기 위한 x축 시야각을 나타낸 도면이며,

도 3은 촬영 영상에 대한 관심영역을 설정하기 위한 y축 시야각을 나타낸 도면이고,

도 4는 촬영 영상에 대한 관심영역 설정을 설명하기 위한 그래프이며,

도 5는 설정된 관심영역에 대한 촬영 영상의 사진이고,

도 6은 차선 검출과정 상의 영상 사진이며

도 7은 차선 이탈판단을 설명하기 위한 영상 좌표의 도면이고,

도 8은 차선 이탈판단시 좌표변화의 의미를 나타낸 도면이며,

도 9는 차선 이탈판단시 소실점과 중심점 거리의 변화를 나타낸 도면이며,

도 10은 본 발명의 방법을 적용한 처리 영상 및 결과 영상의 사진이다.

Claims (8)

1. 주행중인 차량의 전방에 대한 영상을 촬영하는 촬영단계와;

   상기 촬영된 영상을 그레이 영상으로 변환하는 전처리 단계와;

   기하학적 모델링을 통하여 관심영역을 설정하고, 설정된 관심영역에 대하여 상기 전처리된 영상을 좌측영상과 우측영상으로 분할하는 분할 단계와;

   상기 분할된 어느 한 영상에 대하여 허프변환을 이용하여 차선을 검출하는 차선검출 단계;를 포함하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
2. 제 1 항에 있어서,

   상기 관심영역은 영상을 촬영하는 카메라의 설치 각도 및 시야각에 따라 촬영된 영상내에서 차선이 존재 가능한 영역으로 설정되는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
3. 제 1 항에 있어서,

   상기 차선검출 단계는 상기 분할된 영상 중 좌측영상에 대하여 차선검출을 수행하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
4. 제 1 항에 있어서,

   상기 차선검출 단계는 상기 허프변환에 의하여 산출된 다수의 직선중 상기 관심영역의 중점으로부터 최소거리인 직선을 차선으로 검출하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
5. 제 1 항에 있어서,

   상기 차선검출 단계에서 차선이 검출되었는지의 여부를 판단하는 제 1 판단 단계를 추가로 포함하고,

   상기 차선검출이 실패한 경우에는 다른 분할 영역에 대하여 상기 검출 단계를 수행하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
6. 제 1 항에 있어서,

   차선이 검출된 영상으로부터 소실점에 대응하는 위치를 산출하는 위치산출 단계와;

   산출된 위치에 따라 차량의 차선이탈 여부를 검출하는 이탈검출 단계를 추가로 포함하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
7. 제 6 항에 있어서,

   상기 위치산출 단계는, 상기 차선이 검출된 영상이 좌측영상인 경우에는 x좌표의 최대값을 갖는 위치를, 우측영상인 경우에는 x좌표의 최소값을 갖는 위치를 소실점에 대응하는 점으로 산출하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.
8. 제 6 항에 있어서,

   상기 이탈검출 단계는,

   상기 산출된 위치와 영상의 중심점 사이의 거리를 연산하는 거리연산 단계와;

   상기 연산된 거리가 일정크기 이상인지를 판단하는 제 2 판단 단계와;

   상기 연산된 거리가 일정크기 이상인 경우 차선의 이탈로 판정하는 판정 단계를 포함하는 것을 특징으로 하는 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법.

Images