KR101031846B1 - 도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 도로를 운전하는 차량의 차선 이탈을 방지하기 위한 것으로, 특히 도로에 설치된 도로표지병을 근거로 차선을 검출할 수 있도록 함으로써, 일반 선형태의 차선 뿐만 아니라 도로표지병이 설치된 도로에서의 차선 이탈에 대한 경보처리도 용이하게 수행할 수 있도록 된 도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법은 카메라를 통해 촬영영상을 근거로 차선을 검출하여 차선의 이탈여부를 판단하여 경보처리수단을 통해 차량이탈경보처리를 수행하도록 제어하는 신호처리수단을 포함하여 구성되고, 상기 신호처리수단은 카메라로부터 인가되는 촬영영상에서 선 형태의 차선표식 또는 도로표지병 형태의 차선표식을 검출하여 차선을 확정한 후, 이에 대한 차선이탈여부를 판단하도록 구성된다. 여기서, 상기 도로표지병 차선 검출방법은 카메라의 촬영영상으로부터 도로표지병의 코너에 대응되는 점 성분을 검출하고, 검출된 다수의 점 성분 중 인접한 점 성분을 취합하여 하나의 점 클러스터를 생성하며, 점 클러스터링된 정보를 근거로 생성된 다수의 직선정보에 대해 클러스터링처리를 수행하여 하나의 차선을 추출하도록 구성된다.

Description

도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법{Method for detecting traffic lane of road stub, system and method for warning departure of traffic lane using the same}

본 발명은 도로를 운전하는 차량의 차선 이탈을 방지하기 위한 것으로, 특히 도로에 설치된 도로표지병을 근거로 차선을 검출할 수 있도록 함으로써, 일반 선형태의 차선 뿐만 아니라 도로표지병이 설치된 도로에서의 차선 이탈에 대한 경보처리도 용이하게 수행할 수 있도록 된 도로표지병 차선 검출 방법과 이를 이용한 차선 이탈 경보 시스템 및 그 방법에 관한 것이다.

일반적으로 차선이탈경보시스템은 카메라를 통해 촬영된 영상정보를 이용하여 해당 차량의 차선 이탈여부를 판단하고, 차선으로부터 이탈되었다고 판단되는 경우 소정의 경보처리를 수행하도록 구성된다.

상기한 종래 차선이탈경보시스템은 기본적으로 선 형태로 된 차선을 인식하여 그 이탈여부를 판단하도록 구성되어 있다.

그러나, 종래 차선이탈경보시스템은 비나 눈이 내리는 등과 같은 환경적인 요인 등으로 인하여 차선 표식이 끊기거나 지워진 도로에서는 차선 판단이 어렵기 때문에 그 이탈 여부의 판단이 부정확하다는 단점이 있다.

한편, 최근에는 차선표식이 지워지는 문제를 해결하기 위해 비나 눈이 많이 내리는 지역이나 곡선의 도로 등에는 도1에 도시된 바와 같이 차량의 전조등에 의해 후미에서 불빛이 반사되는 도로표지병(C)를 일정 간격으로 배치하여 차선을 표식하는 방법이 적용되고 있다. 상기한 도로표지병(C)은 도로면(D)에 대해 일정 높이 및 면적을 갖는 돌출형상을 갖는다.

그러나, 상기한 차선이탈시스템은 선형태가 아닌 도로표지병으로 형성된 차선표식을 인식할 수 없기 때문에 차선 이탈 감지의 성능을 제대로 발휘하지 못하게 되는 문제가 있게 된다.

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 일반 선형태의 차선을 검출함과 더불어 도로를 표식하기 위한 도로표지병을 검출하여 차선을 인식하함으로써, 다양한 형태로 구성되는 차선의 이탈 여부를 용이하게 판단할 수 있도록 해 주는 도로표지병 차선 검출방법 및 이를 이용한 차선 이탈 경보시스템과 그 방법을 제공함에 기술적 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 차량이탈 경보시스템은 카메라와, 이 카메라를 통해 촬영영상을 근거로 차선을 검출하여 차선의 이탈여부를 판단하는 신호처리수단 및, 상기 신호처리수단으로부터 인가되는 차선이탈신호를 근거로 경보처리를 수행하는 경보처리수단을 포함하여 구성되는 차량이탈경보시스템에 있어서, 상기 신호처리수단은 상기 카메라로부터 인가되는 촬영영상으로부터 선 형태의 차선표식을 검출하고, 검출된 차선정보를 근거로 직선변환을 수행하는 차선추출블럭과, 상기 카메라로부터 인가되는 촬영영상으로부터 도로표지병 형태의 차선표식을 검출하고, 검출된 차선정보를 근거로 직선변환을 수행하는 도로표지병 차선추출블럭, 상기 차선추출블럭 및 상기 도로표지병 차선추출블럭으로부터 인가되는 적어도 하나 이상의 직선정보 중 하나를 차선으로 확정하는 차선확정블럭 및, 상기 차선확정블럭에서 확정된 차선에 대해 해당 차량의 이탈여부를 판단하여 이에 대응되는 차량이탈신호를 상기 경보처리수단으로 제공하는 차량이탈판단블럭을 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 차선이탈경보q방법은 카메라와, 이 카메라를 통해 촬영영상을 근거로 차선을 검출하여 차선의 이탈여부를 판단하는 신호처리수단 및, 상기 신호처리수단으로부터 인가되는 차선이탈신호를 근거로 경보처리를 수행하는 경보처리수단을 포함하여 구성되는 차량이탈경보시스템의 차량이탈경보방법에 있어서, 카메라로부터 인가되는 촬영영상으로부터 선형태의 차선표식을 검출하고, 이 검출된 차선표식을 근거로 직선변환을 수행하여 차선을 추출하는 제1 단계와, 상기 제1 단계에서 차선이 존재하는지를 판단하는 제2 단계, 상기 제2 단계에서 적어도 하나 이상의 차선이 존재하지 않는다고 판단되는 경우 도로표지병형태의 차선표식을 검출하고, 이 검출된 차선표식을 근거로 직선변환을 수행하는 차선을 추출하는 제3 단계, 상기 제1 단계 또는 제3 단계를 통해 인가되는 차선정보를 근거로 차선을 확정하는 제4 단계, 상기 제4 단계에서 확정된 차선을 근거로 해당 차량이 차선을 이탈하였는지를 판단하는 제5 단계 및, 상기 제5 단계에서 차선을 이탈하였다고 판단되는 차량이탈 경보처리를 수행하는 제6단계를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제3 관점에 따른 도로표지병 차선검출방법은 카메라의 촬영영상으로부터 도로표지병의 코너에 대응되는 점 성분을 검출하는 제101 단계와, 상기 제101단계에서 검출된 다수의 점 성분 중 인접한 점 성분을 취합하여 하나의 점 클러스터를 생성하는 제102단계, 상기 제102단계에서 점 클러스터링된 정보를 근거로 직선정보를 생성하는 제103단계 및, 상기 제103단계에서 생성된 다수의 직선정보에 대해 클러스터링처리를 수행하여 하나의 차선을 추출하는 제104단계를 포함하여 구성되는 것을 특징으로 한다.

또한, 본 발명에 있어서 상기 제101단계 및 상기 104단계의 클러스터링처리는 촬영 영상으로부터 검출된 좌표쌍 형태의 초기정보에서 한 점/직선과 다른 모든 점/직선과의 거리를 구하여 그 거리가 임계치 이하인 경우 하나의 클러스터로 설정하는 것을 특징으로 한다.

또한, 본 발명에 있어서 상기 클러스터링처리는 하나의 클러스터에 속하는 점/직선이 타 클러스터로 속하는 것을 방지하기 위하여 플래그버퍼의 값을 "1"로 설정하고, 플래그버퍼의 값이 "1"로 설정된 점/직선에 대해서는 거리 계산에서 제외하는 것을 특징으로 한다.

본 발명에 의하면 차선을 검출하여 차량의 차선이탈에 따른 경보처리를 수행하되, 도로표지병 형태로 구성된 차선에 대해서도 해당 차선을 확정하여 차선이탈에 대한 경보처리를 수행할 수 있게 됨으로써, 운전자는 차량 주행시 차선이탈에 대하여 보다 신뢰성 있는 경보서비스를 제공받을 수 있게 된다.

도1은 도로에 설치된 도로표지병 차선을 설명하기 위한 도면.
도2는 본 발명에 따른 차선이탈경보시스템의 개념도.
도3은 도2에 도시된 신호처리수단(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도4는 도3에 도시된 도로표지병 차선추출블럭(230)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도5a 내지 도5g는 도4에 도시된 도로표지병 차선추출블럭(230)의 도로표지병 차선추출과정을 설명하기 위한 도면.
도6은 도3에 도시된 차선이탈판단블럭(250)의 차선이탈판단방법을 설명하기 위한 도면.
도7은 본 발명에 따른 차선이탈경보방법을 설명하기 위한 플로우챠트.

이하, 도면을 참조하여 본 발명에 따른 실시예를 설명한다. 단, 이하에 설명하는 실시예는 본 발명의 하나의 바람직한 구현예를 예시적으로 나타낸 것으로서, 이러한 실시예의 예시는 본 발명의 권리범위를 제한하기 위한 것이 아니다. 본 발명은 그 기술적 사상을 벗어나지 않는 범위내에서 다양하게 변형시켜 실시할 수 있다.

도2는 본 발명에 따른 차선 이탈 경보 시스템의 개념도이다.

도2에 도시된 바와 같이 본 발명에 따른 차선 이탈 경보 시스템은 차량에 부착되어 차량의 주변을 촬영하는 카메라(100)와 카메라(100)로부터 인가되는 촬영영상을 근거로 차선을 검출 및 선택함과 더불어, 차선의 이탈여부를 확인하는 신호처리수단(200) 및, 상기 신호처리수단(200)으로부터 인가되는 이탈신호를 근거로 이탈경보처리를 수행하는 경보출력수단(300)을 포함하여 구성된다.

상기 카메라(100)는 차량의 전면을 촬영하여 그 촬영영상을 신호처리수단(200)으로 제공한다.

상기 신호처리수단(200)은 카메라(100)를 통해 제공되는 촬영영상에서 차선이 선의 형태로 존재하는 경우에는 해당 차선을 근거로 차선이탈여부를 판단하고, 촬영영상에서 차선이 선의 형태로 존재하지 않는 경우에는 도로표지병을 검출하여 차선을 생성함과 더불어 이 생성된 차선을 근거로 차선이탈여부를 판단한다. 또한, 상기 신호처리수단(200)은 해당 차량이 차선을 이탈하였다고 판단되는 경우 차선이탈정보를 상기 경보출력수단(300)으로 제공한다.

상기 경보출력수단(300)은 상기 신호처리수단(200)으로부터 인가되는 차선이탈정보를 근거로 경보음을 출력하거나 경보램프를 출력하는 등의 다양한 방법으로 차선이탈상태를 출력한다. 상기 경보출력수단(300)은 차량의 핸들을 진동시키거나 또는 운전자의 안전밸트를 조이거나, 운전자의 핸드폰으로 전화를 거는 등의 각종 하드웨어 또는 소프트웨어적으로 구현된 각종 경보처리를 위한 수단으로 구성되어질 수 있다.

도3은 상기 신호처리수단(200)의 내부구성을 기능적으로 분리하여 나타낸 도면이다.

도3에 도시된 바와 같이 신호처리수단(200)은 카메라 캘리브레이션블럭(210)과, 차선추출블럭(220), 도로표지병 차선추출블럭(230), 차선확정블럭(240), 차선이탈판단블럭(250) 및, 차선후보영역결정블럭(260)을 포함하여 구성된다.

상기 카메라 캘리브레이션블럭(210)은 카메라(100)의 장착 각도와 같은 카메라의 특성정보를 파악한다. 일반적으로 카메라(100)로부터 입력된 영상에서 도로면과 전방 차선의 위치는 카메라의 장착 높이, 카메라의 각도, 카메라의 렌즈 및 센서의 특성에 의해 결정되며, 여기서 카메라의 렌즈 및 센서의 특성은 제작시 미리 결정되는 것으로 적절한 상수값을 통해 설정되고, 카메라의 높이는 장착위치에 따르므로 사용자에 의해 결정된다. 그러나, 카메라의 각도 지정은 시스템의 성능에 큰 영향을 미치는 것으로 차선의 지속성 여부를 이용하여 카메라의 각도가 설정된다. 즉, 본 발명에 있어서는 선의 지속성 여부를 서로 평행인 두 선의 검출이 임의의 프레임 동안 지속되면, 그 선을 차선으로 간주하고 그 선 성분을 이용하여 카메라의 장착 각도를 계산함으로써 카메라 캘리브레이션을 완료하게 된다.

상기 차선추출블럭(220)은 카메라(100)로부터 제공되는 촬영영상으로부터 예컨대, 탑햇 필터(Top-Hat Filter)를 이용하여 선 형태의 차선정보를 추출한다. 즉, 차선의 경우 일반적으로 국내는 약 15cm, 미국의 경우 약 10cm로 그려져 있는 바, 탑햇 필터를 통해 일정한 두께의 선을 하나의 선으로 검출함으로써 차선정보를 추출하게 된다. 또한, 차선은 일반적으로 흰색 또는 노란색으로써 도로보다 밝은 색으로 되어 있으므로 그레이 레벨이 높은 부분을 검출함으로써 차선을 용이하게 추출할 수 있게 된다. 또한, 상기 차선추출블럭(220)은 검출된 차선정보를 근거로 허프 변환을 이용하여 직선의 공식으로 변환한다. 여기서, 상기 허프 변환은 공학에서 일반적으로 직선 변환공식으로서 일반적으로 사용되는 공식이므로 자세한 설명은 생략한다.

상기 도로표지병 차선추출블럭(230)은 카메라(100)로부터 제공되는 촬영영상으로부터 페스트 코너(Fast Corner) 검출방법을 이용하여 도로표지병을 검출하고, 검출된 도로표지병을 이용하여 직선형태의 차선정보를 추출한다.

상기 도로표지병 차선추출블럭(230)은 도4에 도시된 바와 같이, 코너검출단계(231)와, 점 클러스터링단계(232)를 통해 도로표지병을 검출함과 더불어, 직선추출단계(233) 및 직선 클러스터링단계(234)를 통해 도로표지병을 통한 차선정보를 생성하게 된다.

1. 코너검출단계(231)

코너검출단계(231)는 Fast Corner Detection 방법을 이용하여 도로표지병의 코너를 검출하는 것으로, 현존 하는 Fast Corner Detection 방법은 검출되는 코너의 특성에 따라 검출코너의 수는 9개에서 12개까지 선택이 가능하다. 이때, 숫자가 적을수록 코너에 대한 개념이 약해 많은 수의 코너가 검출되며, 숫자가 큰 경우는 반대가 된다. 즉, 코너의 수가 9개로 설정되는 경우 오동작의 확률이 커지게 되므로, 적정하게 설정하는 것이 바람직하다. 또한, 이론적으로는 하나의 도로표지병에서 4개의 코너가 검출되는 것이 바람직하나, 촬영 거리나 촬영 영상의 화질, 조명 등으로 인하여 그 숫자는 가변적이 될 수 있다. 도5a는 일반적인 도로에서의 코너 검출결과를 도시한 것이다. 도5a에 도시된 바와 같이 하나의 도로표지병은 여러개의 코너를 갖는 것으로 검출되어지게 된다.

2. 점 클러스터링단계(232)

점 클러스터링단계(232)는 상기 코너검출단계(231)에서 검출된 여러개의 코너를 하나로 통합하는 기능을 수행한다. 즉, 여러개의 인접한 점을 하나로 묶어 하나의 점으로 표시한다. 도5b는 클러스터링 과정을 설명하기 위한 도면으로, 도시된 바와 같이 코너검출단계(231)에서 검출된 코너는 x,y좌표쌍으로 구성되며, 좌표쌍은 코너버퍼에 저장된다(가). 이어, 한 점과 다른 모든 점과의 거리를 구하여 그 거리가 임계치 이하인 경우 하나의 클러스터로 구성함으로써, 클러스터 버퍼를 형성한다(나). 이때, 하나의 클러스터에 속하는 점이 타 클러스터로 속하는 것을 방지하기 위하여 플래그버퍼의 값을 "1"로 설정한다(다). 즉, 플래그 버퍼의 값이 "1"로 설정된 경우에는 거리 계산에서 제외하게 된다. 도5c는 클러스터링 처리 후의 도로표지병 검출결과를 도시한 것이다.

3. 직선검출단계(233)

직선검출단계(233)는 상기 점 클러스터링단계(232)에서 검출된 클러스터들을 이용하여 도로표지병이 구성할 수 있는 직선 성분을 추출한다. 즉, 직선검출단계(233)에서는 두 점을 지나는 직선방정식을 통해 직선을 검출하게 된다. 예컨대, 도 5d는 클러스터링 된 도로표지병을 도시한 것으로, 좌측차선에서 총 4개의 클러스터가 검출되었다. 이 경우 직선검출단계(233)는 총 24개 (4×3×2×1=24)의 직선을 검출하게 된다. 이어, 직선검출단계(233)는 검출된 24개의 직선 중에서 좌측차선이므로 좌에서 우로 기울어진 형태의 직선성분만을 추출한다. 즉, "／"한 형태의 직선만을 추출하게 된다. 도5e는 좌측으로 기울어진 형태의 직선성분만을 검출한 결과, 즉 L1,L2,L3 의 3개 직선성분이 추출된 결과를 도시한 것이다.

4. 직선 클러스터링단계(234)

직선 클러스터링단계(234)는 검출된 다수의 직선 중 올바른 차선 선택을 선택하기 위한 기능을 수행한다. 예컨대, 도5f는 차선과 관련된 4개의 도로표지병을 도시한 것으로, 좌측 차선에 관련된 4개의 클러스터가 검출된 것이다. 이 경우 "／"형태의 모든 직선 공식은 ①과②, ①과③, ①과④, ②와③, ②와④, ③과④ 로서, 총 6개의 직선이 설정된다. 이때, 6개의 직선이 모두 동일 하다면 문제가 되지 않지만, 그 값이 서로 상이한 경우 직선 클러스터링단계(234)에서 이를 클러스터링하여 그 평균을 취합으로써, 적정한 차선을 선택하게 된다. 여기서, 직선의 클러스터링방법은 점 클러스터링단계(232)에서의 클러스터링과정과 동일하므로 그 설명은 생략한다. 즉, 직선 클러스터링단계(234)에서는 도5f의 점 클러스터를 근거로 도5g와 같이 하나의 차선을 결정하게 된다.

한편, 도3에서 차선확정블럭(240)은 이전 프레임에서 확정된 차선 또는 상기 차선추출블럭(220)이나 도로표지병 차선추출블럭(230)으로부터 인가되는 직선형태의 차선정보를 근거로 차선을 확정한다. 이때, 차선확정블럭(240)은 1. 양쪽 모두 차선이 존재하는지, 2. 왼쪽 또는 오른쪽 차선중 하나의 차선만 존재하는지, 3. 양쪽 모두 차선이 존재하지 않는지에 따라 다음과 같이 처리한다.

1. 양쪽 모두 차선이 존재하는 경우.

차선확정블럭(240)은 차선추출블럭(220)에서 차선이 모두 존재한다고 판단되는 경우, 검출된 여러 직선 중에서 실제 차선을 검출하는 기능을 수행한다. 실제 차선 검출은 직선의 각도와 거리를 근거로 판단하게 되며, 우선적으로 이전 프레임의 차선과 가장 유사한 차선을 검출하게 된다. 이때, 직선이 검출되지 않는 경우 도로표지병검출처리를 수행하도록 요구하게 된다. 이러한 경우는 실제 차선이 없는 상태에서 도로표지병이 아주 작은 선으로 입력되거나 차선 이외의 선이 검출되는 경우를 고려한 것이다.

2. 왼쪽 차선 또는 오른쪽 차선 중 하나의 차선만 존재하는 경우.

차선확정블럭(240)은 차선추출블럭(220)에서 하나의 차선 즉, 제1 차선만이 존재한다고 판단되는 경우 도로표지병 차선추출블럭(230)으로 도로표지병검출요청을 수행한다. 그리고, 도로표지병 차선추출블럭(230)으로부터 인가되는 제2 차선정보와 차선추출블럭(220)으로부터 인가된 제1 차선정보를 근거로 차선을 확정하게 된다. 이때, 제2 차선은 제1 차선과 기울기가 유사하면서 제1 차선과 일정 거리, 즉 차선 폭에 대응되는 거리만큼 이격된 곳에 위치한 차선으로 설정된다.

3. 차선이 존재하지 않는 경우.

차선확정블럭(240)은 차선추출블럭(220)에서 아무런 차선이 존재하지 않는다고 판단되는 경우 도로표지병 차선추출블럭(230)으로 도로표지병검출요청을 수행한다. 이때, 차선확정블럭(240)은 도로표지병 차선추출블럭(230)으로부터 차선정보가 인가되지 않을 경우 이전 프레임에서 차선이 확정되어 있는지를 확인하고, 이전 프레임에서 차선이 확정된 경우 이전 프레임에서 결정된 차선정보를 근거로 그대로 확정한다. 한편, 차선확정블럭(240)은 도로표지병 차선추출블럭(230)으로부터 차선정보가 인가되지 않고, 이전 프레임에도 차선이 확정되지 않은 경우, 그 이전 프레임의 차선을 확인하여 그 이전 프레임의 차선을 현재 차선으로 확정하게 된다. 단, 일정 수의 프레임, 예컨대 6프레임동안 차선이 지속적으로 결정되지 않을 경우에는 차선후보영역결정블럭(260)을 통해 초기 차선 결정모드를 수행하도록 요청하고, 차선후보영역결정블럭(260)을 통해 결정된 초기 차선을 차선으로 확정하게 된다.

또한, 도3에서 상기 차선이탈판단블럭(250)은 상기 차선확정블럭(240)에서 확정된 차선을 근거로 차량의 이탈여부를 판단한다. 즉, 차선이탈판단블럭(250)은 도6에 도시된 바와 같이 영상 좌표 중 일정 위치에 x축을 그은 후, 그 x축과 만나는 차선 방정식의 좌표를 추출하여 미리 정해 놓은 이탈 지점과 비교하여 차선이탈 여부를 판단하게 된다. 또한, 상기 차선이탈판단블럭(250)은 차량이 차선이 근접하는 경우 제1 이탈경보를 상기 경보출력수단(300)으로 출력하고, 차량이 차선을 이탈하는 경우 제2 이탈경보를 상기 경보출력수단(300)으로 출력한다.

상기 차선후보영역결정블럭(260)은 차선 확정블럭(250)에서 확정된 차선을 이용하여 다음 프레임에서 이용될 차선 후보 영역을 결정하는 기능을 수행한다. 이는 차선확정블럭(250)에서 차선확정을 위한 연산처리를 감소시킴으로써 차선확정에 따른 시스템 부하를 줄이도록 하기 위함이다. 여기서, 차선 후보 영역은 이전 프레임에서 확정된 차선만을 이용하여 결정될 수도 있고, 이전 프레임을 포함하여 적어도 하나 이상의 그 이전 프레임에서 확정된 차선을 이용하여 결정될 수 있다. 또한, 차선후보영역결정블럭(260)은 이전 프레임에서 차선이 확정되지 않은 경우 카메라(100)의 장착 각도를 이용하여 차선 후보 영역을 결정할 수 있다. 여기서, 상기 차선후보영역결정블럭(260)은 허프 변환에 의해 결정된 후보차선정보와 도로표지병검출에 의해 결정된 후보차선정보를 별도로 관리할 수 있다. 또한, 상기 차선후보영역결정블럭(260)은 차선이 확정되지 않는 경우 초기 차선을 검색하게 되는데, 이는 카메라 캘리브레이션블럭(210)에서 산출된 카메라(100)의 각도를 근거로 결정된 전방 차선이 된다.

이어, 상기한 구성으로 된 차선이탈경보시스템의 동작을 도7을 참조하여 설명한다.

먼저, 신호처리수단(200)은 시스템이 정상적으로 동작하기 위해 차량에 설치된 카메라 캘리브레이션 과정을 수행하게 된다(ST101). 이때, 상기 카메라 캘리브레이션 과정을 통해 카메라의 각도가 설정되며, 이를 근거로 카메라(100)를 통해 입력된 영상에서 도로면과 전방 차선의 위치가 결정된다.

상기 카메라 캘리브레이션 과정이 완료되면, 신호처리수단(200)은 카메라(100)로부터 인가되는 촬영영상으로부터 차선정보를 추출한다(ST102). 이때, 상기 차선정보는 실선 또는 점선이 될 수 있다.

또한, 상기 신호처리수단(200)은 상기 ST102단계에서 추출된 차선정보를 근거로 허프 변환을 통해 직선을 생성한다(ST103).

이때, 상기 신호처리수단(200)은 상기 ST102 및 103단계를 통해 생성된 직선, 즉 차선이 존재하는지를 확인한다(ST104).

상기 ST104단계에서 신호처리수단(200)은 1. 양쪽 모두 차선이 존재하는지, 2. 왼쪽 또는 오른쪽 차선 중 하나의 차선만 존재하는지, 3. 양쪽 모두 차선이 존재하지 않는지를 확인한다.

이때, 신호처리수단(200)은 상기 ST104단계에서 한쪽 또는 양쪽 차선이 존재하지 않는다고 판단되는 경우, 도로표지병검출을 수행하고, 검출된 도로표지병정보를 근거로 차선정보를 생성하게 된다(ST105,106).

한편, 상기 신호처리수단(200)은 양쪽 모두 차선이 존재하는 경우에는 해당 차선정보를 근거로 차선확정처리를 수행하고, 상기 ST104단계에서 한쪽 또는 양쪽 차선이 존재하지 않는다고 판단되는 경우 상기 도로표지병 정보를 근거로 생성된 차선정보를 이용하여 차선확정처리를 수행한다(ST107). 이때, 확정된 차선정보는 해당 프레임에 대응되도록 저장된다. 즉, 확정된 차선정보는 신호처리수단(200)의 차선후보영역결정블럭(260)을 통해 이후 프레임의 차선후보영역설정시 적용된다.

이어, 상기 신호처리수단(200)은 확정된 차선을 통해 현재 차량의 차선이탈여부를 판단한다(ST108).

이때, 신호처리수단(200)은 현재 차량이 차선에 일정 이상 근접하거나 또는 차선을 이탈하였다고 판단된 경우(ST109), 이에 대응되도록 제1 경보요구신호 또는 제2 경보요구신호를 경보출력수단(300)으로 제공한다.

이에 대해 경보출력수단(300)은 현재의 차량이탈 상태에 따라 차선이 근접한 경우 1차 경보를, 차선을 이탈한 경우 2차 경보를 출력하게 된다(ST110). 이때, 상기 경보출력수단은 1차 경보와 2차 경보를 서로 다른형태로 제공한다. 예컨대, 1차 경보와 2차 경보의 경보음을 서로 다르게 설정하거나, 또는 1차 경보는 경보음을 출력하고 2차 경보는 경보음과 핸들진동을 동시에 수행하도록 설정될 수 있다.

한편, 신호처리수단(200)은 상기 ST109단계에서 차량이 이탈된 상태가 아니라고 판단된 경우, 차량이 주행상태인지를 확인하여 주행중인 경우 카메라 촬영영상으로부터 차선정보를 추출하는 상기 ST102단계부터 이후 단계를 수행하여 계속적으로 차량의 이탈여부를 확인하게 된다(ST111).

또한, 신호처리수단(200)은 상기 ST111단계에서 차량이 주행중이 아니라고 판단되는 경우, 즉 차량의 시동이 꺼진 상태라고 판단되는 경우 카메라(100)의 촬영동작을 중지시킴과 더불어 차선후보영역으로 설정된 차선정보를 클리어시키는 등의 초기화처리를 수행하게 된다(ST112).

즉, 상기 실시예에 의하면 차선을 검출하여 차량의 차선이탈에 따른 경보처리를 수행하되, 도로표지병 형태로 구성된 차선에 대해서도 차선을 확정하여 차선이탈에 대한 경보처리를 수행할 수 있게 된다.

따라서, 운전자는 차량 주행시 차선이탈에 대하여 보다 신뢰성 있는 경보서비스를 제공받을 수 있게 된다.

100 : 카메라, 200 : 신호처리수단,
300 : 경보출력수단, 210 : 카메라 캘리브레이션블럭,
220 : 차선추출블럭, 230 : 도로표지병 차선추출블럭,
240 : 차선확정블럭, 250 : 차선이탈 판단블럭,
260 : 차선후보영역 결정블럭, 231 : 코너검출,
232 : 점 클러스터링, 233 : 직선추출,
234 : 직선 클러스터링,
C : 도로표지병, D : 도로면.

Claims (9)

1. 카메라와, 이 카메라를 통해 촬영영상을 근거로 차선을 검출하여 차선의 이탈여부를 판단하는 신호처리수단 및, 상기 신호처리수단으로부터 인가되는 차선이탈신호를 근거로 경보처리를 수행하는 경보처리수단을 포함하여 구성되는 차량이탈경보시스템에 있어서,
   상기 신호처리수단은 상기 카메라로부터 인가되는 촬영영상으로부터 선 형태의 차선표식을 검출하고, 검출된 차선정보를 근거로 직선변환을 수행하는 차선추출블럭과, 상기 카메라로부터 인가되는 촬영영상으로부터 도로표지병 형태의 차선표식을 검출하고, 검출된 차선정보를 근거로 직선변환을 수행하는 도로표지병 차선추출블럭, 상기 차선추출블럭 및 상기 도로표지병 차선추출블럭으로부터 인가되는 적어도 하나 이상의 직선정보 중 하나를 차선으로 확정하는 차선확정블럭 및, 상기 차선확정블럭에서 확정된 차선에 대해 해당 차량의 이탈여부를 판단하여 이에 대응되는 차량이탈신호를 상기 경보처리수단으로 제공하는 차량이탈판단블럭을 포함하여 구성되고,
   상기 도로표지병 차선추출블럭은 도로표지병의 코너에 대응되는 점 성분을 검출한 후, 검출된 다수의 점 성분 중 인접한 점 성분을 취합하여 하나의 점 클러스터를 생성하는 점 클러스터링을 수행하고, 점 클러스터링된 정보를 이용하여 생성된 다수의 직선 중 직선 클러스터링을 통해 하나의 차선을 추출하도록 구성되는 것을 특징으로 하는 차량이탈경보시스템.
2. 제1항에 있어서,
   상기 클러스터링은 촬영 영상으로부터 검출된 좌표쌍 형태의 초기정보에서 한 점/직선과 다른 모든 점/직선과의 거리를 구하여 그 거리가 임계치 이하인 경우 하나의 클러스터로 설정하는 것을 특징으로 하는 차량이탈경보시스템.
3. 제2항에 있어서,
   상기 클러스터링은 하나의 클러스터에 속하는 점/직선이 타 클러스터로 속하는 것을 방지하기 위하여 플래그버퍼의 값을 "1"로 설정하고, 플래그버퍼의 값이 "1"로 설정된 점/직선에 대해서는 거리 계산에서 제외하도록 구성되는 것을 특징을로 하는 차량이탈경보시스템.
4. 카메라와, 이 카메라를 통해 촬영영상을 근거로 차선을 검출하여 차선의 이탈여부를 판단하는 신호처리수단 및, 상기 신호처리수단으로부터 인가되는 차선이탈신호를 근거로 경보처리를 수행하는 경보처리수단을 포함하여 구성되는 차량이탈경보시스템의 차량이탈경보방법에 있어서,
   카메라로부터 인가되는 촬영영상으로부터 선형태의 차선표식을 검출하고, 이 검출된 차선표식을 근거로 직선변환을 수행하여 차선을 추출하는 제1 단계와,
   상기 제1 단계에서 차선이 존재하는지를 판단하는 제2 단계,
   상기 제2 단계에서 적어도 하나 이상의 차선이 존재하지 않는다고 판단되는 경우 도로표지병의 코너에 대응되는 점 성분을 검출하고, 검출된 다수의 점 성분 중 인접한 점 성분을 취합하여 하나의 점 클러스터를 생성하며, 점 클러스터링된 정보를 근거로 생성된 다수의 직선정보에 대해 클러스터링처리를 수행함으로써 도로표지병 형태에 대한 차선을 추출하는 제3 단계,
   상기 제1 단계 또는 제3 단계를 통해 인가되는 차선정보를 근거로 차선을 확정하는 제4 단계,
   상기 제4 단계에서 확정된 차선을 근거로 해당 차량이 차선을 이탈하였는지를 판단하는 제5 단계,
   상기 제5 단계에서 차선을 이탈하였다고 판단되는 차량이탈 경보처리를 수행하는 제6단계를 포함하여 구성되는 것을 특징으로 하는 차량이탈경보방법.
5. 제4항에 있어서,
   상기 제 3 단계에서 클러스터링처리는 촬영 영상으로부터 검출된 좌표쌍 형태의 초기정보에서 한 점/직선과 다른 모든 점/직선과의 거리를 구하여 그 거리가 임계치 이하인 경우 하나의 클러스터로 설정하는 것을 특징으로 하는 차량이탈경보방법.
6. 제5항에 있어서,
   상기 클러스터링처리는 하나의 클러스터에 속하는 점/직선이 타 클러스터로 속하는 것을 방지하기 위하여 플래그버퍼의 값을 "1"로 설정하고, 플래그버퍼의 값이 "1"로 설정된 점/직선에 대해서는 거리 계산에서 제외하는 것을 특징을로 하는 차량이탈경보방법.
7. 카메라의 촬영영상으로부터 도로표지병의 코너에 대응되는 점 성분을 검출하는 제101 단계와,
   상기 제101단계에서 검출된 다수의 점 성분 중 인접한 점 성분을 취합하여 하나의 점 클러스터를 생성하는 제102단계,
   상기 제102단계에서 점 클러스터링된 정보를 근거로 직선정보를 생성하는 제103단계 및,
   상기 제103단계에서 생성된 다수의 직선정보에 대해 클러스터링처리를 수행하여 하나의 차선을 추출하는 제104단계를 포함하여 구성되는 것을 특징으로 하는 도로표지병 차선 검출방법.
8. 제7항에 있어서,
   상기 제101단계 및 상기 104단계의 클러스터링처리는 촬영 영상으로부터 검출된 좌표쌍 형태의 초기정보에서 한 점/직선과 다른 모든 점/직선과의 거리를 구하여 그 거리가 임계치 이하인 경우 하나의 클러스터로 설정하는 것을 특징으로 하는 도로표지병 차선 검출방법.
9. 제7항 또는 제8항에 있어서,
   상기 클러스터링처리는 하나의 클러스터에 속하는 점/직선이 타 클러스터로 속하는 것을 방지하기 위하여 플래그버퍼의 값을 "1"로 설정하고, 플래그버퍼의 값이 "1"로 설정된 점/직선에 대해서는 거리 계산에서 제외하는 것을 특징으로 하는 도로표지병 차선 검출방법.

Images