KR20100104495A - 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템 - Google Patents

Abstract

본 문서는 차량 주행 시의 날씨, 조도, 노면 상태 등에 따라 차선 인식이 어려운 경우에도 이전에 차선 인식이 되었을 때 생성한 차선폭 정보를 이용하여 가상차선을 적용함으로써 가상차선을 기준으로 차선 이탈 경보를 운전자에게 제공해 줄 수 있는 차선 이탈 경보 시스템 및 그 방법을 제공한다. 이로써 차선 인식이 되지 않더라도 운전자에게 차선 이탈 경보를 제공할 수 있을 것이다.

차선이탈, 가상차선, 차선폭

Description

가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템{A LANE DEPARTURE WARNING SYSTEM USING A VIRTUAL LANE AND A SYSTEM ACCORDING TO THE SAME}

본 발명은 차량에 관한 것으로 보다 구체적으로 주행 중 차량의 차선 이탈 경보에 관한 것이다.

최근에 생산되는 자동차에는 안전운행을 위한 다양한 시스템이 적용되거나 적용을 위한 개발이 진행되고 있는데 그 중의 하나가 운전자의 운전 부주의로 자동차가 차선을 이탈하게 되었을 경우에 이를 운전자에게 경고하기 위해 차선 이탈 경보 장치이다. 차선 이탈 경보 시스템의 종류로는 인사이드 미러 근처에 위치한 카메라를 이용한 방식과 트렁크에 위치한 후방 카메라를 이용한 방식, 그리고 차량 하부에 설치된 광센서를 이용한 차선검출 방식 등이 있다. 현재 개발되고 있는 차선이탈 경보 시스템은 인사이드 미러 근처에 위치한 카메라를 이용한 방식이 대부분이다.

이러한 차선 이탈 경보 시스템은 차선 인식을 위해서 카메라를 이용하기 때문에 차량 주행 시의 날씨, 조도, 노면 상태 등에 따라 차선을 인식하는 성능의 차 이가 많이 나게 되는데 예를 들어, 도 1의 (a)에 도시된 바와 같이 터널이나 국도 등에서는 노면의 먼지, 차선의 노후 등에 의해 한쪽 차선(1)을 찾지 못하거나 (b) 나 (c)에 도시된 바와 같이 주행 차선(2, 4)이 아닌 옆 주행 차선(3)이나 표시물(5) 가장자리 등을 차선으로 오인식하는 경우가 많다. 또한, (d)에 도시된 바와 같이 가드레일의 그림자(6)에 의해 차선이 가려서 인식하지 못하게 되는 경우도 발생할 수 있다.

종전기술의 경우 카메라를 이용한 차선 이탈만을 검지하여 경보함으로써 차선이 검출이 되지 않는 도로에서 주행중인 경우에는 경보를 수행하지 못하는 문제가 있고 또한, 인식된 차선의 정확성 여부를 확인하지 못하여 오경보를 많이 발생시키는 문제도 있다.

본 발명은 가상차선(Virtual Lane) 개념을 이용하여 한쪽 차선을 찾지 못하거나 차선을 오인식할 경우 예측된 가상차선을 이용하여 경보함으로서 개선된 차선이탈 경보 방법과 시스템 제공을 해결 과제로 한다.

상술한 과제를 해결하기 위한 일 수단으로서의 차선 이탈 경보 시스템은 영상을 생성하는 카메라부 및 주행 중 상기 영상에서 차선을 인식하고, 인식된 차선을 이탈하는 경우 경보 신호를 송신하되, 상기 차선을 인식할 수 없는 경우 가상차선을 생성하여 차선 이탈 여부를 판단하는 영상처리부를 포함한다.

상기 영상 처리부는, 좌측 차선과 우측 차선 중 하나를 기준으로 차선폭만큼 떨어진 상대측에 가상차선을 생성하는 가상차선 생성 모듈 및 상기 인식된 차선 및 가상차선 중 하나를 기준으로 주행 중인 차선을 이탈하는지 여부를 판정하는 차선 이탈 판정 모듈을 더 포함할 수 있다.

상기 영상 처리부는, 상기 영상에서 차선을 인식하는 차선 인식 모듈, 설정된 차선 조건을 기준으로 상기 차선의 인식 여부를 판별하는 차선 인식 판별 모듈 및 상기 차선이 인식된 경우 상기 인식된 차선 정보를 이용하여 차선폭을 연산하는 차선폭 연산 모듈을 더 포함할 수 있다.

상기 차선폭 연산 모듈은, 좌측 차선과 우측 차선이 만나는 소실점을 이용하여 도로면과 상기 카메라 사이의 장착각도를 결정하고, 상기 장착각도를 이용하여 픽셀당 거리를 산출하여, 상기 픽셀당 거리와 차선폭에 상응하는 픽셀 수를 곱한 값을 상기 차선폭으로 결정할 수 있다.

상기 차선 인식 판별 모듈은, 상기 결정된 차선폭이 기준시간 이상 지속되는지 여부, 좌측 차선 및 우측 차선이 모두 인식되는지 여부, 및 인식된 차선의 기울기가 기준값 이상인지 여부를 고려하여 상기 차선의 인식 여부를 판별할 수 있다.

상술한 과제를 해결하기 위한 다른 수단으로서의 차선 이탈 경보 방법은, 주행 중 차선을 인식하는 차선 인식 단계, 설정된 차선 조건을 기준으로 상기 차선의 인식 여부를 판별하는 차선 인식 판별 단계, 상기 차선이 미인식/오인식된 경우 좌측 차선과 우측 차선 중 하나를 기준으로 차선폭만큼 떨어진 상대측에 가상차선을 생성하는 가상차선 생성 단계, 상기 인식된 차선 및 가상차선 중 하나를 기준으로 주행 중인 차선을 이탈하는지 여부를 판정하는 차선 이탈 판정 단계 및 차선 이탈로 판정되는 경우 경보 신호를 생성하여 경보수단으로 송신하는 경보 단계를 포함한다.

상기 차선 인식 판별 단계에서, 상기 차선이 인식된 경우 상기 차선폭을 결정하는 단계를 더 포함할 수 있다.

상기 차선폭은 좌측 차선과 우측 차선이 만나는 소실점을 이용하여 도로면과 상기 카메라 사이의 장착각도를 결정하고, 상기 장착각도를 이용하여 픽셀당 거리를 산출하여, 상기 픽셀당 거리와 차선폭에 상응하는 픽셀 수를 곱한 값으로 결정될 수 있다.

상기 차선 인식 판별 단계는, 상기 결정된 차선폭이 기준시간 이상 지속되는 지 여부, 좌측 차선 및 우측 차선이 모두 인식되는지 여부, 및 인식된 차선의 기울기가 기준값 이상인지 여부를 고려하여 상기 차선의 인식 여부를 판별할 수 있다.

본 발명에 따르면 차량 주행 시의 날씨, 조도, 노면 상태 등에 따라 차선 인식이 어려운 경우에도 가상차선을 적용하여 차선 이탈 경보를 운전자에게 제공해 줄 수 있는 효과가 있다.

또한, 차선폭을 계산하여 가상차선을 생성할 수 있는 효과가 있다.

또한, 가상 차선 개념을 주행 영상에 적용하여 분석하였을 때 전체 영상의 인식률에서 정확성을 상당히 높이게 되는 효과가 있다.

이하 도면을 참조하여 차량에 설치된 전방 카메라를 이용하여 주행 중 끼어드는 차량을 인식하는 감응식 순항 제어 시스템에 관한 본 발명의 실시예들을 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템의 구성도를 나타낸다. 그리고, 도 3 및 도 5는 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템에 따른 흐름도를 나타낸다.

먼저, 도 2를 참조하면 본 실시예에 따른 차선 이탈 경보 시스템은 영상을 생성하는 카메라부(200), 주행 중 카메라부(200)에서 생성되는 영상을 통해 차선을 인식하고, 인식된 차선을 이탈하는 경우 경보 신호를 송신하되, 카메라부(200)에서 생성되는 영상을 통해 차선을 인식할 수 없거나 설정된 차선 조건을 만족하지 않는 경우 가상차선을 생성하여 차선 이탈 여부를 판단하는 영상 처리부(240)를 포함한다.

그리고, 카메라부(200)에서 생성된 영상을 수신하는 영상 수신부(210), 영상 수신부(210)로부터의 영상에 대한 원본 영상의 이미지 정보를 RGB 방식으로 또는 YCrCb 방식 등으로 저장하는 원본 영상 저장 버퍼(220), 영상 처리부(240)로부터 인식된 차선 정보 예를 들어, 이미지 상 차선 위치 정보나 차선폭 정보 등을 저장하는 차선 인식 처리 버퍼(230), 및 영상 처리부(240)로부터의 경보 신호를 수신하여 버저, 램프, 시트벨트 등의 다양한 경보수단들을 구동시킬 수 있는 경보부(250)를 더 포함할 수 있다.

특히 본 실시예에 따른 영상 처리부(240)는, 카메라 영상을 통해 차선을 인식하는 차선 인식 모듈(241)과, 차선 인식 모듈(241)에서의 차선 인식 결과와 차선폭 연산 결과 등에 기초하여 설정된 차선 조건을 기준으로 차선이 인식되었는지 또는 미인식/오인식되었는지를 판별하는 차선 인식 판별 모듈(242)과, 차선 인식 모듈(241)에서 인식된 차선 정보를 이용하여 차선폭을 연산하고 이 차선폭 정보를 차선 인식 처리 버퍼(230)에 저장할 수 있는 차선폭 연산 모듈(243)을 포함할 수 있다.

또한, 본 실시예에 따른 영상 처리부(240)는, 차선 인식 판별 모듈(242)에서 차선이 미인식이나 오인식된 것으로 판별되는 경우에는 인식된 좌측 차선과 우측 차선 중 하나를 기준으로 차선폭 연산 모듈(243)에서 연산된 차선폭만큼 떨어진 상대측에 가상차선을 생성하는 가상차선 생성 모듈(244)을 포함할 수 있다.

또한, 본 실시예에 따른 영상 처리부(240)는, 차선 인식 모듈(241)에서 인식된 차선을 기준으로 해당 차량이 주행 중인 차선을 이탈하는지 여부를 판정하되, 차선 인식 판별 모듈(242)에서 차선 인식이 미인식이나 오인식인 것으로 판별되는 경우에는 가상차선 생성 모듈(244)에서 생성된 가상차선을 기준으로 차선을 이탈하는지 여부를 판정하는 차선 이탈 판정 모듈(245)을 포함하여 카메라 영상을 통해 차선 인식이 안되거나 잘못된 경우에도 가상차선을 통해 차선의 이탈 여부를 판단할 수 있다.

그리고, 본 실시예에 따른 영상 처리부(240)는, 차선 이탈 판정 모듈(245)로 부터 수신되는 차선 이탈 판정 신호에 따라 경보 신호를 생성하고 경보부(250)로 송신하여, 다양한 경보수단을 통해 운전자에게 차선 이탈 사실을 알림에 있어서, 차선 이탈 판정 신호 뿐만 아니라 예를 들어 멀티펑션 스위치 신호, 와이퍼 구동 신호 등을 고려하여 상황에 따라 경보를 결정하는 경보 결정 모듈(246)을 더 포함할 수 있다.

예를 들어, 차선 이탈 경보 시스템은 운전자의 차선 변경에 대한 의지없이 차선 이탈이 이루어질 경우 경보하는 시스템으로 턴신호 인가 후 차선이탈 시 정상적인 차선 변경으로 인정하여 경보를 수행하지 않는다. 그리고, 차선 이탈 경보 시스템 구동 스위치는 차선 이탈 경보 시스템 기능의 ON/OFF를 제어하고 멀티펑션 스위치는 턴신호를, 와이퍼 스위치는 폭우에 의한 차선 인식/미인식의 반복에 의한 오경보를 막기 위해 차선 이탈 경보 시스템 유니트의 동작을 제한한다. 클러스터는 차선 이탈 경보 시스템이 동작하는 기준 차속 정보를 제공하고 유니트에서 출력되 는 경보신호에 따라 경보음과 경보 표시 정보를 나타낸다.

도 2 및 도 3을 참조하면, 단계 S30에서 차선 이탈 경보 시스템의 전원이 들어오면 단계 S31에서 차선 이탈 경보 시스템 스위치의 설정에 따라 ON으로 설정되어 있는 경우 단계 S32로 진행하여 차선 인식 모듈(241)에서 카메라 영상을 통해 차선을 인식한다. 이때 차속이 일정속도 예를 들어 40KPH를 초과하는 경우에 차선인식이 시작하도록 설정할 수 있다.

차선 인식 모듈(241)에서 이루어지는 차선 인식은 입력된 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 내는 과정으로 볼 수 있다. 차선을 인식하기 위하여 예를 들어 에지(Edge) 필터, 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각 픽셀마다의 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 그리고, 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 찾는 방법이다.

에지 필터의 경우 필터링 후 잔상이 많이 남기 때문에 후처리 과정이 많이 필요하기 때문에 차선 강조 필터의 경우 에지 필터 대비 연산량이 적어 소형화할 수 있는 이점이 있다. 에지 필터의 경우 차선 강조 필터 대비 장점은 차선의 좌측차선이 가드레일 근처에 있으면서 그늘이 질 경우에도 차선 강조 필터 대비 차선을 잘 인식하는 특성이 있다. 그러나 차선이 흐리거나 환경이 안 좋은 경우 두 가지 필터 모두 이상적으로 차선을 인식하지는 못한다.

다양한 필터링 알고리즘을 이용하여 추출된 차선을 이용하여 최종 차선을 인 식하면 차선 인식 모듈(241)에서는 차선 정보, 예를 들어 최종 차선의 끝점에 대한 정보를 제공한다. 차선 경보를 수행하기 위해서 사용하는 알고리즘은 두 가지를 들 수 있다. 첫째는 인식된 차선 정보를 이용하여 탑뷰(top View) 좌표계로 변환하여 차선의 이탈을 검출하는 방법이 있고 둘째는 단순하게 차선의 기울기와 절편을 이용하여 경보를 수행하는 방법이 있다.

도 4는 차선 인식 결과에 따른 좌표를 표시한 사진이다. 도 4에서 차선 인식 결과는 우측 차선과 좌측 차선에 상응하는 두 개의 직선좌표로 주어지게 된다. 2D에서의 영상좌표(X,Y)는 일반 X,Y 좌표계와 비교할 때 Y축의 방향이 반대이다. 그리고, 두 직선이 교차점을 이루고 있기 때문에 도 4에서 우측끝점(X2,Y2)과 좌측끝점(X4,Y4)과 이 반대로 나타나는 것을 볼 수 있다. 차선 이탈 경보를 수행하는 알고리즘은 차선 인식 결과 좌표를 이용하여 좌/우 직선의 기울기를 구하고 구하여진 기울기를 Y 값이 프레임 최하단에 상응하는 좌표값, 예를 들어 Y=240일 때의 절편값으로 구하여 그 절편값이 경보범위 내에 위치하면 경보를 수행하도록 할 수 있다.

그리고, 본 실시예에 따른 차선 인식 판별 모듈(242)에서 단계 S33 내지 단계 S35를 통해 차선 인식 모듈(241)에서 차선이 인식되었는지 아니면 미인식 또는 오인식되었는지를 판단하는 과정을 거친다. 예를 들어, 단계 S33의 결정된 차선 정보가 지속성이 있는지 여부, 단계 S34의 좌측 차선 및 우측 차선이 모두 인식되는지 여부, 및 단계 S35의 인식된 차선의 기울기가 기준값 이상인지 여부 등을 고려하여 차선의 인식 여부를 판별할 수 있다. 단계 S33에서 지속적 인식 상태에서 갑 자기 차선폭이 증가한 경우는 차선을 오인식한 것이며, 예를 들어 차선폭이 기준시간 이상 지속되는지 여부로 판단할 수 있다. 그리고, 단계 S34에서 좌측 X축, 우측 X축 교점 중 변화가 심한 차선이 오인식된 차선이 될 것이다.

만약 차선 인식 판별 모듈(242)에서 단계 S33 내지 단계 S35의 차선 인식 판별 과정을 거친 후 차선이 인식된 것으로 판별된 경우에는 단계 S36으로 진행하여 차선 이탈 판정 모듈(245)에서 결정된 차선을 기준으로 주행 중인 차량이 차선을 이탈하는지를 판단하여 이탈로 판단되는 경우 단계 S37로 진행하여 차선 이탈을 알리는 경보 신호를 생성하여 경보부(250)로 전송한다. 이때 상술한 경보 결정 모듈(246)를 거쳐 와이퍼 구동 신호 등에 기초하는 다양한 정보를 조합하여 차선 이탈 경보를 낼지 결정할 수도 있을 것이다.

또한 차선 인식 판별 모듈(242)에서 단계 S33 내지 단계 S35의 차선 인식 판별 과정을 거친 후 차선이 인식된 것으로 판별된 경우에는 도 5의 단계 S50으로 진행하여 차선폭 연산 모듈(243)에서 단계 S50 내지 단계 S52를 거쳐 차선폭 또는 평균 차선폭을 연산한다.

단계 S50에서 좌측 차선과 우측 차선의 인식 결과를 이용하여 도로와 카메라 간의 장착각도를 계산한다. 도 6의 (a)에 도시된 바와 같이 도로면과 카메라(200)의 장착각도(Pitch Angle, θ)에 따라 좌측 차선과 우측 차선이 만나는 소실점(Vanishing Point)이 결정되고, 소실점의 위치에 따라 차선폭을 산정하는 기준치가 달라질 것이기 때문에, 차선폭을 계산할 때는 카메라(200)의 장착각도(θ)를 고려함이 바람직하다.

본 실시예에 따르면 소실점의 위치 대비 장착각도(θ)를 테이블화나 함수화하여, 양쪽 차선을 둘 다 인식했을 경우 실제 차선 인식 결과에서 구할 수 있는 소실점의 위치 즉, 좌표값을 이용하여 도로면과 카메라의 장착각도(θ)을 구한다. 예를 들어, 도 6의 (b)를 참조하면 소실점 위치 특히 X축 좌표값이 78픽셀, 58픽셀, 38픽셀 정도일 때 각각 카메라 장착각도(θ)는 5도, 7도, 9도로 결정될 수 있음을 확인할 수 있다.

이와 같이 장착각도(θ)를 계산하고 단계 S51에서 장착각도(θ)에 따른 픽셀당거리를 연산한다. 수회의 시뮬레이션 결과를 통해 예를 들어, 수학식 1에 나타낸 바와 같이 2차 함수의 비선형 방정식을 이용할 때 최적의 결과가 얻어짐을 확인할 수 있었다. 하지만, 2차 이상의 다차 함수로 적용할 수도 있음은 당연하다.

수학식 1에서 a,b,c는 임의의 계수로써 장착각도(θ) 값을 변수로 하는 다양한 시뮬레이션 결과에 기초하여 즉, 장착각도(θ)와 그때의 픽셀당거리 값에 대한 다수의 샘플을 획득하여 오차가 가장 적은 최적의 값으로 설정할 수 있을 것이다.

그리고, 단계 S52에서 영상 좌표상의 한 픽셀이 나타내는 거리 정보(픽셀당거리)와 차선인식 과정을 통해 인식된 좌측차선과 우측차선의 X절편의 차이 값 예를 들어, Y=240에서의 교점간의 차이를 곱하면 실제 차선의 폭을 구할 수 있다.

즉, 본 실시예에 따른 차선폭 연산 모듈(243)은, 좌측 차선과 우측 차선이 만나는 소실점을 이용하여 도로면과 상기 카메라 사이의 장착각도(θ)를 결정하고, 장착각도(θ)를 이용하여 픽셀당거리를 산출하여, 픽셀당거리와 차선폭에 상응하는 픽셀 수를 곱한 값을 차선폭으로 결정하고 이 값은 주기적으로 일정 거리마다 갱신할 수 있다.

도 7의 (a)는 카메라 영상을 통해 얻어지는 우측 차선의 X절편(71)과 좌측 차선의 X절편(72)의 프레임에 따른 변화를 나타내고, (b)는 이 우측 차선의 X절편 값(71)과 좌측 차선의 X절편 값(72)의 차이에 상술한 바와 같이 장착각도(θ) 값을 기초로 결정되는 픽셀당거리를 곱하여 결정되는 차선폭(73)의 프레임에 따른 변화를 나타낸다. 도 7의 (a)와 (b)에서 그 값의 변화가 급격하게 나타나는 구간(74)이 있는데 이는 차선 인식이 미인식이거나 오인식된 경우로 볼 수 있을 것이다.

상술한 바와 같이 차선폭 연산 모듈(243)에서 단계 S52를 거쳐 프레임 당 차선폭을 연산하여 생성되는 이 차선폭 값은 추후 가상차선 생성시 이용될 수 있을 것이다. 또는, 다수의 프레임 당 연산되는 차선폭에 대해 다양한 평균법을 이용하여 산출한 평균 차선폭을 차선 인식이 미인식이거나 오인식된 경우 가상차선을 생성하기 위해 이용할 수도 있음은 당연하다.

한편, 단계 S34에서 좌측, 우측 차선이 모두 인식되지 않은 경우 도 5의 단계 S53으로 진행하여 좌측 차선만 인식한 것인지, 그렇지 않으면 단계 S54에서 우측 차선만 인식한 것인지, 아니면 단계 S55에서 양측 차선을 모두 인식하지 못한 것인지를 판단한다. 양측 차선을 모두 인식하지 못한 것이면 차선 미인식으로 종료될 것이지만 좌측 차선 또는 우측 차선 하나만 인식된 상황이라면 단계 S56으로 진 행하여 가상차선 생성 모듈(244)에서 좌측 차선과 우측 차선 중 인식된 하나의 차선을 기준으로 차선폭만큼 떨어진 상대측에 가상차선을 생성하도록 한다. 이때의 차선폭은 상술한 차선폭 연산 모듈(243)에서 단계 S50 내지 단계 S52를 거쳐 연산되는 차선폭 또는 평균 차선폭이 사용됨이 바람직하다.

그리고, 카메라 영상을 통해서 직접 차선을 모두 인식할 수 없는 경우라고 하더라도 본 실시예에 따라 단계 S56에서 가상차선 생성 모듈(244)을 통해 생성되는 가상차선에 기초하여 도 3의 단계 S36에서는 주행중 차량이 차선을 이탈하는지 여부를 판단할 수 있게 된다.

도 8 및 도 9는 본 발명의 일 실시예에 따라 가상차선이 생성되는 예를 나타내는 그래프를 나타낸다. 도 8의 (a)는 카메라 영상을 통해 얻어지는 우측 차선의 X절편(81)과 좌측 차선의 X절편(83)뿐만 아니라 본 실시예에 따라 생성된 가상 우측 차선에 따른 X절편(82)의 프레임에 따른 변화를 나타낸다. 그리고, (b)는 이 우측 차선의 X절편 값(81)과 좌측 차선의 X절편 값(83)의 차이에 상술한 바와 같이 장착각도(θ) 값을 기초로 결정되는 픽셀당거리를 곱하여 실제로 결정되는 차선폭(85)과 본 실시예에 따른 차선폭 측정결과와 평균법을 이용하여 산출되는 평균 차선폭(86)에 대한 프레임에 따른 변화를 나타낸다. 도 8의 (a)와 (b)에서 그 값의 변화가 급격하게 나타나는 구간이 있으나 이 경우 차선 인식이 미인식이거나 오인식된 경우 판별되어 좌측 차선과 평균 차선폭 산출 결과에 기초하는 가상차선으로 대체되었음을 확인할 수 있다.

보다 구체적으로 도 9의 (a)는 상술한 도 8의 (a)와 유사하게 카메라 영상을 통해 얻어지는 우측 차선의 X절편과 좌측 차선의 X절편 뿐만 아니라 본 실시예에 따라 생성된 가상 우측 차선에 따른 X절편의 프레임에 따른 변화를 나타낸 것인데, (b) 및 (c)는 여기서 X절편 값의 변화가 급격하게 나타나 오인식으로 판별되는 일부 구간(91,92)에 대해 본 실시예에 따라 가상차선이 생성되어 화면에 적용되는 예를 나타낸 것이다. 도 9의 (b) 및 (c)에서 확인되는 바와 같이 본 실시예에 따른 가상차선의 도입으로 실제 영상에서는 확인할 수 없는 경우에도 실제와 거의 동일한 상태로 구현해 낼 수 있다.

도 9의 (b)에서 실제 도로상의 좌측 차선은 인식이 되었으나 우측 차선은 차선이 지워져 인식되지 못하였으나, 평균 차선폭 개념을 이용하여 차선을 예측하여 생성한 가상 차선을 나타내었다. 우측 가상 차선이 지워진 차선 부분에 거의 일치하는 것을 확인할 수 있었다. 그리고, (c)에서는 중앙선 가드레일 안쪽 차선을 오인식한 경우를 평균 차선폭 개념을 이용하여 차선을 예측하여 생성한 가상 차선을 나타내었다.

도 10은 차선 이탈 판정 방법을 설명하기 위한 도면이다.

본 실시예에 따르면 차선 이탈 판정 모듈(245)에서는 차선 검출 결과의 절편영역이 경보기준영역 내 위치할 경우에는 이는 차선을 이탈한 경우로서 운전자에게 경보하도록 동작한다. 이는 영상에서 검출한 차선 정보를 차량 좌표영역으로 변환한 로직도 동일하게 적용된다. 예를 들어, 도 10의 (a)에서 이미지 상에 좌측 경보영역과 우측 경보영역의 경보기준영역이 설정되고 도 10의 (b)나 (c)와 같이 좌측 차선이 좌측 경보영역에 들어오거나 우측 차선이 우측 경보영역에 들어오는 경우에 는 차선 이탈로 판정되어 운전자에게 경보한다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

도 1은 종래의 방법에 따른 문제점을 설명하기 위한 차선 인식 사진.

도 2는 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템의 구성도.

도 3은 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템에 따른 제1 흐름도.

도 4는 차선 인식 결과에 따른 좌표를 표시한 차선 인식 사진.

도 5는 본 발명의 일 실시예에 따른 차선 이탈 경보 시스템에 따른 제2 흐름도.

도 6은 본 발명의 일 실시예에 따라 소실점 위치를 통해 카메라 장착각도를 결정하는 방법을 설명하기 위한 도면.

도 7은 다수의 프레임의 차선의 X절편과 그에 따른 차선폭을 나타내는 그래프.

도 8은 본 발명의 일 실시예에 따라 다수의 프레임의 차선의 X절편과 그에 따른 차선폭을 나타내는 그래프.

도 9는 본 발명의 일 실시예에 따라 다수의 프레임의 차선의 X절편을 나타내는 그래프와 가상차선이 표시된 차선 인식 사진.

도 10은 차선 이탈 판정 방법을 설명하기 위한 도면.

<도면의 주요구성에 대한 부호의 설명>

200: 카메라부 210: 영상수신부

240: 영상처리부 241: 차선인식모듈

242: 차선 인식 판별 모듈 243: 차선폭 연산 모듈

244: 가상차선 생성 모듈 245: 차선 이탈 판정 모듈

246: 경보 결정 모듈 250: 경보부

Claims (9)

1. 영상을 생성하는 카메라부; 및

   주행 중 상기 영상에서 차선을 인식하고, 인식된 차선을 이탈하는 경우 경보 신호를 송신하되, 상기 차선을 인식할 수 없는 경우 가상차선을 생성하여 차선 이탈 여부를 판단하는 영상처리부

   를 포함하는, 차선 이탈 경보 시스템.
2. 청구항 1에 있어서,

   상기 영상 처리부는,

   좌측 차선과 우측 차선 중 하나를 기준으로 차선폭만큼 떨어진 상대측에 가상차선을 생성하는 가상차선 생성 모듈; 및

   상기 인식된 차선 및 가상차선 중 하나를 기준으로 주행 중인 차선을 이탈하는지 여부를 판정하는 차선 이탈 판정 모듈

   을 더 포함하는 것을 특징으로 하는, 차선 이탈 경보 시스템.
3. 청구항 1에 있어서,

   상기 영상 처리부는,

   상기 영상에서 차선을 인식하는 차선 인식 모듈;

   설정된 차선 조건을 기준으로 상기 차선의 인식 여부를 판별하는 차선 인식 판별 모듈; 및

   상기 차선이 인식된 경우 상기 인식된 차선 정보를 이용하여 차선폭을 연산하는 차선폭 연산 모듈

   을 더 포함하는 것을 특징으로 하는, 차선 이탈 경보 시스템.
4. 청구항 3에 있어서,

   상기 차선폭 연산 모듈은,

   좌측 차선과 우측 차선이 만나는 소실점을 이용하여 도로면과 상기 카메라 사이의 장착각도를 결정하고, 상기 장착각도를 이용하여 픽셀당 거리를 산출하여, 상기 픽셀당 거리와 차선폭에 상응하는 픽셀 수를 곱한 값을 상기 차선폭으로 결정하는 것을 특징으로 하는, 차선 이탈 경보 시스템.
5. 청구항 3에 있어서,

   상기 차선 인식 판별 모듈은,

   상기 결정된 차선폭이 기준시간 이상 지속되는지 여부, 좌측 차선 및 우측 차선이 모두 인식되는지 여부, 및 인식된 차선의 기울기가 기준값 이상인지 여부를 고려하여 상기 차선의 인식 여부를 판별하는 것을 특징으로 하는, 차선 이탈 경보 시스템.
6. 주행 중 차선을 인식하는 차선 인식 단계;

   설정된 차선 조건을 기준으로 상기 차선의 인식 여부를 판별하는 차선 인식 판별 단계;

   상기 차선이 미인식/오인식된 경우 좌측 차선과 우측 차선 중 하나를 기준으로 차선폭만큼 떨어진 상대측에 가상차선을 생성하는 가상차선 생성 단계;

   상기 인식된 차선 및 가상차선 중 하나를 기준으로 주행 중인 차선을 이탈하는지 여부를 판정하는 차선 이탈 판정 단계; 및

   차선 이탈로 판정되는 경우 경보 신호를 생성하여 경보수단으로 송신하는 경보 단계

   를 포함하는, 차선 이탈 경보 방법.
7. 청구항 6에 있어서,

   상기 차선 인식 판별 단계에서,

   상기 차선이 인식된 경우 상기 차선폭을 결정하는 단계를 더 포함하는 것을 특징으로 하는, 차선 이탈 경보 방법.
8. 청구항 7에 있어서,

   상기 차선폭은 좌측 차선과 우측 차선이 만나는 소실점을 이용하여 도로면과 상기 카메라 사이의 장착각도를 결정하고, 상기 장착각도를 이용하여 픽셀당 거리를 산출하여, 상기 픽셀당 거리와 차선폭에 상응하는 픽셀 수를 곱한 값으로 결정되는 것을 특징으로 하는, 차선 이탈 경보 방법.
9. 청구항 6에 있어서,

   상기 차선 인식 판별 단계는,

   상기 결정된 차선폭이 기준시간 이상 지속되는지 여부, 좌측 차선 및 우측 차선이 모두 인식되는지 여부, 및 인식된 차선의 기울기가 기준값 이상인지 여부를 고려하여 상기 차선의 인식 여부를 판별하는 것을 특징으로 하는, 차선 이탈 경보 방법.

Images