KR20200143582A - 차선이탈 경고 시스템 - Google Patents

Abstract

차선이탈 경고 시스템이 개시된다. 본 발명의 시스템은, 디스플레이부; 오디오부; 차량 전면의 영상을 획득하는 카메라부; 상기 차량 전면의 영상으로부터 적합차선 및 차선의 수평선에 대한 각(차선각)을 선택하는 영상처리부; 및 상기 적합차선 및 차선각을 상기 카메라부로부터 수신하는 영상에 합성하여 이를 상기 디스플레이부에 디스플레이하고, 상기 영상내 차량의 타이어의 위치와 상기 적합차선이 중첩되는 경우, 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어하는 제어부를 포함한다.

Description

차선이탈 경고 시스템{Lane departure warning system}

본 발명은 차선이탈 경고 시스템에 대한 것이다

차량의 주행 중 발생할 수 있는 각종 사고의 예방과 경감을 위해 첨단 주행 편의 시스템(advanced driver assistance system, ADAS)에 대한 개발이 이루어지고 있다.

이중, 최근 대형차의 사건 및 사고로 인해 차선이탈 경고 시스템의 대형차에 대한 접근이 빠르게 이루어지고 있으며, 정보의 교통사고 감소정책과 맞물려 자동차 산업의 핵심 키워드로 부각되고 있다.

차선이탈 경고 시스템은, 운전중 주행차량이 전화통화 및 부주의 등 운전자의 의도와는 무관하게 주행차량이 도로의 차선을 벗어나는 경우, 이를 미리 감지하여 차량이 차선을 이탈하기 이전에 운전자에게 경고하는 것이다. 그러나, 종래의 차선이탈 경고 시스템은, 카메라가 차선을 인식하는 것이 불분명하여 차선의 인식이 부정확한 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 정확하게 차선을 감지하여 차선의 이탈 경고 정확도를 높임으로써 자동차의 사고를 미연에 방지하고, 주행의 안정성 및 편의성을 제공하는 차선이탈 경고 시스템을 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 차선이탈 경고 시스템은, 디스플레이부; 오디오부; 차량 전면의 영상을 획득하는 카메라부; 상기 차량 전면의 영상으로부터 적합차선 및 차선의 수평선에 대한 각(차선각)을 선택하는 영상처리부; 상기 적합차선 및 차선각을 상기 카메라부로부터 수신하는 영상에 합성하여 이를 상기 디스플레이부에 디스플레이하고, 상기 영상내 차량의 타이어의 위치와 상기 적합차선이 중첩되는 경우, 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어하는 제어부를 포함할 수 있다.

본 발명의 일실시예에서, 상기 영상처리부는, 적녹청(RGB) 방식의 상기 차량 전면의 영상을 YUV 방식으로 변환하는 전처리부; 전처리된 영상의 에지로부터 차선을 추출하는 차선추출부; 추출된 차선을 중심으로 하는 관심영역(ROI)을 설정하는 ROI 설정부; 및 상기 ROI에서, 상기 차선추출부에 의해 추출된차선으로부터, 차선의 폭을 이용하여 적합차선을 선택하고, 차선각을 결정하는 차선선택부를 포함할 수 있다.

본 발명의 일실시예에서, 상기 영상처리부는, 칼만필터와 차량의 역학모델을 이용하여 상기 차선선택부에 의해선택된 적합차선을 추적하는 차선 추적부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제어부는, 차량의 방향지시등이 점등되지 않은 경우에, 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어할 수 있다.

본 발명의 일실시예에서, 상기 제어부는, 상기 차선각이 소정 한계각을 벗어나는 경우 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어할 수 있다. 이때 제어부는, 본 발명의 일실시예에서, 상기 제어부는, 차량의 좌측차선을 벗어나는 경우의 한계각과 우측차선을 벗어나는 경우의 한계각을 각각 달리 설정할 수 있다.

상기와 같은 본 발명은, 트럭이나 버스와 같은 대형차량에 적용됨으로써, 사용자의 부주의에 의해 차선을 이탈하는 경우에도 즉각 경고표시 및 경고음이 출력되도록 하여, 차량의 사고를 미연에 방지하고, 이에 의해 차량주행의 안전성과 사용자의 편의성을 극대화하는 효과가 있다.

도 1은 본 발명의 일실시예의 차선이탈 경고 시스템의 구성도이다.
도 2는 본 발명의 일실시예의 차선이탈 경고 시스템이 차량에 구현되는 것을 설명하기 위한 일예시도이다.
도 3은 본 발명의 일실시예의 영상처리부의 상세 구성도이다.
도 4a는 도 3의 전처리부에 입력되는 영상의 일실시예이고, 도 4b는 전처리부에 의해 전처리된 영상의 일실시예를 나타내는 것이다.
도 5는 도 3의 ROI 설정부에 의해 설정된 ROI 영상의 일예이다.
도 6은 차선선택부에 의해 선택된 적합차선 및 차선각이 디스플레이되는 것의 일실시예를 나타내는 것이다.
도 7은 차선이탈을 결정한 제어부에 의해 디스플레이부에 디스플레이되는 경고표시의 일예시도이다.

본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설 명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.

'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현 하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시 예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당

기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하에서는, 도 1 내지 도 7을 참조하여 본 발명의 일실시예에 따른 차선이탈 경고 시스템을 설명하기로 한다.

도 1은 본 발명의 일실시예의 차선이탈 경고 시스템의 구성도이고, 도 2는 본 발명의 일실시예의 차선이탈 경고 시스템이 차량에 구현되는 것을 설명하기 위한 일예시도이다.

도 1을 참조로 하면, 본 발명의 일실시예의 시스템은, 카메라부(10), 영상처리부(20), 제어부(30), 디스플레이 부(40), 오디오부(50) 및 스위치부(60)를 포함할 수 있다.

도 2에 도시된 바와 같이, 카메라부(10)는 룸미러의 배면에 배치되어, 차량의 전면의 영상을 촬영하는 것이다.

룸미러는 운전자가 차량 뒤쪽의 움직임을 잘 볼 수 있도록 차량의 내부의 운전석과 조수석 사이의 중간 지점 위쪽에 설치하는 미러이며, 카메라부(20)는 차량 전면의 영상을 촬영가능하게 룸미러의 배면에 배치될 수 있을 것이다. 다만, 이는 예시적인 것으로서, 차량 전면에서의 영상을 획득할 수 있는 어떠한 위치에도 카메라부(10)가배치될 수 있을 것이다. 또는 카메라부(10)는 블랙박스(도시되지 않음)의 카메라부일 수도 있다.

디스플레이부(40) 및 오디오부(50)는 운전자와 조수석 사이의 대시보드에 설치될 [0026] 수 있으며, 스위치부(60)는 대시보드에 설치되거나 또는 핸들에 설치될 수도 있다. 또, 영상처리부(20)와 제어부(30)는 제어기 영역 네트워크 (controller area network, CAN)를 통해 각 구성요소와 연결되며, 차량의 하부에 배치될 수 있을 것이다.

다만, 위에서 설명한 구성요소의 배치와 관련해서는, 예시적인 것으로서, 차량의 다양한 위치에 배치될 수 있음 은 자명하다.

카메라부(10)는 위에서 설명한 바와 같이, 차량 전면의 영상을 획득할 수 있다. 카메라부(10)는 예를 들어 CMOS(Complementary metal oxide semiconductor) 또는 CCD(Charge-Coupled Device)와 같은 영상센서를 포함하는 카메라모듈로 구성될 수 있다.

영상처리부(20)는 도로의 차선을 중심으로 관심영역(region of interest, ROI)을 설정하고, 해당 ROI에서 차선을 선택하여, 이를 추적할 수 있다. 이에 대해 도면을 참조로 더욱 상세하게 설명하기로 한다.

도 3은 본 발명의 일실시예의 영상처리부의 상세 구성도이다. 도면에 도시된 바와 같이, 본 발명의 일실시예의 영상처리부(20)는, 전처리부(21), 차선추출부(22), ROI 설정부

(23), 차선선택부(24) 및 차선추적부(25)를 포함할 수 있다.

전처리부(21)는, 카메라부(10)로부터 입력되는 적녹청(RGB) 방식의 영상을 YUV 방식으로 변환할 수 있다. YUV방식은 휘도 신호(Y)와 색차 신호(U,V)로 색을 표현하는 방식을 말하며, YUV 방식으로 영상을 표현하는 것에 의해 노란색과 파란색 차선의 표시를 강화할 수 있다. 도 4a는 도 3의 전처리부(21)에 입력되는 영상의 일실시 예이고, 도 4b는 전처리부(21)에 의해 전처리된 영상의 일실시예를 나타내는 것이다.

차선추출부(22)는 전처리된 영상의 에지를 구하여, 이로부터 차선을 추출할 수 있다. ROI 설정부(23)는 차선추출부(22)에 의해 추출된 차선을 중심으로 하는 ROI를 설정할 수 있다. 즉, ROI는 카메라부(10)에 의해 획득된 영상에서 차선을 중심으로 설정된 영역으로서, 그 외 영역은 고려하지 않게 되므로 영상처리에 소요되는 데이터를 줄일 수 있다. 도 5는 도 3의 ROI 설정부(23)에 의해 설정된 ROI 영상의 일예이다.

차선선택부(24)는 카메라부(10)에 의해 획득된 영상에서 차선을 중심으로 하는 ROI에서 차선을 선택할 수 있다.

이때 차선선택부(24)는, 차선추출부(22)에 의해 추출된 차선으로부터, 차선의 폭을 이용하여 적합차선을 선택하고, 수평선에 대한 차선의 각(차선각)을 결정할 수 있다. 도 6은 차선선택부(24)에 의해 선택된 적합차선 및 차선각이 디스플레이되는 것의 일실시예를 나타내는 것이다. 도면에 도시된 바와 같이, 본 발명의 차선선택부(24)에 의해 선택된 적합차선 및 차선각이 표시되고 있음을 알 수 있다.

이와 같이 선택된 적합차선 및 차선각은 제어부(30)에 제공되며, 제어부(30)는 카메라부(10)로부터 수신하는 영상에 적합차선 및 차선각을 합성하여 디스플레이부(40)가 디스플레이 하도록 할 수 있다.

차선추적부(25)는 일단 선택된 적합차선을 추적할 수 있으며, 차선추적부(25)의 추적에 의해 각각의 영상 프레임마다 적합차선을 선택하지 않아도 되므로, 처리되는 데이터의 양을 줄일 수 있다. 차선추적부(25)는 칼만필터 와 차량의 역학모델을 이용하여 적합차선을 추적하며, 소정 시간 이상 입력되는 차선이 없는 경우 차선의 추적 을 종료하고 차선선택부(24)에 의해 새로운 적합차선을 선택할 수 있다. 제어부(30)는, 위에서 설명한 바와 같이, 차선선택부(24)에 의해 선택된 적합차선 및 차선각을 카메라부(10)에 의해 획득된 영상에 합성하여 디스플레이부(40)에 디스플레이하고, 운전자의 의도와 무관하게 주행차량이 도로 의 차선을 벗어나는 경우 이를 감지하여 차량이 차선을 이탈하기 전에 운전자가 확인할 수 있도록 경고표시를 디스플레이부(40)에 디스플레이하고, 경고음을 오디오부(50)를 통해 출력할 수 있다. 구체적으로 제어부(30)는, 차량의 좌우 방향지시등을 사용자가 켜지 않고 차선을 변경하는 경우, 디스플레이부 (40)에 경고표시를 디스플레이하고, 오디오부(50)를 통해 경고음을 출력할 수 있다. 차량의 좌우 방향지시등을 켰는지 여부는, 차량의 전자제어장치(electronic control unit, ECU)(도시되지 않음)로부터 수신할 수 있으며, 차량의 ECU와 제어부(30)는 CAN을 통해 통신을 수행할 수 있을 것이다.

이때, 제어부(30)는 영상처리부(20)에 의해 선택된 차선과 타이어의 위치가 영상내에서 중첩되는 경우, 차선을 변경하는 것으로 결정하여, 디스플레이부(40)에 경고표시를 디스플레이하고, 오디오부(50)를 통해 경고음을 출력할 수 있다. 차선과 타이어가 맞닿는 것은, 카메라부(10)로부터 입력되는 영상을 통해 타이어의 위치를 추정 할 수 있으며, 추정된 타이어의 위치와 차선의 위치가 중첩되는 경우 이를 타이어와 차선이 맞닿는 것으로 결정 할 수 있을 것이다. 보통 카메라부(10)의 위치는 고정되어 있으므로, 카메라부(10)에 의해 촬영되는 영상에서 차량의 위치 및 차량의 타이어의 위치는 미리 결정되어 제어부(30)에 제공될 수 있을 것이다.

이때 제어부(30)는 차량 전체의 반에 해당하는 영역이 차선을 이탈하는 시점에서 [0041] 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음의 출력을 해제할 수 있다. 또한, 제어부(30)는 영상내의 차선각이 소정 한계각을 벗어나는 경우에 디스플레이부(40)에 경고표시를 디스플레이하고, 오디오부(50)를 통해 경고음을 출력할 수 있다. 차선각이 소정 한계각을 벗어나는 것은 차량이 차선과 평행하게 주행하지 않는다는 것을 의미하는 것이므로, 제어부(30)는 차선각이 소정 한계각을 넘어서는 경우 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음의 출력을 수행하는 것이다.

이때, 카메라부(10)의 배치 위치에 따라, 주행중 차량의 왼쪽의 차선을 벗어나는 경우와 오른쪽의 차선을 벗어나는 경우에 대한 한계각은 각각 다르게 설정될 수 있을 것이다.

도 7은 차선이탈을 결정한 제어부(30)에 의해 디스플레이부(40)에 디스플레이되는 경고표시의 일예시도이다. 도면에 도시된 바와 같이, 경고표시가 디스플레이되는 외에, 적합차선의 색상이 평상시와는 다르게 디스플레이 될 수도 있을 것이다.

다만, 제어부(30)는 차선과 타이어의 위치가 중첩되는 경우에도, 차량의 ECU로부터 방향지시등이 작동하고 있는 것을 확인한 경우에는 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음을 출력하지 않을 수 있다.

또, 제어부(30)는 차선이 훼손되는 등의 이유로 카메라부(10)로 입력되는 차선의 영상이 존재하지 않는 경우에는 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음을 출력하지 않을 수 있다.

주행 중 차선이 일정 구간 훼손되어 디스플레이부(40)를 통해 디스플레이되는 영상에는 차선은 없지만, 차선추적부(25)가 차선의 추적을 해제하는 소정 시간 이전인 경우 차선선택부(24)에 의해 선택된 적합차선은 계속 디스플레이부(40)를 통해 디스플레이되는 상태이다. 이 경우, 카메라부(10)로부터 차선의 입력이 없는 경우에는 차선추적부(25)에 의해 추적 되는 차선과 타이어의 위치가 중첩되는 경우에도 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음을 출력하지 않을 수 있다.

또, 제어부(30)는 차량의 ECU로부터 수신하는 차량의 속도가 설정 속도(예를 들어 60Km/h)인 경우, 차선과 타이어의 위치가 중첩되는 경우에도 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음을 출력하지 않을 수 있다.

[또한, 차량의 위치모듈(GPS)과 GPS 위성이 연결되지 않아 차량의 ECU가 속도를 감지하지 못하는 경우, 차선과 타이어의 위치가 중첩되는 경우에도 디스플레이부(40)의 경고표시 및 오디오부(50)의 경고음을 출력하지 않을 수 있다.

한편 스위치부(60)는 사용자가 조작가능한 위치에 배치되어, 제어부(30)를 온 또는 오프로 함으로써, 차선이탈경고 시스템이 작동 또는 비작동되도록 할 수 있다.

이와 같은 본 발명의 차선이탈 경고 시스템은, 트럭이나 버스와 같은 대형차량에 적용됨으로써, 사용자의 부주 의에 의해 차선을 이탈하는 경우에도 즉각 경고표시 및 경고음이 출력되도록 하여, 차량의 사고를 미연에 방지 할 수 있다. 이에 의해 차량주행의 안전성과 사용자의 편의성을 극대화할 수 있다. 이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.

10: 카메라부 20: 영상처리부
30: 제어부 40: 디스플레이부
50: 오디오부 60: 스위치부
21: 전처리부 22: 차선추출부
23: ROI 설정부 24: 차선선택부 25: 차선추적부

Claims (1)

1. 디스플레이부 오디오부 차량 전면의 영상을 획득하는 카메라부 상기 차량 전면의 영상으로부터 적합차선 및 차선의 수평선에 대한 각(차선각)을 선택하는 영상처리부 및 상기 적합차선 및 차선각을 상기 카메라부로부터 수신하는 영상에 합성하여 이를 상기 디스플레이부에 디스플레이하고, 상기 영상내 차량의 타이어의 위치와 상기 적합차선이 중첩되는 경우, 상기 디스플레이부가 경고표시를디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어하는 제어부를 포함하는 차선이탈 경고 시스템이며 제1항에 있어서, 상기 영상처리부는, 적녹청(RGB) 방식의 상기 차량 전면의 영상을 YUV 방식으로 변환하는 전처리부; 전처리된 영상의 에지로부터 차선을 추출하는 차선추출부; 추출된 차선을 중심으로 하는 관심영역(ROI)을 설정하는 ROI 설정부; 및 상기 ROI에서, 상기 차선추출부에 의해 추출된 차선으로부터, 차선의 폭을 이용하여 적합차선을 선택하고, 차선각을 결정하는 차선선택부를 포함하는 차선이탈 경고 시스템. 제2항에 있어서, 상기 영상처리부는, 칼만필터와 차량의 역학모델을 이용하여 상기 차선선택부에 의해 선택된 적합차선을 추적하는 차선추적부를 더 포함하는 차선이탈 경고 시스템, 제1항에 있어서 상기 제어부는, 차량의 방향지시등이 점등되지 않은 경우에, 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어하는 차선이탈 경고 시스템, 제1항에 있어서, 상기 제어부는, 상기 차선각이 소정 한계각을 벗어나는 경우 상기 디스플레이부가 경고표시를 디스플레이하고 상기 오디오부가 경고음을 출력하도록 제어하는 차선이탈 경고 시스템, 제5항에 있어서, 상기 제어부는, 차량의 좌측차선을 벗어나는 경우의 한계각과 우측차선을 벗어나는 경우의 한계각을 각각 달리 설정하는 차선이탈 경고 시스템

Images