KR101936862B1

KR101936862B1 - 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법

Info

Publication number: KR101936862B1
Application number: KR1020110120178A
Authority: KR
Inventors: 하성욱; 박찬홍
Original assignee: 현대모비스 주식회사
Priority date: 2011-11-17
Filing date: 2011-11-17
Publication date: 2019-04-04
Also published as: CN103121448A; CN103121448B; KR20130054660A

Abstract

차선 인식 향상 시스템 및 그 방법이 개시된다. 이 시스템 및 방법은 차량의 전방 영상에서 검출된 전방 차선과 측방 영상에서 검출된 측방 차선의 개수가 동일한지 비교하며, 비교 결과 검출한 전방 차선의 개수가 검출한 측방 차선의 개수보다 적을 경우에는 검출한 전방 차선을 기준으로 미검출된 전방 차선에 대한 가상 차선을 생성한 후 차량이 그 검출된 전방 차선과 가상 차선을 이탈하는지 판단함으로써, 차선 인식률을 향상시킬 수 있다.

Description

차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법{System for improving the traffic lane recognition using a front image and side image of vehicle and method thereof}

본 발명은 차량용 시스템에 관한 것으로, 특히 차선을 검출하여 차량이 그 검출된 차선을 이탈하는지를 운전자에게 알릴 수 있는 차선 이탈 경보 시스템(Lane Departure Warning System, LDWS)에 관한 것이다.

차선 이탈 경보 시스템은 차량에 내장된 카메라를 통해 전방도로 영상을 획득하고, 그 영상에서 차선을 검출한 후, 차량이 그 검출된 차선을 이탈하려고 하면 경보음이 울리도록 하여 운전자가 주의력을 되찾게 도와주는 시스템이다. 차선 이탈 경보 시스템의 차선 이탈 경보 방법에 관한 발명이 한국특허공개공보 제10-2011-0062651호를 통해 알려져 있다. 이 차선 이탈 경보 방법은 차량 내장 카메라를 통해 영상을 입력하는 단계와, 그 입력된 영상을 캡처한 후 저장하는 단계와, 차선 인식하는 단계와, 운전자 상태 및 차량 주변 상태를 파악하는 단계, 및 그 파악된 운전자 상태와 차량 주변 상태를 통해 경보 조건을 판단하는 단계를 포함한다. 이러한 종래 기술은 불필요한 경보를 억제할 수 있으며, 운전자 부주의 시에는 조기 경보를 하여 순간적인 졸음 또는 부주의 상황에서도 운전자로 하여금 신속한 대응을 할 수 있게 한다. 그러나 만일 차선 인식에 실패하는 경우에는 차량의 차선 이탈 여부를 판단할 수가 없다.

본 발명은 차선 인식률을 향상시킬 수 있는 시스템 및 방법을 제공함을 목적으로 한다.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템은 차량의 전방을 촬영하기 위한 전방 촬영부, 상기 차량의 좌우 측방을 촬영하기 위한 측방 촬영부, 및 상기 전방 촬영부의 촬영 영상에서 전방 차선을 검출하고 상기 측방 촬영부의 촬영 영상에서 측방 차선을 검출하며, 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우 미검출된 전방 차선에 대한 가상 차선을 생성한 후, 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 제어부를 포함한다.

나아가, 상기 제어부는 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 에러 값이 임계치에 도달하면 에러 메시지를 출력하며, 상기 전방 촬영부의 이전 촬영 영상으로부터 차선 폭을 구하고, 상기 검출된 전방 차선으로부터 상기 구해진 차선 폭만큼 이격된 상기 가상 차선을 생성한다.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법은 차량의 전방 촬영 영상에서 전방 차선을 검출하고, 상기 차량의 좌우 촬영 영상에서 측방 차선을 검출하는 단계, 상기 검출된 전방 차선의 개수와 상기 검출된 측방 차선의 개수를 비교하는 단계, 상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우, 상기 전방 촬영 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 단계, 및 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 단계를 포함한다.

나아가, 상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 카운트 값이 임계치에 도달하면 오류 메시지를 출력하는 단계를 더 포함한다.

본 발명은 AVM(around view monitoring)용 측방 카메라 영상에서 검출된 차선을 기준으로 전방 카메라 영상에서의 차선 검출 오류가 발생하는지 판단하고, 오류 발생시 전방 카메라 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 방식을 통해 차선 인식률을 높임으로써, 결과적으로 LDWS 시스템의 성능을 향상시키는 효과를 창출한다.

도 1은 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 블록도.
도 2는 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법 흐름도.
도 3은 직선 도로에서의 전방 촬영 영역과 측방 촬영 영역을 예시한 도면.
도 4는 곡선 도로에서의 전방 촬영 영역과 측방 촬영 영역을 예시한 도면.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템이다.

도시된 바와 같이, 차선 인식 향상 시스템은 전방 촬영부(100), 측방 촬영부(200), 저장부(300), 사용자 인터페이스(400), 및 제어부(500)를 포함한다. 전방 촬영부(100)는 차량의 전방을 촬영하기 위해 적절한 위치에 설치되는 전방 카메라이다. 여기서 전방 카메라는 알려진 바와 같은 LDWS용 전방 카메라이다. 측방 촬영부(200)는 차량의 좌측 및 우측을 촬영하기 위해 적절한 위치에 설치되는 좌측 카메라 및 우측 카메라이다. 이 좌측 카메라와 우측 카메라로는 어라운드 뷰 모니터링(Around View Monitoring, AVM)용 카메라가 이용될 수 있다. 저장부(300)는 데이터 저장을 위한 메모리이며, 본 발명에 따른 차선 이탈 경보를 위한 프로그램 데이터가 저장된다. 사용자 인터페이스(400)는 사용자 입출력을 위한 구성으로서, 터치스크린일 수 있다. 제어부(500)는 시스템 전반을 제어하기 위한 컨트롤러이며, 저장부(300)에 저장된 프로그램 데이터를 실행하여 차선 이탈 경보를 위한 일련의 프로세스를 수행한다.

이하, 도 2를 참조하여 차선 인식 향상 시스템의 전반적인 동작 프로세스에 대해 설명한다. 전방 촬영부(100)와 측방 촬영부(200)는 각각 촬영된 영상 데이터를 제어부(500)로 전달한다. 제어부(500)는 전방 촬영부(100)로부터 차량 전방 영상 데이터를 전달받으며, 측방 촬영부(200)로부터 좌측 영상 데이터와 우측 영상 데이터를 전달받는다. 제어부(500)는 전달된 전방 영상에서 차선을 검출한다(S100). 차선 검출 방식에 있어서, 제어부(500)는 카메라 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 낸다. 이를 위해, 제어부(500)는 에지 필터나 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각각의 픽셀마다 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 그리고 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 찾는 방법이다. 이 같은 차선 검출 방식은 널리 알려진 바와 같다.

제어부(500)는 검출된 전방 차선의 개수와 측방 차선의 개수가 동일한지 비교하여 판단한다(S200). 만일 전방 차선의 개수가 측방 차선의 개수보다 적을 경우는 전방 차선이 제대로 검출되지 않았음을 의미한다. 이에 대한 이해를 돕기 위해 도 3과 도 4를 참조하여 설명한다. 도 3에서와 같이 직선 도로에서는 전방 카메라의 촬영 영역(LDWS 영상 영역)(610)에 좌측 차선과 우측 차선이 모두 포함되며, 측방 촬영 영역(AVM 영상 영역)(620, 630)에도 좌측 차선과 우측 차선이 모두 포함된다. 따라서 전방 차선의 개수와 측방 차선의 개수가 동일하다. 그러나 도 4에서와 같이 곡선 도로에서는 전방 카메라의 촬영 영역(LDWS 영상 영역)(640)에 좌측 차선만이 포함되며, 이와 달리 측방 촬영 영역(AVM 영상 영역)(650, 660)에는 좌측 차선과 우측 차선이 모두 포함된다. 즉, 곡선 도로와 같은 상황에서는 전방 차선이 제대로 검출되지 않을 수 있는 것이다.

S200에서 전방 차선의 개수가 측방 차선의 개수보다 적은 것으로 판단되면, 제어부(500)는 검출된 전방 차선을 기준으로 미검출된 전방 차선에 대한 가상 차선을 생성한다(S300). 검출된 전방 차선이 좌측 차선일 경우, 제어부(500)는 그 좌측 차선을 기준으로 소정 폭만큼 우측으로 떨어진 전방 우측 가상 차선을 생성한다. 이와 반대로, 검출된 전방 차선이 우측 차선일 경우, 제어부(500)는 그 우측 차선을 기준으로 소정 폭만큼 좌측으로 떨어진 전방 좌측 가상 차선을 생성한다. 여기서 소정 폭이라 함은 차선 폭을 의미하는 것으로, 차선 폭 값은 전방 카메라의 이전 촬영 영상으로부터 구해질 수 있다. 즉, 전방 좌측 차선과 전방 우측 차선이 모두 검출된 이전 전방 카메라 영상에서, 제어부(500)는 그 차선 간의 폭을 연산하여 차선 폭 값을 구하게 된다. 가상 차선을 생성한 이후, 제어부(500)는 검출된 전방 차선과 생성된 가상 차선을 이탈하는지 여부를 판단한다(S400). 이탈한 것으로 판단되면, 제어부(500)는 차량이 차선을 이탈하였음을 운전자에게 알린다(S500). 예를 들어, 제어부(500)는 사용자 인터페이스(400)의 표시 화면 및/또는 스피커를 통해 운전자에게 차량이 차선을 이탈하였음을 알린다.

한편, S200에서 전방 차선의 개수가 측방 차선의 개수보다 적지 않은 것으로 판단되면, 제어부(500)는 전방 차선의 개수가 측방 차선의 개수보다 많은지를 판단한다(S600). S600에서 전방 차선의 개수가 측방 차선의 개수보다 많은 것으로 판단되면, 제어부(500)는 에러 카운트를 증가시킨다(S700). 여기서 카운트의 단위는 ‘1’일 수 있다. 에러 카운트가 증가하면, 제어부(500)는 그 카운트 값이 임계치보다 큰지 비교하여 판단한다(S800). 카운트 값이 임계치보다 크다면, 제어부(500)는 LDWS 기능에 이상이 있음을 알리는 오류 메시지를 사용자 인터페이스(400)로 출력한다(S900). 이에 운전자는 LDWS 기능이 정상적이지 않음을 알 수 있다. 한편, 상술한 임계치는 저장부(300)에 기저장되어 있는 값으로, 차량 속도 대비 그 값이 다를 수 있다. 예를 들어, 차량 속도가 0 ~ 40km일 때는 3, 40 ~ 80km일 때는 5, 80km 이상일 때는 7이며, 차량 속도 구간별 에러 카운트는 각각 이루어질 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 전방 촬영부 200 : 측방 촬영부
300 : 저장부 400 : 사용자 인터페이스
500 : 제어부

Claims

차량의 전방을 촬영하기 위한 전방 촬영부;
상기 차량의 좌우 측방을 촬영하기 위한 측방 촬영부; 및
상기 전방 촬영부의 촬영 영상에서 전방 차선을 검출하고 상기 측방 촬영부의 촬영 영상에서 측방 차선을 검출하며, 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우 미검출된 전방 차선에 대한 가상 차선을 생성한 후, 상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 제어부를 포함하고,
상기 제어부는 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 카운트 값이 임계치에 도달하면 에러 메시지를 출력하며,
상기 제어부는 상기 전방 촬영부의 이전 촬영 영상으로부터 차선 폭을 구하고, 상기 검출된 전방 차선으로부터 상기 구해진 차선 폭만큼 이격된 상기 가상 차선을 생성하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템.
삭제
삭제
차량의 전방 촬영 영상에서 전방 차선을 검출하고, 상기 차량의 좌우 촬영 영상에서 측방 차선을 검출하는 단계;
상기 검출된 전방 차선의 개수와 상기 검출된 측방 차선의 개수를 비교하는 단계;
상기 비교 결과 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 많을 경우 에러를 카운트하고, 상기 카운트값이 임계치에 도달하면 오류 메시지를 출력하고, 상기 검출된 전방 차선의 개수가 상기 검출된 측방 차선의 개수보다 적을 경우, 상기 전방 촬영 영상에서 미검출된 차선에 대한 가상 차선을 생성하는 단계; 및
상기 차량이 상기 검출된 전방 차선과 상기 생성된 가상 차선을 이탈하는지 판단하는 단계를 포함하고,
상기 가상 차선을 생성하는 단계는, 이전의 전방 촬영 영상으로부터 차선폭을 구하고, 상기 검출된 전방 차선으로부터 상기 구해진 차선 폭 만큼 이격된 상기 가상 차선을 생성하는 것을 특징으로 하는 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 방법.
삭제