KR102161905B1

KR102161905B1 - 후방 차량 검출 장치 및 방법

Info

Publication number: KR102161905B1
Application number: KR1020190003433A
Authority: KR
Inventors: 이윤기; 정여빈
Original assignee: 이윤기
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2020-10-06
Also published as: KR20200087381A

Abstract

본 발명은 후방 차량 검출 장치 및 방법을 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하고, 상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하고, 상기 제1 관심 영역 내에서의 그림자 후보 영역 탐색하고, 상기 탐색된 그림자 후보 영역에 대한 에지 페어링을 수행하여 그림자가 존재하는지 여부를 판단하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 후방 차량 검출 장치가 제공된다.

Description

후방 차량 검출 장치 및 방법{Backward vehicle detection apparatus and method}

본 발명은 후방 차량 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 고속 주행 시 후방 차량과의 충돌을 방지할 수 있는 장치 및 방법에 관한 것이다.

차량의 운행 시 운전자의 부주의나 시계의 불량, 후방 차량의 전방 주시 의무 위반 등으로 교통사고가 빈번하게 발생하고 있다.

이를 방지하기 위해 최근 차량에 지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 장착되고 있다.

지능형 운전자 보조 시스템은 첨단 감지 센서와 GPS, 통신, 지능형 영상 장비 등을 이용하여 주행 중 일부 상황을 차량 스스로 인지하여 상황을 판단, 자동차를 제어하거나 운전자가 미리 위험요소를 감지할 수 있도록 소리, 불빛, 진동 등으로 알려주는 운전자 보조 시스템이다.

이 중 후방 차량 충돌 방지 시스템(Backward Collision Warning System, BCWS)은 카메라 등을 통해 후방에 차량이 존재하는지 여부를 판단하고, 일정 거리 이내에 위치한 경우 운전자에게 경고를 제공하는 시스템이다.

종래에 후방 차량 충돌 방지 시스템은 후방에 존재하는 객체의 윤곽선을 검출하였는데, 이는 복잡도가 높은 문제점이 있다.

대한민국등록특허 10-1478072

상기한 종래기술의 문제점을 해결하기 위해, 복잡도는 낮추면서 고속 주행 시 후방 차량 충돌을 방지할 수 있는 후방 차량 검출 장치 및 방법을 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하고, 상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하고, 상기 제1 관심 영역 내에서의 그림자 후보 영역 탐색하고, 상기 탐색된 그림자 후보 영역에 대한 에지 페어링을 수행하여 그림자가 존재하는지 여부를 판단하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 후방 차량 검출 장치가 제공된다.

상기 프로그램 명령어들은 상기 그림자 후보 영역 탐색을 위해, 상기 제1 관심 영역에 인접한 영역의 픽셀들을 이용하여 도로 평균 밝기 값을 계산하고, 상기 제1 관심 영역을 높이 방향으로 복수의 구간으로 분할하여 각 구간의 밝기 값을 계산하고, 최소의 밝기 값을 갖는 제1 구간이 진행 차선의 중앙에 위치하는지 여부를 판단할 수 있다.

상기 프로그램 명령어들은 상기 에지 페어링을 위해, 상기 그림자 후보 영역에 인접한 제2 관심 영역을 설정하고, 상기 제2 관심 영역에 대칭되는 에지가 존재하는지 여부를 판단할 수 있다.

상기 프로그램 명령어들은 상기 제2 관심 영역에 대칭되는 에지가 존재하는지 여부를 판단하기 위해, 상기 제2 관심 영역의 y축 에지 맵(edge map)을 생성하고, 상기 에지 맵의 에지 매그니튜드(edge magnitude)가 미리 설정된 값 이상인 지점을 에지들로 결정하고, 상기 에지들의 중앙 지점을 기준으로 좌우 반전을 통해 상기 에지들이 서로 대칭되는지 여부를 판단할 수 있다.

상기 프로그램 명령어들은, 상기 진행 차선의 소정 영역에 그림자가 존재하는 프레임의 누적 횟수를 카운팅하고, 상기 누적 횟수가 미리 설정된 횟수 이상인 경우 알람을 생성할 수 있다.

상기 프로그램 명령어들은, 상기 알람 생성 이후, 상기 그림자의 위치가 알람을 생성한 시점의 위치보다 가까워지는지를 판단하고, 상기 그림자와의 거리가 가까워지는 경우 알람을 다시 생성할 수 있다.

상기 프로그램 명령어들은 야간 상황에서 후방 차량을 검출하기 위해, 하나 이상의 관심 영역에 미리 설정된 밝기 이상의 픽셀이 대칭으로 존재하는지 여부를 통해 후방 차량을 검출할 수 있다.

상기 프로그램 명령어들은, 상기 하나 이상의 관심 영역에 미리 설정된 밝기 이상의 픽셀이 대칭으로 존재하는 경우 상기 미리 설정된 밝기 이상의 픽셀을 전조등 후보 영역으로 설정하고, 상기 전조등 후보 영역의 미리 설정된 크기의 상단 부분에 미리 설정된 밝기 이상의 픽셀이 존재하는지 여부를 통해 상기 전조등 후보 영역이 최종 전조등인지 여부를 결정할 수 있다.

상기 프로그램 명령어들은 후방 차량과 사용자 차량과의 거리(d1) 및 소실점과 후방 차량 밑면까지의 거리(d2)의 비율을 이용하여 상기 제1 관심 영역의 y 값을 결정할 수 있다.

상기 프로그램 명령어들은, 영상에서 소실점의 y 값을 이용하여 카메라 틸트 또는 높이를 추정하고, 추정된 틸트 또는 높이를 고려하여 상기 d1과 d2의 그래프 추세선을 결정하여 상기 제1 관심 영역의 y 값을 결정할 수 있다.

본 발명의 다른 측면에 따르면, 후방 차량 검출 장치로서, 프로세서; 및

상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하고, 상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하고, 상기 제1 관심 영역 내에서의 서로 다른 크기의 복수의 전조등 탐색 박스를 이용하여 전조등 후보 영역을 탐색하고, 전조등 후보 영역에 해당하는 제1 전조등 탐색 박스 상측의 소정 영역을 제1 윈도우 탐색 박스로 설정하고, 상기 제1 윈도우 탐색 박스 내의 밝기가 미리 설정된 임계치보다 낮은 경우, 상기 제1 전조등 탐색 박스 내에 전조등이 존재하는 것으로 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 후방 차량 검출 장치가 제공된다.

본 발명의 다른 측면에 따르면, 후방 차량 검출 방법으로서, 카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하는 단계; 상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하는 단계; 상기 제1 관심 영역 내에서의 그림자 후보 영역 탐색하는 단계; 상기 탐색된 그림자 후보 영역에 대한 에지 페어링을 수행하여 그림자가 존재하는지 여부를 판단하는 단계를 포함하는 후방 차량 검출 방법이 제공된다.

본 발명에 따르면, 관심 영역에서 그림자 탐색 및 에지 페어링을 통해 후방 차량을 검출하기 때문에 낮은 복잡도로 후방 차량을 검출할 수 있는 장점이 있다.

또한, 야간 운행 시에는 관심 영역에서 전조등 탐색 및 전조등 페어링을 통해 후방 차량을 검출할 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 후방 차량 검출 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 후방 차량 검출을 위한 프로그램 명령어들의 모듈을 도시한 도면이다.
도 3는 본 실시예에 따른 소실점 결정 과정을 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 제1 관심 영역 및 도로 평균 밝기 값 계산을 위한 인접 영역을 도시한 도면이다.
도 5는 본 실시예에 따른 그림자 후보 영역 결정을 위한 수평 영역을 도시한 도면이다.
도 6은 본 실시예에 따른 에지 페어링을 위한 제2 관심 영역을 도시한 도면이다.
도 7은 본 실시예에 따른 후방 차량 검출을 위한 전조등 탐색 과정을 설명하기 위한 도면이다.
도 8은 밝은 전조등으로 인해 후방에 위치한 어려 차량들의 전조등을 하나의 차량에 의한 전조등으로 오인하는 경우를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 지평선을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 야간 상황에서 관심 영역을 도시한 도면이다.
도 11은 본 실시예에 따른 전조등 탐색 박스를 도시한 도면이다.
도 12는 노면에 반사된 불빛에 따른 오인식 발생 가능 영역을 도시한 것이다.
도 13은 다른 차선에 위치한 차량으로 인한 오인식 발생 가능 영역을 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 윈도우 탐색 박스를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 후방 차량 검출 장치의 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 후방 차량 검출 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.

프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리(102)에는 프로세서(100)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

본 실시예에 따른 후방 차량 검출 장치는 차량 내에 설치된 컴퓨팅 장치로서, 카메라를 통해 입력된 영상을 분석하여 후방 차량을 검출하고 알람을 생성한다.

여기서 카메라는 블랙박스에 설치된 카메라일 수 있으나, 반드시 이에 한정되는 것은 아니다.

본 발명의 바람직한 일 실시예에 따르면, 메모리(102)에는 카메라를 통해 입력된 영상에서 차선 인식, 소실점 결정, 관심 영역 내에 차량이 존재하는지 여부를 판단하는 프로그램 명령어들이 저장된다.

본 발명의 일 실시예에 따르면, 후방 차량 검출 장치는 차량이 고속 주행 중인 경우에 후방 영상의 소정 영역에 일정 시간 존재하는 객체는 차량인 것을 가정하여 차량의 윤곽선을 검출함이 없이 그림자 탐색만으로 후방 차량을 검출한다.

후방 차량 검출 장치는 픽셀의 밝기 값 비교를 통해 그림자 후보 영역을 탐색하고, 에지 페어링(edge pairing) 과정을 통해 그림자 후보 영역이 사용자 차량의 진행 차선의 후방에 위치한 차량에 의한 그림자인지 여부를 판단한다.

후방 차량 검출 장치는 그림자가 존재하는 프레임의 누적 횟수를 카운팅하고, 그림자 누적 횟수가 임계 이상일 때 알람을 생성한다.

그림자의 탐색은 소정 관심 영역을 기준으로 이루어지므로 관심 영역 내에 그림자가 존재하는 것은 소정 거리 이내에 있다는 것을 의미하므로 후방 차량 검출 장치는 알람을 생성한다.

중복된 알람을 방지하기 위해 1회 알람이 발생한 이후에는 그림자와의 거리가 가까워지는 경우에 알람을 추가적으로 발생시킨다.

한편, 야간에는 그림자 탐색이 어려울 수 있다.

이러한 점을 고려하여 야간에는 후방 차량의 전조등을 탐색하여 후방 차량을 검출한다.

이하에서는 도면을 참조하여 본 실시예에 따른 후방 차량 검출 과정을 상세하게 설명한다.

도 2는 본 실시예에 따른 후방 차량 검출을 위한 프로그램 명령어들의 모듈을 도시한 도면이다.

도 2는 후방 차량 검출을 위해 메모리(102)에 저장된 프로그램 명령어들을 기능적으로 분류한 모듈을 도시한 것이다.

도 2를 참조하면, 본 실시예에 따른 모듈은 소실점 결정 모듈(200), 관심 영역 설정 모듈(202) 및 그림자 탐색 모듈(204) 및 알람 생성 모듈(206)을 포함할 수 있다.

도 3에 도시된 바와 같이, 소실점 결정 모듈(200)은 진행 방향 후방의 양쪽 차선을 인식하고, 인식된 진행 차선의 교점을 소실점으로 결정한다.

관심 영역 설정 모듈(202)은 소실점의 미리 설정된 하단 영역을 제1 관심 영역으로 설정한다.

도 4에 도시된 바와 같이, 제1 관심 영역(400)은 소실점 하단 영역에 사각형 형태로 설정된다. 제1 관심 영역(400)은 사각 형상에 한정되지 않으며 다양한 형상을 가질 수 있다.

본 발명의 일 실시예에 따르면, 제1 관심 영역(400)의 y 값(y Position)은 다음과 같은 방식으로 결정될 수 있다. 여기서, 제1 관심 영역(400)의 y 값은 영상 프레임 상에서 제1 관심 영역(400)의 상단의 y 축 상의 좌표일 수 있다.

여기서, 도 4의 영상에서 가로 방향이 x축, 세로 방향이 y축으로 정의되고, y 값은 제1 관심 영역(400)의 y축의 최상위 값으로 정의될 수 있다.

실제 도로상황에서 후방 차량과 사용자(자신) 차량의 거리를 d1이라 하고, 영상에서 소실점과 후방 차량 밑면까지의 거리를 d2라 할 때, d1이 작을수록 d2의 변화는 크고, 반대로 d1이 클수록 d2의 변화는 작을 수 있다.

이러한 점을 고려하여 d1:d2의 그래프 추세선을 결정하고, 후방 차량 알람을 위한 d1이 결정된 경우, 결정된 d1에 따른 d2를 고려하여 제1 관심 영역의 y 값을 결정한다.

한편, d1:d2의 그래프 추세선은 카메라 틸트(tilt)에 따라 달라질 수 있다.

카메라 틸트가 음의 값을 갖는 경우, 즉 후방의 아래쪽을 향하는 경우에는 소실점의 y 값이 커지고, 반대로 카메라 틸트가 양의 값을 갖는 경우에는 소실점의 y 값이 작아질 수 있다.

이러한 점을 고려하여 후방 촬영이 시작되는 경우, 소실점의 y 값이 결정되면, 이를 통해 카메라 틸트를 유추하여 d1:d2 그래프 추세선을 결정한다.

그래프 추세선의 결정은 카메라 틸트뿐만 아니라, 카메라 높이에 따라 달라질 수도 있을 것이다.

그림자 탐색 모듈(204)은 제1 관심 영역(400) 내에 진행 차선의 후방에 위치한 차량에 의한 그림자를 탐색한다.

그림자 탐색 모듈(204)은 도 4의 제1 관심 영역(400)에 인접한 영역의 픽셀들을 이용하여 도로 평균 밝기 값(Road_avg)을 계산한다.

또한, 제1 관심 영역(400)을 높이 방향(y축 방향)으로 복수의 구간(예를 들어, 5 픽셀)으로 분할하여 각 구간의 밝기 값을 계산하고, 복수의 구간 중 최소의 밝기 값을 가지는 제1 구간을 탐색한다.

여기서, 최소 밝기 값을 갖는 제1 구간에 그림자 후보 영역이 존재할 수 있다.

그림자 탐색 모듈(204)은 최소 밝기 값을 갖는 제1 구간의 밝기 값이 도로 평균 밝기 값의 미리 설정된 비율 이하(예를 들어, 80% 이하)인 경우 그림자 후보 영역이 존재하는 것으로 추정한다.

그림자 후보 영역이 후방 차량에 의한 그림자인지 여부를 판단하기 위해, 그림자 탐색 모듈(204)은 제1 구간이 진행 차선의 중앙에 위치하는지 여부를 판단한다.

도 5에 도시된 바와 같이, 그림자 탐색 모듈(204)은 제1 구간을 포함하며 수평 방향을 연장된 영역(수평 영역, 500)을 생성하고, 수평 영역을 폭 방향으로 복수의 구간으로 분할하여 각 구간의 밝기 값을 계산한다.

여기서, 수평 영역(500)의 폭 방향의 길이는 소실점을 기준으로 좌우 방향 차선의 적어도 일부를 포함하는 길이로 설정될 수 있다.

그림자 탐색 모듈(204)은 제1 구간이 상기한 수평 영역(500)의 중앙에 위치하는지를 판단한다.

제1 구간이 수평 영역(500)의 중앙에 위치하지 않는 경우 해당 그림자는 진행 차선이 아닌 옆 차선에 위치하는 차량에 의한 것일 수 있다.

제1 구간이 수평 영역(500)의 중앙에 위치하는 경우, 그림자 탐색 모듈(204)은 해당 구간을 그림자 후보 영역으로 결정하고, 에지 페어링 과정을 수행한다.

에지 페어링을 위해, 관심 영역 설정 모듈(202)은 그림자 후보 영역이 접하며 미리 설정된 크기를 갖는 제2 관심 영역을 생성한다.

그림자 탐색 모듈(204)은 제2 관심 영역 내에서 에지 페어링을 수행한다.

도 6은 본 실시예에 따른 에지 페어링을 과정을 설명하기 위한 도면이다.

그림자 탐색 모듈(204)은 제2 관심 영역의 y축 에지 맵(edge map)을 생성한다.

에지 맵의 에지 매그니튜드(edge magnitude)를 기반으로 가장 큰 값을 갖는 에지(600,602)가 서로 대칭되는지를 판단한다.

본 실시예에 따르면, 에지 페어링을 위해 서로 대칭되는 에지의 x축 방향으로 중앙 지점을 기준으로 에지 맵을 비교하는 템플릿 매칭(template matching)을 수행한다.

템플릿 매칭에서 좌측 구간과 우측 구간 중 하나를 좌우 반전하여 비교한다.

템플릿 매칭에서 에지가 서로 대칭인 것이 확인되는 경우, 그림자 탐색 모듈(204)은 그림자 후보 영역이 진행 차선의 후방에 위치한 차량에 의한 그림자인 것으로 판단한다.

알람 생성 모듈(206)은 그림자가 존재하는 프레임의 누적 횟수를 카운팅하고, 그림자 누적 횟수가 임계치 이상인 경우 알람을 생성한다.

알람 생성 이후, 동일한 거리에 위치한 후방 차량에 의한 알람이 반복 발생하는 것을 방지하기 위해, 알람 생성 모듈(206)은 그림자의 위치가 알람을 생성할 시점의 위치보다 사용자 차량의 위치에 가까워지는 경우에만 알람을 생성한다.

본 발명에 따르면, 알람 생성에 있어서, 고속 주행 시 후방에 머물러 있는 객체는 차량이라는 점과 후방에 대칭인 에지는 차량의 일부라는 점을 고려하여 검출된 객체의 외곽선을 검출함이 없이 그림자의 탐색만으로 알람을 생성할 수 있다.

야간 시에는 주간에서와 같이 그림자 탐색이 어려울 수 있어 본 실시예에 따르면 그림자 탐색은 전조등 탐색을 진행한다.

도 7은 본 실시예에 따른 후방 차량 검출을 위한 전조등 탐색 과정을 설명하기 위한 도면이다.

도 7을 참조하면, 관심 영역 내에서 미리 설정된 밝기 이상의 픽셀이 소정 개수 이상이면 전조등으로 간주한다.

일반적으로 전조등의 위치는 대칭된다는 점을 고려한다.

본 실시예에 따르면, 관심 영역은 프레임 하측의 제1 관심 영역과 프레임 상측의 제2 관심 영역을 포함하고, 후방 차량 검출 장치는 각 관심 영역에 전조등이 존재하는지 판단한다.

후방 차량 검출 장치는 제1 및 제2 관심 영역 각각의 중앙으로부터 좌측으로부터 전조등 후보 영역을 탐색한다.

좌측에 미리 설정된 밝기 이상인 픽셀이 탐색되면, 동일한 높이의 x축 방향으로 우측으로 소정 거리만큼 이동하여 전조등 후보 영역을 탐색한다.

우측에 미리 설정된 밝기 이상인 픽셀이 소정 개수 이상이면 좌우측 전조등으로 판단하고, 이를 카운트한다.

그러나, 야간 상황에서는 도 8과 같이 밝은 전조등으로 인해 후방에 위치한 어려 차량들의 전조등을 하나의 차량에 의한 전조등으로 오인할 수도 있다.

이를 위해 본 실시예에 따른 후방 차량 검출 장치는 전조등 주변을 검사하여 상기와 같이 탐색된 소정 밝기 이상의 픽셀이 진행 차선에 위치한 후방 차량의 전조등인지 여부를 판단한다.

실제 대부분의 차량에는 전조등 이외에 빛을 내는 장치가 없으므로, 전조등 주변에 다른 빛이 없을 것이라 가정하고 상기한 좌우측 전조등 후보 영역의 상단 부분을 탐색한다.

본 실시예에 따른 전조등 후보 영역의 상단 부분은 다음과 같이 설정될 수 있다.

여기서, 전조등 후보 영역의 상단 부분(탐색 영역)의 좌측 상단의 x좌표는

이고, 탐색 영역 좌측 상단의 y좌표는

이다.

또한,

은 상기한 관심 영역에서 검출된 미리 설정된 밝기 이상을 갖는 픽셀들의 최소 y좌표이고,

는 영상의 너비이다.

본 실시예에 따른 후방 차량 검출 장치는 상기한 탐색 영역 내에 전조등 이외에 소정 밝기 이상의 픽셀이 존재하는지 여부를 판단한다.

후방 차량 검출 장치는 전조등 후보 영역 상단 부분의 탐색을 통해 전조등 후보 영역의 최종적으로 진행 방향 후방의 차량에 의한 것이라고 판단되면 해당 영역에서 전조등이 미리 설정된 횟수 이상 존재하는 경우 알람을 생성한다.

본 발명의 바람직한 일 실시예에 따르면, 야간 상황에서 후방 차량 검출의 정확도를 높이기 위해, 차선을 활용하여 다른 차선 차량에 의한 오인식을 줄이고 보다 정확한 거리를 유추한다.

야간 상황에서, 본 실시예에 따른 후방 차량 검출 장치는 도 9에 도시된 바와 같이, 후방 영상을 통해 진행 차선을 검출하고, 이를 통해 지평선 정보(900)를 획득한다.

여기서, 지평선 정보(900)의 획득은 소실점을 탐색하고, 소실점의 가로 방향(x축 방향)을 지평선으로 결정하는 과정으로 정의할 수 있다.

이후, 도 10에 도시된 바와 같이, 획득된 지평선 아래의 소정 영역을 관심 영역(1000)으로 설정한다.

후방 차량 검출 장치는 생성된 관심 영역에서 밝기의 분포가 가로 방향인 x축으로 Light-Dark-Light 구간(예를 들어,

)을 탐색한다.

Light-Dark-Light 구간 탐색 과정은

와 같이 white box 밝기와 black box 밝기 차가 일정 이상인 구간을 탐색하여 전조등 후보 영역을 탐색하는 과정일 수 있다.

도 11은 본 실시예에 따른 전조등 탐색 박스를 도시한 도면이다.

도 11에 도시된 바와 같이, 복수의 전조등 탐색 박스(1100) 각각의 크기와 영역은 지평선에서 사용자 차량으로 갈수록, 즉 영상에서 위에서 아래로 갈수록 증가하게 설정된다.

증가 비율은 카메라 화각을 고려하여 지평선과의 y position 차의 비례식으로 설정될 수 있다.

후방 차종, 카메라 설치 위치, 불빛 번짐에 따라 박스의 크기가 다를 수 있으므로 전조등 탐색 박스의 스케일을 소정 비율(예를 들어, 20 퍼센트) 증가시켜 Light-Dark-Light 구간 탐색을 반복 수행한다.

노면 또는 차선에 반사된 불빛에 반응하지 않게 하기 위해 white box 밝기(평균 밝기)가 소정 임계치 이하인 Light-Dark-Light 구간은 제거한다.

Gain Control이 심한 센서의 경우 상기한 Light-Dark-Light 구간 탐색 과정에서 노면에 반사된 불빛에 반응하며, 코너의 경우 다른 차선 차량과의 반응이 다수 발생한다.

도 12는 노면에 반사된 불빛에 따른 오인식 발생 가능 영역을 도시한 것이고, 도 13은 다른 차선에 위치한 차량으로 인한 오인식 발생 가능 영역을 도시한 것이다.

도 12 내지 도 13에서 적색 박스(1200,1300)가 오인식 발생 가능 영역이다.

이러한 오인식을 최소화하기 위해, 후방 차량의 전방 윈도우 영역의 경우 불빛이 존재하지 않는 영상 특성을 이용한다.

이를 위해, 후방 차량 검출 장치는 도 14에 도시된 바와 같이, Light-Dark-Light 구간이 포함된 전조등 탐색 박스보다 소정 거리만큼 상측 영역을 윈도우 탐색 박스(1400)로 설정하여 바이너리 이미지를 생성한다.

바람직하게, 영상에서 전방 윈도우는 전조등보다 뒤쪽에 위치하므로 윈도우 탐색 박스는 전조등 탐색 박스에 비해 작게 설정된다.

바이너리 이미지는 소정 임계치 이상은 255, 그 이하는 0으로 설정된 이미지이다.

도 11의 복수의 전조등 탐색 박스 중 일부 박스에서 Light-Dark-Light 구간이 탐색되는 경우, 후방 차량 검출 장치는 Light-Dark-Light 구간이 포함된 전조등 탐색 박스의 상측의 윈도우 탐색 박스에 대한 바이너리 이미지를 생성하여 소정 임계값 이상의 밝기를 갖는 픽셀이 포함되었는지 여부를 판단한다.

전술한 바와 같이, 윈도우 영역은 불빛이 존재하지 않아야 하므로 전방 윈도우 탐색 박스의 밝기 평균 값이 미리 설정된 임계치 이상인 경우, 해당 전조등 탐색 박스에는 전조등이 존재하지 않는 것으로 판단한다.

한편, 후방 차량 검출 장치는 윈도우 탐색 박스가 소정 밝기 이하인 경우에는 이에 상응하는 전조등 탐색 박스에 전조등이 존재하는 것으로 판단하고, 해당 프레임이 일정 시간 유지되면 알람을 발생시킨다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

후방 차량 검출 장치로서,
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하고,
상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하고,
상기 제1 관심 영역 내에서의 그림자 후보 영역 탐색하고,
상기 탐색된 그림자 후보 영역에 대한 에지 페어링을 수행하여 그림자가 존재하는지 여부를 판단하도록,
상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
상기 프로그램 명령어들은,
후방 차량과 사용자 차량과의 거리(d1) 및 소실점과 후방 차량 밑면까지의 거리(d2)의 비율을 이용하여 상기 제1 관심 영역의 y 값을 결정하는 후방 차량 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은 상기 그림자 후보 영역 탐색을 위해,
상기 제1 관심 영역에 인접한 영역의 픽셀들을 이용하여 도로 평균 밝기 값을 계산하고,
상기 제1 관심 영역을 높이 방향으로 복수의 구간으로 분할하여 각 구간의 밝기 값을 계산하고,
최소의 밝기 값을 갖는 제1 구간이 진행 차선의 중앙에 위치하는지 여부를 판단하는 후방 차량 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은 상기 에지 페어링을 위해,
상기 그림자 후보 영역에 인접한 제2 관심 영역을 설정하고,
상기 제2 관심 영역에 대칭되는 에지가 존재하는지 여부를 판단하는 후방 차량 검출 장치.
제3항에 있어서,
상기 프로그램 명령어들은 상기 제2 관심 영역에 대칭되는 에지가 존재하는지 여부를 판단하기 위해,
상기 제2 관심 영역의 y축 에지 맵(edge map)을 생성하고,
상기 에지 맵의 에지 매그니튜드(edge magnitude)가 미리 설정된 값 이상인 지점을 에지들로 결정하고, 상기 에지들의 중앙 지점을 기준으로 좌우 반전을 통해 상기 에지들이 서로 대칭되는지 여부를 판단하는 후방 차량 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은, 상기 진행 차선의 소정 영역에 그림자가 존재하는 프레임의 누적 횟수를 카운팅하고,
상기 누적 횟수가 미리 설정된 횟수 이상인 경우 알람을 생성하는 후방 차량 검출 장치.
제5항에 있어서,
상기 프로그램 명령어들은, 상기 알람 생성 이후, 상기 그림자의 위치가 알람을 생성한 시점의 위치보다 가까워지는지를 판단하고,
상기 그림자와의 거리가 가까워지는 경우 알람을 다시 생성하는 후방 차량 검출 장치.
제1항에 있어서,
상기 프로그램 명령어들은 야간 상황에서 후방 차량을 검출하기 위해,
하나 이상의 관심 영역에 미리 설정된 밝기 이상의 픽셀이 대칭으로 존재하는지 여부를 통해 후방 차량을 검출하는 후방 차량 검출 장치.
제7항에 있어서,
상기 프로그램 명령어들은,
상기 하나 이상의 관심 영역에 미리 설정된 밝기 이상의 픽셀이 대칭으로 존재하는 경우 상기 미리 설정된 밝기 이상의 픽셀을 전조등 후보 영역으로 설정하고, 상기 전조등 후보 영역의 미리 설정된 크기의 상단 부분에 미리 설정된 밝기 이상의 픽셀이 존재하는지 여부를 통해 상기 전조등 후보 영역이 최종 전조등인지 여부를 결정하는 후방 차량 검출 장치.
삭제
제1항에 있어서,
상기 프로그램 명령어들은,
영상에서 소실점의 y 값을 이용하여 카메라 틸트 또는 높이를 추정하고, 추정된 틸트 또는 높이를 고려하여 상기 d1과 d2의 그래프 추세선을 결정하여 상기 제1 관심 영역의 y 값을 결정하는 후방 차량 검출 장치.
후방 차량 검출 장치로서,
프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하고,
상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하고,
상기 제1 관심 영역 내에서의 서로 다른 크기의 복수의 전조등 탐색 박스를 이용하여 전조등 후보 영역을 탐색하고,
전조등 후보 영역에 해당하는 제1 전조등 탐색 박스 상측의 소정 영역을 제1 윈도우 탐색 박스로 설정하고,
상기 제1 윈도우 탐색 박스 내의 밝기가 미리 설정된 임계치보다 낮은 경우, 상기 제1 전조등 탐색 박스 내에 전조등이 존재하는 것으로 결정하도록,
상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
상기 프로그램 명령어들은,
후방 차량과 사용자 차량과의 거리(d1) 및 소실점과 후방 차량 밑면까지의 거리(d2)의 비율을 이용하여 상기 제1 관심 영역의 y 값을 결정하는 후방 차량 검출 장치.
제11항에 있어서,
상기 프로그램 명령어들은, 상기 진행 차선의 소정 영역에 전조등이 존재하는 프레임의 누적 횟수를 카운팅하고,
상기 누적 횟수가 미리 설정된 횟수 이상인 경우 알람을 생성하는 후방 차량 검출 장치.
후방 차량 검출 방법으로서,
카메라를 통해 입력된 후방 영상에서 진행 차선의 인식을 통해 소실점을 결정하는 단계;
상기 결정된 소실점의 하단에 미리 설정된 크기의 제1 관심 영역을 설정하는 단계;
상기 제1 관심 영역 내에서의 그림자 후보 영역 탐색하는 단계; 및
상기 탐색된 그림자 후보 영역에 대한 에지 페어링을 수행하여 그림자가 존재하는지 여부를 판단하는 단계를 포함하되,
상기 제1 관심 영역을 설정하는 단계는, 후방 차량과 사용자 차량과의 거리(d1) 및 소실점과 후방 차량 밑면까지의 거리(d2)의 비율을 이용하여 상기 제1 관심 영역의 y 값을 결정하는 후방 차량 검출 방법.