KR102028837B1 - 전방 차량 출발 알림 방법 및 그 장치 - Google Patents

Abstract

전방 차량 출발 알림 방법 및 그 장치가 개시된다. 전방 차량 출발 알림 방법 은 (a) 차량의 전방 영상을 입력받는 단계; (b) 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 단계; (c) 상기 차량이 정차 상황이면, 상기 전방 영역에서 전방 차량의 후미등 영역을 검출하는 단계; 및 (d) 상기 전방 차량의 후미등 영역의 크기가 감소하는 경우 상기 전방 차량의 출발을 인식하는 단계를 포함한다.

Description

전방 차량 출발 알림 방법 및 그 장치{Method and apparatus for forward vehicle start alarm}

본 발명은 전방 차량 출발 알림 방법 및 그 장치에 관한 것이다.

정보통신 기술의 발전으로 인해, 차량에도 사용자의 편의성을 증진시킬 수 있는 내비게이션 등 다양한 전자 기기들이 탑재되고 있다. 이러한 기기들은 사용자의 편의성을 증진시키는데 일조하고 있다. 그러나, 이러한 기기들은 운전 중 사용자의 부주의를 야기시키는 문제점 있다.

이러한, 운전 중 운전자의 부주의는 운전 중 주위 교통 흐름을 방해하는 요인이 된다. 따라서, 운전 중 운전자에게 적극적으로 차량의 정차/출발과 같은 상태를 알릴 수 있는 방안이 필요하다.

(01) 한국공개특허공보 제10-2013-0076215호(2013.07.08.)

본 발명은 전방 차량 출발 알림 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 단순한 연산만으로 전방 차량의 출발을 감지하여 운전자에게 이를 즉각적으로 알랄 수 있는 전방 차량 출발 알림 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 전방 차량 출발 알림 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 차량의 전방 영상을 입력받는 단계; (b) 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 단계; (c) 상기 차량이 정차 상황이면, 상기 전방 영역에서 전방 차량의 후미등 영역을 검출하는 단계; 및 (d) 상기 전방 차량의 후미등 영역의 크기가 감소하는 경우 상기 전방 차량의 출발을 인식하는 단계를 포함하는 전방 차량 출발 알림 방법이 제공될 수 있다.

상기 (c) 단계는, 상기 전방 영역에서 진행 차로의 좌우 차선을 이용하여 소실점을 검출하는 단계; 상기 소실점 이하의 일부 영역을 관심 영역으로 결정하는 단계; 및 상기 관심 영역에서 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 영역을 검출하는 단계를 포함할 수 있다.

상기 후미등 영역을 검출하는 단계는, 상기 관심 영역의 중심에서 우측으로 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 후보 영역을 검출하는 단계; 및 상기 관심 영역에서 상기 후미등 후보 영역에 대칭되는 좌측 위치에 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출되는 경우, 상기 후미등 후보 영역을 최종 후미등 영역으로 결정하는 단계를 포함할 수 있다.

상기 관심 영역에서 상기 후미등 후보 영역에 대칭되는 좌측 위치에 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출되지 않으면, 상기 후미등 후보 영역이 오류로 판단하여 제거하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따르면, (a) 차량의 전방 영상을 입력받는 단계; (b) 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 단계; (c) 상기 차량이 정차 상황인 경우, 상기 전방 영상의 관심 영역에서 전방 차량 움직임 변화에 따른 전방 변화 지점을 도출하는 단계; 및 (d) 상기 전방 변화 지점을 이용하여 상기 전방 차량이 출발한 것으로 결정하는 단계를 포함하는 전방 차량 출발 알림 방법이 제공될 수 있다.

상기 (c) 단계는, 상기 관심 영역의 현재 프레임과 직전 프레임에 대한 차영상을 도출하는 단계; 상기 차영상의 Y축 좌표의 유효 픽셀수를 누적한 히스토그램을 도출하는 단계; 및 상기 도출된 히스토그램의 최대값이 임계치보다 크면, 상기 최대값에 해당하는 Y축 좌표를 전방 변화 지점으로 도출하는 단계를 포함할 수 있다.

상기 (d) 단계는, 상기 전방 변화 지점이 감소하는 변화량이 지정된 횟수 이상인 경우 상기 전방 차량이 출발한 것으로 결정할 수 있다.

본 발명의 다른 측면에 따르면, 전방 차량 출발 알림 장치가 제공된다.

본 발명의 일 실시예에 따르면, 차량의 전방 영상을 입력받는 입력부; 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 정차 상황 판단부; 상기 차량이 정차 상황이면, 상기 전방 영역에서 전방 차량의 후미등 영역을 검출하는 검출부; 및 상기 전방 차량의 후미등 영역의 크기가 감소하는 경우 상기 전방 차량의 출발을 인식하는 전방 차량 출발 감지부를 포함하는 전방 차량 출발 알림 장치가 제공될 수 있다.

상기 검출부는, 상기 전방 영역에서 진행 차로의 좌우 차선을 이용하여 소실점을 검출하고, 상기 소실점 이하의 일부 영역을 관심 영역으로 결정하며, 상기 관심 영역에서 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 영역을 검출할 수 있다.

상기 검출부는, 상기 관심 영역의 중심에서 우측으로 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 후보 영역을 검출하며, 상기 관심 영역에서 상기 후미등 후보 영역에 대칭되는 좌측 위치에 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출되는 경우, 상기 후미등 후보 영역을 최종 후미등 영역으로 결정할 수 있다.

본 발명의 다른 실시예에 따르면, 차량의 전방 영상을 입력받는 입력부; 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 정차 상황 판단부; 상기 차량이 정차 상황인 경우, 상기 전방 영상의 관심 영역에서 전방 차량 움직임 변화에 따른 전방 변화 지점을 도출하는 전방 변화 감지부; 및 상기 전방 변화 지점을 이용하여 상기 전방 차량이 출발한 것으로 인식하는 전방 차량 출발 감지부를 포함하는 전방 차량 출발 알림 장치가 제공될 수 있다.

상기 전방 변화 감지부는, 상기 관심 영역의 현재 프레임과 직전 프레임에 대한 차영상을 도출하며, 상기 차영상의 Y축 좌표의 유효 픽셀수를 누적한 히스토그램을 도출하고, 상기 도출된 히스토그램의 최대값이 임계치보다 크면, 상기 최대값에 해당하는 Y축 좌표를 전방 변화 지점으로 도출할 수 있다.

본 발명의 일 실시예에 따른 전방 차량 출발 알림 방법 및 그 장치를 제공함으로써, 단순한 연산만으로 전방 차량의 출발을 감지하여 운전자에게 이를 즉각적으로 알랄 수 있다.

도 1은 본 발명의 일 실시예에 따른 전방 차량 출발 알림 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 관심 영역 설정을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 후미등 검출을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 역광에서의 후미등 영상을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 관심 영역의 중심에서 차량이 치우쳐 위치된 경우를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 차량의 정차 상황을 인지하는 방법을 나타낸 순서도.
도 7은 본 발명의 다른 실시예에 따른 전방 차량 출발 알림 방법을 나타낸 순서도.
도 8 및 도 9는 본 발명의 일 실시예에 따른 전방 변화 지점의 변화를 설명하기 위해 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 전방 변화 지점의 오차를 설명하기 위해 도시한 도면.
도 11은 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치의 내부 구성을 개략적으로 도시한 블록도.
도 12는 본 발명의 다른 실시예에 따른 전방 차량 출발 알림 장치의 내부 구성을 개략적으로 도시한 블록도.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 전방 차량 출발 알림 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 관심 영역 설정을 설명하기 위해 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 후미등 검출을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 역광에서의 후미등 영상을 설명하기 위해 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 관심 영역의 중심에서 차량이 치우쳐 위치된 경우를 설명하기 위해 도시한 도면이다.

단계 110에서 전방 차량 출발 알림 장치(100)는 차량의 전방 영상을 입력받는다.

예를 들어, 차량에는 블랙박스, 전방 카메라 등이 설치되어 있다. 따라서, 전방 차량 출발 알림 장치(100)는 해당 블랙 박스 또는 전방 카메라를 통해 차량의 전방 영상을 입력받을 수 있다.

단계 115에서 전방 차량 출발 알림 장치(100)는 전방 영상을 분석하여 차량이 정차상태인지 주행 상태인지 여부를 판단한다.

차량의 정차 상황을 인지하는 방법에 대해서는 하기에서 도 6을 참조하여 보다 상세히 설명하기로 한다.

만일 차량이 주행 상태인 경우(즉, 차량이 정차하지 않는 경우) 단계 110으로 진행한다.

그러나 만일 차량이 정차 상황인 경우, 단계 120에서 전방 차량 출발 알림 장치(100)는 전방 영상을 분석하여 전방 차량 후미등 영역을 검출한다.

이해와 설명의 편의를 도모하기 위해 전방 차량의 후미등 영역을 검출하는 방법에 대해 상세히 설명하기로 한다.

본 발명의 일 실시예에 따르면, 전방 차량 출발 알림 장치(100)는 전방 영상 전체 영역을 대상으로 전방 차량 후미등 영역을 검출하는 것이 아니라, 관심 영역을 설정한 후 관심 영역을 대상으로 전방 차량 후미등 영역을 검출할 수 있다.

일반적으로 차량에 탑재되는 카메라의 설치 위치는 차량마다 상이하며 영상 왜곡이 존재한다. 따라서, 전방 영상을 이용하여 전방 차량의 후미등 영역을 탐색하는데 어려움이 따른다. 본 발명의 일 실시예에서는 전방 영상의 전체 영상을 이용하지 않고, 전방 영상에서 진행 차로의 좌우 양쪽 차선 정보를 기초로 소실점을 획득할 수 있다. 이어, 전방 차량 출발 알림 장치(100)는 획득된 소실점 이하의 일부 영역을 관심 영역(ROI)으로 설정할 수 있다.

도 2에는 소실점 이하의 일정 영역을 관심 영역으로 설정한 일 예가 도시되어 있다. 차량의 후미등은 일방적으로 대칭 구조를 가진다. 따라서, 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치(100)는 이러한 후미등의 특징을 이용하여 전방 차량의 후미등 영역을 검출할 수 있다.

예를 들어, 관심 영역의 중심 영역부터 우측으로 후미등에 해당하는 칼라 스페이스에 포함되는 후미등 후보 픽셀을 검출한다. 후미등 후보 픽셀이 검출되는 경우, 전방 차량 출발 알림 장치(100)는 해당 후미등 후보 픽셀의 우축으로 일정 개수의 픽셀을 검사하여 후미등 칼라 스페이스에 포함되는 픽셀 개수를 카운트한다. 카운트한 픽셀 개수가 임계치 이상이면, 전방 차량 출발 알림 장치(100)는 해당 검출된 후미등 후보 픽셀들을 후미등 후보 영역으로 결정할 수 있다.

이어, 전방 차량 출발 알림 장치(100)는 관심 영역에서 후미등 후보 영역과 동일한 높이의 좌측 영역에서 후미등 칼라 스페이스에 포함되는 픽셀이 하나도 존재하지 않는 경우 대칭이 아니므로 후미등이 아닌 것으로 결정할 수 있다.

그러나 만일 좌측 영역에서 후미등 칼라 스페이스 포함되는 픽셀이 검출되는 경우, 전방 차량 출발 알림 장치(100)는 후미등 후보 영역의 픽셀 개수를 카운트한다. 좌측 볼륨(volume)의 경우, 좌회전 대기 차량의 깜빡이에 후미등 볼륨이 상이할 수 있으므로 우측 영역에서 검출된 후미등 후보 영역을 최종 후미등 영역으로 결정한 후 해당 후미등 영역의 픽셀 개수를 카운트할 수 있다.

도 3은 탐색된 후미등 영역이 도시되어 있다.

단계 125에서 전방 차량 출발 알림 장치(100)는 후미등 영역의 크기가 감소했는지 여부를 판단한다. 즉, 전방 차량 출발 알림 장치(100)는 이전에 검출된 후미등 영역과 현재 프레임에 상응하여 검출된 후미등 영역을 비교하여 후미등 영역의 볼륨이 감소했는지 여부를 판단할 수 있다.

만일 후미등 영역의 크기가 감소하지 않은 경우, 단계 110으로 진행한다.

만일 후미등 영역의 크기가 감소한 경우, 단계 130에서 전방 차량 출발 알림 장치(100)는 전방 차량이 전진한 것으로 판단한다. 즉, 전방 차량 출발 알림 장치(100)는 전방 차량이 출발한 것으로 판단한다. 전방 차량 출발 알림 장치(100)는 전방 차량이 출발한 것으로 판단한 후 전방 차량 출발 알림 메시지를 시청각 형태로 출력할 수 있다.

예를 들어, 전방 차량 출발 알림 장치(100)는 후미등 영역의 크기(후미등 영역 볼륨이)가 주간의 경우 약 25% 이상 감소한 경우 전방 차량이 전진한 것으로 판단할 수 있다. 또한, 전방 차량 출발 알림 장치(100)는 후미등 영역의 크기가 야간의 경우 약 50% 이상 감소한 경우 전방 차량이 전진한 것으로 판단할 수 있다.

그러나 만일 후미등 영역의 크기가 감소하지 않은 경우, 단계 125로 진행한다.

이러한, 전방 차량의 후미등을 검출하여 전방 차량의 출발 여부를 결정하는 방법은 역광에 의한 후미등 칼라 스페이스를 포함하여 검출하는 경우, 자전거 도로, 노을에 비친 아스팔트 등 환경적 요인에 의해 실제 차량의 후미등이 존재하지 않는 영역에서도 후미등 영역으로 검출되는 문제점이 있다. 도 4에는 역광시 후미등 영상이 도시되어 있다.

이에, 역광에 의한 후미등 칼라 스페이스를 제외시키는 경우, 역광에서의 전방 차량의 후미등 검출이 누락되는 문제점이 있다.

또한, 도 5에 도시된 바와 같이, 전방 영상에서 전방 차량이 중심을 완전이 벗어나 위치되는 경우, 후미등이 정상적으로 검출되지 않는 문제점이 있을 수 있다. 따라서, 본 발명의 일 실시예에 따르면 전방 차량 출발 알림 장치(100)는 전방 변화 영역의 위치를 이용하여 전방 차량의 출발 여부를 결정할 수 있다. 이에 대해서는 도 7을 참조하여 하기에서 보다 상세히 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따른 차량의 정차 상황을 인지하는 방법을 나타낸 순서도이다.

단계 610에서 전방 차량 출발 알림 장치(100)는 이전 프레임과의 차영상을 도출한다. 여기서, 이전 프레임은 전방 영상의 현재 프레임의 이전 프레임을 지칭하는 것으로 이해되어야 할 것이다.

이에, 이전 프레임은 처리할 데이터량 및 정차 및 출발 상황 판단에 따른 정확도를 고려하여 현재 프레임을 기준으로 일정 프레임 간격 이전의 프레임(예를 들어, 5 프레임 이전의 프레임)을 이용할 수 있다. 본 명세서에서는 이해와 설명의 편의를 도모하기 위해 프레임 간격이 5 프레임인 것을 가정하여 설명하고 있으나, 프레임 간격은 8 프레임 간격 등과 같이 다양하게 변경될 수 있음은 당연하다.

즉, 본 발명의 일 실시예에서는 실시간으로 입력되는 프레임을 일정 프레임 간격(예를 들어, 5 프레임 간격)으로 계산하여 현재 프레임과 이전 프레임의 차영상을 도출할 수 있다.

단계 615에서 전방 차량 출발 알림 장치(100)는 차영상을 이진화한다.

본 발명의 일 실시예에 따르면 전방 영상에 대한 별도의 전처리 과정을 거치지 않으므로, 부분적으로 노이즈가 첨가된 영상이 존재한다. 따라서, 차영상을 이진화함으로써 불필요한 값을 제거할 수 있다.

예를 들어, 차량 주행 상태 알림 장치(100)는 차영상의 각 픽셀값이 임계값 이하이면, 제1 값(예를 들어, 0)으로 변환하고 임계값을 초과하면 제2 값(예를 들어, 1)로 변환함으로써 이진 영상으로 변환할 수 있다.

여기서, 임계값은 실험적으로 정해질 수 있다. 본 발명의 일 실시예서는 시간에 따라 이진 영상으로 변환하기 위한 임계값 기준을 달리 설정할 수 있다.

예를 들어, 주간인 경우와 야간인 경우, 차영상을 이진 영상으로 변환하기 위한 임계값 기준이 다르게 설정될 수 있다.

단계 620에서 전방 차량 출발 알림 장치(100)는 일정 시간 동안 변환되는 이진 영상의 값의 변화량을 이용하여 현재 차량이 정차하였는지 여부를 판단한다.

예를 들어, 전방 차량 출발 알림 장치(100)는 초당 30 프레임 영상을 입력받는다고 가정하기로 한다. 이때, 전방 차량 출발 알림 장치(100)는 약 5초간의 영상(프레임)을 이용하여 현재 차량의 정차 여부를 판단할 수 있다. 전방 차량 출발 알림 장치(100)가 약 5 프레임 간격으로 차영상을 도출하는 경우, 5초 동안 30개의 이진 영상이 도출될 수 있다. 전방 차량 출발 알림 장치(100)는 30개의 이진 영상의 값(이진 영상의 전체 픽셀값)이 제1 기준값 이하인 이진 영상 개수를 카운트할 수 있다. 이어, 전방 차량 출발 알림 장치(100)는 카운트된 이진 영상 개수가 기준 개수 이상인 경우, 현재 차량이 정차한 것으로 판단할 수 있다.

그러나 만일 전방 차량 출발 알림 장치(100)는 카운트된 이진 영상 개수가 기준 개수 미만인 경우, 현재 차량이 정차하지 않는 것으로 판단할 수 있다.

만일 현재 차량이 정차하지 않은 것으로 판단되는 경우, 단계 610으로 진행한다.

그러나 현재 차량이 정차한 것으로 판단한 경우, 단계 625에서 전방 차량 출발 알림 장치(100)는 현재 차량 재출발 여부를 확인한다. 여기서, 전방 차량 출발 알림 장치(100))는 정차 상황을 판단하는 방법과 마찬가지로 영상 분석을 기반으로 현재 차량의 재출발 여부를 확인할 수 있다.

현재 차량의 정차 후 재출발 여부를 영상의 움직임만으로 판단할 때 주위 차량의 움직임 영향을 많이 받는다. 따라서, 충분히 주행 영상의 이진 영상 결과값에 가까운 임계값을 설정해 주어야 한다. 반대로 주행 상황을 너무 늦게 인지하는 경우, 서행 중 앞차량과 멀어지게 되는 상황을 앞차량 출발로 오인할 확률이 높아지게 된다.

따라서, 주위 차량의 움직임과 자기 차량의 움직임을 구분 짓기 위해 이진 영상의 값의 기준값(이하, 제2 기준값이라 칭하기로 함)를 보다 확실하게 주행과 가까운 값으로 설정할 수도 있다.

전방 차량 출발 알림 장치(100)는 현재 차량의 정차 상태에서 현재 프레임과 이전 프레임의 차영상을 이진 영상으로 변환하고, 일정 시간 동안 변환되는 이진 영상의 값의 변화량을 이용하여 현재 차량의 재출발 여부를 확인할 수 있다.

이때, 전방 차량 출발 알림 장치(100)는 자기 차량(즉, 현재 차량)의 재출발 여부를 빠르게 인식하여 서행 중 앞차 출발 오인식을 줄이기 위해 약 1.5 초동안 변환된 이진 영상의 값의 변화량을 이용하여 현재 차량의 재출발 여부를 확인할 수 있다. 예를 들어, 전방 차량 출발 알림 장치(100)는 일정 시간 동안 이진 영상의 값이 제2 기준값 이상인 개수가 기준 개수 이상인 경우 현재 차량이 재출발한 것으로 판단할 수 있다. 만면, 전방 차량 출발 알림 장치(100)는 일정 시간 동안의 이진 영상의 값이 제2 기준값 이상인 개수가 기준 개수 미만이면 현재 차량 재출발하지 않은 것으로 판단할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 전방 차량 출발 알림 방법을 나타낸 순서도이고, 도 8 및 도 9는 본 발명의 일 실시예에 따른 전방 변화 지점의 변화를 설명하기 위해 도시한 도면이며, 도 10은 본 발명의 일 실시예에 따른 전방 변화 지점의 오차를 설명하기 위해 도시한 도면이다.

단계 710에서 전방 차량 출발 알림 장치(700)는 전방 영상을 입력받는다.

단계 715에서 전방 차량 출발 알림 장치(700)는 입력된 전방 영상과 이전 프레임과의 차영상을 도출한다.

이에 대해 보다 상세히 설명하면, 전방 차량 출발 알림 장치(700)는 전방 영상에서 관심 영역을 설정한다. 관심 영역을 설정하는 방법은 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

전방 차량 출발 알림 장치(700)는 관심 영역을 그레이스케일로 변환한다. 이어, 전방 차량 출발 알림 장치(700)는 그레이스케일로 변환된 현재 프레임(관심 영역)과 이전 프레임(직전 프레임)의 차영상을 도출할 수 있다. 즉, 전방 차량 출발 알림 장치(100)는 현재 프레임(관심 영역)의 픽셀(I_t)의 픽셀값과 직전 프레임(관심 영역)의 픽셀(I_(t-1))의 픽셀값의 차를 도출한 후 임계값(T)과 비교하여 출력 이미지의 픽셀의 픽셀값(O_t)을 도출할 수 있다.

이를 수학식으로 정리하면 수학식 1과 같다.

여기서, t는 관심 영역의 각 픽셀을 나타낸다.

단계 720에서 전방 차량 출발 알림 장치(100)는 도출된 차영상을 이용하여 전방 변화 지점을 도출한다.

이에 대해 보다 상세히 설명하기로 한다. 전방 차량 출발 알림 장치(700)는 도출된 차영상의 각 행(y 좌표)마다 유효 픽셀 수를 누적한 히스토그램을 생성한다. 이어, 히스토그램의 최대값이 임계치 이상이면 해당 y 좌표를 전방 변화 지점으로 결정한다.

전방 차량이 이동하면, 전방 변화 지점이 감지된다. 따라서, 도 8에는 전방 변화 지점이 흰 실선으로 표시되어 있다.

단계 725에서 전방 차량 출발 알림 장치(700)는 전방 변화 지점의 변화값이 감소되는지 여부를 판단한다. 전방 차량 출발 알림 장치(700)은 이전 도출된 전방 변화 지점과 현재 프레임에 상응하여 도출된 전방 변화 지점을 비교하여 감소 여부를 판단할 수 있다.

그러나 만일 전방 변화 지점이 감소하지 않은 경우, 단계 715로 진행한다.

전방 변화 지점이 감소한 경우, 단계 730에서 전방 차량 출발 알림 장치(700)는 전방 차량이 출발한 것으로 판단하여 전방 차량 출발 알림을 출력한다.

예를 들어, 도 8의 경우 전방 변화 지점이 63이며, 도 9는 전방 변화 지점이 56이다. 이와 같은 경우, 전방 차량 출발 알림 장치(100)는 도 9에서 전방 변화 지점이 감소됨에 따라 전방 차량이 출발한 것으로 판단할 수 있다.

도 10은 전방 차량이 출발하고 있는 영상이다. 그러나 도 8과 비교하면, 서로 차량의 다른 부분을 나타내는 것을 알 수 있다. 이러한 오차로 전방 차량 출발의 오인식을 막기 위해, 전방 차량 출발을 결정하는 전방 변화 지점의 변화 임계값을 적절하게 설정해야만 한다.

이러한 전방 변화 지점의 변화값은 바로 직전의 전방 변화 지점과의 변화량을 의미한다. 따라서, 오차가 발생했을 경우, 전방 변화 지점의 손실이 있을 수 있다. 이러한 손실을 막기 위해, 본 발명의 일 실시예에서는 전방 변화 지점을 버퍼배열에 저장한다. 본 발명의 일 실시예에서는 전방 변화 지점을 저장하는 버퍼 배열의 크기가 5인 것을 가정하여 이를 중심으로 설명하기로 한다. 그러나 버퍼 배열의 크기는 구현에 따라 다르게 결정될 수도 있음은 당연하다. 버퍼 배열의 크기가 5일 때, 5개의 전방 변화 지점의 값이 모두 채워지는 경우, 버퍼 배열에 저장된 값들을 리셋하여 초기화할 수 있다.

또한, 전방 변화 지점의 변화값을 도출할 때, 버퍼 배열에 기저장된 값들을 고려하여 도출될 수 있다.

계산된 전방 변화 지점의 변화값이 임계값보다 크면, 전방 차량 출발 알림 장치(100)는 후보 변화 횟수(mvCnt)를 증가시켜 카운트한다. 또한, 후보 변화 횟수가 지정된 횟수 이상(예를 들어, 2)이면, 전방 차량 출발 알림 장치(100)는 최종 변화 횟수(fvMoveCnt)를 증가시켜 카운트한다.

전방 차량 출발 알림 장치(700)는 최종 변화 횟수가 지정된 횟수 이상이면 전방 차량이 출발한 것으로 결정할 수도 있다.

도 11은 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치의 내부 구성을 개략적으로 도시한 블록도이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치(100)는 입력부(1110), 정차 상황 판단부(1115), 검출부(1120), 전방 차량 출발 감지부(1125), 메모리(1130) 및 프로세서(1135)를 포함하여 구성된다.

입력부(1110)는 차량의 전방 영상을 입력받기 위한 수단이다. 여기서, 입력부(1110)는 차량에 설치된 카메라를 통해 전방 영상을 입력받을 수 있다.

정차 상황 판단부(1115)는 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하기 위한 수단이다. 이에 대해서는 도 6을 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

검출부(1120)는 전방 영상에서 전방 차량의 후미등 영역을 검출하기 위한 수단이다. 예를 들어, 검출부(1120)는 전방 영역에서 진행 차로의 좌우 차선을 이용하여 소실점을 검출하고, 소실점 이하의 일부 영역을 관심 영역으로 결정하며, 관심 영역에서 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 영역을 검출할 수 있다. 이에 대해서는 도 1에서 이미 상세히 설명하였으므로 중복되는 설명은 생략하기로 한다.

전방 차량 출발 감지부(1125)는 검출부(1120)에서 검출된 전방 차량의 후미등 영역의 크기 변화에 따라 전방 차량의 출발 여부를 감지하기 위한 수단이다.

예를 들어, 전방 차량 출발 감지부(1125)는 검출부(1120)에서 검출된 전방 차량의 후미등 영역이 이전 검출된 후미등 영역보다 감소하는 경우 전방 차량이 출발한 것으로 판단할 수 있다.

전방 차량 출발 감지부(1125)에 의해 전방 차량 출발이 감지되는 경우, 전방 차량 출발 감지부(1125)는 전방 차량 출발 알림을 시청각 형태로 표출할 수도 있다.

메모리(1130)는 전방 차량 출발 알림 방법을 수행하기 위해 필요한 다양한 알고리즘, 명령어들, 이 과정에서 파생되는 다양한 데이터 등을 저장한다.

프로세서(1135)는 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치(100)의 내부 구성 요소들(예를 들어, 입력부(1110), 정차 상황 판단부(1115), 검출부(1120), 전방 차량 출발 감지부(1125), 메모리(1130) 등)을 제어하기 위한 수단이다.

도 12는 본 발명의 다른 실시예에 따른 전방 차량 출발 알림 장치의 내부 구성을 개략적으로 도시한 블록도이다.

도 12는 본 발명의 다른 실시예에 따른 전방 차량 출발 알림 장치(700)은 입력부(1210), 정차 상황 판단부(1215), 전방 변화 감지부(1220), 전방 차량 출발 감지부(1225), 메모리(1230) 및 프로세서(1235)을 포함하여 구성된다.

입력부(1210)는 차량의 전방 영상을 입력받기 위한 수단이다. 여기서, 입력부(1210)는 차량에 설치된 카메라를 통해 전방 영상을 입력받을 수 있다.

정차 상황 판단부(1215)는 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하기 위한 수단이다. 이에 대해서는 도 6을 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

전방 변화 감지부(1220)는 전방 영상의 관심 영역에서 전방 차량 움직임 변화에 따른 전방 변화 지점을 도출한다. 예를 들어, 전방 변화 감지부(1220)는 관심 영역의 현재 프레임과 직전 프레임에 대한 차영상을 도출하며, 차영상의 Y축 좌표의 유효 픽셀수를 누적한 히스토그램을 도출하고, 도출된 히스토그램의 최대값이 임계치보다 크면, 최대값에 해당하는 Y축 좌표를 전방 변화 지점으로 도출할 수 있다.

전방 차량 출발 감지부(1225)는 전방 변화 감지부(1220)에 의해 도출된 전방 변화 지점을 이용하여 전방 차량이 출발을 감지한다.

예를 들어, 전방 차량 출발 감지부(1225)는 전방 변화 감지부(1220)에 의해 도출된 전방 변화 지점이 이전 도출된 전방 변화 지점보다 감소한 경우 전방 차량이 출발한 것으로 인식할 수 있다.

메모리(1230)는 전방 차량 출발 알림 방법을 수행하기 위해 필요한 다양한 알고리즘, 명령어들, 이 과정에서 파생되는 다양한 데이터 등을 저장한다.

프로세서(1235)는 본 발명의 일 실시예에 따른 전방 차량 출발 알림 장치(700)의 내부 구성 요소들(예를 들어, 입력부(1210), 정차 상황 판단부(1215), 전방 변화 감지부(1220), 전방 차량 출발 감지부(1225), 메모리(1230) 등)을 제어하기 위한 수단이다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 전방 차량 출발 알림 장치
1110: 입력부
1115: 정차 상황 판단부
1120: 검출부
1125: 전방 차량 출발 감지부
1130: 메모리
1135: 프로세서

Claims (13)

1. (a) 차량의 전방 영상을 입력받는 단계;
   (b) 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 단계;
   (c) 상기 차량이 정차 상황이면, 전방 영역에서 전방 차량의 후미등 영역을 검출하고, 상기 전방 영상의 관심 영역에서 전방 차량 움직임 변화에 따른 전방 변화 지점을 도출하는 단계; 및
   (d) 상기 전방 변화 지점의 감소 여부와 상기 전방 차량의 후미등 영역의 크기 감소 여부를 이용하여 상기 전방 차량의 출발 여부를 결정하는 단계를 포함하되,
   상기 전방 변화 지점을 도출하는 단계는,
   상기 관심 영역의 현재 프레임과 직전 프레임에 대한 차영상을 도출하는 단계;
   상기 차영상의 Y축 좌표의 유효 픽셀수를 누적한 히스토그램을 도출하는 단계; 및
   상기 도출된 히스토그램의 최대값이 임계치보다 크면, 상기 최대값에 해당하는 Y축 좌표를 전방 변화 지점으로 도출하는 단계를 포함하는 전방 차량 출발 알림 방법.
   
   
2. 제1 항에 있어서,
   상기 (c) 단계는,
   상기 전방 영역에서 진행 차로의 좌우 차선을 이용하여 소실점을 검출하는 단계;
   상기 소실점 이하의 일부 영역을 관심 영역으로 결정하는 단계; 및
   상기 관심 영역에서 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 영역을 검출하는 단계를 포함하는 전방 차량 출발 알림 방법.
   
3. 제2 항에 있어서,
   상기 후미등 영역을 검출하는 단계는,
   상기 관심 영역의 중심에서 우측으로 상기 후미등 칼라 스페이스에 포함되는 픽셀을 검출하여 후미등 후보 영역을 검출하는 단계; 및
   상기 관심 영역에서 상기 후미등 후보 영역에 대칭되는 좌측 위치에 상기 후미등 칼라 스페이스에 포함되는 픽셀이 검출되는 경우, 상기 후미등 후보 영역을 최종 후미등 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 전방 차량 출발 알림 방법.
   
4. 제3 항에 있어서,
   상기 관심 영역에서 상기 후미등 후보 영역에 대칭되는 좌측 위치에 상기 후미등 칼라 스페이스에 포함되는 픽셀이 검출되지 않으면, 상기 후미등 후보 영역을 오류로 판단하여 제거하는 단계를 더 포함하는 전방 차량 출발 알림 방법.
   
5. 삭제
6. 삭제
7. 제1 항에 있어서,
   상기 (d) 단계는,
   상기 전방 변화 지점이 감소하는 변화량이 지정된 횟수 이상인 경우 상기 전방 차량이 출발한 것으로 결정하는 것을 특징으로 하는 전방 차량 출발 알림 방법.
   
8. 제1항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
   
9. 적어도 하나의 명령어들을 저장하는 메모리; 및
   상기 메모리에 저장된 명령어들을 실행하는 프로세서를 포함하되,
   상기 명령어들은,
   차량의 전방 영상을 입력받는 단계;
   (b) 상기 전방 영상을 분석하여 차량의 정차 상황 여부를 판단하는 단계;
   (c) 상기 차량이 정차 상황이면, 전방 영역에서 전방 차량의 후미등 영역을 검출하고, 상기 전방 영상의 관심 영역에서 전방 차량 움직임 변화에 따른 전방 변화 지점을 도출하는 단계; 및
   (d) 상기 전방 변화 지점의 감소 여부와 상기 전방 차량의 후미등 영역의 크기 감소 여부를 이용하여 상기 전방 차량의 출발 여부를 결정하는 단계를 수행하는 단계를 포함하되,
   상기 전방 변화 지점을 도출하는 단계는,
   상기 관심 영역의 현재 프레임과 직전 프레임에 대한 차영상을 도출하는 단계;
   상기 차영상의 Y축 좌표의 유효 픽셀수를 누적한 히스토그램을 도출하는 단계; 및
   상기 도출된 히스토그램의 최대값이 임계치보다 크면, 상기 최대값에 해당하는 Y축 좌표를 전방 변화 지점으로 도출하는 단계를 포함하는 것을 특징으로 하는 전방 차량 출발 알림 장치.
   
   
   
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images