KR101697520B1

KR101697520B1 - 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Info

Publication number: KR101697520B1
Application number: KR1020150154989A
Authority: KR
Inventors: 양승한; 박성령
Original assignee: 경북대학교 산학협력단
Priority date: 2015-11-05
Filing date: 2015-11-05
Publication date: 2017-02-02
Also published as: WO2017078213A1

Abstract

본 발명은 차량 승하차시 발생되는 사고를 예방하기 위한 것으로, 특히 차량의 주변 촬영영상을 비교하여 이동 객체에 의해 도출되는 광흐름을 근거로 움직임 객체를 검출함으로써, 차량 주변의 위험상태를 보다 정확하게 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템에 관한 것이다.
본 발명에 따른 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템은 차량에 설치되어 차량의 외측 주변을 촬영하는 촬영장치와, 사고예방 알림정보를 출력하는 알림장치 및, 상기 촬영장치로부터 제공되는 영상프레임에서 객체에 대한 특징점을 검출하고, 현재 영상 프레임과 이전 영상 프레임에서의 특징점 이동 변화에 대응되는 광흐름 벡터를 생성하며, 광흐름 벡터를 크기와 각도에 대해 이산화하여 기 설정된 차량 상태 판단 영역 이외 영역에서의 최대 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하여 상기 알림장치를 통해 이에 대응되는 알람정보를 송출하도록 제어하는 제어장치를 포함하여 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.

Description

촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템{Method for cognition of movement object in photographing image and system for prevention of vehicle boarding accident}

본 발명은 차량 승하차시 발생되는 사고를 예방하기 위한 것으로, 특히 차량의 주변 촬영영상을 비교하여 이동 객체에 의해 도출되는 광흐름을 근거로 움직임 객체를 검출함으로써, 차량 주변의 위험상태를 보다 정확하게 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템에 관한 것이다.

일반적으로 운전자는 차량 주행시나 주차시 차량의 좌/우측에 구비된 외부 사이드 미러와 내부 룸 미러를 통해 차량의 주변 상황을 육안으로 확인하여 사고발생에 대비한다.

그러나, 운전자가 외부 사이드 미러와 내부 룸 미러를 통해 차량 주변을 파악할 수 있는 영역은 한정되어 있을 뿐 아니라, 찰나의 부주의로 차량 주변 상황을 인식하지 못함으로 인해 대형 사고를 유발하는 문제가 사회적으로 이슈화되고 있는 것이 현실이다.

특히, 어린이를 태운 통학차량의 운행이 급속히 확산되고 있고, 어린이가 승하차하는 과정에서 발생되는 사망사고는 피해자가 어린이라는 점에서 사회적 파장이 매우 크게 작용하고 있다.

이에, 최근에는 통학차량 관련 법규를 강화함은 물론, 차량에 카메라를 설치하여 운전자가 차량 내부에서 차량의 외부 주변 상황을 용이하게 감시하도록 함과 더불어, 차량 주변에 사람이 접근하는 등의 위험상황이 발생되는 경우에는 차량 내부로 경보음을 발생시키는 등의 기능을 수행하는 안전장치를 차량에 기본적으로 설치하는 것이 제안되고 있다.

상기한 안전장치는 차량에 설치된 카메라를 통해 제공되는 이전 촬영영상과 현재 촬영영상과의 비교를 수행하여 차량 주변의 상태, 특히 움직이는 주변 차량이나 오토바이 등의 각종 이송 수단 등의 움직임 객체를 판단하게 된다.

그러나, 촬영영상의 변화여부만을 이용하여 움직임 객체를 판단함에 있어서는 차량이 이동중인 상태에서는 차량 주변에 주변 움직임 객체가 존재하지 않더라도 차량 이동으로 인해 촬영영상의 변화가 발생되므로 인해 움직임 객체가 존재한다고 오판하는 경우가 발생될 수 있다.

즉, 상기한 안전장치는 촬영영상의 변화여부만을 이용하여 움직임 객체를 판단하므로, 차량이 정차된 경우에 한하여 주변 상황에 대한 위험상태 안내가 가능하다는 한계가 있다.

1. 한국등록특허 제1270602호 (발명의 명칭 : 차량 주변 영상 제공 방법) 2. 한국공개특허 제2013-0135637호 (발명의 명칭 : 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 차량의 주변 영상을 비교하여 변화 발생한 객체에 대한 광흐름을 근거로 동일 객체를 검증하고, 해당 객체 특징점간 이동변화에 대응되는 광흐름 맵을 생성하여 이 광흐름 맵의 분석을 통해 움직임 객체를 판단함으로써, 차량 주변의 움직임 객체 인식을 보다 정확히 수행하여 그에 따른 위험상태를 정확하게 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템을 제공함에 그 기술적 목적이 있다.

또한, 본 발명은 광흐름 맵의 광흐름 분포 영역을 근거로 현재 차량의 상태를 판단함과 더불어, 기 설정된 관심영역에 대한 광흐름 분포 영역을 근거로 차량의 상태에 대응되는 움직임 객체를 판단하도록 함으로써, 차량의 상태에 상관없이 주변 위험 상황을 인지할 수 있도록 해 주는 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템을 제공함에 또 다른 기술적 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 차량에 설치되어 차량의 외측 주변을 촬영하는 촬영장치와, 사고예방 알림정보를 출력하는 알림장치 및, 상기 촬영장치로부터 제공되는 영상프레임에서 차량 주변에 움직임 객체가 존재하는지를 판단하여 상기 알림장치를 통해 이에 대응되는 알람정보를 송출하도록 제어하는 제어장치를 포함하여 구성되고, 상기 제어장치는 현재 영상 프레임에서 객체에 대한 코너 특징점을 검출하는 특징점 검출모듈과, 상기 특징점 검출모듈에서 검출된 현재 영상프레임에서의 코너 특징점에 대응되는 이전 또는 이후 영상프레임의 특징점을 추정하고, 두 영상 프레임의 코너 특징점간의 위치 관계를 근거로 이동방향에 대응되는 광흐름을 검출함과 더불어, 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 광흐름 벡터 생성모듈, 상기 광흐름 벡터 생성모듈로부터 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 광흐름 맵 생성모듈 및, 상기 광흐름 맵에서 현재 차량 상태에 대응되는 크기 또는 각도 분포 특성을 갖는 기 설정된 상태판단 영역 이외의 광흐름 맵 영역에서의 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 움직임 분석모듈을 포함하여 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.

삭제

또한, 상기 광흐름 벡터 생성모듈은 광흐름 정보가 포함된 영상을 상방시선 좌표변화처리하고, 이 상방시선 영상에서 광흐름 벡터를 생성하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.

또한, 상기 광흐름 벡터 생성모듈은 상기 광흐름 벡터의 크기가 기 설정된 유효 기준 픽셀 미만인 광흐름 벡터만 유효 광흐름 벡터로 설정하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.

또한, 상기 움직임 분석모듈은 광흐름 맵에서 최대 빈도수의 광흐름 영역을 근거로 차량의 정차, 전진, 후진 상태를 판단하되, 크기축과 각도축으로 이루어지는 광흐름 맵에서 광흐름의 크기가 최소 기준 픽셀 미만인 영역을 정차상태 영역으로 설정하고, 최소 기준 각도 범위로서 각도의 변화가 적은 영역을 전진상태 영역으로 설정하며, 최대 기준 각도 범위로서 각도의 변화가 큰 영역을 후진상태 영역으로 설정하여, 차량의 움직임 상태를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.

또한, 상기 광흐름 맵 생성모듈은 전체 영상프레임에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제1 광흐름 맵을 생성함과 더불어, 영상프레임에서 기 설정된 관심영역에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제2 광흐름 맵을 생성하도록 구성되고, 상기 움직임 분석모듈은 상기 제1 광흐름 맵을 분석하여 차량의 정차, 전진, 후진 상태를 판단하고, 상기 제2 광흐름 맵을 분석하여 움직임 객체의 존재 여부를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.

또한, 상기 움직임 분석모듈은 움직임 객체가 검출되지 않는 경우, 제1 광흐름 맵에서 최고 빈도수 영역과, 제2 광흐름 맵에서 최고 빈도수 영역이 서로 상이한 경우 움직임 객체가 존재하는 것으로 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.

또한, 상기 움직임 분석모듈은 광흐름 맵에서 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에 대해 일정 빈도수 이상의 광흐름이 지속하여 검출되는 경우 끼임 객체가 발생한 것으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 차량에 설치되어 차량의 외측 주변을 촬영하는 촬영장치와, 차량의 현재 상태를 제공하기 위한 차량 상태정보 제공수단, 사고예방 알림정보를 출력하는 알림장치 및, 상기 촬영장치로부터 제공되는 영상프레임에서 차량 주변에 움직임 객체가 존재하는지를 판단하여 상기 알림장치를 통해 이에 대응되는 알람정보를 송출하도록 제어하는 제어장치를 포함하여 구성되고, 상기 제어장치는 현재 영상 프레임에서 객체에 대한 코너 특징점을 검출하는 특징점 검출모듈과, 상기 특징점 검출모듈에서 검출된 현재 영상프레임에서의 코너 특징점에 대응되는 이전 또는 이후 영상프레임의 특징점을 추정하고, 두 영상 프레임의 코너 특징점간의 위치 관계를 근거로 이동방향에 대응되는 광흐름을 검출함과 더불어, 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 광흐름 벡터 생성모듈, 상기 광흐름 벡터 생성모듈로부터 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 광흐름 맵 생성모듈 및, 상기 광흐름 맵에서 상기 차량 상태정보 제공수단으로부터 제공되는 차량 상태에 대응되는 크기 또는 각도 분포 특성을 갖는 기 설정된 상태판단 영역 이외의 광흐름 맵 영역에서의 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 움직임 분석모듈을 포함하여 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.

삭제

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면,상기 촬영장치로부터 제공되는 촬영영상의 관심영역에서 변화 발생 객체에 대한 특징점을 검출하는 제1 단계와, 상기 제1 단계에서 검출된 현재 영상프레임의 특징점을 근거로 이전 영상프레임의 특징점을 추정하고, 두 영상 프레임의 특징점간 위치 관계를 근거로 이동방향에 대응되는 광흐름을 획득함과 더불어, 획득된 광흐름을 근거로 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 제2 단계, 상기 제2 단계에서 제공되는 광흐름 벡터를 근거로 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 제3 단계, 상기 제3 단계에서 생성된 광흐름 맵에서 기 설정된 영역에 대한 광흐름 빈도수를 산출하는 제4 단계, 상기 제4 단계에서 광흐름 빈도수가 최대인 영역의 위치를 근거로 움직임 객체를 검출하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제2 단계는 광흐름 정보가 포함된 영상을 상방시선 좌표변환처리를 수행하고, 이 상방시선 영상에서 상방시선 광흐름 벡터를 생성하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제2 단계는 상기 광흐름 벡터의 크기가 기 설정된 유효 기준 픽셀 미만인 광흐름 벡터만 유효 광흐름 벡터로 설정하여 이후 움직임 객체 검출에 적용하도록 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제3 단계는 전체 영상프레임에 대한 광흐름 벡터를 제1 광흐름 맵을 생성함과 더불어, 영상프레임에서 기 설정된 관심영역에 대한 광흐름 벡터를 근거로 제2 광흐름 맵을 생성하고, 상기 제4 단계는 상기 제1 및 제2 광흐름 맵에 대해 기 설정된 영역별 광흐름 빈도수를 각각 산출하며, 상기 제5 단계는 상기 제1 광흐름 맵에 의해 산출된 광흐름 빈도수가 최대인 영역을 근거로 차량의 정차, 전진, 후진 상태를 판단하고, 상기 제2 광흐름 맵에 의해 산출된 광흐름 빈도수가 기준 빈도수 이상인 영역이 상기 차량 상태 영역 이외의 영역에 존재하는 경우, 움직임 객체가 존재한다고 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제5 단계는 상기 제2 광흐름 맵에 의해 산출된 광흐름 빈도수가 기준 빈도 수 이상인 영역이 상기 차량 상태 영역 이외의 영역에 존재하지 않는 경우, 제1 광흐름 맵에 의해 산출된 차량 상태에 대응되는 움직임 객체 판단영역에 대한 움직임 객체 존재 여부를 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제5 단계는 크기축과 각도축으로 이루어지는 제1 광흐름 맵에서 광흐름의 크기가 기준 픽셀 미만인 영역을 정차상태 영역으로 설정하고, 최소 기준 각도 범위로서 각도의 변화가 적은 영역을 전진상태 영역으로 설정하며, 최대 기준 각도 범위로서 각도의 변화가 큰 영역을 후진상태 영역으로 설정하여, 차량의 현재 상태를 판단하도록 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제5 단계는 움직임 객체가 검출되지 않는 경우, 제1 광흐름 맵에서 최고 빈도수 영역과, 제2 광흐름 맵에서 최고 빈도수 영역이 서로 상이한 경우 움직임 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제5 단계는 광흐름 맵에서 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에 대해 일정 빈도수 이상의 광흐름이 지속하여 검출되는 경우 끼임 객체가 발생한 것으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 차량으로부터 차량의 현재 상태를 제공받는 제51 단계와, 차량에 설치된 촬영장치로부터 제공되는 촬영영상의 관심영역에서 객체에 대한 특징점을 검출하는 제52 단계, 상기 제52 단계에서 검출된 현재 영상 프레임의 관심영역 특징점을 근거로 이전 영상프레임의 관심영역 특징점을 추정하고, 두 영상 프레임의 관심영역 특징점간 위치 관계를 근거로 이동방향에 대응되는 광흐름을 획득함과 더불어, 획득된 광흐름을 근거로 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 제53 단계, 상기 제53 단계에서 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 제54 단계, 상기 제54 단계에서 생성된 광흐름 맵에서 서로 다른 크기 또는 각도 분포 특성을 갖는 기 설정된 영역에 대한 광흐름 빈도수를 산출하는 제55 단계 및, 상기 제55 단계에서 상기 제51 단계에서 제공되는 현재 차량 상태에 대응되는 영역 이외의 기 설정 영역에서 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 제56 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

또한, 상기 제56 단계에서 정차상태는 광흐름 맵에서 광흐름의 크기가 기준 픽셀 미만인 영역으로 설정하고, 전진상태는 기 설정된 최소 기준 각도 범위로서 각도의 변화가 적은 영역으로 설정하며, 후진상태는 기 설정된 최대 기준 각도 범위로서 각도의 변화가 큰 영역으로 설정하여 차량 상태에 대응되는 영역을 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법이 제공된다.

본 발명에 의하면 차량의 주변 영상을 비교하여 변화 발생한 객체에 대한 광흐름을 근거로 동일 객체를 검증하여 움직임 객체를 검출함으로써, 차량 주변의 움직임 객체 인식을 보다 정확히 수행하여 그에 따른 위험상태를 정확하게 안내해 줄 수 있게 된다.

또한, 본 발명에 의하면 광흐름 맵의 광흐름 분포 영역을 근거로 현재 차량의 상태를 판단함과 더불어, 기 설정된 관심영역에 대한 광흐름 분포 영역을 근거로 차량의 상태에 대응되는 움직임 객체를 판단하도록 함으로써, 차량의 상태에 상관없이 차량 주변의 움직임 객체를 용이하게 인식할 수 있게 된다.

도1은 본 발명에 따른 차량 승하차 사고 예방 시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 제어장치(400)의 내부구성을 기능별로 분리하여 나타낸 도면.
도3은 도2에 도시된 특징점 검출모듈(410)에서의 특징점 검출 동작을 설명하기 위한 도면.
도4는 도2에 도시된 광흐름 벡터 생성모듈(420)의 광흐름 벡터 생성동작을 설명하기 위한 도면.
도5는 도2에 도시된 광흐름 맵 생성모듈(430)에서 생성되는 광흐름 맵을 예시한 도면.
도6은 도2에 도시된 움직임 객체 분석모듈(440)에서의 움직임 상태 판단동작을 설명하기 위한 도면.
도7과 도8은 본 발명에 따른 촬영영상에서의 움직임 객체 검출 방법을 설명하기 위한 흐름도.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템을 상세하게 설명하기로 한다.

도1은 본 발명에 따른 차량 승하차 사고 예방 시스템의 개략적인 구성을 도시한 도면이다.

도1에 도시된 바와 같이 본 발명에 따른 차량 승하차 사고 예방 시스템은 촬영장치(100)와, 알람장치(200), 데이터메모리(300) 및, 제어장치(400)를 포함하여 구성된다. 이때, 상기 촬영장치(100)와 알람장치(200), 데이터메모리(300) 및, 제어장치(400)는 도시되지는 않았지만, 차량의 일정 위치에 설치된다.

상기 촬영장치(100)는 차량에 설치되어 차량의 외측 주변을 촬영하기 위한 것으로, 카메라로 구성될 수 있다. 상기 촬영장치(100)는 차량의 도어 측방을 촬영할 수 있도록 차량 외부의 적절한 위치, 예컨대 사이드 미러나 도어 상측에 설치된다. 여기서, 촬영장치(100)의 촬영영역은 기 설정된 관심영역(ROI, Region Of Interest) 즉, 위험 구역을 포함하도록 설정되는 것이 바람직하다. 이때, 상기 위험 구역은 차량의 종류나 승하차 환경 등을 고려하여 적정한 영역으로 설정될 수 있으며, 촬영장치(100)의 설치 위치에 따라 서로 다른 다수의 구역으로 설정될 수 있다. 예컨대, 상기 위험 구역은 차량의 도어와 전방 휠 및 후방 휠을 포함하는 영역으로 설정될 수 있다.

상기 알람장치(200)는 상기 제어장치(400)로부터 제공되는 정보를 근거로 사고 예방을 위한 경보음을 출력하거나 안내음성을 출력하기 위한 장치로서 예컨대, 부저 또는 스피커로 구성될 수 있다. 상기 알람장치(200)는 차량의 실내 또는 외측에 설치되어 질 수 있다. 이때, 상기 알람장치(200)가 차량의 실내에 설치됨은 사고예방 알림상태를 운전자 및 실내에 위치하는 승객에게 인식시키기 위함이고, 차량의 외측에 설치됨은 차량의 도어를 통해 승하차 하는 승객에게 사고예방 알림상태를 인식시키기 위함이다.

상기 데이터메모리(300)는 촬영영상에서의 관심영역에 대한 픽셀 위치정보와, 움직임 객체 분석을 위한 각종 기준정보를 저장한다. 상기 기준정보는 움직임 분석에 적용되는 유효 광흐름벡터를 설정하기 위한 유효기준 크기정보와, 움직임 객체 판단을 위한 기준 빈도수, 움직임 상태 영역을 판단하기 위한 최소 기준각도범위/최대 기준각도범위/최소 기준픽셀범위가 포함된다. 여기서, 상기 기준각도범위는 차량의 전후진을 판단하기 위한 범위이며, 기준픽셀범위는 차량의 정차를 판단하기 위한 범위이다.

상기 제어장치(400)는 상기 촬영장치(100)로부터 제공되는 촬영영상을 근거로 차량의 움직임에 상관없이 차량 도어 주변의 움직임 객체를 판단하고, 움직임 객체 판단결과를 근거로 이에 대응되는 알람정보를 상기 알람장치(200)를 통해 출력하도록 구성된다.

도2는 도1에 도시된 제어장치(400)의 내부구성을 기능별로 분리하여 나타낸 도면이다.

도2에 도시된 바와 같이 제어장치(400)는 특징점 검출모듈(410)과, 광흐름 벡터 생성모듈(420), 광흐름 맵 생성모듈(430) 및, 움직임 객체 분석모듈(440)을 포함하여 구성된다.

상기 특징점 검출모듈(410)은 상기 촬영수단(100)으로부터 제공되는 현재 영상 프레임에 대한 특징점을 검출한다. 상기 특징점 검출모듈(410)은 공지의 해리스 코너(Harris Corner)검출기를 이용하여 도3a에 도시된 바와 같이, 해당 영상 프레임에서 모든 객체(O)에 대한 코너 특징점을 검출할 수 있다. 이때, 특징점 검출 속도를 향상시키기 위해 영상을 축소한 후 특징점 검출을 수행할 수 있다. 도3b는 특징점이 표시되는 촬영영상을 예시한 도면으로, 여기서 붉은색 원은 특징점을 나타낸다.

상기 광흐름 벡터 생성모듈(420)은 상기 특징점 검출모듈(410)에서 검출된 객체의 코너 특징점의 위치 관계를 분석하여 이동방향에 대응되는 광흐름 정보를 획득하고, 이를 근거로 광흐름 벡터를 생성한다.

즉, 상기 광흐름 벡터 생성모듈(420)은 이전 또는 이후 영상 프레임에 대해 현재 영상 프레임의 특징점에 대응되는 점을 Pyramidal Lucas Kanade 방법을 이용하여 추정한다.

또한, 상기 광흐름 벡터 생성모듈(420)은 도4a에 도시된 바와 같이 두 프레임에서의 객체 예컨대, 현재 프레임에서의 객체(O₂)와, 이전 프레임에서의 객체(O₁)에 대해 상호 대응되는 각 특징점에 대한 위치 변화를 검출하고, 그 위치 변화에 대응되는 이동 방향성을 갖는 광흐름(Optical flow)을 획득한다. 이때, 정지 객체에 대한 광흐름은 "0"벡터가 된다.

또한, 상기 광흐름 벡터 생성모듈(420)은 방사 및 원근 왜곡에 의한 영향을 제거하기 위하여 획득한 광흐름을 상방 시선 영상에서의 광흐름으로 변환한다. 일반적으로 사용되는 어안렌즈 카메라는 도4b에서 ①과 같이 카메라 자세에 따른 원근 왜곡과 렌즈특성에 따른 방사 왜곡이 포함된 형태의 촬영영상으로 출력된다. 이에 광흐름 벡터 생성모듈(420)은 ①과 같은 형태의 왜곡성분이 포함된 촬영영상을 기 설정된 보정계수를 이용하여 ② 와 같은 형태의 상방 시선 영상으로 변환한 상태에서 광흐름을 생성할 수 있다. 이때, 광흐름 정보만을 상방 시선 영상으로 변환하는 것도 가능하다. 즉, 상기 광흐름 벡터 생성모듈(420)은 기 설정된 보정 변수를 이용하여 광흐름의 시작 및 끝 점에 대하여 상방 시선 변환 알고리즘을 이용하여 좌표 변환함으로써, Bird's eye view 등과 같은 상방 시선 영상에서의 새로운 광흐름 벡터(OV)를 생성한다. 예컨대, 상기 광흐름 벡터(OV)는 도4b에 도시된 바와 같이, 생성될 수 있다.

이때, 상기 광흐름 벡터 생성모듈(420)은 광흐름 정보를 연산하는 과정에서 발산하는 경우가 발생할 수 있는 바, 이를 제거하기 위하여 광흐름 정보를 물리적으로 움직임이 일어날 수 있는 범위로 한정하는 것이 바람직하다. 예컨대, 상기 광흐름 벡터 생성모듈(420)은 변화발생 객체를 포함하는 모든 특징점에 대해 생성된 광흐름 벡터의 크기, 즉 픽셀 차이가 기 설정된 유효 기준 크기, "30 픽셀" 이하인 광흐름 벡터만을 유효 광흐름 벡터로 설정할 수 있다.

상기 광흐름 맵 생성모듈(430)은 차량의 상태 및 객체의 움직임 여부를 판단하기 위해 사용할 광흐름 맵을 생성한다. 이때, 차량의 상태를 판단하기 위한 제1 광흐름 맵은 영상 프레임 전체에서의 광흐름 벡터를 근거로 생성되고, 객체의 움직인 여부를 판단하기 위한 제2 광흐름 맵은 기 설정된 관심영역에서의 광흐름 벡터를 근거로 생성된다.

즉, 상기 광흐름 맵 생성모듈(430)은 상기 광흐름 벡터 생성모듈(420)에서 유효 광흐름 벡터를 이산화하여 크기와 각도에 대응되는 도5a 또는 도5b와 같은 광흐름 정보 산출 과정을 통해 제 1및 제2 광흐름 맵을 각각 생성한다. 즉, 상기 광흐름 맵 생성모듈(430)은 예컨대, (1,0)(1,2)(1,3)의 3개 광흐름에 대해 도5a에 도시된 바와 같이 광흐름 위치 좌표별 크기 및 각도에 대한 테이블을 생성하고, 이를 이용하여 도5b와 같이 크기 및 각도에 대한 그래프 형태의 광흐름 분포도를 생성한다. 여기서, 상기 도5a와 도5b에는 크기는 "0.5" 픽셀, 각도는 "1°"로 이산화된 데이터가 도시되어 있다. 즉, 광흐름 (1,2)에 대한 실제 크기 "2.236"에 대해서는 이를 "0.5" 픽셀로 이산화하여 "4"로 설정하고, 광흐름 (1,2)에 대한 실제 각도 "63.435"에 대해서는 이를 "1°"로 이산화하여 "63"으로 설정한다.

상기 움직임 객체 분석모듈(440)은 상기 광흐름 맵 생성모듈(430)에서 생성된 제1 광흐름 맵에서 기 설정된 움직임 상태영역별 광흐름 빈도수를 근거로 차량에 대한 움직임 상태를 판단함과 더불어, 제2 광흐름 맵을 통해 움직임 객체의 존재여부를 판단한다.

상기 움직임 분석모듈(440)은 먼저 제1 광흐름 맵을 분석하여 차량의 현재 움직임 상태를 분석한다. 즉, 상기 움직임 분석모듈(440)은 도6a에 도시된 바와 같이 상태 영역별 광흐름의 빈도수를 산출하여 그 빈도수가 최대인 분포 영역에 따라 정차상태(STOP), 전진상태(FORWARD), 후진상태(BACKWARD)로 분석한다. 정차상태는 차량이 정차하고 있는 경우 대부분의 특징점 위치는 변화가 없으므로 광흐름은 "0" 벡터가 된다. 다시 말해 정차상태 영역은 비교적 변화가 적은 영역, 예컨대 광흐름 벡터의 크기가 "1" 픽셀 미만인 영역으로 설정될 수 있다. 상기 전진상태 영역은 각도의 변화가 비교적 적은 영역, 즉 기 설정된 최소 기준각도범위인 영역으로 예컨대, "-10 ~+10"의 각도범위를 갖는 영역으로 설정될 수 있다. 상기 후진상태 영역은 각도의 변화가 비교적 큰 영역 즉, 최대 기준각도 범위인 영역으로 예컨대 "-170 ~-180","+170 ~+180" 각도 범위를 갖는 영역으로 설정될 수 있다. 즉, 상기 움직임 분석모듈(440)은 현재 촬영영상에서 정차상태 영역에서의 광흐름 빈도수가 가장 높은 경우, 현재 차량은 정차상태로 판단한다.

또한, 상기 움직임 분석모듈(440)은 제2 광흐름 맵에서 차량의 현재 상태 이외의 영역에서 국부적인 광흐름 최대 빈도수가 기 설정된 기준 빈도수 이상인 영역이 존재하는 경우 움직임 객체가 존재한다고 판단한다. 예컨대, 차량이 정차상태인 경우, 제2 광흐름 맵에서 정차상태영역 이외의 영역에서 최대 빈도수가 존재하는 경우 움직임 객체가 존재하는 것으로 판단한다.

또한, 상기 움직임 분석모듈(440)은 상술한 움직임 객체에 대한 검출결과를 근거로 이에 대응되는 사고예방 알람정보를 상기 알람장치(200)로 제공하도록 구성된다.

한편, 본 발명에 있어서는 또 다른 실시예로서, 상기 움직임 분석모듈(440)은 차량이 전진 또는 후진한다고 판단되는 상태에서 움직임 객체가 검출되지 않는 경우, 차량과 객체가 동일한 방향으로 움직이는 경우를 고려하여, 제1 광흐름 맵에서 최고 빈도수 영역과, 제2 광흐름 맵에서 최고 빈도수 영역이 서로 상이한 경우 움직임 객체가 존재하는 것으로 판단할 수 있다. 예컨대, 상기 움직임 분석모듈(440)은 도6b에서 제1 광흐름 맵에서 차량 상태에 대응되는 제1 빈도수(Total)를 산출하고, 제2 광흐름 맵에서 움직임 객체에 대응되는 제2 빈도수(ROI)를 산출하여, 제1 빈도수가 가장 높은 영역 이외의 영역에서 제2 빈도수가 최고인 영역이 존재하는 경우 움직임 객체가 존재하는 것으로 판단한다. 즉, 도6b에서 차량 상태영역은 "X"이고, 움직임 객체 영역은 차량 상태영역 이외의 영역에서 최고의 빈도수를 갖는 제2 빈도수 출현 영역인 "Y"가 된다.

또한, 본 발명에 있어서는 또 다른 실시예로서, 상기 움직임 분석모듈(440)은 차량에 객체가 끼임이 발생한 것을 판단하도록 구성될 수 있다. 이 경우 객체가 차량에 끼이게 되면 차량 이동시 같이 움직이게 된다. 따라서, 움직임 분석모듈(440)은 이를 고려하여 도6c와 같이 수직한 방향, 다시 말해 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에서 일정 빈도수 이상의 광흐름이 일정 시간 이상 지속적으로 나타나는 경우, 끼임 객체가 발생한 것으로 판단한다.

또한, 본 발명에 있어서는 또 다른 실시예로서, 상기 실시예에 있어서는 전체 영상 프레임에서 광흐름 맵을 이용하여 차량의 상태를 판단하도록 실시하였으나, 차량의 상태는 차량 자체의 장치로부터 제공받도록 실시하는 것도 가능하다.

즉, 본 발명에 있어서는 차량에 구비되는 차량상태 정보 제공수단(미도시)을 통해 차량의 현재 상태를 제공받을 수 있다. 따라서, 본 발명에 있어서는 영상프레임에서 기 설정된 관심영역에 대해서만 상술한 바와 같이 광흐름 맵을 생성하여 움직임 객체를 판단하도록 실시할 수 있다. 이 경우, 차량 상태 판단을 위한 광흐름 맵을 생성하여 분석하는 과정이 생략되어 동일 시스템 사용시 처리 속도가 향상될 수 있다.

또한, 본 발명에 있어서는 또 다른 실시예로서, 제2 광흐름맵을 통해 차량 주변 관심영역에서의 움직임 객체를 우선적으로 판단하여 움직임 객체가 존재하는 경우 차량의 상태를 판단하지 않고 움직임 객체에 대한 알람을 제공하도록 함으로써, 동일 시스템 사용시 처리 속도를 보다 향상시킬 수 있다.

즉, 상기 실시예에 있어서는 제2 광흐름 맵에서 도6d에 도시된 바와 같이 차량 상태(정차,전진,후진)에 대응되는 영역 이외의 영역에서 움직임 객체가 존재하는 경우, 움직임 객체에 대한 알람을 제공한다. 또한, 제2 광흐름 맵에서 움직임 객체가 존재하지 않는 경우에는 제1 광흐름맵을 통해 차량 상태를 판단한 후, 차량 상태에 대응되는 영역에 대해 움직임 객체가 존재하는지를 확인함으로써, 움직임 객체에 대한 알람을 제공하도록 구성된다. 이때, 차량의 현재 상태정보는 차량에 구비되는 차량상태 정보 제공수단(미도시)을 통해 제공받을 수 있으며, 현재 차량의 상태에 대하여 움직임 객체가 존재하지 않는 경우, 끼임 객체를 판단하여 알람을 제공하도록 실시할 수 있다.

이어, 도7을 참조하여 본 발명에 따른 촬영영상에서의 움직임 객체 인식 방법을 설명한다.

먼저, 촬영장치(100)는 일정 주기로 촬영영상을 제어장치(400)로 제공한다. 이때, 상기 촬영장치(100)는 차량의 도어 상측에 설치되되 그 촬영영역이 차량 주변의 위험영역을 포함하도록 설치될 수 있다.

상기한 상태에서 상기 제어장치(400)는 상기 촬영장치(200)로부터 촬영영상이 수신되면, 현재 영상 프레임에서 해리스 코너 검출기를 이용하여 객체에 대한 특징점을 검출한다(ST10).

이어, 상기 제어장치(400)는 이전 영상 프레임에서 현재 영상 프레임의 코너 특징점에 대응되는 특징점을 추정하고, 두 영상 프레임에서의 코너 특징점간의 위치 변화에 대응되는 광흐름 정보를 획득한다(ST20). 즉, 도4a에 도시된 바와 같이 상기 제어장치(400)는 해당 객체에 대해 현재 영상 프레임에서의 코너 특징점과 이에 대응되는 이전 영상 프레임에서의 코너 특징점간의 위치 변화에 대응되는 광흐름 정보를 생성한다.

상기 제어장치(400)는 광흐름 정보가 포함된 영상을 상방시선 영상으로 변환하고, 상방시선 영상에서의 광흐름 정보에 대응되는 광흐름 벡터를 생성한다(ST30, ST40). 즉, 상기 제어장치(400)는 해당 객체의 광흐름 정보에서 이동 거리에 대응되는 크기와, 이동 방향에 대응되는 각도정보로 이루어지는 광흐름 벡터를 생성한다. 이때, 상기 제어장치(400)는 광흐름 벡터 중 그 크기가 기 설정된 크기 기준 픽셀, 예컨대 "30" 픽셀 미만인 광흐름 벡터만을 유효 광흐름 벡터로 설정할 수 있다. 즉, 해당 상방시선 영상에서 기준 픽셀 크기 이상의 광흐름 벡터는 클리어시킨다. 또한, 상기 상방시선 광흐름 벡터는 광흐름 벡터정보만을 상방시선에 대응되도록 좌표변환함으로써 생성될 수 있다.

상기 제어장치(400)는 유효 광흐름 벡터를 근거로 각 광흐름 벡터의 크기와 각도에 대한 광흐름 맵을 생성한다(ST50). 즉, 제어장치(400)는 도5a에 도시된 바와 같이 광흐름 테이블을 생성함과 더불어, 이에 대응되도록 도5b에 도시된 바와 같은 그래프 형태의 광흐름 분포도를 생성한다. 이때, 상기 제어장치(400)는 전체 영상프레임에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제1 광흐름 맵을 생성함과 더불어, 영상프레임에서 기 설정된 관심영역에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제2 광흐름 맵을 생성한다.

이후, 제어장치(400)는 상기 제1 광흐름 맵을 분석하여 기 설정된 차량 상태 영역별 광흐름 빈도수를 산출하고, 이를 근거로 차량의 현재 상태를 판단한다(ST60). 즉, 상기 제어장치(400)는 도6a에 도시된 바와 같이 전체 영상에서의 광흐름 빈도수를 근거로 차량의 정지 상태와, 전진 상태 및 후진 상태를 판단한다.

또한, 상기 제어장치(400)는 기 설정된 관심영역에 대한 제2 광흐름 맵에서 광흐름 빈도수를 확인하여 움직임 객체 여부를 판단한다(ST70). 즉, 상기 제어장치(400)는 기 설정된 관심영역 내에 존재하는 광흐름 벡터만을 이용하여 현재 차량 상태 영역을 제외한 나머지 영역에서 최대 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단한다.

이때, 상기 제어장치(400)는 추가적으로 차량과 동일하게 움직이는 움직임 객체에 대한 존재 여부를 판단하거나 또는 차량에 끼임 객체가 존재하는지를 판단한다.

한편, 도7에 있어서는 제1 광흐름 맵을 통해 차량의 상태를 판단한 후, 제2 광흐름 맵을 이용하여 움직임 객체를 판단하도록 실시하였으나, 도8에 도시된 바와 같이 상기 제2 광흐름 맵에 의해 산출된 광흐름 빈도수가 기준 빈도 수 이상인 영역이 상기 차량 상태 영역 이외의 영역에 존재하지 않는 경우, 제1 광흐름 맵에 의해 산출된 차량 상태에 대응되는 움직임 객체 판단영역에 대한 움직임 객체 존재 여부를 판단하도록 실시하는 것도 가능하다.

즉, 도8에 도시된 바와 같이 도7에서 제1 및 제2 광흐름 맵이 생성된 상태에서, 제어장치(400)는 제2 광흐름 맵을 이용하여 도6d에 도시된 차량 상태 판단 영역 이외의 영역 움직임 객체가 존재하는지를 판단한다(ST110).

상기 제어장치(400)는 상기 ST110 단계에서 움직임 객체가 존재한다고 판단되는 경우, 사고예방 알람정보를 출력한다(ST120).

한편, 상기 제어장치(400)는 상기 ST110 단계에서 움직임 객체가 존재하지 않는다고 판단되면, 제1 광흐름 맵을 이용하여 차량의 현재 상태를 분석한다(ST130).

이후, 상기 제어장치(400)는 상기 ST130 단계에서 분석된 차량의 상태에 대응하여 제1 및 제2 광흐름맵을 이용하여 움직임 객체 여부를 재 확인한다.

즉, 상기 제어장치(400)는 상기 ST130 단계에서 현재 차량이 정차 상태라고 판단되면, 제2 광흐름 맵에서 차량 정차 영역(도6a의 (a))을 제외한 영역에 움직임 객체가 존재하는 경우 사고 예방 알람정보를 출력한다(ST140).

또한, 상기 제어장치(400)는 상기 ST130 단계에서 현재 차량이 전진 상태라고 판단되면, 제2 광흐름 맵에서 차량 전진 영역(도6a의 (b))을 제외한 영역에 움직임 객체가 존재하는 경우, 사고 예방 알람정보를 출력한다(ST150).

또한, 상기 제어장치(400)는 상기 ST130 단계에서 현재 차량이 후진 상태라고 판단되면, 제2 광흐름 맵에서 차량 후진 영역(도6a의 (c))을 제외한 영역에 움직임 객체가 존재하는 경우 사고 예방 알람정보를 출력한다(ST160).

한편, 상기 제어장치(400)는 상기 ST150 및 ST160 단계에서 차량 전진 영역 또는 차량 후진 영역 이외의 영역에서 움직임 객체가 존재하지 않는 경우, 차량 끼임 객체가 존재하는지를 확인하여 끼임 객체가 확인되는 경우, 사고 예방 알람정보를 출력한다(ST170). 이때, 상기 제어장치(400)는 도6c와 같이 수직한 방향, 다시 말해 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에서 일정 빈도수 이상의 광흐름이 일정 시간 이상 지속적으로 나타나는 경우, 끼임 객체가 발생한 것으로 판단한다.

따라서, 상기 실시예에 의하면, 촬영영상의 비교를 통해 움직임 객체가 존재하는지를 검출하되, 촬영영상에서의 움직임 객체에 대한 이동 변화에 의해 획득되는 광흐름 벡터를 이용하여 차량의 상태에 상관없이 차량 주변의 움직임 객체 검출을 보다 정확하게 검출하는 것이 가능하게 된다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 촬영장치, 200 : 알람장치,
300 : 데이터메모리, 400 : 제어장치,
410 : 특징점 검출모듈, 420 : 광흐름 벡터 생성모듈,
430 : 광흐름 맵 생성모듈, 440 : 움직임 객체 분석모듈.

Claims

차량에 설치되어 차량의 외측 주변을 촬영하는 촬영장치와, 사고예방 알림정보를 출력하는 알림장치 및, 상기 촬영장치로부터 제공되는 영상프레임에서 차량 주변에 움직임 객체가 존재하는지를 판단하여 상기 알림장치를 통해 이에 대응되는 알람정보를 송출하도록 제어하는 제어장치를 포함하여 구성되고,
상기 제어장치는 현재 영상 프레임에서 객체에 대한 코너 특징점을 검출하는 특징점 검출모듈과,
상기 특징점 검출모듈에서 검출된 현재 영상프레임에서의 코너 특징점에 대응되는 이전 또는 이후 영상프레임의 특징점을 추정하고, 두 영상 프레임의 코너 특징점간의 위치 관계를 근거로 이동방향에 대응되는 광흐름을 검출함과 더불어, 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 광흐름 벡터 생성모듈,
상기 광흐름 벡터 생성모듈로부터 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 광흐름 맵 생성모듈 및,
상기 광흐름 맵에서 현재 차량 상태에 대응되는 크기 또는 각도 분포 특성을 갖는 기 설정된 상태판단 영역 이외의 광흐름 맵 영역에서의 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 움직임 분석모듈을 포함하여 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
삭제
제1항에 있어서,
상기 광흐름 벡터 생성모듈은 광흐름 정보가 포함된 영상을 상방시선 좌표변화처리하고, 이 상방시선 영상에서 광흐름 벡터를 생성하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
제3항에 있어서,
상기 광흐름 벡터 생성모듈은 상기 광흐름 벡터의 크기가 기 설정된 유효 기준 픽셀 미만인 광흐름 벡터만 유효 광흐름 벡터로 설정하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
제1항에 있어서,
상기 움직임 분석모듈은 광흐름 맵에서 최대 빈도수의 광흐름 영역을 근거로 차량의 정차, 전진, 후진 상태를 판단하되,
크기축과 각도축으로 이루어지는 광흐름 맵에서 광흐름의 크기가 최소 기준 픽셀 미만인 영역을 정차상태 영역으로 설정하고, 최소 기준 각도 범위로서 각도의 변화가 적은 영역을 전진상태 영역으로 설정하며, 최대 기준 각도 범위로서 각도의 변화가 큰 영역을 후진상태 영역으로 설정하여, 차량의 움직임 상태를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
제1항에 있어서,
상기 광흐름 맵 생성모듈은 전체 영상프레임에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제1 광흐름 맵을 생성함과 더불어, 영상프레임에서 기 설정된 관심영역에 대한 광흐름 벡터를 근거로 영역별 광흐름 빈도수로 이루어지는 제2 광흐름 맵을 생성하도록 구성되고,
상기 움직임 분석모듈은 상기 제1 광흐름 맵을 분석하여 차량의 정차, 전진, 후진 상태를 판단하고, 상기 제2 광흐름 맵을 분석하여 움직임 객체의 존재 여부를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
제6항에 있어서,
상기 움직임 분석모듈은 움직임 객체가 검출되지 않는 경우, 제1 광흐름 맵에서 최고 빈도수 영역과, 제2 광흐름 맵에서 최고 빈도수 영역이 서로 상이한 경우 움직임 객체가 존재하는 것으로 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
제5항 또는 제6항 중 어느 한 항에 있어서,
상기 움직임 분석모듈은 광흐름 맵에서 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에 대해 일정 빈도수 이상의 광흐름이 지속하여 검출되는 경우 끼임 객체가 발생한 것으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
차량에 설치되어 차량의 외측 주변을 촬영하는 촬영장치와, 차량의 현재 상태를 제공하기 위한 차량 상태정보 제공수단, 사고예방 알림정보를 출력하는 알림장치 및, 상기 촬영장치로부터 제공되는 영상프레임에서 차량 주변에 움직임 객체가 존재하는지를 판단하여 상기 알림장치를 통해 이에 대응되는 알람정보를 송출하도록 제어하는 제어장치를 포함하여 구성되고,
상기 제어장치는 현재 영상 프레임에서 객체에 대한 코너 특징점을 검출하는 특징점 검출모듈과,
상기 특징점 검출모듈에서 검출된 현재 영상프레임에서의 코너 특징점에 대응되는 이전 또는 이후 영상프레임의 특징점을 추정하고, 두 영상 프레임의 코너 특징점간의 위치 관계를 근거로 이동방향에 대응되는 광흐름을 검출함과 더불어, 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 광흐름 벡터 생성모듈,
상기 광흐름 벡터 생성모듈로부터 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 광흐름 맵 생성모듈 및,
상기 광흐름 맵에서 상기 차량 상태정보 제공수단으로부터 제공되는 차량 상태에 대응되는 크기 또는 각도 분포 특성을 갖는 기 설정된 상태판단 영역 이외의 광흐름 맵 영역에서의 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 움직임 분석모듈을 포함하여 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
삭제
촬영장치로부터 제공되는 촬영영상의 관심영역에서 변화 발생 객체에 대한 특징점을 검출하는 제1 단계와,
상기 제1 단계에서 검출된 현재 영상프레임의 특징점을 근거로 이전 영상프레임의 특징점을 추정하고, 두 영상 프레임의 특징점간 위치 관계를 근거로 이동방향에 대응되는 광흐름을 획득함과 더불어, 획득된 광흐름을 근거로 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 제2 단계,
상기 제2 단계에서 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 제3 단계,
상기 제3 단계에서 생성된 광흐름 맵에서 서로 다른 크기 또는 각도 분포 특성을 갖는 기 설정된 영역에 대한 광흐름 빈도수를 산출하는 제4 단계,
상기 제4 단계에서 산출된 기 설정 영역별 광흐름 빈도수를 근거로 차량의 현재 상태를 판단하고, 차량의 현재 상태 이외의 기 설정 영역에서 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항에 있어서,
상기 제2 단계는 광흐름 정보가 포함된 영상을 상방시선 좌표변환처리를 수행하고, 이 상방시선 영상에서 상방시선 광흐름 벡터를 생성하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항에 있어서,
상기 제2 단계는 상기 광흐름 벡터의 크기가 기 설정된 유효 기준 픽셀 미만인 광흐름 벡터만 유효 광흐름 벡터로 설정하여 이후 움직임 객체 검출에 적용하도록 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항에 있어서,
상기 제3 단계는 전체 영상프레임에 대한 광흐름 벡터를 제1 광흐름 맵을 생성함과 더불어, 영상프레임에서 기 설정된 관심영역에 대한 광흐름 벡터를 근거로 제2 광흐름 맵을 생성하고,
상기 제4 단계는 상기 제1 및 제2 광흐름 맵에 대해 기 설정된 영역별 광흐름 빈도수를 각각 산출하며,
상기 제5 단계는 상기 제1 광흐름 맵에 의해 산출된 광흐름 빈도수가 최대인 영역을 근거로 차량의 정차, 전진, 후진 상태를 판단하고, 상기 제2 광흐름 맵에 의해 산출된 광흐름 빈도수가 기준 빈도수 이상인 영역이 상기 차량 상태 영역 이외의 영역에 존재하는 경우, 움직임 객체가 존재한다고 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제14항에 있어서,
상기 제5 단계는 상기 제2 광흐름 맵에 의해 산출된 광흐름 빈도수가 기준 빈도 수 이상인 영역이 상기 차량 상태 영역 이외의 영역에 존재하지 않는 경우, 제1 광흐름 맵에 의해 산출된 차량 상태에 대응되는 움직임 객체 판단영역에 대한 움직임 객체 존재 여부를 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항 또는 제14항 또는 제15항 중 어느 한 항에 있어서,
상기 제5 단계는 크기축과 각도축으로 이루어지는 제1 광흐름 맵에서 광흐름의 크기가 기준 픽셀 미만인 영역을 정차상태 영역으로 설정하고, 최소 기준 각도 범위로서 각도의 변화가 적은 영역을 전진상태 영역으로 설정하며, 최대 기준 각도 범위로서 각도의 변화가 큰 영역을 후진상태 영역으로 설정하여, 차량의 현재 상태를 판단하도록 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항 또는 제14항 또는 제15항 중 어느 한 항에 있어서,
상기 제5 단계는 움직임 객체가 검출되지 않는 경우, 제1 광흐름 맵에서 최고 빈도수 영역과, 제2 광흐름 맵에서 최고 빈도수 영역이 서로 상이한 경우 움직임 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제11항 또는 제14항 또는 제15항 중 어느 한 항에 있어서,
상기 제5 단계는 광흐름 맵에서 각도 변화가 최대 기준각도범위인 영역과 각도변화가 최소 기준각도 범위인 영역 이외의 영역에 대해 일정 빈도수 이상의 광흐름이 지속하여 검출되는 경우 끼임 객체가 발생한 것으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
차량으로부터 차량의 현재 상태를 제공받는 제51 단계와,
차량에 설치된 촬영장치로부터 제공되는 촬영영상의 관심영역에서 객체에 대한 특징점을 검출하는 제52 단계,
상기 제52 단계에서 검출된 현재 영상 프레임의 관심영역 특징점을 근거로 이전 영상프레임의 관심영역 특징점을 추정하고, 두 영상 프레임의 관심영역 특징점간 위치 관계를 근거로 이동방향에 대응되는 광흐름을 획득함과 더불어, 획득된 광흐름을 근거로 해당 객체에 대한 이동 변화 거리에 대응되는 크기 및 이동 방향에 대응되는 각도를 포함하는 광흐름 벡터를 생성하는 제53 단계,
상기 제53 단계에서 제공되는 광흐름 벡터를 크기와 각도에 대해 기 설정된 기준값을 근거로 이산화하여 광흐름 크기축과 각도축으로 이루어지는 광흐름 맵을 생성하는 제54 단계,
상기 제54 단계에서 생성된 광흐름 맵에서 서로 다른 크기 또는 각도 분포 특성을 갖는 기 설정된 영역에 대한 광흐름 빈도수를 산출하는 제55 단계 및,
상기 제55 단계에서 상기 제51 단계에서 제공되는 현재 차량 상태에 대응되는 영역 이외의 기 설정 영역에서 최대 광흐름 빈도수가 기준 빈도수 이상인 경우 움직임 객체가 존재하는 것으로 판단하는 제56 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.
제19항에 있어서,
상기 제56 단계에서 정차상태는 광흐름 맵에서 광흐름의 크기가 기준 픽셀 미만인 영역으로 설정하고, 전진상태는 기 설정된 최소 기준 각도 범위로서 각도의 변화가 적은 영역으로 설정하며, 후진상태는 기 설정된 최대 기준 각도 범위로서 각도의 변화가 큰 영역으로 설정하여 차량 상태에 대응되는 영역을 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 검출 방법.