KR101582454B1 - 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템 - Google Patents

촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템 Download PDF

Info

Publication number
KR101582454B1
KR101582454B1 KR1020140110636A KR20140110636A KR101582454B1 KR 101582454 B1 KR101582454 B1 KR 101582454B1 KR 1020140110636 A KR1020140110636 A KR 1020140110636A KR 20140110636 A KR20140110636 A KR 20140110636A KR 101582454 B1 KR101582454 B1 KR 101582454B1
Authority
KR
South Korea
Prior art keywords
image
region
motion
frequency component
vehicle
Prior art date
Application number
KR1020140110636A
Other languages
English (en)
Inventor
양승한
송영철
박성령
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140110636A priority Critical patent/KR101582454B1/ko
Application granted granted Critical
Publication of KR101582454B1 publication Critical patent/KR101582454B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N5/00—Arrangements or devices on vehicles for entrance or exit control of passengers, e.g. turnstiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions

Abstract

본 발명은 차량 승하차시 사고발생을 예방하기 위한 것으로, 특히 차량의 주변 영상을 근거로 사고 위험 구역 내에 존재하는 위험물을 감지함에 있어서 그림자나 눈, 비와 같은 움직임을 갖는 환경요인을 위험물로 오판하는 것을 최소화함으로써 환경 변화에 보다 강인하게 대응하여 위험상태를 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템에 관한 것이다.
본 발명에 따른 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템은 차량에 설치되어 차량의 외측 주변을 촬영하기 위한 영상 촬영장치와, 상기 영상 촬영장치로부터 제공되는 촬영영상을 근거로 차량 외측 주변의 움직임 객체를 확인하여 사고 예방 정보를 출력하는 사고예방장치를 포함하여 구성되고, 상기 사고예방장치는 상기 영상 촬영장치로부터 제공되는 현재 영상과 이전 영상을 비교하여 움직임 객체를 인식하되, 촬영 영상을 주파수변환하여 일부 저주파 성분을 제거한 후, 저주파성분이 제거된 주파수 영상을 밝기 성분의 영상으로 재생성하고, 저주파 성분이 제거된 현재 영상 및 이전 영상의 비교를 통해 움직임 객체를 판단하여 그 결과에 대응되는 사고 예방 정보를 출력하도록 구성되는 것을 특징으로 한다.

Description

촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템{Method for cognition of movement object in photographing image and system for prevention of vehicle boarding accident}
본 발명은 차량 승하차시 발생되는 사고를 예방하기 위한 것으로, 특히 차량의 주변 영상을 근거로 사고 위험 구역 내에 존재하는 위험물을 감지함에 있어서 그림자나 눈, 비와 같은 움직임을 갖는 환경요인을 위험물로 오판하는 것을 최소화함으로써 환경 변화에 보다 강인하게 대응하여 위험상태를 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템에 관한 것이다.
일반적으로 운전자는 차량 주행시나 주차시 차량의 좌/우측에 구비된 외부 사이드 미러와 내부 룸 미러를 통해 차량의 주변 상황을 육안으로 확인하여 사고발생에 대비한다.
그러나, 운전자가 외부 사이드 미러와 내부 룸 미러를 통해 차량 주변을 파악할 수 있는 영역은 한정되어 있을 뿐 아니라, 찰나의 부주의로 차량 주변 상황을 인식하지 못함으로 인해 대형 사고를 유발하는 문제가 사회적으로 이슈화되고 있는 것이 현실이다.
이에, 최근에는 차량에 다수의 카메라를 설치하여 운전자가 차량 내부에서 차량의 외부 주변 상황을 용이하게 감시하도록 함과 더불어, 차량 주변에 사람이 접근하는 등의 위험상황이 발생되는 경우에는 차량 내부로 경보음을 발생시키는 등의 안전장치가 설치되는 것이 제안되고 있다.
그러나, 차량에 설치된 카메라를 통해 차량 주변의 상태, 특히 움직이는 사람이나 동물의 존재 유무를 판단함에 있어서, 사람들의 그림자나 눈, 비와 같은 움직임을 갖는 주변 환경요인을 위험물로 인식함으로써, 위험물에 대한 오판의 문제가 있게 된다.
[특허문헌]
1. 한국등록특허 제1270602호 (발명의 명칭 : 차량 주변 영상 제공 방법)
2. 한국공개특허 제2013-0135637호 (발명의 명칭 : 카메라를 이용한 승객 안전하차 감지시스템 및 그 방법)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 차량의 주변 영상을 근거로 사고 위험 구역 내에 존재하는 위험성을 갖는 움직임 객체를 검출함에 있어서 그림자나 눈, 비와 같은 움직임을 갖는 환경요인을 위험물로 오판하는 것을 최소화함으로써 환경 변화에 보다 강인하게 대응하여 운전자에게 위험상태를 안내해 줄 수 있도록 해 주는 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템을 제공함에 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 차량에 설치되어 차량의 외측 주변을 촬영하기 위한 영상 촬영장치와, 상기 영상 촬영장치로부터 제공되는 촬영영상을 근거로 차량 외측 주변의 움직임 객체를 확인하여 사고 예방 정보를 출력하는 사고예방장치를 포함하여 구성되고, 상기 사고예방장치는 상기 영상 촬영장치로부터 제공되는 촬영 영상에 대해 밝기성분을 주파수성분으로 변환하고, 변환된 주파수성분에서 최고 저주파영역을 제외한 무채색에 대응되는 저주파 성분을 제거하며, 저주파 성분이 제거된 주파수성분을 밝기 성분의 영상으로 재생성하는 영상변환처리를 수행함과 더불어, 이 저주파 성분이 제거된 상태의 현재 영상과 저주파 성분이 제거된 상태의 이전 영상을 비교하여 움직임 객체를 판단함으로써, 그 결과에 대응되는 사고 예방 정보를 출력하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.
또한, 상기 사고예방장치는 촬영영상에 대해 차량 외측 영역에 대응되는 적어도 하나 이상의 위험 구역을 설정하고, 촬영 영상에서 위험 구역 영역을 추출하여, 추출된 위험 구역에 대해 일부 저주파 성분이 제거된 현재 영상과 이전 영상을 비교함으로써, 움직임 객체를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.
또한, 상기 위험 구역은 차량의 도어와 전방 휠 및 후방 휠을 포함하는 영역으로 설정되는 것을 특징으로 하는 차량 승하차 사고 예방시스템이 제공된다.
또한, 상기 사고예방장치는 현재 영상과 이전 영상을 비교함에 있어서, 해당 영상에서 일정 면적을 갖는 다수의 에지블럭 중 움직임이 발생되는 에지블럭이 일정 수 이상인 경우 현재 영상을 움직임 영상으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
또한, 상기 사고예방장치는 상기 에지블럭을 구성하는 다수의 픽셀 중 움직임이 발생되는 픽셀이 해당 에지블럭 전체 면적의 일정 비율 이상인 경우 해당 에지블럭을 움직임 블럭으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
또한, 상기 사고예방장치는 영상을 비교함에 있어서 입력 영상을 FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역 및, WP(Waking Person) 영역으로 분류하되, FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역에 대한 분류기준은 다음 수학식과 같이,
Figure 112014080324286-pat00001
로 설정되고, 상기
Figure 112014080324286-pat00002
이고, 상기 Ft는 현재 영상프레임, Ft-1는 이전 영상프레임, Bt-1는 배경 영상프레임을 나타내고, thF와 thB 는 기 설정된 문턱값이며, 상기 FG 영역과 FA 영역 및 WP 영역은 움직임 객체가 존재하는 영역이고, GH 영역과 BG 영역은 움직임 객체가 존재하지 않는 영역으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
또한, 상기 배경 영상은
Figure 112014080324286-pat00003
으로 설정되고, 여기서, Bt 는 이후 설정될 배경 영상프레임, Bt-1은 현재 배경 영상프레임, α는 기 설정된 가중치 상수로써, FG영역에 대해서는 가중치 상수가 "0"으로 설정되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
또한, 상기 사고예방장치는 FFT 변환(Fast Fourier Transform)을 통해 밝기 성분의 영상을 주파수변환처리하고, 일부 저주파 성분이 제거된 상태에서 그 역변환을 통해 주파수성분을 밝기 성분의 영상으로 변환하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
또한, 상기 사고예방장치는 밴드패스필터를 통해 저주파 성분을 제거하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템이 제공된다.
상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 영상 촬영장치로부터 제공되는 영상에 대해 밝기 성분을 주파수성분으로 변환하는 제1 단계와, 상기 제1 단계에서 생성된 주파수 성분에서 최고 저주파영역을 제외한 무채색에 대응되는 저주파 성분을 제거하는 제2 단계, 상기 제2 단계에서 저주파 성분이 제거된 주파수 성분을 밝기 성분의 영상으로 변환하는 제3 단계 및, 상기 제3 단계를 통해 저주파 성분이 제거된 현재 영상과 저주파 성분이 제거된 이전 영상을 비교하여 움직임 객체를 판단하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식방법이 제공된다.
또한, 상기 제1 단계는 현재 영상과 이전 영상에서 기 설정된 위험 구역 영역을 추출하고, 해당 위험 구역에 대한 주파수 변환처리를 수행하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법이 제공된다.
또한, 상기 제4 단계는 현재 영상과 이전 영상을 비교함에 있어서, 해당 영상에서 일정 면적을 갖는 다수의 에지블럭 중 움직임이 발생되는 에지블럭이 일정 수 이상인 경우 현재 영상을 움직임 영상으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법이 제공된다.
또한, 상기 제4 단계는 상기 에지블럭을 구성하는 다수의 픽셀 중 움직임이 발생되는 픽셀이 해당 에지블럭 전체 면적의 일정 비율 이상인 경우 해당 에지블럭을 움직임 블럭으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법이 제공된다.
본 발명에 의하면 촬영 영상에서 그림자나 비, 눈 과 같은 움직임을 갖는 환경 성분을 제거하여 위험성을 갖는 실제 움직임 객체를 보다 정확히 인식할 수 있게 된다.
또한, 차량 주변의 촬영 영상에서 실제 움직임 객체를 보다 정확히 인식하여 그 결과에 따른 사고 예방 안내정보를 출력함으로써, 보다 신뢰성 있는 차량 승하차 안전 예방 서비스의 제공이 가능하게 된다.
도1은 본 발명의 제1 실시예에 따른 차량 승하차 사고 예방시스템의 개략적인 구성을 나타낸 도면.
도2는 도1에 도시된 차량 승하차 사고 예방시스템의 차량 설치 형태를 예시한 도면.
도3은 도1에 도시된 제어부(240)의 움직임 객체 인식 처리 과정을 설명하기 위한 도면.
도4는 도3의 움직임 객체 인식 처리 과정에 따른 영상 출력예를 도시한 도면.
도5는 도4에 도시된 움직임 블럭 분석처리(241)에서 생성되는 움직임 블럭 검출 영상을 예시한 도면.
도6은 움직임 특성을 갖는 주변 환경에 대한 움직임 인식 처리를 수행한 실험결과를 예시한 도면.
도7은 통학차량에 카메라를 장착한 상태에서, 아동 마네킹이 차량 주변 위험 구역으로 진입하는 시나리오에 따른 위치별 움직임 객체 인식 처리 결과를 나타낸 도면
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도1은 본 발명의 제1 실시예에 따른 차량 승하차 사고 예방시스템의 개략적인 구성을 나타낸 도면이다.
도1에 도시된 바와 같이 본 발명에 따른 차량 승하차 사고 예방시스템은 차량에 설치되어 차량의 외측 주변을 촬영하기 위한 영상 촬영장치(100)와, 상기 영상 촬영장치(100)로부터 제공되는 촬영영상을 근거로 차량 외측 주변의 움직임 객체를 확인하여 이에 대한 정보를 제공하는 사고예방장치(200)를 포함하여 구성된다. 이때, 상기 영상 촬영장치(100)와 사고예방장치(200)는 도2에 도시된 바와 같이 차량에 설치되어 구성된다.
여기서, 상기 영상 촬영장치(100)는 도2에 도시된 바와 같이, 차량(10)의 도어(11) 측방을 촬영하여 영상을 생성한다. 여기서, "측방"은 차량(10)의 주행방향을 기준으로 할 때, 차량(10)의 도어(11)와 인접하는 영역을 의미한다. 차량(10)으로의 탑승과 차량(10)으로부터의 하차를 위한 도어(11)가 차량의 주행방향을 기준으로 오른쪽에 위치한 경우, 영상 촬영장치(100)는 도어(11)의 우측 영역에 대한 영상을 촬영하고, 그 반대의 경우 도어(11)의 좌측 영역에 대한 영상을 촬영한다.
또한, 상기 영상 촬영장치(100)는 차량(10)의 외부, 예컨대 사이드 미러나 도어 상측에 설치되어 차량의 측방 영상을 촬영한다. 여기서, 영상 촬영장치(100)의 촬영영역은 도2에 도시된 관심영역(ROI,Region Of Interest) 즉, 위험 구역(R1)을 포함하도록 설정될 수 있다. 이때, 상기 위험 구역(R1)은 차량(10)의 종류나 승하차 환경 등을 고려하여 적정한 영역으로 설정될 수 있으며, 영상 촬영장치(100)의 설치 위치에 따라 서로 다른 다수의 구역으로 설정될 수 있다. 예컨대, 상기 위험 구역(R1)은 전후 길이(L11)는 대약 1~4m로 설정되고, 좌우 폭(L1)은 1~2m로 설정될 수 있다. 또한, 상기 위험 구역(R1)은 차량(10)의 도어(11)와 전방 휠(13) 및 후방 휠(14)을 포함하는 영역으로 설정될 수 있다.
한편, 도1에서 상기 사고예방장치(200)는 차량상태 감지부(210), 경보 발생부(220), 데이터메모리(230) 및, 제어부(240)를 포함하여 구성된다.
상기 차량상태 감지부(210)는 차량으로부터 제공되어지는 도어의 개폐 및 주행 여부를 포함하는 차량 운행관련 정보를 검출한다. 예컨대, 상기 차량상태 감지부(120)는 차량(10)의 이동속도를 감지하는 속도계, 도어(11)의 개폐를 감지하는 센서, 도어(11)의 개폐를 제어하는 운전자의 개폐명령을 감지하는 회로 등의 각종 형태로 구성될 수 있다.
상기 경보발생부(220)는 상기 제어부(240)의 차량 주변 상태에 대응되는 사고 예방을 위한 경보음을 출력하거나 안내음성을 출력하기 위한 수단으로 예컨대, 부저 또는 스피커로 구성될 수 있다.
상기 데이터메모리(230)는 차량 승하차 사고 예방을 위한 각종 정보가 저장된다. 예컨대, 데이터메모리(230)는 차량에 대응되는 위험 구역(R1)과, 움직임 블럭 판단을 위한 영상 문턱값 및 가중치 상수, 움직임 영상 판단 기준, 움직임 블럭 판단 기준, 저수파 영역, 경보음, 경보안내메시지 등이 저장된다.
상기 제어부(240)는 상기 영상촬영장치(100)로부터 제공되는 차량주변의 촬영영상에서 위험 구역(R1)을 추출하고, 이 위험 구역(R1)에 대한 현재 영상과 이전 영상을 비교하여 움직임 객체를 인식하되, 촬영 영상을 주파수변환하여 저주파 성분을 제거한 후 이에 대한 역변환을 통해 영상을 재생성하고, 저주파 성분이 제거된 영상을 통해 움직임 객체 여부를 판단하여 상기 경보출력부(220)를 통해 사고 예방 정보를 출력하도록 구성된다.
이어, 도3과 도4를 참조하여 상기 제어부(240)의 움직임 검출처리 과정을 보다 상세히 설명한다. 여기서, 도3은 제어부(240)의 움직 검출 처리 과정 흐름도이고, 도4는 도3에 도시된 촬영영상의 대한 잡음성 움직임을 제거하는 과정에 대응되는 영상을 예시한 도면이다.
도3에 도시된 바와 같이 제어부(240)는 위험 구역 추출처리(241)와, 주파수 변환처리(242), 저주파 성분 제거처리(243), 영상 변환처리(244) 및, 움직임 객체 검출처리(245)과정을 통해 움직임 객체를 인식한다.
1. 위험 구역 추출처리(241)
상기 제어부(240)는 도4 (A)에서 해당 영상, 즉, 현재 영상프레임에 대해 기 설정된 관심영역(ROI) 즉, 위험 구역(R1) 영역을 추출한다. 이때, 상기 제어부(240)는 적어도 하나 이상의 위험 구역(R1) 영역을 추출할 수 있다.
2. 주파수 변환처리(242)
상기 제어부(240)는 도4 (B)와 같이 추출된 현재 영상프레임에 대해 위험 구역(R1)의 밝기 성분을 주파수 성분으로 변환처리한다. 본 발명에 있어서는 영상의 주파수 변환처리를 위해 FFT 변환(Fast Fourier Transform)을 적용하였다. 수학식 1은 FFT 변환 처리를 나타낸 것이다.
Figure 112014080324286-pat00004
여기서, F(k,l)은 주파수 성분이고, f(i,j)는 밝기 성분을 나타낸 것이다.
3. 저주파 성분 제거처리(243)
상기 제어부(240)는 도4 (C)와 같이 상기 주파수 변환처리(242) 과정에서 변환된 주파수 성분 중 잡음 성분을 대표하는 저주파 성분(LF)을 필터링함으로써, 잡음 성분을 제거한다. 즉, 그림자나 눈, 비와 같은 주변 환경 성분은 무채색으로 저주파 특성을 갖는 바, 잡음 성분의 필터링을 통해 제거된다. 이때, 상기 제어부(240)는 밴드패스 필터(bandpass filter)을 통해 최고 저주파를 제외한 저주파 대역 즉, "0"Hz 주변 일정 영역의 저주파 성분을 제거한다. 예컨대, 영상의 주파수 변환시 최고 저주파 성분의 크기가 가장 큰 것을 고려하여 상기 제어부(240)는 변환된 주파수성분 중 가장 큰 크기를 갖는 최고 저주파수의 70 ~ 94 % 범위의 크기를 갖는 저주파수 성분을 제거한다. 이때, 밴드패스 필터를 통해 제거되는 주파수 성분의 범위는 카메라의 종류 및 영상 데이터의 변환 상태 등의 영상 상태에 따라 적절하게 변경 설정될 수 있음은 물론이다. 이는 그림자나 눈, 비 등과 같은 움직임을 갖는 주변 환경요인을 움직임 성분으로 인식함으로써 발생되는 움직임 객체의 오 인식률을 최소화하기 위함이다.
4. 영상 변환처리(244)
상기 제어부(240)는 도4 (D)와 같이 잡음 성분, 보다 상세하게는 그림자나 눈, 비 등을 포함하는 움직임을 갖는 주변 환경성분이 제거된 주파수 성분을 밝기 성분의 영상으로 변환한다. 수학식 2는 주파수성분에 대한 밝기 성분의 영상 변환처리를 나타낸 것이다.
Figure 112014080324286-pat00005
즉, 상기 제어부(240)는 상기 주파수 변환처리(242)에 대한 역변환처리를 수행함으로써, 주파수 성분을 밝기 성분의 영상으로 변환하게 된다. 따라서, 움직임 특성을 갖는 주변 환경 요인이 제거된 상태의 현재 영상프레임이 재생성된다.
5. 움직임 객체 검출처리(245)
상기 제어부(240)는 상기 영상 변환장치(244)에서 위험 구역(R1)에 대해 재생성된 현재 영상프레임과 이전 영상프레임의 위험 구역(R1)을 비교함으로써, 움직임 객체의 존재 유무를 판단한다. 즉, 상기 제어부(240)는 Joint Difference 방법과 Combination of Difference 방법을 통해 위험 구역(R1)에 대한 현재 영상 프레임과 이전 영상 프레임을 비교하여 움직임 블럭을 판단한다.
보다 상세하게는 상기 제어부(240)는 위험 구역(R1)에 대한 배경 영상과, 현재 영상 및 이전 영상의 에지 맵(edge map)을 비교하여 움직임 객체를 판단한다. 이때, 상기 에지 맵은 일정 면적을 갖는 다수의 에지 블럭으로 구성되고, 각 에지 블럭은 해당 면적에 대응되는 다수의 픽셀(pixel)로 구성된다. 즉, 상기 제어부(240)는 상기 에지 블럭을 구성하는 픽셀 중 변화가 발생한 픽셀이 에지 블럭을 구성하는 전체 픽셀의 일정 비율 이상, 예컨대 12% 이상인 경우 해당 에지 블럭을 움직임 블럭(T)으로 판단하고, 이 움직임 블럭(T)수가 기 설정된 기준 블럭수, 예컨대 4개 이상 존재하는 경우 해당 영상을 움직임 영상으로 판단하게 된다.
이어, 상기 제어부(240)의 위험 구역(R1)에 대한 영상 비교과정을 보다 상세히 설명한다.
먼저, 배경 영상은 이전 촬영된 영상 중에서 임의로 설정될 수 있다. 예컨대, 이전 영상 프레임 보다 더 이전 영상 프레임, 즉, 이전 영상 프레임보다 시간 지연이 더 많은 영상 프레임 중 하나가 배경 영상으로 설정된다.
또한, 상기 제어부(240)는 촬영 영상을 그 특성에 따라 FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역 및, WP(Waking Person) 영역으로 분류한다. 이때, FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역에 대한 분류기준은 수학식 3과 같다.
Figure 112014080324286-pat00006
여기서,
Figure 112014080324286-pat00007
이다. 그리고,
Figure 112014080324286-pat00008
는 이전 영상프레임,
Figure 112014080324286-pat00009
는 현재 영상프레임,
Figure 112014080324286-pat00010
는 배경 영상프레임을 나타내고, thF와 thB 는 문턱값을 나타낸다. 즉, 상기 FG 영역과 FA 영역 및 WP 영역은 현재 영상프레임(Ft)과 배경 영상프레임(Bt) 과의 차이값이 문턱값(thB) 이상으로 움직임 객체가 존재하는 영역이고, GH 영역과 BG 영역은 현재 영상프레임(Ft)과 배경 영상프레임(Bt)의 차이값이 문턱값(thB) 이하인 영역으로 움직임 객체가 존재하지 않는 영역이다.
그런데, 움직임 객체가 일정 시간 움직임이 없는 경우 현재 영상 프레임과 이전 영상프레임에 모두 존재하여 이전 영상프레임의 움직임 객체가 현재 영상프레임에서는 GH 영역으로 분류되는 오류가 발생되거나, BG 영역으로 분류되었던 사람이 갑자기 움직이기 시작하면 지속적으로 움직임 객체로 오인식 될 수 있는 문제가 발생될 수 있다. 따라서, 수학식3에서 배경 영상(Bt)에 대해서는 상황에 따라 적절히 갱신할 필요가 있다. 수학식 4는 배경 영상(Bt)을 갱신처리하기 위한 수학식이다.
Figure 112014080324286-pat00011
여기서, Bt 는 이후 설정될 배경 영상프레임, Bt-1은 현재 배경 영상프레임, α는 가중치 상수로써, 그 설정기준은 다음과 같다. 즉, FG영역에 대해서는 배경의 왜곡을 방지하기 위해 가중치 상수 α를 이상적인 "0"으로 설정하고, BG 영역에 대해서는 천천히 영상을 갱신시키기 위해 가중치 상수 α를 비교적 작은 값, 예컨대 0.3 이하의 값을 설정하며, GH 영역과 WP 영역에 대해서는 현재 영상프레임과 이전 영상프레임 그리고 배경 영상프레임간에 많은 변화가 발생한 영역으로 판단하여 오인식율을 최소화하기 위해 현재 영상프레임의 정보가 신속히 배경영상에 반영될 수 있도록 가중치 상수 α를 가장 큰 값, 예컨대 0.7 이상의 값으로 설정할 수 있다. 한편, 도5에서 (S)는 촬영영상이고, (T)는 위험 구역(R1)의 움직임 블럭이다.
즉, 상기 제어부(240)는 움직임 특성을 갖는 주변 환경 요인이 제거된 상태의 위험 구역(R1)에 대한 현재 영상프레임과 이전 영상프레임을 비교하여 움직임 객체를 검출함으로써, 사람이나 동물 또는 다른 차량 등과 같이 위험성을 갖는 움직임 객체 검출을 보다 정확하게 수행할 수 있게 된다.
한편, 도6은 본 발명자가 움직임 특성을 갖는 주변 환경에 대한 움직임 인식 처리를 수행한 실험결과를 예시한 도면이다. 여기서, 도6a는 그림자로 인한 잡음성분을 제거한 경우를 예시한 도면이고, 도6b는 비(雨)로 인한 잡음성분이 포함된 촬영영상을 예시한 도면이며, 도6c는 눈으로 인한 잡음성분이 포함된 촬영영상을 예시한 도면이다.
즉, 도6a는 영상의 위험 구역(R1)에 사람의 그림자가 움직이는 경우를 예시한 도면으로, (S)는 촬영 영상이고, (T)는 그림자로 인한 잡음성 움직임이 제거된 주파수 영상을 나타낸 것이다. 도시된 바와 같이 주파수 변환 및 저주파수 제거 처리를 통해 그림자 성분(G)이 제거됨으로써, 이에 대한 움직임 객체 여부 판단처리를 수행하지 않게 된다. 여기서, 상기한 그림자로 인한 움직임 객체에 대한 실험 결과 230개 영상프레임에 대해 움직임 객체 오판정률은 5.6%로 나타났다.
도6b는 비가 내리는 환경의 촬영영상으로, 이에 대해 발명자가 본 발명에 따른 방법을 적용하여 움직임 객체를 판단한 실험 결과, 230개 영상 프레임에 대한 움직임 객체 오판정률은 0%로 나타났다.
도6c는 눈이 내리는 환경의 촬영영상으로, 이에 대해 발명자가 본 발명에 따른 방법을 적용하여 움직임 객체를 판단한 실험 결과, 500개 영상 프레임에 대한 움직임 객체 오판정률은 4.8%로 나타났다.
즉, 상기 도6의 실험결과에 의하면 상기한 그림자와 비, 눈 과 같은 움직임을 갖는 주변 환경에 따른 잡음성 움직임 블럭을 제거하여 움직임 객체의 오판정률을 최소화함으로써, 보다 정확한 움직임 객체 인식을 통해 차량 주변의 위험 구역에서의 승하차 예방서비스를 제공하는 것이 가능하게 된다.
이어, 상기한 구성으로 된 차량 승하차 예방 시스템의 동작을 설명한다.
먼저, 차량이 정차하게 되면, 영상 촬영장치(100)는 정차된 차량의 주변을 촬영하여 그 촬영 영상을 제어부(240)로 제공한다. 이때, 상기 영상 촬영장치(100)는 차량이 정차한 후 도어가 개방되는 때부터 영상 촬영을 수행하도록 실시할 수 있다.
제어부(240)는 상기 영상 촬영장치(100)로부터 제공되는 촬영영상에서 위험 구역(R1)내 움직임 객체에 대한 인식처리를 수행한다.
즉, 상기 제어부(240)는 현재 영상 프레임에서 위험 구역(R1)을 추출하여 위험 구역(R1) 영상을 주파수 변환하고, 주파수 변환 영상에서 저주파 성분을 필터링한 후, 저주파 성분이 필터링된 주파수 영상을 다시 밝기 성분의 영상으로 변환하여 이전 영상프레임과 현재 영상프레임의 위험 구역(R1)에 대한 비교를 수행함으로써, 움직임 객체에 대한 인식처리를 수행할 수 있다.
이후, 상기 제어부(240)는 현재 촬영 영상에서 움직임 객체를 인식한 경우, 경보 발생부(220)를 통해 경고음 또는 경고안내메시지를 출력한다. 이때, 상기 제어부(240)는 촬영 영상에서 움직임 객체를 인식한 상태에서 차량이 주행하고자 경우, 예컨대 차량상태 감지부(210)로부터 속도값이 증가하거나 또는 시동을 거는 등의 상태 변화가 발생되는 경우, 경고음 또는 경고메시지를 출력할 수 있다.
도7은 본 발명자가 통학차량에 카메라를 장착한 상태에서, 아동 마네킹이 차량 주변 위험 구역으로 진입하는 시나리오에 따른 위치별 움직임 객체 인식 처리 결과를 나타낸 도면이다. 도7에서 (X)는 촬영 영상이고, (Y)는 위험 구역(R1) 영역의 움직임 인식 결과를 도시한 것이다.
즉, 도7a는 아동 마네킹(I)이 위험 구역(R1) 외측에 위치하여 위험 구역(R1)내에 움직임이 없는 상태를 도시한 것이고, 도7b는 아동 마네킹(I)이 차량 앞바퀴 부근의 위험 구역(R1)에 위치하는 상태를 도시한 것이고, 도7c는 아동 마네킹(I)이 차량 중앙 부근의 위험 구역(R1)에 위치하는 상태를 도시한 것이며, 도7d는 아동 마네킹(I)이 차량 뒷바퀴 부근의 위험 구역(R1)에 위치하는 상태를 도시한 것이다. 이때, 도7b와 도7c 및 도7d 는 위험 구역(R1) 내에 아동 마네킹(I)이 위치하는 것으로, 위험 구역(R1)내 움직임 객체 인식 결과 영상(Y)에 움직임 성분(W)이 아동 마네킹(I)의 위치에 대응되게 확인됨을 알 수 있다.
또한, 표1은 도7의 실험에서 위험 구역내 움직임 객체 인식 정확도를 확인하기 위한 실험결과표이다.
마네킹
위치		 TP TN FP FN Recall Precision
앞바퀴 183 226 3 22 0.89 0.98
중앙 211 112 2 24 0.90 0.99
뒷바퀴 200 186 3 32 0.86 0.99
평균 0.88 0.99
상기 실험결과표는 평균적으로 21 프레임/초 의 속도로 촬영한 촬영 영상에 대한 결과로서, 표1은 TP(True Positive), TN(True Negative ), FP(False Positive), FN(False Negative)분석하여 수학식5를 통해 재현율(Recall)과 정확도(Precision)를 산출한 것이다.
Figure 112014080324286-pat00012
즉, 본 발명에 의하면 표1과 같이 위험 구역(R1)에 움직임 객체에 대한 재현율과 정확도는 각각 88%과 99%로서 정확한 움직임 객체의 인식이 가능함을 할 수 있다.
따라서, 본 발명에 의하면 촬영 영상에서 기 설정된 차량의 주변 위험 구역에 움직임 객체가 존재하는지를 인식함에 있어서, 촬영 영상에서 그림자나 비, 눈 과 같은 움직임을 갖는 환경 성분을 제거하여 위험성을 갖는 실제 움직임 객체를 보다 정확히 인식할 수 있게 됨으로써, 차량 승하차 안전 예방 서비스를 보다 확실히 제공할 수 있게 된다.
비록, 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허등록청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
100 : 영상 촬영장치, 200 : 사고예방장치,
210 : 차량상태 감지부, 220 : 경보 출력부,
230 : 데이터메모리, 240 : 제어부.
241 : 위험 구역 추출처리, 242 : 주파수 변환처리,
243 : 저주파 성분 제거처리, 244 : 영상 변환처리,
245 : 움직임 객체 판단처리.

Claims (13)

  1. 차량에 설치되어 차량의 외측 주변을 촬영하기 위한 영상 촬영장치와, 상기 영상 촬영장치로부터 제공되는 촬영영상을 근거로 차량 외측 주변의 움직임 객체를 확인하여 사고 예방 정보를 출력하는 사고예방장치를 포함하여 구성되고,
    상기 사고예방장치는 상기 영상 촬영장치로부터 제공되는 촬영 영상에 대해 밝기성분을 주파수성분으로 변환하고, 변환된 주파수성분에서 최고 저주파영역을 제외한 무채색에 대응되는 저주파 성분을 제거하며, 저주파 성분이 제거된 주파수성분을 밝기 성분의 영상으로 재생성하는 영상변환처리를 수행함과 더불어, 이 저주파 성분이 제거된 상태의 현재 영상과 저주파 성분이 제거된 상태의 이전 영상을 비교하여 움직임 객체를 판단함으로써, 그 결과에 대응되는 사고 예방 정보를 출력하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
  2. 제1항에 있어서,
    상기 사고예방장치는 촬영영상에 대해 차량 외측 영역에 대응되는 적어도 하나 이상의 위험 구역을 설정하고, 촬영 영상에서 위험 구역 영역을 추출하여, 추출된 위험 구역에 대해 일부 저주파 성분이 제거된 현재 영상과 이전 영상을 비교함으로써, 움직임 객체를 판단하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
  3. 제2항에 있어서,
    상기 위험 구역은 차량의 도어와 전방 휠 및 후방 휠을 포함하는 영역으로 설정되는 것을 특징으로 하는 차량 승하차 사고 예방시스템.
  4. 제1항에 있어서,
    상기 사고예방장치는 현재 영상과 이전 영상을 비교함에 있어서, 해당 영상에서 일정 면적을 갖는 다수의 에지블럭 중 움직임이 발생되는 에지블럭이 일정 수 이상인 경우 현재 영상을 움직임 영상으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  5. 제4항에 있어서,
    상기 사고예방장치는 상기 에지블럭을 구성하는 다수의 픽셀 중 움직임이 발생되는 픽셀이 해당 에지블럭 전체 면적의 일정 비율 이상인 경우 해당 에지블럭을 움직임 블럭으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  6. 제1항에 있어서,
    상기 사고예방장치는 영상을 비교함에 있어서 입력 영상을 FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역 및, WP(Waking Person) 영역으로 분류하되, FG(Foreground) 영역과, BG(Background) 영역, GH(Ghosting) 영역, FA(Foreground Aperture) 영역에 대한 분류기준은 다음 수학식과 같이,
    Figure 112014080324286-pat00013

    로 설정되고,
    상기
    Figure 112014080324286-pat00014
    이고, 상기 Ft는 현재 영상프레임, Ft-1는 이전 영상프레임, Bt-1는 배경 영상프레임을 나타내고, thF와 thB 는 기 설정된 문턱값이며,
    상기 FG 영역과 FA 영역 및 WP 영역은 움직임 객체가 존재하는 영역이고, GH 영역과 BG 영역은 움직임 객체가 존재하지 않는 영역으로 판단하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  7. 제6항에 있어서,
    상기 배경 영상은
    Figure 112014080324286-pat00015

    으로 설정되고,
    여기서, Bt 는 이후 설정될 배경 영상프레임, Bt-1은 현재 배경 영상프레임, α는 기 설정된 가중치 상수로써, FG영역에 대해서는 가중치 상수가 "0"으로 설정되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  8. 제1항에 있어서,
    상기 사고예방장치는 FFT 변환(Fast Fourier Transform)을 통해 밝기 성분의 영상을 주파수변환처리하고, 일부 저주파 성분이 제거된 상태에서 그 역변환을 통해 주파수성분을 밝기 성분의 영상으로 변환하는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  9. 제1항에 있어서,
    상기 사고예방장치는 밴드패스필터를 통해 저주파 성분을 제거하도록 구성되는 것을 특징으로 하는 차량 승하차 사고 예방 시스템.
  10. 영상 촬영장치로부터 제공되는 영상에 대해 밝기 성분을 주파수성분으로 변환하는 제1 단계와,
    상기 제1 단계에서 생성된 주파수 성분에서 최고 저주파영역을 제외한 무채색에 대응되는 저주파 성분을 제거하는 제2 단계,
    상기 제2 단계에서 저주파 성분이 제거된 주파수 성분을 밝기 성분의 영상으로 변환하는 제3 단계 및,
    상기 제3 단계를 통해 저주파 성분이 제거된 현재 영상과 저주파 성분이 제거된 이전 영상을 비교하여 움직임 객체를 판단하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식방법.
  11. 제10항에 있어서,
    상기 제1 단계는 현재 영상과 이전 영상에서 기 설정된 위험 구역 영역을 추출하고, 해당 위험 구역에 대한 주파수 변환처리를 수행하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법.
  12. 제10항에 있어서,
    상기 제4 단계는 현재 영상과 이전 영상을 비교함에 있어서, 해당 영상에서 일정 면적을 갖는 다수의 에지블럭 중 움직임이 발생되는 에지블럭이 일정 수 이상인 경우 현재 영상을 움직임 영상으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법.
  13. 제12항에 있어서,
    상기 제4 단계는 상기 에지블럭을 구성하는 다수의 픽셀 중 움직임이 발생되는 픽셀이 해당 에지블럭 전체 면적의 일정 비율 이상인 경우 해당 에지블럭을 움직임 블럭으로 판단하는 것을 특징으로 하는 촬영영상에서의 움직임 객체 인식 방법.
KR1020140110636A 2014-08-25 2014-08-25 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템 KR101582454B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140110636A KR101582454B1 (ko) 2014-08-25 2014-08-25 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140110636A KR101582454B1 (ko) 2014-08-25 2014-08-25 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Publications (1)

Publication Number Publication Date
KR101582454B1 true KR101582454B1 (ko) 2016-01-06

Family

ID=55165481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140110636A KR101582454B1 (ko) 2014-08-25 2014-08-25 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템

Country Status (1)

Country Link
KR (1) KR101582454B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200039307A (ko) * 2018-10-05 2020-04-16 현대자동차주식회사 차량의 승하차 슬로프 제어 장치 및 방법
KR102591118B1 (ko) 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030076905A (ko) * 2002-03-23 2003-09-29 (주)맥스소프트 스테레오 물체 추적 방법 및 시스템
KR20050096865A (ko) * 2005-08-24 2005-10-06 한민홍 버스 승객하차 안전 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030076905A (ko) * 2002-03-23 2003-09-29 (주)맥스소프트 스테레오 물체 추적 방법 및 시스템
KR20050096865A (ko) * 2005-08-24 2005-10-06 한민홍 버스 승객하차 안전 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200039307A (ko) * 2018-10-05 2020-04-16 현대자동차주식회사 차량의 승하차 슬로프 제어 장치 및 방법
KR102575720B1 (ko) 2018-10-05 2023-09-07 현대자동차주식회사 차량의 승하차 슬로프 제어 장치 및 방법
KR102591118B1 (ko) 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법

Similar Documents

Publication Publication Date Title
JP6888950B2 (ja) 画像処理装置、外界認識装置
US9662977B2 (en) Driver state monitoring system
CN106611512B (zh) 前车起步的处理方法、装置和系统
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
CN107416629B (zh) 电梯安全运行的控制方法和系统
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN113076856B (zh) 基于人脸识别的公交车安全保障系统
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
US20150169980A1 (en) Object recognition device
KR101825687B1 (ko) 차영상을 이용한 장애물 검출장치 및 그 방법
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
JP2022033805A (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
JP2017165541A (ja) 画像処理装置
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
KR101582454B1 (ko) 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
Kailasam et al. Accident alert system for driver using face recognition
KR101407952B1 (ko) 엘리베이터 방범시스템 및 방법
US20230306757A1 (en) Vehicle interior monitoring system
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
CN112149482A (zh) 驾驶员在岗状态检测方法、装置、设备和计算机存储介质
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
US10945651B2 (en) Arousal level determination device
JP2019211921A (ja) 物体認識システムおよび物体認識方法
US9082002B2 (en) Detection device and detection method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 5