KR101669885B1 - 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치 - Google Patents

영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치 Download PDF

Info

Publication number
KR101669885B1
KR101669885B1 KR1020160066556A KR20160066556A KR101669885B1 KR 101669885 B1 KR101669885 B1 KR 101669885B1 KR 1020160066556 A KR1020160066556 A KR 1020160066556A KR 20160066556 A KR20160066556 A KR 20160066556A KR 101669885 B1 KR101669885 B1 KR 101669885B1
Authority
KR
South Korea
Prior art keywords
motion vector
human
motion
collision
image
Prior art date
Application number
KR1020160066556A
Other languages
English (en)
Inventor
이형각
김호군
Original Assignee
이형각
김호군
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이형각, 김호군 filed Critical 이형각
Priority to KR1020160066556A priority Critical patent/KR101669885B1/ko
Application granted granted Critical
Publication of KR101669885B1 publication Critical patent/KR101669885B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H04L67/16—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 관한 것으로서, 감시 카메라에서 촬상된 영상으로부터 움직임 객체를 추출하는 단계와, 추출된 움직임 객체가 사람인지 자동차 인지를 판별하는 단계와, 움직임 객체가 사람으로 판별된 경우 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하는 사람 움직임 추적단계와, 움직임 객체가 자동차로 판별된 경우 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하는 자동차 움직임 추적단계와, 산출된 사람 움직임 벡터 정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 검출하는 단계와, 보행자 추돌로 검출되면 설정된 후속조치를 수행하는 단계를 포함한다. 이러한 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 의하면, 감시카메라에 의해 촬상된 영상으로부터 보행자 추돌을 연산부담이 완화된 방식으로 자동으로 검출할 수 있고, 보행자 추돌검출시 경보 발령 및 신고를 통한 적절한 응급상황 대처가 가능하게 지원할 수 있는 장점을 제공한다.

Description

영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치{method of detecting pedestrian collision and IoT apparatus thereof}
본 발명은 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 관한 것으로서, 감시카메라에서 촬상된 영상으로부터 보행자 추돌 사고를 검출할 수 있도록 된 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 관한 것이다.
영상 감시 시스템은 범죄수사, 보안분야, 교통사고처리 등에서 영상정보를 통해 감시구역의 이상 유무를 판단하는 영상정보기술의 하나로써, 초기에는 공공장소나 위험장소에 설치되어 범죄를 예방하는 목적으로 주로 사용되어 왔으나, 최근에는 보안관리가 필요한 회사나 도로 등 다양한 장소에 설치되어 사용되고 있다.
종래의 감시 시스템은 대부분 감시자의 모니터링을 통해 관리가 이루어지므로, 감시 소홀이 빈번하게 발생하게 되고, 감시할 화면 수의 증가로 인한 실시간 대처 능력이 현저하게 떨어지는 문제점이 있다.
이러한 경우, 녹화된 영상을 분석하는 방법은 위급상황에 실시간으로 대처할 수 없는 문제점이 있고, 또한, 영상의 해상도나 데이터 저장상태에 따라서 올바르지 않은 결과가 도출되기도 하는 문제점이 있다.
최근에는 HOG(Histogram of Oriented Gradients) 알고리즘을 이용하여 사람과 자동차를 인식하여 통합관제를 진행할 수 있도록 지원하는 방식이 국내 등록특허 제10-1492473호 등 다양하게 게시되어 있다.
한편, 데이터 베이스에 범죄에 대한 패턴을 저장하고 입력된 객체와 비교하여 광범위한 범죄행위를 인식하는 시스템이 국내 등록특허 제10-1442669호에 게시되어 있으나, 이 경우 데이터 베이스에 저장된 방대한 데이터와 움직임 객체를 비교해야하기 때문에 연산 처리가 복잡해지고, 인식 정밀도가 방대한 패턴정보의 데이터 베이스에 의존되는 단점이 있다.
본 발명은 상기와 같은 문제점을 개선하기 위하여 창안된 것으로서, 촬상된 영상으로부터 보행자 추돌 여부를 영상처리에 검출할 수 있으면서도 연산처리부담을 완화시킬 수 있는 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 영상 기반 보행자 추돌 자동 검출 방법은 감시 카메라에서 촬상된 영상으로부터 보행자 추돌을 자동으로 검출하는 방법에 있어서, 가. 상기 감시 카메라에서 촬상된 영상으로부터 움직임 객체를 추출하는 단계와; 나. 상기 가 단계에서 추출된 움직임 객체가 사람인지 자동차 인지를 판별하는 단계와; 다. 상기 나단계에서 움직임 객체가 사람으로 판별된 경우 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하는 사람 움직임 추적단계와; 라. 상기 나단계에서 움직임 객체가 자동차로 판별된 경우 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하는 자동차 움직임 추적단계와; 바. 상기 다단계에서 산출된 사람 움직임 벡터 정보와 상기 라단계에서 산출된 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 검출하는 단계와; 사. 상기 바 단계에서 보행자 추돌로 검출되면 설정된 후속조치를 수행하는 단계;를 포함한다.
상기 바 단계는 영상프레임상에서 사람영역이 자동차영역과 중첩되는 영역이 있는지를 판단하고, 사람영역이 자동차영역과 중첩되는 영역이 있다고 판단되면, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값과, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 모두 추돌조건에 해당하면 보행자 추돌로 판단하고,
Figure 112016051888775-pat00001
,
Figure 112016051888775-pat00002
이며, MVi는 i번째 영상프레임에서 사람 움직임 벡터이고, MVi -1은 i-1번째 영상프레임에서 사람 움직임 벡터이며, θi는 i번째 영상프레임에서 사람 움직임 각도이고, θi-1은 i-1번째 영상프레임에서 사람 움직임 각도이고, CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi -1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기이고, α와β는 0보다 크고 1보다 작게 설정된 비중반영계수이다.
바람직하게는 상기 α와 상기 β는 각각 0.5로 설정된다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 영상 기반 보행자 추돌 자동 검출 사물 인터넷 장치는 감시카메라와; 상기 감시 카메라에서 촬상된 영상으로부터 사람 움직임에 대해서는 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하고, 자동차의 움직임에 대해서는 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하고, 산출된 사람 움직임 벡터정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌을 검출하는 보행자 추돌검출처리부와; 상기 보행자 추돌검출처리부로부터 보행자 추돌판정신호가 수신되면 경보신호를 출력하고, 설정된 신고주소로 신고처리하는 후속처리부;를 포함한다.
본 발명에 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 의하면, 감시카메라에 의해 촬상된 영상으로부터 보행자 추돌을 연산부담이 완화된 방식으로 자동으로 검출할 수 있고, 보행자 추돌검출시 경보 발령 및 신고를 통한 적절한 응급상황 대처가 가능하게 지원할 수 있는 장점을 제공한다.
도 1은 본 발명에 따른 영상기반 보행자 추돌 자동 검출 사물 인터넷 장치를 나타내 보인 도면이고,
도 2는 본 발명에 따른 영상기반 보행자 추돌 자동 검출 과정을 나타내 보인 플로우도이고,
도 3은 도 2의 보행자 추돌여부검출과정을 상세하게 나타내 보인 플로우도이고,
도 4는 도 1의 감시카메라에 의해 촬상된 영상화면들로부터 보행자의 머리 및 자동차의 추적 과정을 설명하기 위한 영상화면들이고,
도 5는 도 1의 감시카메라에 의해 촬상된 영상화면들로부터 보행자의 머리 부분 추적을 통해서 보행자 움직임 벡터와 움직임 벡터의 각도를 산출하는 과정의 예를 나타내 보인 도면이다.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치를 더욱 상세하게 설명한다.
도 1은 본 발명에 따른 영상기반 보행자 추돌 자동 검출 사물 인터넷 장치를 나타내 보인 도면이다.
도 1을 참조하면, 본 발명에 따른 영상기반 보행자 추돌 자동 검출 사물 인터넷 장치(100)는 감시카메라(110), 보행자 추돌검출처리부(130) 및 후속처리부(150)를 구비한다.
감시카메라(110)는 감시대상 영역을 촬상할 수 있도록 설치되면 된다.
일 예로서, 감시카메라(110)는 보행자 추돌이 발생할 수 있는 교차로의 횡단보도 주변을 촬상하도록 설치될 수 있다.
보행자 추돌검출처리부(130)는 감시카메라(110)에서 촬상된 영상으로부터 사람과 자동차에 대한 움직임 객체를 각각 추출하고, 사람 움직임에 대해서는 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터(MVi)를 산출하고, 자동차의 움직임에 대해서는 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출하고, 산출된 사람 움직임 벡터(MVi)정보와 자동차움직임 벡터(CMVi) 정보를 이용하여 보행자 추돌을 검출하도록 구축되어 있다.
이러한 보행자 추돌검출처리부(130)는 영상취득부(131), 객체 추출부(133), 사람움직임 추적부(135), 자동차 움직임 추적부(137), 보행자 추돌판정부(139)를 구비한다.
영상취득부(131)는 감시 카메라(110)에서 전송되는 영상을 저장처리한다.
객체 추출부(131)는 영상취득부(131)에 의해 취득된 영상에 대해 움직임 객체를 추출한다.
객체 추출부(131)는 영상 취득부(131)에 의해 취득된 영상에 대해 움직임 객체를 추출한다.
객체 추출부(131)는 취득된 형상으로부터 움직임 없는 배경정보를 생성하고, 현재 영상프레임에서 배경영상의 차를 구해서 움직이는 객체를 추출하고, 추출된 움직임 객체가 사람인지 자동차 인지를 판별하여 처리한다.
또한, 객체 추출부(131)는 움직임 객체가 사람으로 판별되면 사람의 두부영역과 몸통영역을 추출하여 제공할 수 있게 처리한다.
이러한 객체 추출부(131)는 추출된 움직임 객체에 대해 Meanshift, Camshift, Scale Invariant Feature Transform(SIFT) 중 어느 하나를 이용하여 움직임 객체가 사람 또는 사람의 두부인지를 판별하고, 움직임 객체가 자동차인지를 Viola Jones, Support Vector Machine, Neural Network 기법 중 어느 하나를 이용하여 판별하도록 구축될 수 있다.
객체 추출부(131)는 사람과 자동차를 인식하기 위해 예시된 영상처리기법 이외에 HOG(Histogram of Oriented Gradients) 알고리즘 등 공지된 다양한 기법을 적용할 수 있음은 물론이다.
사람움직임 추적부(135)는 객체 추출부(131)에 의해 추출된 사람의 두부에 대한 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터(MVi)를 산출한다.
자동차 움직임 추적부(137)는 객체 추출부(131)에 의해 추출된 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출한다.
보행자 추돌 판정부(139)는 사람움직임 추적부(135)에서 산출되는 사람 움직임 벡터(MVi)정보와 자동차 움직임 추적부(137)에서 산출된 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 판단하고 이에 대한 상세한 설명은 후술한다.
보행자 추돌 판정부(139)는 보행자 추돌로 판단된 경우 보행자 추돌판정신호를 후속처리부(150)에 전송한다.
후속처리부(150)는 보행자 추돌검출처리부(130)로부터 보행자 추돌판정신호가 수신되면 경보신호를 출력하고, 설정된 통신신고주소로 신고처리한다.
후속처리부(150)는 보행자 추돌판정신호가 수신되면 경보신호를 출력하는 경보발령부(153)와, 설정된 통신 신고주소 예를 들면 119 또는 주변 감시 네트워크주소로 통신망을 통해 신고처리하는 신고처리부(153)를 구비한다.
경보발령부(153)는 저장된 음향 경보신호를 스피커를 통해 출력하도록 구축될 수 있다.
신고처리부(153)는 등록된 신고메시지 정보와 해당 영상정보를 등록된 119 통신주소, 관할 경찰서 통신주소 또는 네트워크 감시 단말로 전송하도록 구축될 수있다.
또한 신고처리부(153)는 보행자 추돌로 판정된 영상정보를 기억장치(미도시)에 저장처리한다.
이하에서는 이러한 장치의 보행자 추돌 자동 검출 과정을 도 2를 참조하여 설명한다.
먼저, 감시 카메라(110)로부터 감시영상을 취득하고(단계 210), 취득된 감시영상으로부터 움직임 객체를 추출한다(단계 220).
다음은 추출된 움직임 객체가 사람인지 자동차 인지를 판별한다.
즉, 추출된 움직임 객체가 자동차 인지를 판단하고(단계 230), 자동차가 아니면 사람인지를 판단한다(단계 240).
단계 230에서 자동차로 판단되면, 자동차 움직임을 추적하고, 영상 프레임간의 자동차 움직임 벡터(CMVi)를 산출한다(단계 250).
또한, 단계 240에서 사람으로 판단되면, 사람 움직임을 추적하고, 영상 프레임간의 사람 움직임 벡터(MVi)를 산출한다(단계 260).
바람직하게는 단계 260에서는 사람의 두부 움직임을 추적한다.
이후, 사람 움직임 벡터(MVi)정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 검출한다(단계 270).
다음으로 단계 270에서 검출된 결과가 보행자 추돌발생에 해당하는지를 판단한다(단계 280).
단계 280에서 보행자 추돌발생에 해당하면 앞서 설명된 경보발령 및 신고처리를 수행한다(단계 290).
이하에서는 보행자 추돌여부에 대한 판별과정을 도 3 내지 도 5를 함께 참조하면서 더욱 상세하게 설명한다.
먼저, 영상프레임상에서 사람영역이 자동차 영역과 중첩된 영역이 있는지를 판단한다(단계 271).
단계 271에서 사람영역은 두부영역을 기준으로 몸통영역을 추출하고, 사람의 몸통영역과 자동차 영역이 중첩되는 지를 판단한다.
단계 271에서 사람영역이 자동차 영역과 중첩된 것을 판단되면, 후술되는 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp) 보다 큰지를 판단한다(단계 272).
단계 272에서 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp) 보다 큰 것으로 판단되면, 후술되는 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 제2문턱값(THc) 보다 큰지를 판단한다(단계 273).
단계 273에서 제2값이 제2문턱값(THc) 보다 큰 것을 판단되면, 보행자 추돌검출플래그를 "1"로 하여 보행자 추돌판정으로 기록처리한다.
이와는 다르게 단계 273에서 제2값이 제2문턱값(THc) 보다 크지 않은 것으로 판단되면 보행자 추돌검출플래그를 "0"로 하여 보행자 비추돌판정으로 기록처리한다.
이후는 앞서 설명된 단계280을 수행하며, 단계 280에서는 보행자 추돌검출플래그 값을 판독하여 추돌발생여부를 판단한다.
이러한 보행자 추돌판별 과정에서 적용되는 보행자 추돌함수(fp(MVi,MVi-1))와 자동차 추돌함수(fc(CMVi,CMVi-1))를 더욱 상게하게 설명한다.
먼저, i번째 영상프레임에 대해서는 첨자i를 부여하고, i번째 영상 프레임에서 산출된 사람 두부의 움직임 벡터를 MV i 라고 하자. 이것은 영상화면내의 x 방향 움직임 벡터(MVx i )와 y 방향 움직임 벡터(MVy i )의 벡터합을 의미한다. 그리고, 이전 영상 프레임인 i-1번째 영상 프레임에서 산출된 사람 두부의 움직임 벡터를 MV i-1 라고 하자.
그러면, 현재 영상프레임과 이전 영상프레임간의 사람 움직임 벡터 정보로부터 아래의 수학식1로 표현된 보행자 추돌함수(fp(MVi,MVi-1))에 의해 제1값을 산출한다.
보행자 추돌 함수는 얼굴 모션 벡터 크기 값의 1차 미분과 얼굴 모션 벡터 방향 값의 1차 미분 값의 선형 결합으로 정의한다.
Figure 112016051888775-pat00003
여기서, θi는 i번째 영상프레임에서 사람 두부의 움직임 각도이고, θi-1은 i-1번째 영상프레임에서 사람 두부의 움직임 각도이다. 일 예로서, θ는 도 4에 예시된 바와 같이 움직임 벡터와 영상화면내의 x 방향과의 사이각을 적용한다.
또한, dMV i 는 i번째 영상프레임에서의 움직임 벡터의 1차 미분 값을 의미하며, dθ i 는 i번째 영상 프레임의 모션벡터 각도와 i-1번째 영상 프레임 모션벡터 각도의 차이값을 의미한다.
여기서, α와 상기 β는 0보다 크고 1보다 작게 설정된 비중반영계수로서 바람직하게는 움직임 벡터의 크기 변화와 각도 변화에 똑같은 비중을 부여하도록 각각 0.5로 설정된다.
한편, 자동차 움직임 벡터에 대해서 CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi -1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기로 표현한다.
이 경우, 차량추돌에 대해서는 현재 영상프레임과 이전 영상프레임간의 자동차 움직임 벡터 정보로부터 아래의 수학식1로 표현된 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 제2값을 산출한다.
Figure 112016051888775-pat00004
dCMVi는 i번째 영상 프레임에서 검출된 자동차에 대한 모션벡터의 1차 미분값을 의미한다.
여기서, 제2값(fc(CMVi,CMVi-1))이 제2문턱치(THc) 값 보다 크게 되면 보행자 추돌 혹은 긴급상황에서 급브레이크를 밟는 상황이 발생했음을 의미한다.
여기서, 최종 추돌조건은 사람영역과 자동차 영역이 중첩되는 조건을 만족하면서, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값이 제1문턱값(THp)보다 크고, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 제2문턱값(THc)보다 크면 추돌조건에 해당하는 것으로 판정한다.
여기서, 제1문턱값과 제2문턱값은 임의의 환경에 설치되는 감시카메라(110)에서 취득되는 영상의 특성을 고려하여 적절하게 설정되면 된다.
이하에서는 이러한 보행자 추돌 추출과정을 도 4 및 도 5의 실제 영상을 통해 확인해 본다.
도 4에 표시된 영상 화면들은 사람의 두부 즉, 얼굴영역을 추출하여 빨간색으로 마킹하여 추적 영역을 표시한 것이다.
또한, 도 5에는 도 4의 각 영상 프레임에서 추출한 얼굴영역을 이용하여 움직임 벡터를 구한 예가 나타나 있다.
이러한 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치에 의하면, 감시카메라에 의해 촬상된 영상으로부터 보행자 추돌을 연산부담이 완화된 방식으로 자동으로 검출할 수 있고, 보행자 추돌검출시 경보 발령 및 신고를 통한 적절한 응급상황 대처가 가능하게 지원할 수 있는 장점을 제공한다.
110: 감시카메라 130: 보행자 추돌검출처리부
150: 후속처리부

Claims (6)

  1. 삭제
  2. 감시 카메라에서 촬상된 영상으로부터 보행자 추돌을 자동으로 검출하는 방법에 있어서,
    가. 상기 감시 카메라에서 촬상된 영상으로부터 움직임 객체를 추출하는 단계와;
    나. 상기 가 단계에서 추출된 움직임 객체가 사람인지 자동차 인지를 판별하는 단계와;
    다. 상기 나단계에서 움직임 객체가 사람으로 판별된 경우 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하는 사람 움직임 추적단계와;
    라. 상기 나단계에서 움직임 객체가 자동차로 판별된 경우 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하는 자동차 움직임 추적단계와;
    바. 상기 다단계에서 산출된 사람 움직임 벡터 정보와 상기 라단계에서 산출된 자동차 움직임 벡터 정보를 이용하여 보행자 추돌여부를 검출하는 단계와;
    사. 상기 바 단계에서 보행자 추돌로 검출되면 설정된 후속조치를 수행하는 단계;를 포함하고,
    상기 바 단계는
    영상프레임상에서 사람영역이 자동차영역과 중첩되는 영역이 있는지를 판단하고, 사람영역이 자동차영역과 중첩되는 영역이 있다고 판단되면, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값과, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 모두 추돌조건에 해당하면 보행자 추돌로 판단하고,
    Figure 112016068155084-pat00005
    ,
    Figure 112016068155084-pat00006

    이며, MVi는 i번째 영상프레임에서 사람 움직임 벡터이고, MVi-1은 i-1번째 영상프레임에서 사람 움직임 벡터이며, θi는 i번째 영상프레임에서 사람 움직임 각도이고, θi-1은 i-1번째 영상프레임에서 사람 움직임 각도이고, CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi-1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기이고, α와β는 0보다 크고 1보다 작게 설정된 비중반영계수인 것을 특징으로 하는 영상 기반 보행자 추돌 자동 검출 방법.
  3. 제2항에 있어서, 상기 α와 상기 β는 각각 0.5로 설정된 것을 특징으로 하는 영상 기반 보행자 추돌 자동 검출 방법.
  4. 제3항에 있어서, 상기 바 단계에서 사람의 몸통영역과 자동차영역과 중첩되는 영역이 있는지를 판단하도록 된 것을 특징으로 하는 영상 기반 보행자 추돌 자동 검출 방법.
  5. 제3항에 있어서, 상기 나단계는 Meanshift, Camshift, Scale Invariant Feature Transform (SIFT) 중 어느 하나를 이용하여 움직임 객체가 사람인지를 판별하고, 움직임 객체가 자동차인지를 Viola Jones, Support Vector Machine, Neural Network 기법 중 어느 하나를 이용하여 판별하는 것을 특징으로 하는 영상 기반 보행자 추돌 자동 검출 방법.
  6. 감시카메라와;
    상기 감시 카메라에서 촬상된 영상으로부터 사람 움직임에 대해서는 사람 움직임을 추적하면서 영상 프레임간의 사람 움직임 벡터를 산출하고, 자동차의 움직임에 대해서는 자동차의 움직임을 추적하면서 영상 프레임간의 자동차 움직임 벡터를 산출하고, 산출된 사람 움직임 벡터정보와 자동차 움직임 벡터 정보를 이용하여 보행자 추돌을 검출하는 보행자 추돌검출처리부와;
    상기 보행자 추돌검출처리부로부터 보행자 추돌판정신호가 수신되면 경보신호를 출력하고, 설정된 통신 신고주소로 신고처리하는 후속처리부;를 포함하고,
    상기 보행자 추돌검출처리부는
    상기 감시카메라에서 촬상된 영상프레임상에서 사람영역이 자동차영역과 중첩되는 영역이 있는지를 판단하고, 사람영역이 자동차영역과 중첩되는 영역이 있다고 판단되면, 보행자 추돌함수(fp(MVi,MVi-1))에 의해 산출된 제1값과, 자동차 추돌함수(fc(CMVi,CMVi-1))에 의해 산출된 제2값이 모두 추돌조건에 해당하면 보행자 추돌로 판단하여 보행자 추돌판정신호를 상기 후속처리부에 전송하고,
    Figure 112016068155084-pat00012
    ,
    Figure 112016068155084-pat00013

    이며, MVi는 i번째 영상프레임에서 사람 움직임 벡터이고, MVi-1은 i-1번째 영상프레임에서 사람 움직임 벡터이며, θi는 i번째 영상프레임에서 사람 움직임 각도이고, θi-1은 i-1번째 영상프레임에서 사람 움직임 각도이고, CMVi는 i번째 영상프레임에서 자동차 움직임 벡터의 크기이고, CMVi-1은 i-1번째 영상프레임에서 자동차 움직임 벡터의 크기이고, α와β는 0보다 크고 1보다 작게 설정된 비중반영계수인 것을 특징으로 하는 영상 기반 보행자 추돌 자동 검출 사물 인터넷 장치.

KR1020160066556A 2016-05-30 2016-05-30 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치 KR101669885B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160066556A KR101669885B1 (ko) 2016-05-30 2016-05-30 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160066556A KR101669885B1 (ko) 2016-05-30 2016-05-30 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치

Publications (1)

Publication Number Publication Date
KR101669885B1 true KR101669885B1 (ko) 2016-10-27

Family

ID=57247219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160066556A KR101669885B1 (ko) 2016-05-30 2016-05-30 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치

Country Status (1)

Country Link
KR (1) KR101669885B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106740449A (zh) * 2016-12-15 2017-05-31 河南机电高等专科学校 一种汽车防追尾撞车装置
KR20220070783A (ko) 2020-11-23 2022-05-31 서울대학교산학협력단 도로 보행자의 교통사고 방지 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110001172A (ko) * 2009-06-29 2011-01-06 목포대학교산학협력단 움직이는 객체의 영상정보에 기반한 폭행상황 검출방법
KR101095528B1 (ko) * 2009-04-30 2011-12-20 (주) 서돌 전자통신 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
KR101116273B1 (ko) * 2010-05-03 2012-03-14 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR101577747B1 (ko) * 2013-10-24 2015-12-15 주식회사 에스원 불법 주정차 감지 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101095528B1 (ko) * 2009-04-30 2011-12-20 (주) 서돌 전자통신 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
KR20110001172A (ko) * 2009-06-29 2011-01-06 목포대학교산학협력단 움직이는 객체의 영상정보에 기반한 폭행상황 검출방법
KR101116273B1 (ko) * 2010-05-03 2012-03-14 연세대학교 산학협력단 교통사고 인식장치 및 그 방법
KR101577747B1 (ko) * 2013-10-24 2015-12-15 주식회사 에스원 불법 주정차 감지 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106740449A (zh) * 2016-12-15 2017-05-31 河南机电高等专科学校 一种汽车防追尾撞车装置
KR20220070783A (ko) 2020-11-23 2022-05-31 서울대학교산학협력단 도로 보행자의 교통사고 방지 장치 및 방법

Similar Documents

Publication Publication Date Title
JP4966820B2 (ja) 混雑推定装置および方法
KR101696801B1 (ko) 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템
Ki et al. A traffic accident recording and reporting model at intersections
US5554983A (en) Object recognition system and abnormality detection system using image processing
US20180150704A1 (en) Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
KR101116273B1 (ko) 교통사고 인식장치 및 그 방법
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR101298684B1 (ko) 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법
US20230410517A1 (en) Information processing apparatus, control method, and program
KR20190046351A (ko) 침입 탐지방법 및 그 장치
KR101825687B1 (ko) 차영상을 이용한 장애물 검출장치 및 그 방법
CN107122743B (zh) 安防监控方法、装置和电子设备
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
JP4852355B2 (ja) 放置物検出装置及び放置物検出方法
Doshi et al. An efficient approach for anomaly detection in traffic videos
Veni et al. Road accident detection and severity determination from CCTV surveillance
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
KR101407952B1 (ko) 엘리베이터 방범시스템 및 방법
CN112561967A (zh) 一种车辆门锁的控制方法及装置
KR101407394B1 (ko) 방치물 및 도난물 탐지 시스템
KR20210094365A (ko) 객체의 움직임 정보에 기초하여 이상 상황을 판단하는 장치, 방법 및 컴퓨터 프로그램
KR102407202B1 (ko) 지능형 영상 분석 장치 및 방법
WO2008094029A1 (en) Surveillance method and system using optimized object based rule checking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4