KR101695127B1 - 영상을 이용한 집단 행동 분석 방법 - Google Patents

영상을 이용한 집단 행동 분석 방법 Download PDF

Info

Publication number
KR101695127B1
KR101695127B1 KR1020160028935A KR20160028935A KR101695127B1 KR 101695127 B1 KR101695127 B1 KR 101695127B1 KR 1020160028935 A KR1020160028935 A KR 1020160028935A KR 20160028935 A KR20160028935 A KR 20160028935A KR 101695127 B1 KR101695127 B1 KR 101695127B1
Authority
KR
South Korea
Prior art keywords
image
analysis module
unit
space
camera
Prior art date
Application number
KR1020160028935A
Other languages
English (en)
Inventor
강성진
Original Assignee
(주)디지탈라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)디지탈라인 filed Critical (주)디지탈라인
Priority to KR1020160028935A priority Critical patent/KR101695127B1/ko
Application granted granted Critical
Publication of KR101695127B1 publication Critical patent/KR101695127B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • H04N5/232
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Emergency Management (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상을 이용한 집단 행동 분석 방법이 개시된다. 본 발명의 집단행동분석방법은 영상검지부의 출력 영상에서 고정된 배경의 이미지와 움직임이 있는 객체 이미지로 구분하고, 계속적으로 생성되는 움직이는 객체 이미지와 매칭을 진행하는 단계와, 계속적인 움직임이 있는 객체의 방향과 이동 속도를 분석하는 단계, 설정된 조건에 일치하는 공간을 확인필요 공간으로 판단하고, 확인필요 공간에 대한 영상 데이터와 그 특정한 장소의 X, Y 좌표값을 전송하여 해당 영상을 팝업(POP-UP)시키고, 해당 영역의 확대영상을 표시하게 함으로써, CCTV 영상을 이용하여 사람 밀집 지역 등의 장소에서 일어나는 사건이나 사고를 실시간 정확하게 파악할 수 있기 때문에 신속한 대처가 가능하다.

Description

영상을 이용한 집단 행동 분석 방법{GROUP ACTION ANALYSIS METHOD BY IMAGE}
본 발명은 집단 행동 분석 방법에 관한 것으로, 보다 상세하게는 고정적인 배경 이미지를 먼저 분리하여 저장하고, 움직이는 피사체만을 실시간 구분 분석하여 매칭하는 방식을 이용하여, 정상적인 패턴과 다른 집단 행동을 감지하여 특정 공간을 신속하게 확인할 수 있게 하는 차별화된 영상을 이용한 집단 행동 분석 방법에 관한 것이다.
방범시스템은 일반적으로 고정 카메라와 PTZ(Pan Tilt Zoom) 회전 카메라를 설치하며 일정한 화각을 유지하는 고정 카메라에서 현장에 대해 이상 상황이 의심되면 PTZ 회전 카메라를 통해 영상을 확대하여 확인하는 시스템으로 구성한다.
많은 기술 발전을 통해, 고정된 화면에서 영상을 분석하여 사람이나 자동차 등이 검지되면 PTZ 회전 카메라가 자동으로 추적하는 시스템을 구축하기도 하지만, 이는 예를 들어 대형 운동장이나 공항 외곽 등 넓고 한적한 장소 등에서 그 효율성이 극대화되며, 사람 밀집 지역, 예를 들어 일반적인 인도, 지하철 플렛폼 또는 계단, 교차로 등에서는 움직이는 사람과 자동차들이 많기 때문에 자동으로 추적하는 시스템은 설치하여 운영할 수가 없는 실정이다.
어떤 특정한 장소에서 집단 싸움이나 사고가 일어났을 때 또는 범죄자가 사람이 밀집된 장소에서 위협을 가하거나, 폭발물 등으로 위험에 처했을 때 일반적으로 신고를 받고 현장을 출동하는 것이 대부분이며, 이는 정확한 상황 판단과 신속한 대처가 무엇보다 중요함에도 인력에 의존해야 하는 제약이 있다.
특히, 대부분의 장소는 반사회적 집단으로 부터의 테러와 인재 등으로 인한 사고에 노출되어 있으며, 사건 사고 발생 시 뒤늦은 대응으로 그 피해가 커질 수 밖에 없는 실정이다.
KR 등록특허공보 제10-0767065호(2007.10.08)
이러한 문제점을 해결하기 위한 본 발명은 사람 밀집 지역의 CCTV 영상을 이용하여 평소와 다른 패턴의 움직임 등을 분석하여 사건 및 사고 발생 시 확인 필요 장소로 자동 알람을 발생시킬 수 있는 영상을 이용한 집단 행동 분석 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 사람 밀집 지역의 CCTV 영상을 이용하여 평소와 다른 패턴의 움직임 등을 분석하여 사건 및 사고 발생 시 인근의 PTZ 회전 카메라로 확대 영상을 팝업(POP-UP)시켜 운영자가 정확하게 상황을 확인할 수 있도록 하는 영상을 이용한 집단 행동 분석 방법을 제공하는 것을 다른 목적으로 한다.
상술한 과제를 해결하기 위한 본 발명의 영상을 촬영하는 객체검지카메라와 추적기능의 객체추적카메라로 구성된 영상검지부의 출력 영상을 활용하여 집단행동을 분석하는 이미지분석모듈을 이용한 집단행동 분석 방법은, (a)상기 이미지분석모듈의 피사체생성부에서 상기 영상검지부의 출력 영상에서 고정된 배경의 이미지와 움직임이 있는 객체 이미지로 구분하고, 상기 고정된 배경 이미지와 계속적으로 생성되는 움직이는 객체 이미지와 매칭을 진행하는 단계와, (b)상기 (a)단계에서 계속적인 움직임이 있는 객체의 방향과 이동 속도를 분석하는 단계, (c) 상기 (b)단계에서 분석된 방향과 속도로 정상적인 환경에서의 값과 매칭하여 특정한 장소를 기피하는 경우가 설정 횟수보다 많은 객체의 값일 경우와 특정한 장소에서 설정한 시간 동안 움직임이 없는 객체의 수가 설정한 값보다 이상일 경우 사건 또는 사고가 발생되어 집단으로 피하거나 에워싸고 있는 경우를 확인필요 공간으로 판단하는 단계, (d)상기 확인필요 공간에 대한 영상 데이터와 그 특정한 장소의 X, Y 좌표 값을 전송하는 단계와, (e)상기 (d)단계에서 수신한 영상데이터와 X,Y좌표를 수신하여 해당 영상을 팝업(POP-UP)시키고, 상기 객체추적카메라에 X,Y좌표를 전송하여 확대영상을 촬영하도록 제어하는 단계 및 (f)상기 확대된 영상을 관제서버에 표시하는 단계를 포함하여 달성될 수 있다.
또한, (a)단계는 상기 이미지분석모듈의 피사체 생성부에서 상기 객체검지카메라에서 실시간 영상을 전송받아 일정 시간 패턴 학습을 통하거나 운영자가 관제서버를 통하여 촬영된 이미지에 직접 지정한 값과 비교하여 움직임이 없는 고정적인 배경을 배경이미지로 저장하고, 움직임이 있는 객체만 검지하여 객체이미지로 구분한다.
또한, (b)단계는 방향 분석부에서 움직임이 있는 객체에 개별로 색상과 번호를 부여하고, 이 개별 객체의 움직임을 저장된 배경이미지데이터에 기반하여 X, Y 좌표로 방향을 분석하며, 움직이는 객체에 대해 개별로 방향과 속도를 관리한다.
그리고 (c)단계는 상기 이미지분석모듈에서 확인 필요 공간을 미리 설정하여 집중적으로 감시할 수 있게 하거나, 미리 승인된 공사와 같이 특정 공간을 분석하지 않게 설정할 수 있고, 상기 이미지 분석 모듈에서 특정한 공간의 좌우측에 움직임이 있는 객체가 존재하나 미리 설정한 시간 동안 이 특정한 공간을 통과하는 경우가 없을 때, 확인 필요 공간으로 인식하는 단계를 포함할 수 있다.
따라서, 본 발명의 영상을 이용한 집단 행동 분석 방법에 의하면, CCTV 영상을 이용하여 사람 밀집 지역 등의 장소에서 일어나는 사건이나 사고를 실시간 정확하게 파악할 수 있기 때문에 신속한 대처가 가능하며, 특히 이 모든 기능이 영상과 알람으로 자동 운영되기 때문에 효율적인 관리가 가능해져 소중한 인명과 재산을 보호할 수 있다.
도 1은 CCTV 영상을 이용한 집단 행동 분석 방법을 구현하기 위한 주요 구성도,
도 2는 본 발명의 실시예에 따른 이미지 분석 모듈의 세부 구성도,
도 3은 본 발명의 실시예에 따른 영상을 획득하고 분리 분석하여 사건 사고 등을 자동으로 검지하는 방법을 설명하기 위한 흐름도,
도 4는 본 발명의 실시예에 따른 인구 밀집 장소에서의 정상적인 환경을 도시한 도면,
그리고,
도 5는 본 발명의 실시예에 따른 인구 밀집 공간에서의 확인 필요 장소 알람이 발생되는 환경을 도시한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.
본 발명은 현장의 영상을 전송받아 일정 시간 패턴을 학습하거나 운영자가 이미지에 직접 설정하는 방식 등의 방법으로, 고정적인 배경과 계속적인 움직임이 있는 피사체를 구분하여 움직임이 없는 고정적인 배경 이미지는 배경 이미지 처리부(131)에 저장하고, 계속적인 움직임이 있는 이미지는 별도 발췌하여 1/25초 단위로 매칭을 반복하고, 검지된 피사체의 방향과 이동 속도를 계산하여 그 피사체 또는 피사체들의 집단 행동을 분석하는 행동 분석 처리부(132)에서 설정 값 이상, 이하일 경우 확인 필요 공간으로 인식되면 알람을 발생시키는 이미지 분석 모듈(130), 또한 이들 시스템을 원격에서 제어하고 관리할 수 있는 관제서버(140)로 구성된다.
도 1은 CCTV 영상을 이용한 집단 행동 분석 방법을 구현하기 위한 주요 구성도로서, 도시된 바와 같이, 본 발명의 집단 행동 분석 시스템은 현장에 설치되어 영상을 획득하고 확인필요 공간으로 인식될 경우 해당 위치의 X, Y 좌표 값을 수신하여 확대 영상을 촬영하여 전송하는 CCTV 영상 검지부(110), 영상검지부(110)의 영상을 실시간 분석하여 고정적인 배경, 즉 건물, 자동차 도로, 계단, 나무, 기타 조경 조명 시설들과 계속적인 움직임이 있는 객체들을 구분하여 집단 행동을 분석하고 자동으로 알람을 발생시키는 이미지분석모듈(130)과, 전용선, 자가망 등의 유선 또는 Lora, Wifi 등의 무선을 통해 CCTV 영상 검지부(110)와 이미지 분석 모듈(130)과 통신하는 네트워크(120), 그리고 이들 시스템을 원격에서 제어하고 관리할 수 있는 관제서버(140)를 포함한다.
영상 검지부(110)는 현장에 설치되어 이동 객체를 검지하는 객체 검지 카메라(111)와, 팬 틸트(Tilt), 줌인 줌아웃 기능을 갖는 객체추적카메라(112)로 구성된다.
객체검지카메라(111)는 고정된 방향의 고정영상을 촬영하여 영상 데이터를 출력하도록 하나 이상의 카메라로 구성된다.
객체추적카메라(112)는 팬, 틸트, 줌(Pan, Tilt, Zoom: PTZ)으로 구동할 수 있도록 하고, 객체를 자동추적하여 근접 및 확대 촬영을 할 수 있도록 구성된다.
이러한 객체검지카메라(111)와 객체추적카메라(112)는 디지털 비디오 카메라, 컬러 카메라, 흑백 카메라(monochrome camera), 카메라. 캠코더, PC 카메라, 웹캠, 적외선(IR) 비디오 카메라, 저조도(low-light) 비디오 카메라, 감열식(thermal) 비디오 카메라, 폐쇄-회로 텔레비전(CCTV) 카메라, 팬, 틸트, 줌(Pan, Tilt, Zoom: PTZ) 카메라, 또는 비디오 센싱 장치 중 하나 또는 그 이상을 포함하여 구성할 수 있음은 물론이다.
또한, 이미지분석모듈(130)은 객체검지카메라(111)를 통하여 현장에서 촬영되는 CCTV 영상에서 우선적으로 패턴 학습을 통해 배경 이미지를 설정하고 이동하는 피사체를 개별로 검지하여 방향과 속도 등을 분석하여 특정 장소에서 움직임 없이 일정 시간을 머물고 있거나 특정 장소를 피해 이동을 하는 행동을 감지할 경우 운영자의 단말기로 동작되는 관제서버(140)에 알람을 발생시켜 신속하게 확인하게 하고, 또한 인근에 있는 객체추적카메라(112)를 이용해 정확한 상황을 파악할 수 있게 좌표값을 명령하여 확대 영상을 팝업(POP-UP) 시켜주어 집단 행동 분석이 가능하도록 하는 것을 특징으로 한다.
도 2의 본 발명의 실시예에 따른 이미지 분석 모듈의 세부 구성도를 참고하면, 이미지 분석 모듈(130)은, 현장의 객체검지카메라(111)에서 전송받은 영상으로부터 분석대상이미지를 생성시키는 피사체 생성부(131), 고정된 배경의 고정된 이미지와 움직임이 있는 객체 이미지로 구분하는 이미지 분리부(132), 고정된 이미지를 배경이미지저장부(133a)에 별도 저장하고 계속적으로 생성되는 움직이는 객체 데이터와 매칭을 진행하는 배경 이미지 매칭부(133), 계속적인 움직임이 있는 피사체의 방향을 분석하여 행동 분석 처리부(136)로 데이터를 전달하는 방향 분석부(134), 또한 계속적인 움직임이 있는 객체의 속도를 계산하여 행동 분석 처리부(136)로 객체 개별 이동 속도를 전달하는 이동 속도 분석부(135), 이렇게 수신한 각 개별 객체의 방향과 속도를 분석하여 설정한 값 또는 미리 학습한 정상적인 환경에서의 값과 매칭하여 특정한 장소를 기피하는 경우가 설정 횟수보다 많은 객체의 값일 경우와 특정한 장소에서 설정한 시간 동안 움직임이 없는 객체의 수가 설정한 값보다 이상일 경우 사건 또는 사고가 발생되어 집단으로 피하거나 에워싸고 있는 경우로 판단하여 확인필요 공간으로 인식, Alarm 발생부(137)로 해당 영상 데이터와 그 특정한 장소의 X, Y 좌표 값을 전송하는 행동 분석 처리부(136), 확인 필요 공간으로 알람 데이터를 수신하여 운영자에게 해당 영상을 팝업(POP-UP) 시키고, 인근 객체추적카메라(112)에 좌표를 전송하여 확대 영상을 운영자에게 전송하고 필요한 경우 RS-485, RS-422, RS-232C, Hardwire 등의 유선 또는 Zigbee, Wifi, Lora 등의 무선 통신으로 비상벨 등과 연동이 가능한 것을 포함하는 Alarm 발생부(137), 운영자가 확인 필요 공간을 미리 설정하여 집중적으로 감시할 수 있게 하거나, 미리 승인된 공사 등의 사유로 특정 공간을 분석하지 않게 설정할 수 있는 기능을 포함하는 명령 입력부(138)를 포함한다.
확대 영상은 직접 근접촬영하여 확대할 수도 있으나, 이미지 전체 크기의 1/3을 원칙적으로 3초 동안 75 frame의 속도로 촬영하고 그 이미지의 하위 43%를 강제 제외한 지점을 X, Y 좌표 기준점으로 하여, 2초 동안 50 frame의 속도로 확대 촬영하는 것이 바람직하다.
피사체 생성부(131)는 현장에 설치되는 고정된 화각의 객체검지카메라(111)에서 실시간 영상을 전송받아 설정한 시간 동안의 패턴을 통한 학습 또는 운영자가 관제서버(140)를 통하여 직접 지정하는 방식 등의 좌표값과 비교하여 분석대상이미지를 생성시킨다.
구체적으로 현장의 객체검지카메라(111)로부터 수신된 영상을 1/30초 단위로 분석하여 2/30초 영상과 매칭하여 변화가 검지되면 분석 대상 이미지로 구분하여 이미지분리부(132)로 전달한다.
이미지 분리부(132)는 피사체 생성부(131)에서 전송된 분석대상이미지에서 고정된 배경과 움직임이 있는 객체로 구분하여 분석하고 특히 움직임이 있는 객체는 개별로 색상과 번호로 구분하도록 동작한다.
즉, 이미지 분리부(132)는 피사체생성부(131)에서 출력되는 분석 대상의 이미지로부터 고정적인 배경 화면 이미지는 배경이미지저장부(133a)로 전송하여 저장하고, 움직임이 있는 객체를 구분하여 객체 이미지는 배경 이미지 매칭부(133)로 전송한다.
배경 이미지 매칭부(133)는 배경이미지저장부(133a)에 저장된 배경이미지데이터와 이후 움직임이 있는 객체의 이미지 데이터와 연속적으로 비교하여 움직임이 있는 객체 이미지 데이터를 방향분석부(134)로 전송한다.
방향 분석부(134)는 움직임이 있는 객체에 개별로 색상과 번호를 부여하고, 이 개별 객체의 움직임을 배경이미지저장부(133a)에 저장된 배경이미지데이터에 기반하여 X, Y 좌표로 방향을 분석하며, 학습된 패턴의 방향과 다른 움직임이 감지되면 행동 분석 처리부(136)로 해당 정보를 전달하도록 동작한다.
이동 속도 계산부(135)는 색상과 번호를 부여받은 개별 객체의 이동 속도를 계산하고 미리 설정된 시간동안 움직임이 없거나 학습된 패턴의 속도보다 30% 빠른 움직임으로 이동할 경우 행동 분석 처리부(136)로 해당 정보를 전달한다.
행동 분석 처리부(136)는 방향 분석부(134)와 이동 속도 계산부(135)로부터 수신한 정보가 미리 설정한 횟수보다 이상이거나 이하일 경우 해당 좌표를 계산하여 Alarm 발생부(137)로 확인 필요 공간으로 신호를 전송하며, 해당 영상을 운영자의 관제서버(140)에 팝업(POP-UP)시키도록 동작한다.
Alarm 발생부(137)는 행동 분석 처리부(136)로부터 수신한 확인필요 장소 신호에 대하여 인근 객체추적카메라(112)에 해당 장소의 좌표 값을 발송하고 이때 촬영된 확대 화면을 운영자의 관제서버(140)에 발송하는 기능 및 필요한 경우 경광등 등의 물리적인 장치에 경고 신호를 발송하도록 동작한다.
명령입력부(138) 확인 필요 공간을 미리 설정하여 집중적으로 감시할 수 있게 하거나, 미리 승인된 공사 등의 사유로 특정 공간을 분석하지 않게 설정할 수 있는 기능을 포함한다.
이러한 명령입력부(138)는 단말기를 통하여 사용될 수도 있으나, 관제서버(140)와 유무선으로 연결되어 직접 관제서버(140)에도 명령을 입력할 수도 있다.
이하, 상술한 본 발명의 집단 행동 분석 장치를 이용하여 집단 행동 분석 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 영상을 획득하고 분리 분석하여 사건 사고 등을 자동으로 검지하는 영상을 이용한 집단 행동 분석 방법을 설명하기 위한 흐름도이다.
먼저 영상 검지부(110)의 객체검지카메라(111)에서 현장의 영상을 촬영하여 실시간 전송하면(S110), 피사체 생성부(131)에서는 패턴 학습 또는 운영자의 이미지 수동 기입 등의 좌표값과 비교하여 객체이미지데이터를 생성하고, 생성된 데이터는 이미지 분리부(132)로 전송한다(S111).
이미지 분리부(132)에서는 이 데이터를 고정적인 배경이미지와 움직임이 있는 객체이미지로 구분하여 고정적인 배경이미지는 배경 이미지저장부(133a)에 저장하고, 객체이미지는 배경이미지 매칭부(133)에서 계속적으로 생성되는 데이터와 매칭을 진행하고, 움직임이 있는 이미지는 객체 프레임으로 구분하여 전송한다(S112).
단계 S112에서의 배경이미지와 움직임이 있는 이미지의 구분은, 획득된 객체 영상으로부터 이전 프레임 변화율을 매칭시키고, 가법혼색기준빛의 절대값을 매칭시켜 배경이미지와 객체 프레임으로 분리할 수 있다.
즉, 1/25초 이전의 frame과 실시간 촬영된 frame을 매칭하여, 1차적인 frame 변화율에 대한 값을 검지하고 frame 변화율과, 객체검지카메라의 화각에 있는 고정된 건물 및 배경 들을 인식시켜, 빛의 절대값을 0으로 세팅(전체 화면이 Black인 상태)하고, 임의의 객체가 그 화각에 포함될 경우 빛의 가법혼색에 의해 발생되는 그 구역의 빛의 절대값 변화를 2차적으로 검지하여 2차적인 빛의 절대값의 변화율로 객체 프레임으로 분리하는 것이다.
단계 S112에서 움직임이 있는 객체 프레임에 대하여 방향 분석부(134)와 이동 속도 계산부(135)에서 개별 객체의 방향과 이동 속도를 분석한다(S113).
단계 S113에서 객체 프레임과 개별 객체의 방향과 이동 속도에 대한 데이터를 실시간 전송받은 행동 분석 처리부(135)는, 이때 설정한 값의 표본 오차 범위 이내의 값인지 아닌지를 판단한다(S114).
단계 S114에서 표준오차범위 이내일 경우 다시 이미지 분리부(132)로 분석 제외 명령을 전달하고, 설정한 값의 표본 오차 범위 이상 또는 이하의 경우 확인 필요 공간으로 인식하여 Alarm 발생부(137)로 데이터와 좌표를 전송하게 한다(S115).
또한, 단계 S115에서 Alarm 발생부(137)는 행동 분석 처리부(136)로부터 수신한 확인필요 장소 신호에 대하여 인근 객체추적카메라(112)에 해당 장소의 좌표 값을 발송하고 이때 촬영된 확대 화면을 운영자의 관제서버(140)에 발송하여 영상을 팝업시킬수도 있으며, 필요한 경우 경광등 또는 비상벨과 같은 물리적인 장치에 경고 신호를 발송하도록 동작한다.
또한, 단계 S112에서는 명령입력부(138)를 통하여 확인 필요 공간을 미리 설정하여 집중적으로 감시할 수 있게 하거나, 미리 승인된 공사 등의 사유로 특정 공간을 분석하지 않게 설정할 수 있는 기능을 포함시킬 수 있다.
한편, 단계 S114에서 Alarm 발생부(137)는 움직임이 있는 객체들이 특정 장소에서 설정된 시간 동안 움직임이 없는 경우나, 움직임이 있는 객체들이 특정 장소를 피해 방향을 이동하는 경우의 수가 설정된 값 이상일 때, 그리고 특정 장소가 확인 필요 공간으로 감지되었을 때, 인근 객체추적카메라(112)에 그 좌표 값을 명령하여 확대 영상을 촬영할 수 있도록 하는 단계를 포함할 수 있다.
즉, 움직임이 있는 객체들이 특정 장소에서 설정된 시간 동안 움직임이 없는 경우 또는 특정 장소를 피해 방향을 이동하는 경우의 판단은 정상적인 이미지와 비교하여 확인필요 장소로 판단되어야 한다.
이러한 판단에 일례가 도 4 및 도 5에 예시되어 있다.
도 4는 본 발명의 실시예에 따른 인구 밀집 장소에서의 정상적인 환경을 도시한 도면으로, 현장에 객체검지카메라(111)를 설치하여 실시간 영상을 촬영하였을 때 획득된 이미지의 맨 왼쪽 아래 지점을 기준으로 우측 방향을 X, 위쪽 방향을 Y로 설정하고 고정된 배경으로는 자동차 도로 Z를 인식시켰을 경우, 검지된 A, B, C, D, E, F의 피사체는 일정한 방향으로 움직임이 인식되어 정상적인 환경으로 인식하게 된다. 예를 들어, A 피사체의 경우 처음 검지된 A1은 기준점에서 X측 방향으로 A2, A3로 일정한 방향의 움직임이 검지되고 있으며 이때 Y 값은 고정된 배경으로 인식된 자동차 도로 Z의 범위를 넘지 않는 표준 오차 범위 이내임을 알 수 있다.
또한 예를 들어, E 피사체의 경우 처음 검지된 E1은 절대값이 높은 X측 방향에서 E2, E3, E4, E5로 일정한 방향의 움직임이 검지되고 있으며, 이때 Y 값은 고정된 배경으로 인식된 자동차 도로 Z의 범위를 넘지 않는 표준 오차 범위 이내로 정상적인 흐름으로 판단하여 알람을 발생시키지 않는 것이다.
도 5의 본 발명의 실시예에 따른 인구 밀집 공간에서의 확인 필요 장소 알람이 발생되는 환경을 도시한 도면을 참고하면, 도 4와 동일한 조건의 환경에서 검지된 A, B, C, D, E, F의 피사체는 각 피사체의 방향과 속도가 설정된 값의 이상 또는 이하의 경우로 확인 필요 공간으로 인식되어 알람을 발생시키게 된다.
예를 들어, A 피사체의 경우 처음 검지된 A1은 기준점에서 X측 방향으로 움직이다가 A2 공간에서 설정한 시간 이상 움직임 없는 상태이며, B 피사체의 경우 처음 검지된 B1은 기준점에서 X측 방향으로 움직이다가 B2 공간에서 설정한 시간 이상 움직임 없는 상태이며, C 피사체의 경우 처음 검지된 C1은 절대값이 높은 X측 방향에서 기준점으로 움직이다가 C3 공간에서 설정한 시간 이상 움직임 없는 상태로, 이렇게 동일한 장소에서 3명 이상의 피사체가 설정한 시간 동안 움직임이 없는 경우 동일한 장소는 사건 사고 등으로 피사체들이 에워싸고 있는 환경으로 인식하여 확인 필요 공간(210)으로 알람을 발생시키게 하는 것이다.
또한, D 피사체의 경우 처음 검지된 D1은 기준점에서 X측 방향으로 움직이다가 고정된 배경 중 사람들이 다닐 수 없는 자동차 도로 Z 에서 D3가 검지되는 경우인데, 이때 특정 공간은 확인 필요 공간(220)으로 알람을 발생시키는 것이다.
그리고, E 피사체의 경우 처음 검지된 E1은 절대값이 높은 X측 방향에서 기준점으로 움직일 때 특정한 장소를 평소 보다 빠른 속도로 지나갔거나 우회하여 움직인 것으로 검지되고 있으며, F 피사체의 경우에는 처음 검지된 F1은 절대값이 높은 X측 방향에서 기준점으로 움직이다가 특정한 장소 앞에서 다시 방향을 되돌리는 상태가 검지되고 있으며, 앞선 예시로 설명한 D 피사체의 경우에도 특정한 장소 앞에서 고정된 배경인 Z 즉, 확인 필요 공간(220)으로 방향 이동을 한 것이 검지되고 있는데, 이렇게 동일한 장소를 3명 이상의 피사체가 정상적인 흐름과 다르게 우회하거나 방향을 전환하여 움직이는 경우 특정한 장소는 사건 사고 등으로 피사체들이 대피하고 있는 환경으로 인식하여 확인 필요 공간(230)으로 알람을 발생시키게 되는 것이다.
또한, 관제서버(140)에서 배경 이미지로, 자동차 전용 도로, 공사 구간, 또는 낙석 위험 구간 중 어느 하나 이상의 공간을 위험한 공간으로 설정할 수 있도록 하고, 행동분석처리부(136)는 움직이는 객체가 위험한 공간으로 이동하거나, 위험한 공간에서 일정 시간 머물고 있을 경우 즉시 관제서버(140)에 알람을 발생시키고 상기 위험한 공간의 인근 객체추적카메라(112)에 상기 위험한 공간의 X,Y좌표를 전송하여 확대영상을 촬영하도록 제어하고 확대된 영상이 관제서버(140)에 표시되도록 제어할 수 있다.
상술한 바와 같이, 본 발명의 영상을 이용한 집단 행동 분석 방법에 의하면, CCTV 영상을 이용하여 사람 밀집 지역 등의 장소에서 일어나는 사건이나 사고를 실시간 정확하게 파악할 수 있기 때문에 신속한 대처가 가능하며, 특히 이 모든 기능이 영상과 알람으로 자동 운영되기 때문에 효율적인 관리가 가능해져 소중한 인명과 재산을 보호할 수 있는 것이다.
이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.
110 : 영상검지부 111 : 객체검지카메라
112 : 객체추적카메라 120 : 네트워크
130 : 이미지분석모듈 131 : 피사체 생성부
132 : 이미지분리부 133 : 배경이미지매칭부
133a : 배경이미지저장부 134 : 방향분석부
135 : 이동속도분석부 136 : 행동분석처리부
137 : 알람발생부 138 : 명령입력부
140 : 관제서버

Claims (5)

  1. 삭제
  2. 삭제
  3. 영상을 촬영하는 객체검지카메라와 추적기능의 객체추적카메라로 구성된 영상검지부의 출력 영상을 활용하여 집단행동을 분석하는 이미지분석모듈을 이용한 집단행동 분석 방법에 있어서,
    (a)상기 이미지분석모듈의 피사체 생성부에서 상기 객체검지카메라에서 실시간 영상을 전송받아 일정 시간 패턴 학습을 통하거나 운영자가 관제서버를 통하여 촬영된 이미지에 직접 지정한 좌표값과 비교하여 움직임이 없는 고정된 배경을 배경이미지데이터로 배경이미지저장부에 저장하고, 상기 고정된 배경 이미지데이터와 상기 객체검지카메라로부터 수신된 영상을 1/30초 단위로 분석하여 2/30초 영상의 계속적으로 생성되는 움직이는 객체 데이터와 매칭하여 변화가 검지되면 분석 대상 객체로 판단하고 이를 방향분석부로 전송하는 단계;
    (b)상기 (a)단계에서 계속적인 움직임이 있는 분석대상 객체에 상기 이미지분석모듈의 방향분석부에서 개별로 색상과 번호를 부여하고, 이 개별 객체의 움직임을 저장된 배경이미지데이터에 기반하여 X, Y 좌표로 방향을 분석하며, 학습된 패턴의 방향과 다른 움직임이 감지되면 이미지분석모듈의 행동분석처리부로 해당 정보를 전달하고, 이미지분석모듈의 이동속도계산부에서는 색상과 번호를 부여받은 개별 객체의 이동 속도를 계산하는 단계;
    (c)상기 이미지분석모듈의 행동분석처리부는 상기 (b)단계에서 분석된 방향과 속도로 정상적인 환경에서의 값과 매칭하여 특정한 장소를 기피하는 경우가 설정 횟수보다 많은 객체의 값일 경우와 특정한 장소에서 설정한 시간 동안 움직임이 없는 객체의 수가 설정한 값보다 이상일 경우 사건 또는 사고가 발생되어 집단으로 피하거나 에워싸고 있는 경우를 확인필요 공간으로 판단하는 단계;
    (d)상기 확인필요 공간에 대한 영상 데이터와 그 특정한 장소의 X, Y 좌표 값을 이미지분석모듈의 알람발생부로 전송하는 단계;
    (e)상기 알람발생부는 상기 (d)단계에서 수신한 영상데이터와 X,Y좌표를 수신하여 해당 영상을 관제서버에 팝업(POP-UP)시키고, 상기 확인필요공간의 인근 객체추적카메라에 수신한 X,Y좌표를 전송하여 확대영상을 촬영하도록 제어하고 확대된 영상을 수신하여 관제서버에 표시하고 경고신호를 발송하는 단계;및
    (f)상기 확대된 영상을 관제서버에 표시하는 단계;
    를 포함하는 영상을 활용한 집단행동 분석 방법.
  4. 청구항 3에 있어서,
    상기 (c)단계는
    상기 이미지분석모듈에서 확인 필요 공간을 미리 설정하여 집중적으로 감시할 수 있게 하거나, 미리 승인된 공사와 같이 특정 공간을 분석하지 않게 설정하는 단계를 포함하는 영상을 활용한 집단행동 분석 방법.
  5. 청구항 3에 있어서,
    상기 (c)단계는
    상기 이미지 분석 모듈에서 특정한 공간의 좌우측에 움직임이 있는 객체가 존재하나 미리 설정한 시간 동안 이 특정한 공간을 통과하는 경우가 없을 때, 확인 필요 공간으로 인식하는 단계를 포함하는 영상을 활용한 집단행동 분석 방법.





KR1020160028935A 2016-03-10 2016-03-10 영상을 이용한 집단 행동 분석 방법 KR101695127B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160028935A KR101695127B1 (ko) 2016-03-10 2016-03-10 영상을 이용한 집단 행동 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160028935A KR101695127B1 (ko) 2016-03-10 2016-03-10 영상을 이용한 집단 행동 분석 방법

Publications (1)

Publication Number Publication Date
KR101695127B1 true KR101695127B1 (ko) 2017-01-10

Family

ID=57811769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160028935A KR101695127B1 (ko) 2016-03-10 2016-03-10 영상을 이용한 집단 행동 분석 방법

Country Status (1)

Country Link
KR (1) KR101695127B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659624A (zh) * 2019-09-29 2020-01-07 上海依图网络科技有限公司 一种群体人员行为识别方法、装置和计算机存储介质
WO2022114731A1 (ko) * 2020-11-27 2022-06-02 가천대학교 산학협력단 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
KR20220095912A (ko) * 2020-12-30 2022-07-07 인플랩 주식회사 밀집 환경에서 유동인구의 호흡기 감염증 실시간 위험도 측정 시스템
KR20240073640A (ko) 2022-11-18 2024-05-27 황덕현 밀집으로 인한 인명사고를 방지하기 위한 영상정보 처리 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100767065B1 (ko) 2007-03-26 2007-10-17 (주)홈시큐넷 원격 보호관찰 시스템 및 방법
KR20140076815A (ko) * 2012-12-13 2014-06-23 한국전자통신연구원 픽셀 기반 비정상 움직임 검출 방법 및 장치
KR101485022B1 (ko) * 2014-10-20 2015-01-21 에코아이넷 주식회사 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR20150051630A (ko) * 2013-11-05 2015-05-13 한국과학기술연구원 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
KR20150112096A (ko) * 2014-03-26 2015-10-07 인하대학교 산학협력단 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100767065B1 (ko) 2007-03-26 2007-10-17 (주)홈시큐넷 원격 보호관찰 시스템 및 방법
KR20140076815A (ko) * 2012-12-13 2014-06-23 한국전자통신연구원 픽셀 기반 비정상 움직임 검출 방법 및 장치
KR20150051630A (ko) * 2013-11-05 2015-05-13 한국과학기술연구원 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
KR20150112096A (ko) * 2014-03-26 2015-10-07 인하대학교 산학협력단 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법
KR101485022B1 (ko) * 2014-10-20 2015-01-21 에코아이넷 주식회사 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659624A (zh) * 2019-09-29 2020-01-07 上海依图网络科技有限公司 一种群体人员行为识别方法、装置和计算机存储介质
WO2022114731A1 (ko) * 2020-11-27 2022-06-02 가천대학교 산학협력단 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
KR20220095912A (ko) * 2020-12-30 2022-07-07 인플랩 주식회사 밀집 환경에서 유동인구의 호흡기 감염증 실시간 위험도 측정 시스템
KR102642252B1 (ko) * 2020-12-30 2024-02-29 인플랩 주식회사 밀집 환경에서 유동인구의 호흡기 감염증 실시간 위험도 측정 시스템
KR20240073640A (ko) 2022-11-18 2024-05-27 황덕현 밀집으로 인한 인명사고를 방지하기 위한 영상정보 처리 장치

Similar Documents

Publication Publication Date Title
KR101544019B1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
EP2058777A1 (en) Suspicious behavior detection system and method
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR100849689B1 (ko) 영상자동팝업기능이 구비된 감시통제시스템 및 그 제어방법
JP2006523043A (ja) 監視を行なう方法及びシステム
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
KR102300640B1 (ko) 재실자 인원 실시간 모니터링을 위한 cctv 영상정보 분석 시스템 및 그 방법
JP2008077517A (ja) カメラ妨害検知方式
KR101741107B1 (ko) Cctv를 이용한 화재 감시 방법 및 장치
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR101014842B1 (ko) Rfid 리더를 사용하는 보안용 영상 감시 시스템 및방법
KR102113527B1 (ko) 열화상 ip cctv 시스템 및 이를 통한 화재 감지 방법
JP7314973B2 (ja) 映像監視装置、映像監視方法及びプログラム
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
KR20160048428A (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
KR20180072466A (ko) 영상 감시 영역 설정 시스템 및 방법
JP2001094968A (ja) 映像処理装置
KR102557769B1 (ko) 디지털 트윈 가상 모델을 활용한 cctv 기반 사고 지점의 공간 좌표 인식 기술 시스템
KR100982342B1 (ko) 지능형 방범 시스템 및 그 구동방법
KR20140057225A (ko) 열상과 다중센서를 이용한 cctv영상개선과 감시시스템활용 방법
KR20160043484A (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치

Legal Events

Date Code Title Description
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 4