KR101651410B1 - 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법 - Google Patents

다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법 Download PDF

Info

Publication number
KR101651410B1
KR101651410B1 KR1020140156076A KR20140156076A KR101651410B1 KR 101651410 B1 KR101651410 B1 KR 101651410B1 KR 1020140156076 A KR1020140156076 A KR 1020140156076A KR 20140156076 A KR20140156076 A KR 20140156076A KR 101651410 B1 KR101651410 B1 KR 101651410B1
Authority
KR
South Korea
Prior art keywords
violent
action
term
motion
behavior
Prior art date
Application number
KR1020140156076A
Other languages
English (en)
Other versions
KR20160057503A (ko
Inventor
박성기
김동환
송동희
김찬수
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140156076A priority Critical patent/KR101651410B1/ko
Publication of KR20160057503A publication Critical patent/KR20160057503A/ko
Application granted granted Critical
Publication of KR101651410B1 publication Critical patent/KR101651410B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명에 따르면, 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출시스템에 있어서, 카메라로부터 촬영된 영상이미지를 획득하는 영상획득부(110); 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적부(120); 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석부(130); 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단부(140); 및 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성부(150);를 포함하는 폭력 검출시스템을 개시한다.

Description

다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법{Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition}
본 발명은 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 관한 것으로, 보다 상세하게는 카메라로부터 촬영된 영상이미지를 영상분석하여 감시 객체인 사람의 폭력행위 여부를 명확하게 검출하여 사용자에게 알람하기 위한 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 관한 것이다.
감시카메라는 주택가, 검물 내외부, 도로 및 공공시설 등에 다수가 설치되어 있고 최근에도 그 설치수량이 계속 증가하고 있다. 상기 감시카메라는 주로 안전보안상황 및 불법행위를 모니터링하기 위하여 존재한다.
그러나, 모니터링 인원의 수적한계 및 감시 시간이 증가함에 반비례하여 인지능력이 저하되는 문제점이 있었다. 이를 극복하기 위해 영상분석을 통한 상황 및 행동 인식방법이 적용된 시스템들이 개발되고 있다.
하지만, 종래의 방법들 중에 행동의 시차적 차이까지 고려한 방법은 존재하지 않는다. 즉, 모든 행동이 같은 시차 정보를 이용하여 인식되는 방식이다. 그러나, 행동에는 다양한 시차가 존재한다. 예를 들어 짧은 시간의 폭력은 주먹질의 행동이며 보다 긴 시간의 폭력은 다양한 행동이 조합된 행위이다. 이와 같은 행동의 시차적 차이를 고려하지 않은 감시시스템은 인식 성능이 감소될 수 밖에 없는 문제점이 있었다.
등록특허공보 제10-1394270호(2014.05.07), 영상 감지 시스템 및 방법
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출에 대한 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 지정된 사물 및 영역에 대한 감시시스템 및 감시방법을 제공하는 것에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 지정된 사물 및 영역에 대한 감시시스템은, 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출시스템에 있어서, 카메라로부터 촬영된 영상이미지를 획득하는 영상획득부(110); 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적부(120); 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석부(130); 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단부(140); 및 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성부(150);를 포함한다.
여기서, 상기 사람추적부(120)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와, 상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적부(122) 및, 상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)를 포함할 수 있다.
또한, 상기 다중기간 움직임 분석부(130)는, 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며, 상기 다층폭력행위 판단부(140)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함할 수 있다.
또한, 상기 폭력행위융합 판단부(144)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.
[수학식 1]
Figure 112014108411835-pat00001

[수학식 2]
Figure 112014108411835-pat00002

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 지정된 사물 및 영역에 대한 감시방법은, 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출방법에 있어서, 카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210); 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적 단계(S220); 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230); 상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240); 및 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250);를 포함한다.
여기서, 상기 사람추적 단계(S220)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와, 상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적 단계(S222) 및, 상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 포함할 수 있다.
또한, 상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며, 상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함할 수 있다.
또한, 상기 폭력행위융합 판단 단계(S244)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.
[수학식 1]
Figure 112014108411835-pat00003

[수학식 2]
Figure 112014108411835-pat00004
본 발명에 따른 지정된 사물 및 영역에 대한 감시시스템 및 감시방법에 의하면, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출의 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 지정된 사물 및 영역에 대한 감시시스템의 기능적 구성을 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 영상획득부의 기능적 구성 및 동작원리를 나타낸 블록도 및 플로우챠트,
도 3은 본 발명의 바람직한 실시예에 따른 다중기간 움직임 분석부의 데이터가 각 행위판단부로 전송되는 동작원리를 나타낸 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부의 동작원리를 나타낸 플로우챠트,
도 5는 본 발명의 바람직한 실시예에 따른 폭력행위융합 판단부의 동작원리를 설명하기 위한 개략도,
도 6은 본 발명의 바람직한 실시예에 따른 개인 및 그룹의 양적/질적 단위 상태를 나타낸 표,
도 7은 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 FMTL기반의 심볼릭 모델을 생성하는 구성을 설명하기 위한 개략도,
도 8은 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 SGT모델 기반의 심볼록 상태 천이를 통한 행태를 인식하는 구성을 설명하기 위한 개략도,
도 9는 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 그룹 행태인식을 위해 SGT모델링하는 구성을 설명하기 위한 개력도,
도 10은 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출방법의 순서를 나타낸 순서도이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
먼저, 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템의 구성 및 기능을 설명하기로 한다.
본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템은, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위의 검출 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 폭력 검출시스템으로서, 도 1에 도시된 바와 같이 영상획득부(110), 사람추적부(120), 다중기간 움직임 분석부(130), 다층폭력행위 판단부(140) 및 알람생성부(150)를 포함하여 구비된다.
상기 영상획득부(110)는, 영상분석에 필요한 영상이미지를 획득하는 구성으로서, 본 발명의 바람직한 실시예에 따른 폭력 검출시스템이 설치된 감시장소에 배치된 카메라(미도시)로부터 촬영된 영상을 수신하여 영상분석을 위한 기초데이터인 영상이미지를 획득한다. 여기서, 촬영된 영상이미지는 시스템에 구비되는 별도의 메모리 또는 데이터베이스에 저장되며 시계열 기준에 따라 구분되어 저장될 수 있다.
상기 사람추적부(120)는, 획득된 영상이미지 내에서 영상처리 기술을 기반으로 사람을 객체로 하여 검출 및 추적하는 구성으로서, 도 2에 도시된 바와 같이 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와, 상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적부(122) 및, 상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)를 포함하여 구비된다.
도 2를 참고하여 보다 구체적으로 설명하면, 상기 객체검출부(121)는 먼저 잡음의 영향을 감소시키기 위하여 가우시안 필터를 이용하여 영상을 블러링(Smooth)하고, 다중 가우시안 모델을 이용하여 픽셀단위로 배경을 생성하고 Backbround Subtraction을 이용하여 가우시안 모델을 갱신하며, 배경 초기화 완료여부를 확인하고 N 프레임 동안의 입력을 배경 안정화에 이용한다.
이어서, (t-1)의 전경 픽셀수와 (t)의 전경 픽셀수의 비율을 추출하고, 전경변화 비율과 Threshold를 비교하여 전경의 갑작스러운 변화를 제외할 수 있도록 필터링한다.
또한, 전경에서 Sort 잡음을 제거하기 위하여 모폴로지(Morphology) 연산을 수행하고 남은 전경을 크기 기반으로 제거 후에 레이블링(Labeling)을 통하여 픽셀기반에서 영역기반으로 전경을 변환한다.
그리고, 피어슨 비대칭 계수를 이용하여 가로와 세로의 전경이 비대칭인 경우를 그림자로 정의하고 그 영역을 제거한 후에 전경의 영역 정보를 보완하며 동일한 영역을 포함하는 전경영역은 하나의 영역으로 간주한다.
이어서, (t-1)의 Blob과 (t)의 Blob간의 위치와 겹침 영역을 비교하여 연속적인 객체 간에는 정보(아이디)를 상속하고, 사용자에 의해 정의된 크기, 가로 세로 비율 등의 객체 조건을 기반으로 Blob을 필터링하며, 객체라고 정의할 수 있는 Blob을 객체로 진급시키고 진급된 객체는 추적을 위한 후보군으로 등록하여 관리한다.
한편, 도 2를 참고하면 상기 객체추적부(122)는, 현재 추적중인 대상이 있는지 여부를 확인하고, 추적 대상의 특징을 추출하기 위하여 입력영상을 색 도메인으로 변환시키며, 파티클 필터를 기반으로 추적 대상의 다음 위치를 추정한다.
이어서, 상기 파티클 필터에 의해 예측된 추적 대상의 다음 위치와 객체검출부(121)에 의해 검지된 후보 객체 간에 위치 중첩정도를 점검하고, 추적객체의 다음 예상 위치와 동일한 후보 객체가 있으면 두 객체는 동일한 것으로 판단한다.
또한, 추적 중인 객체의 정보(Feature 특징, 위치 정보 등)를 갱신하고, 불필요한 추적객체를 제거한다. 이때 지속적으로 이동하는 객체는 그 내부에 전경이 지속적으로 존재하여야 하며 이를 이용하여 이동하는 객체 중에서 전경을 포함하지 않는 추적 객체를 제거한다.
그리고, 후보 객체를 추적 대상으로 등록하고 추적중인 객체의 궤적 정보를 생성 및 갱신하며, 추적중인 객체들간에 위치의 인접성을 판단하여 가가운 거리에 있는 객체들은 동일한 그룹으로 분류하고 전경 영역 정보를 이용하여 그룹의 영역정보를 보완한다.
도 2를 참고하면 상기 움직임추출부(123)는, 먼저 추적 객체가 있는지 여부를 확인하고 추적 객체가 존재하면 객체의 움직임 분석을 위한 기초정보로써 광류를 통하여 픽셀단위의 움직임 크기 및 방향을 추출한다.
또한, 개별 추적 객체 영역에 해당하는 광류를 이용하여 이동속도, 움직임 크기, 움직임 방향 등의 객체 움직임 정보를 추출하며, 그룹 단위로 해당 영역에 있는 광류를 이용하여 이동속도, 움직임 크기, 움직임 방향 등의 그룹 움직임 정보를 추출한다.
상기 다중기간 움직임 분석부(130)는, 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 구성으로서, 도 3에 도시된 바와 같이 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성한다.
도 6을 참고하여 보다 구체적으로 설명하면, 양적데이터를 Tracker로부터 추출하며, 그 추출된 데이터를 단기간, 중기간, 장기간 별로 (예를 들어 0.2초, 1초, 2초간) 데이터를 누적시켜 평균값을 각각 구한다.
또한, 각각 구한 평균값을 동일한 모델을 가진 FMTL과 SGT를 통해 현재 행위 및 상황을 인지하고, 추적적으로 단기간, 중기간, 장기간의 시간텀은 계속 고정형으로 쓸 수도 있으며, 혹은 랜덤방식을 이용하여 단기간, 중기간, 장기간 마다의 Min-Max 구간 내에서 랜덤으로 시간텀을 선택하여 이용할 수도 있다.
상기 다층폭력행위 판단부(140)는, 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 구성으로서, 도 1, 도 3 및 도 4에 도시된 바와 같이 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함하여 구비된다.
여기서, 도 4에는 SGT의 기본 흐름도가, 도 9에는 그룹행위(폭력)을 인지하기 위한 SGT모델이 개시되어 있다.
보다 구체적으로 설명하면, 상기 SGT는 객체(그룹, 사람)의 현재 단위상태와 이전시간의 노드(상황 및 행위, 예: 도 9의 움직임, 정지, 폭력 등 각 노드=상황/행위)를 이용해서 현재시간의 상황을 판단한다.
또한, 도 4의 현재노드확인(이전타임에 인지한 결과)을 확인하고 처음 검출된 객체인 경우는 Root Node로부터 시작하며, 상황(=이벤트)은 구체화, 예측의 두 가지 방법으로 그 객체의 노드가 천이/이동될 수 있다.
더불어, 기본적으로 예측을 먼저 확인하고(Root Node 외), 예측이 가능하면 천이한 뒤에 천이한 노드에서 구체화가 가능한지 확인하고 이 후에 구체화가 더 이상 불가능할 때까지 구체화를 확인하며 종료하고 마지막 노드를 인식결과로 출력한다.
구체화는 도 9의 아래로 내려가는 검은색 화살표를 나타내며, 예측은 가로축으로 이동되는 빨간색 화살표를 나타낸다. 예를 들어 타임 t에 객체가 Tracker → FTML을 통해 단위상태 속도가 없음을 가지고 있고 이전 t-1에는 움직임 상황이었다면, 이 객체는 예측 가능한 노드 정지 노드의 단위상태를 자신의 단위상태와 비교하여 동일한지 판단하여 같으면 그 노드(정지)로 천이하게 된다.
그 후에 구체화 즉, 정지에서 구체화 가능한 노드, 심한움직임노드로 천이가 가능한지/그 노드의 단위상태가 동일한지 판단하고 불일치한다면 상황 인지를 종료하며 같은 경우에는 노드를 이동하고 그 이동된 노드에서 구체화 가능한 노드를 찾아서 비교를 한다. 그리고 예측이 불가능할 때, 현재 노드가 End-Sit.(Situation)인지 확인하고 맞다면 상위 노드로 천이하며, 상위 노드로 이동후에는 예측/구체화를 다시 반복하여 구체화가 불가능한 노드로 천이하게 된다.
도 5는 단/중/장기간 인지결과가 융합되고 현재 융합인지된 결과는 이전 타임에 융합인지된 결과에도 영향을 받는다는 것을 그래픽적으로 나타낸 것이며, 즉 수학식 1을 그래픽 모델로 표현한 것이다.
상기 다층폭력행위 판단부(140)는, 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 구성으로서, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.
[수학식 1]
Figure 112014108411835-pat00005
여기서, 상기 et는 현재 프레임(t타임)의 다중시차 인지결과를 융합한 최종 폭력 인지 결과(현재 화면의 폭력 상황인지 나타내는 확률, 양적 데이터, 0.0~1.0), et-1은 이전 프레임의 인지 결과, Nlayers는 다중 인지층 개수 즉, 3., Player,t는 수학식 2의 결과 즉, 현재 노드가 대상(폭력) 노드와 얼마나 가까운지 나타내는 거리(0.0~1.0). Pshort,t는 단기간 인지층 결과, Pmid,t은 중기간 인지층 결과, Plong,t는 장기간 인지층 결과를 각각 의미한다.
[수학식 2]
Figure 112014108411835-pat00006
[수학식 2]는 각 층마다 인지된 결과(질적 데이터)를 노드간 거리를 이용하여 확률적 데이터로 변경하는 식으로서, distlayer,current는 각 층(layer)마다 인지된 결과/노드와 대상 노드(폭력:1vs1,1vs다수,다수vs다수)간의 거리를 나타내고 distmax는 대상 노드와 가장 멀리 떨어진 노드(도9의 예로는 납치 노드)의 거리를 의미한다.
즉 여기서는 distmax는 4이며, distlayer,current는 인지 노드마다 다른 값 예를들어, 현재노드가 심한움직일 경우는 1이고 1vs1일 경우 0이다. distmax는 layer와 관계없이(단/중/장기간 인지층) 동일한 SGT모델을 이용하기 때문에 같은 값을 가져서 동일한 값이기 때문에 layer별로 다른 값을 가지지 않는다.
또한, 도 9는 본 발명의 바람직한 실시예에 따른 폭력 검출시스템에서 폭력을 인지하기위한 SGT 모델이며, 이는 알고리즘 흐름의 이벤트 예측/구체화를 통한 천이와 각 노드로 이동하기 위해 만족해야할 단위 상태 등을 나타낸다.
도 6은 실제 본 발명의 바람직한 실시예에 따른 폭력 검출시스템에서 이용하는 객체에대한 양적/질적 데이터를 나타낸 것이다.
상기 알람생성부(150)는, 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 구성으로서, 폭력행위가 판단되면 기지정된 방식을 통해 알람동작함으로써 사용자가 즉각적으로 인지할 수 있도록 한다.
여기서, 단계적 알람은 예를 들어 현재 et의 결과를 이용하여 1.0인 경우, 100% 확실한 폭력이 발생했다고 알려주고, 0.5인 경우, 경고를 띄워 모니터 요원의 확인이 필요한 정도의 알람을 발생시키는 것을 의미한다. 이는 확실히 정해진 방법은 없으며, et의 결과를 사용자가 설정을 통해서 단계적 알람을 발생시킬 수 있다.
다음으로, 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출방법을 설명하기로 한다.
본 발명의 바람직한 실시예에 따른 폭력 검출방법은, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출으 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 폭력 검출방법으로서, 도 10에 도시된 바와 같이 카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210)와, 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적 단계(S220)와, 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230)와, 상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240) 및, 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250)를 포함하여 이루어진다.
여기서, 상기 사람추적 단계(S220)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와, 상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적 단계(S222) 및, 상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 포함하여 이루어질 수 있다.
또한, 상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성한다.
더불어, 상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함하여 이루어질 수 있다.
그리고, 상기 폭력행위융합 판단 단계(S244)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출한다.
[수학식 1]
Figure 112014108411835-pat00007

[수학식 2]
Figure 112014108411835-pat00008

상술한 바와 같은 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 의하면, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출의 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
110...영상획득부 120...사람추적부
121...객체검출부 122...객체추적부
123...움직임추출부 130...다중기간 움직임 분석부
140...다층폭력행위 판단부 141...단기간행위 판단부
142...중기간행위 판단부 143...장기간행위 판단부
144...폭력행위융합 판단부 150...알람생성부

Claims (8)

  1. 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출시스템에 있어서,
    카메라로부터 촬영된 영상이미지를 획득하는 영상획득부(110);
    획득된 영상이미지 내에서 사람을 객체로 하여 검출 및 추적하며, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와, 상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추적하는 객체추적부(122) 및 상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)로 구성된 사람추적부(120);
    단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석부(130);
    상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단부(140); 및
    상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성부(150);를 포함하는 폭력 검출시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 다중기간 움직임 분석부(130)는, 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며,
    상기 다층폭력행위 판단부(140)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함하는 것을 특징으로 하는 폭력 검출시스템.
  4. 제 3항에 있어서,
    상기 폭력행위융합 판단부(144)는,
    하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT(Situation Graph Tree)모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출하는 것을 특징으로 하는 폭력 검출시스템.
    [수학식 1]
    Figure 112016046263877-pat00009

    여기서, et는 현재 프레임(t타임)의 다중시차 인지결과를 융합한 최종 폭력 인지 결과(현재 화면의 폭력 상황인지 나타내는 확률)이며,
    et-1은 이전 프레임의 인지 결과이고,
    Nlayer는 다중 인지층 개수이며,
    Player,t는 현재 노드가 대상(폭력) 노드와 가까운지 나타내는 거리임
    [수학식 2]
    Figure 112016046263877-pat00010

    여기서, Player,t는 현재 노드가 대상(폭력) 노드와 가까운지 나타내는 거리이고,
    distlayer,current는 각 층(layer)마다 인지된 결과/노드와 대상 노드(폭력:1vs1,1vs다수,다수vs다수)간의 거리이며,
    distmax는 대상 노드와 가장 멀리 떨어진 노드(도 9의 예로는 납치 노드)의 거리임
  5. 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출방법에 있어서,
    카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210);
    획득된 영상이미지 내에서 사람을 객체로 하여 검출 및 추적하는 사람추적 단계(S220);
    단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230);
    상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240); 및
    상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250);를 포함하며,
    상기 사람추적 단계(S220)는,
    상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와,
    상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추적하는 객체추적 단계(S222) 및,
    상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 더 포함하는 폭력 검출방법.
  6. 삭제
  7. 제 5항에 있어서,
    상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며,
    상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함하는 것을 특징으로 하는 폭력 검출방법.
  8. 제 7항에 있어서,
    상기 폭력행위융합 판단 단계(S244)는,
    하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT(Situation Graph Tree)모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출하는 것을 특징으로 하는 폭력 검출방법.
    [수학식 1]
    Figure 112016046263877-pat00011

    여기서, et는 현재 프레임(t타임)의 다중시차 인지결과를 융합한 최종 폭력 인지 결과(현재 화면의 폭력 상황인지 나타내는 확률)이며,
    et-1은 이전 프레임의 인지 결과이고,
    Nlayer는 다중 인지층 개수이며,
    Player,t는 현재 노드가 대상(폭력) 노드와 가까운지 나타내는 거리임
    [수학식 2]
    Figure 112016046263877-pat00012

    여기서, Player,t는 현재 노드가 대상(폭력) 노드와 가까운지 나타내는 거리이고,
    distlayer,current는 각 층(layer)마다 인지된 결과/노드와 대상 노드(폭력:1vs1,1vs다수,다수vs다수)간의 거리이며,
    distmax는 대상 노드와 가장 멀리 떨어진 노드(도 9의 예로는 납치 노드)의 거리임
KR1020140156076A 2014-11-11 2014-11-11 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법 KR101651410B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140156076A KR101651410B1 (ko) 2014-11-11 2014-11-11 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140156076A KR101651410B1 (ko) 2014-11-11 2014-11-11 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법

Publications (2)

Publication Number Publication Date
KR20160057503A KR20160057503A (ko) 2016-05-24
KR101651410B1 true KR101651410B1 (ko) 2016-08-29

Family

ID=56113681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140156076A KR101651410B1 (ko) 2014-11-11 2014-11-11 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법

Country Status (1)

Country Link
KR (1) KR101651410B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057834A (ko) 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
KR102428017B1 (ko) * 2021-08-18 2022-08-02 (주)성삼 살균부스

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182660B1 (ko) * 2019-11-28 2020-11-25 세종대학교산학협력단 시공간 특징을 이용한 폭력 감지 시스템, 방법 및 상기 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
CN114821808B (zh) * 2022-05-18 2023-05-26 湖北大学 一种攻击行为预警方法及系统
KR102510116B1 (ko) * 2023-01-04 2023-03-14 퀀텀테크엔시큐 주식회사 영상 내 범죄 행위 인식 및 위험 객체의 이동 경로를 추적하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215927A (ja) * 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd 行動認識システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394270B1 (ko) 2012-11-14 2014-05-13 한국과학기술연구원 영상 감지 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215927A (ja) * 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd 行動認識システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shapovalova, Nataliya, et al. "Semantics of human behavior in image sequences." Computer Analysis of Human Behavior. Springer London, 2011. 151-182.*
Siebel, Nils T., and S. Maybank. "The advisor visual surveillance system." ECCV 2004 workshop applications of computer vision (ACV). Vol. 1. 2004.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200057834A (ko) 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
KR102428017B1 (ko) * 2021-08-18 2022-08-02 (주)성삼 살균부스

Also Published As

Publication number Publication date
KR20160057503A (ko) 2016-05-24

Similar Documents

Publication Publication Date Title
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
KR101651410B1 (ko) 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법
Ko A survey on behavior analysis in video surveillance for homeland security applications
Liu et al. A fall detection system using k-nearest neighbor classifier
US10007850B2 (en) System and method for event monitoring and detection
CN111860318A (zh) 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN106203274A (zh) 一种视频监控中行人实时检测系统及方法
JP2016072964A (ja) 被写体再識別のためのシステム及び方法
Choi et al. Robust multi‐person tracking for real‐time intelligent video surveillance
KR20140033262A (ko) 실내 감시 시스템 및 실내 감시 방법
US9977970B2 (en) Method and system for detecting the occurrence of an interaction event via trajectory-based analysis
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
Ko A survey on behaviour analysis in video surveillance applications
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
KR102332229B1 (ko) 딥러닝 기반 보행자 영상 데이터 증강방법
JP5679760B2 (ja) 侵入物体検出装置
Andersson et al. Activity recognition and localization on a truck parking lot
Elarbi-Boudihir et al. Intelligent video surveillance system architecture for abnormal activity detection
Kanthaseelan et al. CCTV intelligent surveillance on intruder detection
Lee et al. Multiple object tracking for fall detection in real-time surveillance system
Yang et al. Surveillance system using abandoned object detection
WO2012074366A2 (en) A system and a method for detecting a loitering event
Padmaja et al. Crowd abnormal behaviour detection using convolutional neural network and bidirectional LSTM
Prezioso et al. Integrating Object Detection and Advanced Analytics for Smart City Crowd Management
Hagui et al. Coupled Hidden Markov Model for video fall detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant