KR20220084755A

KR20220084755A - 경량화된 딥러닝 기반 싸움상황 감지 방법 및 이를 이용한 감지 시스템

Info

Publication number: KR20220084755A
Application number: KR1020200174559A
Authority: KR
Inventors: 장우진
Original assignee: 주식회사 에스원
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2022-06-21
Also published as: KR102500853B1

Abstract

본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법은 학교 또는 군부대에 설치된 카메라가 촬영된 영상 정보를 관리 서버로 전송하는 단계와, 관리 서버가 수신된 영상에서 딥러닝 학습을 통하여 사람객체를 검출하는 단계와, 복수의 사람이 검출된 경우, 관리 서버가 임의의 2사람을 선택하고 선택된 2사람의 아래쪽 영역의 근접 여부를 판단하는 단계와, 근접한 경우, 관리 서버가 시간에 따른 변화를 확인하기 위하여 기존에 검출되었던 싸움 후보와 동일한 싸움 후보로 판단하고, 새로운 영역에서 근접한 경우 새로운 싸움 후보로 판단하는 단계와, 관리 서버가 판단된 싸움 후보 영역에서 두 프레임 사이의 차 영상을 저장하고 시간에 따라 차 영상을 누적하는 단계와, 관리 서버가 누적된 차 영상을 인공지능 신경망인 시계열 네트워크에 입력하여 저장하고 딥러닝 학습을 하는 단계와, 관리 서버가 누적된 싸움판단 비율이 기 설정된 비율(ratio_threshold) 이상인 경우 싸움 상황으로 최종 판단하고 알람을 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

경량화된 딥러닝 기반 싸움상황 감지 방법 및 이를 이용한 감지 시스템{Fight Situation Monitering Method Based on Lighted Deep Learning and System thereof}

본 발명은 영상 데이터를 활용하여 싸움 상황을 모니터링하기 위한 것이다. 이러한 싸움 상황 감지는 학교 폭력을 모니터링하여 확대되는 것을 방지할 수 있는 것으로 정확한 영상 정보를 이용한 싸움 상황 감지는 학교뿐만 아니라 다수가 모이는 장소에서도 이용될 수 있는 것이다.

본 발명과 관련된 종래 기술은 대한민국 등록특허 제10-2149832호(2020. 08. 31. 공고에 게시되어 있는 것이다. 도 1은 상기 종래의 딥러닝 기반의 자동폭력 감지 시스템 구성도이다. 상기도 1에서 종래의 딥러닝 기반의 자동폭력 감지 시스템은 관제대상을 녹화한 관제영상을 저장하는 영상녹화부(11), 상기 관제영상의 프레임 간 차이를 표현하는 옵티컬 플로우(Optical Flow)를 추출하는 영상분석부(12), 상기 추출된 옵티컬 플로우를 딥러닝 네트워크로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 이미지분류부(13), 상기 관제영상에서 폭력행위와 연관될 수 있는 물체 또는 이상행동을 인식하여 폭력이미지를 검출하는 이미지인식부(14), 상기 폭력의심 영역과 상기 폭력이미지를 종합하여 폭력상황과 정상 상황을 판단하는 영상판단부(15), 및 상기 영상판단부에 의해 폭력 상황으로 판단되면 해당하는 관제영상 및 영상녹화 시간에 대한 로그를 데이터베이스에 저장하는 데이터저장부(16)를 포함한다. 먼저, 상기 영상녹화부(11)는, 관제대상을 녹화한 관제영상을 저장하고, 상기 관제영상을 스트리밍(RSTP; Rapid Spanning tree protocol) 방식으로 상기 영상분석부(20)에 전송할 수 있다. 또한, 상기 영상녹화부(11)는, CCTV와 같이 직접 관제영상을 녹화하는 수단이 포함되거나, 유투브 등의 영상을 이용하여 관제영상을 제공할 수 있다. 또한, 상기 영상녹화부(11)는, 영상녹화부에 마련되는 데이터가공툴이 마련되어, 분석할 관제영상을 선택하고 불러올 수 있고, 관제영상 재생을 제어하여 마킹할 구간을 선택하여 별도로 저장할 수 있다. 다음으로, 상기 영상분석부(12)는, 관제영상으로부터 프레임 간 영상의 차이를 분석하여 옵티컬 플로우(Optical Flow)를 추출한다. 구체적으로, 상기 영상분석부(12)는, 기존의 컴퓨터비전에 사용되는 사물의 움직임을 추출하는 Spatial Pyramid 방식의 영상처리 기법이 아닌, 3D 이미지들로부터 Ground Truth가 존재하는 영상들을 딥러닝으로 학습한 인공지능 기반의 영상처리 분석방법인 옵티컬 플로우 체계 중 Flownet2 알고리즘을 이용하여 정밀한 옵티컬 플로우를 추출할 수 있는 것이다.

또한, 종래 기술은 전체 영상에서 큰 움직임을 찾아내는 방법이 있으나 싸움 행위를 탐지하는데는 낮은 검출율과 오보율이 높은 단점이 있는 것이다.

상기와 같이 구성된 종래 기술은 많은 연산량을 필요로 하며 고가의 장비를 필요로 하므로 다수의 CCTV에 적용하기 위하여는 한계가 있는 것이다. 또한 2차원 영상에서 싸움, 폭력 행위를 감지하는 영상 내 변화가 큰 영역을 찾아내는 종래 방법은 싸움 상황과 같은 빠른 움직임이 있을 때 픽셀 값의 큰 변화가 나타나고 상기 픽셀 값의 큰 변화가 설정된 임계치 이상인 경우 폭력이 발생하였다고 판단하나 이러한 종래 기술은 행위를 하는 사람과의 거리, 행위의 크기 등 환경에 따라 영향을 받으므로 낮은 검출율을 가지며 오보율이 큰 문제가 있는 것이다. 따라서 본 발명의 목적은 높은 수준의 싸움 상황 검출율을 가지면서도 경량화되어 다수의 카메라에 적용 가능한 싸움 상황 감지 방법 및 장치를 제공하기 위한 것이다.

상기와 같은 목적을 가진 본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법은 학교 또는 군부대에 설치된 카메라가 촬영된 영상 정보를 관리 서버로 전송하는 단계와, 관리 서버가 수신된 영상에서 딥러닝 학습을 통하여 사람객체를 검출하는 단계와, 복수의 사람이 검출된 경우, 관리 서버가 임의의 2사람을 선택하고 선택된 2사람의 아래쪽 영역의 근접 여부를 판단하는 단계와, 근접한 경우, 관리 서버가 시간에 따른 변화를 확인하기 위하여 기존에 검출되었던 싸움 후보와 동일한 싸움 후보로 판단하고, 새로운 영역에서 근접한 경우 새로운 싸움 후보로 판단하는 단계와, 관리 서버가 판단된 싸움 후보 영역에서 두 프레임 사이의 차 영상을 저장하고 시간에 따라 차 영상을 누적하는 단계와, 관리 서버가 누적된 차 영상을 인공 신경망인 시계열 네트워크에 입력하여 저장하고 딥러닝 학습을 하는 단계와, 관리 서버가 누적된 싸움판단 비율이 기 설정된 비율(R_threshold) 이상인 경우 싸움 상황으로 최종 판단하고 알람을 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

상기와 같이 구성된 본 발명은 두 프레임간 픽셀차이을 활용한 싸움 감지 기능과 딥러닝 기능을 조합하여 시스템이 경량화되었으며 싸움 감지 비율이 높은 효과가 있는 것이다. 또한, 본 발명은 GPU에서 동작 시 1.2GB의 메모리만 점유하여 저사영 GPU에서도 동작이 가능한 효과가 있는 것이다. 만약 Nvidia사의 T4와 같은 대용량 고성능 GPU를 사용하는 경우에는 1개의 GPU로 13개 카메라 영상을 10FPS로 싸움 상황을 감시 가능한 효과가 있는 것이다. 또한, 본 발명은 폭력행위가 발생할 수 있는 학교, 공원, 군 부대와 같은 장소에 다수의 CCTV를 설치하여 폭력 행위를 신속히 감지할 수 있으며 저비용으로 시스템 구축이 가능한 효과가 있는 것이다.

도 1은 종래의 딥러닝 기반의 자동폭력 감지 시스템 구성도,
도 2는 본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법 제어 흐름도,
도 3은 본 발명에 적용되는 2 사람 객체 사이의 근접 여부를 판단하기 위한 설명도,
도 4는 본 발명에 적용되는 두 프레임 사이의 차영상을 저장하고 누적하는 설명도,
도 5는 본 발명에 적용되는 차영상을 입력으로 하는 인공 신경망 구조도,
도 6은 본 발명에 적용되는 인공 신경망의 판단 결과를 활용해 싸움 상황을 판단하는 설명도,
도 7은 본 발명 경량화된 딥러닝 기반 싸움상황 감지 시스템 구성도이다.

상기와 같은 목적을 가진 본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법 및 이를 이용한 감지 시스템을 도 2 내지 도 7을 기초로 하여 설명하면 다음과 같다.

도 2는 본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법 제어 흐름도이다. 상기도 2에서 본 발명 경량화된 딥러닝 기반 싸움상황 감지 방법은 카메라가 촬영된 영상 스트림 정보를 관리 서버로 전송하는 단계(S11)와, 관리 서버가 수신된 영상 스트림에서 딥러닝 학습을 통하여 사람객체를 검출하는 단계(S12)와, 복수의 사람이 검출된 경우, 관리 서버가 임의의 2사람을 선택하고 선택된 2사람의 아래쪽 영역의 근접 여부를 판단하는 단계(S13)와, 근접한 경우, 관리 서버가 시간에 따른 변화를 확인하기 위하여 기존에 검출되었던 싸움 후보와 동일한 싸움 후보로 판단하고, 새로운 영역에서 근접한 경우 새로운 싸움 후보로 판단하는 단계(S14)와, 관리 서버가 판단된 싸움 후보 영역에서 두 프레임 사이의 차 영상을 추출하여 저장하고 시간에 따라 차 영상을 누적하는 단계(S15)와, 관리 서버가 누적된 차 영상을 인공지능 신경망인 시계열 네트워크에 입력하여 저장하고 딥러닝 학습을 하는 단계(S16)와, 관리 서버가 누적된 싸움판단 비율이 기 설정된 비율(ratio_threshold) 이상인 경우 싸움 상황으로 최종 판단하고 알람을 제공하는 단계(S17)를 포함하여 이루어지는 것을 특징으로 하는 것이다.

도 3은 본 발명에 적용되는 2 사람 객체 사이의 근접 여부를 판단하기 위한 설명도이다. 상기도 3에서 본 발명에 적용되는 2 사람 객체 사이의 근접 여부를 판단하는 방법은 두 사람 사이의 근접여부 판단은 사람의 발 주변 즉 사람 객체의 하단을 검출영역으로 설정하며, 검출 영역설정의 높이는 ratio x (height/2)로 설정하고 검출 영역 폭은 (1+2 x ratio)x width로 설정하는 것이다. 또한 최종 근접 여부를 판단하기 위하여는 아래 수직 1을 통하여 검출 영역의 겹침 여부로 판단하는 것을 특징으로 하는 것이다.

Area_{P1 &}Area_{P2 > 0 ……}(식 1)

상기 식 (1)에서 Area_P1은 객체 1의 검출 영역(적색부분)이고, Area_P2는 객체 2의 검출 영역(적색부분)이며, 근접 여부의 판단은 객체 1의 검출 영역 Area_P1과 객체 2의 검출 영역 Area_P2의 교집합이 > 0인지 여부로 판단할 수 있는 것이다.

도 4는 본 발명에 적용되는 두 프레임 사이의 차영상을 저장하고 누적하는 설명도이다. 상기도 4에서 본 발명에 적용되는 두 프레임 사이의 차영상은 검출된 싸움 후보에서 두 프레임 사이의 차 영상을 추출하여 저장하는 것으로 t-2, t-1, t와 같이 시간에 따라 누적하여 저장하는 것임을 나타내고 있는 것이다.

도 5는 본 발명에 적용되는 차영상을 입력으로 하는 인공 신경망 구조도이다. 본발명에 적용되는 인공 신경망은 데이터를 후보의 두 프레임 사이의 시간에 따는 누적 차영상을 사용하며 누적 차영상을 픽셀 정보로 재형성하여 입력하여 저장하고, Hidden Layer와 Fully-connected Layer를 구조로 하여 학습을 하고 싸움 상황 여부를 판단하는 것을 특징으로 하는 것이다.

도 6은 본 발명에 적용되는 인공 신경망의 판단 결과를 활용해 싸움 상황을 판단하는 설명도이다. 상기도 6에서 본 발명에 적용되는 인공 신경망의 판단 결과를 활용해 싸움 상황을 판단하는 것은 인공 신경망이 총 n개의 이미지가 입력되는 동안 싸움 여부를 확인하여 총 1/n 번의 이미지에서 싸움으로 판단한 경우 싸움 판단 비율(ratio_predict)은 50%가 되는 것임을 나타내고 있는 것이다. 예를 들어, 20개의 이미지가 입력되는 동안 싸움여부 확인을 했을 때 총 10번의 이미지에서 싸움으로 판단한 경우 싸움 판단 비율은 50%가 되는 것이다. 따라서 싸움 판단 비율(ratio_predict)이 기설정된 싸움 비율(ratio_threshold) 이상인 경우 최종 싸움 상황으로 판단하여 알람을 제공하는 것임을 나타내고 있는 것이다.

도 7은 본 발명 경량화된 딥러닝 기반 싸움상황 감지 시스템 구성도이다. 상기도 7에서 본 발명 경량화된 딥러닝 기반 싸움상황 감지 시스템은 학교 또는 군부대, 공원 등에 설치되는 것으로 현장을 촬영하고 촬영된 영상 스트림 정보를 관리 서버로 전송하는 카메라(10)와, 카메라로부터 영상 스트림 정보를 수신하고 수신된 영상에서 사람객체를 검출하고 임의의 2 사람 객체를 선택하고 선택된 2사람의 근접 여부를 판단하여 싸움 후보 객체를 검출하고 싸움 후보 영역에서 두 프레임 사이의 차 영상을 추출하여 저장하고 차영상을 누적하며 누적된 차 영상 입력 데이터로 하여 인공지능 신경망을 통하여 학습을 하여 싸움 상황을 판단하고 알람을 제공하는 관리 서버(20)로 구성된 것을 특징으로 하는 것이다.

10 : 카메라, 20 : 관리 서버

Claims

학교 또는 공원 또는 군부대에 설치된 카메라가 전송하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법에 있어서,
상기 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법은,
카메라가 촬영된 영상 스트림 정보를 관리 서버로 전송하는 단계(S11)와;
관리 서버가 수신된 영상 스트림 정보에서 사람객체를 검출하는 단계(S12)와;
복수의 사람이 검출된 경우, 관리 서버가 임의의 2사람을 선택하고 선택된 2사람의 근접 여부를 판단하는 단계(S13)와;
근접한 경우, 관리 서버가 시간에 따른 변화를 확인하기 위하여 기존에 검출되었던 싸움 후보와 동일한 싸움 후보로 판단하고, 새로운 영역에서 근접한 경우 새로운 싸움 후보로 판단하는 단계(S14)와;
관리 서버가 판단된 싸움 후보 영역에서 두 프레임 사이의 차 영상을 저장하고 시간에 따라 차 영상을 누적하는 단계(S15)와;
관리 서버가 누적된 차 영상을 인공지능 신경망인 시계열 네트워크에 입력하여 저장하고 딥러닝 학습을 하는 단계(S16);
및 관리 서버가 싸움 상황으로 최종 판단하고 알람을 제공하는 단계(S17)를 포함하여 이루어지는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제1항에 있어서,
수신된 영상에서 사람객체를 검출하는 단계(S12)는
딥 러닝 학습을 통하여 검출하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제1항에 있어서,
상기 선택된 2사람의 근접 여부를 판단하는 것은,
사람의 발 주변 즉 사람 객체의 하단을 검출 영역으로 설정하여 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제1항에 있어서,
상기 인공 신경망은,
데이터를 후보의 두 프레임 사이의 시간에 따는 누적 차영상을 사용하며 누적 차영상을 픽셀 정보로 재형성하여 입력하여 저장하고, Hidden Layer와 Fully-connected Layer를 기초로 학습하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제1항에 있어서,
상기 싸움 상황의 최종 판단은,
누적된 싸움판단 비율이 기 설정된 비율(R_threshold) 이상인 경우 싸움 상황으로 최종 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제3항에 있어서,
상기 검출 영역 설정은,
높이는 ratio x (height/2)로 설정하고 폭은 (1+ 2 x ratio) x width로 설정하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
제6항에 있어서,
검출 영역의 겹침여부는,
아래 식
Area_{P1 &}Area_{P2 > 0}을 기초로하여 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 싸움 상황을 판단하기 위한 방법.
여기서, Area_P1은 객체 1의 검출 영역이고, Area_P2는 객체 2의 검출 영역임.
학교 또는 공원 또는 군부대에 설치된 카메라가 전송하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템에 있어서,
상기 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템은,
현장을 촬영하고 촬영된 영상 스트림 정보를 관리 서버로 전송하는 카메라(10);
및 카메라로부터 영상 스트림 정보를 수신하고 수신된 영상에서 사람객체를 검출하고 임의의 2 사람 객체를 선택하고 선택된 2사람의 근접 여부를 판단하여 싸움 후보 객체를 검출하고 싸움 후보 영역에서 두 프레임 사이의 차 영상을 추출하여 저장하고 차영상을 누적하며 누적된 차 영상 입력 데이터로 하여 인공지능 신경망을 통하여 학습을 하여 싸움 상황을 판단하고 알람을 제공하는 관리 서버(20)로 구성된 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
제8항에 있어서,
상기 관리 서버는,
사람의 발 주변 즉 사람 객체의 하단을 검출 영역으로 설정하여 근접 여부를 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
제8항에 있어서,
상기 관리 서버의 인공 신경망은,
데이터를 후보의 두 프레임 사이의 시간에 따는 누적 차영상을 사용하며 누적 차영상을 픽셀 정보로 재형성하여 입력하여 저장하고, Hidden Layer와 Fully-connected Layer를 기초로 학습하는 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
제8항에 있어서,
상기 관리서버의 싸움 상황의 최종 판단은,
누적된 싸움판단 비율이 기 설정된 비율(ratio_threshold) 이상인 경우 싸움 상황으로 최종 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
제8항에 있어서,
상기 근접 여부의 판단은
검출 영역의 겹침으로 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
제13항에 이어서,
상기 겹침 판단은,
아래 식
Area_{P1 &}Area_{P2 > 0}을 기초로하여 판단하는 것을 특징으로 하는 영상 스트림 정보를 기초로 한 싸움 상황 판단 시스템.
여기서, Area_P1은 객체 1의 검출 영역이고, Area_P2는 객체 2의 검출 영역임.