KR102129771B1 - Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof - Google Patents

Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof Download PDF

Info

Publication number
KR102129771B1
KR102129771B1 KR1020200050789A KR20200050789A KR102129771B1 KR 102129771 B1 KR102129771 B1 KR 102129771B1 KR 1020200050789 A KR1020200050789 A KR 1020200050789A KR 20200050789 A KR20200050789 A KR 20200050789A KR 102129771 B1 KR102129771 B1 KR 102129771B1
Authority
KR
South Korea
Prior art keywords
behavior
matrix
image
judgment criteria
management system
Prior art date
Application number
KR1020200050789A
Other languages
Korean (ko)
Inventor
배종수
Original Assignee
(주)투비소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투비소프트 filed Critical (주)투비소프트
Priority to KR1020200050789A priority Critical patent/KR102129771B1/en
Application granted granted Critical
Publication of KR102129771B1 publication Critical patent/KR102129771B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

Disclosed are a CCTV management device for recognizing a behavior of a subject to be photographed in an image from an image photographed through a CCTV camera and an operation method thereof. The present invention relates to the CCTV management device and the operation method thereof, wherein the CCTV management device acquires an image including the body of a subject to be photographed from any one of the frames constituting a body image when the body image of the subject to be photographed is received through a CCTV camera, detects a body area of the subject to be photographed in the image, extracts joint points from the body area of the subject to be photographed, and outputs appropriate behavior information corresponding to the shape of the subject to be photographed based on the extracted joint points. The CCTV management device comprises: a behavior determination reference matrix storage part; an image receiving part; an image acquisition part; a joint point extraction part; a behavior matrix generation part; a similarity calculation part; and an information extraction part.

Description

CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치 및 그 동작 방법{CCTV MANAGEMENT SYSTEM APPARATUS THAT RECOGNIZES BEHAVIOR OF SUBJECT OF SHOOTING IN VIDEO FROM VIDEO TAKEN THROUGH CCTV CAMERA AND OPERATING METHOD THEREOF}CCTV Management System Apparatus and Method of Operation for Performing Recognition of the Subjects in a Video from Images Taken Through CCTV Cameras and Its Operation Method TECHNICAL FIELD }

본 발명은 CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치 및 그 동작 방법에 대한 것이다.The present invention relates to a CCTV management system device and an operation method for performing an action recognition of a person in a video from an image captured through a CCTV camera.

CCTV(Closed Circuit Television)란, 특정 건축물이나 시설물에서 특정 수신자를 대상으로 유선 또는 특수 무선 전송로를 이용해 화상을 전송하는 장치를 의미하며, 근래에는 CCTV의 설치 대수가 증가하면서, 야간 방범, 교통, 주차단속, 쓰레기 무단투기 등 다양한 분야에 활용되고 있다.CCTV (Closed Circuit Television) means a device that transmits images using a wired or special wireless transmission path to a specific recipient in a specific building or facility, and in recent years, as the number of CCTV installations increases, nighttime crime, traffic, It is used in various fields such as parking control and garbage dumping.

CCTV 시스템은 관제 센터에서 관리 요원들이 실시간으로 CCTV 영상을 모니터링함으로써, CCTV 카메라가 설치된 구역에서의 이상 상황 발생여부를 확인하는 형태로 운영된다.The CCTV system is operated by monitoring the CCTV images in real time by management personnel in the control center to check whether an abnormal situation occurs in the area where the CCTV camera is installed.

하지만, 관리 요원들이 CCTV 영상을 항상 모니터링하는 것은 실질적으로 불가능하기 때문에, CCTV 카메라와 연동되어 있는 관리 시스템을 통해 CCTV 카메라가 설치된 구역에서의 사람의 이상 행위를 인식한 후 이상 행위에 대한 정보를 관리 요원들에게 통보해 줄 수 있다면, 범죄 우발지역 등과 같은 관리 지역에서 발생되는 사고를 예방할 수 있을 것이다.However, since it is practically impossible for management personnel to monitor CCTV images at all times, the management system linked with the CCTV camera recognizes the person's abnormal behavior in the area where the CCTV camera is installed and manages the information on the abnormal behavior. If you can notify the agents, you will be able to prevent accidents in management areas such as crime contingencies.

따라서, CCTV 카메라와 연동된 관리 시스템을 통해 CCTV 카메라가 설치된 구역에서 발생하는 사람의 행위를 인식한 후 이에 대한 행위 정보를 관리 요원들에게 제공해 줄 수 있는 행위 인식 기술에 대한 연구가 필요하다.Therefore, there is a need for research on behavior recognition technology that can recognize the behavior of a person occurring in an area where a CCTV camera is installed through a management system linked with a CCTV camera, and then provide behavior information to the management personnel.

본 발명은 CCTV 카메라를 통해 촬영 대상자의 신체가 촬영된 신체 영상이 수신되면, 상기 신체 영상을 구성하는 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하고, 상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하며, 상기 촬영 대상자의 신체 영역으로부터 관절 포인트들을 추출한 후 상기 추출된 관절 포인트들을 기초로 상기 촬영 대상자의 신체 모양에 대응되는 적절한 행위 정보를 출력할 수 있는 CCTV 관리 시스템 장치 및 그 동작 방법을 제시하고자 한다.In the present invention, when a body image of a body to be photographed is received through a CCTV camera, an image including the body of the subject is acquired from one of the frames constituting the body image, and from the image CCTV management system that detects the subject's body region, extracts joint points from the subject's body region, and outputs appropriate behavior information corresponding to the subject's body shape based on the extracted joint points It is intended to present a device and a method of operation thereof.

본 발명의 일실시예에 따른 CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치는 미리 정해진(predetermined) 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들 - 상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬임 - 이 저장되어 있는 행위 판단 기준 행렬 저장부, 상기 CCTV 카메라를 통해 상기 촬영 대상자의 신체가 촬영된 신체 영상을 수신하는 영상 수신부, 상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하는 이미지 획득부, 상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하고, 상기 촬영 대상자의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출하는 관절 포인트 추출부, 상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성하는 행위 행렬 생성부, 상기 행위 판단 기준 행렬 저장부에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택하는 유사도 연산부 및 상기 행위 판단 기준 행렬 저장부로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 상기 촬영 대상자에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 상기 CCTV 관리 시스템 장치에 구비되어 있는 디스플레이를 통해 출력하는 정보 출력부를 포함한다.A CCTV management system device for performing a behavior recognition of a person in a video from an image photographed through a CCTV camera according to an embodiment of the present invention is predetermined with a plurality of different behavior information and the plurality of behavior information Each of the plurality of different n (n is a natural number of 2 or more) predetermined as corresponding to each of the xk (k is a natural number of 2 or more) behavior judgment criteria matrices-each of the plurality of behavior judgment criteria matrices is '0' And '1' is a matrix having components as codes-a matrix storing unit for determining the stored behavior, an image receiving unit receiving the body image of the body of the subject through the CCTV camera, and configuring the body image An image acquiring unit that acquires an image including the body of the subject to be photographed from any one of a plurality of frames, and detects an area of the subject's body from the image, and m(m) Is a natural number of 2 or more) joint point extracting unit for extracting joint points, and when the m joint points are extracted, the image is equally divided into nxk partial images composed of n lengths and k widths. It is determined whether the m joint points are located in each of the nxk partial images, and a code of '1' is allocated to a partial image in which each of the m joint points is located, and the m joint points are A behavior matrix generation unit that generates a behavior matrix of nxk having a code assigned to each of the nxk partial images as a component by allocating a code of '0' to the remaining partial images where each is not located, and the behavior determination criteria After calculating the similarity between each of the plurality of behavior judgment criteria matrices stored in the matrix storage unit and the behavior matrix, a first behavior judgment criteria matrix that is determined to have a similarity of a maximum value among the plurality of behavior judgment criteria matrices Similarity calculation unit to select and the behavior determination device After confirming the first action information stored in correspondence with the first action determination criterion matrix from the quasi-matrix storage unit, generating a guide message indicating that the first action information is action information currently matching the target person, and then generating the And an information output unit for outputting a guide message through a display provided in the CCTV management system device.

또한, 본 발명의 일실시예에 따른 CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치의 동작 방법은 미리 정해진 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들 - 상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬임 - 이 저장되어 있는 행위 판단 기준 행렬 저장부를 유지하는 단계, 상기 CCTV 카메라를 통해 상기 촬영 대상자의 신체가 촬영된 신체 영상을 수신하는 단계, 상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하는 단계, 상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하고, 상기 촬영 대상자의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출하는 단계, 상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성하는 단계, 상기 행위 판단 기준 행렬 저장부에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택하는 단계 및 상기 행위 판단 기준 행렬 저장부로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 상기 촬영 대상자에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 상기 CCTV 관리 시스템 장치에 구비되어 있는 디스플레이를 통해 출력하는 단계를 포함한다.In addition, according to an embodiment of the present invention, an operation method of a CCTV management system device that performs action recognition of a person to be photographed from an image photographed through a CCTV camera includes a plurality of predetermined different behavior information and the plurality of Action determination criteria matrices of a plurality of n (n is a natural number greater than or equal to 2) xk (k is a natural number greater than or equal to 2) predetermined as corresponding to each of the action information-each of the plurality of action determination criteria matrices is' It is a matrix having the codes of 0'and '1' as components.-Maintaining the stored behavior judgment criteria matrix storage unit, receiving a body image in which the body of the subject is photographed through the CCTV camera, the Acquiring an image including the body of the subject to be photographed from any one of a plurality of frames constituting a body image, detecting a body region of the subject to be captured in the image, and m from the body region of the subject to be photographed (m is a natural number of 2 or more) extracting the joint points, and when the m joint points are extracted, the image is equally divided into nxk partial images composed of n lengths and k widths, and then the nxk It is determined whether the m joint points are located in each of the partial images, and a code of '1' is allocated to a partial image in which each of the m joint points is located, and each of the m joint points is Generating an action matrix of nxk having a code assigned to each of the nxk partial images as a component by allocating a code of '0' to the remaining non-positioned partial images, and the action determination reference matrix storage unit Calculating a similarity between each of the plurality of stored behavior judgment criteria matrices and the behavior matrix, and then selecting a first behavior judgment criteria matrix that is determined to have a similarity of a maximum value among the plurality of behavior judgment criteria matrices And determining the first behavior from the behavior determination reference matrix storage unit. After confirming the first action information stored in correspondence with the reference matrix, and generating a guide message indicating that the first action information is action information that is currently matched to the shooting target, the guidance message is provided to the CCTV management system device And outputting it through the display.

본 발명은 CCTV 카메라를 통해 촬영 대상자의 신체가 촬영된 신체 영상이 수신되면, 상기 신체 영상을 구성하는 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하고, 상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하며, 상기 촬영 대상자의 신체 영역으로부터 관절 포인트들을 추출한 후 상기 추출된 관절 포인트들을 기초로 상기 촬영 대상자의 신체 모양에 대응되는 적절한 행위 정보를 출력할 수 있는 CCTV 관리 시스템 장치 및 그 동작 방법을 제시할 수 있다.In the present invention, when a body image of a body to be photographed is received through a CCTV camera, an image including the body of the subject is acquired from one of the frames constituting the body image, and from the image CCTV management system that detects the subject's body region, extracts joint points from the subject's body region, and outputs appropriate behavior information corresponding to the subject's body shape based on the extracted joint points It is possible to present a device and a method of its operation.

도 1은 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 구조를 도시한 도면이다.
도 2 내지 도 3은 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작 방법을 도시한 순서도이다.1 is a view showing the structure of a CCTV management system device according to an embodiment of the present invention.
2 to 3 are views for explaining the operation of the CCTV management system device according to an embodiment of the present invention.
4 is a flowchart illustrating an operation method of a CCTV management system device according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. It should be understood that this description is not intended to limit the invention to specific embodiments, and includes all modifications, equivalents, or substitutes included in the spirit and scope of the invention. In describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, have common knowledge in the technical field to which the present invention pertains. It has the same meaning as commonly understood by people who have it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.In this document, when it is said that a part "includes" a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, in various embodiments of the present invention, each component, functional blocks, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic Circuits, integrated circuits, ASIC (Application Specific Integrated Circuit) may be implemented with various known elements or mechanical elements, each of which may be implemented separately or may be implemented by integrating two or more into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the steps of the blocks or flow charts of the accompanying block diagrams are computer program instructions that are mounted on a processor or memory of data processing equipment such as a general purpose computer, a special purpose computer, a portable notebook computer, and a network computer to perform designated functions. It can be interpreted as meaning. Since these computer program instructions can be stored in a memory provided in a computer device or in a computer readable memory, the functions described in the blocks of the block diagrams or steps in the flowchart are produced as an article containing instruction means for performing them. It may be. In addition, each block or step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments, the functions mentioned in blocks or steps may be executed out of order. For example, two blocks or steps shown in succession may be performed substantially simultaneously, or may be performed in reverse order, and in some cases, some blocks or steps may be omitted.

도 1은 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 구조를 도시한 도면이다.1 is a view showing the structure of a CCTV management system device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 CCTV 관리 시스템 장치(110)는 행위 판단 기준 행렬 저장부(111), 영상 수신부(112), 이미지 획득부(113), 관절 포인트 추출부(114), 행위 행렬 생성부(115), 유사도 연산부(116) 및 정보 출력부(117)를 포함한다.Referring to FIG. 1, the CCTV management system device 110 according to the present invention includes an action determination criteria matrix storage unit 111, an image receiving unit 112, an image acquisition unit 113, a joint point extraction unit 114, and an action It includes a matrix generating unit 115, a similarity calculating unit 116 and an information output unit 117.

우선, 본 발명에서는 도 1에 도시된 그림과 같이, 범죄 우발지역 등과 같은 관리 지역에 촬영 대상자(130)의 신체를 촬영하기 위한 CCTV 카메라(120)가 미리 구비되어 있을 수 있고, CCTV 카메라(120)에는 촬영 대상자(130)의 움직임을 감지하기 위한 인체감지 센서가 미리 구비되어 있을 수 있다.First, in the present invention, as shown in FIG. 1, a CCTV camera 120 for photographing the body of the subject 130 may be provided in advance in a management area such as a crime accident area, and the CCTV camera 120 ) May be provided with a human body sensor for detecting the movement of the subject 130 in advance.

이때, CCTV 관리 시스템 장치(110)의 행위 판단 기준 행렬 저장부(111)에는 미리 정해진(predetermined) 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들이 저장되어 있다.At this time, the behavior determination reference matrix storage unit 111 of the CCTV management system apparatus 110 includes a plurality of different predetermined behavior information and a plurality of different predetermined behavior information corresponding to each of the plurality of behavior information. N (n is a natural number greater than or equal to 2) xk (k is a natural number greater than or equal to 2) is stored.

여기서, 상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬을 의미한다.Here, each of the plurality of behavior determination reference matrices means a matrix having codes of '0' and '1' as components.

관련해서, 'n=12'라고 하고, 'k=12'라고 하는 경우, 행위 판단 기준 행렬 저장부(111)에는 하기의 표 1과 같이 정보가 저장되어 있을 수 있다.In relation to this, when'n=12' and'k=12', information may be stored in the behavior determination reference matrix storage 111 as shown in Table 1 below.

복수의 행위 정보들Multiple behavior information 행위 판단 기준 행렬들Behavioral Criteria Matrix 행위 정보 1(누워있는 자세)Behavior information 1 (laying back) 기준 행렬 A1 Reference matrix A 1 행위 정보 2(뛰는 자세)Behavior information 2 (jumping position) 기준 행렬 A2 Reference matrix A 2 행위 정보 3(앉아있는 자세)Behavior information 3 (seating position) 기준 행렬 A3 Reference matrix A 3 ...... ......

영상 수신부(112)는 CCTV 카메라(120)를 통해 촬영 대상자(130)의 신체가 촬영된 신체 영상을 수신한다.The image receiving unit 112 receives a body image of the body of the person 130 to be photographed through the CCTV camera 120.

이때, 영상 수신부(112)는 CCTV 카메라(120)에 구비된 인체감지 센서를 통해 촬영 대상자(130)가 감지되는 경우, 해당 시점에서 CCTV 카메라(120)를 통해 촬영된 촬영 대상자(130)의 신체 영상을 수신할 수 있다.At this time, the image receiving unit 112, if the subject 130 is detected through the human body sensor provided in the CCTV camera 120, the body of the subject 130 photographed through the CCTV camera 120 at the time point Video can be received.

이미지 획득부(113)는 상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 촬영 대상자(130)의 신체가 포함된 이미지를 획득한다.The image acquisition unit 113 acquires an image including the body of the subject 130 from any one of a plurality of frames constituting the body image.

관절 포인트 추출부(114)는 상기 이미지에서 촬영 대상자(130)의 신체 영역을 검출하고, 촬영 대상자(130)의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출한다.The joint point extracting unit 114 detects a body region of the subject 130 from the image and extracts m (m is a natural number of 2 or more) joint points from the body region of the subject 130.

여기서, 관절 포인트 추출부(114)는 CPM(Convolutional Pose Machines) 기술을 활용하여 촬영 대상자(130)의 신체 영역으로부터 상기 m개의 관절 포인트들을 추출할 수 있다.Here, the joint point extraction unit 114 may extract the m joint points from the body region of the subject 130 by utilizing CPM (Convolutional Pose Machines) technology.

CPM이란 1명의 사람에 대해 사람 자세(Pose)를 출력하는 네트워크를 학습시킨 모델로, 사람의 관절 간의 관계를 이해하고, 출력을 정제(Refine)하기 위해 Multi-State의 네트워크 형태로 구성하고 이를 평가(Evaluation)한 것이 특징인 모델이다. CNN(Convolutional Neural Networks)을 이용해 각 관절의 Heatmap을 출력하는 네트워크 구조를 가지고 있으며, Stage 1의 결과는 이미지 특징(Feature)과 함께 Stage 2의 입력으로 다시 사용되고, 이렇게 반복적으로 동일한 Heatmap 결과를 여러 Stage에 걸쳐서 처리한 최종적인 결과가 CPM 네트워크의 출력이 된다. 이렇게 하는 것은 초반의 Stage에서는 일부분의 이미지 영역을 통해 관절을 찾아내고, 후반의 Stage에서는 더욱 커진 Receptive Field의 영향으로 서로 다른 관절 간의 관계까지 고려되므로 더욱 정확한 Heatmap 결과를 얻을 수 있기 때문이다.CPM is a model that trains a network that outputs a person's posture for one person, composes and evaluates it in a multi-state network form to understand the relationship between human joints and refine the output. The model is characterized by (Evaluation). It has a network structure that outputs the heatmap of each joint using CNN (Convolutional Neural Networks), and the result of Stage 1 is used as the input of Stage 2 together with the image feature, and repeatedly repeats the same Heatmap result as multiple stages. The final result processed over is the output of the CPM network. This is because in the early stage, the joints are found through a part of the image area, and in the latter stage, the relationship between different joints is considered due to the influence of the larger receptive field, so more accurate heatmap results can be obtained.

이때, 관절 포인트 추출부(114)는 이러한 CPM 기술을 활용하여 촬영 대상자(130)의 신체 영역으로부터 도면부호 210에 도시된 그림과 같이 주요 관절 포인트인 14개의 관절 포인트들(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14)을 추출할 수 있다.At this time, the joint point extracting unit 114 utilizes this CPM technology, 14 joint points (1, 2, 3, which are the main joint points) as shown in reference numeral 210 from the body region of the subject 130 to be photographed. 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14) can be extracted.

행위 행렬 생성부(115)는 상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성한다.When the m joint points are extracted, the behavior matrix generation unit 115 equally divides the image into nxk partial images composed of n vertical and k horizontal images, and then, within each of the nxk partial images. By checking whether the m joint points are located, a code of '1' is allocated to a partial image in which each of the m joint points is located, and the remaining partial images in which each of the m joint points are not located By assigning a code of '0', an action matrix of nxk having a code assigned to each of the nxk partial images as a component is generated.

관련해서, 도면부호 210에 도시된 그림과 같이, 14개의 관절 포인트들이 추출되었다고 하는 경우, 행위 행렬 생성부(115)는 도면부호 210에 도시된 상기 이미지를 도면부호 220에 도시된 그림과 같이, 세로 12개, 가로 12개로 구성되는 12 x 12개의 부분 이미지들로 균등하게 분할할 수 있다.In relation to this, when 14 joint points are extracted as illustrated in reference numeral 210, the behavior matrix generating unit 115 may use the image shown in reference numeral 210 as shown in reference numeral 220, It can be divided equally into 12 x 12 partial images composed of 12 vertically and 12 horizontally.

그 이후, 행위 행렬 생성부(115)는 상기 12 x 12개의 부분 이미지들 각각의 내부에 상기 14개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 14개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 14개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당할 수 있다.Thereafter, the behavior matrix generator 115 checks whether the 14 joint points are located inside each of the 12 x 12 partial images, and determines whether the 14 joint points are located. A code of 1'may be allocated, and a code of '0' may be allocated to the remaining partial image in which each of the 14 joint points is not located.

그러고 나서, 행위 행렬 생성부(115)는 도면부호 230과 같이 상기 12 x 12개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 12 x 12의 행위 행렬(230)을 생성할 수 있다.Then, the behavior matrix generator 115 may generate a 12 x 12 behavior matrix 230 having as a component a code assigned to each of the 12 x 12 partial images, as shown at 230.

유사도 연산부(116)는 행위 판단 기준 행렬 저장부(111)에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택한다.The similarity calculating unit 116 calculates the similarity between each of the plurality of behavior determining criteria matrices stored in the behavior determining criteria matrix storage unit 111 and the behavior matrix, and then calculates the maximum value among the plurality of behavior determining criteria matrices. The first behavior judgment criterion matrix that is confirmed to have similarity is selected.

이때, 본 발명의 일실시예에 따르면, 유사도 연산부(116)는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 아다마르 곱(Hadamard product)을 연산하고, 상기 아다마르 곱의 연산에 따라 산출되는 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 상기 유사도로 연산할 수 있다.At this time, according to an embodiment of the present invention, the similarity calculating unit 116 calculates a Hadamard product between each of the plurality of behavior determination reference matrices and the behavior matrix, and according to the operation of the Hadamard product. The number of code values of '1' in the components constituting the calculated matrix can be calculated with the similarity.

여기서, 아다마르 곱이란 같은 크기의 벡터나 행렬에서 각 성분을 곱하는 연산을 의미하는 것으로, [a b c]와 [x y z]라는 행렬이 존재할 때, 두 행렬 간의 아다마르 곱은 [ax by cz]로 연산될 수 있다.Here, the Adamar product means an operation of multiplying each component in a vector or matrix of the same size. When a matrix called [abc] and [xyz] exists, the Adamar product between two matrices is calculated as [ax by cz]. Can.

관련해서, 전술한 예시와 같이, 행위 행렬 생성부(115)에서 12 x 12의 행위 행렬(230)이 생성되었다고 하고, 행위 판단 기준 행렬 저장부(111)에 상기 표 1과 같이 정보가 저장되어 있다고 하며, 행위 판단 기준 행렬 저장부(111)에 저장되어 있는 첫 번째 행위 판단 기준 행렬인 기준 행렬 A1은 도면부호 311에 도시된 그림과 같다고 가정하는 경우, 유사도 연산부(116)는 기준 행렬 A1(311)과 행위 행렬(230) 간의 아다마르 곱을 도면부호 312와 같이 연산하고, 상기 아다마르 곱의 연산에 따라 산출된 행렬(312)을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수인 '8'을 상기 첫 번째 행위 판단 기준 행렬인 기준 행렬 A1(311)과 행위 행렬(230) 간의 유사도로 연산할 수 있다.In relation to this, as in the above example, it is said that the 12 x 12 action matrix 230 is generated in the action matrix generation unit 115, and information is stored in the action determination reference matrix storage unit 111 as shown in Table 1 above. If it is assumed that the reference matrix A 1 which is the first behavior judgment reference matrix stored in the behavior judgment reference matrix storage unit 111 is the same as that shown in reference numeral 311, the similarity calculating unit 116 is the reference matrix A 1 The Adamar product between 311 and the behavior matrix 230 is calculated as indicated by reference numeral 312, and a code value of '1' exists in a component constituting the matrix 312 calculated according to the operation of the Adamar product. The number '8' may be calculated as the similarity between the first action determination reference matrix, the reference matrix A 1 311 and the action matrix 230.

이러한 방식으로, 유사도 연산부(116)는 상기 표 1과 같은 행위 판단 기준 행렬 저장부(111)에 저장되어 있는 행위 판단 기준 행렬들인 기준 행렬 A1(311), 기준 행렬 A2, 기준 행렬 A3, ...과 행위 행렬(230) 간의 유사도를 모두 연산할 수 있다.In this way, the similarity calculating unit 116 is the reference matrix A 1 (311), the reference matrix A 2 , and the reference matrix A 3 , which are the behavior decision criterion matrices stored in the behavior decision criterion matrix storage unit 111 shown in Table 1 above. , ... and the similarity between the action matrix 230 can be calculated.

그 이후, 유사도 연산부(116)는 행위 판단 기준 행렬 저장부(111)에 저장되어 있는 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬을 상기 제1 행위 판단 기준 행렬로 선택할 수 있다.Subsequently, the similarity calculating unit 116 uses the behavior determination criterion matrix determined to have the similarity of the maximum value among the behavior determination criterion matrices stored in the behavior determination criterion matrix storage unit 111 as the first behavior determination criterion matrix. You can choose.

한편, 상기 복수의 행위 판단 기준 행렬들 중 상기 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬이 둘 이상 존재하는 상황도 고려해 볼 수 있다.On the other hand, it is also possible to consider a situation in which there are two or more behavior judgment criteria matrices identified as having a similarity of the maximum value among the plurality of behavior judgment criteria matrices.

관련해서, 본 발명의 일실시예에 따르면, 유사도 연산부(116)는 상기 복수의 행위 판단 기준 행렬들 중 상기 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬이 둘 이상 존재하는 경우, 상기 둘 이상의 행위 판단 기준 행렬들 중 랜덤하게 선택된 어느 하나의 행위 판단 기준 행렬을 상기 제1 행위 판단 기준 행렬로 결정할 수 있다.In relation to this, according to an embodiment of the present invention, when there are two or more behavior judgment criteria matrices identified as having similarity of the maximum value among the plurality of behavior judgment criteria matrices, the two Any one of the randomly selected action determination criterion matrices may be determined as the first action determination criterion matrix.

정보 출력부(117)는 행위 판단 기준 행렬 저장부(111)로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 촬영 대상자(130)에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 CCTV 관리 시스템 장치(110)에 구비되어 있는 디스플레이를 통해 출력한다.The information output unit 117 checks the first action information stored in correspondence with the first action determination criterion matrix from the action determination criterion matrix storage unit 111, and the first action information is transmitted to the target person 130. After generating a guide message indicating that it is currently matching behavior information, the guide message is output through a display provided in the CCTV management system device 110.

관련해서, 상기 제1 행위 판단 기준 행렬이 기준 행렬 A1(311)으로 선택되었다고 하는 경우, 정보 출력부(117)는 상기 표 1과 같은 행위 판단 기준 행렬 저장부(111)로부터 상기 제1 행위 판단 기준 행렬인 기준 행렬 A1(311)에 대응되어 저장되어 있는 제1 행위 정보인 행위 정보 1(누워있는 자세)을 확인할 수 있다.In relation to this, when it is said that the first behavior judgment criteria matrix is selected as the reference matrix A 1 (311), the information output unit 117 displays the first behavior from the behavior judgment criteria matrix storage 111 shown in Table 1 above. It is possible to check the action information 1 (the lying position), which is the first action information stored in correspondence with the reference matrix A 1 (311), which is the determination reference matrix.

그러고 나서, 정보 출력부(117)는 상기 제1 행위 정보인 행위 정보 1(누워있는 자세)이 촬영 대상자(130)에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 CCTV 관리 시스템 장치(110)에 구비되어 있는 디스플레이를 통해 출력할 수 있다.Then, the information output unit 117 generates a guidance message indicating that the first action information, action information 1 (laying posture) is action information currently matching the target person 130, and then manages the guidance message by CCTV It can be output through the display provided in the system device 110.

이를 통해, 관리자(140)는 상기 디스플레이를 통해 촬영 대상자(130)가 현재 누워있는 상태라고 판단할 수 있다.Through this, the manager 140 may determine that the photographing target 130 is currently lying through the display.

결국, 본 발명에 따른 CCTV 관리 시스템 장치(110)는 CCTV 카메라(120)를 통해 촬영 대상자(130)의 신체가 촬영된 신체 영상이 수신되면, 상기 신체 영상을 구성하는 프레임들 중 어느 하나의 프레임으로부터 촬영 대상자(130)의 신체가 포함된 이미지를 획득하고, 상기 이미지에서 촬영 대상자(130)의 신체 영역을 검출하며, 촬영 대상자(130)의 신체 영역으로부터 관절 포인트들을 추출한 후 상기 추출된 관절 포인트들을 기초로 촬영 대상자(130)의 신체 모양에 대응되는 적절한 행위 정보를 출력할 수 있다. 이를 통해, 관리자(140)는 디스플레이를 통해 촬영 대상자(130)의 현재 행위를 파악할 수 있다.After all, when the CCTV management system apparatus 110 according to the present invention receives the body image of the body of the person 130 to be photographed through the CCTV camera 120, any one of the frames constituting the body image Acquiring an image that includes the body of the subject 130 from the image, detecting the body region of the subject 130 from the image, extracting joint points from the body region of the subject 130, and then extracting the joint points Appropriate action information corresponding to the shape of the body of the subject 130 may be output based on them. Through this, the manager 140 can grasp the current behavior of the target person 130 through the display.

본 발명의 일실시예에 따르면, 상기 복수의 행위 정보들 중에는 비정상 행위인 것으로 미리 지정된 적어도 하나의 비정상 행위 정보가 포함되어 있을 수 있다.According to an embodiment of the present invention, among the plurality of behavior information, at least one abnormal behavior information previously designated as an abnormal behavior may be included.

예컨대, 상기 표 1과 같은 행위 판단 기준 행렬 저장부(111)에 저장되어 있는 복수의 행위 정보들인 행위 정보 1(누워있는 자세), 행위 정보 2(뛰는 자세), 행위 정보 3(앉아있는 자세), ... 중에는 행위 정보 1(누워있는 자세)과 행위 정보 3(앉아있는 자세)이 적어도 하나의 비정상 행위 정보로 포함되어 있을 수 있다.For example, the behavior information 1 (the lying position), the behavior information 2 (the running position), and the behavior information 3 (the sitting position), which are a plurality of behavior information stored in the behavior determination criteria matrix storage unit 111 shown in Table 1 above. Among,, ... behavior information 1 (laying posture) and behavior information 3 (sitting posture) may include at least one abnormal behavior information.

이때, 정보 출력부(117)는 경고 알림음 출력부(118)를 포함할 수 있다.At this time, the information output unit 117 may include a warning notification sound output unit 118.

경고 알림음 출력부(118)는 상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, CCTV 관리 시스템 장치(110)에 구비되어 있는 스피커를 통해 상기 제1 행위 정보가 비정상 행위 정보임을 나타내는 경고 알림음을 출력한다.When the alert notification sound output unit 118 determines that the first action information is one of the at least one abnormal action information, the first action information is abnormal through the speaker provided in the CCTV management system device 110. It outputs a warning notification sound indicating that it is action information.

이때, 본 발명의 일실시예에 따르면, 경고 알림음 출력부(118)는 상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 하기의 수학식 1의 연산에 따라 비정상 행위 지수를 산출한 후 미리 지정된 최대 스피커 음량 값에 상기 비정상 행위 지수를 곱하여 음량 값을 산출하고, 상기 산출된 음량 값에 따라 상기 경고 알림음의 출력을 제어함으로써, 상기 경고 알림음의 출력을 조정할 수 있다.At this time, according to an embodiment of the present invention, when the alert notification sound output unit 118 is confirmed to be one of the at least one abnormal behavior information, the abnormality according to the operation of Equation 1 below After calculating an activity index, a volume value is calculated by multiplying the maximum speaker volume value specified in advance by the abnormal behavior index, and controlling the output of the warning notification sound according to the calculated volume value, thereby adjusting the output of the warning notification sound Can.

여기서, 상기 최대 스피커 음량 값은 상기 스피커가 상기 경고 알림음을 최대로 출력할 경우에 낼 수 있는 최대 음량 값을 의미한다.Here, the maximum speaker volume value means the maximum volume value that can be generated when the speaker outputs the warning notification sound to the maximum.

Figure 112020043142189-pat00001
Figure 112020043142189-pat00001

여기서,

Figure 112020043142189-pat00002
는 상기 비정상 행위 지수로,
Figure 112020043142189-pat00003
는 상기 행위 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수,
Figure 112020043142189-pat00004
는 상기 제1 행위 판단 기준 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 의미한다.here,
Figure 112020043142189-pat00002
Is the abnormal behavior index,
Figure 112020043142189-pat00003
Is the number of code values of '1' in the components constituting the behavior matrix,
Figure 112020043142189-pat00004
Is the number of code values of '1' in the components constituting the first behavior determination reference matrix.

예컨대, 앞서 설명한 예시와 같이, 상기 제1 행위 정보를 행위 정보 1(누워있는 자세)이라고 하고, 상기 적어도 하나의 비정상 행위 정보를 행위 정보 1(누워있는 자세), 행위 정보 3(앉아있는 자세)이라고 하며, 행위 행렬(230)을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 '14개'라고 하고, 상기 제1 행위 판단 기준 행렬이 기준 행렬 A1(311)으로 선택되었다고 하며, 기준 행렬 A1(311)을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 '22개'라고 하고, 최대 스피커 음량 값을 '100'이라고 가정하자.For example, as described above, the first behavior information is referred to as behavior information 1 (laying posture), and the at least one abnormal behavior information is behavior information 1 (laying posture), behavior information 3 (sitting posture). It is said that the number of code values of '1' in the components constituting the behavior matrix 230 is '14', and the first behavior determination reference matrix is selected as the reference matrix A 1 (311). , Assume that the number of code values of '1' in the components constituting the reference matrix A 1 311 is '22', and the maximum speaker volume value is '100'.

이때, 경고 알림음 출력부(118)는 상기 제1 행위 정보인 행위 정보 1(누워있는 자세)이 상기 적어도 하나의 비정상 행위 정보인 행위 정보 1(누워있는 자세), 행위 정보 3(앉아있는 자세) 중 하나인 것으로 확인되면, 행위 행렬(230)을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수인 '14개'와 기준 행렬 A1(311)을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수인 '22개'를 기초로 상기의 수학식 1의 연산에 따라 비정상 행위 지수를 '0.854'와 같이 산출할 수 있다.At this time, the warning notification sound output unit 118 includes the behavior information 1 (laying posture), which is the first behavior information, the behavior information 1 (laying pose), and the behavior information 3 (sitting posture), which is the at least one abnormal behavior information. ), the number of '14', which is the number of code values of '1' in the components constituting the behavior matrix 230, and '1' in the components constituting the reference matrix A 1 (311). Based on the number of code values '22', an abnormal behavior index may be calculated as '0.854' according to the operation of Equation 1 above.

그 이후, 경고 알림음 출력부(118)는 최대 스피커 음량 값인 '100'에 상기 비정상 행위 지수인 '0.854'를 곱하여 '85.4'와 같은 음량 값을 산출하고, 상기 산출된 음량 값인 '85.4'에 따라 상기 경고 알림음의 출력을 제어함으로써, 상기 경고 알림음의 출력을 조정할 수 있다.Thereafter, the warning notification sound output unit 118 multiplies the maximum speaker volume value '100' by the abnormal behavior index '0.854' to calculate a volume value equal to '85.4', and the calculated volume value '85.4' Accordingly, by controlling the output of the warning notification sound, it is possible to adjust the output of the warning notification sound.

즉, CCTV 관리 시스템 장치(110)는 상기 행위 행렬과 상기 제1 행위 판단 기준 행렬 간의 유사도가 높게 산출될수록, 비정상 행위 지수를 상대적으로 높게 산출함으로써, 최대 스피커 음량 값에 근접한 음량 값으로 경고 알림음이 출력되도록 제어할 수 있다.That is, the CCTV management system device 110 calculates the similarity between the behavior matrix and the first behavior determination criterion matrix, and calculates the abnormal behavior index relatively high, thereby alerting the user with a volume value close to the maximum speaker volume value. It can be controlled to be output.

본 발명에 따른 CCTV 관리 시스템 장치(110)는 촬영 대상자(130)의 행위가 실시간으로 변할 수 있다는 점에서, 촬영 대상자(130)의 현재 행위 정보를 실시간으로 업데이트하기 위한 구성을 포함할 수 있다.The CCTV management system device 110 according to the present invention may include a configuration for updating the current behavior information of the shooting target 130 in real time in that the actions of the shooting target 130 may change in real time.

이와 관련해서, 본 발명의 일실시예에 따르면, CCTV 관리 시스템 장치(110)는 반복 수행 제어부(119)를 더 포함할 수 있다.In this regard, according to an embodiment of the present invention, the CCTV management system device 110 may further include a repeat execution control unit 119.

반복 수행 제어부(119)는 상기 안내 메시지가 생성된 후, 미리 정해진 시간 간격으로 영상 수신부(112), 이미지 획득부(113), 관절 포인트 추출부(114), 행위 행렬 생성부(115), 유사도 연산부(116) 및 정보 출력부(117)의 동작이 반복 수행되도록 제어함으로써, 촬영 대상자(130)의 현재 행위 정보를 나타내는 상기 안내 메시지가 상기 시간 간격으로 갱신되도록 처리한다.The repetition execution control unit 119, after the guidance message is generated, the image receiving unit 112, the image acquisition unit 113, the joint point extraction unit 114, the action matrix generation unit 115, the similarity at predetermined time intervals By controlling the operation of the operation unit 116 and the information output unit 117 to be repeatedly performed, the guide message indicating the current behavior information of the subject 130 is processed to be updated at the time interval.

예컨대, 상기 시간을 '10초'라고 가정하자. 이때, 반복 수행 제어부(119)는 상기 안내 메시지가 생성된 후, 상기 시간인 '10초'마다 영상 수신부(112), 이미지 획득부(113), 관절 포인트 추출부(114), 행위 행렬 생성부(115), 유사도 연산부(116) 및 정보 출력부(117)의 동작이 반복 수행되도록 제어함으로써, 촬영 대상자(130)의 현재 행위 정보를 나타내는 상기 안내 메시지가 상기 시간인 '10초'마다 갱신되도록 처리할 수 있다.For example, suppose the time is '10 seconds'. At this time, the repetition execution control unit 119, after the guidance message is generated, the image receiving unit 112, the image acquisition unit 113, the joint point extraction unit 114, the behavior matrix generation unit every '10 seconds' the time (115) By controlling the operations of the similarity calculating unit 116 and the information output unit 117 to be repeatedly performed, the guide message indicating the current behavior information of the photographing target 130 is updated every '10 seconds' of the time Can handle it.

도 4는 본 발명의 일실시예에 따른 CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치의 동작 방법을 도시한 순서도이다.FIG. 4 is a flowchart illustrating an operation method of a CCTV management system device that recognizes an action of a person in a video from an image captured through a CCTV camera according to an embodiment of the present invention.

단계(S410)에서는 미리 정해진 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들(상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬임)이 저장되어 있는 행위 판단 기준 행렬 저장부를 유지한다.In step S410, a plurality of different predetermined behavior information and a plurality of different predetermined n (n is a natural number of 2 or more) xk (k is a natural number of 2 or more) corresponding to each of the plurality of behavior information. ) Maintains the behavior judgment criterion matrix storage unit in which the behavior judgment criterion matrices (each of the plurality of behavior judgment criterion matrices are codes having '0' and '1' as components) are stored.

단계(S420)에서는 상기 CCTV 카메라를 통해 상기 촬영 대상자의 신체가 촬영된 신체 영상을 수신한다.In step S420, a body image in which the body of the subject is photographed is received through the CCTV camera.

단계(S430)에서는 상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득한다.In step S430, an image including the body of the subject is acquired from one of a plurality of frames constituting the body image.

단계(S440)에서는 상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하고, 상기 촬영 대상자의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출한다.In step S440, the body region of the subject to be photographed is detected from the image, and m (m is a natural number of 2 or more) joint points are extracted from the subject's body region.

단계(S450)에서는 상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성한다.In step S450, when the m joint points are extracted, the image is equally divided into nxk partial images composed of n lengths and k widths, and then the m number is included in each of the nxk partial images. By checking whether the joint points are located, a code of '1' is allocated to a partial image in which each of the m joint points is located, and '0' for a remaining partial image in which each of the m joint points is not located. By assigning a code of', an action matrix of nxk is generated having, as a component, a code assigned to each of the nxk partial images.

단계(S460)에서는 상기 행위 판단 기준 행렬 저장부에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택한다.In operation S460, after calculating the similarity between each of the plurality of behavior decision criterion matrices stored in the behavior decision criterion matrix storage unit and the behavior matrix, having a similarity of the maximum value among the plurality of behavior decision criterion matrices The first behavior determination criterion matrix is determined to be selected.

단계(S470)에서는 상기 행위 판단 기준 행렬 저장부로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 상기 촬영 대상자에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 상기 CCTV 관리 시스템 장치에 구비되어 있는 디스플레이를 통해 출력한다.In step S470, the first behavior information stored in correspondence with the first behavior judgment criteria matrix is checked from the behavior judgment criteria matrix storage unit, and the first behavior information is behavior information currently matching the photographing target. After generating the indicated guidance message, the guidance message is output through a display provided in the CCTV management system device.

이때, 본 발명의 일실시예에 따르면, 단계(S460)에서는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 아다마르 곱을 연산하고, 상기 아다마르 곱의 연산에 따라 산출되는 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 상기 유사도로 연산할 수 있다.At this time, according to an embodiment of the present invention, in step S460, the Adamar product is calculated between each of the plurality of behavior determination reference matrices and the behavior matrix, and a matrix is calculated according to the operation of the Adamar product. The number of '1' code values in the component can be calculated with the similarity.

또한, 본 발명의 일실시예에 따르면, 단계(S460)에서는 상기 복수의 행위 판단 기준 행렬들 중 상기 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬이 둘 이상 존재하는 경우, 상기 둘 이상의 행위 판단 기준 행렬들 중 랜덤하게 선택된 어느 하나의 행위 판단 기준 행렬을 상기 제1 행위 판단 기준 행렬로 결정할 수 있다.Further, according to an embodiment of the present invention, in step S460, when there are two or more behavior judgment criteria matrices that are identified as having a similarity of the maximum value among the plurality of behavior judgment criteria matrices, the two or more behaviors Any one of the randomly selected action decision criterion matrices may be determined as the first action decision criterion matrix.

또한, 본 발명의 일실시예에 따르면, 상기 복수의 행위 정보들 중에는 비정상 행위인 것으로 미리 지정된 적어도 하나의 비정상 행위 정보가 포함되어 있을 수 있다.Further, according to an embodiment of the present invention, among the plurality of behavior information, at least one abnormal behavior information previously designated as an abnormal behavior may be included.

이때, 단계(S470)에서는 상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 상기 CCTV 관리 시스템 장치에 구비되어 있는 스피커를 통해 상기 제1 행위 정보가 비정상 행위 정보임을 나타내는 경고 알림음을 출력하는 단계를 포함할 수 있다.At this time, in step S470, when it is determined that the first behavior information is one of the at least one abnormal behavior information, indicating that the first behavior information is abnormal behavior information through a speaker provided in the CCTV management system device. And outputting a warning notification sound.

이때, 본 발명의 일실시예에 따르면, 상기 경고 알림음을 출력하는 단계는 상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 상기의 수학식 1의 연산에 따라 비정상 행위 지수를 산출한 후 미리 지정된 최대 스피커 음량 값(상기 최대 스피커 음량 값은 상기 스피커가 상기 경고 알림음을 최대로 출력할 경우에 낼 수 있는 최대 음량 값을 의미함)에 상기 비정상 행위 지수를 곱하여 음량 값을 산출하고, 상기 산출된 음량 값에 따라 상기 경고 알림음의 출력을 제어함으로써, 상기 경고 알림음의 출력을 조정할 수 있다.At this time, according to an embodiment of the present invention, the step of outputting the warning notification sound is abnormal according to the operation of Equation 1 when the first behavior information is confirmed to be one of the at least one abnormal behavior information. After calculating the activity index, the maximum speaker volume value specified in advance (the maximum speaker volume value means the maximum volume value that can be generated when the speaker outputs the warning notification sound to the maximum) is multiplied by the abnormal behavior index. By calculating the volume value and controlling the output of the warning notification sound according to the calculated volume value, the output of the warning notification sound can be adjusted.

또한, 본 발명의 일실시예에 따르면, 상기 CCTV 관리 시스템 장치의 동작 방법은 상기 안내 메시지가 생성된 후, 미리 정해진 시간 간격으로 단계(S420), 단계(S430), 단계(S440), 단계(S450), 단계(S460) 및 단계(S470)가 반복 수행되도록 제어함으로써, 상기 촬영 대상자의 현재 행위 정보를 나타내는 상기 안내 메시지가 상기 시간 간격으로 갱신되도록 처리하는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the operation method of the CCTV management system device, after the guidance message is generated, step (S420), step (S430), step (S440), step (S440) at a predetermined time interval S450), by controlling the steps (S460) and step (S470) to be performed repeatedly, may further include the step of processing such that the guide message indicating the current behavior information of the subject to be updated at the time interval.

이상, 도 4를 참조하여 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작 방법은 도 1을 이용하여 설명한 CCTV 관리 시스템 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.The operation method of the CCTV management system device according to an embodiment of the present invention has been described above with reference to FIG. 4. Here, since the operation method of the CCTV management system device according to an embodiment of the present invention may correspond to the configuration of the operation of the CCTV management system device 110 described with reference to FIG. 1, a detailed description thereof will be omitted. Shall be

본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The operation method of the CCTV management system device according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through combination with a computer.

또한, 본 발명의 일실시예에 따른 CCTV 관리 시스템 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the method of operating the CCTV management system device according to an embodiment of the present invention may be implemented in a form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, in the present invention, specific matters such as specific components and the like have been described by limited embodiments and drawings, but they are provided only to help a more comprehensive understanding of the present invention, and the present invention is not limited to the above embodiments , Anyone who has ordinary knowledge in the field to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the described embodiments, and should not be determined, but all claims that are equivalent or equivalent to the scope of the claims as well as the claims below will be considered to belong to the scope of the spirit of the invention. .

110: CCTV 관리 시스템 장치
111: 행위 판단 기준 행렬 저장부 112: 영상 수신부
113: 이미지 획득부 114: 관절 포인트 추출부
115: 행위 행렬 생성부 116: 유사도 연산부
117: 정보 출력부 118: 경고 알림음 출력부
119: 반복 수행 제어부 120: CCTV 카메라
130: 촬영 대상자 140: 관리자110: CCTV management system device
111: behavior determination criteria matrix storage unit 112: image receiving unit
113: image acquisition unit 114: joint point extraction unit
115: behavior matrix generation unit 116: similarity operation unit
117: information output unit 118: warning notification sound output unit
119: repeating control unit 120: CCTV camera
130: target person 140: manager

Claims (14)

CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치에 있어서,
미리 정해진(predetermined) 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들 - 상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬임 - 이 저장되어 있는 행위 판단 기준 행렬 저장부;
상기 CCTV 카메라를 통해 상기 촬영 대상자의 신체가 촬영된 신체 영상을 수신하는 영상 수신부;
상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하는 이미지 획득부;
상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하고, 상기 촬영 대상자의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출하는 관절 포인트 추출부;
상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성하는 행위 행렬 생성부;
상기 행위 판단 기준 행렬 저장부에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택하는 유사도 연산부; 및
상기 행위 판단 기준 행렬 저장부로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 상기 촬영 대상자에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 상기 CCTV 관리 시스템 장치에 구비되어 있는 디스플레이를 통해 출력하는 정보 출력부
를 포함하는 CCTV 관리 시스템 장치.In the CCTV management system device for performing the recognition of the action of the person in the video from the video taken through the CCTV camera,
The predetermined (predetermined) a plurality of different behavior information, and a plurality of different predetermined n (n is a natural number of 2 or more) xk (k is a natural number of 2 or more) predetermined to correspond to each of the plurality of behavior information Behavior judgment criteria matrices-each of the plurality of behavior judgment criteria matrices is a matrix having codes of '0' and '1' as components;
An image receiving unit which receives a body image of the body of the person to be photographed through the CCTV camera;
An image acquiring unit acquiring an image including a body of the subject to be photographed from any one of a plurality of frames constituting the body image;
A joint point extraction unit that detects a body region of the subject to be photographed from the image and extracts m (m is a natural number of 2 or more) joint points from the body region of the subject;
When the m joint points are extracted, the image is divided equally into nxk partial images composed of n lengths and k widths, and then the m joint points are located inside each of the nxk partial images. It is checked whether a code of '1' is allocated to a partial image where each of the m joint points is located, and a code of '0' is allocated to a remaining partial image where each of the m joint points is not located. By doing so, an action matrix generator for generating an action matrix of nxk having a code assigned to each of the nxk partial images as a component;
A first that is determined to have a similarity of a maximum value among the plurality of behavior judgment criteria matrices after calculating the similarity between each of the plurality of behavior judgment criteria matrices stored in the behavior judgment criteria matrix storage unit and the behavior matrix A similarity calculating unit for selecting a behavior judgment criteria matrix; And
Check the first behavior information stored in correspondence with the first behavior judgment criteria matrix from the behavior judgment criteria matrix storage unit, and generate a guide message indicating that the first behavior information is behavior information currently matching the subject to be photographed After that, the information output unit for outputting the guide message through the display provided in the CCTV management system device
CCTV management system device comprising a. 제1항에 있어서,
상기 유사도 연산부는
상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 아다마르 곱(Hadamard product)을 연산하고, 상기 아다마르 곱의 연산에 따라 산출되는 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 상기 유사도로 연산하는 CCTV 관리 시스템 장치.According to claim 1,
The similarity calculating unit
A code value of '1' is present in a component constituting a matrix calculated according to the operation of the Hadamard product and calculating the Hadamard product between each of the plurality of behavior determination reference matrices and the behavior matrix CCTV management system device for calculating the number to the similarity. 제1항에 있어서,
상기 유사도 연산부는
상기 복수의 행위 판단 기준 행렬들 중 상기 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬이 둘 이상 존재하는 경우, 상기 둘 이상의 행위 판단 기준 행렬들 중 랜덤하게 선택된 어느 하나의 행위 판단 기준 행렬을 상기 제1 행위 판단 기준 행렬로 결정하는 CCTV 관리 시스템 장치.According to claim 1,
The similarity calculating unit
If there are two or more behavior judgment criteria matrices that are identified as having the similarity of the maximum value among the plurality of behavior judgment criteria matrices, any one of the behavior judgment criteria matrices randomly selected from the two or more behavior judgment criteria matrices is selected. CCTV management system device to determine the first behavior judgment criteria matrix. 제1항에 있어서,
상기 복수의 행위 정보들 중에는 비정상 행위인 것으로 미리 지정된 적어도 하나의 비정상 행위 정보가 포함되어 있고,
상기 정보 출력부는
상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 상기 CCTV 관리 시스템 장치에 구비되어 있는 스피커를 통해 상기 제1 행위 정보가 비정상 행위 정보임을 나타내는 경고 알림음을 출력하는 경고 알림음 출력부
를 포함하는 CCTV 관리 시스템 장치.According to claim 1,
Among the plurality of behavior information, at least one abnormal behavior information previously designated as an abnormal behavior is included,
The information output unit
When it is determined that the first behavior information is one of the at least one abnormal behavior information, a warning outputs a warning notification sound indicating that the first behavior information is abnormal behavior information through a speaker provided in the CCTV management system device. Notification sound output
CCTV management system device comprising a. 제4항에 있어서,
상기 경고 알림음 출력부는
상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 하기의 수학식 1의 연산에 따라 비정상 행위 지수를 산출한 후 미리 지정된 최대 스피커 음량 값 - 상기 최대 스피커 음량 값은 상기 스피커가 상기 경고 알림음을 최대로 출력할 경우에 낼 수 있는 최대 음량 값을 의미함 - 에 상기 비정상 행위 지수를 곱하여 음량 값을 산출하고, 상기 산출된 음량 값에 따라 상기 경고 알림음의 출력을 제어함으로써, 상기 경고 알림음의 출력을 조정하는 CCTV 관리 시스템 장치.
[수학식 1]
Figure 112020043142189-pat00005

여기서,
Figure 112020043142189-pat00006
는 상기 비정상 행위 지수로,
Figure 112020043142189-pat00007
는 상기 행위 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수,
Figure 112020043142189-pat00008
는 상기 제1 행위 판단 기준 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 의미함.According to claim 4,
The warning notification sound output unit
If it is determined that the first behavior information is one of the at least one abnormal behavior information, the maximum speaker volume value is predetermined after calculating the abnormal behavior index according to the operation of Equation 1 below-the maximum speaker volume value is the Means the maximum volume value that can be generated when the speaker outputs the warning notification sound to the maximum-multiplies the abnormal behavior index to calculate the volume value, and outputs the warning notification sound according to the calculated volume value. By controlling, the CCTV management system device for adjusting the output of the warning notification sound.
[Equation 1]
Figure 112020043142189-pat00005

here,
Figure 112020043142189-pat00006
Is the abnormal behavior index,
Figure 112020043142189-pat00007
Is the number of code values of '1' in the components constituting the behavior matrix,
Figure 112020043142189-pat00008
Is the number of code values of '1' in the components constituting the first behavior determination reference matrix. 제1항에 있어서,
상기 안내 메시지가 생성된 후, 미리 정해진 시간 간격으로 상기 영상 수신부, 상기 이미지 획득부, 상기 관절 포인트 추출부, 상기 행위 행렬 생성부, 상기 유사도 연산부 및 상기 정보 출력부의 동작이 반복 수행되도록 제어함으로써, 상기 촬영 대상자의 현재 행위 정보를 나타내는 상기 안내 메시지가 상기 시간 간격으로 갱신되도록 처리하는 반복 수행 제어부
를 더 포함하는 CCTV 관리 시스템 장치.According to claim 1,
After the guidance message is generated, by controlling the operation of the image receiving unit, the image acquisition unit, the joint point extraction unit, the behavior matrix generation unit, the similarity calculation unit and the information output unit to be repeatedly performed at predetermined time intervals, Iteratively performing control unit to process the guide message indicating the current behavior information of the subject to be updated at the time interval
CCTV management system device further comprising a. CCTV 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 CCTV 관리 시스템 장치의 동작 방법에 있어서,
미리 정해진(predetermined) 서로 다른 복수의 행위 정보들과, 상기 복수의 행위 정보들 각각에 대응되는 것으로 미리 정해진 서로 다른 복수의 n(n은 2이상의 자연수임) x k(k는 2이상의 자연수임)의 행위 판단 기준 행렬들 - 상기 복수의 행위 판단 기준 행렬들 각각은 '0'과 '1'의 코드를 성분으로 갖는 행렬임 - 이 저장되어 있는 행위 판단 기준 행렬 저장부를 유지하는 단계;
상기 CCTV 카메라를 통해 상기 촬영 대상자의 신체가 촬영된 신체 영상을 수신하는 단계;
상기 신체 영상을 구성하는 복수의 프레임들 중 어느 하나의 프레임으로부터 상기 촬영 대상자의 신체가 포함된 이미지를 획득하는 단계;
상기 이미지에서 상기 촬영 대상자의 신체 영역을 검출하고, 상기 촬영 대상자의 신체 영역으로부터 m(m은 2이상의 자연수임)개의 관절 포인트들을 추출하는 단계;
상기 m개의 관절 포인트들이 추출되면, 상기 이미지를 세로 n개, 가로 k개로 구성되는 n x k개의 부분 이미지들로 균등하게 분할한 후 상기 n x k개의 부분 이미지들 각각의 내부에 상기 m개의 관절 포인트들이 위치하는지 여부를 확인하여 상기 m개의 관절 포인트들 각각이 위치하는 부분 이미지에 대해 '1'의 코드를 할당하고, 상기 m개의 관절 포인트들 각각이 위치하지 않은 나머지 부분 이미지에 대해 '0'의 코드를 할당함으로써, 상기 n x k개의 부분 이미지들 각각에 할당된 코드를 성분으로 갖는 n x k의 행위 행렬을 생성하는 단계;
상기 행위 판단 기준 행렬 저장부에 저장되어 있는 상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 유사도를 연산한 후 상기 복수의 행위 판단 기준 행렬들 중 최대 값의 유사도를 갖는 것으로 확인되는 제1 행위 판단 기준 행렬을 선택하는 단계; 및
상기 행위 판단 기준 행렬 저장부로부터 상기 제1 행위 판단 기준 행렬에 대응되어 저장되어 있는 제1 행위 정보를 확인하고, 상기 제1 행위 정보가 상기 촬영 대상자에 현재 매칭되는 행위 정보임을 나타내는 안내 메시지를 생성한 후 상기 안내 메시지를 상기 CCTV 관리 시스템 장치에 구비되어 있는 디스플레이를 통해 출력하는 단계
를 포함하는 CCTV 관리 시스템 장치의 동작 방법.In the operation method of the CCTV management system device for performing the recognition of the action of the person in the video from the video taken through the CCTV camera,
The predetermined (predetermined) a plurality of different behavior information, and a plurality of different predetermined n (n is a natural number of 2 or more) xk (k is a natural number of 2 or more) predetermined to correspond to each of the plurality of behavior information Maintaining behavior judgment criteria matrices storing the stored behavior judgment criteria matrices, each of the plurality of behavior judgment criteria matrices having a code of '0' and '1' as a component;
Receiving a body image in which the body of the subject is photographed through the CCTV camera;
Obtaining an image including the body of the subject to be photographed from any one of a plurality of frames constituting the body image;
Detecting a body region of the subject to be photographed from the image, and extracting m (m is a natural number of 2 or more) joint points from the subject's body region;
When the m joint points are extracted, the image is divided equally into nxk partial images composed of n lengths and k widths, and then the m joint points are located inside each of the nxk partial images. It is checked whether a code of '1' is allocated to a partial image where each of the m joint points is located, and a code of '0' is allocated to a remaining partial image where each of the m joint points is not located. Thereby generating a behavior matrix of nxk having, as a component, a code assigned to each of the nxk partial images;
A first that is determined to have a similarity of a maximum value among the plurality of behavior judgment criteria matrices after calculating the similarity between each of the plurality of behavior judgment criteria matrices stored in the behavior judgment criteria matrix storage unit and the behavior matrix Selecting an action judgment criteria matrix; And
Check the first behavior information stored in correspondence with the first behavior judgment criteria matrix from the behavior judgment criteria matrix storage unit, and generate a guide message indicating that the first behavior information is behavior information currently matching the subject to be photographed And then outputting the guide message through a display provided in the CCTV management system device.
Operation method of a CCTV management system device comprising a. 제7항에 있어서,
상기 선택하는 단계는
상기 복수의 행위 판단 기준 행렬들 각각과 상기 행위 행렬 간의 아다마르 곱(Hadamard product)을 연산하고, 상기 아다마르 곱의 연산에 따라 산출되는 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 상기 유사도로 연산하는 CCTV 관리 시스템 장치의 동작 방법.The method of claim 7,
The selecting step is
A code value of '1' is present in a component constituting a matrix calculated according to the operation of the Hadamard product and calculating the Hadamard product between each of the plurality of behavior determination reference matrices and the behavior matrix A method of operation of a CCTV management system device that calculates the number to the similarity. 제7항에 있어서,
상기 선택하는 단계는
상기 복수의 행위 판단 기준 행렬들 중 상기 최대 값의 유사도를 갖는 것으로 확인되는 행위 판단 기준 행렬이 둘 이상 존재하는 경우, 상기 둘 이상의 행위 판단 기준 행렬들 중 랜덤하게 선택된 어느 하나의 행위 판단 기준 행렬을 상기 제1 행위 판단 기준 행렬로 결정하는 CCTV 관리 시스템 장치의 동작 방법.The method of claim 7,
The selecting step is
If there are two or more behavior judgment criteria matrices that are identified as having the similarity of the maximum value among the plurality of behavior judgment criteria matrices, any one of the behavior judgment criteria matrices randomly selected from the two or more behavior judgment criteria matrices is selected. A method of operating a CCTV management system device, which is determined by the first behavior determination reference matrix. 제7항에 있어서,
상기 복수의 행위 정보들 중에는 비정상 행위인 것으로 미리 지정된 적어도 하나의 비정상 행위 정보가 포함되어 있고,
상기 출력하는 단계는
상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 상기 CCTV 관리 시스템 장치에 구비되어 있는 스피커를 통해 상기 제1 행위 정보가 비정상 행위 정보임을 나타내는 경고 알림음을 출력하는 단계
를 포함하는 CCTV 관리 시스템 장치의 동작 방법.The method of claim 7,
Among the plurality of behavior information, at least one abnormal behavior information previously designated as an abnormal behavior is included,
The step of outputting
When it is determined that the first behavior information is one of the at least one abnormal behavior information, outputting a warning notification sound indicating that the first behavior information is abnormal behavior information through a speaker provided in the CCTV management system device.
Operation method of a CCTV management system device comprising a. 제10항에 있어서,
상기 경고 알림음을 출력하는 단계는
상기 제1 행위 정보가 상기 적어도 하나의 비정상 행위 정보 중 하나인 것으로 확인되면, 하기의 수학식 1의 연산에 따라 비정상 행위 지수를 산출한 후 미리 지정된 최대 스피커 음량 값 - 상기 최대 스피커 음량 값은 상기 스피커가 상기 경고 알림음을 최대로 출력할 경우에 낼 수 있는 최대 음량 값을 의미함 - 에 상기 비정상 행위 지수를 곱하여 음량 값을 산출하고, 상기 산출된 음량 값에 따라 상기 경고 알림음의 출력을 제어함으로써, 상기 경고 알림음의 출력을 조정하는 CCTV 관리 시스템 장치의 동작 방법.
[수학식 1]
Figure 112020043142189-pat00009

여기서,
Figure 112020043142189-pat00010
는 상기 비정상 행위 지수로,
Figure 112020043142189-pat00011
는 상기 행위 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수,
Figure 112020043142189-pat00012
는 상기 제1 행위 판단 기준 행렬을 구성하는 성분에서 '1'의 코드 값이 존재하는 개수를 의미함.The method of claim 10,
The step of outputting the warning notification sound is
If it is determined that the first behavior information is one of the at least one abnormal behavior information, the maximum speaker volume value is predetermined after calculating the abnormal behavior index according to the operation of Equation 1 below-the maximum speaker volume value is the Means the maximum volume value that can be generated when the speaker outputs the warning notification sound to the maximum-multiplies the abnormal behavior index to calculate the volume value, and outputs the warning notification sound according to the calculated volume value. By controlling, the operation method of the CCTV management system device for adjusting the output of the warning notification sound.
[Equation 1]
Figure 112020043142189-pat00009

here,
Figure 112020043142189-pat00010
Is the abnormal behavior index,
Figure 112020043142189-pat00011
Is the number of code values of '1' in the components constituting the behavior matrix,
Figure 112020043142189-pat00012
Is the number of code values of '1' in the components constituting the first behavior determination reference matrix. 제7항에 있어서,
상기 안내 메시지가 생성된 후, 미리 정해진 시간 간격으로 상기 수신하는 단계, 상기 획득하는 단계, 상기 추출하는 단계, 상기 생성하는 단계, 상기 선택하는 단계 및 상기 출력하는 단계가 반복 수행되도록 제어함으로써, 상기 촬영 대상자의 현재 행위 정보를 나타내는 상기 안내 메시지가 상기 시간 간격으로 갱신되도록 처리하는 단계
를 더 포함하는 CCTV 관리 시스템 장치의 동작 방법.The method of claim 7,
After the guide message is generated, by controlling the receiving step, the acquiring step, the extracting step, the generating step, the selecting step and the outputting step to be repeatedly performed at predetermined time intervals, the Processing such that the guide message indicating the current behavior information of the person to be photographed is updated at the time intervals
Operation method of the CCTV management system device further comprising a. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a computer program for executing the method of any one of claims 7 to 12 through combination with a computer. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium for executing the method of any one of claims 7 to 12 through combination with a computer.
KR1020200050789A 2020-04-27 2020-04-27 Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof KR102129771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200050789A KR102129771B1 (en) 2020-04-27 2020-04-27 Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050789A KR102129771B1 (en) 2020-04-27 2020-04-27 Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof

Publications (1)

Publication Number Publication Date
KR102129771B1 true KR102129771B1 (en) 2020-07-03

Family

ID=71571802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050789A KR102129771B1 (en) 2020-04-27 2020-04-27 Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof

Country Status (1)

Country Link
KR (1) KR102129771B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881786A (en) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 Store operation behavior management method, device and storage medium
WO2022097805A1 (en) * 2020-11-04 2022-05-12 한국전자기술연구원 Method, device, and system for detecting abnormal event
WO2023282410A1 (en) * 2021-07-05 2023-01-12 서울과학기술대학교 산학협력단 Method for recognizing same character in images captured by plurality of cameras, and recording medium and apparatus for performing same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015212861A (en) * 2014-05-01 2015-11-26 日本電信電話株式会社 Multiple joint object tracking device, multiple joint object tracking method, and program
KR20180129587A (en) * 2017-05-25 2018-12-05 삼성전자주식회사 Method and system for detecting a dangerous situation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015212861A (en) * 2014-05-01 2015-11-26 日本電信電話株式会社 Multiple joint object tracking device, multiple joint object tracking method, and program
KR20180129587A (en) * 2017-05-25 2018-12-05 삼성전자주식회사 Method and system for detecting a dangerous situation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Determination of Lying Posture through Recognition of Multitier Body Parts" *
"multi-task Deep Learning for Real-Time 3D Human Pose Estimation and Action Recognition" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881786A (en) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 Store operation behavior management method, device and storage medium
CN111881786B (en) * 2020-07-13 2023-11-03 深圳力维智联技术有限公司 Store operation behavior management method, store operation behavior management device and storage medium
WO2022097805A1 (en) * 2020-11-04 2022-05-12 한국전자기술연구원 Method, device, and system for detecting abnormal event
WO2023282410A1 (en) * 2021-07-05 2023-01-12 서울과학기술대학교 산학협력단 Method for recognizing same character in images captured by plurality of cameras, and recording medium and apparatus for performing same

Similar Documents

Publication Publication Date Title
KR102129771B1 (en) Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof
KR102155182B1 (en) Video recording method, server, system and storage medium
JP4700477B2 (en) MOBILE BODY MONITORING SYSTEM AND MOBILE BODY FEATURE CALCULATION DEVICE
CN111898581B (en) Animal detection method, apparatus, electronic device, and readable storage medium
US20170344832A1 (en) System and method for event monitoring and detection
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP2018160219A (en) Moving route prediction device and method for predicting moving route
JPWO2014171258A1 (en) Information processing system, information processing method, and program
JPWO2014125882A1 (en) Information processing system, information processing method, and program
KR100982347B1 (en) smoke sensing method and system
JP2008040781A (en) Subject verification apparatus and subject verification method
KR101979375B1 (en) Method of predicting object behavior of surveillance video
KR102391853B1 (en) System and Method for Processing Image Informaion
Poonsri et al. Improvement of fall detection using consecutive-frame voting
KR102332229B1 (en) Method for Augmenting Pedestrian Image Data Based-on Deep Learning
CN114359976B (en) Intelligent security method and device based on person identification
JP7222231B2 (en) Action recognition device, action recognition method and program
US9256945B2 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
CN111126411B (en) Abnormal behavior identification method and device
KR102128319B1 (en) Method and Apparatus for Playing Video by Using Pan-Tilt-Zoom Camera
KR20210096754A (en) Safety management method and system using image learning model for digital Safety, Health, Environment industry specialization
KR102077632B1 (en) Hybrid intellgent monitoring system suing local image analysis and cloud service
CN115062112A (en) Monitoring and defense deploying method, device and system based on text description
KR20130094488A (en) System and method for monitoring emergency motion based image
JP2014215747A (en) Tracking device, tracking system, and tracking method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant