KR101378856B1 - Safety management method and device thereof - Google Patents

Safety management method and device thereof Download PDF

Info

Publication number
KR101378856B1
KR101378856B1 KR1020120067033A KR20120067033A KR101378856B1 KR 101378856 B1 KR101378856 B1 KR 101378856B1 KR 1020120067033 A KR1020120067033 A KR 1020120067033A KR 20120067033 A KR20120067033 A KR 20120067033A KR 101378856 B1 KR101378856 B1 KR 101378856B1
Authority
KR
South Korea
Prior art keywords
information
abnormal situation
data
feature
abnormal
Prior art date
Application number
KR1020120067033A
Other languages
Korean (ko)
Other versions
KR20130143457A (en
Inventor
김덕성
최종문
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020120067033A priority Critical patent/KR101378856B1/en
Publication of KR20130143457A publication Critical patent/KR20130143457A/en
Application granted granted Critical
Publication of KR101378856B1 publication Critical patent/KR101378856B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 안전 관리 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 CCTV 및/또는 마이크 등의 멀티미디어장치를 이용한 안전 관리 방법 및 그 장치에 관한 것이다.
본 발명에 따른 안전 관리 장치는 특징데이터가 저장되는 저장부, n개의 멀티미디어데이터가 수신되는 통신부 및 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하고, 특징정보와 상기 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 제어부를 포함한다. The present invention relates to a safety management method and apparatus, and more particularly, to a safety management method and apparatus using multimedia devices such as CCTV and / or microphone.
The safety management apparatus according to the present invention extracts predetermined feature information from each of a storage unit storing characteristic data, a communication unit receiving n multimedia data, and n multimedia data, and compares the characteristic information with the characteristic data to determine an abnormal situation. It includes a control unit for determining whether the occurrence of.

Description

안전 관리 방법 및 그 장치{Safety management method and device thereof}Safety management method and device

본 발명은 안전 관리 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 CCTV 및/또는 마이크 등의 멀티미디어장치를 이용한 안전 관리 방법 및 그 장치에 관한 것이다. The present invention relates to a safety management method and apparatus, and more particularly, to a safety management method and apparatus using multimedia devices such as CCTV and / or microphone.

건물 내부, 선박 내부, 학교주변 등의 지역에는 보안용 CCTV가 설치되어 있다. 예를 들면, 빌딩, 아파트단지 등의 경비중앙 관리실에서 모니터링되는 CCTV들도 있고, 보안업체에서 관리하는 CCTV, 경찰 및 관공서에서 범죄예방, 쓰레기 투기 등의 공익 목적으로 설치 및 관리되는 CCTV들도 있다. 하지만, 이를 모니터링하는 인원의 한계 때문에 감시자가 각각의 카메라들에 대한 영상을 전체적으로 확인하는 것은 불가능한 것이 현실이다.Security CCTVs are installed in buildings, ships, and schools. For example, there are CCTVs that are monitored in the central security offices of buildings and apartment complexes, and CCTVs that are installed and managed for public interests such as crime prevention and garbage dumping in security companies, CCTVs, police and government offices. . However, due to the limitation of the number of people monitoring it, it is impossible for the monitor to check the image of each camera as a whole.

이러한 부분을 보완하기 위해, CCTV 전문업체에서는 물체 및 인체감지 기능, 특정인 또는 특정집단의 지정 트래킹 기능 등, 많은 부가 기능들을 접목시키고 있다. 하지만, 이러한 기능들은 모니터 화면을 모니터링하는 사람이 직접 조작해야 하며, 또는 이러한 기능들이 자동으로 처리가 된다고 하더라도 모니터링 인원이 직접 눈으로 관찰하는 것에 대한 보조적인 기능에 불과하다.To compensate for this, CCTV specialists have incorporated many additional features, such as object and human body detection and specific tracking of specific or specific groups. However, these functions must be operated directly by the person who monitors the monitor screen, or even if these functions are handled automatically, they are only a supplementary function for monitoring by the monitoring person.

한편, 전술한 문제점을 해결하기 위한 선행 기술로서, 대한민국 특허공개번호 제10-2006-0031832호(공개일: 2006년 04월 13일)에는 "실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템"이라는 명칭의 발명이 개시되어 있다. 당해 선행기술에 따른 보안 시스템은 행위 분석 및 상황 인지 기능을 가짐으로써, 결과조치 매니저가 담당자의 이동통신 단말기 또는 컴퓨터 등으로 경보(이메일, SMS 등)를 전송하지만, 이 또한 긴급상황에 즉각적으로 대처할 수 없다는 문제점이 있다. On the other hand, as a prior art for solving the above-mentioned problem, Korean Patent Publication No. 10-2006-0031832 (published: April 13, 2006) is called "real-time behavior analysis and situation-based smart video security system" The invention of the name is disclosed. The security system according to the prior art has an action analysis and situation awareness function, so that the result action manager sends an alert (email, SMS, etc.) to the mobile terminal or the computer of the person in charge, but this also promptly responds to an emergency situation. There is a problem that can not be.

대한민국 특허공개번호 제10-2006-0031832호Republic of Korea Patent Publication No. 10-2006-0031832

상술한 문제점을 해결하기 위하여 본 발명은 정확하게 긴급상황을 판단하고, 판단된 긴급상황에 외부 인력이 즉각적으로 대처할 수 있도록 하는 안전 관리 방법 및 그 장치를 제공하고자 한다. In order to solve the above problems, the present invention is to accurately determine an emergency situation, and to provide a safety management method and apparatus for allowing external personnel to respond immediately to the determined emergency situation.

본 발명의 일 측면에 따르면, 특징데이터가 저장되는 저장부; n개의 멀티미디어데이터가 수신되는 통신부; 및 상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하고, 상기 특징정보와 상기 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 제어부;를 포함하되, 상기 n은 2 이상의 자연수인 안전 관리 장치가 개시된다. According to an aspect of the invention, the storage unit for storing the feature data; a communication unit for receiving n multimedia data; And a controller for extracting predetermined feature information from each of the n multimedia data and comparing the feature information with the feature data to determine whether an abnormal situation has occurred, wherein n is a natural number of two or more. Is disclosed.

여기서, 상기 비정상상황이 발생되면, 상기 제어부는 경고정보를 생성하고, 상기 통신부는 상기 경고정보를 외부기기로 전송할 수 있다. Here, when the abnormal situation occurs, the control unit generates warning information, and the communication unit may transmit the warning information to an external device.

또한, 상기 제어부는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 미등록인물의 존재를 판단하고, 상기 미등록인물이 미리 설정된 명수 이상이면 상기 비정상상황이 발생된 것으로 판단하되, 상기 얼굴정보 및 상기 복장정보는 상기 특징정보에 포함될 수 있다. In addition, the controller determines the existence of an unregistered person using at least one of face information and dress information, and if the unregistered person has a predetermined number or more, determines that the abnormal situation has occurred, but the face information and the dress information May be included in the feature information.

또한, 상기 미등록인물이 상기 명수 이상인 상황이 미리 설정된 시간 동안 계속되면, 상기 제어부는 상기 비정상상황이 발생된 것으로 판단할 수 있다. The controller may determine that the abnormal situation is generated when the situation in which the unregistered person is more than the number of people continues for a preset time.

또한, 상기 제어부는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 대상피사체를 인식하고, 상기 대상피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악하며, 상기 횟수가 미리 설정된 개수 이상이면 상기 비정상상황이 발생된 것으로 판단하되, 상기 얼굴정보 및 상기 복장정보는 상기 특징정보에 포함될 수 있다. In addition, the controller recognizes the target subject using at least one of face information and clothing information, grasps the number of times the target subject is recognized during a preset abnormal recognition time, and if the number is more than a preset number, the abnormal situation. It is determined that this has occurred, the face information and the dress information may be included in the feature information.

또한, 상기 비정상인식시간 동안 상기 대상피사체를 촬상한 멀티미디어장치가 미리 설정된 개수 이상인 경우, 상기 제어부는 상기 비정상상황이 발생된 것으로 판단할 수 있다. The controller may determine that the abnormal situation is generated when the multimedia apparatus photographing the target subject is greater than or equal to a preset number during the abnormal recognition time.

본 발명의 다른 측면에 따르면, n개의 멀티미디어데이터가 수신되는 단계; 상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하는 단계; 및 상기 특징정보와 기저장된 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 단계;를 포함하되, 상기 n은 2 이상의 자연수인 안전 관리 방법이 개시된다. According to another aspect of the invention, the step of receiving n multimedia data; Extracting predetermined feature information from each of the n pieces of multimedia data; And comparing the feature information with previously stored feature data to determine whether an abnormal situation has occurred, wherein n is a natural number of two or more.

여기서, 상기 안전 관리 방법은 상기 비정상상황이 발생되면 경고정보를 생성하는 단계; 및 상기 통신부는 상기 경고정보를 외부기기로 전송하는 단계;를 더 포함할 수 있다. Here, the safety management method comprises the steps of generating warning information when the abnormal situation occurs; And the communication unit transmitting the warning information to an external device.

또한, 상기 비정상상황의 발생 여부를 판단하는 단계는, 얼굴정보 및 복장정보 중 하나 이상을 이용하여 미등록인물의 유무를 판단하는 단계; 및 상기 미등록인물이 미리 설정된 명수 이상이면 상기 비정상상황이 발생된 것으로 판단하는 단계;를 포함하되, 상기 얼굴정보 및 상기 복장정보는 상기 특징정보에 포함될 수 있다. In addition, the step of determining whether the abnormal situation occurs, the step of determining the presence or absence of an unregistered person using at least one of the face information and dress information; And determining that the abnormal situation is generated when the unregistered person has a predetermined number or more, wherein the face information and the dress information may be included in the feature information.

또한, 상기 비정상상황의 발생 여부를 판단하는 단계는, 상기 미등록인물이 상기 명수 이상인 상황이 미리 설정된 시간 동안 계속되면 상기 비정상상황이 발생된 것으로 판단하는 단계;를 더 포함할 수 있다. The determining of the occurrence of the abnormal situation may further include determining that the abnormal situation is generated when the situation in which the unregistered person is longer than the predetermined number of times continues for a preset time.

또한, 상기 비정상상황의 발생 여부를 판단하는 단계는, 얼굴정보 및 복장정보 중 하나 이상을 이용하여 대상피사체를 인식하는 단계; 상기 대상피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악하는 단계; 및 상기 횟수가 미리 설정된 개수 이상이면 상기 비정상상황이 발생된 것으로 판단하는 단계;를 포함하되, 상기 얼굴정보 및 상기 복장정보는 상기 특징정보에 포함될 수 있다. In addition, the step of determining whether the abnormal situation occurs, the step of recognizing the target subject using at least one of the face information and clothing information; Determining a number of times the target subject is recognized during a preset abnormal recognition time; And determining that the abnormal situation has occurred if the number is greater than or equal to a preset number. The facial information and the dress information may be included in the feature information.

또한, 상기 비정상상황의 발생 여부를 판단하는 단계는, 상기 비정상인식시간 동안 상기 대상피사체를 촬상한 멀티미디어장치가 미리 설정된 개수 이상이면 상기 비정상상황이 발생된 것으로 판단하는 단계;를 더 포함할 수 있다. The determining of the occurrence of the abnormal situation may further include determining that the abnormal situation has occurred if the multimedia apparatus photographing the target subject during the abnormal recognition time is greater than or equal to a preset number. .

본 발명의 또 다른 측면에 따르면, 상술한 안전 관리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 개시된다. According to still another aspect of the present invention, a computer-readable recording medium having a program recorded thereon for executing the above-described safety management method on a computer is disclosed.

본 발명에 따른 안전 관리 방법 및 그 장치에 따르면 정확하게 긴급상황을 판단할 수 있고, 외부 인력이 판단된 긴급상황에 즉각적으로 대처할 수 있도록 할 수 있다.According to the safety management method and the device according to the present invention can accurately determine the emergency situation, it is possible to enable external personnel to immediately respond to the determined emergency situation.

도 1은 본 발명의 일 실시예에 따른 안전 관리 시스템에 대한 구성도.
도 2는 본 발명의 일 실시예에 따른 안전 관리 장치에 대한 구성도.
도 3은 본 발명에서 활용되는 특징정보를 예시한 도면.
도 4는 본 발명의 일 실시예에 따라 비정상인식시간 동안에 대상피사체가 촬상된 멀티미디어데이터들을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 안전 관리 방법에 대한 순서도.
도 6은 본 발명의 다른 실시예에 따른 안전 관리 방법에 대한 순서도.
도 7은 본 발명의 또 다른 실시예에 따른 안전 관리 방법에 대한 순서도. 1 is a block diagram of a safety management system according to an embodiment of the present invention.
2 is a block diagram of a safety management device according to an embodiment of the present invention.
3 is a diagram illustrating feature information utilized in the present invention.
4 is a diagram illustrating multimedia data photographed by a subject during an abnormal recognition time according to an embodiment of the present invention.
5 is a flow chart for a safety management method according to an embodiment of the present invention.
6 is a flow chart for a safety management method according to another embodiment of the present invention.
7 is a flow chart for a safety management method according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 안전 관리 시스템에 대한 구성도이다. 1 is a block diagram of a safety management system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 안전 관리 시스템(100)은 n개의 멀티미디어장치(110)(단, n은 자연수), 안전 관리 장치(120) 및 관리자 단말기(130)를 포함하고, 각각의 장치들은 네트워크(140)를 통하여 서로 각종 신호 및/또는 정보를 송수신할 수 있다. 여기서, 네트워크(140)는 인터넷, 인트라넷, 위성통신, 이동통신망 등의 각종 유무선 통신망을 모두 포함한다. 이하 각 구성요소들의 동작에 대해 상세하게 설명한다. Referring to FIG. 1, the safety management system 100 according to an embodiment of the present invention includes n multimedia devices 110 (where n is a natural number), a safety management device 120, and an administrator terminal 130. In addition, each device may transmit and receive various signals and / or information with each other through the network 140. Here, the network 140 includes all wired and wireless communication networks such as the Internet, an intranet, satellite communication, and a mobile communication network. Hereinafter, the operation of each component will be described in detail.

n개의 멀티미디어장치(110) 각각은 구비된 카메라 및/또는 마이크를 이용해 생성한 멀티미디어데이터를 안전 관리 장치(120)로 전송한다. 즉, 멀티미디어장치(110) 각각은 구비된 카메라를 통해 영상데이터를 생성할 수 있고, 생성된 영상데이터를 네트워크(140)를 통해 안전 관리 장치(120)로 전송할 수 있다. 또한, 멀티미디어장치(110) 각각은 구비된 마이크를 통해 음성데이터를 생성할 수 있고, 생성된 음성데이터를 네트워크(140)를 통해 안전 관리 장치(120)로 전송할 수 있다. Each of the n multimedia devices 110 transmits the multimedia data generated using the provided camera and / or microphone to the safety management device 120. That is, each of the multimedia apparatus 110 may generate image data through the provided camera, and transmit the generated image data to the safety management apparatus 120 through the network 140. In addition, each of the multimedia apparatus 110 may generate voice data through the provided microphone, and transmit the generated voice data to the safety management apparatus 120 through the network 140.

안전 관리 장치(120)는 n개의 멀티미디어장치(110) 각각으로부터 수신된 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하고, 추출된 특징정보와 기저장된 특징데이터를 비교하여 비정상적인 상황(이하, '비정상상황'이라 칭함)의 발생 여부를 판단한다. 여기서, 특징정보는 멀티미디어데이터에서 미리 설정된 방법에 따라 추출된 정보일 수 있다. 또한, 특징데이터는 안전 관리 장치(120)에 기저장된 정보일 수 있다. 특징정보 및 특징데이터에 대해서는 도 2 및 도 3을 참조하여 후술한다. The safety management device 120 extracts predetermined feature information from each of the multimedia data received from each of the n multimedia devices 110 and compares the extracted feature information with previously stored feature data (hereinafter, 'abnormal situation'). ')' Is determined. Here, the feature information may be information extracted according to a preset method from the multimedia data. In addition, the feature data may be information previously stored in the safety management device 120. Feature information and feature data will be described later with reference to FIGS. 2 and 3.

또한, 안전 관리 장치(120)는 비정상상황이 발생되면 이를 외부에 알리기 위한 경고정보를 생성하고, 생성된 경고정보를 네트워크(140)를 통하여 외부기기(예를 들어, 관리자단말기(130))로 전송한다. In addition, the safety management device 120 generates warning information for notifying the outside when an abnormal situation occurs, the generated warning information to the external device (for example, the administrator terminal 130) through the network 140 send.

관리자 단말기(130)는 안전 관리 장치(120)로부터 수신된 경고정보를 외부로 출력하여 관리자로 하여금 멀티미디어장치(110)가 설치된 장소에 비정상상황이 발생되었음을 인식할 수 있도록 한다. 예를 들어, 관리자 단말기(130)는 경고정보가 수신되면 경고음 및/또는 경고영상을 출력하여 관리자가 비정상상황을 인식하도록 할 수 있다. 여기서, 관리자 단말기는 멀티미디어장치(110), 안전 관리 장치(120)와 통신을 수행할 수 있는 모든 장치를 포함하고, 예를 들어 스마트폰(130-1), 노트북컴퓨터(130-2) 및/또는 데스크탑컴퓨터(130-3) 등의 장치일 수 있다.The manager terminal 130 outputs the warning information received from the safety management device 120 to the outside so that the manager can recognize that an abnormal situation has occurred in the place where the multimedia apparatus 110 is installed. For example, the manager terminal 130 may output a warning sound and / or a warning image when the warning information is received so that the manager may recognize an abnormal situation. Here, the manager terminal includes all devices capable of communicating with the multimedia apparatus 110 and the safety management apparatus 120, for example, the smartphone 130-1, the notebook computer 130-2, and / Or a device such as the desktop computer 130-3.

상술한 바와 같이, 본 발명에 따른 안전 관리 시스템(100)은 멀티미디어장치(110)에서 생성된 멀티미디어데이터를 분석하여 임의의 장소에서 비정상상황이 발생하였는지 여부를 자동으로 판단하고, 비정상상황이 발생되었다고 판단되면 관리자에게 이를 신속하여 알릴 수 있다. 이하, 안전 관리 시스템(100), 특히 안전 관리 장치(120)가 비정상상황의 발생 여부를 판단하는 방법에 대해 상세하게 설명한다. As described above, the safety management system 100 according to the present invention analyzes the multimedia data generated by the multimedia apparatus 110 to automatically determine whether an abnormal situation has occurred at any place, and that an abnormal situation has occurred. If it is determined, the manager can be notified promptly. Hereinafter, a method of determining whether or not an abnormal situation occurs by the safety management system 100, in particular, the safety management apparatus 120 will be described in detail.

도 2는 본 발명의 일 실시예에 따른 안전 관리 장치에 대한 구성도이다. 2 is a block diagram of a safety management apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 안전 관리 장치(120)는 제어부(210), 통신부(220), 입력부(230), 저장부(240) 및 디스플레이부(250)를 포함한다. 여기서, 제어부(210)는 안전 관리 장치(120)의 전반적인 동작을 제어하는 논리적 구성 요소일 수 있다. 또한, 통신부(220)는 n개의 멀티미디어장치(110) 및 관리자 단말기(130)와 각종 정보를 송수신하는 논리적 구성 요소일 수 있다. 또한, 입력부(230)는 키패드, 터치패드 등 사용자의 조작에 따른 각종 정보를 생성하는 구성 요소일 수 있다. 또한, 디스플레이부(250)는 LCD, LED 등 제어부(210)로부터 입력된 영상데이터(예를 들어, 경고영상)를 외부로 출력하는 구성 요소일 수 있다. 또한, 비록 도시되지는 않았지만 안전 관리 장치(120)는 스피커부(미도시)를 더 포함할 수 있으며, 스피커부(미도시)는 제어부(210)로부터 수신된 음성데이터(예를 들어, 경고음)를 외부롤 출력하는 구성 요소일 수 있다. 2, the safety management apparatus 120 according to an embodiment of the present invention includes a control unit 210, a communication unit 220, an input unit 230, a storage unit 240, and a display unit 250. . Here, the controller 210 may be a logical component that controls the overall operation of the safety management device 120. In addition, the communication unit 220 may be a logical component for transmitting and receiving various information with the n multimedia device 110 and the manager terminal 130. In addition, the input unit 230 may be a component that generates various types of information according to a user's manipulation, such as a keypad and a touch pad. In addition, the display unit 250 may be a component that outputs image data (for example, warning image) input from the controller 210 such as an LCD and an LED to the outside. In addition, although not shown, the safety management device 120 may further include a speaker unit (not shown), and the speaker unit (not shown) may receive voice data (for example, a warning sound) received from the control unit 210. It may be a component that outputs an external roll.

먼저, 통신부(220)는 네트워크(140)를 통하여 연결된 n개의 멀티미디어장치(120) 각각으로부터 n개의 멀티미디어데이터를 수신하고, 수신된 n개의 멀티미디어데이터를 제어부(210)로 출력한다. 여기서, 멀티미디어데이터는 영상데이터 및/또는 음성데이터를 포함한다. First, the communication unit 220 receives n multimedia data from each of the n multimedia devices 120 connected through the network 140, and outputs the received n multimedia data to the controller 210. Here, the multimedia data includes image data and / or audio data.

제어부(210)는 통신부(220)로부터 수신된 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출한다. 이하, 도 3을 참조하여 본 발명에서 활용되는 특징정보에 대해 설명한다. The controller 210 extracts predetermined feature information from each of the n pieces of multimedia data received from the communication unit 220. Hereinafter, the feature information utilized in the present invention will be described with reference to FIG. 3.

도 3은 본 발명에서 활용되는 특징정보를 예시한 도면이다. 3 is a diagram illustrating feature information utilized in the present invention.

도 3을 참조하면, 본 발명에서 활용되는 특징정보는 영상데이터에서 추출한 사람의 얼굴에 대한 정보(이하, '얼굴정보'라 칭함), 사람의 복장에 대한 정보(이하, '복장정보'라 칭함) 및/또는 특정 색상에 대한 정보(이하, '색상정보'라 칭함)를 포함한다. 또한, 특징정보는 음성데이터에서 추출한 언어에 대한 정보(이하, '언어정보'라 칭함) 및 총소리, 사이렌소리(siren) 등에 대한 기타정보를 포함한다. Referring to FIG. 3, the feature information utilized in the present invention is information about a face of a person extracted from image data (hereinafter referred to as 'face information') and information about a person's clothes (hereinafter referred to as 'dress information'). ) And / or information about a specific color (hereinafter referred to as 'color information'). In addition, the feature information includes information on a language extracted from the voice data (hereinafter referred to as 'language information') and other information about gunfire, siren, and the like.

여기서, 얼굴정보는 영상데이터에 포함된 사람의 얼굴에 대한 정보로서, 얼굴전체의 윤곽에 대한 정보, 이목구비의 위치에 대한 정보 등 얼굴 정면 및/또는 측면의 특징적인 요소에 대한 정보일 수 있다. Here, the face information is information about a face of a person included in the image data, and may be information on characteristic elements of the front and / or side of the face such as information on the outline of the entire face and information on the position of the ear.

또한, 복장정보는 영상데이터에 포함된 사람이 착용하고 있는 복장에 대한 정보로서, 복장의 색상, 복장에 새겨진 숫자/글자 등에 대한 정보일 수 있다. In addition, the dress information is information on the clothes worn by the person included in the image data, it may be information about the color of the dress, numbers / letters engraved on the dress.

또한, 색상정보는 영상데이터에 포함된 색상에 대한 정보로서, 예를 들어 RGB 값일 수 있다. In addition, the color information is information about a color included in the image data and may be, for example, an RGB value.

또한, 언어정보는 음성데이터에 포함된 사람의 언어에 대한 정보로서, 예를 들어, 한국어, 영어 등에 대한 정보일 수 있다. In addition, the language information may be information about a person's language included in the voice data, for example, information about Korean, English, and the like.

한편, 멀티미디어데이터에서 상술한 특징정보가 추출되는 동작은 여러 가지 방법이 있을 수 있고, 각 방법들은 당업자에 있어서 자명한 사항이므로, 여기에서는 특징정보가 추출되는 동작에 대한 상세한 설명은 생략한다. On the other hand, the operation of extracting the above-mentioned feature information from the multimedia data may be a variety of methods, each method is obvious to those skilled in the art, a detailed description of the operation of extracting the feature information is omitted here.

다시 도 2를 참조하면, 제어부(210)는 n개의 멀티미디어데이터 각각에서 추출된 특징정보와 저장부(240)에 기저장된 특징데이터를 비교하여 비정상상황의 발생 여부를 판단한다. Referring back to FIG. 2, the controller 210 compares feature information extracted from each of the n pieces of multimedia data with feature data previously stored in the storage unit 240 to determine whether an abnormal situation occurs.

예를 들어, 저장부(240)에는 사람의 얼굴에 대한 데이터(이하, '얼굴데이터'라 칭함)가 기저장되어 있는 경우를 가정한다. 여기서, 얼굴데이터는 임의의 영상 및/또는 이미지에서 얼굴정보와 동일한 방법에 의하여 추출된 정보일 수 있다. 이때, 제어부(210)는 n개의 멀티미디어데이터 각각에서 추출된 얼굴정보와 저장부(240)에 기저장된 얼굴데이터를 비교하여 얼굴정보에 상응하는 얼굴데이터가 존재하는지 판단한다. 얼굴정보에 상응하는 얼굴데이터가 존재하지 않으면, 제어부(210)는 미등록인물(즉, 자신에 대한 정보를 미리 저장부(240)에 저장하지 않은 인물)이 존재하는 것으로 판단할 수 있다. For example, it is assumed that the storage unit 240 pre-stores data on a face of a person (hereinafter, referred to as 'face data'). Here, the face data may be information extracted by the same method as the face information in any image and / or image. In this case, the controller 210 compares face information extracted from each of the n pieces of multimedia data with face data previously stored in the storage unit 240, and determines whether there is face data corresponding to the face information. If there is no face data corresponding to the face information, the controller 210 may determine that there is an unregistered person (that is, a person who has not previously stored information about himself / herself) in the storage unit 240.

다른 예를 들어, 저장부(240)에는 미리 등록된 사람의 복장에 대한 데이터(이하, '복장데이터'라 칭함)가 기저장되어 있는 경우를 가정한다. 이때, 제어부(210)는 n개의 멀티미디어데이터 각각에서 추출된 복장정보와 저장부(240)에 기저장된 복장데이터를 비교하여 복장정보에 상응하는 복장데이터가 존재하는지 판단한다. 복장정보에 상응하는 복장데이터가 존재하지 않으면, 제어부(210)는 미등록인물이 존재하는 것으로 판단할 수 있을 것이다. For another example, it is assumed that the storage unit 240 pre-stores data on clothes of a person who is registered in advance (hereinafter, referred to as 'dressing data'). In this case, the controller 210 compares the clothes information extracted from each of the n pieces of multimedia data and the clothes data previously stored in the storage unit 240 to determine whether there is clothes data corresponding to the clothes information. If there is no dress data corresponding to the dress information, the controller 210 may determine that there is an unregistered person.

즉, 멀티미디어장치(110)가 설치된 공간에는 기등록된 사람만이 존재할 수 있고, 기등록된 사람의 복장 각각에는 고유한 숫자가 새겨져 있는 경우를 다시 가정한다. 이때, 저장부(240)에는 고유한 숫자 및 각 숫자에 상응하는 사람에 대한 정보가 복장데이터로서 기저장되어 있을 수 있을 것이다. 또한, 제어부(210)는 n개의 멀티미디어데이터 각각에서 사람의 복장에 새겨진 숫자를 인식할 수 있고, 인식된 숫자가 저장부(240)에 저장되어 있지 않은 경우 미등록인물이 존재하는 것으로 인식할 수 있다. 한편, 숫자가 새겨진 복장이 아닌 전혀 상이한 복장의 사람이 인식되는 경우에도 제어부(210)는 미등록인물이 존재하는 것으로 인식할 수 있을 것임은 자명하다. That is, it is assumed again that only a registered person may exist in a space where the multimedia apparatus 110 is installed, and a unique number is engraved on each of the clothes of the registered person. At this time, the storage unit 240 may be pre-stored as a unique data and information about the person corresponding to each number as clothing data. In addition, the controller 210 may recognize the number engraved on the clothes of the person from each of the n pieces of multimedia data, and if the recognized number is not stored in the storage unit 240, the controller 210 may recognize that an unregistered person exists. . On the other hand, even if it is recognized that a person of a completely different clothes other than the engraved clothes, it is obvious that the control unit 210 may recognize that there is an unregistered person.

상술한 바와 같이, 제어부(210)는 인물정보 및/또는 복장정보를 이용하여 미등록인물의 존재를 판단할 수 있다. 또한, 제어부(210)는 판단된 미등록인물이 미리 설정된 명수 이상이면 비정상상황이 발생된 것으로 판단할 수 있다. 예를 들어, 미리 설정된 명수가 P명인 경우를 가정한다(단, P는 자연수). 이때, 제어부(210)는 인식된 미등록인물이 P명 이상이면 비정상상황이 발생된 것으로 판단할 수 있다. As described above, the controller 210 may determine the existence of the unregistered person by using the person information and / or dress information. In addition, the controller 210 may determine that an abnormal situation is generated when the determined unregistered person has a predetermined number or more. For example, suppose the preset number is P name (where P is a natural number). In this case, the controller 210 may determine that an abnormal situation has occurred if the recognized unregistered person has more than P names.

한편, 제어부(210)는 수신된 멀티미디어데이터(특히, 영상데이터)의 해상도, 피사체인 사람의 위치 등에 따라 기등록된 인물임에도 미등록인물로 잘못 인식할 수도 있을 것이다. 따라서, 제어부(210)는 미등록인물이 P명 이상인 상황이 미리 설정된 시간 동안 계속되는 경우 비정상상황이 발생된 것으로 판단할 수 있을 것이다. 정상적인 상황이라면 피사체인 사람의 위치 등은 조금씩 변경될 것이기 때문이다. Meanwhile, the controller 210 may incorrectly recognize the person as a non-registered person even if the person is already registered according to the resolution of the received multimedia data (particularly, the image data), the position of the person as the subject, and the like. Therefore, the controller 210 may determine that an abnormal situation has occurred when the situation in which unregistered persons have P names or more continues for a preset time. This is because, under normal circumstances, the position of the person, which is the subject, will change little by little.

또한, 제어부(210)는 인물정보 및/또는 복장정보를 이용하여 멀티미디어데이터 내의 피사체를 인식할 수 있다. 여기서 피사체는 n개의 멀티미디어데이터 중 임의의 멀티미디어데이터에서 인식된 피사체로서 기등록된 인물 및 미등록인물 모두를 포함한다. In addition, the controller 210 may recognize the subject in the multimedia data by using the person information and / or clothes information. Here, the subject is a subject recognized from any multimedia data among n multimedia data and includes both a pre-registered person and an unregistered person.

또한, 제어부(210)는 인식된 피사체 중 임의의 피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악할 수 있다. 여기서, 비정상인식시간은 당해 피사체(이하, 다른 피사체와 구별하기 위하여 '대상피사체'가 칭함)가 포함된 멀티미디어데이터가 생성된 시간(또는 대상피사체가 인식된 시간)으로부터 미리 설정된 시간 이전까지의 시간구간을 의미할 수 있다. 즉, 미리 설정된 시간이 1분이고, 대상피사체가 포함된 멀티미디어데이터가 생성된 시간이 오후 12시 30분인 경우, 비정상인식시간은 오후 12시 29분부터 오후 12시 30분까지일 수 있다. 한편, 각 멀티미디어장치(110)는 미리 설정된 시간을 간격으로 또는 실시간으로 계속하여 멀티미디어데이터를 안전 관리 장치(120)로 전송할 수 있을 것이다. In addition, the controller 210 may determine the number of times any of the recognized subjects are recognized during a preset abnormal recognition time. Here, the abnormal recognition time is a time from the time when the multimedia data including the subject (hereinafter referred to as the 'subject' to distinguish it from other subjects) is generated (or the time when the subject is recognized) before the preset time. It may mean a section. That is, when the preset time is 1 minute and the time when the multimedia data including the subject is generated is 12:30 pm, the abnormal recognition time may be from 12:29 pm to 12:30 pm. Meanwhile, each multimedia device 110 may transmit multimedia data to the safety management device 120 at intervals or in real time at a predetermined time.

이후, 제어부(210)는 대상피사체가 비정상인식시간 동안에 인식된 횟수가 미리 설정된 개수 이상이면 비정상상황이 발생된 것으로 판단할 수 있다. 예를 들어, 미리 설정된 개수가 Q명인 경우를 가정한다(단, Q는 자연수). 이때, 제어부(210)는 대상피사체가 비정상인식시간 동안에 인식된 횟수가 Q 이상이면 비정상상황이 발생된 것으로 판단할 수 있다. Thereafter, the controller 210 may determine that an abnormal situation is generated when the number of times the target subject is recognized during the abnormal recognition time is more than a preset number. For example, suppose the preset number is Q name (where Q is a natural number). In this case, the controller 210 may determine that an abnormal situation occurs when the number of times the target subject is recognized during the abnormal recognition time is Q or more.

한편, 대상피사체가 임의의 멀티미디어장치(110) 근처를 벗어나지 않는다면 대상피사체가 비정상인식시간 동안에 인식된 횟수가 Q 이상일 것이고, 이 경우 정상적인 상황임에도 비정상상황으로 잘못 인식될 수 있다. 따라서, 제어부(210)는 비정상인식시간 동안 대상피사체를 촬상한 멀티미디어장치(110)가 미리 설정된 개수 이상이면 비정상상황이 발생된 것으로 판단할 수 있을 것이다. 비정상적인 상황에서는 사람들이 빠른 속도로 안전한 장소를 찾아서 움직이기 마련이기 때문이다. On the other hand, if the subject is not out of the vicinity of the arbitrary multimedia device 110, the number of times the subject was recognized during the abnormal recognition time will be Q or more, in this case it may be incorrectly recognized as an abnormal situation even under normal circumstances. Therefore, the controller 210 may determine that an abnormal situation has occurred if the multimedia apparatus 110 that has picked up the target subject during the abnormal recognition time is more than a preset number. This is because in unusual situations, people move quickly to find a safe place.

예를 들어, 위의 Q가 3이고, 대상피사체를 촬상한 멀티미디어장치(110)가 3대 이상인 경우에 비정상상황인 것으로 판단되는 경우를 가정한다. 이때, 제어부(210)는 비정상인식시간 동안 대상피사체가 몇번 인식되었는지를 판단하고, 인식된 횟수가 3번 이상인지를 판단할 수 있다. 또한, 제어부(210)는 비정상인식시간 동안 대상피사체를 촬상한 멀티미디어장치(110)가 3대 이상이면 비정상상황으로 판단할 수 있을 것이다. 즉, 비정상인식시간 동안 대상피사체가 3번 인식되었으며, 대상피사체가 제1 멀티미디어장치(110-1), 제2 멀티미디어장치(110-2)및 제3 멀티미디어장치(110-3)에서 각각 한번씩 인식되었다면, 제어부(210)는 비정상상황이 발생된 것으로 판단할 수 있다. 도 4를 참조하여 이에 대하여 다시 한번 설명한다. For example, suppose that the above Q is 3 and it is determined that the abnormal situation is when there are three or more multimedia apparatuses 110 photographing the subject. In this case, the controller 210 may determine how many times the subject is recognized during the abnormal recognition time, and determine whether the recognized number is three or more times. In addition, the controller 210 may determine an abnormal situation when three or more multimedia devices 110 photographing the target subject during the abnormal recognition time. That is, the target subject was recognized three times during the abnormal recognition time, and the target subject was recognized once by the first multimedia apparatus 110-1, the second multimedia apparatus 110-2, and the third multimedia apparatus 110-3, respectively. If so, the controller 210 may determine that an abnormal situation has occurred. This will be described once again with reference to FIG. 4.

도 4는 본 발명의 일 실시예에 따라 비정상인식시간 동안에 대상피사체가 촬상된 멀티미디어데이터들을 예시한 도면이다. 4 is a diagram illustrating multimedia data captured by a target subject during abnormal recognition time according to an embodiment of the present invention.

도 4에는 제1 멀티미디어장치(110-1)에서 촬영된 제1 영상데이터(410), 제2 멀티미디어장치(110-2)에서 촬영된 제2 영상데이터(420) 및 제3 멀티미디어장치(110-3)에서 촬영된 제3 영상데이터(430)가 예시되어 있다. 또한, 제1 영상데이터(410)가 생성된 시간이 가장 빠르고, 제3 영상데이터가 생성된 시간이 가장 느린 경우를 가정한다. 또한, 제1 영상데이터(410) 및 제2 영상데이터(420)은 제3 영상데이터(430)가 생성된 시간을 기준으로 비정상인식시간 내에 생성된 경우를 가정한다. 4, the first image data 410 photographed by the first multimedia apparatus 110-1, the second image data 420 photographed by the second multimedia apparatus 110-2, and the third multimedia apparatus 110-110. The third image data 430 captured in 3) is illustrated. In addition, it is assumed that the time when the first image data 410 is generated is the fastest and the time when the third image data is generated is the slowest. In addition, it is assumed that the first image data 410 and the second image data 420 are generated within the abnormal recognition time based on the time when the third image data 430 is generated.

이때, 제어부(210)는 제3 영상데이터(430)를 분석하여 특징정보를 추출하고, 특징정보 중 얼굴정보 및/또는 복장정보를 인식하여 제3 영상데이터(430)에 인식된 사람이 누구인지 인식할 수 있다. 즉, 제어부(210)는 제3 영상데이터(430)의 얼굴정보를 저장부(240)에 기저장된 특징데이터와 비교하여 제3 영상데이터(430)에 촬상된 사람을 인식할 수 있다. 또한, 제어부(210)는 제3 영상데이터(430)의 복장정보를 저장부(240)에 기저장된 특징데이터와 비교하여 제3 영상데이터(430)에 촬상된 사람을 인식할 수 있다. 제3 영상데이터에 촬상된 사람들의 복장에는 각각 고유한 번호(즉, 2)가 새겨져 있기 때문에, 제어부(210)는 당해 고유한 번호를 복장정보로 인식하여 제3 영상데이터(430)에 촬상된 사람을 인식할 수 있을 것이다. In this case, the controller 210 analyzes the third image data 430 to extract feature information, recognizes face information and / or dress information among the feature information, and determines who is recognized in the third image data 430. I can recognize it. That is, the controller 210 may recognize the person photographed in the third image data 430 by comparing the face information of the third image data 430 with the feature data previously stored in the storage unit 240. In addition, the controller 210 may recognize the person photographed in the third image data 430 by comparing the dress information of the third image data 430 with the feature data previously stored in the storage unit 240. Since each person's clothes photographed on the third image data are inscribed with a unique number (ie, 2), the controller 210 recognizes the unique number as clothing information and captures the image on the third image data 430. You will be able to recognize people who have become old.

또한, 제어부(210)는 인식된 사람을 대상피사체로 하여 대상피사체가 미리 설정된 비정상인식시간 동안 인식된 횟수를 파악한다. 도 4에 예시된 경우 제3 영상데이터(430)를 기준으로 제1 영상데이터(410) 및 제2 영상데이터(420)가 비정상인식시간에 상응하고, 인식된 대상피사체가 제1 영상데이터(410) 및 제2 영상데이터(420)에 모두 촬상되었으므로, 제어부(210)는 대상피사체가 비정상인식시간 동안 3번 이식되었다고 판단할 수 있다. In addition, the controller 210 determines the number of times the target subject is recognized during the preset abnormal recognition time using the recognized person as the target subject. Referring to FIG. 4, the first image data 410 and the second image data 420 correspond to abnormal recognition time based on the third image data 430, and the recognized target subject is the first image data 410. ) And the second image data 420, the controller 210 may determine that the subject is transplanted three times during the abnormal recognition time.

또한, 비정상인식시간 동안 대상피사체는 모두 상이한 멀티미디어장치(410)에 의하여 촬상되었으므로, 제어부(210)는 제3 영상데이터(430)를 분석한 결과 비정상상황이 발생되었다고 판단할 수 있다. In addition, since the target subjects are all captured by different multimedia devices 410 during the abnormal recognition time, the controller 210 may determine that an abnormal situation occurs as a result of analyzing the third image data 430.

다시 도 2를 참조하면, 제어부(210)는 n개의 멀티미디어데이터(특히 영상데이터) 각각에서 색상정보를 추출하고, 추출된 색상정보와 특징데이터를 비교하여 비정상상황의 발생여부를 판단할 수 있다. 예를 들어, 제어부(210)는 n개의 멀티미디어데이터 각각의 RGB값을 추출할 수 있고, R(red)값이 미리 설정된 임계값 이상인 경우 화재가 발생된 것으로 인식할 수 있을 것이다. 화재가 발생되면 영상데이터에서 붉은색 비율이 월등히 올라갈 것이기 때문이다. Referring back to FIG. 2, the controller 210 may extract color information from each of the n pieces of multimedia data (especially image data), and compare the extracted color information with feature data to determine whether an abnormal situation occurs. For example, the controller 210 may extract RGB values of each of the n pieces of multimedia data, and may recognize that a fire has occurred when the R (red) value is greater than or equal to a preset threshold. If a fire occurs, the red ratio in the image data will increase significantly.

또한, 제어부(210)는 n개의 멀티미디어데이터(특히 음성데이터) 각각에서 언어정보를 추출하고, 추출된 언어정보와 특징데이터를 비교하여 비정상상황의 발생여부를 판단할 수 있다. 예를 들어, 제어부(210)는 n개의 멀티미디어데이터 각각에서 사람들이 사용하는 언어에 대한 정보를 추출할 수 있고(즉, 한국어, 영어 등), 언어정보가 특징데이터로서 저장부(240)에 미리 저장된 언어가 이닌 경우 비정상상황이 발생된 것으로 인식할 수 있을 것이다. 미리 등록되지 않은 언어가 사용된다면 미등록인물의 침입 상황일 가능성이 대단히 높기 때문이다. In addition, the controller 210 may extract language information from each of the n pieces of multimedia data (especially voice data), compare the extracted language information with feature data, and determine whether an abnormal situation occurs. For example, the controller 210 may extract information about a language used by people from each of the n pieces of multimedia data (ie, Korean, English, etc.), and the language information is previously stored in the storage unit 240 as feature data. If the language is not stored, it can be recognized that an abnormal situation has occurred. If a language that is not pre-registered is used, it is very likely that it is an intrusion of unregistered persons.

또한, 제어부(210)는 비정상상황이 발생되면 경고신호를 생성하여 통신부(210)로 출력하고, 통신부(210)는 입력된 경고신호를 외부장치인 관리자 단말기(130)로 전송할 수 있다. 이에 의하여 관리자는 외부에서도 멀티미디어장치(110)가 설치된 공간의 비정상상황 발생 여부를 즉각적으로 인식할 수 있음은 상술한 바와 같다. In addition, when an abnormal situation occurs, the controller 210 generates a warning signal and outputs it to the communication unit 210, and the communication unit 210 may transmit the input warning signal to the manager terminal 130 as an external device. As a result, the manager can immediately recognize whether an abnormal situation occurs in the space where the multimedia apparatus 110 is installed, as described above.

이상에서 설명한 바와 같이, 본 발명에 따른 안전 관리 장치(120)는 멀티미디어장치(110)가 설치된 장소에서 비정상적인 상황이 발생되었는지를 자동으로 판단할 수 있고, 비정상상황 발생을 외부의 관리자에게 즉각적으로 알릴 수 있으므로 관리자가 긴급한 상황에 즉각적으로 대처할 수 있음은 자명하다. As described above, the safety management device 120 according to the present invention can automatically determine whether an abnormal situation has occurred in the place where the multimedia apparatus 110 is installed, and immediately notify the external manager of the occurrence of the abnormal situation. It is obvious that managers can respond immediately to emergency situations.

도 5는 본 발명의 일 실시예에 따른 안전 관리 방법에 대한 순서도이다. 5 is a flowchart illustrating a safety management method according to an embodiment of the present invention.

이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 안전 관리 방법에 대해 설명한다. 이하에서 설명될 각 단계들은 도 1 및 도 2를 참조하여 설명한 안전 관리 장치(120)에서 수행되는 단계들이다. 따라서, 이하에서 설명될 각 단계들을 수행하는 주체는 생략될 수 있다. Hereinafter, a safety management method according to an embodiment of the present invention will be described with reference to FIG. 5. Each of the steps to be described below are steps performed by the safety management apparatus 120 described with reference to FIGS. 1 and 2. Therefore, the subject performing each step to be described below can be omitted.

단계 S510에서, n개의 멀티미디어장치(110) 각각으로부터 n개의 멀티미디어데이터가 수신된다. In operation S510, n multimedia data are received from each of the n multimedia devices 110.

단계 S520에서, 수신된 n개의 멀티미디어데이터 각각에서 미리 설정된 방법에 따라 특징정보를 추출한다. 여기서, 특징정보는 얼굴정보, 복장정보, 색상정보 및 언어정보를 포함하고, 각각의 특징정보를 추출하는 방법은 당업자에 있어서 자명한 사항이므로 이에 대한 상세한 설명은 생략한다. In step S520, the feature information is extracted from each of the received n pieces of multimedia data according to a preset method. Here, the feature information includes face information, dress information, color information, and language information, and a method of extracting each feature information is obvious to those skilled in the art, and thus detailed description thereof will be omitted.

단계 S530에서, 추출된 특징정보를 이용하여 비정상상황 발생 여부를 판단한다. 예를 들어, 추출된 특징정보와 구비된 저장 공간에 기저장된 특징데이터를 비교하여 비정상상황 발생 여부를 판단할 수 있다. 이에 대해서는 도 6및 도 7을 참조하여 후술한다. In step S530, it is determined whether an abnormal situation occurs using the extracted feature information. For example, it may be determined whether an abnormal situation occurs by comparing the extracted feature information with feature data previously stored in the provided storage space. This will be described later with reference to FIGS. 6 and 7.

단계 S540에서, 비정상상황이 발생되면 경고정보를 생성하여 외부기기로 전송한다. 경고신호를 수신한 외부기기인 관리자 단말기(130)는 경고음 및/또는 경고영상을 출력하여 관리자가 외부에 있어도 비정상적인 상황이 발생되었음을 즉각적으로 인식하도록 할 수 있다(단계 S550). In operation S540, when an abnormal situation occurs, warning information is generated and transmitted to an external device. The manager terminal 130, which is an external device that receives the warning signal, may output a warning sound and / or a warning image to immediately recognize that an abnormal situation occurs even when the manager is outside (step S550).

이하, 도 6 및 도 7을 참조하여 안전 관리 장치(120)가 비정상상황의 발생을 판단하는 구체적인 방법에 대해 설명한다. Hereinafter, a detailed method of determining the occurrence of an abnormal situation by the safety management device 120 will be described with reference to FIGS. 6 and 7.

도 6은 본 발명의 다른 실시예에 따른 안전 관리 방법에 대한 순서도이다. 6 is a flowchart illustrating a safety management method according to another embodiment of the present invention.

도 6을 참조하여 설명될 각 단계들을 수행하는 주체도 도 5의 경우와 마찬가지로 안전 관리 장치(120)에서 수행되는 단계들이다. 따라서, 이하에서 설명될 각 단계들을 수행하는 주체는 생략될 수 있다. 또한, 이하에서 설명될 각 단계들은 도 5의 단계 S520이 수행된 후 수행되는 단계들일 수 있다. The subject performing the respective steps to be described with reference to FIG. 6 is also the steps performed by the safety management device 120 as in the case of FIG. 5. Therefore, the subject performing the steps described below can be omitted. In addition, each of the steps to be described below may be performed after step S520 of FIG. 5 is performed.

단계 S610에서, 추출된 특징정보 중 얼굴정보 및/또는 복장정보를 이용하여 미등록인물의 존재를 판단한다. In step S610, the presence of the unregistered person is determined using face information and / or dress information among the extracted feature information.

단계 S620에서, 미등록인물의 명수가 미리 설정된 명수(P) 이상이면 비정상상황이 발생되었다고 판단할 수 있다(단계 S630). In step S620, if the number of unregistered persons is greater than or equal to the preset number P, it may be determined that an abnormal situation has occurred (step S630).

또한, 비록 도시되지는 않았지만 수신된 멀티미디어데이터(특히, 영상데이터)의 해상도, 피사체인 사람의 위치 등에 따라 기등록된 인물임에도 미등록인물로 잘못 인식할 수도 있을 것이다. 따라서, 미등록인물이 P명 이상인 상황이 미리 설정된 시간 동안 계속되는 경우 비정상상황이 발생된 것으로 판단하는 단계가 추가될 수 있음은 자명하다. 정상적인 상황이라면 피사체인 사람의 위치 등은 조금씩 변경될 것이기 때문이다. In addition, although not shown, even if the person is already registered according to the resolution of the received multimedia data (particularly, the image data), the position of the person as the subject, and the like, it may be mistaken as an unregistered person. Therefore, it is apparent that the step of determining that an abnormal situation has occurred may be added when the situation in which the unregistered person has more than P names continues for a preset time. This is because, under normal circumstances, the position of the person, which is the subject, will change little by little.

한편, 단계 S635에서, 미등록인물의 명수가 미리 설정된 명수(P) 미만이면 정상상황이라고 판단할 수 있다. Meanwhile, in step S635, if the number of unregistered persons is less than the preset number P, it may be determined that the situation is normal.

도 7은 본 발명의 또 다른 실시예에 따른 안전 관리 방법에 대한 순서도이다. 7 is a flowchart illustrating a safety management method according to another embodiment of the present invention.

도 7을 참조하여 설명될 각 단계들을 수행하는 주체도 도 5의 경우와 마찬가지로 안전 관리 장치(120)에서 수행되는 단계들이다. 따라서, 이하에서 설명될 각 단계들을 수행하는 주체는 생략될 수 있다. 또한, 이하에서 설명될 각 단계들은 도 5의 단계 S520이 수행된 후 수행되는 단계들일 수 있다. The subject performing the steps to be described with reference to FIG. 7 is also the steps performed by the safety management device 120 as in the case of FIG. 5. Therefore, the subject performing the steps described below can be omitted. In addition, each of the steps to be described below may be performed after step S520 of FIG. 5 is performed.

단계 S710에서, 추출된 특징정보 중 얼굴정보 및/또는 복장정보를 이용하여 대상피사체를 인식한다.In step S710, the target subject is recognized using face information and / or dress information among the extracted feature information.

단계 S720에서, 대상피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악한다. In step S720, the number of times the target subject is recognized during the preset abnormal recognition time is detected.

단계 S730에서, 대상피사체가 비정상인식시간 동안에 인식된 횟수가 미리 설정된 횟수(Q) 이상이면 비정상인식시간 동안 대상피사체를 촬상한 멀티미디어장치의 개수를 파악한다(단계 S740). 대상피사체가 임의의 멀티미디어장치(110) 근처를 벗어나지 않는다면 대상피사체가 비정상인식시간 동안에 인식된 횟수가 Q 이상일 것이고, 이 경우 정상적인 상황임에도 비정상상황으로 잘못 인식될 수 있기 때문에, 대상피사체가 빠른 속도로 장소를 이동하고 있는지 여부를 판단하기 위함이다. In step S730, if the number of times the target subject is recognized during the abnormal recognition time is equal to or more than the preset number Q, the number of the multimedia apparatuses which captured the target subject during the abnormal recognition time is determined (step S740). If the subject is not out of the vicinity of the arbitrary multimedia device 110, the number of times the subject was recognized during the abnormal recognition time will be more than Q, in this case, because the subject may be incorrectly recognized as an abnormal situation, the target subject at a high speed This is to determine whether the place is moving.

단계 S750에서, 대상피사체를 촬상한 멀티미디어장치의 개수가 미리 설정된 개수(r)이상이면 비정상상황이 발생된 것으로 판단한다(S760). 비정상적인 상황에서는 사람들이 빠른 속도로 안전한 장소를 찾아서 움직이기 마련이기 때문이다. In operation S750, when the number of multimedia devices photographing the target subject is greater than or equal to a predetermined number r, it is determined that an abnormal situation is generated (S760). This is because in unusual situations, people move quickly to find a safe place.

한편, 대상피사체가 비정상인식시간 동안에 인식된 횟수가 미리 설정된 횟수 미만이거나, 대상피사체를 촬상한 멀티미디어장치의 개수가 미리 설정된 개수 미만인 경우에는 정상상황인 것으로 판단한다(단계 S765). On the other hand, if the number of times the target subject is recognized during the abnormal recognition time is less than the preset number, or if the number of multimedia devices photographing the target subject is less than the preset number, it is determined to be normal (step S765).

이후, 비정상상황이 발생된 것으로 판단되면 도 5를 참조하여 설명된 단계 S540이 수행될 것이다. Thereafter, if it is determined that an abnormal situation has occurred, step S540 described with reference to FIG. 5 will be performed.

이상에서 설명한 바와 같이, 본 발명에 따른 안전 관리 방법에 따르면 멀티미디어장치(110)가 설치된 장소에서 비정상적인 상황이 발생되었는지를 자동으로 판단할 수 있고, 비정상상황 발생을 외부의 관리자에게 즉각적으로 알릴 수 있으므로 관리자가 긴급한 상황에 즉각적으로 대처할 수 있다. As described above, according to the safety management method according to the present invention can automatically determine whether an abnormal situation has occurred in the place where the multimedia apparatus 110 is installed, and can immediately notify the external manager of the occurrence of the abnormal situation. Managers can respond immediately to urgent situations.

상술한 본 발명에 따른 안전 관리 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The safety management method according to the present invention described above can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, it may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, or the like. In addition, the computer-readable recording medium may be distributed and executed in a computer system connected to a computer network, and may be stored and executed as a code readable in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that various modifications and changes may be made.

100 : 안전 관리 시스템. 110 : 멀티미디어장치
120 : 안전 관리 장치 130 : 관리자 단말기100: safety management system. 110: multimedia device
120: safety management device 130: administrator terminal

Claims (13)

특징데이터가 저장되는 저장부;
n개의 멀티미디어데이터가 수신되는 통신부; 및
상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하고, 상기 특징정보와 상기 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 제어부;를 포함하되,
상기 n은 2 이상의 자연수이고,
상기 제어부는 상기 특징 정보에 포함되는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 미등록인물의 존재를 판단하고, 상기 미등록인물이 미리 설정된 명수 이상이고, 상기 명수 이상인 상황이 미리 설정된 시간 동안 계속되면, 상기 제어부는 상기 비정상상황이 발생된 것으로 판단하는 안전 관리 장치. A storage unit for storing feature data;
a communication unit for receiving n multimedia data; And
And extracting predetermined feature information from each of the n pieces of multimedia data, and comparing the feature information with the feature data to determine whether an abnormal situation has occurred.
N is a natural number of 2 or more,
The controller determines the existence of an unregistered person by using one or more of face information and dress information included in the feature information, and if the unregistered person is more than a predetermined number of people and the situation of more than the number of people continues for a preset time, The control unit determines that the abnormal situation has occurred. 제1항에 있어서,
상기 비정상상황이 발생되면, 상기 제어부는 경고정보를 생성하고,
상기 통신부는 상기 경고정보를 외부기기로 전송하는 안전 관리 장치. The method of claim 1,
When the abnormal situation occurs, the controller generates warning information,
The communication unit safety management device for transmitting the warning information to an external device. 삭제delete 삭제delete 특징데이터가 저장되는 저장부;
n개의 멀티미디어데이터가 수신되는 통신부; 및
상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하고, 상기 특징정보와 상기 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 제어부;를 포함하되,
상기 n은 2 이상의 자연수이고,
상기 제어부는 상기 특징정보에 포함되는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 대상피사체를 인식하고,
상기 대상피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악하며, 상기 횟수가 미리 설정된 개수 이상이고, 상기 비정상인식시간 동안 상기 대상피사체를 촬상한 멀티미디어장치가 미리 설정된 개수 이상인 경우, 상기 제어부는 상기 비정상상황이 발생된 것으로 판단하는 안전 관리 장치. A storage unit for storing feature data;
a communication unit for receiving n multimedia data; And
And extracting predetermined feature information from each of the n pieces of multimedia data, and comparing the feature information with the feature data to determine whether an abnormal situation has occurred.
N is a natural number of 2 or more,
The control unit recognizes a target subject using at least one of face information and dress information included in the feature information.
The controller detects the number of times the target subject is recognized during a preset abnormal recognition time, and the number is greater than or equal to a preset number, and when the multimedia apparatus photographing the target subject during the abnormal recognition time is equal to or more than a preset number, Safety management device that determines that an abnormal situation has occurred. 삭제delete n개의 멀티미디어데이터가 수신되는 단계;
상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하는 단계; 및
상기 특징정보와 기저장된 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 단계;를 포함하되,
상기 n은 2 이상의 자연수이고,
상기 비정상상황의 발생 여부를 판단하는 단계는, 상기 특징 정보에 포함되는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 미등록인물의 존재를 판단하고, 상기 미등록인물이 미리 설정된 명수 이상이고, 상기 명수 이상인 상황이 미리 설정된 시간 동안 계속되면, 제어부는 상기 비정상상황이 발생된 것으로 판단하는 안전 관리 방법. receiving n multimedia data;
Extracting predetermined feature information from each of the n pieces of multimedia data; And
And comparing the feature information with previously stored feature data to determine whether an abnormal situation occurs.
N is a natural number of 2 or more,
The determining of the occurrence of the abnormal situation may include determining the existence of an unregistered person by using one or more of face information and dress information included in the feature information, wherein the unregistered person is greater than or equal to a preset number of people and is greater than or equal to the number of people. If the situation continues for a predetermined time, the control unit determines that the abnormal situation has occurred. 제7항에 있어서,
상기 비정상상황이 발생되면 경고정보를 생성하는 단계; 및
통신부는 상기 경고정보를 외부기기로 전송하는 단계;를 더 포함하는 안전 관리 방법. 8. The method of claim 7,
Generating warning information when the abnormal situation occurs; And
The communication unit further comprises the step of transmitting the warning information to an external device. 삭제delete 삭제delete n개의 멀티미디어데이터가 수신되는 단계;
상기 n개의 멀티미디어데이터 각각에서 미리 설정된 특징정보를 추출하는 단계; 및
상기 특징정보와 기저장된 특징데이터를 비교하여 비정상상황의 발생 여부를 판단하는 단계;를 포함하되,
상기 n은 2 이상의 자연수이고,
상기 비정상상황의 발생 여부를 판단하는 단계는,
상기 특징정보에 포함되는 얼굴정보 및 복장정보 중 하나 이상을 이용하여 대상피사체를 인식하는 단계;
상기 대상피사체가 미리 설정된 비정상인식시간 동안에 인식된 횟수를 파악하는 단계; 및
상기 횟수가 미리 설정된 개수 이상이고, 상기 비정상인식시간 동안 상기 대상피사체를 촬상한 멀티미디어장치가 미리 설정된 개수 이상이면 상기 비정상상황이 발생된 것으로 판단하는 단계를 포함하는 안전 관리 방법. receiving n multimedia data;
Extracting predetermined feature information from each of the n pieces of multimedia data; And
And comparing the feature information with previously stored feature data to determine whether an abnormal situation occurs.
N is a natural number of 2 or more,
Determining whether or not the abnormal situation occurs,
Recognizing a target subject using at least one of face information and dress information included in the feature information;
Determining a number of times the target subject is recognized during a preset abnormal recognition time; And
And determining that the abnormal situation has occurred if the number of times is equal to or greater than the preset number and the multimedia apparatus that has captured the target subject during the abnormal recognition time is equal to or greater than the preset number. 삭제delete 제7항, 제8항 및 제11항 중 어느 한 항에 기재된 안전 관리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the safety management method according to any one of claims 7, 8 and 11 on a computer.
KR1020120067033A 2012-06-21 2012-06-21 Safety management method and device thereof KR101378856B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120067033A KR101378856B1 (en) 2012-06-21 2012-06-21 Safety management method and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120067033A KR101378856B1 (en) 2012-06-21 2012-06-21 Safety management method and device thereof

Publications (2)

Publication Number Publication Date
KR20130143457A KR20130143457A (en) 2013-12-31
KR101378856B1 true KR101378856B1 (en) 2014-04-04

Family

ID=49986702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120067033A KR101378856B1 (en) 2012-06-21 2012-06-21 Safety management method and device thereof

Country Status (1)

Country Link
KR (1) KR101378856B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990066063A (en) * 1998-01-21 1999-08-16 유무성 Video surveillance system and its control method
JP2007228459A (en) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd Monitoring system
JP2009060261A (en) * 2007-08-30 2009-03-19 Toshiba Corp Video monitoring system
KR100902275B1 (en) * 2008-11-27 2009-06-10 한국비전기술(주) Cctv system for intelligent security and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990066063A (en) * 1998-01-21 1999-08-16 유무성 Video surveillance system and its control method
JP2007228459A (en) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd Monitoring system
JP2009060261A (en) * 2007-08-30 2009-03-19 Toshiba Corp Video monitoring system
KR100902275B1 (en) * 2008-11-27 2009-06-10 한국비전기술(주) Cctv system for intelligent security and method thereof

Also Published As

Publication number Publication date
KR20130143457A (en) 2013-12-31

Similar Documents

Publication Publication Date Title
US9779614B2 (en) System and method of alerting CMS and registered users about a potential duress situation using a mobile application
US10506411B1 (en) Portable home and hotel security system
CN110914798B (en) Scalable system and method for monitoring and concierge services
KR101610657B1 (en) Three-dimensional virtual entrance control and communicable disease control system and method based on entrance control data
KR20130085315A (en) Method for video surveillance system based on human identification
US10419728B2 (en) Monitoring system having personal information protection function and method thereof
CN106503666A (en) Safety monitoring method and device and electronic equipment
CN108600504B (en) Electronic equipment and alarm control method
KR20160074208A (en) System and method for providing safety service using beacon signals
CN111275909B (en) Security early warning method and device
KR20200060094A (en) A door security management system
KR20200059628A (en) Skeleton image learning based old people behavior pattern monitoring method
CN111860194A (en) Household intelligent safety monitoring system and method
KR101378856B1 (en) Safety management method and device thereof
CN110867006A (en) Pedestrian passageway gate machine, control method thereof and pedestrian passageway gate machine system
JP2017111496A (en) Behavior monitoring prediction system and behavior monitoring prediction method
KR20160131678A (en) Portable device for protecting having camera and method for taking picture
KR101440477B1 (en) System and method for smart security
KR101778863B1 (en) Household security system using home network
JP2011227679A (en) Notification device
CN106128055A (en) A kind of internet alarm system
KR20120111244A (en) System for intelligently monitoring image for monitoring elevator
KR102641750B1 (en) Emergency bell system with hidden camera detection function
WO2023002563A1 (en) Monitoring device, monitoring system, monitoring method, and non-transitory computer-readable medium having program stored therein
KR20240128234A (en) Stalking prevention devices and methods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 7