KR101407952B1

KR101407952B1 - Elevator crime prvent system and method of controlling the same

Info

Publication number: KR101407952B1
Application number: KR1020120126464A
Authority: KR
Inventors: 전창현
Original assignee: 전창현; 오티스 엘리베이터 컴파니
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2014-06-17
Also published as: KR20140059962A

Abstract

본 발명은 엘리베이터 방범시스템 및 방법에 관한 것으로서, 엘리베이터의 천장에 설치되어 엘리베이터 카의 평면 영상을 촬영하는 카메라; 상기 카메라로 촬영된 감시 영상을 등간격 셀로 분할하여 가상 매트릭스를 형성하고 각 매트릭스 셀에서의 옵티컬 플로우를 산출한 후, 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 생성하는 움직임정보 처리부; 및 상기 모션 디스크립터를 기 저장된 상황별 대표 모션 디스크립터들과 비교하여 위험 상황을 발생 여부를 확률적으로 판단하는 제어부를 포함한다. 이에 의해, 엘리베이터 카의 천장에 설치된 카메라로 촬영한 영상으로부터 모션 디스크립터를 추출하여 탑승자의 위치와 동작을 파악하고 탑승자들의 동작을 학습하여 탑승자들의 동작에 따라 범죄 상황 발생 여부를 정확히 판단할 수 있도록 함으로써 엘리베이터 카 내에서의 위험 상황 인식확률을 개선할 수 있다.The present invention relates to an elevator crime prevention system and method, and more particularly, to an elevator crime prevention system and a method thereof, including a camera installed on a ceiling of an elevator and photographing a flat image of the elevator car; A virtual image is formed by dividing a surveillance image photographed by the camera into equally spaced cells to form a virtual matrix, calculating an optical flow in each matrix cell, and classifying and accumulating optical flows according to their positions and directions to generate a motion descriptor An information processing unit; And a controller for comparing the motion descriptor with previously stored representative motion descriptors to determine whether or not a dangerous situation occurs stochastically. Accordingly, the motion descriptor is extracted from the image captured by the camera installed on the ceiling of the elevator car to grasp the position and operation of the occupant and learn the operation of the passengers, so that it is possible to accurately determine whether a crime occurs The probability of recognizing the dangerous situation in the elevator car can be improved.

Description

TECHNICAL FIELD [0001] The present invention relates to an elevator crime prevention system and method,

본 발명은 엘리베이터 방범시스템 및 방법에 관한 것으로서, 더욱 상세하게는 엘리베이터 카의 천장에 설치된 카메라로 촬영한 영상으로부터 모션 디스크립터를 추출하여 탑승자의 위치와 동작을 파악하고 탑승자들의 동작을 학습하여 탑승자들의 동작에 따라 범죄 상황 발생 여부를 정확히 판단할 수 있도록 함으로써 엘리베이터 카 내에서의 위험 상황 인식확률을 개선할 수 있는 엘리베이터 방범시스템 및 방법에 관한 것이다.
The present invention relates to an elevator crime prevention system and method, and more particularly, to an elevator crime prevention system and method that extracts a motion descriptor from an image captured by a camera installed on a ceiling of an elevator car, grasps the position and operation of the occupant, And more particularly, to an elevator crime prevention system and method capable of improving the probability of recognizing a dangerous situation in an elevator car.

승객이 탑승하는 엘리베이터 카는 외부와 차단된 밀폐된 상태로 운행되므로, 탑승 중에 임의의 침입자로부터의 위험한 상황에 노출될 수 있다. 이에 따라, 엘리베이터 카에는 CCTV나 방범창이 구비되는 등 다양한 방법의 방범 기능이 추가로 구비된다.Since the elevator car on which the passenger is traveling is operated in an airtight state shut off from the outside, it can be exposed to a dangerous situation from any intruder during boarding. Accordingly, the elevator car is additionally equipped with various crime prevention functions such as CCTV and security windows.

기존의 엘리베이터 카에 설치되는 카메라 장치는 카 내의 영상을 방재실이나 관리실 등으로 전송한다. 이에, 영상을 감시하는 관리자가 다수 대의 엘리베이터 카로부터 전송되는 영상을 직접 확인하여 범죄 상황을 감시한다. A camera device installed in an existing elevator car transmits an image in the car to an emergency room or a management room. Therefore, an administrator monitoring an image directly monitors images transmitted from a plurality of elevator cars to monitor a crime situation.

이러한 영상 감시 방법의 경우, 소수의 관리자가 다수의 영상을 모두 확인하기가 어렵고 범죄나 위험 발생 여부를 관리자가 직접 육안으로 확인하기 때문에 순간적으로 발생하는 범죄상황을 인식하지 못하거나, 뒤늦게 인식하게 되어 방범 효과가 떨어질 수 있다는 문제점이 있다.In the case of such a video surveillance method, it is difficult for a small number of administrators to confirm all the images, and since the administrator visually confirms the occurrence of a crime or a danger, the criminal situation occurring instantaneously is not recognized or recognized late There is a problem that the security effect may be lowered.

이에, 엘리베이터 카 내에서 발생하는 상황들을 정량적으로 분석 및 처리하여 범죄발생 여부를 신속하고 정확하게 판단할 수 있는 방범시스템의 필요성이 높아지고 있다.
Accordingly, there is an increasing need for a crime prevention system capable of quickly and accurately judging whether or not a crime has occurred by quantitatively analyzing and processing situations occurring in an elevator car.

한국등록특허 10-1023153: 위험상태 감시 기능을 갖는 엘리베이터 시스템Korean Patent Registration No. 10-1023153: Elevator system having a dangerous state monitoring function

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 엘리베이터 카의 천장에 설치된 카메라로 촬영한 영상으로부터 모션 디스크립터를 추출하여 탑승자의 위치와 동작을 파악하고 탑승자들의 동작을 학습하여 탑승자들의 동작에 따라 범죄 상황 발생 여부를 정확히 판단할 수 있도록 함으로써, 엘리베이터 카 내에서의 위험 상황 인식확률을 개선할 수 있는 엘리베이터 방범시스템 및 방법을 제공하는데 그 기술적 과제가 있다.
SUMMARY OF THE INVENTION The present invention has been conceived to solve the above-mentioned problems, and it is an object of the present invention to provide an elevator car which can extract a motion descriptor from an image captured by a camera installed on a ceiling of an elevator car, grasp the position and operation of the occupant, There is a technical problem of an elevator crime prevention system and method which can improve the probability of recognizing a dangerous situation in an elevator car by making it possible to accurately determine whether a crime situation has occurred or not.

상술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 엘리베이터의 천장에 설치되어 엘리베이터 카의 평면 영상을 촬영하는 카메라; 상기 카메라로 촬영된 감시 영상을 등간격 셀로 분할하여 가상 매트릭스를 형성하고 각 매트릭스 셀에서의 옵티컬 플로우를 산출한 후, 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 생성하는 움직임정보 처리부; 및 상기 모션 디스크립터를 기 저장된 상황별 대표 모션 디스크립터들과 비교하여 위험 상황을 발생 여부를 확률적으로 판단하는 제어부를 포함하는 엘리베이터 방범시스템이 제공된다.According to an aspect of the present invention, there is provided an elevator car comprising: a camera installed on a ceiling of an elevator and photographing a plane image of the elevator car; A virtual image is formed by dividing a surveillance image photographed by the camera into equally spaced cells to form a virtual matrix, calculating an optical flow in each matrix cell, and classifying and accumulating optical flows according to their positions and directions to generate a motion descriptor An information processing unit; And a controller for comparing the motion descriptor with previously stored representative motion descriptors to determine whether or not a dangerous situation occurs stochastically.

여기서, 상기 움직임정보 처리부는, 상기 감시 영상의 2개의 연속된 프레임에서 움직임이 있었던 화면의 픽셀마다, 앞의 프레임에서 화면의 특정 픽셀이 다음의 프레임에서는 어느 위치에 해당하는지를 방향(orientation)과 화면상의 이동거리(magnitude)로 표현하여 상기 옵티컬 플로우를 산출할 수 있다.Here, the motion information processing unit may determine, for each pixel of a screen in which motion has occurred in two consecutive frames of the supervisory image, a position of a specific pixel on the screen in the previous frame, The optical flow can be calculated by expressing the optical flow as a magnitude.

그리고, 상기 움직임정보 처리부는, 상기 옵티컬 플로우들 중 상기 이동거리가 기준거리 이상인 옵티컬 플로우들을 해당 위치와 방향에 따라서 누적하여 히스토그램(histogram) 형태로 모션 디스크립터를 생성할 수 있다.The motion information processing unit may generate a motion descriptor in the form of a histogram by accumulating optical flows having the movement distance equal to or greater than the reference distance among the optical flows according to the position and direction.

한편, 상기 제어부는, 상기 생성된 모션 디스크립터와 기 저장된 상황별 대표 모션 디스크립터들 간의 유사도를 비교하여 상기 유사도가 가장 높은 대표 모션 디스크립터에 해당하는 상황이 발생한 것으로 판단할 수 있다.Meanwhile, the controller may compare the similarity between the generated motion descriptor and the previously stored representative motion descriptors to determine that a situation corresponding to the representative motion descriptor with the highest similarity occurs.

한편, 상기 제어부는, 상기 감시 영상에서 배경을 제거한 영상을 2진 영상으로 변환하여 탑승객을 BIOB(Binary Large Object) 형태로 추출하고, 상기 BIOB의 엣지를 검출하여 검출된 엣지들 중에 폐곡선(close loop)을 이루고 있는 엣지의 집합인 윤곽선(contour)를 인식하여 탑승객의 숫자를 인식할 수 있다.Meanwhile, the controller extracts the background image from the monitored image into a binary image to extract the BIOB (Binary Large Object) form of the passenger, and detects the edge of the BIOB to detect a closed loop The contour which is a set of edges constituting the contour, and recognizes the number of passengers.

여기서, 상기 제어부는, 기준 시간 동안 같은 개수의 윤곽선만 존재하면서 상기 윤곽선을 이루고 있는 엣지의 수의 변화가 기준 변화수 보다 적은 경우 낙상자가 발생한 것으로 판단할 수 있다.Here, the controller may determine that a fall-off occurs when there are only the same number of outlines in the reference time and the change in the number of edges forming the outline is smaller than the reference change number.

상술한 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, (A) 엘리베이터 카 내의 천장에서 바닥을 촬영하여 상기 엘리베이터 카 내의 평면 영상을 획득하는 단계; (B) 움직임 정보 처리부에서 상기 촬영된 감시 영상을 등간격 셀로 분할하여 가상 매트릭스를 형성하는 단계; (C) 상기 움직임 정보 처리부에서 각 매트릭스 셀에서의 옵티컬 플로우를 산출하는 단계; (D) 상기 움직임 정보 처리부에서 산출된 상기 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 생성하는 단계; 및 (E) 제어부에서 상기 모션 디스크립터를 기 저장된 상황별 대표 모션 디스크립터들과 비교하여 위험 상황을 발생 여부를 확률적으로 판단하는 단계를 포함하는 엘리베이터 방범방법이 제공된다.According to another aspect of the present invention, there is provided an elevator car comprising: (A) photographing a floor in a ceiling in an elevator car to obtain a flat image in the elevator car; (B) dividing the photographed surveillance image into equally spaced cells in a motion information processing unit to form a virtual matrix; (C) calculating an optical flow in each matrix cell in the motion information processing unit; (D) generating motion descriptors by classifying and accumulating the optical flows calculated by the motion information processing unit according to their positions and directions; And (E) comparing the motion descriptor with previously stored representative motion descriptors in a controller to determine whether or not a dangerous situation occurs stochastically.

여기서, 상기 (c) 단계는, 상기 감시 영상의 2개의 연속된 프레임에서 움직임이 있었던 화면의 픽셀마다 앞의 프레임에서 화면의 특정 픽셀이 다음의 프레임에서는 어느 위치에 해당하는지를 방향(orientation)과 화면상의 이동거리(magnitude)로 표현하여 상기 옵티컬 플로우를 산출하는 단계를 포함할 수 있다.Here, the step (c) may include determining a position of a specific pixel on the screen in a frame preceding the frame in which the motion has occurred in two consecutive frames of the monitor image, And calculating the optical flow by expressing the optical flow as a magnitude.

그리고, 상기 (D) 단계는, 상기 옵티컬 플로우들 중 상기 이동거리가 기준거리 이상인 옵티컬 플로우들을 해당 위치와 방향에 따라서 누적하여 히스토그램(histogram) 형태로 모션 디스크립터를 생성하는 단계를 포함할 수 있다.The step (D) may include generating a motion descriptor in the form of a histogram by accumulating optical flows having the moving distance equal to or greater than the reference distance among the optical flows according to the position and the direction.

또한, 상기 (E) 단계는, 상기 생성된 모션 디스크립터와 기 저장된 상황별 대표 모션 디스크립터들 간의 유사도를 비교하여 상기 유사도가 가장 높은 대표 모션 디스크립터에 해당하는 상황이 발생한 것으로 판단하는 단계를 포함할 수 있다.The step (E) may include comparing the similarity between the generated motion descriptor and the previously stored representative motion descriptors to determine that a situation corresponding to the representative motion descriptor with the highest similarity occurs have.

한편, 상기 (E) 단계 이후에, 상기 제어부가 상기 감시 영상에서 배경을 제거한 영상을 2진 영상으로 변환하여 탑승객을 BIOB(Binary Large Object) 형태로 추출하는 단계; 상기 BIOB의 엣지를 검출하여 검출된 엣지들 중에 폐곡선(close loop)을 이루고 있는 엣지의 집합인 윤곽선(contour)를 인식하는 단계; 및 상기 윤곽선의 숫자를 탑승객의 숫자로 인식하는 단계를 더 포함할 수 있다.After the step (E), the controller extracts a background image from the monitored image into a binary image and extracts a passenger in a BIOB (Binary Large Object) form; Detecting an edge of the BIOB and recognizing a contour that is a set of edges forming a closed loop among the detected edges; And recognizing the number of the contour lines as a number of passengers.

그리고, 기준 시간 동안 같은 개수의 윤곽선만 존재하면서 상기 윤곽선을 이루고 있는 엣지의 수의 변화가 기준 변화수 보다 적은 경우 상기 제어부가 낙상자가 발생한 것으로 판단하는 단계를 더 포함할 수 있다.
The controller may further include a step of determining that a fall-off occurred when the number of edges forming the outline is less than the reference change number while only the same number of outlines exist during the reference time.

상술한 바와 같이 본 발명의 엘리베이터 방범시스템 및 방법은 엘리베이터 카의 천장에 설치된 카메라로 촬영한 영상으로부터 모션 디스크립터를 추출하여 탑승자의 위치와 동작을 파악하고 탑승자들의 동작을 학습하여 탑승자들의 동작에 따라 범죄 상황 발생 여부를 정확히 판단할 수 있도록 함으로써, 엘리베이터 카 내에서의 위험 상황 인식확률을 개선할 수 있다.
As described above, according to the elevator security system and method of the present invention, the motion descriptor is extracted from the image captured by the camera installed on the ceiling of the elevator car to grasp the position and operation of the occupant and learn the operation of the passengers, By making it possible to accurately determine whether or not a situation has occurred, the probability of recognizing a dangerous situation in the elevator car can be improved.

도 1은 본 발명의 실시예에 따른 엘리베이터 방범시스템의 개략적 구성도이다.
도 2는 본 발명의 실시예에 따른 엘리베이터 카의 정면도이다.
도 3은 본 발명의 실시예에 따른 엘리베이터 방범시스템의 제어장치의 제어블럭도이다.
도 4는 본 발명의 제1실시예에 따른 엘리베이터 방범시스템의 움직임 정보 처리 흐름도이다.
도 5는 본 발명의 제2실시예에 따른 엘리베이터 방범시스템의 움직임 정보 처리 흐름도이다.
도 6은 본 발명의 실시예에 따른 감시 동영상의 옵디컬 플로우 추출 상태도이다.
도 7은 도 6의 감시 동영상의 모션 디스크립터 추출 상태도이다.
도 8은 본 발명의 실시예에 따른 감시 동영상의 2진 영상 변환 상태도이다.
도 9는 도 8의 감시 동영상의 윤곽선 추출 상태도이다.1 is a schematic block diagram of an elevator crime prevention system according to an embodiment of the present invention.
2 is a front view of an elevator car according to an embodiment of the present invention.
3 is a control block diagram of a control apparatus for an elevator crime prevention system according to an embodiment of the present invention.
4 is a flowchart of motion information processing in the elevator crime prevention system according to the first embodiment of the present invention.
5 is a flowchart of motion information processing of the elevator crime prevention system according to the second embodiment of the present invention.
FIG. 6 is a diagram illustrating an optical flow extraction state of a surveillance moving picture according to an embodiment of the present invention.
7 is a state diagram showing the motion descriptor extraction of the surveillance moving picture of FIG.
8 is a binary image conversion state diagram of a surveillance moving picture according to an embodiment of the present invention.
9 is a contour extraction state diagram of the surveillance moving picture of FIG.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 엘리베이터 방범시스템의 운영 상태도이다.1 is an operational state diagram of an elevator crime prevention system according to an embodiment of the present invention.

건물에는 1기 이상의 엘리베이터(120, 130, 150)를 포함하는 엘리베이터 설비부(100)가 설치될 수 있다. 엘리베이터 설비부(100)는 통신망(1)을 통해 원격관리센터(10)와 통신이 가능하며, 경찰서 혹은, 경비업체 등과 통신하는 것도 가능하다.The elevator facility 100 including one or more elevators 120, 130, and 150 may be installed in the building. The elevator equipment 100 can communicate with the remote management center 10 via the communication network 1 and can communicate with a police station or a security company.

원격관리센터(10)는 엘리베이터 설비부(100)와 통신망(1)을 통해 접속되며, 엘리베이터 설비부(100)에서 송신하는 범죄 상황 정보를 수신하여 범죄 해결을 위한 조치를 취할 수 있다. The remote management center 10 is connected to the elevator equipment 100 via the communication network 1 and receives the crime situation information transmitted from the elevator equipment 100 to take measures for resolving the crime.

엘리베이터 설비부(100)는 엘리베이터 카(280)와 엘리베이터 카(280) 내의 영상을 촬영하는 카메라부(290)와, 엘리베이터(120, 130, 150)의 전반적인 기능을 제어하고 엘리베이터 카(280) 내에서 범죄 상황이 발생하였는지 여부를 감지하여 범죄가 발생한 것으로 판단된 경우 관리실(20)과 원격관리센터(10) 등에 범죄 상황을 보고하는 제어장치(200, 300, 500)를 포함한다.The elevator facility 100 includes a camera unit 290 for photographing an elevator car 280 and an image of the elevator car 280 and a control unit for controlling the overall functions of the elevators 120, 300, and 500 for reporting a crime situation to the management room 20 and the remote management center 10 when it is determined that an offense has occurred.

제어장치(200)는 엘리베이터 카(280) 내의 영상을 분석하여 탑승자의 숫자와 움직임을 감지하고, 엘리베이터 카(280) 내의 진동상태를 감지하여 범죄 발생 여부를 판단한다. 범죄 상황이 감지된 경우 제어장치(200)는 관리실(20)에 이를 통지할 수 있으며 통신망(1)을 통해 원격관리센터(10)에 보고할 수 있다.The controller 200 analyzes the image in the elevator car 280 to detect the number and the movement of the passenger, and detects the vibration state in the elevator car 280 to determine whether a crime has occurred. When the criminal situation is detected, the control device 200 can notify the management room 20 and report it to the remote management center 10 through the communication network 1. [

제어장치(200)는 엘리베이터 카(280) 내에서 범죄가 발생한 것으로 판단된 경우, 엘리베이터 카(280) 내의 영상과 음성정보를 녹화하여 관리실(20) 이나 원격관리센터(10) 등의 외부로 전송할 수 있다. 이에, 다수의 사람들이 범죄상황을 인식하여 조치를 취할 수 있으며, 녹화된 영상은 범죄의 증거 자료로 활용하는 것이 가능하다. The control device 200 records video and audio information in the elevator car 280 and transmits the video and audio information to the outside of the management room 20 or the remote management center 10 when it is determined that the crime has occurred in the elevator car 280 . Therefore, a large number of people can recognize the crime situation and take action, and the recorded video can be used as evidence of crime.

제어장치(200)는 엘리베이터 카(280) 내의 탑승자가 원격관리센터(10), 경비업체 등과 직접 통화할 수 있도록 통화기능을 자동으로 활성화시킴으로써, 범죄 상황에 처한 탑승자가 좀더 용이하게 도움을 청할 수 있도록 한다. 또한, 승강장에 설치된 버튼을 이용하여 승강장에서 비상통화 혹은 신고전화를 시도할 수 있도록 한다.The control device 200 automatically activates the call function so that the passenger in the elevator car 280 can directly communicate with the remote management center 10 and the security guard company so that the passenger in a crime situation can easily ask for help . In addition, an emergency call or a report call can be attempted at the platform by using a button installed on the platform.

또한, 제어장치(200)는 엘리베이터 카(280) 내에서 범죄가 발생한 것으로 판단된 경우, 엘리베이터 카(280)를 가장 가까운 층에 정차시킨 후 도어를 개방할 수 있다. 이때, 범죄 상황 감지로 인해 가까운 층에 정차한다는 점과, 현재 엘리베이터 카(280) 내의 영상을 녹화 중이라는 점을 안내하여, 범죄자를 심리적으로 무력화시킬 수 있으며, 탑승자의 불안감을 감소시킬 수 있다. In addition, when it is determined that the crime has occurred in the elevator car 280, the controller 200 can stop the elevator car 280 at the closest floor, and then open the door. At this time, it is possible to psychologically disable the criminal and to reduce the anxiety of the passenger by guiding that the car stops at the near floor due to the detection of the crime and that the image is being recorded in the elevator car 280 at present.

여기서, 하나의 건물에 복수개의 엘리베이터(120, 130, 150)가 설치된 경우, 각 엘리베이터(120, 130, 150)의 제어장치(200, 300, 500)는 상호 마스터/슬레이브 관계로 연결된다. 마스터 제어장치(200)는 각 슬레이브 제어장치(300, 500)와 원격관리센터(10) 간의 접속을 중계할 수 있다Here, when a plurality of elevators 120, 130 and 150 are installed in one building, the control devices 200, 300 and 500 of the elevators 120, 130 and 150 are connected in a master / slave relationship. The master control device 200 can relay the connection between the slave control devices 300 and 500 and the remote management center 10

즉, 마스터 제어장치(200)는 각 슬레이브 제어장치(300, 500)로부터 제2엘리베이터(130), 제N엘리베이터(150) 등의, 범죄 상황 감지 정보를 입력 받아 경찰서(20)나 원격관리센터(10)에 송신할 수 있다.That is, the master control device 200 receives the crime situation detection information from the slave control devices 300 and 500, such as the second elevator 130 and the Nth elevator 150, (10).

도 2는 본 발명의 실시예에 따른 엘리베이터 카(280)의 정면도이고, 도 3은 본 발명의 실시예에 따른 엘리베이터 방범시스템의 제어장치의 제어블럭도이다.FIG. 2 is a front view of an elevator car 280 according to an embodiment of the present invention, and FIG. 3 is a control block diagram of a control apparatus for an elevator crime prevention system according to an embodiment of the present invention.

본 발명의 실시예에 따른 엘리베이터 카(280)의 천장에는 가상 매트릭스 형성을 위한 카메라(290)가 설치된다. 또한, 내부 벽면에는 탑승자의 입력을 위한 탑승자 입력부(294)가 마련된다.A camera 290 for forming a virtual matrix is installed on the ceiling of the elevator car 280 according to the embodiment of the present invention. In addition, a passenger input unit 294 for inputting a passenger is provided on the inner wall surface.

천장에 설치된 카메라(290)는 엘리베이터 카(280) 내의 영상을 아래 방향으로 촬영한다. 이에, 카메라(290)를 통해 엘리베이터 카(280) 내부의 평면도 형상을 영상으로 획득할 수 있다. 여기서, 엘리베이터 카(280)의 크기가 작은 경우 한 대의 카메라로 엘리베이터 내부의 평면도 형상을 모두 영상으로 담을 수 있지만, 엘리베이터 카(280)의 크기가 큰 경우에는 두 대 이상의 카메라를 천장에 설치할 수 있다. The camera 290 installed on the ceiling photographs the image in the elevator car 280 in the downward direction. Thus, the top view of the inside of the elevator car 280 can be acquired as an image through the camera 290. Here, if the size of the elevator car 280 is small, the elevator car can have all the topographic shapes of the inside of the elevator with one camera. However, when the elevator car 280 is large, two or more cameras can be installed on the ceiling .

또한, 카메라(290)는 평상시에는 처리속도 향상을 위해 상대적으로 낮은 해상도로 촬영을 하고, 위험상황이 발생하는 것으로 의심되는 경우, 즉, 탑승자 간 근접하는 상태가 인식되는 경우, 카메라(290)의 촬영 해상도가 높아지도록 제어하여 고화질의 영상을 통해 더욱 상세한 상황을 판단할 수 있도록 제어할 수 있다. In addition, the camera 290 shoots at a relatively low resolution in order to improve the processing speed at normal times, and when the suspicious situation is suspected, that is, It is possible to control the imaging resolution to be higher so that a more detailed situation can be judged through a high-quality image.

이때, 낮은 해상도와 높은 해상도는 한 카메라의 줌 아웃(zoom-out) 및 줌인(zoom-in) 작동에 의하여 달성되는 것일 수 있다. 또한, 한대의 카메라에 의한 줌인 작동에 의한 것보다 더욱 높은 해상도의 영상을 얻기 위해 두 대 이상의 카메라에 의하여 얻은 상세한 영상을 조합하여 전체 영상을 얻는 것도 가능하다. At this time, the lower resolution and higher resolution may be achieved by zoom-in and zoom-in operations of one camera. It is also possible to obtain a full image by combining detailed images obtained by two or more cameras to obtain a higher resolution image than by using a single camera.

마이크/스피커부(282)는 탑승자의 음성정보를 입력 받거나 범죄 발생 시 안내 메시지를 출력할 수 있다. The microphone / speaker unit 282 can receive voice information of the passenger or output a guidance message when a crime occurs.

탑승자 입력부(294)는 탑승자의 목적 층 선택을 위한 층 선택 버튼, 비상호출 버튼, 통화 버튼 등을 포함할 수 있다. The passenger input unit 294 may include a floor selection button, an emergency call button, a call button, and the like for selecting a destination floor of a passenger.

디스플레이부(284)는 평상시에 광고나 현재 엘리베이터가 도착한 층을 표시할 수 있다. 그리고, 범죄 발생 시에는 범죄자에게 경고 메시지를 표시하거나, 사용자에게 안전수칙을 안내할 수 있으며, 현재 촬영중인 영상을 표시하여 범죄자에게 현재 범죄 상황을 녹화중이라는 것을 인지시킴으로써 범죄자의 범행 의지를 저하시킬 수 있다. The display unit 284 may display the advertisement or the floor where the current elevator arrives at a normal time. When a crime occurs, a warning message is displayed to a criminal, a safety guideline can be informed to the user, and the image currently being shot can be displayed to recognize that a criminal is currently recording a criminal situation, .

제어장치(200)는 통신부(220), 저장부(230), 움직임정보 DB(240), 운행정보 감지부(250), 구동부(260), 움직임정보 처리부(270)와, 엘리베이터 카(280) 내에 구비되는 카메라부(290), 마이크/스피커(283), 디스플레이부(284), 탑승자 입력부(294)를 제어하는 제어부(210)를 포함한다.The controller 200 includes a communication unit 220, a storage unit 230, a motion information DB 240, a driving information sensing unit 250, a driving unit 260, a motion information processing unit 270, an elevator car 280, And a control unit 210 for controlling the camera unit 290, the microphone / speaker 283, the display unit 284, and the passenger input unit 294 provided in the vehicle.

통신부(220)는 원격관리센터(10), 관리실(20) 등과 접속되어 범죄 상황을 신고할 수 있다. The communication unit 220 can be connected to the remote management center 10, the management room 20, and the like to report the crime situation.

저장부(230)에는 범죄신고를 위한 연락처 정보와, 영상표시를 위한 그래픽 정보 등의 데이터가 저장될 수 있다.The storage unit 230 may store contact information for reporting a crime and graphic data for displaying a video image.

구동부(260)는 엘리베이터 카(280)를 특정 층으로 승하강 시키는 카 구동장치, 도어를 개폐하는 도어 개폐 구동장치, 등 엘리베이터 기능을 제공하기 위한 다양한 구동장치를 포함할 수 있다.The driving unit 260 may include a car driving device for moving the elevator car 280 up and down to a specific floor, a door opening / closing driving device for opening and closing the door, and various driving devices for providing an elevator function.

운행정보 감지부(250)는 구동부(260)의 구동상태, 엘리베이터 카(280)의 위치, 이동 속도, 도어 개폐 여부 등, 엘리베이터(120) 운행과 관련된 각종 정보들을 감지하여 제어부(210)에 전달한다. 이에, 운행정보 감지부(250)는, 층 감지 센서, 속도 감지 센서, 도어 센서 등 다양한 센서들을 포함할 수 있다.The driving information sensing unit 250 senses various information related to the operation of the elevator 120 such as the driving state of the driving unit 260, the position of the elevator car 280, the moving speed, do. Accordingly, the travel information sensing unit 250 may include various sensors such as a layer sensing sensor, a speed sensing sensor, and a door sensor.

움직임정보 처리부(270)는 엘리베이터 카(280) 내의 카메라(290)로 촬영된 엘리베이터 평면 영상에 대해 가상 매트릭스를 형성하여 각 셀 단위로 옵티컬 플로우(optical flow)를 산출한 후, 산출된 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터(motion descriptor)를 히스토그램(histogram)의 형태로 생성한다. The motion information processing unit 270 forms a virtual matrix for the elevator plane image photographed by the camera 290 in the elevator car 280 to calculate an optical flow for each cell and then outputs the calculated optical flow Are classified and accumulated according to their positions and directions to generate a motion descriptor in the form of a histogram.

움직임정보 처리부(270)가 설정하는 가상 매트릭스는 카메라(290)로 촬영한 엘리베이터 내의 전체 평면도 영상을 적절한 크기를 가지는 셀로 분할한 것이다. 가상 매트릭스는 가로 및 세로의 n x n 또는 n x m의 등간격 배열로 분할된 셀들을 가진다. 여기에서 n은 3 이상의 자연수이고, m은 n보다 큰 자연수이다. n과 m의 상한값은 제어부가 처리할 수 있다면 특별히 한정되지 않는다. n과 m의 값은 제어부의 처리속도에 따라 적절하게 선택될 수 있는데, 예를 들어, 10~10000의 범위를 가질 수 있으며, 처리의 정확성과 속도 그리고 경제성을 고려하여 적정하게 선택할 수 있다. The virtual matrix set by the motion information processing unit 270 is obtained by dividing an entire floor plan image in an elevator taken by the camera 290 into cells having an appropriate size. The virtual matrix has cells divided into equidistant arrangements of n x n or n x m in the horizontal and vertical directions. Where n is a natural number greater than or equal to 3, and m is a natural number greater than n. The upper limit value of n and m is not particularly limited as far as it can be processed by the control section. The values of n and m can be appropriately selected according to the processing speed of the control unit. For example, the values of n and m can be in the range of 10 to 10000, and can be appropriately selected in consideration of the accuracy, speed and economy of processing.

움직임정보 처리부(270)는 가상 매트릭스의 분할된 셀을 단위로 옵티컬 플로우를 산출한다. 옵티컬 플로우는 비디오의 2개의 연속된 프레임마다 계산이 된다. 각 옵티컬 플로우는 앞의 프레임에서 화면의 특정 픽셀(pixel)이 다음의 프레임에서는 어느 위치에 해당하는지를 나타낸다. 이에, 옵티컬 플로우는 움직임이 있었던 화면의 픽셀마다 방향(orientation)과 화면상의 이동거리(magnitude)로 표현된다. 움직임정보 처리부(270)는 광 흐름 분석에 이용되는 Gunnar-Farneback 알고리즘, 등을 이용하여 옵티컬 플로우를 산출할 수 있다.The motion information processing unit 270 calculates an optical flow in units of divided cells of the virtual matrix. The optical flow is calculated for every two consecutive frames of video. Each optical flow shows the position of a specific pixel in the frame in the previous frame. Therefore, the optical flow is represented by the orientation and the magnitude of movement on the screen for each pixel of the screen on which the motion has occurred. The motion information processing unit 270 can calculate an optical flow using a Gunnar-Farneback algorithm used for optical flow analysis, and the like.

움직임정보 처리부(270)는 감시 영상에서 옵티컬 플로우들을 산출한 후, 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 히스토그램(histogram)의 형태로 생성한다. 움직임정보 처리부(270)는 특정 시간 단위마다(예: 1초) 그 안에 관찰된 비디오 프레임들에서 옵티컬 플로우를 산출한다. 움직임정보 처리부(270)는 s*s의 가상 매트릭스를 생성한 경우 각 셀 내에서 관찰되는 특정 크기 (magnitude)이상의 옵티컬 플로우들을 방향에 따라서 8가지로 분류한다. 이에, 옵티컬 플로우들은 s*s*8가지 타입으로 분류되며, 관찰되는 각 타입의 개수를 합하여 모션 디스크립터가 완성된다. 따라서 모션 디스크립터는 s*s*8의 차원(dimension)을 가지는 히스토그램으로 생성된다.The motion information processing unit 270 calculates optical flows from the supervised image, and then classifies and accumulates the optical flows according to their positions and directions to generate motion descriptors in the form of a histogram. The motion information processing unit 270 calculates the optical flow in the video frames observed within the specific time unit (e.g., 1 second). The motion information processing unit 270 classifies optical flows having a magnitude greater than or equal to a magnitude observed in each cell into eight according to the direction when generating the s * s virtual matrix. Thus, the optical flows are classified into s * s * 8 types, and the number of each type observed is summed to complete the motion descriptor. Therefore, the motion descriptor is generated as a histogram having a dimension of s * s * 8.

움직임정보 처리부(270)에서 생성된 모션 디스크립터는 감시 영상에서 관찰되는 움직임(motion) 정보를 함축한 데이터로서, 영상 내 특정 구간에서 관찰되는 사물의 이동 내용을 요약한다. 감시 영상은 연속적인 반면 모션 디스크립터는 특정 영상 구간(예: 1초)의 움직임 정보를 요약하므로, 각 구간에 해당하는 모션 디스크립터들이 연속적으로 계산되게 된다. 영상 구간마다 계산된 모션 디스크립터는 그 구간의 모든 움직임을 표현하며, 이것이 비디오 기반 범죄 인식에 사용된다. The motion descriptor generated by the motion information processing unit 270 is data including motion information observed in the supervised image, and summarizes the moving contents of the object observed in a specific section of the image. The motion descriptor summarizes the motion information of a specific video segment (for example, 1 second), while the motion descriptors corresponding to each segment are continuously calculated. The motion descriptor calculated for each video segment expresses all the movements of that segment, and this is used for video-based crime recognition.

제어부(210)는 움직임정보 처리부(270)로부터 모션 디스크립터를 전달받아, 움직임정보 DB(240)에 저장된 대표 모션 디스크립터들과 비교하여 엘리베이터 카(280) 내의 위험 상황을 확률적으로 판단한다.The control unit 210 receives the motion descriptor from the motion information processing unit 270 and compares the motion descriptor with the representative motion descriptors stored in the motion information DB 240 to determine a dangerous situation in the elevator car 280 in a probabilistic manner.

움직임정보 DB(240)에는 실제 엘리베이터에서의 범죄상황을 담고 있는 positive training example과 범죄 내용을 포함하고 있지 않은 엘리베이터 내 일상상황만을 가진 negative training example이 저장되며, 이에, 제어부(210)는 두 가지 영상을 이용하여 범죄 상황을 학습함으로써 어떠한 모션 디스크립터가 범죄 상황에서 관찰되고 어떠한 모션 디스크립터가 일상 상황에서 관찰되는지 그 확률을 산출할 수 있다.In the motion information DB 240, a positive training example containing the crime situation in the actual elevator and a negative training example having only the normal situation in the elevator not including the crime contents are stored. It is possible to calculate the probability that any motion descriptor is observed in a crime scene and which motion descriptor is observed in a normal situation.

제어부(210)는 모든 학습 비디오의 모든 모션 디스크립터들을 n개의움직임 타입 (motion type)으로 구분한다. 제어부(210)는 n개의 대표 모션 디스크립터를 이용하여 입력된 감시 영상의 모션 디스크립터를 가장 유사한 대표 모션 디스크립터와 같은 타입으로 결정한다. 대표 모션 디스크립터는 다양한 종류의 모션 디스크립터들의 유사도를 통계학적으로 분석하여 산출될 수 있다. 예컨대, K-means 클러스터링(clustering) 알고리즘을 적용하여 다양한 종류의 모션 디스크립터를 n개의 타입으로 분류하고, 각 타입의 대표 모션 디스크립터를 결정함으로써, 입력된 감시 영상을 n개의 움직임 타입 중 한가지로 분류할 수 있다.The controller 210 divides all motion descriptors of all training videos into n motion types. The control unit 210 determines the motion descriptors of the supervisory images input using the n representative motion descriptors as the most similar representative motion descriptor. The representative motion descriptor can be calculated by statistically analyzing the similarities of various kinds of motion descriptors. For example, by classifying various types of motion descriptors into n types by applying a K-means clustering algorithm, and determining representative motion descriptors of each type, the input monitoring image is classified into one of n motion types .

결과적으로 각 학습 비디오는 관찰된 움직임 타입들의 집합으로 해석되고, 제어부(210)는 각 움직임 타입이 positive example들에서 얼마나 자주 관찰되고, negative example들에서는 얼마나 자주 관찰되는지 계산하여, 움직임 타입마다 범죄상황에 해당할 확률을 산출할 수 있다.As a result, each training video is interpreted as a set of observed motion types, and the control unit 210 calculates how often each motion type is observed in positive examples and how often it is observed in negative examples, Can be calculated.

제어부(210)는 이렇게 계산된 움직임 타입, 즉, 대표 모션 디스크립터들과 그에 대응하는 범죄상황 확률을 움직임정보 DB(240)에 파일의 형태로 저장한다. 이러한 학습결과를 모든 엘리베이터의 움직임정보 DB(240)에 제공함으로서 추가적인 학습 없이 어떠한 엘리베이터에도 같은 서비스를 적용할 수 있다. 아울러서 이러한 학습 파일을 추후 교체함으로써 성능의 업데이트가 가능하다.The controller 210 stores the calculated motion types, that is, the representative motion descriptors and the corresponding crime probability probabilities, in the form of files in the motion information DB 240. By providing such learning results to the motion information DB 240 of all the elevators, the same service can be applied to any elevator without additional learning. It is also possible to update performance by replacing such a learning file later.

엘리베이터 카(280)에서 감시 영상이 입력되면, 움직임정보 처리부(270)는 입력된 감시 영상에서 모션 디스크립터들을 산출하여 제어부(210)에 제공하고, 이에, 제어부(210)는 모션 디스크립터들을 움직임정보 DB(240)에 저장된 대표 모션 디스크립터들과 비교하여 움직임 타입을 분류한다. 제어부(210)는 입력된 감시 영상이 범죄 상황을 포함하고 있는지 여부와, 범죄 상황이 포함하고 있다면 그에 해당하는 구체적인 영상 구간이 어디인지 인식한다. 여기서, 연속적으로 들어오는 비디오 입력에서 범죄상황을 인식하기 위하여 슬라이딩 윈도우(sliding window) 기법을 사용할 수 있다. 슬라이딩 윈도우 기법은 메모리 버퍼의 일정 범위를 Window로 한정하여 어떤 연속적인 이벤트에 대한 연산처리를 하기 위하여 그 범위를 이동하며 연산하므로써 목적하는 결과를 빠르게 얻을 수 있는 방법이다. 이에, 제어부(210)는 슬라이딩 윈도우 기법을 이용하여 특정 길이(예: 8초)의 모든 가능한 영상 구간마다 알고리즘을 적용시킨다. 이에, 제어부(210)는 특정 길이의 모든 비디오 구간마다 범죄 상황 여부를 계산하게 된다.When the supervisory image is inputted from the elevator car 280, the motion information processor 270 calculates motion descriptors from the input supervisory image and provides the motion descriptors to the controller 210. The controller 210 then outputs motion descriptors And classifies the motion type by comparing with the representative motion descriptors stored in the motion descriptor 240. The control unit 210 recognizes whether or not the inputted surveillance video includes a crime scene and a concrete video segment corresponding thereto if the crime scene is included. Here, a sliding window technique can be used to recognize a criminal situation in a continuously incoming video input. The sliding window method is a method to obtain the desired result quickly by moving the range of the memory buffer to a certain range of the memory buffer and performing operation processing for a certain consecutive event. Accordingly, the control unit 210 applies the algorithm for every possible video interval of a specific length (e.g., 8 seconds) using the sliding window technique. Accordingly, the controller 210 calculates a crime situation for every video section having a specific length.

제어부(210)는 감시 영상에서 해당하는 모션 디스크립터들을 얻고, 그들에 대응되는 움직임 타입들을 계산한 뒤 타입별 범죄 상황 해당 확률을 가져와서 그 확률들의 평균값을 산출한다. 여기서, 계산된 확률 평균이 설정된 기준값 이상이라면 범죄 상황이라는 결정이 내려지게 된다.The controller 210 obtains corresponding motion descriptors from the supervised image, calculates motion types corresponding to the motion descriptors, calculates a probability of each type of crime, and calculates an average value of the probabilities. Here, if the calculated probability average is greater than the set reference value, it is determined that the crime situation is present.

제어부(210)는 감시 영상으로부터 엘리베이터 카(280) 내부의 탑승객 숫자와 낙상자를 인식할 수 있다. 이를 위해, 제어부(210)는 감시 영상에서 탑승객을 제외한 배경을 제거한 후, 탑승갯 숫자를 추정하고 낙상자를 판단하는 과정을 수행할 수 있다.The control unit 210 can recognize the number of passengers and fallers inside the elevator car 280 from the monitored image. For this, the control unit 210 may remove the background excluding the passengers from the surveillance image, estimate the number of boarding passengers, and determine the fallen person.

제어부(210)는 감시 영상의 배경 제거를 위해, 탑승객이 탑승하지 않고 출입문이 닫힌 상태의 엘리베이터 카(280) 내부의 영상과, 출입문이 열리고 카메라(290)의 게인(gain)이 증가하여 전체적으로 밝은 상황의 영상을 이용할 수 있다. 이다. 제어부(210)는 현재의 감시 영상에서 전술한 2장의 배경 영상을 빼어 만들어진 2장의 영상을 'AND' 연산하여 최종적으로 배경이 제거된 영상을 획득할 수 있다.The control unit 210 displays an image inside the elevator car 280 in which the door is closed without a passenger on board and the door is opened and the gain of the camera 290 is increased, Images of the situation can be used. to be. The control unit 210 can 'AND' the two images produced by subtracting the two background images from the current monitoring image and finally obtain the image with the background removed.

제어부(210)는 배경이 제거된 영상을 2진 영상으로 변환하여 추출된 사람의 형상을 BIOB(Binary Large Object) 형태로 표현한다. BIOB 형태는 바이너리 데이터 (이미지 파일, 텍스트 파일, 엑셀 파일 등)를 저장할 때 사용하는 데이터베이스의 SQL 처리 데이터 형식이다 The control unit 210 converts the background-removed image into a binary image, and expresses the shape of the extracted person in the form of a binary large object (BIOB). The BIOB type is the SQL processing data type of the database used to store binary data (image files, text files, excel files, etc.)

제어부(210)는 변환된 2진 영상에서 BIOB를 검출하기 위해 엣지를 검출하고, 이때, 검출된 엣지를 강화하기 위해 Morphology 알고리즘을 적용할 수 있으며, Morphology 알고리즘을 사용하지 않을 경우 한 개의 BIOB에서 끊어진 여러 개의 엣지가 검출할 수 있다. The control unit 210 may detect the edge in order to detect the BIOB in the converted binary image and may apply the Morphology algorithm to enhance the edge detected at this time, Multiple edges can be detected.

제어부(210)는 검출된 엣지들 중에 폐곡선(close loop)을 이루고 있는 엣지의 집합인 윤곽선(contour)를 인식하고, 찾은 윤곽선 중 배경 제거 중 발생한 노이즈에 의해 생긴 윤곽선나 사람이 금속 재질 벽면에 반사되어 만들어진 윤곽선 등 탑승객에 의해 만들어지지 않은 윤곽선을 제거함으로써, 탑승객의 윤곽선을 검출해 낸다. 여기서, 제어부(210)는 배경 제거 중 발생한 노이즈 등에 의해 발생한 윤곽선을 제거하기 위해 윤곽선을 찾은 후 윤곽선을 이루고 있는 엣지의 수가 너무 작을 경우 해당 윤곽선은 제거할 수 있다. 또한, 탑승객의 윤곽선은 영상 중심에 근처에 존재하고 벽면에 탑승객이 반사된 윤곽선은 영상의 외곽에만 존재하는 성질을 이용하여 영상 중심에서 윤곽선까지의 거리를 계산하고 계산된 거리의 최소값이 특정 값 이상일 경우 반사된 물체의 윤곽선로 간주하고 제거한다. 제어부(210)는 남겨진 윤곽선을 탑승객의 윤곽선로 간주하고 그 수를 카운트하여 탑승객 숫자를 인식할 수 있다.The control unit 210 recognizes a contour that is a set of edges forming a closed loop among the detected edges, and recognizes that contours or people caused by noise generated during removal of the background among the detected contours are reflected on the metal material wall The contour of the passenger is removed, and the contour of the passenger is detected. Here, if the number of edges forming the outline is too small after the outline is searched to remove the outline caused by the noise generated during background removal, the control unit 210 can remove the outline. In addition, the contour of the passenger exists near the center of the image, and the contour reflected by the passenger on the wall is calculated by calculating the distance from the center of the image to the contour using the property existing only in the outline of the image, If it is a contour of the reflected object, it is removed. The control unit 210 may recognize the number of passengers by counting the number of the outline of the outline as the outline of the passenger.

한편, 제어부(210)는 낙상자 인식 알고리즘을 발동하여 감시 영상으로부터 낙상자를 인식할 수 있다. 제어부(210)는 엘리베이터 카(280) 내부에서 범죄가 일어나 낙상자가 발생한 경우 탑승객의 수가 2명 이상(가해자와 피해자)에서 1명(피해자)으로 감소하는 것을 이용하여 엘리베이터 카(280) 내부에 탑승객 수가 2명 이상에서 1명으로 줄어들 경우에만 아래의 낙상자 파악 단계를 수행한다. 제어부(210)는 특정 시간 동안 1개의 윤곽선만 존재하면서 윤곽선을 이루고 있는 엣지의 수의 변화가 기준 변화수 보다 적은 경우 낙상자가 발생한 것으로 간주하여 낙상자를 인식한다.On the other hand, the controller 210 can recognize the dropper from the monitoring image by invoking the raking box recognition algorithm. The control unit 210 uses the decrease in the number of passengers from two or more (the perpetrator and the victim) to one (the victim) in the event of a crime occurring in the elevator car 280, Only if the number is reduced from two or more to one, carry out the step of grasping the box below. The control unit 210 recognizes the fallers by considering that the fallers have occurred when only one outline is present for a specific time and the change in the number of edges forming the outline is smaller than the reference change number.

제어부(210)는 범죄 상황이나 낙상자 발생 등의 위험 상황으로 판단되면, 통신부(220)를 통해 관리실(20), 원격관리센터(10) 등, 범죄 상황에 대처할 수 있는 기관에 범죄 상황을 신고할 수 있다.The control unit 210 reports the crime status to an organization capable of coping with the crime situation such as the management room 20 and the remote management center 10 through the communication unit 220 can do.

제어부(210)는 또한, 엘리베이터 카(280) 내의 마이크/스피커부(282)를 통해 범죄 상황이 감지되었으며, 이에, 현장을 녹화 중이라는 메시지를 출력하고, 가장 가까운 층에 정차할 것임을 안내한다. 제어부(210)는 안내한 바에 따라, 구동부(260)를 제어하여 현재 위치에서 가장 가까운 층에 엘리베이터 카(280)를 정차시키고, 도어를 개방함으로써 범죄 대상인 탑승자가 신속히 탈출을 시도할 수 있도록 유도하고, 범죄자를 신속히 검거할 수 있도록 한다.The control unit 210 also reports that a crime situation has been detected through the microphone / speaker unit 282 in the elevator car 280 and outputs a message indicating that the scene is being recorded and that it will stop at the nearest floor. The control unit 210 controls the driving unit 260 to stop the elevator car 280 at the closest floor at the present position and open the door so that the passenger who is the target of the crime can promptly escape , So that criminals can be arrested promptly.

도 4는 본 발명의 제1실시예에 따른 엘리베이터 방범시스템의 움직임 정보 처리 흐름도로서,범죄 여부를 판단하는 과정을 예시한 것이다.FIG. 4 is a flowchart of motion information processing in the elevator crime prevention system according to the first embodiment of the present invention.

감시 동영상이 수신되면(S110), 움직임정보 처리부(270)는 n x n 또는 n x m의 등간격 배열로 분할된 가상 매트릭스를 형성한다(S120).When the supervisory moving picture is received (S110), the motion information processing unit 270 forms a virtual matrix divided into equidistant arrangements of nxn or nxm (S120).

움직임정보 처리부(270)는 가상 매트릭스의 분할된 셀을 단위로 옵티컬 플로우를 산출한 후, 각 옵티컬 플로우들을 그 위치와 방향에 따라서 분류 및 누적하여 모션 디스크립터를 히스토그램(histogram)의 형태로 생성한다(S130). 움직임정보 처리부(270)는 특정 시간 단위마다 그 안에 관찰된 비디오 프레임들에서 옵티컬 플로우를 산출한다. 움직임정보 처리부(270)는 s*s의 가상 매트릭스를 생성한 경우 각 셀 내에서 관찰되는 특정 크기 (magnitude)이상의 옵티컬 플로우들을 방향에 따라서 8가지로 분류한다. 이에, 옵티컬 플로우들은 s*s*8가지 타입으로 분류되며, 관찰되는 각 타입의 개수를 합하여 모션 디스크립터가 완성된다.The motion information processing unit 270 calculates an optical flow for each of the divided cells of the virtual matrix and then classifies and accumulates the optical flows according to their positions and directions to generate a motion descriptor in the form of a histogram S130). The motion information processing unit 270 calculates the optical flow in the video frames observed within the specific time unit. The motion information processing unit 270 classifies optical flows having a magnitude greater than or equal to a magnitude observed in each cell into eight according to the direction when generating the s * s virtual matrix. Thus, the optical flows are classified into s * s * 8 types, and the number of each type observed is summed to complete the motion descriptor.

제어부(210)는 추출된 모션 디스크립터를 움직임정보 DB(240)에 저장된 모션 디스크립터들과 비교하여 엘리베이터 카(280) 내의 위험 상황을 확률적으로 판단한다(S140).The controller 210 compares the extracted motion descriptors with motion descriptors stored in the motion information DB 240 to determine a dangerous situation in the elevator car 280 (S 140).

제어부(210)는 위험상황인 것으로 판단된 경우(S150), 위험상황 경고 및 신고할 수 있다(S160).If the control unit 210 determines that it is a dangerous situation (S150), the control unit 210 can notify and report a dangerous situation (S160).

그리고, 제어부(210)는 추출된 모션 디스크립터와 판단결과를 파일 형태로 움직임정보 DB(240)에 저장하여 학습 결과가 자동으로 축적되도록 할 수 있다.The controller 210 may store the extracted motion descriptors and the determination results in a file format in the motion information DB 240 so that the learning results are automatically accumulated.

도 5는 본 발명의 제2실시예에 따른 엘리베이터 방범시스템의 움직임 정보 처리 흐름도로서, 탑승객 숫자와 낙상자를 인식하는 과정을 예시한 것이다.FIG. 5 is a flow chart of motion information processing of the elevator crime prevention system according to the second embodiment of the present invention, which illustrates the process of recognizing the number of passengers and fallers.

제어부(210)는 감시 영상에서 배경 제거하고(S210), 배경이 제거된 영상을 2진 영상으로 변환하여 탑승객의 형상 표현한다(S220). 제어부(210)는 배경이 제거된 영상을 2진 영상으로 변환하여 추출된 사람의 형상을 BIOB(Binary Large Object) 형태로 표현할 수 있다. The control unit 210 removes the background from the supervised image (S210), transforms the background-removed image into a binary image, and expresses the shape of the passenger (S220). The control unit 210 may convert the background-removed image into a binary image and express the shape of the extracted person as a binary large object (BIOB).

제어부(210)는 변환된 2진 영상에서 BIOB를 검출하기 위해 엣지를 검출하고, 이때, 검출된 엣지들 중에 폐곡선(close loop)을 이루고 있는 엣지의 집합인 윤곽선(contour)를 인식하여 탑승객의 윤곽선을 추출한다(S230).The control unit 210 detects an edge in order to detect the BIOB in the converted binary image. At this time, the control unit 210 recognizes a contour, which is a set of edges constituting a closed loop among the detected edges, (S230).

제어부(210)는 탑승객의 윤곽선 수에 따라 탑승객 수를 연산하고(S240), 윤곽선을 구성하는 엣지의 변화에 따라 낙상자를 인식한다(S250). 제어부(210)는 특정 시간 동안 같은 개수의 윤곽선만 존재하면서 윤곽선을 이루고 있는 엣지의 수의 변화가 기준 변화수 보다 적은 경우 낙상자가 발생한 것으로 인식할 수 있다.The control unit 210 calculates the number of passengers according to the number of contours of the passenger (S240), and recognizes the dropper in accordance with the change of the edge constituting the contour (S250). The control unit 210 can recognize that the fall-off occurred when only the same number of outlines are present for a specific time and the change in the number of edges forming the outline is smaller than the reference change number.

도 6은 본 발명의 실시예에 따른 감시 동영상의 옵디컬 플로우 추출 상태도이고, 도 7은 도 6의 감시 동영상의 모션 디스크립터 추출 상태도이다.FIG. 6 is an explanatory diagram of an optical flow extracting state of a surveillance moving picture according to an embodiment of the present invention, and FIG. 7 is a motion descriptor extracting state diagram of the surveillance moving picture of FIG.

움직임정보 처리부(270)는 s*s의 가상 매트릭스를 생성한 경우 각 셀 내에서가상 매트릭스의 분할된 셀을 단위로 옵티컬 플로우를 산출한다. 도 6에서는 4*4의 가상 매트릭스를 생성한 경우를 예시하고 있다. 움직임정보 처리부(270)는 비디오의 2개의 연속된 프레임마다 앞의 프레임에서 화면의 특정 픽셀(pixel)이 다음의 프레임에서는 어느 위치에 해당하는지를 방향(orientation)과 화면상의 이동거리(magnitude)로 표현하여 도 6과 같이 옵티컬 플로우를 추출할 수 있다. When the s * s virtual matrix is generated, the motion information processing unit 270 calculates an optical flow in units of divided cells of the virtual matrix in each cell. 6 illustrates a case where a 4 * 4 virtual matrix is generated. The motion information processing unit 270 may display the position of a specific pixel on the screen in the previous frame in two consecutive frames of the video in an orientation and a magnitude of movement on the screen The optical flow can be extracted as shown in FIG.

이 후, 움직임정보 처리부(270)는 도 6과 같은 옵티컬 플로우를 여러 프레임에서 축적하여 도 7에 도시된 바와 같이 모션 디스크립터를 생성할 수 있다. 움직임정보 처리부(270)는 가상 매트릭스의 각 셀 내에서 관찰되는 특정 크기 (magnitude)이상의 옵티컬 플로우들을 방향에 따라서 8가지로 분류한다. 이에, 옵티컬 플로우들은 s*s*8가지 타입으로 분류되며, 관찰되는 각 타입의 개수를 합하여 도 7에 도시된 바와 같이 모션 디스크립터가 완성된다. 따라서 모션 디스크립터는 s*s*8의 차원(dimension)을 가지는 히스토그램으로 생성된다.Thereafter, the motion information processing unit 270 may accumulate the optical flow as shown in FIG. 6 in various frames to generate a motion descriptor as shown in FIG. The motion information processing unit 270 classifies optical flows of a specific magnitude or more observed in each cell of the virtual matrix into eight types according to the directions. Accordingly, the optical flows are classified into s * s * 8 types, and the number of each type observed is summed to complete the motion descriptor as shown in FIG. Therefore, the motion descriptor is generated as a histogram having a dimension of s * s * 8.

도 8은 본 발명의 실시예에 따른 감시 동영상의 2진 영상 변환 상태도이고 도 9는 도 8의 감시 동영상의 윤곽선 추출 상태도이다.FIG. 8 is a binary image conversion state diagram of a surveillance moving image according to an embodiment of the present invention, and FIG. 9 is a state extraction diagram of the surveillance moving image of FIG.

제어부(210)는 입력된 감시 영상에 탑승객이 탑승하지 않고 출입문이 닫힌 상태의 엘리베이터 카(280) 내부의 영상과, 출입문이 열리고 카메라(290)의 게인(gain)이 증가하여 전체적으로 밝은 상황의 영상을 각각 대입시켜 배경을 제거한 2장의 영상을 'AND' 연산하여 최종적으로 배경이 제거된 영상을 획득할 수 있다.The control unit 210 displays an image in the elevator car 280 in which the door is closed and a door in the state in which the door is closed and the door is opened and the gain of the camera 290 increases, And 'AND' operation of the two images with the background removed to finally obtain the image from which the background has been removed.

이 후, 도 8에 도시된 바와 같이, 제어부(210)는 배경이 제거된 영상을 2진 영상으로 변환하여 추출된 사람의 형상(B)을 BIOB 형태로 표현한다. 8, the controller 210 converts the background-removed image into a binary image, and expresses the shape B of the extracted person as a BIOB shape.

이 후, 도 9에 도시된 바와 같이, 제어부(210)는 변환된 2진 영상에서 BIOB를 검출하기 위해 엣지를 검출하고, 이때, 검출된 엣지들 중에 폐곡선(close loop)을 이루고 있는 엣지의 집합인 윤곽선(C1, C2, C3)을 검출해 낸다. 여기서, 제어부(210)는 배경 제거 중 발생한 노이즈 등에 의해 발생한 윤곽선을 제거하기 위해 윤곽선을 찾은 후 윤곽선을 이루고 있는 엣지의 수가 너무 작을 경우 해당 윤곽선은 제거할 수 있다. 또한, 탑승객의 윤곽선은 영상 중심에 근처에 존재하고 벽면에 탑승객이 반사된 윤곽선은 영상의 외곽에만 존재하는 성질을 이용하여 영상 중심에서 윤곽선까지의 거리를 계산하고 계산된 거리의 최소값이 특정 값 이상일 경우 반사된 물체의 윤곽선로 간주하고 제거한다. 제어부(210)는 남겨진 윤곽선(C1, C2, C3)을 탑승객의 윤곽선로 간주하고 그 수를 카운트하여 탑승객 숫자를 인식할 수 있다.Then, as shown in FIG. 9, the control unit 210 detects an edge to detect the BIOB in the converted binary image. At this time, a set of edges forming a closed loop among the detected edges (C1, C2, C3). Here, if the number of edges forming the outline is too small after the outline is searched to remove the outline caused by the noise generated during background removal, the control unit 210 can remove the outline. In addition, the contour of the passenger exists near the center of the image, and the contour reflected by the passenger on the wall is calculated by calculating the distance from the center of the image to the contour using the property existing only in the outline of the image, If it is a contour of the reflected object, it is removed. The control unit 210 can recognize the number of passengers by counting the number of the contour lines C1, C2, C3 as the outline of the passenger.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

본 발명은 엘리베이터 카의 천장에 설치된 카메라로 촬영한 영상으로부터 모션 디스크립터를 추출하여 탑승자의 위치와 동작을 파악하고 탑승자들의 동작을 학습하여 탑승자들의 동작에 따라 범죄 상황 발생 여부를 정확히 판단할 수 있도록 함으로써 엘리베이터 카 내에서의 위험 상황 인식확률을 개선할 수 있는 엘리베이터 방범시스템 및 방법을 제공하는 데에 이용할 수 있다.The present invention extracts a motion descriptor from an image captured by a camera installed on a ceiling of an elevator car to grasp the position and operation of the occupant and learns the operation of the occupants so that it can accurately determine whether or not a crime situation occurs according to the operation of the occupants It is possible to provide an elevator crime prevention system and method capable of improving the probability of recognizing a dangerous situation in an elevator car.

10 : 원격관리센터 20 : 관리실
100 : 엘리베이터 설비부 120, 130, 150 : 엘리베이터
200 : 제어장치 210 : 제어부
220 : 통신부 230 : 저장부
240 : 움직임정보 DB 250 : 운행정보 감지부
260 : 구동부 270 : 움직임정보 처리부
280 : 엘리베이터 카 282 : 마이크/스피커부
284 : 디스플레이부 286 : 탑승자 입력부
290 : 카메라10: Remote Management Center 20: Management Room
100: elevator equipments 120, 130, 150: elevator
200: control device 210: control unit
220: communication unit 230: storage unit
240: Motion information DB 250:
260: driving unit 270: motion information processing unit
280: elevator car 282: microphone / speaker unit
284: Display unit 286:
290: Camera

Claims

A camera installed on the ceiling of the elevator to photograph a plane image of the elevator car;
A virtual image is formed by dividing a surveillance image photographed by the camera into equally spaced cells to form a virtual matrix, calculating an optical flow in each matrix cell, and classifying and accumulating optical flows according to their positions and directions to generate a motion descriptor An information processing unit; And
And a controller for comparing the motion descriptor with previously stored representative motion descriptors to determine whether a dangerous situation occurs stochastically;
Wherein,
The BIOB is extracted as a binary large object (BIOB) by converting the background image of the monitor image into a binary image to detect the edge of the BIOB, and an edge of a closed loop Recognizes the set contour and recognizes the number of passengers and judges that a fall-off occurred when the number of edges forming the outline is smaller than the reference change number while only the same number of outlines exist in the reference time Features elevator security system.

The method according to claim 1,
The motion information processing unit,
For each pixel of the screen in which motion has occurred in two consecutive frames of the supervisory image, the position of the specific pixel on the screen in the previous frame corresponds to the orientation and the magnitude of movement on the screen Thereby calculating the optical flow.

3. The method of claim 2,
The motion information processing unit,
Wherein the optical flow generating unit generates the motion descriptors in the form of a histogram by accumulating the optical flows having the moving distance equal to or greater than the reference distance among the optical flows according to the position and the direction.

The method according to claim 1,
Wherein,
And compares the generated motion descriptor with the previously stored representative motion descriptors to determine that a situation corresponding to the representative motion descriptor having the highest similarity occurs.

delete

(A) photographing a floor at a ceiling in an elevator car to obtain a flat image in the elevator car;
(B) dividing the photographed surveillance image into equally spaced cells in a motion information processing unit to form a virtual matrix;
(C) calculating an optical flow in each matrix cell in the motion information processing unit;
(D) generating motion descriptors by classifying and accumulating the optical flows calculated by the motion information processing unit according to their positions and directions; And
(E) comparing the motion descriptor with previously stored representative motion descriptors in a controller to determine whether a risk situation occurs stochastically,
After the step (E)
Converting the image of which the background is removed from the supervisory image into a binary image and extracting the passenger as a binary large object (BIOB);
Detecting an edge of the BIOB and recognizing a contour that is a set of edges forming a closed loop among the detected edges;
Recognizing the number of the outline as a number of the passenger; And
Further comprising the step of the controller determining that a fall-off occurred when the number of edges having the same number of contours is present in the reference time and the change in the number of edges forming the outline is smaller than the reference change number.

8. The method of claim 7,
The step (C)
For each pixel of the screen in which the motion has occurred in two consecutive frames of the supervisory image, the position of the specific pixel on the screen in the previous frame corresponds to the orientation and the magnitude of movement on the screen And calculating the optical flow.

9. The method of claim 8,
The step (D)
And generating a motion descriptor in the form of a histogram by accumulating optical flows of the optical flows having the moving distance equal to or greater than the reference distance according to the position and the direction of the optical flows.

9. The method of claim 8,
The step (E)
Comparing the generated motion descriptor with previously stored representative motion descriptors to determine that a situation corresponding to the representative motion descriptor having the highest degree of similarity has occurred.

delete