KR20230050762A - Apparatus for disseminating an emergency situation based on network separation and method therefor - Google Patents
Apparatus for disseminating an emergency situation based on network separation and method therefor Download PDFInfo
- Publication number
- KR20230050762A KR20230050762A KR1020210133959A KR20210133959A KR20230050762A KR 20230050762 A KR20230050762 A KR 20230050762A KR 1020210133959 A KR1020210133959 A KR 1020210133959A KR 20210133959 A KR20210133959 A KR 20210133959A KR 20230050762 A KR20230050762 A KR 20230050762A
- Authority
- KR
- South Korea
- Prior art keywords
- situation
- image
- layer
- emergency situation
- emergency
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000000926 separation method Methods 0.000 title description 14
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012797 qualification Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 78
- 230000002159 abnormal effect Effects 0.000 description 14
- 230000001902 propagating effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 239000011229 interlayer Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
Description
본 발명은 비상 상황 전파 기술에 관한 것으로, 보다 상세하게는, 망 분리 기반의 비상 상황을 전파하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to emergency propagation technology, and more particularly, to an apparatus and method for propagating an emergency situation based on network separation.
태풍, 홍수, 화재, 감염병 등 각 종 재난이 빈번하게 발생하고 있다. 이러한 재난에 대한 현장 상황은 다양한 CCTV를 통해 수집되고 있으나, 내부망의 보안 관리를 위해 망이 분리되어 있어, 이러한 재난에 대해 대응하는 대응팀에 제공할 수 없는 실정이다. Various disasters such as typhoons, floods, fires, and infectious diseases occur frequently. Although the on-site situation for such a disaster is collected through various CCTVs, the network is separated for security management of the internal network, so it cannot be provided to the response team responding to such a disaster.
본 발명의 목적은 망 분리 기반의 비상 상황을 전파하기 위한 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide a device and method for propagating an emergency situation based on network separation.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 비상 상황을 전파하기 위한 장치는 감시영상장치로부터 현장 영상을 수신하면, 학습된 가중치로 연결되는 복수의 계층을 포함하는 검출망을 통해 상기 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하고, 상기 확률이 현장 영상의 상황이 비상 상황임을 나타내면, 해당 현장 영상을 비상상황영상으로 검출하는 검출부를 포함한다. An apparatus for propagating an emergency situation according to a preferred embodiment of the present invention for achieving the above object is a detection network including a plurality of layers connected to learned weights when receiving an on-site image from a surveillance video device. Through this, a plurality of operations are performed to which a plurality of inter-layer weights are applied to the field image to calculate an output value indicating whether the situation of the field image is a normal situation or an emergency situation with a probability, and the probability is the situation of the field image If it indicates an emergency situation, it includes a detection unit for detecting the scene image as an emergency situation image.
상기 장치는 복수의 단말을 대표하는 어느 하나의 대표 단말로부터 인증을 위한 암호코드, 인증 단말의 수 및 인증 기간을 포함하는 인증 정보를 수신하면, 기 저장된 인증 확인 정보와 비교하여 인증을 수행하는 인증부를 더 포함한다. 여기서, 상기 인증은 상기 대표 단말이 비상상황영상을 수신할 수 있는 자격과, 상기 인증 기간 동안 상기 인증 단말의 수의 다른 단말에 비상상황영상을 전송할 수 있도록 하는 자격을 인증하는 것을 특징으로 한다. When the device receives authentication information including an encryption code for authentication, the number of authentication terminals, and an authentication period from any one representative terminal representing a plurality of terminals, the authentication is performed by comparing it with pre-stored authentication confirmation information. include more wealth Here, the authentication is characterized in that the representative terminal authenticates the qualification to receive the emergency situation video and the qualification to transmit the emergency situation video to other terminals of the number of the authenticated terminals during the authentication period.
상기 장치는 상기 비상상황영상에 대응하는 부가 영상을 검출하는 영상처리부를 더 포함한다. 여기서, 상기 부가 영상은 상기 비상상황영상에 대응하는 과거의 현장 영상 중 정상 상황의 현장 영상 및 비상 상황의 현장 영상을 포함하는 것을 특징으로 한다. The apparatus further includes an image processing unit for detecting an additional image corresponding to the emergency situation image. Here, the additional video is characterized in that it includes a field image of a normal situation and a field image of an emergency situation among past field images corresponding to the emergency situation image.
상기 검출망은 입력층, 컨벌루션층, 풀링층, 제1 완전연결층, 제2 완전연결층 및 출력층을 포함하며, 상기 입력층은 현장 영상을 입력받고, 상기 컨볼루션층은 입력된 현장 영상에 대해 제1 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징지도를 도출하고, 상기 풀링층은 상기 컨볼루션층의 적어도 하나의 제1 특징지도에 대해 제2 필터를 이용한 풀링 연산을 수행하여 적어도 하나의 제2 특징지도를 도출하고, 상기 제1 완결연결층의 복수의 제1 노드는 풀링층의 적어도 하나의 제2 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하고, 상기 제2 완결연결층의 복수의 제2 노드는 상기 제1 완전연결층의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하고, 상기 출력층의 출력노드는 상기 제2 완결연결층의 복수의 제2 노드값에 대해 가중치가 적용되는 활성화함수에 의한 연산을 통해 상기 입력층에 입력된 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하는 것을 특징으로 한다. The detection network includes an input layer, a convolutional layer, a pooling layer, a first fully connected layer, a second fully connected layer, and an output layer. The input layer receives a field image, and the convolution layer receives an input field image. At least one first feature map is derived by performing a convolution operation using a first filter and an operation using an activation function, and the pooling layer applies a second filter to the at least one first feature map of the convolution layer. At least one second feature map is derived by performing a pooling operation using a pooling operation, and a plurality of first nodes of the first completed connection layer are operated by an activation function for at least one second feature map of the pooling layer to derive a plurality of first nodes. Calculate a first node value of , and the plurality of second nodes of the second fully connected layer are a plurality of second node values through an operation by an activation function for the plurality of first node values of the first fully connected layer. , and the output node of the output layer determines whether the situation of the scene image input to the input layer is normal through operation by an activation function to which weights are applied to a plurality of second node values of the second complete connection layer. Alternatively, it is characterized in that an output value indicating whether or not it is an emergency is calculated with a probability.
상기 장치는 레이블이 설정된 학습용 현장 영상를 마련한 후, 학습용 현장 영상을 학습이 완료되지 않은 검출망에 입력하고, 검출망이 상기 학습용 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하면, 손실함수를 통해 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출망의 파라미터를 수정하는 최적화를 수행하는 학습부를 더 포함한다. After preparing a field image for learning with a label set, the device inputs the field image for learning to a detection network in which learning is not completed, and the detection network performs a plurality of calculations to which weights between a plurality of layers are applied to the field image for learning Learning to perform optimization to modify the parameters of the detection network so that the loss, which is the difference between the output value and the label, is minimized through a loss function when an output value representing the probability of whether the situation of the field image is a normal situation or an emergency situation is calculated include more wealth
상기 학습부는 손실함수 에 따라 손실을 산출하며, 상기 E는 손실을 나타내며, 상기 xi는 출력층의 출력값에 대응하는 레이블이고, 상기 yi는 출력층의 출력값인 것을 특징으로 한다. The learning part is a loss function The loss is calculated according to , wherein E represents the loss, xi is a label corresponding to the output value of the output layer, and yi is the output value of the output layer.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 비상 상황을 전파하기 위한 방법은 검출부가 감시영상장치로부터 현장 영상을 수신하는 단계와, 상기 검출부가 학습된 가중치로 연결되는 복수의 계층을 포함하는 검출망을 통해 상기 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하는 단계와, 상기 검출부가 상기 확률이 현장 영상의 상황이 비상 상황임을 나타내면, 해당 현장 영상을 비상상황영상으로 검출하는 단계를 포함한다. A method for propagating an emergency situation according to a preferred embodiment of the present invention for achieving the above object includes the step of receiving a field image from a surveillance video device by a detection unit, and a plurality of Calculating an output value indicating whether the situation of the field image is a normal situation or an emergency situation by performing a plurality of operations to which weights between a plurality of layers are applied to the field image through a detection network including layers; , If the detection unit indicates that the situation of the field image is an emergency situation, detecting the corresponding field image as an emergency situation image.
본 발명에 따르면 심층신경망을 기초로 현장 영상의 상태가 정상인지 혹은 비정상인지 여부를 진단할 수 있다. According to the present invention, it is possible to diagnose whether a field image is normal or abnormal based on a deep neural network.
도 1은 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 검출망의 구성을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 현장 영상의 상태를 진단하도록 검출망을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 검출망을 이용하여 현장 영상에서 비상 상황을 나타내는 비상상황영상을 검출하는 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining the configuration of a system for propagating an emergency situation based on network separation according to an embodiment of the present invention.
2 is a diagram for explaining the configuration of an apparatus for propagating an emergency situation based on network separation according to an embodiment of the present invention.
3 to 5 are diagrams for explaining the configuration of a detection network for propagating an emergency situation based on network separation according to an embodiment of the present invention.
6 is a flowchart illustrating a method of training a detection network to diagnose the state of an on-site image according to an embodiment of the present invention.
7 is a flowchart illustrating a method for disseminating an emergency situation based on network separation according to an embodiment of the present invention.
8 is a flowchart illustrating a method of detecting an emergency situation image representing an emergency situation from an on-site image using a detection network according to an embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in this specification and claims described below should not be construed as being limited to a common or dictionary meaning, and the inventors should use their own invention in the best way. It should be interpreted as a meaning and concept corresponding to the technical idea of the present invention based on the principle that it can be properly defined as a concept of a term for explanation. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, so various equivalents that can replace them at the time of the present application. It should be understood that there may be water and variations.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. At this time, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.
먼저, 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 비상상황전파시스템은 관제서버(10), 복수의 감시영상장치(20) 및 복수의 단말(30)을 포함한다. First, a system for propagating an emergency situation based on network separation according to an embodiment of the present invention will be described. 1 is a diagram for explaining the configuration of a system for propagating an emergency situation based on network separation according to an embodiment of the present invention. Referring to FIG. 1 , an emergency situation propagation system according to an embodiment of the present invention includes a
단말(30)은 비상 상황이 발생한 현장에 파견되는 요원(예컨대, 비상 상황이 화재인 경우 소방관)이 사용하는 장치이다. The
감시영상장치(20)는 현장의 상황을 지속적으로 촬영하여 현장 영상을 생성하기 위한 것이다. 감시영상장치(20)는 생성된 현장 영상을 관제서버(10)에 제공한다. 이러한 감시영상장치(20)는 CCTV(Closed-circuit television)가 될 수 있다. The
관제서버(10)는 감시영상장치(20)와 내부망(intra-network)을 통해 연결되며, 단말(30)과는 외부망(inter-network)을 통해 연결된다. 관제서버(10)는 감시영상장치(20)로부터 수신된 현장 영상을 비상 상황의 발생 여부를 판단하고, 비상 상황이 발생한 경우, 현장 영상을 단말(30)에 제공할 수 있다. The
그러면, 다음으로, 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 장치에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 3 내지 도 5는 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 검출망의 구성을 설명하기 위한 도면이다. 도 2를 참조하면, 관제서버(10)는 통신부(11), 입력부(12), 표시부(13), 저장부(14) 및 제어부(15)를 포함한다. Next, an apparatus for propagating an emergency situation based on network separation according to an embodiment of the present invention will be described. 2 is a diagram for explaining the configuration of an apparatus for propagating an emergency situation based on network separation according to an embodiment of the present invention. 3 to 5 are diagrams for explaining the configuration of a detection network for propagating an emergency situation based on network separation according to an embodiment of the present invention. Referring to FIG. 2 , the
통신부(11)는 감시영상장치(20)로부터 현장 영상을 수신하고, 단말(30)에 현장 영상 중 비상 상황이 발생한 현장의 영상인 비상상황영상을 전송하기 위한 것이다. 통신부(11)는 필요에 따라 무선 통신, 유선 통신 등을 통해 감시영상장치(20)와 연결되어 현장 영상을 수신할 수 있다. The communication unit 11 is for receiving an on-site image from the
입력부(12)는 관제서버(10)의 각 종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(15)에 전달한다. 입력부(12)는 키보드, 마우스 등을 예시할 수 있다. 입력부(12)는 전원 on/off를 위한 전원키, 문자키, 숫자키, 방향키 등을 포함할 수 있다. 입력부(12)의 기능은 표시부(13)가 터치스크린으로 구현된 경우, 표시부(13)에서 이루어질 수 있으며, 표시부(13)만으로 모든 기능을 수행할 수 있는 경우, 입력부(12)는 생략될 수도 있다. The input unit 12 receives a user's key manipulation for controlling various functions and operations of the
표시부(13)는 관제서버(10)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 특히, 본 발명의 실시예에 따르면, 제어부(15)는 현장 영상에 분석을 수행하여 비상 상황이 발생한 현장 영상을 검출할 수 있다. 이러한 경우, 표시부(13)는 제어부(15)의 제어에 따라 비상 상황이 발생한 현장 영상을 다른 현장 영상과 구분하여 표시부(13)를 통해 표시될 수 있다. 표시부(13)는 관제서버(10)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 이러한 표시부(13)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. The display unit 13 visually provides the menu of the
저장부(14)는 관제서버(10)의 동작에 필요한 각 종 데이터, 애플리케이션, 관제서버(10)의 동작에 따라 구성되는 각 종 데이터를 저장하는 역할을 수행한다. 이러한 저장부(14)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 관제서버(10)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따른 애플리케이션 등을 저장할 수 있다. 데이터 영역은 본 발명의 실시예에 따른 현장 영상을 저장할 수 있다. 저장부(14)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 14 serves to store various types of data, applications, and various data configured according to the operation of the
제어부(15)는 관제서버(10)의 전반적인 동작 및 관제서버(10)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(15)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(15)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다. 제어부(15)는 학습부(100), 검출부(200), 영상처리부(300) 및 인증부(400)를 포함한다. The control unit 15 may control the overall operation of the
학습부(100)는 본 발명의 실시예에 따른 심층신경망(DNN: Deep Neural Network)인 검출망(DN)을 학습시키기 위한 일련의 프로세스를 수행한다. 학습부(100)는 검출망(DN)의 학습이 완료되면, 학습이 완료된 검출망(DN)을 검출부(200)에 제공한다. 이러한 학습부(100)의 학습 프로세스에 대해서는 아래에서 더 상세하게 설명하기로 한다. The
검출부(200)는 검출망(DN)을 포함하며, 검출망(DN)은 심층컨벌루션신경망(DCNN: deep convolutional neural network)이 될 수 있다. 본 발명의 검출망(DN)은 복수의 계층을 포함한다. 즉, 검출망(DN)은 입력층(IL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(CL)과 풀링층(PL), 적어도 하나의 완전연결층(FL1, FL2) 및 출력층(OL)을 포함한다. The detection unit 200 includes a detection network DN, and the detection network DN may be a deep convolutional neural network (DCNN). The detection network (DN) of the present invention includes a plurality of layers. That is, the detection network DN includes an input layer IL, at least one pair of convolutional layers CL and a pooling layer PL, at least one fully connected layer FL1 and FL2, and an output layer OL. includes
검출부(200)는 현장 영상을 수신하면, 검출망(DN)을 통해 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상에서 발생한 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출한다. Upon receiving the field image, the detection unit 200 performs a plurality of calculations to which a plurality of inter-layer weights are applied to the field image through the detection network DN to determine whether the situation occurring in the field image is a normal situation or an emergency situation. Calculate the output value representing the probability.
일 실시예에 따르면, 검출망(DN)은 도 3에 도시된 바와 같이, 순차로 입력층(IL), 컨볼루션층(GCL), 풀링층(GPL), 제1 완전연결계층(GFL1), 제2 완전연결계층(GFL2) 및 출력층(GOL)을 포함한다. According to an embodiment, as shown in FIG. 3, the detection network DN sequentially includes an input layer IL, a convolution layer GCL, a pooling layer GPL, a first fully connected layer GFL1, It includes a second fully connected layer (GFL2) and an output layer (GOL).
컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징지도(FM: Feature Map)으로 구성된다. 특징지도(FM)는 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(CL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다. The convolution layer (CL) and the pooling layer (PL) are composed of at least one feature map (FM). The feature map (FM) is generated as a result of performing an operation with weights applied to the values of the previous layer. These weights are applied through a filter or kernel (W). In an embodiment of the present invention, the first filter W1 is used for the convolution operation of the convolution layer CL, and the second filter W2 is used for the pooling operation of the pooling layer PL.
입력층(IL)은 현장 영상을 입력 받는 버퍼 역할을 수행한다. 이러한 입력층(IL)은 현장 영상을 픽셀 단위로 입력받을 수 있다. The input layer IL serves as a buffer for receiving field images. The input layer IL may receive an on-site image in units of pixels.
컨볼루션층(GCL)은 입력된 현장 영상에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징지도(FM1)을 도출한다. The convolution layer (GCL) derives at least one first feature map (FM1) by performing a convolution operation using a first filter (W1) and an operation by an activation function on the input field image.
이어서, 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징지도(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징지도(FM2)을 도출한다. Next, the pooling layer PL performs a pooling (or sub-sampling) operation using the second filter W2 on at least one first feature map FM1 of the convolution layer CL to obtain at least one feature map FM1. A second feature map (FM2) is derived.
제1 완결연결층(FL1)은 복수의 제1 노드(f1 내지 fm)로 이루어진다. 제1 완결연결층(FL1)의 복수의 제1 노드(f1 내지 fm)는 풀링층(PL)의 적어도 하나의 제2 특징지도(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다. The first completed connection layer FL1 includes a plurality of first nodes f1 to fm. The plurality of first nodes f1 to fm of the first fully connected layer FL1 are operated by an activation function with respect to at least one second feature map FM2 of the pooling layer PL. Calculate the value.
제2 완결연결층(FL2)은 복수의 제2 노드(g1 내지 gn)로 이루어진다. 제2 완결연결층(FL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(GFL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다. The second completed connection layer FL2 includes a plurality of second nodes g1 to gn. The plurality of second nodes f1 to fm of the second fully-connected layer FL2 generate a plurality of second node values through an activation function operation with respect to the plurality of first node values of the first fully-connected layer GFL1. yields
전술한 컨벌루션층(CL)과 제1 및 제2 완결연결층(FL1, FL2)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다. Activation functions used in the aforementioned convolutional layer (CL) and the first and second fully connected layers (FL1, FL2) are sigmoid, hyperbolic tangent (tanh), and exponential linear unit (ELU). , Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, etc. may be exemplified. Any one of these activation functions can be selected and used.
도 4 및 도 5를 참조하면, 출력층(OL)은 2개의 출력노드(N, A)를 포함한다. 제2 완결연결층(FL2)의 복수의 제2 노드(g1 내지 gn) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(N, A)와 연결된다. 다른 말로, 복수의 제2 노드(g1 내지 gn)의 복수의 제2 노드값은 가중치가 적용되어 출력노드(N, A)에 각각 입력된다. 이에 따라, 출력층(OL)의 출력노드(N, A)는 제2 완결연결층(FL2)의 가중치가 적용되는 복수의 제2 노드값에 대해 활성화함수에 의한 연산을 통해 입력층(IL)에 입력된 현장 영상에서 발생한 상황이 정상인지(normal) 혹은 비상상황(abnormal)인지 여부를 나타내는 확률을 산출한다. Referring to FIGS. 4 and 5 , the output layer OL includes two output nodes N and A. Each of the plurality of second nodes g1 to gn of the second complete connection layer FL2 is a channel (indicated by a dotted line) having a weight (W) and is connected to the output nodes N and A of the output layer OL. do. In other words, a plurality of second node values of the plurality of second nodes g1 to gn are input to the output nodes N and A, respectively, with weights applied thereto. Accordingly, the output nodes N and A of the output layer OL are applied to the input layer IL through an activation function operation for a plurality of second node values to which the weights of the second complete connection layer FL2 are applied. A probability indicating whether a situation occurring in the input site image is normal or abnormal is calculated.
한편, 도 5에 본 발명의 실시예에 따른 노드(N)가 도시되었다. 이러한 노드(N)는 검출망(DN)의 출력노드(N, A) 중 어느 하나로 가정하여 설명할 것이지만, 이 노드(N)에 대한 설명은 검출망(DN)에 포함된 제1 노드(f1 내지 fm), 제2 노드(f1 내지 fm) 및 출력노드(N, A)와 그 밖에 본 발명의 다른 모든 노드에 공통으로 적용될 수 있다. Meanwhile, a node N according to an embodiment of the present invention is shown in FIG. 5 . This node (N) will be described assuming that it is one of the output nodes (N, A) of the detection network (DN), but the description of this node (N) is the first node (f1) included in the detection network (DN). to fm), second nodes (f1 to fm) and output nodes (N, A) and all other nodes of the present invention.
노드(N)는 입력된 신호 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 함수 F를 취한다. 여기서, 함수 F는 활성화 함수(activation function)이다. 이때, 입력이 동일한 경우에도, 출력은 가중치(W)에 따라 다른 값이 된다. 즉, 각 노드의 출력은 다음의 수학식 1과 같다. Node N is an input signal x = [x1, x2, ... , xn] with weights w=[w1, w2, … , wn], take the function F as the result. Here, function F is an activation function. At this time, even when the input is the same, the output becomes a different value according to the weight (W). That is, the output of each node is as shown in Equation 1 below.
설명되지 않은 파라미터 중 b는 임계치이며, 이러한 임계치는 수학식 1에서 의 값이 임계치 보다 작을 때 해당 노드가 활성화되지 않도록 하는 역할을 한다. 예를 들면, 노드(N)의 이전 계층의 노드가 3개라고 가정한다. 이에 따라, 해당 노드에 대해 3개의 입력(n=3) X1, X2, X3과 3개의 가중치 W1, W2, W3이 존재한다. 노드(N)는 3개의 입력 X1, X2, X3에 대응하는 가중치 W1, W2, W3을 곱한 값을 입력받고, 모두 합산한 후, 합산된 값을 전달 함수에 대입하여 출력을 산출한다. 구체적으로, 입력 [X1, X2, X3] = 0.5, -0.3, 0이라고 가정하고, 가중치 w=[W1, W2, W3] = 4, 5, 2라고 가정한다. 또한, 설명의 편의를 위하여 전달 함수는 'sgn()'이라고 가정하면, 다음과 같이 출력값이 산출된다. Among the unexplained parameters, b is a threshold, and this threshold is It serves to prevent the corresponding node from being activated when the value of is smaller than the threshold. For example, it is assumed that there are 3 nodes in the hierarchy prior to the node N. Accordingly, there are three inputs (n=3) X1, X2, and X3 and three weights W1, W2, and W3 for the corresponding node. The node N receives a value obtained by multiplying three inputs X1, X2, and X3 by weights W1, W2, and W3, sums them all, and substitutes the summed value into a transfer function to calculate an output. Specifically, assume that inputs [X1, X2, X3] = 0.5, -0.3, 0, and weights w = [W1, W2, W3] = 4, 5, 2. In addition, assuming that the transfer function is 'sgn()' for convenience of explanation, the output value is calculated as follows.
x1 × w1 = 0.5 × 4 = 2 x1 × w1 = 0.5 × 4 = 2
x2 × w2 = - 0.3 × 5 = -1.5x2 × w2 = -0.3 × 5 = -1.5
x3 × w3 = 0 × 2 = 0 x3 × w3 = 0 × 2 = 0
2 + (-1.5) + 0 = 0.5 2 + (-1.5) + 0 = 0.5
sgn(0.5) = 1 sgn(0.5) = 1
이와 같이, 본 발명의 검출망(DN)의 어느 하나의 노드는 이전 계층의 노드값에 가중치를 적용한 값을 입력받고, 이를 합산하여 활성화함수에 따라 연산을 수행하고, 이러한 결과를 다음 계층의 입력으로 전달한다. In this way, any one node of the detection network (DN) of the present invention receives a value obtained by applying a weight to the node value of the previous layer, sums them, performs an operation according to an activation function, and transmits the result as an input to the next layer. forward to
다시, 도 4를 참조하면, 출력층(OL)의 2개의 출력노드(N, A) 각각은 현장 영상에서 발생한 상황이 정상 상황(normal)인지 혹은 비상 상황(abnormal)인지 여부에 대응한다. 즉, 제1 출력노드(N)는 정상 상황(normal)에 대응하며, 제2 출력노드(A)는 비상 상황(abnormal)에 대응한다. 이에 따라, 제1 출력노드(N)의 출력값은 입력층(IL)에 입력된 현장 영상에서 발생한 상황이 정상 상황(normal)일 확률이며, 제2 출력노드(A)의 출력값은 입력층(IL)에 입력된 현장 영상에서 발생한 상황이 비상 상황(abnormal)일 확률을 나타낸다. Again, referring to FIG. 4 , each of the two output nodes N and A of the output layer OL corresponds to whether a situation occurring in the field image is a normal situation or an abnormal situation. That is, the first output node N corresponds to a normal situation, and the second output node A corresponds to an abnormal situation. Accordingly, the output value of the first output node N is the probability that a situation occurring in the field image input to the input layer IL is a normal situation, and the output value of the second output node A is the input layer IL ) represents the probability that a situation occurring in the field image input is an abnormal situation.
출력노드(N, A) 각각은 복수의 제2 노드(g1 내지 gn)로부터 입력되는 복수의 제2 노드값 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 활성화함수 F를 취하여 출력값을 산출한다. 예컨대, 제1 및 제2 출력노드(N, A) 각각의 출력값이 각각 0.201, 0.799이면, 현장 영상의 상황이 정상 상황(normal)일 확률이 20%이고, 현장 영상의 상황이 비상 상황(abnormal)일 확률이 80%라는 것을 나타낸다. 이와 같이, 검출망(DN)이 확률(0.201, 0.799)을 출력하면, 검출부(200)는 이러한 확률(0.201, 0.799)에 따라 현장 영상의 상황이 비상 상황(abnormal)인 것으로 판단할 수 있다. 즉, 검출부(200)는 검출망(DN)이 출력한 확률(0.201, 0.799)이 현장 영상의 상황이 비상 상황임을 나타내면, 해당 현장 영상을 비상상황영상으로 검출할 수 있다. Each of the output nodes N and A is a plurality of second node values input from a plurality of second nodes g1 to gn x = [x1, x2, . , xn] with weights w=[w1, w2, … , wn] is applied, and an activation function F is applied to the result to calculate an output value. For example, if the output values of the first and second output nodes N and A are 0.201 and 0.799, respectively, the probability that the situation of the field image is normal is 20%, and the situation of the field image is abnormal. ) indicates an 80% probability. In this way, if the detection network DN outputs probabilities (0.201, 0.799), the detection unit 200 may determine that the situation of the field image is an emergency situation (abnormal) according to these probabilities (0.201, 0.799). That is, if the probability (0.201, 0.799) output by the detection network DN indicates that the situation of the field image is an emergency situation, the detection unit 200 may detect the corresponding field image as an emergency situation image.
다시 도 2를 참조하면, 영상처리부(300)는 저장부(14)에 저장된 복수의 현장 영상 중 비상상황영상에 대응하는 부가 영상을 검출한다. 부가 영상은 비상상황영상에 대응하는 과거의 현장 영상 중 정상 상황의 현장 영상과, 비상 상황의 현장 영상을 포함한다. 영상처리부(300)는 저장부(14)에서 부가 영상을 검출하고, 통신부(11)를 통해 검출된 부가 영상을 비상상황영상과 함께 단말(30)에 제공할 수 있다. 이에 따라, 단말(30)의 사용자, 예컨대, 소방관은 현재의 위험 정도, 음영 지역 식별 등을 쉽게 판단할 수 있다. Referring back to FIG. 2 , the
인증부(400)는 비상상황영상을 제공할 대상 단말(30)을 인증하기 위한 것이다. 특히, 인증부(400)는 어느 하나의 단말(30), 즉, 대표 단말에 대해 복수의 다른 단말(30)을 대표하여 인증을 제공할 수 있다. 이러한 인증의 경우, 인증을 위한 암호코드, 인증 단말(30)의 수 및 인증 기간을 적용하여 인증을 수행할 수 있다. 인증부(400)는 저장부(14)에 인증 확인 정보를 저장하며, 인증 확인 정보는 암호코드와, 암호코드에 대응하는 인증 단말(30)의 수 및 인증 기간을 포함한다. 이러한 인증부(400)의 인증은 대표 단말이 비상상황영상을 수신할 수 있는 자격과, 인증 기간 동안 인증 단말의 수의 다른 단말에 비상상황영상을 전송할 수 있도록 하는 자격을 인증하는 것을 의미한다. The authentication unit 400 is for authenticating the
다음으로, 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 방법에 대해서 설명하기로 한다. 현장 영상의 상태를 진단하기 위해서는 검출망(DN)의 학습이 요구된다. 이러한 방법에 대해서 설명하기로 한다. 먼저, 검출망(DN)을 학습시키는 방법에 대해서 설명한다. 도 6은 본 발명의 실시예에 따른 현장 영상의 상태를 진단하도록 검출망을 학습시키는 방법을 설명하기 위한 흐름도이다. Next, a method for propagating an emergency situation based on network separation according to an embodiment of the present invention will be described. Learning of the detection network (DN) is required to diagnose the state of the field image. These methods will be described. First, a method for learning the detection network DN will be described. 6 is a flowchart illustrating a method of training a detection network to diagnose the state of an on-site image according to an embodiment of the present invention.
도 6을 참조하면, 학습부(100)는 S110 단계에서 학습용 현장 영상을 마련한다. 학습용 현장 영상은 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 알 수 있는 영상이다. Referring to FIG. 6 , the
그런 다음, 학습부(100)는 S120 단계에서 학습용 현장 영상에 대해 레이블을 설정한다. 여기서, 레이블은 정상 상황 혹은 비상 상황 여부를 나타내는 원핫인코딩벡터가 될 수 있다. 이때, 정상 상황으로 알려진 학습용 현장 영상에는 출력노드(N, A)에 대응하여 분류 레이블 [1, 0]을 부여하고, 비상 상황으로 알려진 학습용 현장 영상에는 출력노드(N, A)에 대응하여 분류 레이블 [0, 1]을 부여한다. Then, the
다음으로, 학습부(100)는 S130 단계에서 해당하는 학습용 현장 영상을 학습이 완료되지 않은 검출망(DN)에 입력한다. 그러면, 검출망(DN)은 S140 단계에서 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출한다. Next, the
그러면, 학습부(100)는 S150 단계에서 손실함수를 통해 출력값과 레이블의 차이인 손실이 최소가 되도록 검출망(DN))의 파라미터, 즉, 가중치(w), 임계치(b) 등을 수정하는 최적화를 수행할 수 있다. 이때, 학습부(100)는 다음의 수학식 2와 같은 손실함수를 통해 손실을 구할 수 있다. Then, the
여기서, E는 손실을 나타낸다. 또한, xi는 출력층의 출력값에 대응하는 레이블이고, yi는 출력층의 출력값을 나타낸다. Here, E represents loss. In addition, xi is a label corresponding to the output value of the output layer, and yi represents the output value of the output layer.
전술한 S120 단계 내지 S150 단계는 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 기 설정된 정확도에 도달할 때까지 이루어질 수 있다. Steps S120 to S150 described above are repeatedly performed using a plurality of different learning data, and such repetition may be performed until a preset accuracy is reached through an evaluation index.
다음으로, 전술한 바와 같은 방법으로 학습이 완료된 검출망(DN)을 이용하여 현장 영상의 상태를 진단하는 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 망 분리 기반의 비상 상황을 전파하기 위한 방법을 설명하기 위한 흐름도이다. Next, a method of diagnosing the state of an on-site image using the detection network (DN) for which learning has been completed in the above-described method will be described. 7 is a flowchart illustrating a method for disseminating an emergency situation based on network separation according to an embodiment of the present invention.
도 7을 참조하면, 복수의 감시영상장치(20)는 S210 단계에서 지속적으로 현장 영상을 촬영하여 내부망을 통해 관제서버(10)에 제공한다. 그러면, 관제서버(10)는 Referring to FIG. 7 , the plurality of
한편, 도 7에서, 제1 단말(31) 및 복수의 제2 단말(32)은 하나의 단말 그룹이며, 제1 단말(31)은 하나의 인증 그룹을 대표하여 인증을 수행하는 단말(30)이다. Meanwhile, in FIG. 7 , a first terminal 31 and a plurality of
관제서버(10)의 인증부(400)는 S220 단계에서 제1 단말(31)로부터 인증 정보를 수신할 수 있다. 이러한 인증 정보는 인증을 위한 암호코드, 인증 단말(30)의 수 및 인증 기간을 포함할 수 있다. The authentication unit 400 of the
인증부(400)는 S230 단계에서 저장부(14)에 저장된 인증 확인 정보와, 인증을 위한 암호코드, 인증 단말(30)의 수 및 인증 기간을 확인하여 인증을 수행할 수 있다. 인증 확인 정보는 암호코드와, 암호코드에 대응하는 인증 단말(30)의 수 및 인증 기간을 포함하며, 인증부(400)는 인증 정보와 임증 확인 정보가 동일한지 여부를 통해 인증을 수행한다. The authentication unit 400 may perform authentication by checking the authentication confirmation information stored in the storage unit 14, the encryption code for authentication, the number of
인증에 성공하면, 관제서버(10)의 검출부(200)는 S240 단계에서 검출망(DN)을 이용하여 복수의 현장 영상 중 이상 상황인 발생한 현장 영상인 이상상황영상을 검출한다. If authentication is successful, the detection unit 200 of the
그러면, 영상처리부(300)는 S250 단계에서 저장부(14)에 저장된 복수의 현장 영상 중 비상상황영상에 대응하는 부가 영상을 검출한다. 부가 영상은 비상상황영상에 대응하는 과거의 현장 영상 중 정상 상황의 현장 영상과, 비상 상황의 현장 영상을 포함한다. 이러한 S250 단계는 선택적으로 수행되지 않을 수 있다. 이어서, 영상처리부(300)는 S260 단계에서 통신부(11)를 통해 비상상황영상을 제1 단말(31)로 전송한다. 이때, 영상처리부(300)는 비상상황영상과 함께 검출된 부가 영상을 제1 단말(31)로 전송할 수 있다. 예를 들면, 현장에 출동하고 있는 소방관의 단말(30)에 현재의 실시간 영상인 비상상황영상 뿐만 아니라, 이에 대응하는 과거의 현장 영상 중 이상 상황의 현장 영상과 정상 상황의 현장 영상을 함께 전달함으로써, 현재의 위험 정도, 음영 지역 식별 등을 쉽게 판단할 수 있다. Then, the
제1 단말(31)은 앞서 S230 단계에서 인증 가능한 단말(30)의 수 및 인증 기간을 함께 인증 받았기 때문에, S270 단계에서 인증 기간 동안 인증 단말(30)의 수의 다른 단말, 즉, 제2 단말(32)에 비상상황영상을 전송할 수 있다. 이때, 제1 단말(31)은 비상상황영상과 함께 검출된 부가 영상을 복수의 제2 단말(32)로 전송할 수 있다. 예를 들면, 다수의 소방관 중 대표 소방관의 단말(30), 즉, 제1 단말(31)만 관제서버(10)와 인증을 실시하여, 비상상황영상을 수신하고, 근접 지역의 다른 소방관의 단말들, 즉, 복수의 제2 단말(32)은 대표 소방관의 제1 단말(31)과 연결하여 추가적인 인증 절차 없이 비상상황영상을 수신할 수 있다. Since the first terminal 31 has previously been authenticated with the number of
다음으로, 전술한 S240 단계에 대해 보다 상세하게 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 검출망을 이용하여 현장 영상에서 비상 상황을 나타내는 비상상황영상을 검출하는 방법을 설명하기 위한 흐름도이다. Next, the above-described step S240 will be described in more detail. 8 is a flowchart illustrating a method of detecting an emergency situation image representing an emergency situation from an on-site image using a detection network according to an embodiment of the present invention.
도 8을 참조하면, 관제서버(10)의 감시영상장치(20)로부터 통신부(11)를 통해 현장 영상을 지속적으로 수신한다. 이에 따라, 검출부(200)는 S310 단계에서 현장 영상을 입력 받는다. Referring to FIG. 8 , field images are continuously received from the
검출부(200)는 S320 단계에서 현장 영상에 대해 검출망(DN)을 통해 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상에 포함된 현장 영상에 이상이 있는지 여부를 확률로 나타내는 출력값을 산출한다. In step S320, the detection unit 200 performs a plurality of operations in which a plurality of inter-layer weights are applied to the field image through the detection network (DN) to determine whether there is an abnormality in the field image included in the field image. Calculates an output value expressed as a probability.
이러한 S320 단계에서 검출망(DN)의 동작에 대해 보다 상세하게 설명하면 다음과 같다. The operation of the detection network (DN) in step S320 will be described in more detail as follows.
입력층(IL)이 현장 영상을 입력 받으면, 컨볼루션층(GCL)은 입력된 현장 영상에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징지도(FM1)을 도출한다. When the input layer (IL) receives a field image, the convolution layer (GCL) performs a convolution operation using the first filter (W1) and an operation by an activation function on the input field image to obtain at least one A first feature map FM1 is derived.
이어서, 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징지도(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징지도(FM2)을 도출한다. Next, the pooling layer PL performs a pooling (or sub-sampling) operation using the second filter W2 on at least one first feature map FM1 of the convolution layer CL to obtain at least one feature map FM1. A second feature map (FM2) is derived.
이어서, 제1 완결연결층(FL1)의 복수의 제1 노드(f1 내지 fm)는 풀링층(PL)의 적어도 하나의 제2 특징지도(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출한다. Next, the plurality of first nodes f1 to fm of the first complete connection layer FL1 are operated by an activation function with respect to at least one second feature map FM2 of the pooling layer PL. 1 Calculate the node value.
이어서, 제2 완결연결층(FL2)의 복수의 제2 노드(f1 내지 fm)는 제1 완전연결층(GFL1)의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출한다. Subsequently, the plurality of second nodes f1 to fm of the second fully-connected layer FL2 are operated by an activation function on the plurality of first node values of the first fully-connected layer GFL1, so that a plurality of second nodes f1 to fm are generated. Calculate the node value.
출력층(OL)의 출력노드(N, A)는 제2 완결연결층(FL2)의 복수의 제2 노드값에 대해 가중치가 적용되는 활성화함수에 의한 연산을 통해 입력층(IL)에 입력된 현장 영상의 상황인 정상 상황(normal)인지 혹은 비상 상황(abnormal)인지 여부를 나타내는 확률인 출력값을 산출한다. The output nodes (N, A) of the output layer (OL) are input to the input layer (IL) through an operation by an activation function to which weights are applied to a plurality of second node values of the second complete connection layer (FL2). An output value, which is a probability indicating whether the video situation is normal or abnormal, is calculated.
전술한 바와 같이, 출력값이 산출되면, 검출부(200)는 S340 단계에서 검출망(DN)의 출력값의 확률에 따라 현장 영상의 상황이 정상 상황(normal)인지 혹은 비상 상황(abnormal)인지 여부를 판단하여 비상 상황(abnormal)인 것으로 판단되면, 해당 현장 영상을 비상상황영상으로 검출한다. 예컨대, 검출망(DN)이 확률(0.211, 0.789)을 출력하면, 검출부(200)는 이러한 확률(0.211, 0.789)에 따라 해당 현장 영상의 상황이 비상 상황(abnormal)인 것으로 판단하고, 해당 현장 영상을 비상상황영상으로 검출한다. As described above, when the output value is calculated, the detection unit 200 determines whether the situation of the field image is normal or abnormal according to the probability of the output value of the detection network DN in step S340. When it is determined that it is an emergency situation (abnormal), the scene image is detected as an emergency situation image. For example, if the detection network DN outputs probabilities (0.211, 0.789), the detection unit 200 determines that the situation of the corresponding site image is an emergency situation (abnormal) according to these probabilities (0.211, 0.789), and the corresponding site The video is detected as an emergency situation video.
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable by various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks ( It includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. Examples of program commands may include high-level language wires that can be executed by a computer using an interpreter, as well as machine language wires such as those produced by a compiler. These hardware devices may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred examples, but these examples are illustrative and not limiting. As such, those skilled in the art to which the present invention belongs will understand that various changes and modifications can be made according to the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.
10: 관제서버
11: 통신부
12: 입력부
13: 표시부
14: 저장부
15: 제어부
20: 감시영상장치
30: 단말
100: 학습부
200: 검출부
300: 영상처리부
400: 인증부 10: control server 11: communication department
12: input unit 13: display unit
14: storage unit 15: control unit
20: surveillance video device 30: terminal
100: learning unit 200: detection unit
300: image processing unit 400: authentication unit
Claims (7)
감시영상장치로부터 현장 영상을 수신하면, 학습된 가중치로 연결되는 복수의 계층을 포함하는 검출망을 통해 상기 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하고,
상기 확률이 현장 영상의 상황이 비상 상황임을 나타내면, 해당 현장 영상을 비상상황영상으로 검출하는 검출부;
를 포함하는 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. In the apparatus for disseminating an emergency situation,
When a field image is received from a surveillance video device, a plurality of calculations are performed to apply weights between a plurality of layers to the field image through a detection network including a plurality of layers connected to the learned weights, so that the situation of the field image is changed. Calculate an output value representing the probability of whether it is a normal situation or an emergency situation,
If the probability indicates that the situation of the field image is an emergency situation, a detection unit for detecting the corresponding field image as an emergency situation image;
characterized in that it includes
A device for disseminating emergency situations.
복수의 단말을 대표하는 어느 하나의 대표 단말로부터 인증을 위한 암호코드, 인증 단말의 수 및 인증 기간을 포함하는 인증 정보를 수신하면, 기 저장된 인증 확인 정보와 비교하여 인증을 수행하는 인증부;
를 더 포함하며,
상기 인증은 상기 대표 단말이 비상상황영상을 수신할 수 있는 자격과, 상기 인증 기간 동안 상기 인증 단말의 수의 다른 단말에 비상상황영상을 전송할 수 있도록 하는 자격을 인증하는 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. According to claim 1,
When receiving authentication information including an encryption code for authentication, the number of authentication terminals, and an authentication period from any one representative terminal representing a plurality of terminals, an authentication unit that performs authentication by comparing with pre-stored authentication confirmation information;
Including more,
Characterized in that the authentication authenticates the representative terminal's qualification for receiving an emergency situation image and the qualification for transmitting an emergency situation image to other terminals of the number of the authenticated terminals during the authentication period.
A device for disseminating emergency situations.
상기 비상상황영상에 대응하는 부가 영상을 검출하는 영상처리부;
를 더 포함하며,
상기 부가 영상은
상기 비상상황영상에 대응하는 과거의 현장 영상 중 정상 상황의 현장 영상 및 비상 상황의 현장 영상을 포함하는 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. According to claim 1,
an image processing unit detecting an additional image corresponding to the emergency situation image;
Including more,
The additional video
Characterized in that it includes a field image of a normal situation and a field image of an emergency situation among past field images corresponding to the emergency situation image
A device for disseminating emergency situations.
상기 검출망은
입력층, 컨벌루션층, 풀링층, 제1 완전연결층, 제2 완전연결층 및 출력층을 포함하며,
상기 입력층은 현장 영상을 입력받고,
상기 컨볼루션층은 입력된 현장 영상에 대해 제1 필터를 이용한 컨벌루션 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징지도를 도출하고,
상기 풀링층은 상기 컨볼루션층의 적어도 하나의 제1 특징지도에 대해 제2 필터를 이용한 풀링 연산을 수행하여 적어도 하나의 제2 특징지도를 도출하고,
상기 제1 완결연결층의 복수의 제1 노드는 풀링층의 적어도 하나의 제2 특징지도에 대해 활성화함수에 의한 연산을 통해 복수의 제1 노드값을 산출하고,
상기 제2 완결연결층의 복수의 제2 노드는 상기 제1 완전연결층의 복수의 제1 노드값에 대해 활성화함수에 의한 연산을 통해 복수의 제2 노드값을 산출하고,
상기 출력층의 출력노드는 상기 제2 완결연결층의 복수의 제2 노드값에 대해 가중치가 적용되는 활성화함수에 의한 연산을 통해 상기 입력층에 입력된 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하는 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. According to claim 1,
The detection network
It includes an input layer, a convolution layer, a pooling layer, a first fully connected layer, a second fully connected layer, and an output layer,
The input layer receives an on-site image,
The convolution layer derives at least one first feature map by performing a convolution operation using a first filter and an operation by an activation function on the input field image,
The pooling layer derives at least one second feature map by performing a pooling operation using a second filter on at least one first feature map of the convolution layer;
The plurality of first nodes of the first complete connection layer calculates a plurality of first node values through an operation by an activation function for at least one second feature map of the pooling layer,
The plurality of second nodes of the second fully connected layer calculates a plurality of second node values through an activation function operation for the plurality of first node values of the first fully connected layer;
The output node of the output layer determines whether the situation of the field image input to the input layer is a normal situation or an emergency situation through an operation by an activation function to which weights are applied to a plurality of second node values of the second complete connection layer. Characterized in that for calculating an output value indicating whether or not
A device for disseminating emergency situations.
상기 장치는
레이블이 설정된 학습용 현장 영상를 마련한 후,
학습용 현장 영상을 학습이 완료되지 않은 검출망에 입력하고,
검출망이 상기 학습용 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하면,
손실함수를 통해 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출망의 파라미터를 수정하는 최적화를 수행하는
학습부;
를 더 포함하는 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. According to claim 1,
The device
After preparing a field video for learning with a label set,
Input the field image for learning to the detection network where learning is not completed,
When the detection network performs a plurality of calculations to which weights between a plurality of layers are applied to the learning site image, and calculates an output value indicating whether the situation of the site image is a normal situation or an emergency situation with a probability,
Performing optimization to modify the parameters of the detection network so that the loss, which is the difference between the output value and the label, is minimized through a loss function
learning department;
characterized in that it further comprises
A device for disseminating emergency situations.
상기 학습부는
손실함수 에 따라 손실을 산출하며,
상기 E는 손실을 나타내며,
상기 xi는 출력층의 출력값에 대응하는 레이블이고,
상기 yi는 출력층의 출력값인 것을 특징으로 하는
비상 상황을 전파하기 위한 장치. According to claim 5,
The learning department
loss function Calculate the loss according to
wherein E represents the loss,
xi is a label corresponding to an output value of an output layer,
Characterized in that the yi is the output value of the output layer
A device for disseminating emergency situations.
검출부가 감시영상장치로부터 현장 영상을 수신하는 단계;
상기 검출부가 학습된 가중치로 연결되는 복수의 계층을 포함하는 검출망을 통해 상기 현장 영상에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 현장 영상의 상황이 정상 상황인지 혹은 비상 상황인지 여부를 확률로 나타내는 출력값을 산출하는 단계; 및
상기 검출부가 상기 확률이 현장 영상의 상황이 비상 상황임을 나타내면, 해당 현장 영상을 비상상황영상으로 검출하는 단계;
를 포함하는 것을 특징으로 하는
비상 상황을 전파하기 위한 방법. In a method for disseminating an emergency,
Receiving an on-site image from a surveillance imaging device by a detection unit;
The detection unit performs a plurality of calculations in which weights between a plurality of layers are applied to the field image through a detection network including a plurality of layers connected to the learned weights to determine whether the situation of the field image is a normal situation or an emergency situation. Calculating an output value representing whether or not with probability; and
detecting, by the detection unit, the scene image as an emergency situation image when the probability indicates that the situation of the scene image is an emergency situation;
characterized in that it includes
How to disseminate an emergency.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210133959A KR102659216B1 (en) | 2021-10-08 | 2021-10-08 | Apparatus for disseminating an emergency situation based on network separation and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210133959A KR102659216B1 (en) | 2021-10-08 | 2021-10-08 | Apparatus for disseminating an emergency situation based on network separation and method therefor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230050762A true KR20230050762A (en) | 2023-04-17 |
KR102659216B1 KR102659216B1 (en) | 2024-04-19 |
Family
ID=86128189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210133959A KR102659216B1 (en) | 2021-10-08 | 2021-10-08 | Apparatus for disseminating an emergency situation based on network separation and method therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102659216B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110075981A (en) * | 2009-12-29 | 2011-07-06 | 금미전자(주) | Security system and method using wireless image transmitting system |
KR20150018975A (en) | 2013-08-12 | 2015-02-25 | (주)경인씨엔에스 | Photographing and monitoring system based on GPS for emergency scene using IP CCTV and Photographing and monitoring method for emergency scene therefor |
KR102199627B1 (en) * | 2020-05-18 | 2021-01-07 | 호서대학교 산학협력단 | Apparatus for recognizing approaching vessel considering distance objects based on Deep Neural Networks, method therefor, and computer recordable medium storing program to perform the method |
KR20230046361A (en) * | 2021-09-29 | 2023-04-06 | 주식회사 와이즈드림 | Apparatus for diagnosing the state of production facilities based on deep neural network and method therefor |
-
2021
- 2021-10-08 KR KR1020210133959A patent/KR102659216B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110075981A (en) * | 2009-12-29 | 2011-07-06 | 금미전자(주) | Security system and method using wireless image transmitting system |
KR20150018975A (en) | 2013-08-12 | 2015-02-25 | (주)경인씨엔에스 | Photographing and monitoring system based on GPS for emergency scene using IP CCTV and Photographing and monitoring method for emergency scene therefor |
KR102199627B1 (en) * | 2020-05-18 | 2021-01-07 | 호서대학교 산학협력단 | Apparatus for recognizing approaching vessel considering distance objects based on Deep Neural Networks, method therefor, and computer recordable medium storing program to perform the method |
KR20230046361A (en) * | 2021-09-29 | 2023-04-06 | 주식회사 와이즈드림 | Apparatus for diagnosing the state of production facilities based on deep neural network and method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR102659216B1 (en) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102527878B1 (en) | Method, apparatus, electronic device and, readable storage medium and program for constructing key-point learning model | |
KR102409204B1 (en) | Method, apparatus and computer program for providing modularized artificial intelligence model platform service | |
US8611664B2 (en) | Method for detecting fire-flame using fuzzy finite automata | |
Zhan et al. | A high-precision forest fire smoke detection approach based on ARGNet | |
US20210216770A1 (en) | Method and system for smart living safety response from control center and savior in view of facility and industrial safety based on extended reality and internet of thing | |
KR100982347B1 (en) | smoke sensing method and system | |
CN110348390B (en) | Training method, computer readable medium and system for flame detection model | |
JP2023536025A (en) | Target detection method, device and roadside equipment in road-vehicle cooperation | |
KR102129771B1 (en) | Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof | |
CN115379125A (en) | Interactive information sending method, device, server and medium | |
KR102299704B1 (en) | System for smart deep learning video surveillance by linking disaster environment metadata | |
KR20230050762A (en) | Apparatus for disseminating an emergency situation based on network separation and method therefor | |
CN114973589B (en) | Fire information generation method and device, electronic equipment and computer readable medium | |
KR102564300B1 (en) | System for Preventing Violence School Using Body Temperature and Behavior Pattern | |
CN114360064B (en) | Office place personnel behavior lightweight target detection method based on deep learning | |
CN116797814A (en) | Intelligent building site safety management system | |
KR20230046361A (en) | Apparatus for diagnosing the state of production facilities based on deep neural network and method therefor | |
CN111144492B (en) | Scene map generation method for mobile terminal virtual reality and augmented reality | |
KR102484198B1 (en) | Method, apparatus and system for detecting abnormal event | |
JP2008283380A (en) | Earthquake situation monitoring apparatus and earthquake situation monitoring method | |
JP2019046416A (en) | Premises change estimation apparatus, premises change learning apparatus, premises change estimation method, parameter generation method for discriminator, and program | |
CN115546677B (en) | Method, apparatus, device and computer readable medium for processing information of construction site | |
KR102544048B1 (en) | Method for supporting patrol in transportation platform set up multiple CCTV cameras and system thereof | |
WO2024047748A1 (en) | Video processing system, video processing method, and video processing device | |
CN117808090B (en) | Emergency structured plan text generation method and system combining space-time big data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |