KR20200115723A - Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof - Google Patents

Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof Download PDF

Info

Publication number
KR20200115723A
KR20200115723A KR1020190029529A KR20190029529A KR20200115723A KR 20200115723 A KR20200115723 A KR 20200115723A KR 1020190029529 A KR1020190029529 A KR 1020190029529A KR 20190029529 A KR20190029529 A KR 20190029529A KR 20200115723 A KR20200115723 A KR 20200115723A
Authority
KR
South Korea
Prior art keywords
image
learning
surveillance area
video
surveillance
Prior art date
Application number
KR1020190029529A
Other languages
Korean (ko)
Other versions
KR102658563B1 (en
Inventor
김태완
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190029529A priority Critical patent/KR102658563B1/en
Publication of KR20200115723A publication Critical patent/KR20200115723A/en
Application granted granted Critical
Publication of KR102658563B1 publication Critical patent/KR102658563B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

A disclosed image monitoring device comprises: a photographing part that photographs an image of a monitoring area; an object detection part initially trained to detect and recognize an object from the photographed image in the photographing part; and a training part that additionally trains the object detection part by using the photographed image to reflect the environment of the monitoring area.

Description

영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들{APPARATUS FOR MONITORING VIDEO, APPARATUS FOR ANALYZING VIDEO AND LEARNING METHODS THEREOF}Video surveillance device, video analysis server device, and learning methods thereof {APPARATUS FOR MONITORING VIDEO, APPARATUS FOR ANALYZING VIDEO AND LEARNING METHODS THEREOF}

본 발명은 영상을 촬영하여 감시하는 장치와 촬영 영상을 분석하는 서버장치 및 이들 장치들이 영상으로부터 객체를 검출하기 위해 학습하는 방법들에 관한 것이다.The present invention relates to a device for capturing and monitoring an image, a server device for analyzing a captured image, and methods for learning these devices to detect an object from an image.

CCTV(Closed Circuit Television), 휴대폰 카메라 등을 활용한 다양한 컴퓨터 비젼 기술이 사진(이미지) 및 동영상(비디오)에 적용되어 사진이나 동영상으로부터 사람, 자동차, 동물 등의 원하는 객체를 검출하고 인식할 수 있게 되었고, 딥 러닝(Deep Learning) 등의 기계 학습법과 접목하여 객체 검출 및 인식의 정확성 향상을 도모하고 있으나, 만족할만한 수준에 이르지 못하였다.Various computer vision technologies using CCTV (Closed Circuit Television) and mobile phone cameras are applied to photos (images) and videos (videos) so that desired objects such as people, cars, and animals can be detected and recognized from photos or videos. In addition, it is attempting to improve the accuracy of object detection and recognition by combining machine learning methods such as deep learning, but it has not reached a satisfactory level.

등록특허공보 제10-1910542호, 등록일자 2018년 10월 16일.Registered Patent Publication No. 10-1910542, registration date October 16, 2018.

일 실시예에 따르면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 적응적으로 추가 학습시키는 영상 감시장치 및 그 학습 방법을 제공한다.According to an embodiment, there is provided an image monitoring apparatus and a learning method for adaptively additionally learning the environment of a surveillance area by using a photographed image for a surveillance area for an object detector initially learned to detect and recognize an object from an image. .

또한, 다른 실시예에 따르면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 서버단의 객체 탐지기에 대하여 영상 감시장치의 촬영 영상을 이용하여 감시 영역의 환경을 추가로 학습시키는 영상 분석 서버장치 및 그 학습 방법을 제공한다.In addition, according to another embodiment, an image analysis server device for additionally learning the environment of a surveillance area using a photographed image of an image monitoring device with respect to an object detector at the server end initially learned to detect and recognize an object from an image, and the like. Provide learning methods.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

본 발명의 제 1 관점에 따른 영상 감시장치는, 감시 영역에 대한 영상을 촬영하는 촬영부와, 상기 촬영부에 의한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와, 상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함할 수 있다.An image monitoring apparatus according to a first aspect of the present invention includes a photographing unit for photographing an image of a surveillance area, an object detection unit initially learned to detect and recognize an object from an image captured by the photographing unit, and the monitoring region. It may include a learning unit that additionally learns the object detection unit using the captured image so that the environment for is reflected.

본 발명의 제 2 관점에 따른, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 감시장치의 학습 방법은, 감시 영역에 대한 영상을 촬영하는 단계와, 상기 감시 영역에 대한 환경이 반영되도록 상기 감시 영역의 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함할 수 있다.According to a second aspect of the present invention, a learning method of an image monitoring apparatus including an object detector that is initially learned to detect and recognize an object from an image includes: capturing an image for a surveillance area, and an environment for the surveillance area. It may include the step of additionally learning the object detector by using the captured image of the surveillance area so that this is reflected.

본 발명의 제 3 관점에 따른 영상 분석 장치는, 영상 감시장치의 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와, 상기 영상 감시장치의 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함할 수 있다.An image analysis apparatus according to a third aspect of the present invention includes an object detection unit initially learned to detect and recognize an object from a photographed image of the video monitoring device, and the photographed image so that the environment of the surveillance region of the video monitoring device is reflected. It may include a learning unit for additionally learning the object detection unit using.

본 발명의 제 4 관점에 따라, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 분석 장치의 학습 방법은, 영상 감지장치로부터 감시 영역에 대한 촬영 영상을 수신하는 단계와, 상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함할 수 있다.According to a fourth aspect of the present invention, a learning method of an image analysis apparatus including an object detector initially learned to detect and recognize an object from an image includes the steps of: receiving a photographed image for a surveillance area from the image sensing device, the It may include the step of additionally learning the object detector using the captured image so that the environment for the surveillance area is reflected.

본 발명의 실시예에 의하면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 적응적으로 추가 학습시킨다. 이로써, 객체 탐지 및 인식 기능이 감시 영역의 환경에 최적화되어 객체 검출 및 인식의 정확성이 크게 향상되는 효과가 있다.According to an embodiment of the present invention, an object detector initially learned to detect and recognize an object from an image is adaptively additionally learned about the environment of the surveillance area by using a captured image of the surveillance area. As a result, the object detection and recognition function is optimized to the environment of the monitoring area, thereby greatly improving the accuracy of object detection and recognition.

도 1은 본 발명의 실시예들에 따른 영상 감시 및 분석 시스템의 구성도이다.
도 2는 본 발명의 제 1 실시예에 따른 영상 감시장치의 구성도이다.
도 3은 본 발명의 제 1 실시예에 따른 영상 감시장치의 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 구성도이다.
도 5는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 학습 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예들에 따른 학습 방법에 의한 객체 검출 및 인식 결과를 예시한 도면이다.1 is a block diagram of an image monitoring and analysis system according to embodiments of the present invention.
2 is a block diagram of an image monitoring apparatus according to a first embodiment of the present invention.
3 is a flowchart illustrating a method of learning a video surveillance apparatus according to a first embodiment of the present invention.
4 is a block diagram of an image analysis server apparatus according to a second embodiment of the present invention.
5 is a flowchart illustrating a learning method of an image analysis server device according to a second embodiment of the present invention.
6 is a diagram illustrating an object detection and recognition result by a learning method according to embodiments of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 실시예들에 따른 영상 감시 및 분석 시스템(100)의 구성도이다.1 is a block diagram of an image monitoring and analysis system 100 according to embodiments of the present invention.

도 1을 참조하면 영상 감시 및 분석 시스템(100)은 영상 감시장치(110), 영상 분석 서버장치(120), 모니터링 장치(130)를 포함한다.Referring to FIG. 1, an image monitoring and analysis system 100 includes an image monitoring device 110, an image analysis server device 120, and a monitoring device 130.

이러한 영상 감시 및 분석 시스템(100)은 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 영상 감시장치(110) 또는 영상 분석 서버장치(120)에 포함하며, 영상 감시장치(110) 또는 영상 분석 서버장치(120)는 영상 감시장치(110)에 의한 감시 영역의 촬영 영상을 이용해 객체 탐지기에 감시 영역의 환경을 적응적으로 추가 학습시킨다. 예를 들어, 영상 감시 및 분석 시스템(100)은 감시 영역에 설치되기 전에 오프라인 러닝(Offline Learning)을 통해 객체를 탐지 및 인식할 수 있도록 객체 탐지기가 초기 학습되고, 감시 영역에 설치된 후에 온라인 러닝(Online Learning)을 통해 감시 영역의 환경을 영상 감시장치(110) 또는 영상 분석 서버장치(120)의 객체 탐지기에 추가 학습시킬 수 있다. 이를 위해, 영상 감시장치(110) 또는 영상 분석 서버장치(120)는 마이크로프로세서(microprocessor) 등과 같은 컴퓨팅 연산장치를 포함할 수 있다.The image monitoring and analysis system 100 includes an object detector initially learned to detect and recognize an object from an image in the image monitoring device 110 or the image analysis server device 120, and the image monitoring device 110 or the image The analysis server device 120 adaptively additionally learns the environment of the surveillance area to the object detector by using the captured image of the surveillance area by the video surveillance device 110. For example, the video surveillance and analysis system 100 initially learns an object detector to detect and recognize an object through offline learning before it is installed in the surveillance area, and after it is installed in the surveillance area, online learning ( Online Learning), the environment of the surveillance area may be additionally learned by the object detector of the video monitoring device 110 or the video analysis server device 120. To this end, the image monitoring device 110 or the image analysis server device 120 may include a computing computing device such as a microprocessor.

도 2는 영상 감시장치(110)에 객체 탐지기로서 객체 탐지부(112)가 포함된 본 발명의 제 1 실시예를 나타낸 것이고, 이러한 제 1 실시예에 따르면 영상 분석 서버장치(120) 또한 객체 탐지기를 포함할 수 있다.2 shows a first embodiment of the present invention in which an object detection unit 112 is included as an object detector in the image monitoring device 110, and according to this first embodiment, the image analysis server device 120 is also an object detector. It may include.

도 1 및 도 2를 참조하여 본 발명의 제 1 실시예에 따른 영상 감시 및 분석 시스템(100)에 대하여 살펴보기로 한다.An image monitoring and analysis system 100 according to a first embodiment of the present invention will be described with reference to FIGS. 1 and 2.

영상 감시장치(110)는 감시 영역의 영상을 촬영하는 촬영부(111)를 포함하고, 촬영 영상을 포함한 각종 정보를 영상 분석 서버장치(120) 및 모니터링 장치(130)와 송수신하는 통신부(114)를 포함한다. 예를 들어, 영상 감시장치(110)는 CCTV(Closed Circuit Television)용 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니고 감시 영역의 영상을 촬영할 수 있는 모든 장치를 포함할 수 있다.The video monitoring device 110 includes a photographing unit 111 that photographs an image of a surveillance area, and a communication unit 114 that transmits and receives various information including the photographed image to and from the image analysis server device 120 and the monitoring device 130 Includes. For example, the image monitoring device 110 may be implemented as a CCTV (Closed Circuit Television) camera, but is not limited thereto and may include any device capable of capturing an image of a surveillance area.

이러한 영상 감시장치(110)는 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부(112)를 포함할 수 있다. 객체 탐지부(112)는 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송하도록 통신부(114)를 제어한다. 객체 탐지부(112)는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지부(112)는 학습 결과인 딥 러닝 웨이트 파일(Deep learning weight file)을 이용하여 객체를 탐지 및 인식할 수 있다.The image monitoring apparatus 110 may include an object detection unit 112 initially learned to detect and recognize an object from a captured image. The object detection unit 112 controls the communication unit 114 to detect and recognize an object by analyzing the captured image in the monitoring area in real time, and transmit the object recognition result to the image analysis server device 120 and the monitoring device 130 do. The object detector 112 may learn a neural network designed in advance to detect and recognize an object, and detect and recognize an object in the captured image based on the learned neural network. For example, the object detection unit 112 may detect and recognize an object using a deep learning weight file that is a learning result.

영상 감시장치(110)는 감시 영역에 대한 촬영 영상을 이용해 객체 탐지부(112)에 대하여 감시 영역의 환경을 적증적으로 추가 학습시키는 학습부(113)를 포함할 수 있다. 학습부(113)는 기 설정된 실행 조건에 기초하여 객체 탐지부(112)의 추가 학습이 필요한지 여부를 판단할 수 있는데, 실행 조건으로는 초기화 후 촬영부(111)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체 탐지부(112)에 의한 객체의 검출 횟수 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때, 객체의 검출 횟수가 "0"일 때, 감시 영역에 외부의 객체가 들어오지 않을 가능성이 높은 시각(예컨대, 야간 등) 등이 추가 학습이 필요한지 여부를 판단할 수 있는 실행 조건으로서 미리 설정될 수 있다. 학습부(113)는 촬영부(111)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는 학습법을 수행할 수 있다. 예를 들어, 촬영부(111)에 의한 감시 영역에 대한 촬영 영상의 수가 "1"이면 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후일 가능성이 매우 높기 때문에 최초의 촬영 영상에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주함으로써, 추가 학습을 통해 객체 탐지부(112)의 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다.The image monitoring apparatus 110 may include a learning unit 113 for additionally learning the environment of the surveillance area with respect to the object detection unit 112 using the captured image of the surveillance area. The learning unit 113 may determine whether additional learning of the object detection unit 112 is required based on a preset execution condition. As an execution condition, the captured image for the surveillance area of the photographing unit 111 One or more of the number, the photographing time, or the number of times the object is detected by the object detector 112 may be preset. For example, when the number of captured images in the surveillance area is "1", when the number of detections of an object is "0", there is a high possibility that an external object does not enter the surveillance area (eg, at night). It may be set in advance as an execution condition capable of determining whether additional learning is required. The learning unit 113 may perform a learning method of overfitting by learning the environment for the surveillance area acquired from the photographed image of the photographing unit 111 in a negative set. For example, if the number of captured images for the surveillance area by the photographing unit 111 is "1", it is very likely that the video surveillance and analysis system 100 is being installed in the surveillance area or immediately after installation. Is regarded as a state in which the desired object, which is the object of object detection and recognition, is not present in the captured image, and thus the deep learning weight file of the object detection unit 112 is transferred to the environment of the surveillance area by the image monitoring device 110 through additional learning. It can be finely modified to optimize.

영상 분석 서버장치(120)는 영상 감시장치(110)로부터 전송된 객체 인식 결과에 기초하여 사전에 정의된 하나 이상의 이벤트를 감지할 수 있고, 감지된 이벤트에 따른 정보를 모니터링 장치(130)로 전송할 수 있다. 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 영상 분석 서버장치(120)는 복수의 영상 감시장치(110)를 통합 운용하거나 중앙 제어할 수 있다.The image analysis server device 120 may detect one or more predefined events based on the object recognition result transmitted from the image monitoring device 110, and transmit information according to the detected event to the monitoring device 130. I can. When the video monitoring device 110 is operated in each of a plurality of monitoring areas, the video analysis server device 120 may integrate or centrally control the plurality of video monitoring devices 110.

모니터링 장치(130)는 영상 감시장치(110)로부터 촬영된 영상을 수신하여 실시간으로 디스플레이할 수 있다. 그리고, 모니터링 장치(130)는 영상 분석 서버장치(120)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(130)는 영상 감시장치(110)로부터 전송된 객체 인식 결과를 실시간으로 디스플레이할 수 있고, 객체 인식 결과에 대한 운영자 등에 의한 판단 정보를 객체의 인식 결과에 대한 피드백으로서 영상 감시장치(110) 또는 영상 분석 서버장치(120)로 전송할 수 있다.The monitoring device 130 may receive an image captured from the video monitoring device 110 and display it in real time. In addition, the monitoring device 130 may generate an appropriate event such as an alarm according to information received from the image analysis server device 120. In addition, the monitoring device 130 may display the object recognition result transmitted from the image monitoring device 110 in real time, and the image monitoring device provides judgment information about the object recognition result by an operator or the like as a feedback on the recognition result of the object. (110) Or it may be transmitted to the image analysis server device 120.

도 3은 본 발명의 제 1 실시예에 따른 영상 감시장치(100)의 학습 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a learning method of the video monitoring apparatus 100 according to the first embodiment of the present invention.

도 1 내지 도 3을 참조하여 제 1 실시예에 따른 영상 감시장치(100)의 학습 방법에 대해 자세히 살펴보기로 한다.The learning method of the video monitoring apparatus 100 according to the first embodiment will be described in detail with reference to FIGS. 1 to 3.

먼저, 영상 감시 및 분석 시스템(100)을 유통 및 설치하기 전에 영상 감시장치(110)의 객체 탐지부(112)가 추후 감시 영역에서 객체를 탐지하고 인식할 수 있도록 하기 위해 미리 설계된 신경망을 초기 학습시킨다. 예를 들어, 컨볼루션 신경망(CNN: Convolutional Neural Network)이나 순환 신경망(RNN: Recurrent Neural Network) 또는 컨볼루션 신경망과 순환 신경망의 조합 등 다양한 신경망을 이용하여 오프라인 러닝을 수행할 수 있고, 학습 결과로서 딥 러닝 웨이트 파일이 생성될 수 있다. 이처럼, 객체를 탐지 및 인식할 수 있도록 초기 학습시킨 객체 탐지부(112)를 포함하는 영상 감시장치(110)가 공장 등에서 제조되어 유통될 수 있고, 객체 탐지부(112)가 초기 학습된 상태가 초기화 상태이다(S310).First, before distribution and installation of the image monitoring and analysis system 100, the object detection unit 112 of the image monitoring device 110 initially learns a pre-designed neural network to detect and recognize an object in a later monitoring area. Let it. For example, offline learning can be performed using various neural networks, such as a convolutional neural network (CNN), a recurrent neural network (RNN), or a combination of a convolutional neural network and a recurrent neural network. A deep learning weight file can be created. In this way, the image monitoring device 110 including the object detection unit 112 that was initially learned to detect and recognize the object can be manufactured and distributed in a factory, etc., and the state in which the object detection unit 112 is initially learned is It is in the initializing state (S310).

이후, 영상 감시장치(110)를 소정의 감시 영역에 설치하고, 영상 분석 서버장치(120) 및 모니터링 장치(130)와 통신망을 통해 연결하여 온라인 상태를 구축한다.Thereafter, the image monitoring device 110 is installed in a predetermined monitoring area, and an online state is established by connecting the image analysis server device 120 and the monitoring device 130 through a communication network.

그러면, 영상 감시장치(110)의 촬영부(111)는 감시 영역에 대하여 영상을 촬영할 수 있는 상태에 놓이고, 학습부(113)는 기 설정된 실행 조건에 기초하여 객체 탐지부(112)의 추가 학습이 필요한지 여부를 판단한다. 여기서, 실행 조건으로는 초기화 후 촬영부(111)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체 탐지부(112)에 의한 객체의 검출 횟수 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때가 실행 조건으로 사전에 설정된 경우, 촬영부(111)가 감시 영역을 최초로 촬영(S320)한 때에 학습부(113)는 실행 조건이 만족하는 것으로 파악하여 객체 탐지부(112)에 대한 추가 학습이 필요한 것으로 판단할 수 있다(S330).Then, the photographing unit 111 of the image monitoring device 110 is placed in a state capable of capturing an image for the surveillance area, and the learning unit 113 adds the object detection unit 112 based on a preset execution condition. Determine whether learning is necessary. Here, as an execution condition, one or more of the number of captured images for the surveillance area of the photographing unit 111 after initialization, a photographing time, or the number of times the object is detected by the object detection unit 112 may be preset. For example, when the number of captured images for the surveillance area is set to "1" as the execution condition, when the shooting unit 111 first photographs the surveillance area (S320), the learning unit 113 sets the execution condition. It may be determined that the object detection unit 112 needs additional learning by determining that it is satisfied (S330).

학습부(113)가 객체 탐지부(112)에 대하여 수행하는 추가 학습은 촬영부(111)에 의해 촬영된 감시 영역의 촬영 영상이 이용된다. 예를 들어, 학습부(113)는 촬영부(111)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트로 학습을 진행하여 과적합하는 온라인 러닝을 수행할 수 있다. 예를 들어, 촬영 영상으로부터 추출될 수 있는 감시 영역의 실내 구조, 실외 조명 상황, 실내 가구 배치 등과 같은 환경 정보가 객체 탐지부(112)에 적응적으로 추가 학습될 수 있다. 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후에 촬영된 영상 내에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주하고, 네거티브 세트를 이용한 추가 학습을 통해 객체 탐지부(112)의 초기 학습에 의해 생성되어 있던 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에서 운용 중인 복수의 객체 탐지부(112)는 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다(S340).The additional learning performed by the learning unit 113 with respect to the object detection unit 112 uses a photographed image of the surveillance area captured by the photographing unit 111. For example, the learning unit 113 may perform online learning in which the environment for the surveillance region acquired from the photographed image of the photographing unit 111 is learned as a negative set to perform an overfitting online learning. For example, environmental information such as an indoor structure of a surveillance area, an outdoor lighting situation, an indoor furniture arrangement, etc. that can be extracted from the captured image may be adaptively additionally learned by the object detector 112. The video surveillance and analysis system 100 is regarded as a state in which the desired object to be detected and recognized does not exist in the image captured during or immediately after the installation in the surveillance area, and additional learning using the negative set is performed. Through this, the deep learning weight file generated by the initial learning of the object detection unit 112 may be finely transformed to be optimized to the environment of the surveillance area by the image monitoring apparatus 110. Here, when the video surveillance device 110 is operated in a plurality of surveillance areas, the plurality of object detection units 112 operating in different surveillance areas are provided with different indoor structures and different outdoor lighting by different surveillance areas. The environment, arrangement of different indoor furniture, etc. may be additionally learned (S340).

이후, 영상 감시장치(110)의 객체 탐지부(112)는 단계 S340를 통해 감시 영역의 환경에 최적화된 상태에서 촬영부(111)에 의한 감시 영역의 촬영 영상에서 원하는 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송하도록 통신부(114)를 제어한다(S350).Thereafter, the object detection unit 112 of the video monitoring device 110 detects and recognizes a desired object in the captured image of the surveillance area by the capture unit 111 in a state optimized for the environment of the surveillance area through step S340, The communication unit 114 is controlled to transmit the object recognition result to the image analysis server device 120 and the monitoring device 130 (S350).

도 4는 영상 분석 서버장치(120)에 객체 탐지기로서 객체 탐지부(121)가 포함된 본 발명의 제 2 실시예를 나타낸 것이고, 이러한 제 2 실시예에 따르면 영상 분석 서버장치(120) 또한 객체 탐지기를 포함할 수 있다.4 shows a second embodiment of the present invention in which an object detection unit 121 is included as an object detector in the image analysis server device 120, and according to this second embodiment, the image analysis server device 120 It may include a detector.

도 1 및 도 4를 참조하여 본 발명의 제 2 실시예에 따른 영상 감시 및 분석 시스템(100)에 대하여 살펴보기로 한다.An image monitoring and analysis system 100 according to a second embodiment of the present invention will be described with reference to FIGS. 1 and 4.

영상 감시장치(110)는 감시 영역의 영상을 촬영하고, 촬영 영상을 포함한 각종 정보를 영상 분석 서버장치(120) 및 모니터링 장치(130)와 송수신할 수 있다. 예를 들어, 영상 감시장치(110)는 CCTV용 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니고 감시 영역의 영상을 촬영할 수 있는 모든 장치를 포함할 수 있다.The video monitoring device 110 may capture an image of a surveillance area and transmit and receive various types of information, including a captured image, with the image analysis server device 120 and the monitoring device 130. For example, the video surveillance device 110 may be implemented as a CCTV camera, but is not limited thereto and may include any device capable of capturing an image of a surveillance area.

이러한 영상 감시장치(110)는 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함할 수 있다. 영상 감시장치(110)는 객체 탐지기를 이용해 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식한 후, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송할 수 있다. 객체 탐지기는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지기는 학습 결과인 딥 러닝 웨이트 파일을 이용하여 객체를 탐지 및 인식할 수 있다.The image monitoring apparatus 110 may include an object detector initially learned to detect and recognize an object from a captured image. The image monitoring device 110 may detect and recognize an object by analyzing the captured image of the surveillance area in real time using an object detector, and then transmit the object recognition result to the image analysis server device 120 and the monitoring device 130. . The object detector can learn a neural network designed in advance to detect and recognize an object, and detect and recognize an object in a captured image based on the learned neural network. For example, the object detector may detect and recognize an object using a deep learning weight file that is a learning result.

영상 분석 서버장치(120)는 영상 감시장치(110)로부터 전송된 감시 영역에 대한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부(121)를 포함할 수 있고, 영상 감시장치(110) 및 모니터링 장치(130)와 각종 정보를 송수신할 수 있는 통신부(123)를 포함할 수 있다. 객체 탐지부(112)는 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 감시장치(110) 및 모니터링 장치(130)로 전송하도록 통신부(123)를 제어한다. 객체 탐지부(121)는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지부(121)는 학습 결과인 딥 러닝 웨이트 파일을 이용하여 객체를 탐지 및 인식할 수 있다. 또한, 객체 탐지부(121)는 영상 감시장치(110)로부터 전송된 객체 인식 결과에 기초하여 사전에 정의된 하나 이상의 이벤트를 감지할 수 있고, 감지된 이벤트에 따른 정보를 모니터링 장치(130)로 전송하도록 통신부(123)를 제어할 수 있다. 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 객체 탐지부(121)는 복수의 영상 감시장치(110)를 통합 운용하거나 중앙 제어할 수 있다.The image analysis server device 120 may include an object detection unit 121 initially learned to detect and recognize an object from a captured image for a surveillance area transmitted from the image monitoring device 110, and the image monitoring device 110 ) And a communication unit 123 capable of transmitting and receiving various types of information with the monitoring device 130. The object detection unit 112 detects and recognizes an object by analyzing the captured image of the monitoring area in real time, and controls the communication unit 123 to transmit the object recognition result to the image monitoring device 110 and the monitoring device 130. . The object detector 121 may learn a neural network designed in advance to detect and recognize an object, and detect and recognize an object in a captured image based on the learned neural network. For example, the object detection unit 121 may detect and recognize an object using a deep learning weight file that is a learning result. In addition, the object detection unit 121 may detect one or more predefined events based on the object recognition result transmitted from the video monitoring device 110, and transmit information according to the detected event to the monitoring device 130. It is possible to control the communication unit 123 to transmit. When the image monitoring device 110 is operated in each of a plurality of surveillance areas, the object detection unit 121 may integrally operate or centrally control the plurality of image monitoring devices 110.

영상 분석 서버장치(120)는 감시 영역에 대한 촬영 영상을 이용해 객체 탐지부(121)에 대하여 감시 영역의 환경을 적응적으로 추가 학습시키는 학습부(122)를 포함할 수 있다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다. 학습부(122)는 기 설정된 실행 조건에 기초하여 객체 탐지부(121)의 추가 학습이 필요한지 여부를 판단할 수 있는데, 실행 조건으로는 초기화 후 영상 감시장치(110)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때, 감시 영역에 외부의 객체가 들어오지 않을 가능성이 높은 시각(예컨대, 야간 등), 객체의 인식 결과에 대한 피드백 결과가 "거짓(false)"일 때 등이 추가 학습이 필요한지 여부를 판단할 수 있는 실행 조건으로서 미리 설정될 수 있다. 학습부(122)는 영상 감시장치(110)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는 학습법을 수행할 수 있다. 예를 들어, 영상 감시장치(110)에 의한 감시 영역에 대한 촬영 영상의 수가 "1"이면 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후일 가능성이 매우 높기 때문에 최초의 촬영 영상에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주함으로써, 추가 학습을 통해 객체 탐지부(121)의 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다.The image analysis server device 120 may include a learning unit 122 that adaptively additionally learns the environment of the surveillance area with respect to the object detection unit 121 using the captured image of the surveillance area. Here, when the image monitoring apparatus 110 is operated in a plurality of monitoring areas, different indoor structures, different outdoor lighting environments, different indoor furniture arrangements, and the like by different monitoring areas may be additionally learned. The learning unit 122 may determine whether additional learning of the object detection unit 121 is required based on a preset execution condition. As an execution condition, a captured image of the surveillance area of the video monitoring device 110 after initialization One or more of a feedback result of the monitoring device 130 for the number of pictures, a shooting time, or an object recognition result may be preset. For example, when the number of captured images for the surveillance area is "1", when there is a high possibility that an external object does not enter the surveillance area (eg, at night), the feedback result for the recognition result of the object is "false ( false)", etc. may be set in advance as an execution condition capable of determining whether additional learning is required. The learning unit 122 may perform a learning method of overfitting by learning the environment for the surveillance region acquired from the captured image of the video surveillance device 110 in a negative set. For example, if the number of captured images for the surveillance area by the video surveillance device 110 is "1", it is very likely that the video surveillance and analysis system 100 is being installed in the surveillance area or immediately after installation. The first captured image assumes that there is no object to be detected and recognized, so that the deep learning weight file of the object detection unit 121 is converted to the environment of the surveillance area by the image monitoring device 110 through additional learning. It can be finely modified to optimize it.

모니터링 장치(130)는 영상 감시장치(110)로부터 촬영된 영상을 수신하여 실시간으로 디스플레이할 수 있다. 그리고, 모니터링 장치(130)는 영상 분석 서버장치(120)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(130)는 영상 감시장치(110) 또는 영상 분석 서버장치(120)로부터 전송된 객체 인식 결과를 실시간으로 디스플레이할 수 있고, 객체 인식 결과에 대한 운영자 등에 의한 판단 정보를 객체의 인식 결과에 대한 피드백으로서 영상 감시장치(110) 또는 영상 분석 서버장치(120)로 전송할 수 있다.The monitoring device 130 may receive an image captured from the video monitoring device 110 and display it in real time. In addition, the monitoring device 130 may generate an appropriate event such as an alarm according to information received from the image analysis server device 120. In addition, the monitoring device 130 can display the object recognition result transmitted from the image monitoring device 110 or the image analysis server device 120 in real time, and recognize the object recognition information about the object recognition result by an operator, etc. As feedback on the result, it may be transmitted to the image monitoring device 110 or the image analysis server device 120.

도 5는 본 발명의 제 2 실시예에 따른 영상 감시장치(100)의 학습 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a learning method of the video monitoring apparatus 100 according to the second embodiment of the present invention.

도 1, 도 4 및 도 5를 참조하여 제 2 실시예에 따른 영상 감시장치(100)의 학습 방법에 대해 자세히 살펴보기로 한다.The learning method of the image monitoring apparatus 100 according to the second embodiment will be described in detail with reference to FIGS. 1, 4 and 5.

먼저, 영상 감시 및 분석 시스템(100)을 유통 및 설치하기 전에 영상 감시장치(110)의 객체 탐지기 및 영상 분석 서버장치(120)의 객체 탐지부(121)가 영상 내에 포함된 객체를 탐지하고 인식할 수 있도록 하기 위해 미리 설계된 신경망을 초기 학습시킨다. 예를 들어, 컨볼루션 신경망이나 순환 신경망 또는 컨볼루션 신경망과 순환 신경망의 조합 등 다양한 신경망을 이용하여 오프라인 러닝을 수행할 수 있고, 학습 결과로서 딥 러닝 웨이트 파일이 생성될 수 있다. 이처럼, 객체를 탐지 및 인식할 수 있도록 초기 학습시킨 객체 탐지기를 포함하는 영상 감시장치(110) 및 객체 탐지부(121)를 포함하는 영상 분석 서버장치(120)가 공장 등에서 제조되어 유통될 수 있고, 오프라인 러닝에 의해 초기 학습된 상태가 초기화 상태이다.First, before distribution and installation of the image monitoring and analysis system 100, the object detector of the image monitoring device 110 and the object detection unit 121 of the image analysis server device 120 detect and recognize the object included in the image. In order to be able to do so, a pre-designed neural network is initially trained. For example, offline learning may be performed using various neural networks, such as a convolutional neural network, a recurrent neural network, or a combination of a convolutional neural network and a recurrent neural network, and a deep learning weight file may be generated as a learning result. In this way, the image monitoring device 110 including the object detector initially trained to detect and recognize the object and the image analysis server device 120 including the object detection unit 121 can be manufactured and distributed in a factory, etc. , The state initially learned by offline learning is the initial state.

이후, 영상 감시장치(110)를 소정의 감시 영역에 설치하고, 영상 분석 서버장치(120) 및 모니터링 장치(130)와 통신망을 통해 연결하여 온라인 상태를 구축한다.Thereafter, the image monitoring device 110 is installed in a predetermined monitoring area, and an online state is established by connecting the image analysis server device 120 and the monitoring device 130 through a communication network.

그러면, 영상 감시장치(110)는 감시 영역에 대하여 영상을 촬영할 수 있는 상태에 놓이고, 영상 분석 서버장치(120)의 학습부(122)는 기 설정된 실행 조건에 기초하여 객체 탐지부(121)의 추가 학습이 필요한지 여부를 판단한다. 여기서, 실행 조건으로는 초기화 후 영상 감시장치(110)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때가 실행 조건으로 사전에 설정된 경우, 영상 감시장치(110)가 감시 영역을 최초로 촬영(S510)하여 영상 분석 서버장치(120) 및 모니터링 장치(130)에 전송하였을 때에 학습부(122)는 실행 조건이 만족하는 것으로 파악하여 객체 탐지부(121)에 대한 추가 학습이 필요한 것으로 판단할 수 있다(S520).Then, the image monitoring device 110 is placed in a state capable of capturing an image for the surveillance area, and the learning unit 122 of the image analysis server device 120 is the object detection unit 121 based on a preset execution condition. Determine whether additional learning is necessary. Here, as an execution condition, one or more of the number of captured images for the surveillance area of the video monitoring device 110 after initialization, a shooting time, or a feedback result of the monitoring device 130 for the recognition result of an object may be preset. . For example, when the number of captured images for the surveillance area is set to "1" as the execution condition, the video surveillance device 110 first captures the surveillance area (S510), and the image analysis server device 120 and monitoring Upon transmission to the device 130, the learning unit 122 may determine that the execution condition is satisfied and thus further learning of the object detection unit 121 is required (S520).

학습부(122)가 객체 탐지부(121)에 대하여 수행하는 추가 학습은 영상 감시장치(110)에 의해 촬영된 감시 영역의 촬영 영상이 이용된다. 예를 들어, 촬영 영상으로부터 추출될 수 있는 감시 영역의 실내 구조, 실외 조명 상황, 실내 가구 배치 등과 같은 환경 정보가 객체 탐지부(121)에 적응적으로 추가 학습될 수 있다. 여기서, 학습부(122)는 영상 감시장치(110)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트로 학습을 진행하여 과적합하는 온라인 러닝을 수행함으로써 새로운 과적합 모델을 생성할 수 있다. 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후에 촬영된 영상 내에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주하고, 네거티브 세트를 이용한 추가 학습을 통해 객체 탐지부(121)의 초기 학습에 의해 생성되어 있던 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다(S530).The additional learning performed by the learning unit 122 with respect to the object detection unit 121 uses a captured image of a surveillance area captured by the video monitoring device 110. For example, environmental information such as an indoor structure of a surveillance area, an outdoor lighting situation, an indoor furniture arrangement, etc. that can be extracted from a captured image may be adaptively additionally learned by the object detection unit 121. Here, the learning unit 122 may generate a new overfitting model by performing online learning to overfit by learning the environment for the surveillance region acquired from the captured image of the video surveillance device 110 as a negative set. The video surveillance and analysis system 100 is regarded as a state in which the desired object to be detected and recognized does not exist in the image captured during or immediately after the installation in the surveillance area, and additional learning using the negative set is performed. Through this, the deep learning weight file generated by the initial learning of the object detection unit 121 may be finely transformed to be optimized to the environment of the surveillance area by the image monitoring apparatus 110 (S530).

그리고, 객체 탐지부(121)는 단계 S530의 추가 학습에 의해 생성된 과적합 모델을 영상 감시장치(110)로 전송하도록 통신부(123)를 제어할 수 있고, 통신부(123)는 객체 탐지부(121)는 단계 S530에서 생성된 과적합 모델을 객체 탐지부(121)의 제어에 따라 영상 감시장치(110)로 송신할 수 있다(S540).In addition, the object detection unit 121 may control the communication unit 123 to transmit the overfitting model generated by the additional learning in step S530 to the image monitoring device 110, and the communication unit 123 is an object detection unit ( 121) may transmit the overfit model generated in step S530 to the image monitoring apparatus 110 under the control of the object detection unit 121 (S540).

그러면, 영상 감시장치(110)는 영상 분석 서버장치(120)로부터 추가 학습의 결과물인 과적합 모델을 수신할 수 있고, 초기 학습된 상태인 객체 탐지기는 추가 학습된 과적합 모델을 적용하는 온라인 러닝을 수행할 수 있다. 이로써, 영상 감시장치(110)는 감시 영역의 환경에 최적화된다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다.이후, 영상 감시장치(110)는 감시 영역의 환경에 최적화된 상태에서 감시 영역의 영상을 촬영하고, 촬영 영상에서 원하는 객체를 탐지 및 인식하며, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송할 수 있다.Then, the video monitoring device 110 may receive an overfitting model that is a result of the additional learning from the video analysis server device 120, and the object detector in the initially learned state is online learning that applies the additionally learned overfitting model. Can be done. Accordingly, the video monitoring device 110 is optimized for the environment of the monitoring area. Here, when the image monitoring apparatus 110 is operated in a plurality of monitoring areas, different indoor structures, different outdoor lighting environments, different indoor furniture arrangements, and the like by different monitoring areas may be additionally learned. Thereafter, the image monitoring device 110 captures an image of the surveillance area in a state optimized for the environment of the surveillance area, detects and recognizes a desired object in the captured image, and monitors the image analysis server device 120 and the object recognition result. To device 130.

한편, 단계 S520에서 영상 분석 서버장치(120)의 학습부(122)는 영상 감시장치(110)에 의한 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과에 기초하여 객체 탐지부(121)의 추가 학습이 필요한 실행 조건이 만족하는지를 판단할 수 있다. 예를 들어, 모니터링 장치(130)로부터 객체의 인식 결과에 대한 피드백 결과로서, "거짓(false)"이 수신(S510)될 때에 기 설정된 실행 조건이 만족하는 것으로 파악하여 추가 학습이 필요한 것으로 판단할 수 있다(S520). 이후, 앞서 설명한 바와 같이 단계 S530 및 S540이 수행될 수 있다.On the other hand, in step S520, the learning unit 122 of the image analysis server device 120 is based on the feedback result of the monitoring device 130 on the recognition result of the object by the image monitoring device 110, the object detection unit 121 It can be determined whether the execution condition requiring additional learning of is satisfied. For example, as a result of feedback on the recognition result of the object from the monitoring device 130, when a "false" is received (S510), it is determined that a preset execution condition is satisfied and further learning is necessary. Can be (S520). Thereafter, steps S530 and S540 may be performed as described above.

도 6은 본 발명의 실시예들에 따른 학습 방법에 의한 객체 검출 및 인식 결과를 예시한 도면으로서, 왼쪽은 초기 학습(오프라인 러닝) 상태의 객체 탐지 및 인식의 결과이고, 오른쪽은 초기 학습(오프라인 러닝) 및 추가 학습(온라인 러닝) 상태의 객체 탐지 및 인식의 결과이다. 초기 학습 시에는 수십만장의 사람 영상을 이용해 딥 러닝을 수행하였고, 추가 학습 시에는 감시 영역에 대한 최초 1장의 촬영 영상을 이용해 약 10번에 걸쳐서 반복 학습하는 딥 러닝을 수행하였다. 초기 학습만 수행한 경우에는 왼쪽 하단에서 사람이 아닌 객체에 대해 사람으로 오류 인식하였으나 추가 학습을 수행한 경우에는 이러한 오류 인식이 발생하지 않았다.6 is a diagram illustrating an object detection and recognition result by a learning method according to embodiments of the present invention. The left is the result of object detection and recognition in the initial learning (offline running) state, and the right is the initial learning (offline learning). Learning) and further learning (online learning) are the result of object detection and recognition. In the initial learning, deep learning was performed using hundreds of thousands of human images, and in the additional learning, deep learning was performed over 10 times using the first one photographed image for the surveillance area. When only initial learning was performed, objects other than humans were recognized as humans in the lower left corner, but when additional learning was performed, such error recognition did not occur.

지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 추가로 학습시킨다. 이로써, 객체 탐지 및 인식 기능이 감시 영역의 환경에 최적화되어 객체 검출 및 인식의 정확성이 크게 향상되는 효과가 있다.As described so far, according to embodiments of the present invention, an object detector initially learned to detect and recognize an object from an image is additionally learned about the environment of the surveillance area by using the captured image of the surveillance area. As a result, the object detection and recognition function is optimized to the environment of the monitoring area, thereby greatly improving the accuracy of object detection and recognition.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of each flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are the functions described in each step of the flowchart. Will create a means of doing things. These computer program instructions can also be stored on a computer-usable or computer-readable recording medium that can be directed to a computer or other programmable data processing equipment to implement a function in a specific manner, so that the computer-readable or computer-readable medium. It is also possible to produce an article of manufacture that includes instruction means for performing the functions described in each step of the flow chart with instructions stored on the recording medium. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or part of code that contains one or more executable instructions for executing the specified logical function(s). Further, it should be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, two steps shown in succession may in fact be performed substantially simultaneously, or the steps may sometimes be performed in the reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 객체의 탐지 및 인식을 위해 초기 학습된 객체 탐지기에 대하여 감시 영역의 환경을 추가로 학습시켜 객체 탐지 및 인식 기능을 감시 영역의 환경에 최적화시킴으로써, 객체 검출 및 인식의 정확성이 크게 향상된다. 이러한 본 발명의 실시예들은 CCTV(Closed Circuit Television) 감시 시스템을 포함하여 침입 감지 및 보안 기술분야에 적용 및 이용할 수 있다.According to an embodiment of the present invention, by optimizing the object detection and recognition function to the environment of the monitoring area by additionally learning the environment of the monitoring area for the object detector initially learned for object detection and recognition, The accuracy is greatly improved. The embodiments of the present invention can be applied and used in the field of intrusion detection and security technology, including a CCTV (Closed Circuit Television) monitoring system.

100: 영상 감시 및 분석 시스템
110: 영상 감시장치 111: 촬영부
112: 객체 탐지부 113: 학습부
114: 통신부
120: 영상 분석 서버장치 121: 객체 탐지부
122: 학습부 123: 통신부
130: 모니터링 장치100: video surveillance and analysis system
110: video monitoring device 111: photographing unit
112: object detection unit 113: learning unit
114: communication department
120: image analysis server device 121: object detection unit
122: Learning Department 123: Communication Department
130: monitoring device

Claims (8)

감시 영역에 대한 영상을 촬영하는 촬영부와,
상기 촬영부에 의한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와,
상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함하는
영상 감시장치.A photographing unit that photographs an image of the surveillance area
An object detection unit initially learned to detect and recognize an object from a captured image by the photographing unit,
Including a learning unit for additionally learning the object detection unit using the captured image so that the environment for the surveillance area is reflected
Video surveillance device. 제 1 항에 있어서,
상기 학습부는, 기 설정된 실행 조건에 기초하여 상기 객체 탐지부의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 촬영부의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 검출 횟수 중 하나 이상을 포함하는
영상 감시장치.The method of claim 1,
The learning unit determines whether additional learning of the object detection unit is required based on a preset execution condition, wherein the execution condition is at least one of the number of photographed images, the photographing time, or the number of detection of the object after initialization of the photographing unit. Containing
Video surveillance device. 제 1 항에 있어서,
상기 학습부는, 상기 촬영 영상으로부터 획득한 상기 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는
영상 감시장치.The method of claim 1,
The learning unit learns the environment for the surveillance area acquired from the photographed image as a negative set to overfitting.
Video surveillance device. 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 감시장치의 학습 방법으로서,
감시 영역에 대한 영상을 촬영하는 단계와,
상기 감시 영역에 대한 환경이 반영되도록 상기 감시 영역의 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함하는
영상 감시장치의 학습 방법.A learning method of an image monitoring apparatus comprising an object detector initially learned to detect and recognize an object from an image,
Capturing an image of the surveillance area; and
And additionally learning the object detector using the captured image of the surveillance area so that the environment for the surveillance area is reflected.
How to learn video surveillance devices. 영상 감시장치의 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와,
상기 영상 감시장치의 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함하는
영상 분석 장치.An object detection unit initially learned to detect and recognize an object from the captured image of the video monitoring device,
And a learning unit for additionally learning the object detection unit using the captured image so that the environment of the surveillance area of the video monitoring device is reflected.
Video analysis device. 제 5 항에 있어서,
상기 학습부는, 기 설정된 실행 조건에 기초하여 상기 객체 탐지부의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 영상 감지장치의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 인식 결과에 대한 피드백 결과 중 하나 이상을 포함하는
영상 분석 장치.The method of claim 5,
The learning unit determines whether additional learning of the object detection unit is required based on a preset execution condition, wherein the execution condition is based on the number of photographed images, photographing time, or recognition result of the object after initialization of the image sensing device. Containing one or more of the feedback results for
Video analysis device. 제 5 항에 있어서,
상기 학습부는, 상기 촬영 영상으로부터 획득한 상기 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는
영상 분석 장치.The method of claim 5,
The learning unit learns the environment for the surveillance area acquired from the photographed image as a negative set to overfitting.
Video analysis device. 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 분석 장치의 학습 방법으로서,
영상 감지장치로부터 감시 영역에 대한 촬영 영상을 수신하는 단계와,
상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함하는
영상 분석 장치의 학습 방법.

A learning method of an image analysis device including an object detector initially learned to detect and recognize an object from an image,
Receiving a photographed image for a surveillance area from an image sensing device,
And additionally learning the object detector using the captured image so that the environment for the surveillance area is reflected.
Learning method of video analysis device.
KR1020190029529A 2019-03-14 2019-03-14 Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof KR102658563B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190029529A KR102658563B1 (en) 2019-03-14 2019-03-14 Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190029529A KR102658563B1 (en) 2019-03-14 2019-03-14 Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof

Publications (2)

Publication Number Publication Date
KR20200115723A true KR20200115723A (en) 2020-10-08
KR102658563B1 KR102658563B1 (en) 2024-04-17

Family

ID=72897261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029529A KR102658563B1 (en) 2019-03-14 2019-03-14 Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof

Country Status (1)

Country Link
KR (1) KR102658563B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629421B1 (en) * 2023-07-25 2024-01-30 (주)아이나래컴퍼니 Abandoned animal capture detection and management method based on internet of things, abandoned animal capture detection and management system based on internet of things

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085795A (en) * 2012-10-23 2014-05-12 Toshiba Corp Learning image collection device, learning device and object detection device
KR101476799B1 (en) * 2013-07-10 2014-12-26 숭실대학교산학협력단 System and method for detecting object using depth information
KR20170109304A (en) * 2016-03-21 2017-09-29 한국전자통신연구원 Method for parallel learning of cascade classifier by object recognition
JP2018112996A (en) * 2017-01-13 2018-07-19 キヤノン株式会社 Video recognition device, video recognition method and program
KR101910542B1 (en) 2017-06-21 2018-10-22 에스케이 텔레콤주식회사 Image Analysis Method and Server Apparatus for Detecting Object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085795A (en) * 2012-10-23 2014-05-12 Toshiba Corp Learning image collection device, learning device and object detection device
KR101476799B1 (en) * 2013-07-10 2014-12-26 숭실대학교산학협력단 System and method for detecting object using depth information
KR20170109304A (en) * 2016-03-21 2017-09-29 한국전자통신연구원 Method for parallel learning of cascade classifier by object recognition
JP2018112996A (en) * 2017-01-13 2018-07-19 キヤノン株式会社 Video recognition device, video recognition method and program
KR101910542B1 (en) 2017-06-21 2018-10-22 에스케이 텔레콤주식회사 Image Analysis Method and Server Apparatus for Detecting Object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102629421B1 (en) * 2023-07-25 2024-01-30 (주)아이나래컴퍼니 Abandoned animal capture detection and management method based on internet of things, abandoned animal capture detection and management system based on internet of things

Also Published As

Publication number Publication date
KR102658563B1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
CN109040709B (en) Video monitoring method and device, monitoring server and video monitoring system
KR101789690B1 (en) System and method for providing security service based on deep learning
KR102414902B1 (en) Method for recommending artificial intelligence model for analyzing vedio data according to camera installation environment and purpose
JP7162412B2 (en) detection recognition system
CN103871186A (en) Security and protection monitoring system and corresponding warning triggering method
JP2018207222A (en) Camera and parameter registration method
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
JP2018205900A (en) Monitoring system and monitoring method
CN113971782B (en) Comprehensive monitoring information management method and system
US20240046701A1 (en) Image-based pose estimation and action detection method and apparatus
KR102472369B1 (en) Object tracking system based on sound source asking for emegency help and tracking method using the same
US9065975B2 (en) Method and apparatus for hands-free control of a far end camera
CN109544870A (en) Alarm decision method and intelligent monitor system for intelligent monitor system
CN114359976A (en) Intelligent security method and device based on person identification
Shin et al. Design and implementation of IoT-based intelligent surveillance robot
KR102233679B1 (en) Apparatus and method for detecting invader and fire for energy storage system
KR101656642B1 (en) Group action analysis method by image
KR102658563B1 (en) Apparatus for monitoring video, apparatus for analyzing video and learning methods thereof
KR101695127B1 (en) Group action analysis method by image
Yoon et al. Tracking System for mobile user Based on CCTV
KR102077632B1 (en) Hybrid intellgent monitoring system suing local image analysis and cloud service
KR102081577B1 (en) Intelligence Fire Detecting System Using CCTV
KR20210013865A (en) Abnormal behavior detection system and method using generative adversarial network
JP2019153986A (en) Monitoring system, management apparatus, monitoring method, computer program, and storage medium
KR20210024935A (en) Apparatus for monitoring video and apparatus for analyzing video, and on-line machine learning method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant