WO2024075950A1 - 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템 - Google Patents

엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템 Download PDF

Info

Publication number
WO2024075950A1
WO2024075950A1 PCT/KR2023/010760 KR2023010760W WO2024075950A1 WO 2024075950 A1 WO2024075950 A1 WO 2024075950A1 KR 2023010760 W KR2023010760 W KR 2023010760W WO 2024075950 A1 WO2024075950 A1 WO 2024075950A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
cctv
model
analysis result
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/010760
Other languages
English (en)
French (fr)
Inventor
양창모
김동칠
서경은
오세호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2024075950A1 publication Critical patent/WO2024075950A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a method and system for generating an edge AI model for edge CCTV.
  • CCTV without a video analysis function was mainly used. That is, in the conventional video security service, the method was mainly used to transmit video captured by CCTV to a VMS (Video Management System) control center and then perform video analysis at the VMS control center.
  • VMS Video Management System
  • edge CCTV In video security services using edge CCTV, a method is used to reduce the burden of video analysis on the VMS control center by performing video analysis on the edge module mounted on the CCTV and then transmitting the results to the VMS control center.
  • edge CCTV there is a problem that once the edge AI model for video analysis is mounted on the edge module, the mounted AI model cannot be changed or modified.
  • An embodiment of the present invention automatically generates a learning data set and an edge AI model for edge CCTV based on the video analysis results of the edge CCTV and the precise video analysis results in the VMS, and uses the created optimal edge AI model to use the edge CCTV.
  • the method for generating an edge AI model for edge CCTV includes analyzing the first CCTV image analysis result from at least one edge CCTV among a plurality of edge CCTVs. receiving; Generating a second CCTV video analysis result using a video analysis AI model targeting the first CCTV video analysis result; Generating a learning data set based on event occurrence time information, video clips, and the second video analysis result corresponding to the first CCTV image analysis result; and learning and generating an edge AI model for the edge CCTV based on the learning data set.
  • the step of receiving a first CCTV image analysis result analyzed from at least one edge CCTV among the plurality of edge CCTVs includes at least one of an object detection result and a predetermined event detection result from the edge CCTV.
  • a first CCTV image analysis result including one may be received.
  • the step of generating a learning data set based on object and event occurrence time information, video clips, and the second video analysis result corresponding to the first CCTV image analysis result includes the second
  • the training data set can be created by setting the video analysis results as GT (Ground Truth) information.
  • the step of learning and generating an edge AI model for the edge CCTV based on the learning data set is performed when preset time information is satisfied and the size of the learning data set is predetermined.
  • the edge AI model can be learned and created.
  • Some embodiments of the present invention include searching and selecting an edge AI model to be applied to at least one edge CCTV among a plurality of edge CCTVs; And it may further include distributing the selected edge AI model to edge CCTV.
  • the step of searching and selecting an edge AI model to be applied to at least one edge CCTV among the plurality of edge CCTVs includes selecting the edge AI model based on the analysis function and installation size information of the edge AI model. You can search and select edge AI analysis models to apply to CCTV.
  • the edge AI model generation system for edge CCTV includes a communication unit for transmitting and receiving data to a plurality of edge CCTVs, a memory storing a program for learning and generating an edge AI model for the edge CCTV, and As the program stored in the memory is executed, upon receiving the first CCTV image analysis result analyzed from at least one edge CCTV among the plurality of edge CCTVs through the communication unit, the first CCTV image analysis result is sent to the video analysis AI.
  • the processor may receive a first CCTV image analysis result including at least one of an object detection result and a predetermined event detection result from the edge CCTV.
  • the processor may generate the learning data set by setting the second image analysis result as GT (Ground Truth) information.
  • the processor may learn and generate the edge AI model when preset time information is satisfied and when the size of the learning data set satisfies a predetermined size or more.
  • the processor searches and selects an edge AI model to be applied to at least one edge CCTV among a plurality of edge CCTVs based on the analysis function and installation size information of the edge AI model, and selects the edge AI model to be applied to at least one edge CCTV among a plurality of edge CCTVs.
  • Edge AI models can be deployed to edge CCTV.
  • Figure 1 is a block diagram showing the configuration of an edge AI model generation system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of the preparation steps of the edge AI model generation method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of detailed steps in the edge AI model generation method according to an embodiment of the present invention.
  • edge AI model generation system 100 for edge CCTV according to an embodiment of the present invention will be described with reference to FIG. 1.
  • Figure 1 is a block diagram showing the configuration of an edge AI model creation system 100 according to an embodiment of the present invention.
  • the edge AI model creation system 100 includes an input unit 110, a communication unit 120, a display unit 130, a memory 140, and a processor 150. At this time, the edge AI model creation system in the present invention may be VMS.
  • the input unit 110 generates input data in response to user input of the edge AI model creation system 100.
  • user input may include search and selection input of the edge AI model for CCTV, and other control inputs such as termination.
  • the input unit 110 includes at least one input means.
  • the input unit 110 includes a keyboard, key pad, dome switch, touch panel, touch key, mouse, menu button, etc. may include.
  • the communication unit 120 transmits and receives data to and from a plurality of CCTVs, and also communicates with external devices such as servers and data collection devices to transmit and receive data.
  • This communication unit 120 may include both a wired communication module and a wireless communication module.
  • the wired communication module can be implemented as a power line communication device, telephone line communication device, home cable (MoCA), Ethernet, IEEE1294, integrated wired home network, and RS-485 control device.
  • wireless communication modules include WLAN (wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, wireless USB technology and wireless HDMI technology, as well as 5G (5th generation communication) and LTE-A. It may be composed of modules to implement functions such as (long term evolution-advanced), LTE (long term evolution), and Wi-Fi (wireless fidelity).
  • the display unit 130 displays display data according to the operation of the edge AI model creation system 100.
  • the display unit 130 may display information about a plurality of CCTVs, a list of edge AI models corresponding to each CCTV, information about each edge AI model, and configuration information of a learning data set, etc. on the screen.
  • the display unit 130 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical systems (MEMS) display. and electronic paper displays.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • MEMS micro electro mechanical systems
  • the display unit 130 may be combined with the input unit 110 and implemented as a touch screen.
  • the memory 140 stores programs for learning and creating edge AI models for edge CCTV.
  • the memory 140 is a general term for non-volatile storage devices and volatile storage devices that continue to retain stored information even when power is not supplied.
  • memory 140 may include compact flash (CF) cards, secure digital (SD) cards, memory sticks, solid-state drives (SSD), and micro SD.
  • CF compact flash
  • SD secure digital
  • SSD solid-state drives
  • micro SD micro SD.
  • NAND flash memory such as cards
  • magnetic computer storage devices such as hard disk drives (HDD)
  • optical disc drives such as CD-ROM, DVD-ROM, etc. You can.
  • the processor 150 may execute software such as a program to control at least one other component (e.g., hardware or software component) of the edge AI model creation system 100, and may perform various data processing or calculations. there is.
  • software such as a program to control at least one other component (e.g., hardware or software component) of the edge AI model creation system 100, and may perform various data processing or calculations. there is.
  • the processor 150 When the processor 150 receives the first CCTV image analysis result analyzed from at least one edge CCTV among a plurality of edge CCTVs through the communication unit, the processor 150 inputs the first CCTV image analysis result into the video analysis AI model to generate the second CCTV image. Generate analysis results.
  • the processor 150 configures a learning data set based on the event occurrence time information, video clip, and the second video analysis result corresponding to the first CCTV image analysis result, and then configures an edge for edge CCTV based on the learning data set. Train and create AI models.
  • the processor 150 uses at least one of machine learning, neural network, or deep learning algorithms as an artificial intelligence algorithm to generate an edge AI model.
  • an artificial intelligence algorithm at least one of machine learning, neural network, or deep learning algorithm may be used.
  • neural network networks include Convolutional Neural Network (CNN) and Deep Neural Network (DNN). Network) and RNN (Recurrent Neural Network).
  • edge AI model generation method performed by the edge AI model generation system 100 according to an embodiment of the present invention will be described.
  • FIG. 2 is a flowchart of the preparation steps of the edge AI model generation method according to an embodiment of the present invention.
  • the administrator installs edge CCTV at a specific location (S105).
  • edge CCTV refers to a security terminal equipped with an edge AI module that performs video analysis on a CCTV that performs video capture. This edge CCTV generates the first CCTV video analysis result, which is the result of video capture and analysis of the captured video.
  • information about the edge CCTV may include a unique ID, location, performance information, IP address, etc. for the installed edge CCTV.
  • step S110 the system waits for the user's input (S115), and when the user's input is received, the input information is determined (S120). At this time, if the user's input information is 'Finish' (S120-Finish), the entire process is terminated (S125).
  • FIG. 3 is a flowchart of detailed steps in the edge AI model generation method according to an embodiment of the present invention.
  • step S120 If the user's input information is determined to be 'apply edge AI model' in step S120 (S120-apply edge AI model), search and select the edge AI model to be applied to the edge CCTV (S130).
  • an edge AI model in step S130, can be searched according to the analysis function of the edge AI model, and an edge AI model can be selected based on the search results.
  • an edge AI model in step S130, can be searched according to the size of the edge AI model, and an edge AI model can be selected based on the search results.
  • step S130 all edge AI models stored in the edge AI model creation system can be searched and an edge AI model can be selected based on the search results.
  • the selected edge AI model is distributed to the corresponding edge CCTV (S135), and the edge CCTV that has received the distributed edge AI model applies it and operates (S140).
  • the first CCTV image analysis result is generated by at least one edge CCTV among the plurality of edge CCTVs (S145)
  • the first CCTV image analysis result is received from the edge CCTV (S150).
  • the first CCTV image analysis result may include an object detection result.
  • the first CCTV video analysis result may include event detection results such as fire, flooding, assault, invasion, loitering, etc.
  • event detection results such as fire, flooding, assault, invasion, loitering, etc.
  • the object detection results and event detection results may be combined and provided as one information.
  • a second CCTV video analysis result is generated using the video analysis AI model for the first CCTV video analysis result (S155).
  • the second CCTV video analysis result refers to a result analyzed more precisely by a more high-performance computer specification than the first edge CCTV video analysis result.
  • a learning data set is generated based on the event occurrence time information corresponding to the first CCTV video analysis result, the video clip, and the second video analysis result (S160).
  • a learning data set may be formed by defining the second image analysis result as GT (Ground Truth). Accordingly, a learning data set is configured to set video clips, objects, and event occurrence time information as input data, and the second video analysis result is set as output data, and an edge CCTV model for the edge CCTV model is created based on the learning data set. AI models can be learned and created (S165).
  • step S165 trains and generates an edge AI model when at least one of the following is satisfied: when preset time information is satisfied and when the size of the learning data set is sufficient to satisfy a predetermined size or more. can do.
  • the first CCTV image analysis result and the corresponding second CCTV image analysis result may be matched and managed (first case).
  • the plurality of first CCTV image analysis results determined to be the same object or event can be grouped. You can.
  • a second CCTV video analysis result can be generated using a video analysis AI model for the grouped first CCTV video analysis results. At this time, the grouped first and second CCTV video analysis results can be matched and managed (second case).
  • the learning data set consists of the second CCTV video analysis results generated based on the first CCTV video analysis results grouped as in the second case
  • the quality of the learning data set is maintained as is and at the same time the first CCTV video analysis results are grouped together. It has the advantage of being able to learn edge AI models faster than in case 1.
  • the results of analyzing the plurality of first CCTV images determined to be the same object or event are generated by edge CCTVs placed at different angles or positions in the same place. Therefore, the results of analyzing the first CCTV images obtained by the plurality of edge CCTVs installed in the same place can be applied simultaneously when learning the edge AI model.
  • one second CCTV video analysis result was generated based on one first CCTV video analysis result, but in the second case, the second CCTV video analysis result was generated in a multi:1 manner, making it faster. It has the advantage of being learnable.
  • a weight may be set and assigned to each second CCTV image analysis result.
  • the first and second CCTV image analysis results in the first case are compared with the first and second CCTV image analysis results in the second case, and each second CCTV image analysis result in the second case is determined according to the degree of agreement. Weights can also be assigned to .
  • Weights for each second CCTV image analysis result may be variably set and assigned. That is, even if the number of overlapping sections where the same object or event is detected in the video clip in each edge CCTV in the first group and the second group is the same, if the length of the overlapping section in the first group is longer, , greater weight can be given to the second CCTV image analysis result corresponding to the first group.
  • step S170 it is determined whether there is a user input (S170), and when it is determined that there is no user input (S170-NO), the process returns to step S135. At this time, if a new edge AI model is not created in step S165, steps S135 and S140 are omitted, and the process can be performed starting from step S145.
  • step S170-YES when it is determined that there is a user input (S170-YES), the process returns to step S120 and performs an operation according to the corresponding input information.
  • steps S105 to S170 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Additionally, some steps may be omitted or the order between steps may be changed as needed. In addition, even if other omitted content, the content described in FIG. 1 and the content described in FIGS. 2 and 3 are mutually applicable.
  • the embodiments of the present invention described above may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a server, which is hardware.
  • the above-mentioned program is C, C++, JAVA, machine language, etc. that can be read by the processor (CPU) of the computer through the device interface of the computer in order for the computer to read the program and execute the methods implemented in the program.
  • It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do.
  • these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is.
  • the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
  • the storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory.
  • examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.
  • the steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof.
  • the software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

엣지 CCTV를 위한 엣지 AI 모델 생성 방법이 제공된다. 상기 방법은 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하는 단계; 상기 제1 CCTV 영상 분석 결과를 대상으로 영상 분석 AI 모델을 이용하여 제2 CCTV 영상 분석 결과를 생성하는 단계; 상기 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성하는 단계; 및 상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 단계를 포함한다.

Description

엣지 CCTV를 위한 엣지 AI 모델 생성 방법 및 시스템
본 발명은 엣지 CCTV를 위한 엣지 AI 모델 생성 방법 및 시스템에 관한 것이다.
종래의 영상보안 서비스에서는 영상분석 기능이 탑재되지 않은 CCTV가 주로 사용되었다. 즉, 종래의 영상보안 서비스에서는 CCTV가 촬영한 영상을 VMS(Video Management System) 관제 센터에 전송하면, VMS 관제 센터에서 영상분석을 수행하는 방법이 주로 사용되었다.
그러나, 상기와 같은 종래 기술에서는 CCTV의 수량이 증가함에 따라 VMS 관제 센터의 영상분석을 위한 서버 구축 비용이 지속적으로 증가하게 되는 문제점이 있다. 이러한 문제점을 개선하기 위해, 최근에는 엣지 모듈이 CCTV에 탑재된 엣지 CCTV를 영상보안 서비스에 활용하는 방법들이 연구되고 있다.
엣지 CCTV를 활용하는 영상보안 서비스에서는 CCTV에 탑재된 엣지 모듈에서 영상분석을 수행한 후, 그 결과를 VMS 관제 센터에 전송함으로써 VMS 관제 센터의 영상분석에 대한 부담을 덜어주는 방법이 사용된다. 하지만, 현재의 엣지 CCTV의 경우, 엣지 모듈에 영상분석을 위한 엣지 AI 모델이 한번 탑재되면 탑재된 AI 모델을 변경하거나 수정하지 못하는 문제점이 있다.
또한, 최근에는 상기와 같은 문제점을 해소하고자 영상분석 이벤트 또는 날씨 환경에 따라 다수의 엣지 AI 모델을 생성한 후, 영상분석 이벤트 또는 날씨 환경에 최적화된 엣지 AI 모델을 엣지 CCTV에 적용하기 위한 기술들이 연구되고 있다.
그러나, 상기와 같은 방법들은 설치된 엣지 CCTV별로 최적화된 엣지 AI 모델이 생성 및 적용되지 못하는 문제점이 있다. 따라서, 특정 위치에 설치된 엣지 CCTV별로 최적화된 엣지 AI 모델을 자동으로 생성하고, CCTV에 대한 엣지 AI 모델을 자동으로 업데이트하는 기술이 필요하다.
본 발명의 실시예는 엣지 CCTV의 영상 분석 결과와 VMS에서의 정밀 영상 분석 결과를 기반으로 엣지 CCTV를 위한 학습 데이터 셋과 엣지 AI 모델을 자동으로 생성하고, 생성된 최적의 엣지 AI 모델을 엣지 CCTV에 탑재하는, 엣지 CCTV를 위한 엣지 AI 모델 생성 방법 및 시스템을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 엣지 CCTV를 위한 엣지 AI 모델 생성 방법은 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하는 단계; 상기 제1 CCTV 영상 분석 결과를 대상으로 영상 분석 AI 모델을 이용하여 제2 CCTV 영상 분석 결과를 생성하는 단계; 상기 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성하는 단계; 및 상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 단계를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하는 단계는, 상기 엣지 CCTV로부터 객체 탐지 결과 및 소정의 이벤트 탐지 결과 중 적어도 하나를 포함하는 제1 CCTV 영상 분석 결과를 수신할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 제1 CCTV 영상 분석 결과에 상응하는 객체 및 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성하는 단계는, 상기 제2 영상 분석 결과를 GT(Ground Truth) 정보로 설정하여 상기 학습 데이터 셋을 생성할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 단계는, 기 설정된 시간 정보를 만족하는 경우 및 상기 학습 데이터 셋의 크기가 소정의 크기 이상을 만족하는 경우 중 적어도 하나를 만족시 상기 엣지 AI 모델을 학습 및 생성할 수 있다.
본 발명의 일부 실시예는, 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 검색 및 선택하는 단계; 및 상기 선택된 엣지 AI 모델을 엣지 CCTV에 배포하는 단계를 더 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 검색 및 선택하는 단계는, 상기 엣지 AI 모델의 분석 기능 및 설치 크기 정보에 기초하여 상기 엣지 CCTV에 적용할 엣지 AI 분석 모델을 검색 및 선택할 수 있다.
또한, 본 발명의 제2 측면에 따른 엣지 CCTV를 위한 엣지 AI 모델 생성 시스템은 복수의 엣지 CCTV와 데이터를 송수신하는 통신부, 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 통신부를 통해 상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하면, 상기 제1 CCTV 영상 분석 결과를 영상 분석 AI 모델에 입력하여 제2 CCTV 영상 분석 결과를 생성하고, 상기 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 구성한 후, 상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 프로세서를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 엣지 CCTV로부터 객체 탐지 결과 및 소정의 이벤트 탐지 결과 중 적어도 하나를 포함하는 제1 CCTV 영상 분석 결과를 수신할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 제2 영상 분석 결과를 GT(Ground Truth) 정보로 설정하여 상기 학습 데이터 셋을 생성할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 기 설정된 시간 정보를 만족하는 경우 및 상기 학습 데이터 셋의 크기가 소정의 크기 이상을 만족하는 경우 상기 엣지 AI 모델을 학습 및 생성할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 상기 엣지 AI 모델의 분석 기능 및 설치 크기 정보에 기초하여 검색 및 선택하고, 상기 선택된 엣지 AI 모델을 엣지 CCTV에 배포할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
전술한 본 발명의 일 실시예에 의하면, 각각의 엣지 CCTV의 설치환경 등을 고려한 최적화된 엣지 AI 모델을 자동 생성할 수 있으며, 해당 엣지 CCTV로부터 획득된 분석 결과를 기반으로 엣지 AI 모델을 학습시킴으로써 모델 성능을 점차적으로 향상시킬 수 있다. 이를 통해, 엣지 CCTV 기반 영상보안 서비스를 이용한 범죄 등에 대한 빠른 추적 및 대응이 가능하다는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 방법의 준비 단계에 관한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 방법에서의 상세 단계에 관한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는 도 1을 참조하여 본 발명의 일 실시예에 따른 엣지 CCTV를 위한 엣지 AI 모델 생성 시스템(100)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 시스템(100)의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 엣지 AI 모델 생성 시스템(100)는 입력부(110), 통신부(120), 표시부(130), 메모리(140) 및 프로세서(150)를 포함한다. 이때, 본 발명에서의 엣지 AI 모델 생성 시스템은 VMS일 수 있다.
입력부(110)는 엣지 AI 모델 생성 시스템(100)의 사용자 입력에 대응하여 입력데이터를 발생시킨다. 이때, 사용자 입력은 CCTV에 대한 엣지 AI 모델의 검색 및 선택 입력, 그밖에 종료 등의 제어 입력을 포함할 수 있다.
입력부(110)는 적어도 하나의 입력수단을 포함한다. 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.
통신부(120)는 복수 개의 CCTV와 데이터를 송수신하며, 그밖에 데이터를 송수신하기 위해 서버나 데이터 수집 장치 등 외부장치와의 통신을 수행한다. 이와 같은 통신부(120)는 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술, 그밖에 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity) 등의 기능을 구현하기 위한 모듈로 구성될 수 있다.
표시부(130)는 엣지 AI 모델 생성 시스템(100)의 동작에 따른 표시 데이터를 표시한다. 일 예로 표시부(130)는 복수의 CCTV에 대한 정보, 각 CCTV에 상응하는 엣지 AI 모델의 목록, 각 엣지 AI 모델의 정보 및 학습 데이터 셋의 구성 정보 등을 화면 상에 표시할 수 있다.
표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(130)는 입력부(110)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.
메모리(140)는 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하기 위한 프로그램들을 저장한다. 여기에서, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(140)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(150)는 프로그램 등 소프트웨어를 실행하여 엣지 AI 모델 생성 시스템(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
프로세서(150)는 통신부를 통해 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하면, 상기 제1 CCTV 영상 분석 결과를 영상 분석 AI 모델에 입력하여 제2 CCTV 영상 분석 결과를 생성한다.
그리고 프로세서(150)는 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 구성한 후, 학습 데이터 셋을 기반으로 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성한다.
한편, 본 발명의 일 실시예에서, 프로세서(150)는 엣지 AI 모델의 생성을 위해, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있다. 일 예로, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있으며, 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network)과 같은 모델을 포함할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 시스템(100)에 의해 수행되는 엣지 AI 모델 생성 방법에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 방법의 준비 단계에 관한 순서도이다.
먼저, 관리자는 엣지 CCTV를 특정 위치에 설치한다(S105).
본 발명의 일 실시예에서 엣지 CCTV는 영상분석을 수행하는 엣지 AI 모듈을 영상 촬영을 수행하는 CCTV에 탑재한 보안 단말을 의미한다. 이러한 엣지 CCTV는 영상 촬영 및 촬영된 영상에 대한 분석 결과인 제1 CCTV 영상 분석 결과를 생성한다.
다음으로, S105 단계에서 설치된 엣지 CCTV에 대한 정보를 엣지 AI 모델 생성 시스템에 등록한다(S110).
일 실시예로, 엣지 CCTV에 대한 정보는 설치된 엣지 CCTV에 대한 고유 ID, 위치, 성능 정보, IP 주소 등을 포함할 수 있다.
다음으로, S110 단계가 종료됨에 따라 사용자의 입력을 대기하고(S115), 사용자의 입력을 수신하는 경우 입력 정보를 판별한다(S120). 이때, 사용자의 입력 정보가 '종료'인 경우(S120-종료) 전 과정을 종료한다(S125).
도 3은 본 발명의 일 실시예에 따른 엣지 AI 모델 생성 방법에서의 상세 단계에 관한 순서도이다.
S120 단계에서 사용자의 입력 정보가 '엣지 AI 모델 적용'으로 판별된 경우(S120-엣지 AI 모델 적용), 엣지 CCTV에 적용할 엣지 AI 모델을 검색 및 선택한다(S130).
일 실시예로, S130 단계에서는 엣지 AI 모델의 분석 기능에 따른 엣지 AI 모델을 검색하고, 검색 결과를 기반으로 엣지 AI 모델을 선택할 수 있다.
다른 실시예로, S130 단계에서는 엣지 AI 모델의 크기에 따른 엣지 AI 모델을 검색하고, 검색 결과를 기반으로 엣지 AI 모델을 선택할 수 있다.
또 다른 실시예로, S130 단계에서는 엣지 AI 모델 생성 시스템에 저장된 모든 엣지 AI 모델을 검색하고, 검색 결과를 기반으로 엣지 AI 모델을 선택할 수 있다.
다음으로, 상기 선택된 엣지 AI 모델을 상응하는 엣지 CCTV로 배포하고(S135), 배포된 엣지 AI 모델을 수신한 엣지 CCTV는 이를 적용한 후 동작된다(S140).
다음으로, 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 의해 분석 결과인 제1 CCTV 영상 분석 결과가 생성되면(S145), 해당 엣지 CCTV로부터 제1 CCTV 영상 분석 결과를 수신한다(S150).
이때, 제1 CCTV 영상 분석 결과는 객체 탐지 결과를 포함할 수 있다. 또한, 제1 CCTV 영상 분석 결과는 화재, 침수, 폭행, 침범, 배회 등과 같은 이벤트 탐지 결과를 포함할 수 있다. 여기에서 객체 탐지 결과 및 이벤트 탐지 결과를 조합되어 하나의 정보로 제공될 수도 있다.
다음으로, 제1 CCTV 영상 분석 결과를 대상으로 영상 분석 AI 모델을 이용하여 제2 CCTV 영상 분석 결과를 생성한다(S155).
여기에서 제2 CCTV 영상 분석 결과는 제1 엣지 CCTV 영상 분석 결과보다 더욱 고성능의 컴퓨터 사양에 의해 정밀하게 분석된 결과를 의미한다.
다음으로, 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성한다(S160).
일 실시예로, S160 단계에서는 제2 영상 분석 결과를 GT(Ground Truth)로 정의하여 학습 데이터 셋을 구성할 수 있다. 이에 따라, 비디오 클립, 객체 및 이벤트 발생 시간 정보를 입력 데이터로 설정하고, 제2 영상 분석 결과를 출력 데이터로 설정하도록 하는 학습 데이터 셋을 구성하여, 학습 데이터 셋을 기반으로 엣지 CCTV 모델을 위한 엣지 AI 모델을 학습 및 생성할 수 있다(S165).
이때, 본 발명의 일 실시예에서 S165 단계는 기 설정된 시간 정보를 만족하는 경우 및 학습 데이터 셋의 크기가 소정의 크기 이상을 만족할 정도로 충분한 경우 중 적어도 하나를 만족하는 경우 엣지 AI 모델을 학습 및 생성할 수 있다.
한편, 본 발명의 일 실시예에서 학습 데이터 셋을 구성하는 경우, 제1 CCTV 영상 분석 결과와 이에 상응하는 제2 CCTV 영상 분석 결과는 매칭되어 관리될 수 있다(제1 케이스).
또한, 하나의 CCTV 또는 서로 다른 복수의 CCTV로부터 획득된 복수의 제1 CCTV 영상 분석 결과에서 동일한 객체 또는 이벤트로 판별한 경우, 동일한 객체 또는 이벤트로 판별한 복수의 제1 CCTV 영상 분석 결과를 그룹화할 수 있다. 그리고 그룹화된 제1 CCTV 영상 분석 결과를 대상으로 영상 분석 AI 모델을 이용하여 제2 CCTV 영상 분석 결과를 생성할 수 있다. 이때, 그룹화된 제1 CCTV 영상 분석 결과와 제2 CCTV 영상 분석 결과는 매칭되어 관리될 수 있다(제2 케이스).
이때, 제1 케이스의 경우 단일 엣지 CCTV로부터 분석된 결과를 기반으로 엣지 AI 모델을 학습시킴에 따라 최적화된 엣지 AI 모델을 생성 및 적용시킬 수 있는 장점이 있으나, 학습 데이터 셋이 충분하지 않을 수도 있으며, 학습 데이터 셋의 구성에도 많은 시간이 소요될 수 있다.
반면, 제2 케이스와 같이 그룹화된 제1 CCTV 영상 분석 결과를 기반으로 생성된 제2 CCTV 영상 분석 결과를 학습 데이터 셋으로 구성하는 제2 케이스의 경우, 학습 데이터 셋의 품질을 그대로 유지하면서 동시에 제1 케이스보다 더욱 빠른 엣지 AI 모델의 학습이 가능하다는 장점이 있다.
여기에서 동일 객체 또는 이벤트로 판별한 복수의 제1 CCTV 영상 분석 결과는 동일 장소에서 서로 다른 각도 또는 위치에 배치된 엣지 CCTV에 의해 생성된 것이다. 따라서, 동일 장소에 설치된 복수의 엣지 CCTV에 의해 획득된 복수의 제1 CCTV 영상 분석 결과는 동시에 엣지 AI 모델 학습시 적용이 가능하다.
또한, 제1 케이스의 경우 1개의 제1 CCTV 영상 분석 결과를 기반으로 1개의 제2 CCTV 영상 분석 결과를 생성하였으나, 제2 케이스의 경우 다:1로 제2 CCTV 영상 분석 결과를 생성하므로 보다 빠른 학습이 가능하다는 장점이 있다.
한편, 제2 케이스에 있어 각 제2 CCTV 영상 분석 결과에는 가중치가 설정 및 부여될 수 있다. 일 예로, 제1 케이스에서의 제1 및 제2 CCTV 영상 분석 결과와 제2 케이스에서의 제1 및 제2 CCTV 영상 분석 결과를 비교하여 일치도에 따라 제2 케이스에서의 각 제2 CCTV 영상 분석 결과에 가중치를 부여할 수도 있다.
또는, 제2 케이스에서의 복수의 엣지 CCTV에 의해 획득된 복수의 제1 CCTV 영상 분석 결과에 상응하는 비디오 클립 내 동일 객체 또는 이벤트에 대한 시간 정보의 중첩 구간의 개수 및 중첩 구간의 길이에 기초하여 각각의 제2 CCTV 영상 분석 결과에 대한 가중치가 가변 설정 및 부여될 수 있다. 즉, 제1 그룹 및 제2 그룹에서의 각 엣지 CCTV에서의 비디오 클립 내 동일 객체 또는 이벤트가 탐지되는 구간이 중첩되는 중첩 구간의 개수가 동일하더라도 만약 제1 그룹이 중첩 구간의 길이가 더 긴 경우, 제1 그룹에 상응하는 제2 CCTV 영상 분석 결과에 더 큰 가중치를 부여할 수 있다.
다음으로, 사용자의 입력이 있는지 여부를 판별하고(S170), 사용자의 입력이 없는 것으로 판별시(S170-NO), S135 단계로 돌아간다. 이때, S165 단계에서 신규의 엣지 AI 모델이 생성되지 않은 경우에는 S135 및 S140 단계는 생략되며, S145 단계부터 과정이 수행될 수 있다.
이와 달리, 신규의 엣지 AI 모델이 생성된 경우에는 S135 단계부터 수행된다.
또한, 사용자의 입력이 있는 것으로 판별시(S170-YES), S120 단계로 되돌아가고 상응하는 입력 정보에 따라 동작을 수행하게 된다.
한편, 상술한 설명에서, 단계 S105 내지 단계 S170은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1에 기술된 내용과 도 2 내지 도 3에 기술된 내용은 상호 적용된다.
이상에서 전술한 본 발명의 일 실시예들은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (11)

  1. 컴퓨터에 의해 수행되는 방법에 있어서,
    복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하는 단계;
    상기 제1 CCTV 영상 분석 결과를 대상으로 영상 분석 AI 모델을 이용하여 제2 CCTV 영상 분석 결과를 생성하는 단계;
    상기 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성하는 단계; 및
    상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 단계를 포함하는,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하는 단계는,
    상기 엣지 CCTV로부터 객체 탐지 결과 및 소정의 이벤트 탐지 결과 중 적어도 하나를 포함하는 제1 CCTV 영상 분석 결과를 수신하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  3. 제1항에 있어서,
    상기 제1 CCTV 영상 분석 결과에 상응하는 객체 및 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 생성하는 단계는,
    상기 제2 영상 분석 결과를 GT(Ground Truth) 정보로 설정하여 상기 학습 데이터 셋을 생성하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  4. 제1항에 있어서,
    상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 단계는,
    기 설정된 시간 정보를 만족하는 경우 및 상기 학습 데이터 셋의 크기가 소정의 크기 이상을 만족하는 경우 중 적어도 하나를 만족시 상기 엣지 AI 모델을 학습 및 생성하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  5. 제1항에 있어서,
    복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 검색 및 선택하는 단계; 및
    상기 선택된 엣지 AI 모델을 엣지 CCTV에 배포하는 단계를 더 포함하는,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  6. 제5항에 있어서,
    상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 검색 및 선택하는 단계는,
    상기 엣지 AI 모델의 분석 기능 및 설치 크기 정보에 기초하여 상기 엣지 CCTV에 적용할 엣지 AI 분석 모델을 검색 및 선택하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 방법.
  7. 복수의 엣지 CCTV와 데이터를 송수신하는 통신부,
    상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 통신부를 통해 상기 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV로부터 분석된 제1 CCTV 영상 분석 결과를 수신하면, 상기 제1 CCTV 영상 분석 결과를 영상 분석 AI 모델에 입력하여 제2 CCTV 영상 분석 결과를 생성하고, 상기 제1 CCTV 영상 분석 결과에 상응하는 이벤트 발생 시간 정보, 비디오 클립 및 상기 제2 영상 분석 결과를 기반으로 학습 데이터 셋을 구성한 후, 상기 학습 데이터 셋을 기반으로 상기 엣지 CCTV를 위한 엣지 AI 모델을 학습 및 생성하는 프로세서를 포함하는,
    엣지 CCTV를 위한 엣지 AI 모델 생성 시스템.
  8. 제7항에 있어서,
    상기 프로세서는 상기 엣지 CCTV로부터 객체 탐지 결과 및 소정의 이벤트 탐지 결과 중 적어도 하나를 포함하는 제1 CCTV 영상 분석 결과를 수신하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 시스템.
  9. 제7항에 있어서,
    상기 프로세서는 상기 제2 영상 분석 결과를 GT(Ground Truth) 정보로 설정하여 상기 학습 데이터 셋을 생성하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 시스템.
  10. 제1항에 있어서,
    상기 프로세서는 기 설정된 시간 정보를 만족하는 경우 및 상기 학습 데이터 셋의 크기가 소정의 크기 이상을 만족하는 경우 상기 엣지 AI 모델을 학습 및 생성하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 시스템.
  11. 제1항에 있어서,
    상기 프로세서는 복수의 엣지 CCTV 중 적어도 하나의 엣지 CCTV에 적용할 엣지 AI 모델을 상기 엣지 AI 모델의 분석 기능 및 설치 크기 정보에 기초하여 검색 및 선택하고, 상기 선택된 엣지 AI 모델을 엣지 CCTV에 배포하는 것인,
    엣지 CCTV를 위한 엣지 AI 모델 생성 시스템.
PCT/KR2023/010760 2022-10-07 2023-07-25 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템 Ceased WO2024075950A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220129119A KR20240049048A (ko) 2022-10-07 2022-10-07 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템
KR10-2022-0129119 2022-10-07

Publications (1)

Publication Number Publication Date
WO2024075950A1 true WO2024075950A1 (ko) 2024-04-11

Family

ID=90608638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010760 Ceased WO2024075950A1 (ko) 2022-10-07 2023-07-25 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR20240049048A (ko)
WO (1) WO2024075950A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102807336B1 (ko) * 2024-11-21 2025-05-16 주식회사 지안스틸 사물인터넷을 기반으로 항공부품의 생산 일정을 인공지능을 이용하여 관리하는 시스템 및 방법
KR102855448B1 (ko) * 2024-12-20 2025-09-04 주식회사 인텔리빅스 Ai 촬영장치의 ai 모델 처리장치 및 그 장치의 구동방법, 그리고 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850286B1 (ko) * 2017-06-27 2018-04-19 한국기술교육대학교 산학협력단 딥 러닝 기반 cctv용 영상 인식 방법
KR102152237B1 (ko) * 2020-05-27 2020-09-04 주식회사 와치캠 상황 분석 기반의 cctv 관제 방법 및 시스템
KR20210050889A (ko) * 2019-10-29 2021-05-10 주식회사 디비엔텍 Cctv 관제 시스템 업데이트 방법 및 cctv 관제 시스템 업데이트 장치
KR20210133503A (ko) * 2020-04-29 2021-11-08 주식회사 디케이아이테크놀로지 인공지능형 토탈 보안관제 서비스시스템
KR20220055512A (ko) * 2020-10-26 2022-05-04 한국전자기술연구원 딥러닝 모델의 가변적 운용이 가능한 인공지능 cctv

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210096405A (ko) 2020-01-28 2021-08-05 한국전자통신연구원 사물 학습모델 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850286B1 (ko) * 2017-06-27 2018-04-19 한국기술교육대학교 산학협력단 딥 러닝 기반 cctv용 영상 인식 방법
KR20210050889A (ko) * 2019-10-29 2021-05-10 주식회사 디비엔텍 Cctv 관제 시스템 업데이트 방법 및 cctv 관제 시스템 업데이트 장치
KR20210133503A (ko) * 2020-04-29 2021-11-08 주식회사 디케이아이테크놀로지 인공지능형 토탈 보안관제 서비스시스템
KR102152237B1 (ko) * 2020-05-27 2020-09-04 주식회사 와치캠 상황 분석 기반의 cctv 관제 방법 및 시스템
KR20220055512A (ko) * 2020-10-26 2022-05-04 한국전자기술연구원 딥러닝 모델의 가변적 운용이 가능한 인공지능 cctv

Also Published As

Publication number Publication date
KR20240049048A (ko) 2024-04-16

Similar Documents

Publication Publication Date Title
Yang et al. Active learning for wireless IoT intrusion detection
WO2022097927A1 (en) Method of live video event detection based on natural language queries, and an apparatus for the same
WO2020262788A1 (en) System and method for natural language understanding
WO2016085180A1 (en) Method of managing cookie information for target advertisement and application for managing cookie information
CN107667505A (zh) 用于监控和管理数据中心的系统
WO2021225360A1 (en) Method for performing on-device learning of machine learning network on autonomous vehicle by using multi-stage learning with adaptive hyper-parameter sets and device using the same
WO2018070768A1 (ko) 모니터링 시스템 제어 방법 및 이를 지원하는 전자 장치
WO2020055156A1 (en) System and method for a scene builder
WO2023224205A1 (ko) 인공 신경망 모델 학습 결과 합성을 통한 공통 모델 생성 방법
WO2023121148A1 (ko) 차량 can의 공격 기능을 고려하는 적대적 피처 선택 장치 및 방법
WO2023286947A1 (ko) 로터리 티켓 신경망 기반 멀티태스크 분산 학습 시스템 및 방법
KR20240049048A (ko) 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템
WO2025258974A1 (ko) 모빌리티 무선소프트웨어 업데이트시 정보의 위변조 여부를 검출하는 보안시스템
WO2017086757A1 (ko) 보안 터널을 이용하여 타겟 장치의 보안을 제어하는 방법 및 장치
WO2023085546A1 (ko) 분산 ai 서비스 간 연계 분석을 통한 스마트 팜 서비스 관리 방법 및 스마트 팜 서비스를 제공하는 전자장치
WO2025095505A1 (en) End-to-end multitask video retrieval with cross-attention
WO2024071619A1 (ko) 반자동 cctv 영상 검색을 위한 전자장치 및 방법
WO2022139325A1 (ko) 과적합 없는 단일 신경망 기반 다중 도메인 적응 학습을 위한 컴퓨터 시스템, 및 그의 방법
WO2023038188A1 (ko) 모빌리티 단말 기반의 gis 영상 관제 시스템 및 이의 영상 제공 방법
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2015012447A1 (ko) 비밀 데이터 기반 로그인 서비스 제공 방법
KR102199915B1 (ko) 인공지능 카메라를 이용한 인공지능 IoT 환경 센서의 재실 상황 추론 학습 방법
WO2024117457A1 (ko) 무인점포 환경에서의 도난 방지 방법 및 시스템
Chaudhary et al. TinyDevID: TinyML-Driven IoT Devices IDentification Using Network Flow Data
WO2023136511A1 (ko) 온라인 교육 참여율 향상을 위한 솔루션 제공 장치 및 이를 포함하는 솔루션 제공 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23875020

Country of ref document: EP

Kind code of ref document: A1