KR102263512B1 - IoT integrated intelligent video analysis platform system capable of smart object recognition - Google Patents

IoT integrated intelligent video analysis platform system capable of smart object recognition Download PDF

Info

Publication number
KR102263512B1
KR102263512B1 KR1020200117503A KR20200117503A KR102263512B1 KR 102263512 B1 KR102263512 B1 KR 102263512B1 KR 1020200117503 A KR1020200117503 A KR 1020200117503A KR 20200117503 A KR20200117503 A KR 20200117503A KR 102263512 B1 KR102263512 B1 KR 102263512B1
Authority
KR
South Korea
Prior art keywords
image data
image
processing unit
unit
data processing
Prior art date
Application number
KR1020200117503A
Other languages
Korean (ko)
Inventor
조만영
Original Assignee
가온플랫폼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온플랫폼 주식회사 filed Critical 가온플랫폼 주식회사
Priority to KR1020200117503A priority Critical patent/KR102263512B1/en
Priority to PCT/KR2020/016228 priority patent/WO2022055023A1/en
Application granted granted Critical
Publication of KR102263512B1 publication Critical patent/KR102263512B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/4652—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

An IoT integrated intelligent image analysis platform system according to an embodiment of the present invention, in the IoT integrated intelligent image analysis platform system that integrates and analyzes image data and non-image data, comprises: an image data acquisition unit for acquiring at least one image data; a non-image data acquisition unit for acquiring at least one non-image data; an image data processing unit for analyzing the image data; a non-image data processing unit for analyzing the non-image data; and an integrated data determination unit for finally determining an abnormal situation when the image data processing unit or the non-image data processing unit determines that the image data or the non-image data is abnormal. The image data processing unit recognizes an object from the acquired image data to estimate the state of the object, to estimate the authenticity of the object, or to estimate the action event of the object. Accordingly, continuous monitoring and accident prevention are possible.

Description

스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템{IoT integrated intelligent video analysis platform system capable of smart object recognition}IoT integrated intelligent video analysis platform system capable of smart object recognition

본 발명은 객체의 스마트 인식이 가능한 IoT 통합 지능형 영상분석 시스템에 관한 것으로, 보다 구체적으로는 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있도록 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템에 관한 것이다.The present invention relates to an IoT integrated intelligent image analysis system capable of smart recognition of objects, and more specifically, smartly predicts abnormal situations such as failures or accidents by considering both non-image data and image data in which IoT functions are implemented. It relates to an IoT integrated intelligent image analysis platform system capable of object recognition so that

일반적으로 감시 수단을 통해 특정 장소를 감시하여 이상이 발견되는 경우 그에 대응하는 조치나 사후 확인이 가능하도록 하는 감시 시스템은 보안이 중요한 장소의 출입구, 주차장, 빌딩, 산업 현장 및 주택가 등 다양한 곳에 도입되어 왔다. 이를 통해 보안성이 향상되고 출입 관리가 쉬워지며 범죄율이 하락하는 효과가 입증됨에 따라 점차 다양하고 일반화되어 확산되고 있다.In general, a monitoring system that monitors a specific place through monitoring means and enables countermeasures or post-confirmation when an abnormality is found is introduced in various places such as entrances, parking lots, buildings, industrial sites and residential areas of places where security is important. come. Through this, security is improved, access control is easy, and the effect of lowering the crime rate has been proven, so it is becoming more diversified and generalized and spreading.

특히, 각종 감시 기능과 통신 기능을 구비하며 감시되는 영상을 저장하여 원하는 경우 쉽게 확인해 볼 수 있는 디지털 영상 저장장치인 소위 디브이알(Digital Video Recorder, DVR)의 도입도 활발해 짐에 따라 감시 카메라와 저장 수단을 이용한 감시 시스템의 구축은 일상화되고 있다.In particular, as the so-called Digital Video Recorder (DVR), which is a digital video storage device that has various monitoring and communication functions and can store the monitored video and check it easily if desired, is also actively introduced, monitoring cameras and storage The construction of a monitoring system using means is becoming commonplace.

한편, 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아챌 수 있다. 객체 인식 기술의 목표는 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것이다. On the other hand, a person can easily recognize people, objects, scenes and visual details when looking at a photo or video. The goal of object recognition technology is to teach computers to do things that humans can do, such as the ability to understand what is contained in images.

즉, 사람이 가장 많은 정보를 받아들이는 시각 정보를 컴퓨터가 대신하여 분석하고 해석할 수 있도록 하는 객체 인식은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 딥러닝과 머신 러닝 알고리즘을 통해 산출되는 핵심 기술이다.In other words, object recognition, which allows a computer to analyze and interpret the visual information that a person receives the most information from, is a computer vision technology that identifies an object on an image or video, which is produced through deep learning and machine learning algorithms. It is a key skill.

특히 최근 머신러닝 알고리즘을 활용한 객체 인식은 영상감시, 얼굴인식, 로봇제어, IoT, 자율주행, 제조업, 보안 등 다양한 분야에 활용되고 있는 기술이다.In particular, object recognition using machine learning algorithms is a technology that is being used in various fields such as video surveillance, face recognition, robot control, IoT, autonomous driving, manufacturing, and security.

그러나, 현재의 감시 시스템들은 단순히 촬영된 영상 데이터에 대해 의존하고 있고, 객체를 제대로 인식할 수 없으며, 학습을 통하여 객체 인식을 향상시키는 기술들이 있으나, 인식율 향상 등에 주안점이 있고, 객체 인식뿐만 아니라, 다양한 형태로 분석 활용할 수 있는 기능을 제시하고 있지 않다. 나아가 비영상 데이터인 센싱 데이터에 대해서도 비정상 여부를 판단할 수 있도록 통합하여 관리할 수 있는 시스템이 필요한 실정이다.However, the current monitoring systems simply rely on the captured image data, cannot properly recognize the object, and there are technologies to improve object recognition through learning, but the focus is on improving the recognition rate, and not only object recognition, Functions that can be analyzed and utilized in various forms are not presented. Furthermore, there is a need for a system that can integrate and manage sensing data, which is non-image data, to determine whether it is abnormal.

한국등록특허 제10-0980586호(2010년08월31일 등록)Korean Patent Registration No. 10-0980586 (registered on August 31, 2010)

본 발명의 목적은 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있는 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템을 제공하는 것이다.An object of the present invention is to provide an IoT integrated intelligent image analysis platform system capable of object recognition that can smartly predict and prevent abnormal situations such as failures or accidents by considering both non-image data and image data in which IoT functions are implemented. will be.

본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템은, 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 한다.The IoT integrated intelligent image analysis platform system according to an embodiment of the present invention is an IoT integrated intelligent image analysis platform system that integrates and analyzes image data and non-image data, and an image data acquisition unit that acquires at least one image data ; a non-image data acquisition unit configured to acquire at least one non-image data; an image data processing unit that analyzes the image data; a non-image data processing unit that analyzes the non-image data; and an integrated data determination unit that finally determines the abnormal condition when the image data processing unit or the non-image data processing unit determines that the abnormal situation is based on the image data or the non-image data, wherein the image data processing unit obtains the It is characterized in that by recognizing an object from image data, estimating the state of the object, estimating the authenticity of the object, or estimating the action event of the object.

상기 비영상 데이터 처리부는 상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하는 것을 특징으로 한다.When the non-image data processing unit analyzes the non-image data, a case in which the measured value of the non-image data is out of the data range of a normal situation is defined as an abnormal event, and whether the abnormal event occurs, the occurrence time, and a predefined It is characterized in that the abnormal situation is determined in consideration of the number of occurrence counts per unit time.

상기 통합 데이터 판단부는 상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 한다.When the integrated data determining unit determines that the non-image data processing unit is in an abnormal situation, the image data is based on the image data at the same or closest position and/or time as the position and/or time acquired by the image data acquisition unit. It is characterized in that the processing unit is controlled to determine whether the condition is abnormal, and when the image data processing unit determines that the condition is abnormal, it is finally determined as the abnormal condition.

상기 영상 데이터 처리부는 상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부; 사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자학습설정부(302)를 더 포함하는 것을 특징으로 한다.The image data processing unit may include: an object processing unit for processing a function of recognizing an object from the acquired image data; It characterized in that it further comprises a user learning setting unit 302 to provide a user with a function related to machine learning of image data.

상기 객체 처리부는 상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부; 상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부; 상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하는 것을 특징으로 한다.The object processing unit extracts the object from the image data, and an object authenticity identification unit for determining whether or not forgery; an object state recognition unit for estimating an object state from the image data; It characterized in that it further comprises an object action recognition unit for estimating the action event of the object from the image data.

상기 객체 진위 식별부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하는 것을 특징으로 한다.The object authenticity identification unit extracts an image from the image data, analyzes the colors of pixels constituting the extracted image, extracts a desired color from the analyzed colors, and through a genuineness determination algorithm, the object is genuine. It is characterized by deriving a probability of one.

상기 객체 상태 인식부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 한다.The object state recognition unit extracts an image from the image data, filters the image, analyzes the color of pixels in the filtered image, and derives a ratio for each color from the image to estimate the degree of deterioration, , by estimating the surface roughness through pre-processing of the image, it is characterized in that it is estimated whether the state of the object is damaged.

상기 객체 행위 인식부는 상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 한다.The object behavior recognition unit detects an object from the image data, and by learning through a neural network to classify the type of the detected object as a pre-machine-learning label, it is characterized in that the object's behavior event is estimated.

본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은 딥러닝 알고리즘을 이용하여 객체를 검출하고, 분류하는 기능을 통해 영상에서 특정한 이벤트(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)가 발생하였을 때, 알람을 주고 분석 정보를 DB에 저장하여, 지속적인 모니터링 및 사고 예방할 수 있는 장점이 있다.The IoT integrated intelligent image analysis platform system of the present invention uses a deep learning algorithm to detect and classify objects when a specific event (roaming, intrusion, fire, abandonment, collapse, fight, etc.) occurs in the image, By giving an alarm and storing the analysis information in the DB, it has the advantage of continuous monitoring and accident prevention.

또한, 딥러닝시 필요한 학습 데이터를 생성하는 것으로, 라벨링 시 사용자 편의성을 제공하는 트레킹 기능, 영상 자르기 등의 기능을 포함하여 사용자 친화적인 장점이 있다.In addition, it generates learning data necessary for deep learning, and has a user-friendly advantage, including a tracking function that provides user convenience during labeling, and functions such as image cropping.

또한, 딥러닝 기반 영상처리로 상품의 진/가품을 구별하는 것으로, 색상, 색상 비율, 텍스트, 표면질감 등을 분석하여 결과를 도출할 수 있는 장점이 있다.In addition, it is a deep-learning-based image processing that distinguishes between true and false products, and has the advantage of deriving results by analyzing color, color ratio, text, and surface texture.

또한, 터빈 블레이드 등과 같은 기계 부품에서 열화된 부분을 영상 분석을 통해 추출하고 비율 정도를 나타냄으로써, 사고 방지 및 불필요한 교환을 예방할 수 있는 장점이 있다.In addition, there is an advantage of preventing accidents and unnecessary replacement by extracting the deteriorated parts from mechanical parts such as turbine blades through image analysis and indicating the degree of the ratio.

또한, 일시적인 환경 노이즈, 센서의 오류 등 센서 데이터의 부정합으로 인해 발생하는 거짓 오류(false alarm)를 판단할 수 있으며, 거짓 오류로 인한 사회적 비용 감소 및 전체 시스템의 오동작을 방지하는 효과가 있다.In addition, it is possible to determine a false alarm that occurs due to mismatch of sensor data, such as temporary environmental noise and sensor error, and has the effect of reducing social costs due to false errors and preventing malfunction of the entire system.

도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이다.
도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 표면 손상 분석 기능을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 진/가품 분석 기능을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
도 7은 손상부위 정도를 검출하기 위한 전처리(마스킹) 과정에서 마스킹된 부위의 부피를 구하는 과정을 설명하기 위한 도면이다.
도 8은 도 7의 마스킹된 부분의 좌표를 이용해 삼각분할을 하는 예를 설명하기 위한 도면이다.
도 9는 본 발명에 적용되는 영상분석을 위한 CNN(Convolutional Neural Network) 알고리즘을 설명하기 위한 도면이다.
도 10은 본 발명에 적용되는 고유 라벨을 판독하는 문자 식별을 위한 RNN(Recurrent Neural Network) 알고리즘을 설명하기 위한 도면이다.
도 11은 본 발명에 적용되는 표면 재질 판독하는 GAN(Generative Adversarial Network) 알고리즘을 설명하기 위한 도면이다.1 is a block diagram showing the overall configuration of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
FIG. 2 is a detailed block diagram showing the internal configuration of the image data processing unit of FIG. 1 .
3 is a block diagram for explaining the surface damage analysis function of the IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
4 is a data flow diagram illustrating a damage detection algorithm analysis and result confirmation process of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.
5 is a block diagram illustrating a genuine/fake analysis function of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
6 is a data flow diagram illustrating a process of analyzing a genuine/false product algorithm and confirming a result of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.
7 is a view for explaining a process of obtaining a volume of a masked area in a pre-processing (masking) process for detecting the degree of damage.
FIG. 8 is a view for explaining an example of triangulation using the coordinates of the masked portion of FIG. 7 .
9 is a diagram for explaining a Convolutional Neural Network (CNN) algorithm for image analysis applied to the present invention.
10 is a diagram for explaining a Recurrent Neural Network (RNN) algorithm for character identification for reading a unique label applied to the present invention.
11 is a diagram for explaining a GAN (Generative Adversarial Network) algorithm for reading a surface material applied to the present invention.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, delete, etc. other components within the scope of the same spirit, through addition, change, deletion, etc. Other embodiments included within the scope of the invention may be easily proposed, but this will also be included within the scope of the invention. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.

도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이며, 도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.1 is a block diagram showing the overall configuration of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention, and FIG. 2 is a block diagram showing the internal configuration of the image data processing unit of FIG. 1 in detail.

본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은, 도 1에 도시된 바와 같이, 관리자 모바일 단말(700), 관리자 클라이언트(750), IoT촬상장치(800) 및 IoT비영상센서(900)와 연결되는 분석서버(1000)를 포함할 수 있다.The IoT integrated intelligent image analysis platform system of the present invention is connected to the manager mobile terminal 700, the manager client 750, the IoT imaging device 800, and the IoT non-image sensor 900 as shown in FIG. It may include an analysis server (1000).

IoT촬상장치(800)는 영상 데이터를 수집하기 위한 카메라에 해당하며, 각종 카메라 뿐만 아니라 카메라 기능을 포함하는 모바일 단말이 될 수도 있다.The IoT imaging device 800 corresponds to a camera for collecting image data, and may be a mobile terminal including a camera function as well as various cameras.

IoT비영상센서(900)는 비영상 데이터를 수집하기 위하여 마련되며, 예컨대 온도센서, 습도센서, 조도센서 등 각종 센서들이 될 수 있다.The IoT non-image sensor 900 is provided to collect non-image data, and may be, for example, various sensors such as a temperature sensor, a humidity sensor, and an illuminance sensor.

관리자 모바일 단말(700)은 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 객체 상태 등을 분석한 결과를 제공받을 수 있으며, IoT촬상장치(800)를 대신하여 사진 촬영 기능을 통하여, 영상 데이터를 수집하고, 분석서버(1000)에 전소하여 객체 인식 및 분석을 요청할 수도 있다.The manager mobile terminal 700 may receive a result of analyzing the object recognition and object state in the analysis server 1000 for the collected image data and non-image data, and take a picture on behalf of the IoT imaging device 800 . Through the function, image data may be collected and transmitted to the analysis server 1000 to request object recognition and analysis.

관리자 클라이언트(750)는 도 3을 참조하면, 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 표면 조도나 손상과 같은 객체 상태 등을 분석한 결과를 제공받고, 분석 결과를 재해석한 통계 자료, 보고서를 생성할 수 있으며, 객체 분석 전 전처리 과정으로 필요한 입력변수나, 분석 범위 지정 등을 분석서버(1000)에 제공하여 객체 분석에 활용하도록 할 수도 있다.Referring to FIG. 3 , the manager client 750 is provided with the result of analyzing the object recognition and object state such as surface roughness or damage in the analysis server 1000 for the collected image data and non-image data, and the analysis result Statistical data and reports can be generated by reinterpreting the data, and input variables and analysis range designation required as a pre-processing process before object analysis can be provided to the analysis server 1000 to be utilized for object analysis.

또한 도 5를 참조하면, 분석서버(1000)는 관리자모바일 단말(700)을 통하여 사진을 전송받고, 미리 진품 품목별 특징정보 및 진품 판별을 위한 비교 분석 데이터를 데이터베이스에 저장하며, 객체진위식별부(3011)를 통하여 품목의 표면 분석 및 진품/가품 비교 분석을 수행할 수 있는데, 데이터베이스로부터 진품 품목별 특징정보를 전송받은 관리자 클라이언트(750)는 진품 품목별 관리 리스트를 생성하거나 품목별 통계 분석을 수행할 수 있으며, 전송받은 진품 판단 결과 확인을 하거나, 이를 종합한 보고서를 작성할 수도 있다.5, the analysis server 1000 receives a photo through the manager mobile terminal 700, and stores feature information for each genuine item and comparative analysis data for authenticity determination in a database in advance, and an object authenticity identification unit ( 3011), it is possible to perform surface analysis of items and comparative analysis of genuine/fake products, and the manager client 750, which has received feature information for each genuine item from the database, may create a management list for each genuine item or perform statistical analysis for each item. , it is also possible to check the received authenticity judgment result, or to create a comprehensive report.

분석서버(1000)는 영상 데이터 및 비영상 데이터를 전송받아 객체 분석 수행하기 위해 세부적으로 도 1을 참조하면, 영상 데이터 취득부(100), 비영상 데이터 취득부(200), 영상 데이터 처리부(300), 비영상 데이터 처리부(400), 통합 데이터 판단부(500)를 더 포함할 수 있다.The analysis server 1000 receives image data and non-image data to perform object analysis. Referring to FIG. 1 in detail, the image data acquisition unit 100 , the non-image data acquisition unit 200 , and the image data processing unit 300 . ), a non-image data processing unit 400 , and an integrated data determination unit 500 may be further included.

영상 데이터 취득부(100)는 IoT촬상장치(800)로부터 적어도 하나의 영상 데이터를 취득하며, 비영상 데이터 취득부(200)는 IoT비영상센서(900)로부터 적어도 하나의 비영상 데이터를 취득할 수 있다. 영상 데이터는 카메라로부터 취득된 객체 영상이 될 수 있고, 하나의 프레임의 객체 이미지(사진)도 영상 데이터에 포함되는 것으로 간주한다.The image data acquisition unit 100 acquires at least one image data from the IoT imaging device 800 , and the non-image data acquisition unit 200 acquires at least one non-image data from the IoT non-image sensor 900 . can The image data may be an object image acquired from a camera, and it is considered that an object image (photo) of one frame is also included in the image data.

영상 데이터 처리부(300)는 습득된 영상 데이터로부터 객체 등을 인식하고, 객체의 상태를 파악하거나, 객체의 진위여부를 파악하는 기능을 수행할 수도 있다.The image data processing unit 300 may perform a function of recognizing an object or the like from acquired image data, determining the state of the object, or determining whether the object is authentic or not.

비영상 데이터 처리부(400)는 센싱 데이터와 같은 비영상 데이터를 분석함에 있어서, 비영상 데이터의 측정값(센싱값)이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단할 수 있다.When the non-image data processing unit 400 analyzes non-image data such as sensed data, a case in which the measured value (sensed value) of the non-image data is out of the data range of a normal situation is defined as an abnormal event, and the An abnormal situation can be determined in consideration of the occurrence or not, the occurrence time, and a predefined number of occurrence counts per unit time.

통합 데이터 판단부(500)는 영상 데이터 처리부(300) 또는 비영상 데이터 처리부(400)에서 영상 데이터 또는 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 역할을 수행할 수 있다.When the image data processing unit 300 or the non-image data processing unit 400 determines that the abnormal situation is an abnormal situation from the image data or the non-image data, the integrated data determination unit 500 may play a role of finally determining the abnormal situation. have.

특히, 통합 데이터 판단부(500)는 상기 비영상 데이터 처리부(400)에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부(100)에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부(300)에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부(300)에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단할 수 있다.In particular, when the integrated data determination unit 500 determines that the non-image data processing unit 400 is in an abnormal situation, the location and/or time obtained by the image data acquisition unit 100 is the same as or closest to the location and or Based on the image data of time, the image data processing unit 300 is controlled to determine whether an abnormality is present, and if the image data processing unit 300 determines that the abnormal situation is abnormal, it can be finally determined as an abnormal situation.

또한 영상 데이터 처리부(300)는 도 2에 도시된 바와 같이, 영상 데이터로부터 객체와 관련된 기능을 수행하는 객체 처리부(301), 영상/학습을 위한 데이터를 레이블링하여 저장하는 영상/학습 데이터베이스(303), 사용자/관리자가 학습될 영상의 데이터 등을 설정하거나 레이블링할 수 있는 머신러닝 관련 기능을 제공하는 사용자학습설정부(302)를 포함하도록 구성될 수 있다.In addition, as shown in FIG. 2, the image data processing unit 300 includes an object processing unit 301 that performs a function related to an object from image data, and an image/learning database 303 that labels and stores data for image/learning. , it may be configured to include a user learning setting unit 302 that provides a machine learning-related function that allows the user/administrator to set or label data of an image to be learned.

객체 처리부(301)는 영상 데이터로부터 객체와 관련된 여러가지 인식/식별/패턴 등의 확인을 할 수 있는 기능을 수행하게 된다.The object processing unit 301 performs a function of confirming various recognition/identification/patterns related to an object from the image data.

또한, 객체 처리부(301)는 도 2를 참조하면, 영상 데이터로부터 객체를 추출하고, 객체의 진위(예를 들어, 인식된 객체가 합성된 가짜 이미지인지 판별하는)에 따라 위조 여부를 판단하는 객체 진위 식별부(3011), 객체의 상태를 인식하고 추정할 수 있는 객체 상태 인식부(3012), 객체의 행위(예를 들어, 객체 간의 폭력적인 행위로 인해 싸움이라는 행위가 발생하였는지)이벤트를 인식하고 추정할 수 있는 객체 행위 인식부(3013)를 포함하도록 구성될 수 있다.In addition, referring to FIG. 2 , the object processing unit 301 extracts an object from image data, and determines whether or not a forgery is an object based on the authenticity of the object (eg, determining whether the recognized object is a synthesized fake image). The authenticity identification unit 3011, the object state recognition unit 3012 capable of recognizing and estimating the state of the object, and the object's action (eg, whether an act of fighting has occurred due to a violent action between objects) event is recognized and may be configured to include an object behavior recognition unit 3013 that can be estimated.

또한, 객체 진위 식별부(3011)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 진(real)/가품(fake)을 구별하는 것으로, 그러한 구별을 위해, 영상 데이터의 색상, 색상의 비율, 이미지에 포함된 텍스트, 표면 질감 등을 분석하여 결과를 도출할 수 있다.In addition, the object authenticity identification unit 3011 extracts an image from the obtained image data, and distinguishes the real/fake of the object (or product) by deep learning-based image processing for the image. , for such a distinction, a result may be derived by analyzing the color of the image data, the ratio of the color, the text included in the image, the surface texture, and the like.

이때, 상기 이미지가 가지고 있는 픽셀들의 각 색상(color) 정보를 분석하여 분류하고, 분석한 색상 정보들 중 원하는 색상을 추출한다. 이 때 픽셀의 색상을 분석하는 경우에는 K-mean Clustering 알고리즘 등을 이용할 수 있고, OpenCV 등의 프로그램을 활용할 수 있다.In this case, each color information of the pixels of the image is analyzed and classified, and a desired color is extracted from the analyzed color information. In this case, when analyzing the color of a pixel, a K-mean clustering algorithm or the like can be used, and a program such as OpenCV can be used.

구체적으로는 K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있다. 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있는 것이다.Specifically, to extract the color ratio through the K-mean clustering algorithm, the clustering algorithm based on the similarity between data minimizes the variance between clusters, identifies the color ratio within the item from the clustered colors, and uses OpenCV. The color ratio can be extracted through It is possible to learn the color magnification of the real thing, and the difference between the real image and the fake image can be distinguished according to the color ratio extracted as a result.

또한, 진/가품의 확률을 도출하기 위해서는 딥러닝 알고리즘인 DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘 중 discriminator D 모델 등과 같은 진품 판단 알고리즘을 이용하여, 객체가 진품일 확률을 도출하는 기능을 제공한다. 구체적으로 도 11을 참조하면, GAN 알고리즘은 생성 알고리즘(Generator)과 판별 알고리즘(discriminator)의 경쟁을 통한 학습 방법을 통해 품목 표면 재질 특성을 추출할 수 있다.In addition, in order to derive the probability of authenticity/fake, it provides a function of deriving the probability that an object is genuine by using a genuineness determination algorithm such as the discriminator D model among the deep learning algorithm DCGAN (Deep Convolution Generative Adversarial Network) algorithm. Specifically, referring to FIG. 11 , the GAN algorithm may extract the item surface material characteristics through a learning method through competition between a generator and a discriminator.

또한, GAN 알고리즘은 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품 모델의 상호간 피드백 및 학습을 통해 진품 판독을 위한 학습 모델에 해당하는 불법 복제품 판독 알고리즘의 정확성을 증가시킬 수 있으며, 정확성이 증가된 모델을 활용하여 가품 이미지 입력시 판독이 가능하도록 한다.In addition, the GAN algorithm generates a replica image and uses the difference in surface material to increase the accuracy of the counterfeit replica reading algorithm, which corresponds to a learning model for authentic reading, through mutual feedback and learning between the genuine model and the fake model. By using a model with increased accuracy, it is possible to read when a fake image is input.

또한, 객체 진위 식별부(3011)는 상품(객체) 등에 정품을 보증하기 위해 붙여지는 라벨을 인식하여, 객체의 진/가품을 판단할 수 있도록 하기 위해서는 객체에 붙여진 라벨지의 텍스트 정보를 별도로 인식하여야 한다.In addition, the object authenticity identification unit 3011 recognizes the label attached to the product (object), etc. to guarantee the genuine product, and in order to be able to determine the authenticity/falseness of the object, the text information of the label paper attached to the object must be recognized separately. do.

그러므로, 이미지에 포함된 객체와 관련된 텍스트를 검출하고, 검출된 텍스트들을 RNN 알고리즘 등의 딥러닝 알고리즘을 통해 학습시켜, 텍스트의 의미나 진품과의 차이를 도출하는 데 활용할 수 있다.Therefore, it is possible to detect a text related to an object included in an image, learn the detected text through a deep learning algorithm such as an RNN algorithm, and use it to derive the meaning or difference of the text from the real thing.

구체적으로 도 10을 참조하면, 고유 라벨링 이미지 정보를 취득하고, RNN 알고리즘 기반의 문자 식별 알고리즘을 통해 이전 입력 연산 결과와 현재 입력 데이터 연산 결과 차이를 식별하여 텍스트 데이터 추출함으로써, 가품의 라벨과 진품의 라벨의 텍스트(TEXT) 비교를 통해 유사도를 판독할 수 있다.Specifically, referring to FIG. 10 , by acquiring unique labeling image information, and extracting text data by identifying the difference between the previous input operation result and the current input data operation result through an RNN algorithm-based character identification algorithm, The degree of similarity can be read by comparing the text (TEXT) of the label.

객체 진위 식별부(3011)는 도 9를 참조하면, CNN 알고리즘을 활용하여 품목을 식별하고, CNN 알고리즘은 식별된 품목을 이용하여 정품에 대한 고유 특성이나 특징을 추출할 수 있으며, 불법 복제품을 판독하기 위한 학습모델로 활용될 수도 있다.Referring to FIG. 9 , the object authenticity identification unit 3011 identifies an item using a CNN algorithm, and the CNN algorithm can extract unique characteristics or characteristics of a genuine product using the identified item, and reads illegal copies. It can also be used as a learning model for

객체 상태 인식부(3012)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 상태(예를 들어 객체의 노후된 상태)를 추정하는 것으로, 그러한 추정을 위해 영상 데이터의 색상, 표면 조도 등을 분석하여 결과를 도출할 수 있다.The object state recognition unit 3012 extracts an image from the obtained image data, and estimates the state of the object (or product) (for example, the aged state of the object) by deep learning-based image processing for the image, For such estimation, results may be derived by analyzing color, surface roughness, etc. of image data.

예를 들어, 객체 상태 인식부(3012)는 영상 데이터로 추출된 터빈 블레이드에서 열화된 부분을 분석하여 추출하고 비율 정도를 나타냄으로써, 터빈 블레이드의 노후화 정도를 추정하여 교체 주기 등을 예측함으로써, 교체 시기를 놓침으로써 발생할 수 있는 사고 예방 및 잘못된 추정으로 인한 정상 상태의 터빈 블레이드의 불필요한 교환을 예방할 수 있다.For example, the object state recognition unit 3012 analyzes and extracts the deteriorated part from the turbine blade extracted as image data and indicates the degree of ratio, estimating the degree of deterioration of the turbine blade and predicting the replacement cycle, etc. It is possible to prevent accidents that can occur due to lapse of time and to avoid unnecessary replacement of turbine blades in a steady state due to erroneous estimates.

구체적으로, 객체(예를 들어 터빈 블레이드)를 포함한 전체 이미지에 대해서 OpenCV 등을 활용해서 조도나 대비 등을 필터링 처리하고, 특정 색을 추출하여 이진화 시킨후 비율을 계산할 수 있다.Specifically, for an entire image including an object (eg, a turbine blade), illuminance or contrast is filtered using OpenCV, etc., and a specific color is extracted and binarized, and then the ratio can be calculated.

즉, 필터링 처리된 전체 이미지에 대해서 전체 이미지가 가지고 있는 픽셀들의 각 색상 정보를 K-mean 알고리즘 등을 통해 분석하고(색상 분류), 이후 상기 전체 이미지에서 특정한 색상의 비율을 도출한다(색상 추출). 이러한 색상 추출 단계를 통해서, 상기 객체의 열화(손상) 정도를 효율적으로 추정할 수 있다.That is, for the entire filtered image, each color information of the pixels of the entire image is analyzed through a K-mean algorithm, etc. (color classification), and then a specific color ratio is derived from the entire image (color extraction). . Through this color extraction step, it is possible to efficiently estimate the degree of deterioration (damage) of the object.

또한, 전체 이미지를 전처리하고, 객체를 이루고 있는 표면의 윤곽선을 canny edge 알고리즘 등을 통해 파악하여 객체의 표면조도 등을 분석하는 데 활용할 수 있다. 예를 들어, 객체인 터빈 블레이드의 표면에 크랙(Crack)이 생기거나 거친 정도가 증가하게 되면 그에 따른 모서리가 생성되며, 이를 검출해 부피나 면적을 계산함으로, 객체의 표면조도를 추정할 수 있다.In addition, it can be used to analyze the surface roughness of the object by pre-processing the entire image and grasping the contour of the surface constituting the object through the canny edge algorithm. For example, if a crack occurs on the surface of a turbine blade, which is an object, or the roughness increases, an edge is created accordingly. By detecting this and calculating the volume or area, the surface roughness of the object can be estimated. .

이후에는 영상 데이터에 포함된 이미지에서 객체의 표면 조도와 열화 정도가 차지하는 비율을 연산하고, 연산된 결과물(표면 조도, 열화 정도) 등을 사용자에게 시각적인 형태를 통해 제공한다. 그럼으로써 사용자/관리자가 육안으로만 추정하던 객체의 상태 추정을 수치적인 정보 데이터(조도, 열화 등의 색상 정보)와 같이 제공하여, 객체 상태(교체가 필요한지 여부)를 좀 더 명확하게 추정할 수 있다.Thereafter, the ratio of the surface roughness and the degree of deterioration of the object in the image included in the image data is calculated, and the calculated result (surface roughness, degree of deterioration) is provided to the user in a visual form. In this way, the user/administrator can estimate the state of an object, which was only estimated with the naked eye, together with numerical information data (color information such as illuminance and deterioration), so that the state of the object (whether replacement is necessary) can be estimated more clearly. have.

객체의 표면 열화 또는 손상 정도를 파악하기 위해 구체적인 예로 도 7 및 도 8을 참조하면, R-CNN을 이용한 손상 부위(도 7의 청색 표시 부분)의 마스킹 작업, 마스킹된 부위의 부피 산출 과정을 통해 손상 정도를 파악할 수 있는데, 부피 산출시 도 8의 돌로네 삼각 분할을 이용할 수 있으며, 좌표를 4면체로 나누어 부피가 산출될 수 있다. 또한, 객체의 손상 정도에 따라 표면 까짐 정도인 경우에는 부피 대신 면적을 산출하여 손상 정도를 파악할 수 있다.Referring to FIGS. 7 and 8 as specific examples in order to determine the degree of surface deterioration or damage of an object, through the masking operation of the damaged area (the blue portion in FIG. 7 ) using R-CNN, and the process of calculating the volume of the masked area The degree of damage can be determined. When calculating the volume, the Dolone triangulation of FIG. 8 can be used, and the volume can be calculated by dividing the coordinates into a tetrahedron. In addition, in the case of the degree of surface scratching according to the degree of damage to the object, the degree of damage may be determined by calculating the area instead of the volume.

객체 행위 인식부(3013)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)를 검출하고, 상기 객체를 분류하는 기능을 통해 상기 영상에서 상기 객체의 특정한 행위(예를 들어 객체의 배회, 침입, 화재, 유기, 쓰러짐, 싸움) 등을 추정하는 것으로, 그러한 추정을 위해, 영상 데이터의 구간 자르기, 영상 처리, 객체 검출, 이미지 분류 등을 분석하여 결과를 도출할 수 있다.The object behavior recognition unit 3013 extracts an image from the obtained image data, detects an object (or product) by deep learning-based image processing for the image, and classifies the object from the image Estimating a specific behavior of an object (eg, wandering, intrusion, fire, abandonment, falling, fighting) of an object, etc. For such estimation, section cutting of image data, image processing, object detection, image classification, etc. are analyzed results can be derived.

객체 행위 인식부(3013)를 활용하는 예시로, 감시 카메라 등을 통해 획득된 영상 데이터에서 Yolo 604 등을 활용하여 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 머신러닝 학습에 의한 이미지 라벨 분류(ex: CNN(Convolutional Neural Networks) 알고리즘을 통해 추정하여, 검출된 사람이 예컨대 특정 행위(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)를 하고 있는지 여부를 추정할 수 있다.As an example of using the object action recognition unit 3013, an object called a person is detected by using Yolo 604, etc. from image data obtained through a surveillance camera, etc., and the detected action (event) of the person is performed by machine learning learning. By estimating through image label classification (ex: Convolutional Neural Networks (CNN) algorithm), it is possible to estimate whether a detected person is performing a specific action (loaming, breaking, fire, abandonment, falling, fighting, etc.).

이러한 행위 추정을 통해, 본 발명에서는 특정 공간에서의 폭력이나 방화, 학대, 납치 등과 같은 범죄를 예방하거나 보안을 확보하는데 효과적으로 활용할 수 있다.Through such behavior estimation, the present invention can be effectively used to prevent crimes such as violence, arson, abuse, kidnapping, etc. in a specific space or to secure security.

구체적으로, 영상 데이터로부터 이미지를 추출하고, 상기 이미지로부터 딥러닝 알고리즘을 통해 객체를 검출할 수 있다. 이 때 Yolo v3와 같은 프로그램을 활용할 수 있다. 또한 상기 검출된 객체들을 CNN 알고리즘과 같은 신경망을 통해 학습시켜 분류함으로써, 예를 들어, 상기 객체의 연속적인 이미지들이 객체의 배회 행위로 분류될 수 있는지, 화재 행위로 분류될 수 있는지 등을 알 수 있다.Specifically, an image may be extracted from image data, and an object may be detected from the image through a deep learning algorithm. In this case, you can use a program such as Yolo v3. In addition, by learning and classifying the detected objects through a neural network such as a CNN algorithm, for example, it is possible to know whether the continuous images of the object can be classified as a wandering behavior of the object, whether it can be classified as a fire behavior, etc. have.

또한, 이러한 행위(혹은 이벤트)의 조건 처리를 위해 영상의 검출구간 설정, 객체간의 거리 추정 등 여러 영상 처리 방법들이 활용될 수 있으며, 전체 영상 중에서 이벤트(혹은 행위)라고 분류/검출된 부분만 전체 영상으로부터 추출하고 저장하는 기능을 제공할 수 있고, 상기 검출(식별)된 객체에 대해서 트래킹 기능을 제공하여, 시계열적인 움직임을 하나의 화면 등에 보여줌으로써 사용자나 관리자가 효과적으로 해당 객체의 행위를 추정하여 적합한 판단(예를 들어 싸움이 일어난 경우, 이를 적극적으로 신고하거나 출동하여 저지하는 행위)을 할 수 있도록 한다.In addition, for condition processing of such an action (or event), various image processing methods such as setting a detection section of an image and estimating the distance between objects can be used, and only the part classified/detected as an event (or action) in the entire image It can provide a function to extract and store the image, and provides a tracking function for the detected (identified) object, showing time-series motion on one screen, etc., so that the user or manager can effectively estimate the behavior of the object Allow appropriate judgment (eg, to actively report or respond to a fight when it occurs) to prevent it.

구체적으로 사용자학습설정부(302)는 획득된 영상 데이터로부터 추출되거나, 트레이닝을 위한 학습 데이터 등을 저장한 상기 영상/학습 데이터베이스(303)와 연동하여, 딥러닝시 필요한 학습 데이터를 생성하는 기능을 제공하고, 트레이닝 모델의 평가(evaluation)를 위해, 레이블링을 할 때, 여러가지 사용자의 관리 편리함을 제공하는 트레킹 기능이나, 원하는 객체 등의 영역이나 프레임을 위한 영상 편집(예를 들어 영상 자르기) 기능 등을 제공하며, 관리자 클라이언트(750)나 관리자 모바일 단말(700)에 이러한 기능들을 제공하기 위해 연동되는 프로그램(앱)을 제공할 수도 있다.Specifically, the user learning setting unit 302 is extracted from the acquired image data or linked with the image/learning database 303 that stores learning data for training, etc., to generate learning data necessary for deep learning. It provides a tracking function that provides convenient management for various users when labeling, for evaluation of training models, and image editing (eg, image cropping) function for areas or frames of desired objects, etc. In order to provide these functions to the manager client 750 or the manager mobile terminal 700, a program (app) linked to may be provided.

예를 들어, 사용자학습설정부(302)는 감시 카메라 등을 통해 획득된 영상 데이터에서 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 이미지 분류를 통해 추정하여, 검출된 사람이 싸움이라는 행위를 하고 있는 여부를 추정하여야 하는데, 이러한 상기 이벤트의 이미지 분류시에, 객체 등을 효율적으로 추적(트래킹)하기 위해, 영상을 편집하는 여러가지 기능 등을 제공함으로써, 객체의 검출, 객체 행위의 추정 등의 머신러닝 결과물의 정확도 등을 효과적으로 높일 수 있다.For example, the user learning setting unit 302 detects an object called a person from image data obtained through a surveillance camera, etc., and estimates the detected person's action (event) through image classification, so that the detected person fights. In order to efficiently track (track) an object, etc., in order to efficiently track (tracking) an object, it is necessary to estimate whether or not the user is performing the act of detecting an object, by providing various functions such as editing an image. It can effectively improve the accuracy of machine learning results such as estimation.

구체적으로, 사용자학습설정부(302)는 OpenCV와 같은 이미지 프로세싱 프로그램을 활용하여, 레이블링이 된 객체의 트래킹(추적)이 가능하도록 객체 트래킹 기능을 제공하거나, 예를 들어 CCTV와 같은 IoT촬상장치(800)로부터 촬상된 동영상을 객체나 객체의 행위의 정확한 추정을 위해, 프레임 단위로 나누고, 이미지의 형태로 상기 영상/학습 데이터베이스(303)에 저장하는 영상 프레임 단위 나누기 기능을 제공할 수 있다.Specifically, the user learning setting unit 302 utilizes an image processing program such as OpenCV to provide an object tracking function to enable tracking (tracking) of a labeled object, or, for example, an IoT imaging device such as CCTV ( 800), it is possible to provide an image frame-by-frame division function that divides the video captured by the object or object into frame units and stores it in the image/learning database 303 in the form of an image in order to accurately estimate the object or the behavior of the object.

또한, 사용자학습설정부(302)는 원하는 구간만을 설정하여 영상을 자르고 저장하는 영상 구간 편집(자르기 및 저장) 기능을 제공하고, 마지막으로, 편집하거나 수정, 혹은 완성된 영상을 화면에 표시하여 사용자/관리자가 쉽게 상기 사용자학습설정부(302)를 통하여, 머신러닝 학습이나 분석 구간을 설정하여 사용할 수 있도록 할 수도 있다.In addition, the user learning setting unit 302 provides a video section editing (cutting and saving) function to cut and save the video by setting only the desired section, and finally, by displaying the edited, corrected, or completed video on the screen, the user / Through the user learning setting unit 302, the administrator can easily set and use machine learning learning or analysis sections.

도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.4 is a data flow diagram illustrating a damage detection algorithm analysis and result confirmation process of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.

먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S10, S12).First, the manager mobile terminal 700 acquires an object image using the photo taking function, and transmits the image data including the acquired object image to the analysis server 1000 through a wired/wireless communication network such as the Internet, intranet, LTE network, etc. (S10, S12).

이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S14, S16).At this time, the analysis server 1000 stores the transmitted image data (photos) in the database 303, and the manager client 750 requests and inquires the image data from the analysis server 1000 to designate the analysis range. There is (S14, S16).

이후 관리자 클라이언트(750)에서 복수의 영상 데이터인 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 검출 알고리즘에 의한 분석을 요청할 수 있다(S18, S20). 여기서, 손상 검출 알고리즘은 객체의 손상 정도를 검출할 수 있는 알고리즘이 될 수 있으며, 상술한 K-mean 알고리즘, canny edge 알고리즘 등이 활용될 수 있다.Thereafter, in the case of a plurality of image data in the manager client 750, an analysis range for each data may be designated, and after the analysis range is designated, the analysis range may be transmitted to the analysis server 1000 to request analysis by, for example, a detection algorithm (S18, S20). Here, the damage detection algorithm may be an algorithm capable of detecting the degree of damage to the object, and the aforementioned K-mean algorithm, canny edge algorithm, or the like may be utilized.

분석서버(1000)에서는 손상 검출 알고리즘에 의해 분석 결과를 도출하고, 딥러닝에 의한 조도 및 손상 분석 결과를 생성하여 데이터베이스(303)에 저장한다(S22, S24).The analysis server 1000 derives the analysis result by the damage detection algorithm, generates the roughness and damage analysis result by deep learning, and stores it in the database 303 (S22, S24).

이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 조도 및 손상 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S26, S28, S30).Thereafter, the manager mobile terminal 700 may request the analysis server 1000 for illuminance and damage analysis results through an interlocked manager app, etc., and receive and check the results from the analysis server 1000 (S26, S28, S30).

나아가, 분석 결과는 관리자 클라이언트(750)에서도 제공받을 수 있는데, 연동되는 관리 프로그램을 통하여, 조도 변화 이미지 리스트(각 이미지 레이블링, 열화 정보 등 포함)를 제공하거나, 측정 이미지 포인트 별 검색 기능을 제공할 수 있다.Furthermore, the analysis result can also be provided by the manager client 750. Through an interlocking management program, a list of illuminance change images (including labeling of each image, deterioration information, etc.) or a search function for each measurement image point can be provided. can

또한, 관리 프로그램에서는 분석 차트를 통하여 영상분석 결과를 검출 알고리즘에 비교한 결과 분석이나, 측정 이미지 포인트 별 결과 제공 기능이 포함될 수 있다.In addition, the management program may include a function of analyzing the result of comparing the image analysis result to the detection algorithm through the analysis chart, or providing a result for each measurement image point.

나아가 객체 손상정도를 분석한 분석 결과에서 수치화된 표면 조도의 비율에 따라 정상 기준값을 설정하여 정상, 교체 추천, 교체 필요로 구분하고, 교체 추천이나 교체 필요에 해당하는 경우 관리자 모바일 단말(700)이나, 관리자 클라이언트(750)에 알람을 제공할 수도 있다.Furthermore, the normal reference value is set according to the ratio of surface roughness quantified in the analysis result of analyzing the degree of damage to the object, and it is divided into normal, replacement recommended, and replacement required, and if replacement recommendation or replacement is required, the manager mobile terminal 700 or , an alarm may be provided to the administrator client 750 .

도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.6 is a data flow diagram illustrating a process of analyzing a genuine/false product algorithm and confirming a result of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.

먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 진/가품 확인 이 필요한 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S50, S52).First, by using the photo taking function in the manager mobile terminal 700, an object image that needs to be checked for authenticity/falseness is acquired, and the image data including the acquired object image is analyzed through a wired/wireless communication network such as the Internet, intranet, or LTE network. (1000) (S50, S52).

이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S54, S56).At this time, the analysis server 1000 stores the transmitted image data (photos) in the database 303, and the manager client 750 requests and inquires the image data from the analysis server 1000 to designate the analysis range. There is (S54, S56).

이후, 관리자 클라이언트(750)는 복수의 영상 데이터(또는 사진 이미지)를 수신한 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 진/가품 판독 알고리즘에 의한 분석을 요청할 수 있으며(S58, S60), 여기서 진/가품 판독 알고리즘은 상술한 CNN, RNN, GAN과 같은 신경망 알고리즘이 될 수 있다.Thereafter, when the manager client 750 receives a plurality of image data (or photo images), it can designate an analysis range for each data, and transmit it to the analysis server 1000 after designating the analysis range, for example, reading true/false products Analysis by an algorithm may be requested (S58, S60), where the true/false reading algorithm may be a neural network algorithm such as the CNN, RNN, or GAN described above.

분석서버(1000)에서는 진/가품 판독 알고리즘에 의해 데이터 분석 범위에 대한 분석 결과를 도출하는데, 이때 딥러닝에 의한 표면 질감/상표 패턴에 대한 분석을 통한 진/가품 판독 결과를 생성하여 데이터베이스(303)에 저장한다(S62, S64).The analysis server 1000 derives the analysis result for the data analysis range by the true/fake reading algorithm, and at this time, the real/false reading result is generated through the analysis of the surface texture/trademark pattern by deep learning, and the database 303 ) to (S62, S64).

이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 진/가품 판독 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S66, S68, S70).Thereafter, the manager mobile terminal 700 may request the analysis server 1000 for the analysis result of reading a genuine / fake product through an interlocked manager app, etc., and receive and check the result from the analysis server 1000 (S66, S68, S70) .

100 ; 영상 데이터 취득부 200 ; 비영상 데이터 취득부
300 ; 영상 데이터 처리부 301 ; 객체 처리부
302 ; 사용자학습설정부 303 ; 영상/학습데이터베이스
400 ; 비영상 데이터 처리부 500 ; 통합 데이터 판단부
700 ; 관리자 모바일 단말 750 ; 관리자 클라이언트
800 ; IoT촬상장치 900 ; IoT비영상센서
1000 ; 분석서버 3011 ; 객체 진위 식별부
3012 ; 객체 상태 인식부 3013 ; 객체 행위 인식부100 ; image data acquisition unit 200; Non-image data acquisition unit
300 ; image data processing unit 301; object processing unit
302 ; User learning setting unit 303 ; Video/learning database
400 ; non-image data processing unit 500; Integrated data judging unit
700 ; manager mobile terminal 750; admin client
800 ; IoT imaging device 900 ; IoT non-image sensor
1000 ; analysis server 3011 ; object authenticity identification unit
3012 ; object state recognition unit 3013; object behavior recognition unit

Claims (8)

영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서,
적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부;
적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부;
상기 영상 데이터를 분석하는 영상 데이터 처리부;
상기 비영상 데이터를 분석하는 비영상 데이터 처리부;
상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되,
상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하며,
상기 비영상 데이터 처리부는
상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하고,
상기 영상 데이터 처리부는
상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부;
사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자 학습설정부를 더 포함하고,
상기 객체 처리부는
상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부;
상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부;
상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하며,
상기 객체 진위 식별부는
상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하되,
K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있다. 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있으며,
DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘을 이용하여 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품 모델의 상호간 피드백 및 학습을 통해 진품 판독을 위한 학습 모델에 해당하는 불법 복제품 판독 알고리즘을 적용함으로써, 객체가 진품일 확률을 도출하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.In the IoT integrated intelligent image analysis platform system that integrates and analyzes image data and non-image data,
an image data acquisition unit acquiring at least one image data;
a non-image data acquisition unit configured to acquire at least one non-image data;
an image data processing unit that analyzes the image data;
a non-image data processing unit that analyzes the non-image data;
When the image data processing unit or the non-image data processing unit determines that the abnormal situation is from the image data or the non-image data, an integrated data determination unit that finally determines the abnormal situation,
The image data processing unit recognizes the object from the acquired image data, estimates the state of the object, estimates the authenticity of the object, or estimates the action event of the object,
The non-image data processing unit
In analyzing the non-image data, a case in which the measurement value of the non-image data is out of the data range of a normal situation is defined as an abnormal event, and whether the abnormal event occurs, the occurrence time, and the number of occurrences per unit time predefined. In consideration of the abnormal situation,
The image data processing unit
an object processing unit for processing a function of recognizing an object from the acquired image data;
Further comprising a user learning setting unit for providing a user with a function related to machine learning of image data,
The object processing unit
an object authenticity identification unit that extracts an object from the image data and determines whether it is forged;
an object state recognition unit for estimating an object state from the image data;
Further comprising an object action recognition unit for estimating the action event of the object from the image data,
The object authenticity identification unit
Extracting an image from the image data, analyzing the colors of pixels constituting the extracted image, extracting a desired color from the analyzed colors, and deriving the probability that the object is genuine through a genuineness determination algorithm, ,
In order to extract the color ratio through the K-mean clustering algorithm, the clustering algorithm based on the similarity between data minimizes the variance between clusters, identifies the color ratio within the item from the clustered colors, and the color ratio through OpenCV. can be extracted. You can learn the color scale for the real thing, and the difference between the real image and the fake image can be distinguished according to the color ratio extracted as a result,
Using the DCGAN (Deep Convolution Generative Adversarial Network) algorithm to create a replica image, and using the difference in surface material to provide feedback and learning between the genuine model and the fake model, the illegal reproduction reading algorithm corresponding to the learning model for reading the genuine product is developed. By applying, an IoT integrated intelligent image analysis platform system capable of smart object recognition, characterized in that it derives the probability that the object is genuine. 삭제delete 제1항에 있어서,
상기 통합 데이터 판단부는
상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및 시간과 동일하거나 가장 근접한 위치 및 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.According to claim 1,
The integrated data determination unit
When the non-image data processing unit determines that the situation is abnormal, the image data processing unit determines whether the abnormal situation is abnormal based on the image data at the same or closest position and time as the position and time acquired by the image data acquisition unit And, if the image data processing unit determines that the situation is abnormal, the IoT integrated intelligent image analysis platform system capable of smart object recognition, characterized in that it is finally determined as an abnormal situation. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 객체 상태 인식부는
상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.According to claim 1,
The object state recognition unit
Extracting an image from the image data, filtering the image, analyzing the colors of pixels in the filtered image, deriving a ratio for each color from the image to estimate the degree of degradation, and pre-processing the image An IoT integrated intelligent image analysis platform system capable of smart object recognition, characterized in that by estimating the surface roughness through the estimating whether the state of the object is damaged. 제1항에 있어서,
상기 객체 행위 인식부는
상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.According to claim 1,
The object behavior recognition unit
IoT integrated intelligence capable of smart object recognition, characterized in that it detects an object from the image data and estimates the behavioral event of the object by learning through a neural network to classify the detected object type into a machine-learning label in advance Image analysis platform system.
KR1020200117503A 2020-09-14 2020-09-14 IoT integrated intelligent video analysis platform system capable of smart object recognition KR102263512B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200117503A KR102263512B1 (en) 2020-09-14 2020-09-14 IoT integrated intelligent video analysis platform system capable of smart object recognition
PCT/KR2020/016228 WO2022055023A1 (en) 2020-09-14 2020-11-18 Iot integrated intelligent image analysis platform system capable of smart object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200117503A KR102263512B1 (en) 2020-09-14 2020-09-14 IoT integrated intelligent video analysis platform system capable of smart object recognition

Publications (1)

Publication Number Publication Date
KR102263512B1 true KR102263512B1 (en) 2021-06-10

Family

ID=76377968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200117503A KR102263512B1 (en) 2020-09-14 2020-09-14 IoT integrated intelligent video analysis platform system capable of smart object recognition

Country Status (2)

Country Link
KR (1) KR102263512B1 (en)
WO (1) WO2022055023A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541212B1 (en) 2022-11-08 2023-06-13 주식회사 영신 Embeded image recognition safety monitering and controling integrated platform comprising ai based image recognition system
KR102541221B1 (en) 2022-11-08 2023-06-13 주식회사 경우시스테크 Movable and intelligent cctv system device with ai based image recognition platform

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (en) * 2008-08-27 2009-02-09 주식회사 상상돔 High-precision forgery discrimination system using stereo image
KR100980586B1 (en) 2010-05-07 2010-09-06 주식회사 에스엘티 Method for intelligent image security using single or multi camera and system thereof
JP2011021951A (en) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd Corrosive-environment monitoring device and method
KR20190098105A (en) * 2019-08-02 2019-08-21 엘지전자 주식회사 Apparatus and method for smart home monitoring
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (en) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 Device for measuring crack width of concretestructure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (en) * 2008-08-27 2009-02-09 주식회사 상상돔 High-precision forgery discrimination system using stereo image
JP2011021951A (en) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd Corrosive-environment monitoring device and method
KR100980586B1 (en) 2010-05-07 2010-09-06 주식회사 에스엘티 Method for intelligent image security using single or multi camera and system thereof
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System
KR20190098105A (en) * 2019-08-02 2019-08-21 엘지전자 주식회사 Apparatus and method for smart home monitoring

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541212B1 (en) 2022-11-08 2023-06-13 주식회사 영신 Embeded image recognition safety monitering and controling integrated platform comprising ai based image recognition system
KR102541221B1 (en) 2022-11-08 2023-06-13 주식회사 경우시스테크 Movable and intelligent cctv system device with ai based image recognition platform

Also Published As

Publication number Publication date
WO2022055023A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN108053427B (en) Improved multi-target tracking method, system and device based on KCF and Kalman
CN108062349B (en) Video monitoring method and system based on video structured data and deep learning
CN108009473B (en) Video structuralization processing method, system and storage device based on target behavior attribute
KR101808587B1 (en) Intelligent integration visual surveillance control system by object detection and tracking and detecting abnormal behaviors
US10346688B2 (en) Congestion-state-monitoring system
CN108052859B (en) Abnormal behavior detection method, system and device based on clustering optical flow characteristics
JP6905850B2 (en) Image processing system, imaging device, learning model creation method, information processing device
JP5121258B2 (en) Suspicious behavior detection system and method
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
US8744125B2 (en) Clustering-based object classification
CN109766779B (en) Loitering person identification method and related product
KR101877294B1 (en) Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events
KR102263512B1 (en) IoT integrated intelligent video analysis platform system capable of smart object recognition
KR102174784B1 (en) Method for Recognizing and Tracking Large-scale Object using Deep learning and Multi-Agent
KR101372860B1 (en) System for searching video and server for analysing video
CN104933542B (en) A kind of logistic storage monitoring method based on computer vision
CN112132048A (en) Community patrol analysis method and system based on computer vision
CN111079694A (en) Counter assistant job function monitoring device and method
KR101979375B1 (en) Method of predicting object behavior of surveillance video
KR20210039050A (en) Apparatus for Sensing Event on Region of Interest and Driving Method Thereof
KR101394270B1 (en) System and method for image monitoring
CN115311735A (en) Intelligent recognition early warning method for abnormal behaviors
JP7125843B2 (en) Fault detection system
KR101581162B1 (en) Automatic detection method, apparatus and system of flame, smoke and object movement based on real time images
KR20210013865A (en) Abnormal behavior detection system and method using generative adversarial network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant