WO2022055023A1 - 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 - Google Patents

스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 Download PDF

Info

Publication number
WO2022055023A1
WO2022055023A1 PCT/KR2020/016228 KR2020016228W WO2022055023A1 WO 2022055023 A1 WO2022055023 A1 WO 2022055023A1 KR 2020016228 W KR2020016228 W KR 2020016228W WO 2022055023 A1 WO2022055023 A1 WO 2022055023A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
processing unit
platform system
unit
Prior art date
Application number
PCT/KR2020/016228
Other languages
English (en)
French (fr)
Inventor
조만영
Original Assignee
가온플랫폼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온플랫폼 주식회사 filed Critical 가온플랫폼 주식회사
Publication of WO2022055023A1 publication Critical patent/WO2022055023A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Definitions

  • the present invention relates to an IoT integrated intelligent image analysis system capable of smart recognition of objects, and more specifically, smartly predicts abnormal situations such as failures or accidents by considering both non-image data and image data in which IoT functions are implemented. It relates to an IoT integrated intelligent image analysis platform system capable of object recognition to prevent
  • a monitoring system that monitors a specific place through monitoring means and enables countermeasures or post-confirmation when an abnormality is found is introduced in various places such as entrances, parking lots, buildings, industrial sites and residential areas of places where security is important. come. Through this, security is improved, access control is easy, and the effect of lowering the crime rate has been proven.
  • DVR Digital Video Recorder
  • a person can easily recognize people, objects, scenes and visual details when looking at a photo or video.
  • the goal of object recognition technology is to teach computers to do things that humans can do, such as the ability to understand what is contained in images.
  • object recognition which allows a computer to analyze and interpret the visual information that a person receives the most information from, is a computer vision technology that identifies an object on an image or video, which is produced through deep learning and machine learning algorithms. It is a key skill.
  • object recognition using machine learning algorithms is a technology that is being used in various fields such as video surveillance, face recognition, robot control, IoT, autonomous driving, manufacturing, and security.
  • Patent Document 1 Republic of Korea Patent No. 10-0980586 (registered on August 31, 2010))
  • An object of the present invention is to provide an IoT integrated intelligent image analysis platform system capable of object recognition that can smartly predict and prevent abnormal situations such as failures or accidents by considering both non-image data and image data in which IoT functions are implemented. will be.
  • the IoT integrated intelligent image analysis platform system is an IoT integrated intelligent image analysis platform system that integrates and analyzes image data and non-image data, and an image data acquisition unit that acquires at least one image data ; a non-image data acquisition unit configured to acquire at least one non-image data; an image data processing unit that analyzes the image data; a non-image data processing unit that analyzes the non-image data; and an integrated data determination unit that finally determines the abnormal condition when the image data processing unit or the non-image data processing unit determines that the abnormal situation is based on the image data or the non-image data, wherein the image data processing unit obtains the It is characterized in that by recognizing an object from image data, estimating the state of the object, estimating the authenticity of the object, or estimating the action event of the object.
  • the non-image data processing unit analyzes the non-image data
  • a case in which the measured value of the non-image data is out of a data range of a normal situation is defined as an abnormal event, and whether the abnormal event occurs, a time of occurrence, and a predefined value are defined. It is characterized in that the abnormal situation is determined in consideration of the number of occurrence counts per unit time.
  • the image data It is characterized in that the processing unit is controlled to determine whether an abnormality is present, and when the image data processing unit determines that the abnormal situation is an abnormal situation, it is finally determined as an abnormal situation.
  • the image data processing unit may include: an object processing unit for processing a function of recognizing an object from the acquired image data; It characterized in that it further comprises a user learning setting unit 302 to provide a user with a function related to machine learning of image data.
  • the object processing unit extracts the object from the image data, the object authenticity identification unit to determine whether or not forgery; an object state recognition unit for estimating an object state from the image data; It characterized in that it further comprises an object action recognition unit for estimating the action event of the object from the image data.
  • the object authenticity identification unit extracts an image from the image data, analyzes colors of pixels constituting the extracted image, and extracts a desired color from the analyzed colors, and then, through a genuineness determination algorithm, determines that the object is genuine. It is characterized by deriving a probability of one.
  • the object state recognition unit extracts an image from the image data, filters the image, analyzes the color of pixels in the filtered image, and derives a ratio for each color from the image to estimate the degree of deterioration, , by estimating the surface roughness through pre-processing of the image, it is characterized in that it is estimated whether the state of the object is damaged.
  • the object behavior recognition unit detects an object from the image data, and by learning through a neural network to classify the type of the detected object as a pre-machine-learning label, it is characterized in that the object's behavior event is estimated.
  • the IoT integrated intelligent image analysis platform system of the present invention uses a deep learning algorithm to detect and classify objects when a specific event (roaming, intrusion, fire, abandonment, collapse, fight, etc.) occurs in the image, By giving an alarm and storing the analysis information in the DB, it has the advantage of continuous monitoring and accident prevention.
  • a specific event proaming, intrusion, fire, abandonment, collapse, fight, etc.
  • FIG. 1 is a block diagram showing the overall configuration of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram showing the internal configuration of the image data processing unit of FIG. 1 .
  • FIG. 3 is a block diagram illustrating a surface damage analysis function of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
  • FIG. 4 is a data flow diagram illustrating a damage detection algorithm analysis and result confirmation process of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a genuine/fake analysis function of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention.
  • FIG. 6 is a data flow diagram illustrating a process of analyzing a true/fake algorithm and confirming a result of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the overall configuration of an IoT integrated intelligent image analysis platform system according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the internal configuration of the image data processing unit of FIG. 1 in detail.
  • the IoT integrated intelligent image analysis platform system of the present invention is connected to the manager mobile terminal 700, the manager client 750, the IoT imaging device 800, and the IoT non-image sensor 900 It may include an analysis server (1000).
  • the IoT non-image sensor 900 is provided to collect non-image data, and may be, for example, various sensors such as a temperature sensor, a humidity sensor, and an illuminance sensor.
  • the manager mobile terminal 700 may receive a result of analyzing the object recognition and object state in the analysis server 1000 for the collected image data and non-image data, and take a picture on behalf of the IoT imaging device 800 . Through the function, image data may be collected and transmitted to the analysis server 1000 to request object recognition and analysis.
  • the manager client 750 is provided with the result of analyzing the object recognition and object state such as surface roughness or damage in the analysis server 1000 for the collected image data and non-image data, and the analysis result It is possible to generate statistical data and reports reinterpreted from the analysis, and as a preprocessing process before object analysis, necessary input variables or analysis range designation can be provided to the analysis server 1000 to be utilized for object analysis.
  • the analysis server 1000 receives image data and non-image data to perform object analysis.
  • the image data acquisition unit 100 the non-image data acquisition unit 200 , and the image data processing unit 300 .
  • a non-image data processing unit 400 may be further included.
  • the image data acquisition unit 100 acquires at least one image data from the IoT imaging device 800
  • the non-image data acquisition unit 200 acquires at least one non-image data from the IoT non-image sensor 900 .
  • the image data may be an object image acquired from a camera, and it is considered that an object image (photo) of one frame is also included in the image data.
  • the image data processing unit 300 may perform a function of recognizing an object or the like from the acquired image data, determining the state of the object, or determining whether the object is authentic or not.
  • the non-image data processing unit 400 analyzes non-image data such as sensed data
  • a case in which the measured value (sensed value) of the non-image data is out of the data range of a normal situation is defined as an abnormal event
  • the An abnormal situation can be determined by considering the occurrence or not, the occurrence time, and a predefined number of occurrence counts per unit time.
  • the integrated data determination unit 500 may play a role of finally determining the abnormal situation. there is.
  • the integrated data determination unit 500 determines that the non-image data processing unit 400 is in an abnormal situation
  • the location and/or the time obtained by the image data acquisition unit 100 is the same as or closest to the location and or Based on the time image data
  • the image data processing unit 300 is controlled to determine whether an abnormality is present, and if the image data processing unit 300 determines that the abnormal situation is abnormal, it can be finally determined as an abnormal situation.
  • the image data processing unit 300 includes an object processing unit 301 that performs a function related to an object from image data, and an image/learning database 303 that labels and stores data for image/learning.
  • an image/learning database 303 that labels and stores data for image/learning.
  • the object processing unit 301 performs a function of confirming various recognition/identification/patterns related to an object from the image data.
  • the object processing unit 301 extracts an object from image data, and determines whether a forgery is an object based on the authenticity of the object (eg, determining whether the recognized object is a synthesized fake image)
  • the authenticity identification unit 3011, the object state recognition unit 3012 capable of recognizing and estimating the state of the object, and the object's action (eg, whether an act of fighting has occurred due to a violent action between objects) event is recognized and may be configured to include an object behavior recognition unit 3013 that can be estimated.
  • the object authenticity identification unit 3011 extracts an image from the obtained image data, and distinguishes the real/fake of the object (or product) by deep learning-based image processing for the image. , for such a distinction, a result may be derived by analyzing the color of the image data, the color ratio, the text included in the image, the surface texture, and the like.
  • each color information of the pixels of the image is analyzed and classified, and a desired color is extracted from the analyzed color information.
  • a K-mean clustering algorithm or the like can be used, and a program such as OpenCV can be used.
  • the clustering algorithm based on the similarity between data minimizes the variance between clusters, identifies the color ratio within the item from the clustered colors, and uses OpenCV
  • the color ratio can be extracted through It is possible to learn the color magnification of the real thing, and the difference between the real image and the fake image can be distinguished according to the color ratio extracted as a result.
  • the GAN algorithm can extract the surface material characteristics of an item through a learning method through competition between a generator and a discriminator.
  • the GAN algorithm generates a replica image, and through mutual feedback and learning of the genuine model and the fake model using the difference in surface material, the accuracy of the counterfeit reproduction reading algorithm, which is a learning model for reading the genuine product, can be increased. By using a model with increased accuracy, it is possible to read when a fake image is input.
  • the object authenticity identification unit 3011 recognizes the label attached to the product (object), etc. to guarantee the genuine product, and in order to determine the authenticity/falseness of the object, the text information of the label paper attached to the object must be recognized separately. do.
  • the object authenticity identification unit 3011 identifies an item using a CNN algorithm, and the CNN algorithm can extract unique characteristics or characteristics of a genuine product using the identified item, and is used as a learning model for reading illegal copies it might be
  • the object state recognition unit 3012 extracts an image from the obtained image data, and estimates the state of the object (or product) (for example, the aged state of the object) by deep learning-based image processing for the image, For such estimation, results may be derived by analyzing color, surface roughness, etc. of image data.
  • the object state recognition unit 3012 analyzes and extracts the deteriorated part from the turbine blade extracted as image data and indicates the degree of ratio, estimating the degree of deterioration of the turbine blade and predicting the replacement cycle, etc. It is possible to prevent accidents that may occur due to missed timing and to prevent unnecessary replacement of turbine blades in a steady state due to incorrect estimation.
  • illuminance or contrast is filtered using OpenCV, etc., and a specific color is extracted and binarized, and then the ratio can be calculated.
  • each color information of the pixels of the entire image is analyzed through a K-mean algorithm, etc. (color classification), and then a specific color ratio is derived from the entire image (color extraction). .
  • color extraction step it is possible to efficiently estimate the degree of deterioration (damage) of the object.
  • the surface roughness of the object can be used to analyze the surface roughness of the object by pre-processing the entire image and grasping the contour of the surface constituting the object through the canny edge algorithm. For example, when a crack occurs on the surface of a turbine blade, which is an object, or when the roughness increases, a corresponding edge is created. By detecting this and calculating the volume or area, the surface roughness of the object can be estimated. .
  • the ratio of the surface roughness and the degree of deterioration of the object in the image included in the image data is calculated, and the calculated result (surface roughness, degree of deterioration) is provided to the user in a visual form.
  • the user/administrator can estimate the state of an object, which had been estimated only with the naked eye, together with numerical information data (color information such as illuminance and deterioration), so that the state of the object (whether replacement is necessary) can be estimated more clearly. there is.
  • the degree of damage can be determined through the masking operation of the damaged area using R-CNN and the volume calculation of the masked area. and the volume can be calculated by dividing the coordinates by a tetrahedron.
  • the degree of damage may be determined by calculating the area instead of the volume.
  • the object behavior recognition unit 3013 extracts an image from the acquired image data, detects an object (or product) by deep learning-based image processing for the image, and classifies the object from the image Estimating a specific behavior of an object (eg, wandering, intrusion, fire, abandonment, falling, fighting) of an object, etc. For such estimation, section cutting of image data, image processing, object detection, image classification, etc. results can be derived.
  • an object called a person is detected by using Yolo 604, etc. from image data obtained through a surveillance camera, etc., and the detected human action (event) is performed by machine learning learning.
  • image label classification ex: Convolutional Neural Networks (CNN) algorithm
  • CNN Convolutional Neural Networks
  • the present invention can be effectively used to prevent crimes such as violence, arson, abuse, kidnapping, etc. in a specific space or to secure security.
  • an image may be extracted from image data, and an object may be detected from the image through a deep learning algorithm.
  • you can use a program such as Yolo v3.
  • a neural network such as a CNN algorithm, for example, it is possible to know whether successive images of the object can be classified as a wandering behavior of an object or a fire behavior. there is.
  • the user learning setting unit 302 is extracted from the acquired image data or linked with the image/learning database 303 that stores learning data for training, etc., to generate learning data necessary for deep learning. It provides a tracking function that provides convenient management for various users when labeling, for evaluation of training models, and image editing (eg, image cropping) function for areas or frames such as desired objects, etc.
  • a program (app) that interworks may be provided.
  • the user learning setting unit 302 detects an object called a person from image data obtained through a surveillance camera, etc., and estimates the detected person's action (event) through image classification, so that the detected person fights In order to efficiently track (track) an object, etc., in order to efficiently track (tracking) an object, it is necessary to estimate whether or not the user is performing the action of It is possible to effectively increase the accuracy of machine learning results such as estimation.
  • the user learning setting unit 302 utilizes an image processing program such as OpenCV to provide an object tracking function to enable tracking (tracking) of a labeled object, or, for example, an IoT imaging device such as CCTV ( 800), it is possible to provide an image frame unit division function that divides the video captured by the object or object into frame units for accurate estimation of the behavior of the object, and stores it in the image/learning database 303 in the form of an image.
  • an image processing program such as OpenCV to provide an object tracking function to enable tracking (tracking) of a labeled object
  • an IoT imaging device such as CCTV ( 800)
  • the manager mobile terminal 700 acquires an object image by using the photo taking function, and transmits the image data including the acquired object image to the analysis server 1000 through a wired/wireless communication network such as the Internet, intranet, LTE network, etc. (S10, S12).
  • a wired/wireless communication network such as the Internet, intranet, LTE network, etc.
  • the analysis server 1000 stores the transmitted image data (pictures) in the database 303, and the manager client 750 requests and inquires the image data from the analysis server 1000 to specify the analysis range. There is (S14, S16).
  • an analysis range for each data may be designated, and after the analysis range is designated, it may be transmitted to the analysis server 1000 to request analysis by, for example, a detection algorithm (S18, S20).
  • the damage detection algorithm may be an algorithm capable of detecting the degree of damage to the object, and the above-described K-mean algorithm, canny edge algorithm, or the like may be utilized.
  • the analysis server 1000 derives the analysis result by the damage detection algorithm, generates the roughness and damage analysis result by deep learning, and stores it in the database 303 (S22, S24).
  • the manager mobile terminal 700 may request the analysis server 1000 for illuminance and damage analysis results through an interlocked manager app, etc., and receive and confirm the results from the analysis server 1000 (S26, S28, S30).
  • the analysis result can also be provided by the manager client 750.
  • the illuminance change image list (including labeling of each image, deterioration information, etc.) or a search function for each measurement image point can be provided.
  • the management program may include a function of analyzing the result of comparing the image analysis result to the detection algorithm through the analysis chart, or providing a result for each measurement image point.
  • the normal reference value is set according to the ratio of surface roughness quantified in the analysis result of analyzing the degree of damage to the object, and it is divided into normal, replacement recommendation, and replacement need.
  • an alarm may be provided to the administrator client 750 .
  • FIG. 6 is a data flow diagram illustrating a process of analyzing a true/fake algorithm and confirming a result of the IoT integrated intelligent image analysis platform method according to an embodiment of the present invention.
  • an object image that needs to be checked for authenticity/falseness is acquired, and the image data including the acquired object image is analyzed through a wired/wireless communication network such as the Internet, intranet, or LTE network. (1000) (S50, S52).
  • the analysis server 1000 stores the transmitted image data (pictures) in the database 303, and the manager client 750 requests and inquires the image data from the analysis server 1000 to specify the analysis range. There is (S54, S56).
  • the manager client 750 can designate an analysis range for each data, and after designating the analysis range, transmit it to the analysis server 1000 to read, for example, true / fake Analysis by an algorithm may be requested (S58, S60), where the true/false reading algorithm may be a neural network algorithm such as the CNN, RNN, or GAN described above.
  • the analysis server 1000 derives the analysis result for the data analysis range by the true/fake reading algorithm, and at this time, the real/false reading result is generated through the analysis of the surface texture/trademark pattern by deep learning, and the database 303 ) to (S62, S64).
  • the manager mobile terminal 700 may request the analysis server 1000 for the analysis result of reading a genuine/fake product through an interlocked manager app, etc., and receive and check the result from the analysis server 1000 (S66, S68, S70) .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템은, 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 한다.

Description

스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
본 발명은 객체의 스마트 인식이 가능한 IoT 통합 지능형 영상분석 시스템에 관한 것으로, 보다 구체적으로는 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있도록 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템에 관한 것이다.
일반적으로 감시 수단을 통해 특정 장소를 감시하여 이상이 발견되는 경우 그에 대응하는 조치나 사후 확인이 가능하도록 하는 감시 시스템은 보안이 중요한 장소의 출입구, 주차장, 빌딩, 산업 현장 및 주택가 등 다양한 곳에 도입되어 왔다. 이를 통해 보안성이 향상되고 출입 관리가 쉬워지며 범죄율이 하락하는 효과가 입증됨에 따라 점차 다양하고 일반화되어 확산되고 있다.
특히, 각종 감시 기능과 통신 기능을 구비하며 감시되는 영상을 저장하여 원하는 경우 쉽게 확인해 볼 수 있는 디지털 영상 저장장치인 소위 디브이알(Digital Video Recorder, DVR)의 도입도 활발해 짐에 따라 감시 카메라와 저장 수단을 이용한 감시 시스템의 구축은 일상화되고 있다.
한편, 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아챌 수 있다. 객체 인식 기술의 목표는 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것이다.
즉, 사람이 가장 많은 정보를 받아들이는 시각 정보를 컴퓨터가 대신하여 분석하고 해석할 수 있도록 하는 객체 인식은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 딥러닝과 머신 러닝 알고리즘을 통해 산출되는 핵심 기술이다.
특히 최근 머신러닝 알고리즘을 활용한 객체 인식은 영상감시, 얼굴인식, 로봇제어, IoT, 자율주행, 제조업, 보안 등 다양한 분야에 활용되고 있는 기술이다.
그러나, 현재의 감시 시스템들은 단순히 촬영된 영상 데이터에 대해 의존하고 있고, 객체를 제대로 인식할 수 없으며, 학습을 통하여 객체 인식을 향상시키는 기술들이 있으나, 인식율 향상 등에 주안점이 있고, 객체 인식뿐만 아니라, 다양한 형태로 분석 활용할 수 있는 기능을 제시하고 있지 않다. 나아가 비영상 데이터인 센싱 데이터에 대해서도 비정상 여부를 판단할 수 있도록 통합하여 관리할 수 있는 시스템이 필요한 실정이다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국등록특허 제10-0980586호(2010년08월31일 등록))
본 발명의 목적은 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있는 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템은, 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 한다.
상기 비영상 데이터 처리부는 상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하는 것을 특징으로 한다.
상기 통합 데이터 판단부는 상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 한다.
상기 영상 데이터 처리부는 상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부; 사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자학습설정부(302)를 더 포함하는 것을 특징으로 한다.
상기 객체 처리부는 상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부; 상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부; 상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하는 것을 특징으로 한다.
상기 객체 진위 식별부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하는 것을 특징으로 한다.
상기 객체 상태 인식부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 한다.
상기 객체 행위 인식부는 상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 한다.
본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은 딥러닝 알고리즘을 이용하여 객체를 검출하고, 분류하는 기능을 통해 영상에서 특정한 이벤트(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)가 발생하였을 때, 알람을 주고 분석 정보를 DB에 저장하여, 지속적인 모니터링 및 사고 예방할 수 있는 장점이 있다.
또한, 딥러닝시 필요한 학습 데이터를 생성하는 것으로, 라벨링 시 사용자 편의성을 제공하는 트레킹 기능, 영상 자르기 등의 기능을 포함하여 사용자 친화적인 장점이 있다.
또한, 딥러닝 기반 영상처리로 상품의 진/가품을 구별하는 것으로, 색상, 색상 비율, 텍스트, 표면질감 등을 분석하여 결과를 도출할 수 있는 장점이 있다.
또한, 터빈 블레이드 등과 같은 기계 부품에서 열화된 부분을 영상 분석을 통해 추출하고 비율 정도를 나타냄으로써, 사고 방지 및 불필요한 교환을 예방할 수 있는 장점이 있다.
또한, 일시적인 환경 노이즈, 센서의 오류 등 센서 데이터의 부정합으로 인해 발생하는 거짓 오류(false alarm)를 판단할 수 있으며, 거짓 오류로 인한 사회적 비용 감소 및 전체 시스템의 오동작을 방지하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이다.
도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 표면 손상 분석 기능을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 진/가품 분석 기능을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이며, 도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.
본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은, 도 1에 도시된 바와 같이, 관리자 모바일 단말(700), 관리자 클라이언트(750), IoT촬상장치(800) 및 IoT비영상센서(900)와 연결되는 분석서버(1000)를 포함할 수 있다.
IoT촬상장치(800)는 영상 데이터를 수집하기 위한 카메라에 해당하며, 각종 카메라 뿐만 아니라 카메라 기능을 포함하는 모바일 단말이 될 수도 있다.
IoT비영상센서(900)는 비영상 데이터를 수집하기 위하여 마련되며, 예컨대 온도센서, 습도센서, 조도센서 등 각종 센서들이 될 수 있다.
관리자 모바일 단말(700)은 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 객체 상태 등을 분석한 결과를 제공받을 수 있으며, IoT촬상장치(800)를 대신하여 사진 촬영 기능을 통하여, 영상 데이터를 수집하고, 분석서버(1000)에 전소하여 객체 인식 및 분석을 요청할 수도 있다.
관리자 클라이언트(750)는 도 3을 참조하면, 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 표면 조도나 손상과 같은 객체 상태 등을 분석한 결과를 제공받고, 분석 결과를 재해석한 통계 자료, 보고서를 생성할 수 있으며, 객체 분석 전 전처리 과정으로 필요한 입력변수나, 분석 범위 지정 등을 분석서버(1000)에 제공하여 객체 분석에 활용하도록 할 수도 있다.
또한 도 5를 참조하면, 분석서버(1000)는 관리자모바일 단말(700)을 통하여 사진을 전송받고, 미리 진품 품목별 특징정보 및 진품 판별을 위한 비교 분석 데이터를 데이터베이스에 저장하며, 객체진위식별부(3011)를 통하여 품목의 표면 분석 및 진품/가품 비교 분석을 수행할 수 있는데, 데이터베이스로부터 진품 품목별 특징정보를 전송받은 관리자 클라이언트(750)는 진품 품목별 관리 리스트를 생성하거나 품목별 통계 분석을 수행할 수 있으며, 전송받은 진품 판단 결과 확인을 하거나, 이를 종합한 보고서를 작성할 수도 있다.
분석서버(1000)는 영상 데이터 및 비영상 데이터를 전송받아 객체 분석 수행하기 위해 세부적으로 도 1을 참조하면, 영상 데이터 취득부(100), 비영상 데이터 취득부(200), 영상 데이터 처리부(300), 비영상 데이터 처리부(400), 통합 데이터 판단부(500)를 더 포함할 수 있다.
영상 데이터 취득부(100)는 IoT촬상장치(800)로부터 적어도 하나의 영상 데이터를 취득하며, 비영상 데이터 취득부(200)는 IoT비영상센서(900)로부터 적어도 하나의 비영상 데이터를 취득할 수 있다. 영상 데이터는 카메라로부터 취득된 객체 영상이 될 수 있고, 하나의 프레임의 객체 이미지(사진)도 영상 데이터에 포함되는 것으로 간주한다.
영상 데이터 처리부(300)는 습득된 영상 데이터로부터 객체 등을 인식하고, 객체의 상태를 파악하거나, 객체의 진위여부를 파악하는 기능을 수행할 수도 있다.
비영상 데이터 처리부(400)는 센싱 데이터와 같은 비영상 데이터를 분석함에 있어서, 비영상 데이터의 측정값(센싱값)이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단할 수 있다.
통합 데이터 판단부(500)는 영상 데이터 처리부(300) 또는 비영상 데이터 처리부(400)에서 영상 데이터 또는 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 역할을 수행할 수 있다.
특히, 통합 데이터 판단부(500)는 상기 비영상 데이터 처리부(400)에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부(100)에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부(300)에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부(300)에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단할 수 있다.
또한 영상 데이터 처리부(300)는 도 2에 도시된 바와 같이, 영상 데이터로부터 객체와 관련된 기능을 수행하는 객체 처리부(301), 영상/학습을 위한 데이터를 레이블링하여 저장하는 영상/학습 데이터베이스(303), 사용자/관리자가 학습될 영상의 데이터 등을 설정하거나 레이블링할 수 있는 머신러닝 관련 기능을 제공하는 사용자학습설정부(302)를 포함하도록 구성될 수 있다.
객체 처리부(301)는 영상 데이터로부터 객체와 관련된 여러가지 인식/식별/패턴 등의 확인을 할 수 있는 기능을 수행하게 된다.
또한, 객체 처리부(301)는 도 2를 참조하면, 영상 데이터로부터 객체를 추출하고, 객체의 진위(예를 들어, 인식된 객체가 합성된 가짜 이미지인지 판별하는)에 따라 위조 여부를 판단하는 객체 진위 식별부(3011), 객체의 상태를 인식하고 추정할 수 있는 객체 상태 인식부(3012), 객체의 행위(예를 들어, 객체 간의 폭력적인 행위로 인해 싸움이라는 행위가 발생하였는지)이벤트를 인식하고 추정할 수 있는 객체 행위 인식부(3013)를 포함하도록 구성될 수 있다.
또한, 객체 진위 식별부(3011)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 진(real)/가품(fake)을 구별하는 것으로, 그러한 구별을 위해, 영상 데이터의 색상, 색상의 비율, 이미지에 포함된 텍스트, 표면 질감 등을 분석하여 결과를 도출할 수 있다.
이때, 상기 이미지가 가지고 있는 픽셀들의 각 색상(color) 정보를 분석하여 분류하고, 분석한 색상 정보들 중 원하는 색상을 추출한다. 이 때 픽셀의 색상을 분석하는 경우에는 K-mean Clustering 알고리즘 등을 이용할 수 있고, OpenCV 등의 프로그램을 활용할 수 있다.
구체적으로는 K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있다. 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있는 것이다.
또한, 진/가품의 확률을 도출하기 위해서는 딥러닝 알고리즘인 DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘 중 discriminator D 모델 등과 같은 진품 판단 알고리즘을 이용하여, 객체가 진품일 확률을 도출하는 기능을 제공한다. 구체적으로 GAN 알고리즘은 생성 알고리즘(Generator)과 판별 알고리즘(discriminator)의 경쟁을 통한 학습 방법을 통해 품목 표면 재질 특성을 추출할 수 있다.
또한, GAN 알고리즘은 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품 모델의 상호간 피드백 및 학습을 통해 진품 판독을 위한 학습 모델에 해당하는 불법 복제품 판독 알고리즘의 정확성을 증가시킬 수 있으며, 정확성이 증가된 모델을 활용하여 가품 이미지 입력시 판독이 가능하도록 한다.
또한, 객체 진위 식별부(3011)는 상품(객체) 등에 정품을 보증하기 위해 붙여지는 라벨을 인식하여, 객체의 진/가품을 판단할 수 있도록 하기 위해서는 객체에 붙여진 라벨지의 텍스트 정보를 별도로 인식하여야 한다.
그러므로, 이미지에 포함된 객체와 관련된 텍스트를 검출하고, 검출된 텍스트들을 RNN 알고리즘 등의 딥러닝 알고리즘을 통해 학습시켜, 텍스트의 의미나 진품과의 차이를 도출하는 데 활용할 수 있다.
구체적으로 고유 라벨링 이미지 정보를 취득하고, RNN 알고리즘 기반의 문자 식별 알고리즘을 통해 이전 입력 연산 결과와 현재 입력 데이터 연산 결과 차이를 식별하여 텍스트 데이터 추출함으로써, 가품의 라벨과 진품의 라벨의 텍스트(TEXT) 비교를 통해 유사도를 판독할 수 있다.
객체 진위 식별부(3011)는 CNN 알고리즘을 활용하여 품목을 식별하고, CNN 알고리즘은 식별된 품목을 이용하여 정품에 대한 고유 특성이나 특징을 추출할 수 있으며, 불법 복제품을 판독하기 위한 학습모델로 활용될 수도 있다.
객체 상태 인식부(3012)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 상태(예를 들어 객체의 노후된 상태)를 추정하는 것으로, 그러한 추정을 위해 영상 데이터의 색상, 표면 조도 등을 분석하여 결과를 도출할 수 있다.
예를 들어, 객체 상태 인식부(3012)는 영상 데이터로 추출된 터빈 블레이드에서 열화된 부분을 분석하여 추출하고 비율 정도를 나타냄으로써, 터빈 블레이드의 노후화 정도를 추정하여 교체 주기 등을 예측함으로써, 교체 시기를 놓침으로써 발생할 수 있는 사고 예방 및 잘못된 추정으로 인한 정상 상태의 터빈 블레이드의 불필요한 교환을 예방할 수 있다.
구체적으로, 객체(예를 들어 터빈 블레이드)를 포함한 전체 이미지에 대해서 OpenCV 등을 활용해서 조도나 대비 등을 필터링 처리하고, 특정 색을 추출하여 이진화 시킨후 비율을 계산할 수 있다.
즉, 필터링 처리된 전체 이미지에 대해서 전체 이미지가 가지고 있는 픽셀들의 각 색상 정보를 K-mean 알고리즘 등을 통해 분석하고(색상 분류), 이후 상기 전체 이미지에서 특정한 색상의 비율을 도출한다(색상 추출). 이러한 색상 추출 단계를 통해서, 상기 객체의 열화(손상) 정도를 효율적으로 추정할 수 있다.
또한, 전체 이미지를 전처리하고, 객체를 이루고 있는 표면의 윤곽선을 canny edge 알고리즘 등을 통해 파악하여 객체의 표면조도 등을 분석하는 데 활용할 수 있다. 예를 들어, 객체인 터빈 블레이드의 표면에 크랙(Crack)이 생기거나 거친 정도가 증가하게 되면 그에 따른 모서리가 생성되며, 이를 검출해 부피나 면적을 계산함으로, 객체의 표면조도를 추정할 수 있다.
이후에는 영상 데이터에 포함된 이미지에서 객체의 표면 조도와 열화 정도가 차지하는 비율을 연산하고, 연산된 결과물(표면 조도, 열화 정도) 등을 사용자에게 시각적인 형태를 통해 제공한다. 그럼으로써 사용자/관리자가 육안으로만 추정하던 객체의 상태 추정을 수치적인 정보 데이터(조도, 열화 등의 색상 정보)와 같이 제공하여, 객체 상태(교체가 필요한지 여부)를 좀 더 명확하게 추정할 수 있다.
객체의 표면 열화 또는 손상 정도를 파악하기 위해 구체적인 예로 R-CNN을 이용한 손상 부위의 마스킹 작업, 마스킹된 부위의 부피 산출 과정을 통해 손상 정도를 파악할 수 있는데, 부피 산출시 돌로네 삼각 분할을 이용할 수 있으며, 좌표를 4면체로 나누어 부피가 산출될 수 있다. 또한, 객체의 손상 정도에 따라 표면 까짐 정도인 경우에는 부피 대신 면적을 산출하여 손상 정도를 파악할 수 있다.
객체 행위 인식부(3013)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)를 검출하고, 상기 객체를 분류하는 기능을 통해 상기 영상에서 상기 객체의 특정한 행위(예를 들어 객체의 배회, 침입, 화재, 유기, 쓰러짐, 싸움) 등을 추정하는 것으로, 그러한 추정을 위해, 영상 데이터의 구간 자르기, 영상 처리, 객체 검출, 이미지 분류 등을 분석하여 결과를 도출할 수 있다.
객체 행위 인식부(3013)를 활용하는 예시로, 감시 카메라 등을 통해 획득된 영상 데이터에서 Yolo 604 등을 활용하여 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 머신러닝 학습에 의한 이미지 라벨 분류(ex: CNN(Convolutional Neural Networks) 알고리즘을 통해 추정하여, 검출된 사람이 예컨대 특정 행위(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)를 하고 있는지 여부를 추정할 수 있다.
이러한 행위 추정을 통해, 본 발명에서는 특정 공간에서의 폭력이나 방화, 학대, 납치 등과 같은 범죄를 예방하거나 보안을 확보하는데 효과적으로 활용할 수 있다.
구체적으로, 영상 데이터로부터 이미지를 추출하고, 상기 이미지로부터 딥러닝 알고리즘을 통해 객체를 검출할 수 있다. 이 때 Yolo v3와 같은 프로그램을 활용할 수 있다. 또한 상기 검출된 객체들을 CNN 알고리즘과 같은 신경망을 통해 학습시켜 분류함으로써, 예를 들어, 상기 객체의 연속적인 이미지들이 객체의 배회 행위로 분류될 수 있는지, 화재 행위로 분류될 수 있는지 등을 알 수 있다.
또한, 이러한 행위(혹은 이벤트)의 조건 처리를 위해 영상의 검출구간 설정, 객체간의 거리 추정 등 여러 영상 처리 방법들이 활용될 수 있으며, 전체 영상 중에서 이벤트(혹은 행위)라고 분류/검출된 부분만 전체 영상으로부터 추출하고 저장하는 기능을 제공할 수 있고, 상기 검출(식별)된 객체에 대해서 트래킹 기능을 제공하여, 시계열적인 움직임을 하나의 화면 등에 보여줌으로써 사용자나 관리자가 효과적으로 해당 객체의 행위를 추정하여 적합한 판단(예를 들어 싸움이 일어난 경우, 이를 적극적으로 신고하거나 출동하여 저지하는 행위)을 할 수 있도록 한다.
구체적으로 사용자학습설정부(302)는 획득된 영상 데이터로부터 추출되거나, 트레이닝을 위한 학습 데이터 등을 저장한 상기 영상/학습 데이터베이스(303)와 연동하여, 딥러닝시 필요한 학습 데이터를 생성하는 기능을 제공하고, 트레이닝 모델의 평가(evaluation)를 위해, 레이블링을 할 때, 여러가지 사용자의 관리 편리함을 제공하는 트레킹 기능이나, 원하는 객체 등의 영역이나 프레임을 위한 영상 편집(예를 들어 영상 자르기) 기능 등을 제공하며, 관리자 클라이언트(750)나 관리자 모바일 단말(700)에 이러한 기능들을 제공하기 위해 연동되는 프로그램(앱)을 제공할 수도 있다.
예를 들어, 사용자학습설정부(302)는 감시 카메라 등을 통해 획득된 영상 데이터에서 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 이미지 분류를 통해 추정하여, 검출된 사람이 싸움이라는 행위를 하고 있는 여부를 추정하여야 하는데, 이러한 상기 이벤트의 이미지 분류시에, 객체 등을 효율적으로 추적(트래킹)하기 위해, 영상을 편집하는 여러가지 기능 등을 제공함으로써, 객체의 검출, 객체 행위의 추정 등의 머신러닝 결과물의 정확도 등을 효과적으로 높일 수 있다.
구체적으로, 사용자학습설정부(302)는 OpenCV와 같은 이미지 프로세싱 프로그램을 활용하여, 레이블링이 된 객체의 트래킹(추적)이 가능하도록 객체 트래킹 기능을 제공하거나, 예를 들어 CCTV와 같은 IoT촬상장치(800)로부터 촬상된 동영상을 객체나 객체의 행위의 정확한 추정을 위해, 프레임 단위로 나누고, 이미지의 형태로 상기 영상/학습 데이터베이스(303)에 저장하는 영상 프레임 단위 나누기 기능을 제공할 수 있다.
또한, 사용자학습설정부(302)는 원하는 구간만을 설정하여 영상을 자르고 저장하는 영상 구간 편집(자르기 및 저장) 기능을 제공하고, 마지막으로, 편집하거나 수정, 혹은 완성된 영상을 화면에 표시하여 사용자/관리자가 쉽게 상기 사용자학습설정부(302)를 통하여, 머신러닝 학습이나 분석 구간을 설정하여 사용할 수 있도록 할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S10, S12).
이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S14, S16).
이후 관리자 클라이언트(750)에서 복수의 영상 데이터인 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 검출 알고리즘에 의한 분석을 요청할 수 있다(S18, S20). 여기서, 손상 검출 알고리즘은 객체의 손상 정도를 검출할 수 있는 알고리즘이 될 수 있으며, 상술한 K-mean 알고리즘, canny edge 알고리즘 등이 활용될 수 있다.
분석서버(1000)에서는 손상 검출 알고리즘에 의해 분석 결과를 도출하고, 딥러닝에 의한 조도 및 손상 분석 결과를 생성하여 데이터베이스(303)에 저장한다(S22, S24).
이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 조도 및 손상 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S26, S28, S30).
나아가, 분석 결과는 관리자 클라이언트(750)에서도 제공받을 수 있는데, 연동되는 관리 프로그램을 통하여, 조도 변화 이미지 리스트(각 이미지 레이블링, 열화 정보 등 포함)를 제공하거나, 측정 이미지 포인트 별 검색 기능을 제공할 수 있다.
또한, 관리 프로그램에서는 분석 차트를 통하여 영상분석 결과를 검출 알고리즘에 비교한 결과 분석이나, 측정 이미지 포인트 별 결과 제공 기능이 포함될 수 있다.
나아가 객체 손상정도를 분석한 분석 결과에서 수치화된 표면 조도의 비율에 따라 정상 기준값을 설정하여 정상, 교체 추천, 교체 필요로 구분하고, 교체 추천이나 교체 필요에 해당하는 경우 관리자 모바일 단말(700)이나, 관리자 클라이언트(750)에 알람을 제공할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 진/가품 확인 이 필요한 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S50, S52).
이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S54, S56).
이후, 관리자 클라이언트(750)는 복수의 영상 데이터(또는 사진 이미지)를 수신한 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 진/가품 판독 알고리즘에 의한 분석을 요청할 수 있으며(S58, S60), 여기서 진/가품 판독 알고리즘은 상술한 CNN, RNN, GAN과 같은 신경망 알고리즘이 될 수 있다.
분석서버(1000)에서는 진/가품 판독 알고리즘에 의해 데이터 분석 범위에 대한 분석 결과를 도출하는데, 이때 딥러닝에 의한 표면 질감/상표 패턴에 대한 분석을 통한 진/가품 판독 결과를 생성하여 데이터베이스(303)에 저장한다(S62, S64).
이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 진/가품 판독 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S66, S68, S70).

Claims (8)

  1. 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서,
    적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부;
    적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부;
    상기 영상 데이터를 분석하는 영상 데이터 처리부;
    상기 비영상 데이터를 분석하는 비영상 데이터 처리부;
    상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되,
    상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  2. 제1항에 있어서,
    상기 비영상 데이터 처리부는
    상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  3. 제2항에 있어서,
    상기 통합 데이터 판단부는
    상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 영상 데이터 처리부는
    상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부;
    사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자 학습설정부를 더 포함하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  5. 제4항에 있어서,
    상기 객체 처리부는
    상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부;
    상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부;
    상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  6. 제5항에 있어서,
    상기 객체 진위 식별부는
    상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  7. 제5항에 있어서,
    상기 객체 상태 인식부는
    상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  8. 제5항에 있어서,
    상기 객체 행위 인식부는
    상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
PCT/KR2020/016228 2020-09-14 2020-11-18 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 WO2022055023A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0117503 2020-09-14
KR1020200117503A KR102263512B1 (ko) 2020-09-14 2020-09-14 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템

Publications (1)

Publication Number Publication Date
WO2022055023A1 true WO2022055023A1 (ko) 2022-03-17

Family

ID=76377968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016228 WO2022055023A1 (ko) 2020-09-14 2020-11-18 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템

Country Status (2)

Country Link
KR (1) KR102263512B1 (ko)
WO (1) WO2022055023A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102667443B1 (ko) * 2021-06-16 2024-05-22 동의대학교 산학협력단 주거지용 주차 관리 방법
KR102541221B1 (ko) 2022-11-08 2023-06-13 주식회사 경우시스테크 인공지능 기반 영상인식플랫폼을 포함하는 이동식 지능형 cctv 시스템
KR102541212B1 (ko) 2022-11-08 2023-06-13 주식회사 영신 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (ko) * 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
JP2011021951A (ja) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd 腐食環境監視装置及び方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR20190098105A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 스마트 홈 감시 장치 및 방법
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980586B1 (ko) 2010-05-07 2010-09-06 주식회사 에스엘티 단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (ko) * 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
JP2011021951A (ja) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd 腐食環境監視装置及び方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템
KR20190098105A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 스마트 홈 감시 장치 및 방법

Also Published As

Publication number Publication date
KR102263512B1 (ko) 2021-06-10

Similar Documents

Publication Publication Date Title
WO2022055023A1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR101808587B1 (ko) 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP5121258B2 (ja) 不審行動検知システム及び方法
EP2113846B1 (en) Behavior history searching device and behavior history searching method
CN101635834A (zh) 类神经控制自动追踪识别系统
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
CN111079694A (zh) 一种柜面助手履职监控装置和方法
KR20200017594A (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
KR20190035187A (ko) 감시 지역 음성 경고 방송 시스템
CN114359976B (zh) 一种基于人物识别的智能安防方法与装置
KR20190108218A (ko) 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법
JP2002304651A (ja) 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR20210043960A (ko) IoT와 인공지능 기술을 이용한 행동인식 기반의 안전 감시 시스템 및 방법
JP5202419B2 (ja) 警備システムおよび警備方法
KR101394270B1 (ko) 영상 감지 시스템 및 방법
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN110533889B (zh) 一种敏感区域电子设备监测定位装置与方法
KR20190072323A (ko) 영상 감시 시스템 및 영상 감시방법
JP2012212238A (ja) 物品検出装置および静止人物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20953425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20953425

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20953425

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/09/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20953425

Country of ref document: EP

Kind code of ref document: A1