KR20240029126A - System for generating deep learning model optimized for installation environment and method for configuring training data thereof - Google Patents
System for generating deep learning model optimized for installation environment and method for configuring training data thereof Download PDFInfo
- Publication number
- KR20240029126A KR20240029126A KR1020220107218A KR20220107218A KR20240029126A KR 20240029126 A KR20240029126 A KR 20240029126A KR 1020220107218 A KR1020220107218 A KR 1020220107218A KR 20220107218 A KR20220107218 A KR 20220107218A KR 20240029126 A KR20240029126 A KR 20240029126A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- feature space
- installation environment
- deep learning
- feature
- Prior art date
Links
- 238000009434 installation Methods 0.000 title claims abstract description 97
- 238000013136 deep learning model Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 96
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000003416 augmentation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Abstract
설치환경에 최적화된 딥러닝 모델 생성 방법이 제공된다. 상기 방법은 카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계; 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계; 상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계; 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계; 및 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계를 포함한다.A method for creating a deep learning model optimized for the installation environment is provided. The method includes receiving a plurality of image data including installation environment information captured through a camera; generating an installation environment feature space based on each feature vector of the plurality of image data output from an autoencoder model; generating an existing environment feature space based on each feature vector of the already collected training image data used for learning the autoencoder model and the deep learning model; Configuring training image data in the existing environment feature space mapped with the installation environment feature space as training data for the deep learning model; and learning the deep learning model based on the configured training data.
Description
본 발명은 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법에 관한 것이다.The present invention relates to a system and method for generating a deep learning model optimized for the installation environment and a method for configuring learning data thereof.
최근 지능형 CCTV를 이용하여 자동으로 영상 정보를 분석하고 이를 보안에 활용하려는 수요가 급격히 증가하고 있다. 이에 적용되는 딥러닝 모델 기반 분류 기술은 행동 분류, 환경 분류 등 목적에 따라 다양한 지능형 분석 정보를 제공할 수 있는 중요한 영역이므로, 이를 위한 딥러닝 기반의 다양한 기술들이 소개되고 있다.Recently, the demand to automatically analyze video information using intelligent CCTV and use it for security is rapidly increasing. The deep learning model-based classification technology applied here is an important area that can provide a variety of intelligent analysis information depending on the purpose, such as behavior classification and environment classification, so various deep learning-based technologies are being introduced for this purpose.
하지만 기존의 딥러닝 모델 기반의 기술을 지능형 CCTV 시스템에 적용하는데는 어려 어려움이 있다.However, there are difficulties in applying existing deep learning model-based technology to intelligent CCTV systems.
첫째로, 기존 학습된 딥러닝 모델은 일반적인 환경을 고려하여 생성된 것으로서 일괄적으로 지능형 CCTV 시스템에 설치하여 사용하므로, 각 설치환경마다 최적화되어 동작할 수 없는 문제가 있다.First, the existing learned deep learning model was created considering the general environment and is installed and used in an intelligent CCTV system in batches, so there is a problem that it cannot operate optimally for each installation environment.
둘째로, 지능형 CCTV 시스템의 설치환경을 고려하려면 설치환경을 대표할 수 있는 데이터셋이 필수적으로 필요하나, 모든 설치환경을 고려한 데이터를 취득하는 데는 한계가 있다.Second, in order to consider the installation environment of an intelligent CCTV system, a dataset that can represent the installation environment is essential, but there are limitations in acquiring data that takes all installation environments into consideration.
셋째로, 설치환경에 대한 이미지를 취득하더라도 분류 모델을 학습하기 위해서는 이미지와 정답지(분류 클래스)가 쌍으로 구성되어야만 하는데, 이러한 작업은 일반적으로 수작업으로 진행되며 많은 비용과 시간을 필요로 한다.Third, even if an image of the installation environment is acquired, in order to learn a classification model, the image and the answer key (classification class) must be paired together, but this work is generally performed manually and requires a lot of cost and time.
본 발명의 실시예는 설치환경의 특징을 자동으로 분석하여 특징 공간을 구성하고, 특징 공간에 기반하여 딥러닝 모델을 학습하기 위한 학습 데이터를 구성하고, 새롭게 구성된 학습 데이터를 기반으로 설치환경에 최적화되도록 딥러닝 모델을 학습함으로써 기 학습한 환경과 다른 환경에 카메라 시스템이 설치되더라도 안정적인 분류 성능을 제공할 수 있는, 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법을 제공한다.An embodiment of the present invention automatically analyzes the characteristics of the installation environment to configure a feature space, configures learning data for learning a deep learning model based on the feature space, and optimizes the installation environment based on the newly constructed learning data. By learning a deep learning model as much as possible, we provide a deep learning model generation system and method optimized for the installation environment that can provide stable classification performance even if the camera system is installed in an environment different from the existing learning environment, and a method of configuring learning data. .
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenge that this embodiment aims to achieve is not limited to the technical challenges described above, and other technical challenges may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 설치환경에 최적화된 딥러닝 모델 생성 방법은 카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계; 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계; 상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계; 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계; 및 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계를 포함한다.As a technical means for achieving the above-mentioned technical problem, the method of generating a deep learning model optimized for the installation environment according to the first aspect of the present invention includes receiving a plurality of image data containing installation environment information captured through a camera. ; generating an installation environment feature space based on each feature vector of the plurality of image data output from an autoencoder model; generating an existing environment feature space based on each feature vector of the already collected training image data used for learning the autoencoder model and the deep learning model; Configuring training image data in the existing environment feature space mapped with the installation environment feature space as training data for the deep learning model; and learning the deep learning model based on the configured training data.
본 발명의 일부 실시예에 있어서, 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는, 상기 이미지 데이터를 오토인코더 모델에 입력하여 특징 벡터를 추출하는 단계; 및 상기 특징 벡터의 위치 정보 및 상기 특징 벡터의 위치 정보에 대하여 유클리디안 거리 기반으로 설정된 세부 특징 공간에 기반하여 상기 설치환경 특징 공간을 생성하는 단계를 포함할 수 있다.In some embodiments of the present invention, generating an installation environment feature space based on each feature vector of the plurality of image data includes inputting the image data into an autoencoder model to extract a feature vector; And it may include generating the installation environment feature space based on the location information of the feature vector and a detailed feature space set based on the Euclidean distance with respect to the location information of the feature vector.
본 발명의 일부 실시예에 있어서, 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는, 상기 특징 벡터에 상응하는 세부 특징 공간들이 독립적으로 존재하는 독립형 특징 공간, 및 상기 독립형 특징 공간 내 적어도 둘 이상의 상기 세부 특징 공간이 서로 결합하여 존재하는 결합형 특징 공간 중 어느 하나의 설치환경 특징 공간을 생성할 수 있다.In some embodiments of the present invention, the step of generating an installation environment feature space based on each feature vector of the plurality of image data includes an independent feature space in which detailed feature spaces corresponding to the feature vectors exist independently, and At least two of the detailed feature spaces in the independent feature space can be combined to create an installation environment feature space among the combined feature spaces that exist.
본 발명의 일부 실시예에 있어서, 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는, 상기 독립형 특징 공간 내 세부 특징 공간이 서로 겹치는 특징 벡터들 간의 중심 벡터를 산출하는 단계; 및 상기 중심 벡터를 기준으로 상기 겹치는 특징 벡터의 수에 상응하도록 상기 세부 특징 공간의 넓이를 재정의하여 상기 결합형 특징 공간으로 생성하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of generating an installation environment feature space based on each feature vector of the plurality of image data includes calculating a center vector between feature vectors whose detailed feature spaces in the independent feature space overlap with each other. steps; and generating the combined feature space by redefining the area of the detailed feature space to correspond to the number of overlapping feature vectors based on the center vector.
본 발명의 일부 실시예에 있어서, 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계는, 상기 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제1 특징 벡터와 상기 학습 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제2 특징 벡터 간의 유클리디안 거리에 기초한 유사도에 기초하여 매핑된 특징 공간을 생성하는 단계; 및 상기 매핑된 특징 공간 내 상기 세부 특징 공간과 매핑되는 상기 학습 이미지 데이터를 상기 학습 데이터로 구성하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of configuring learning image data in the existing environment feature space mapped with the installation environment feature space as training data for the deep learning model includes inputting the image data to an autoencoder model and outputting it. generating a mapped feature space based on similarity based on the Euclidean distance between a first feature vector and a second feature vector output by inputting the training image data to an autoencoder model; and configuring the learning image data mapped with the detailed feature space within the mapped feature space as the learning data.
본 발명의 일부 실시예는, 상기 매핑된 특징 공간 내 포함된 어느 하나의 특징 벡터를 랜덤 선택하는 단계; 상기 선택된 특징 벡터의 세부 특징 공간에 위치하는 적어도 하나의 타 특징 벡터를 랜덤 선택하는 단계; 및 상기 선택된 타 특징 벡터를 상기 오토인코더 모델의 디코더에 입력하여 출력되는 이미지 데이터를 상기 학습 데이터에 추가하는 단계를 더 포함할 수 있다.Some embodiments of the present invention include randomly selecting any one feature vector included in the mapped feature space; Randomly selecting at least one other feature vector located in a detailed feature space of the selected feature vector; And it may further include adding image data output by inputting the selected other feature vectors into the decoder of the autoencoder model to the learning data.
본 발명의 일부 실시예에 있어서, 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계는, 상기 구성된 학습 데이터를 상기 딥러닝 모델에 입력하여 출력되는 예측 클래스 확률 정보를 획득하는 단계; 상기 제1 특징 벡터 및 상기 학습 데이터를 오토인코더 모델에 입력하여 출력되는 제2 특징 벡터 간의 유사도와 상기 예측 클래스 확률 정보를 손실 함수에 입력하여 손실값을 산출하는 단계; 및 상기 손실값을 기반으로 상기 딥러닝 모델을 학습하는 단계를 포함할 수 있다.In some embodiments of the present invention, learning the deep learning model based on the configured training data includes obtaining predicted class probability information output by inputting the configured training data into the deep learning model; Calculating a loss value by inputting the similarity between the first feature vector and the second feature vector output by inputting the learning data into an autoencoder model and the predicted class probability information into a loss function; And it may include learning the deep learning model based on the loss value.
본 발명의 일부 실시예에 있어서, 상기 제1 및 제2 특징 벡터 간의 유사도와 상기 예측 클래스 확률 정보를 손실 함수에 입력하여 손실값을 산출하는 단계는, 상기 예측 클래스 확률 정보와 상기 매핑된 특징 공간으로부터 획득되는 정답 클래스 확률 정보 사이의 손실값을 산출하는 단계; 및 상기 산출된 손실값에 가중치를 적용하여 최종 손실값을 산출하는 단계를 포함할 수 있다.In some embodiments of the present invention, calculating a loss value by inputting the similarity between the first and second feature vectors and the prediction class probability information into a loss function includes the prediction class probability information and the mapped feature space. Calculating a loss value between correct answer class probability information obtained from; And it may include calculating a final loss value by applying a weight to the calculated loss value.
본 발명의 일부 실시예에 있어서, 상기 산출된 손실값에 가중치를 적용하여 최종 손실값을 산출하는 단계는, 상기 매핑된 특징 공간 내 이미지 데이터 또는 픽셀 공간에서 증강된 이미지 데이터인 경우 1의 값을 갖는 가중치로 설정하고, 상기 매핑된 특징 공간 내의 특징 벡터로부터 증강된 이미지 데이터인 경우 상기 제1 및 제2 특징 벡터 간의 유사도의 정규화값의 가중치로 설정할 수 있다.In some embodiments of the present invention, the step of calculating the final loss value by applying a weight to the calculated loss value includes a value of 1 in the case of image data in the mapped feature space or image data augmented in the pixel space. It can be set to a weight that has a weight, and in the case of image data augmented from feature vectors in the mapped feature space, it can be set to the weight of the normalization value of the similarity between the first and second feature vectors.
본 발명의 일부 실시예는, 상기 복수의 이미지 데이터를 픽셀 공간에서 증강시키는 단계; 상기 증강된 이미지 데이터가 상기 설치환경 특징 공간 내 포함되는지 여부를 판단하는 단계; 및 상기 판단 결과 포함되는 경우 증강된 이미지 데이터를 상기 학습 데이터에 추가하는 단계를 더 포함할 수 있다.Some embodiments of the present invention may include augmenting the plurality of image data in pixel space; determining whether the augmented image data is included in the installation environment feature space; and adding augmented image data to the learning data when included as a result of the determination.
또한, 본 발명의 제2 측면에 따른 설치환경에 최적화된 딥러닝 모델 생성을 위한 학습 데이터 구성 방법은 카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계; 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계; 상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계; 및 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계를 포함한다.In addition, a method of configuring learning data for generating a deep learning model optimized for an installation environment according to a second aspect of the present invention includes receiving a plurality of image data including installation environment information captured through a camera; generating an installation environment feature space based on each feature vector of the plurality of image data output from an autoencoder model; generating an existing environment feature space based on each feature vector of the already collected training image data used for learning the autoencoder model and the deep learning model; and configuring learning image data in the existing environment feature space mapped with the installation environment feature space as training data for the deep learning model.
또한, 본 발명의 제3 측면에 따른 설치환경에 최적화된 딥러닝 모델 생성 시스템은 적어도 하나의 카메라와 데이터를 송수신하는 통신모듈, 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터와, 상기 카메라에 의해 촬영된 설치환경 정보를 포함하는 이미지 데이터에 기반하여 딥러닝 모델을 학습하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하고, 상기 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하고, 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성한 후, 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 프로세서를 포함한다.In addition, the deep learning model generation system optimized for the installation environment according to the third aspect of the present invention includes at least one camera and a communication module that transmits and receives data, an autoencoder model, and already collected learning images used for learning the deep learning model. A memory storing a program for learning a deep learning model based on image data including data and installation environment information captured by the camera, and when the program stored in the memory is executed, the output from the autoencoder model is An installation environment feature space is created based on each feature vector of the plurality of image data, an existing environment feature space is created based on each feature vector of the learning image data, and existing environment features are mapped to the installation environment feature space. After configuring training image data in space as training data of the deep learning model, it includes a processor that learns the deep learning model based on the configured training data.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium recording a computer program for executing the method may be further provided.
전술한 본 발명의 일 실시예에 의하면, 설치환경에 대한 기존 데이터가 없더라도 설치환경과 유사한 데이터셋을 생성함으로써, 설치환경에 최적인 딥러닝 모델을 생성할 수 있다. 이에 따라, 설치환경을 고려하기 위한 데이터셋 수집에 대한 시간을 최소화함으로써 빠른 시스템 개발이 가능하며, 다양한 설치환경에 최적화되어 안정적으로 분류 정보를 제공할 수 있다.According to an embodiment of the present invention described above, a deep learning model optimal for the installation environment can be created by generating a dataset similar to the installation environment even if there is no existing data on the installation environment. Accordingly, rapid system development is possible by minimizing the time for data set collection to consider the installation environment, and it is optimized for various installation environments to provide stable classification information.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 순서도이다.
도 2는 본 발명의 일 실시예에서의 오토인코더 모델 구조를 설명하기 위한 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에서의 설치환경 특징 공간을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서의 오토인코더 모델을 이용하여 매핑된 특징 공간을 구성하는 내용을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에서 구성된 매핑된 특징 공간의 일 예시를 도시한 도면이다.
도 6은 본 발명의 일 실시예에서 픽셀 공간을 기반으로 학습 데이터를 증강시키는 내용을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에서 매핑된 특징 공간을 기반으로 학습 데이터를 증강시키는 내용을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에서의 딥러닝 모델을 학습하는 내용을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)의 블록도이다.1 is a flowchart of a deep learning model generation method according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the autoencoder model structure in one embodiment of the present invention.
3A and 3B are diagrams for explaining the installation environment feature space in one embodiment of the present invention.
FIG. 4 is a diagram illustrating the construction of a mapped feature space using an autoencoder model in an embodiment of the present invention.
Figure 5 is a diagram illustrating an example of a mapped feature space constructed in an embodiment of the present invention.
Figure 6 is a diagram for explaining augmentation of learning data based on pixel space in an embodiment of the present invention.
FIG. 7 is a diagram illustrating augmentation of learning data based on a mapped feature space in an embodiment of the present invention.
Figure 8 is a diagram for explaining the contents of learning a deep learning model in an embodiment of the present invention.
Figure 9 is a block diagram of a deep learning
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.
이하에서는 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 설치환경에 최적화된 딥러닝 모델 생성 시스템(100) 및 방법, 이의 학습 데이터 구성 방법에 대해 설명하도록 한다.Hereinafter, with reference to FIGS. 1 to 8, a deep learning
도 1은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 순서도이다. 1 is a flowchart of a deep learning model generation method according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법은 카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계(S110)와, 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계(S120)와, 상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계(S130)와, 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계(S140) 및 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계(S150)를 포함하여 실시된다.A deep learning model generation method according to an embodiment of the present invention includes receiving a plurality of image data including installation environment information captured through a camera (S110), and receiving the plurality of image data output from an autoencoder model. A step of generating an installation environment feature space based on each feature vector (S120), and creating an existing environment feature space based on each feature vector of the already collected training image data used for learning the autoencoder model and deep learning model. A step of generating (S130), configuring training image data in the existing environment feature space mapped with the installation environment feature space as training data of the deep learning model (S140), and performing deep learning based on the configured learning data. It is carried out including the step of learning the model (S150).
한편, 도 1에 도시된 각 단계들은 후술하는 딥러닝 모델 생성 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다. 또한, 도 1에 도시된 S110 단계 내지 S140 단계는 본 발명의 일 실시예에 따른 학습 데이터 구성 방법에 관한 것이며 이와 공통되는 설명은 함께 서술하도록 한다.Meanwhile, each step shown in FIG. 1 may be understood as being performed by the deep learning
먼저, 카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신한다(S110). 여기에서 카메라는 딥러닝 모델이 설치되는 지능형 CCTV 카메라일 수 있다. 이 경우, 본 발명의 일 실시예에서 딥러닝 모델 생성 시스템은 클라우드 서버일 수 있고, 카메라는 엣지 디바이스일 수 있다. 엣지 디바이스는 클라우드 서버에 의해 배포된 기 학습된 딥러닝 모델을 수신하여 목적에 따른 기능 동작(예를 들어, 객체 인식)을 수행할 수 있다. First, a plurality of image data including installation environment information captured through a camera are received (S110). Here, the camera may be an intelligent CCTV camera on which a deep learning model is installed. In this case, in one embodiment of the present invention, the deep learning model creation system may be a cloud server, and the camera may be an edge device. The edge device can receive a pre-trained deep learning model distributed by a cloud server and perform functional operations (for example, object recognition) according to the purpose.
클라우드 서버는 엣지 디바이스의 설치환경을 고려하지 않은 보편적으로 수집된 데이터셋을 학습 이미지 데이터로 구성하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 엣지 디바이스로 배포하게 된다. 이때, 엣지 디바이스에 배포되어 동작하는 딥러닝 모델은 엣지 디바이스의 설치환경을 고려하지 않으므로, 최적화된 동작을 수행할 수 없다는 문제가 있다.The cloud server learns a deep learning model by composing universally collected datasets that do not take into account the installation environment of the edge device into training image data, and distributes the learned deep learning model to the edge device. At this time, the deep learning model deployed and operating on the edge device does not take into account the installation environment of the edge device, so there is a problem in that it cannot perform optimized operation.
이러한 문제를 해소하기 위해 본 발명의 일 실시예는 엣지 디바이스로부터 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 클라우드 서버가 수신하고, 기 수집된 학습 이미지 데이터와의 유사도에 기초하여 엣지 디바이스의 설치환경을 고려한 학습 데이터를 재구성하여 딥러닝 모델을 생성함으로써, 엣지 디바이스의 설치환경에 최적화된 딥러닝 모델을 배포할 수 있다.In order to solve this problem, an embodiment of the present invention provides a cloud server to receive a plurality of image data containing installation environment information captured from an edge device, and By creating a deep learning model by reconstructing the learning data considering the installation environment, a deep learning model optimized for the installation environment of the edge device can be distributed.
다음으로, 오토인코더 모델로부터 출력되는 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성한다(S120).Next, an installation environment feature space is created based on each feature vector of the plurality of image data output from the autoencoder model (S120).
도 2는 본 발명의 일 실시예에서의 오토인코더 모델 구조를 설명하기 위한 도면이다. 도 3a 및 도 3b는 본 발명의 일 실시예에서의 설치환경 특징 공간을 설명하기 위한 도면이다.Figure 2 is a diagram for explaining the autoencoder model structure in one embodiment of the present invention. 3A and 3B are diagrams for explaining the installation environment feature space in an embodiment of the present invention.
일 실시예로, 카메라에 의해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 도 2에 도시된 오토인코더 모델에 입력하여 특징 벡터를 추출한다. 그리고 추출한 특징 벡터의 위치 정보 및 특징 벡터의 위치 정보에 대하여 유클리디안 거리 기반으로 설정된 세부 특징 공간에 기반하여 설치환경 도 3과 같은 설치환경 특징 공간을 생성할 수 있다.In one embodiment, a plurality of image data including installation environment information captured by a camera are input into the autoencoder model shown in FIG. 2 to extract feature vectors. Additionally, an installation environment feature space as shown in Figure 3 can be created based on the location information of the extracted feature vector and the detailed feature space set based on the Euclidean distance for the location information of the feature vector.
이때, 도 3a 및 도 3b에서 점으로 표시된 부분은 특징 벡터의 위치 정보를 나타내며, 특징 벡터 위치 정보를 중심으로 표시된 실선 원 영역은 각 특징 벡터가 점유하고 있는 특징 공간, 즉 세부 특징 공간을 나타낸다. 이때, 세부 특징 공간은 특징 벡터가 영향을 미칠 수 있는 공간 영역으로, 유클리디안 거리를 이용하여 정의할 수 있다.At this time, the dotted portion in FIGS. 3A and 3B represents the location information of the feature vector, and the solid circle area centered around the feature vector location information represents the feature space occupied by each feature vector, that is, the detailed feature space. At this time, the detailed feature space is a spatial area that can be influenced by the feature vector, and can be defined using the Euclidean distance.
일 실시예로, 본 발명에서의 설치환경 특징 공간은 독립형 특징 공간과 결합형 특징 공간으로 구분될 수 있다. 독립형 특징 공간은 특징 벡터에 상응하는 세부 특징 공간들이 다른 특징 벡터와의 결합없이 독립적으로 구성되는 것이며, 주로 환경의 변화가 거의 없는 설치환경에 대한 부합도가 높은 학습 데이터를 구성하기 위해 사용될 수 있다. 결합형 특징 공간은 독립형 특징 공간 내 적어도 둘 이상의 세부 특징 공간들이 서로 결합하여 존재하는 경우 구성되는 것으로, 환경의 변화가 많거나 주변 공간 영역을 더욱 많이 고려하기 위한 학습 데이터를 구성하기 위해 사용될 수 있다.In one embodiment, the installation environment feature space in the present invention can be divided into an independent feature space and a combined feature space. The independent feature space is one in which detailed feature spaces corresponding to a feature vector are constructed independently without combining with other feature vectors, and can be mainly used to construct learning data with a high degree of conformity to the installation environment with little change in the environment. . A combined feature space is formed when at least two or more detailed feature spaces within an independent feature space exist in combination with each other. It can be used to construct learning data where there are many changes in the environment or to take more surrounding spatial areas into consideration. .
이때, 결합형 특징 공간을 생성하기 위해서는, 먼저 독립형 특징 공간을 구성해야 한다. 그리고 독립형 특징 공간 내 세부 특징 공간이 서로 겹치는 특징 벡터들 간의 중심 벡터를 산출한다. 그리고 중심 벡터를 기준으로 겹치는 특징 벡터의 수에 상응하도록 세부 특징 공간의 넓이를 재정의하여 결합형 특징 공간으로 생성할 수 있다.At this time, in order to create a combined feature space, an independent feature space must first be constructed. Then, the central vector between feature vectors that overlap each other in the detailed feature space within the independent feature space is calculated. Additionally, the area of the detailed feature space can be redefined to correspond to the number of overlapping feature vectors based on the center vector to create a combined feature space.
이처럼, 본 발명의 일 실시예는 특징 공간을 생성하여 복수의 이미지 데이터의 특징들을 압축하여 확인할 수 있으며, 또한 특징 벡터를 이용함으로써 설치환경이 어떤 세부 특징 공간에 분포된 이미지들을 취득하고 있는지 또는 사용하고 있는지를 용이하게 확인할 수 있다.In this way, an embodiment of the present invention creates a feature space to compress and confirm the features of a plurality of image data, and also uses a feature vector to determine or use images distributed in a detailed feature space of the installation environment. You can easily check whether it is working or not.
한편, 도 2에 도시된 설치환경 특징 공간을 위한 특징 벡터를 추출하기 위한 오토인코더 모델은 기존의 분류 모델인 딥러닝 모델의 학습에 사용하였던 학습 이미지 데이터를 기반으로 사전 학습된 것이다.Meanwhile, the autoencoder model for extracting feature vectors for the installation environment feature space shown in FIG. 2 is pre-trained based on training image data used for learning a deep learning model, which is an existing classification model.
다음으로, 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성한다(S130). 그리고 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 딥러닝 모델의 학습 데이터로 구성한다(S140).Next, an existing environment feature space is created based on each feature vector of the already collected training image data used for learning the autoencoder model and deep learning model (S130). And the learning image data in the existing environment feature space mapped with the installation environment feature space is configured as learning data for the deep learning model (S140).
도 4는 본 발명의 일 실시예에서의 오토인코더 모델을 이용하여 매핑된 특징 공간을 구성하는 내용을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에서 구성된 매핑된 특징 공간의 일 예시를 도시한 도면이다.FIG. 4 is a diagram illustrating the construction of a mapped feature space using an autoencoder model in an embodiment of the present invention. Figure 5 is a diagram illustrating an example of a mapped feature space constructed in an embodiment of the present invention.
일 실시예로, 설치환경 특징 공간과 기존환경 특징 공간을 구성하면, 각 생성된 특징 공간을 비교하는 과정을 통해, 기 수집된 학습 이미지 데이터로부터 설치환경과 유사하여 학습에 사용 가능한 학습 데이터를 추출 및 구성한다.In one embodiment, when the installation environment feature space and the existing environment feature space are configured, learning data that is similar to the installation environment and can be used for learning is extracted from the previously collected learning image data through the process of comparing each generated feature space. and configure.
구체적으로 도 4를 참조하면, 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제1 특징 벡터(a)와, 학습 이미지 데이터를 오토 인코더 모델에 입력하여 출력되는 제2 특징 벡터(b) 간의 유클리디안 거리(D, Distance)에 기초한 유사도에 기초하여 도 5와 같은 매핑된 특징 공간을 생성한다.Specifically, referring to FIG. 4, the Euclidean relationship between a first feature vector (a) output by inputting image data into an autoencoder model and a second feature vector (b) output by inputting training image data into an autoencoder model A mapped feature space as shown in Figure 5 is created based on the similarity based on the dian distance (D).
그리고 매핑된 특징 공간 내 세부 특징 공간과 매핑되는 학습 이미지 데이터를 딥러닝 모델의 학습을 위한 학습 데이터로 구성한다. Then, the learning image data mapped to the detailed feature space within the mapped feature space is configured as learning data for learning the deep learning model.
이는 기 수집된 방대한 학습 이미지 데이터 중에서, 도 5에서 매핑된 특징 공간에서 표시된 세부 특징 공간(P2)에 포함된 특징 벡터 이미지를 딥러닝 모델의 학습을 위한 학습 데이터로 재구성하는 것을 의미한다. 즉, 카메라의 설치환경에 최적화된 딥러닝 모델을 학습하기 위해 새롭게 학습 데이터를 구성할 경우 이에 대한 레이블링 역시 새롭게 필요로 하나, 설치환경마다 학습 데이터에 대한 레이블링을 수행하는 것은 많은 시간 및 비용을 필요로 한다. This means that, among the vast amount of training image data already collected, the feature vector image included in the detailed feature space (P2) shown in the mapped feature space in FIG. 5 is reconstructed as training data for learning a deep learning model. In other words, when new learning data is configured to learn a deep learning model optimized for the camera installation environment, new labeling is also required, but labeling the learning data for each installation environment requires a lot of time and cost. Do this.
따라서, 본 발명의 일 실시예는 기 수집된 학습 이미지 데이터를 그대로 활용하여 설치환경에 부합하는 학습 이미지 데이터를 학습 데이터로 구성할 수 있으며, 이 경우 클라우드 서버에 의해 기존 학습 이미지 데이터가 점점 더 많이 구축될수록 학습 데이터 역시 함께 증가하게 되는 장점이 있다.Therefore, an embodiment of the present invention can configure learning image data that matches the installation environment as learning data by utilizing the already collected learning image data. In this case, the existing learning image data is increasingly collected by the cloud server. The advantage is that as it is built, the learning data also increases.
한편, 본 발명의 일 실시예는 구성된 학습 데이터가 딥러닝 모델을 학습할 수 있을 정도로 충분하지 않은 경우 학습 데이터를 증강하는 과정을 수행할 수 있다.Meanwhile, an embodiment of the present invention may perform a process of augmenting the learning data when the configured learning data is not sufficient to learn a deep learning model.
도 6은 본 발명의 일 실시예에서 픽셀 공간을 기반으로 학습 데이터를 증강시키는 내용을 설명하기 위한 도면이다.Figure 6 is a diagram for explaining augmentation of learning data based on pixel space in one embodiment of the present invention.
일 실시예로, 복수의 이미지 데이터를 픽셀 공간에서 증강시킨다(S141). 픽셀 공간에서의 데이터 증강은 이미지의 회전, 이동, 확대, 축소, 밝기 조절 등을 적용하여 본래의 이미지와 다른 이미지를 생성하는 것이다. 이와 같이 증강된 이미지 데이터를 오토인코더 모델에 입력하여 특징 벡터를 추출하고(S142) 추출된 특징 벡터가 설치환경 특징 공간 내에 포함되는지 여부를 판단한다(S143). 그리고 판단 결과 설치환경 특징 공간 내에 포함되는 경우(S143-Y) 증강된 이미지 데이터를 학습 데이터에 추가할 수 있다(S144). 이와 달리, 판단 결과 설치환경 특징 공간 내에 포함되지 않는 경우에는(S143-N) 학습 데이터로 사용하지 않는다(S145).In one embodiment, a plurality of image data is augmented in pixel space (S141). Data augmentation in pixel space creates an image that is different from the original image by applying image rotation, movement, enlargement, reduction, and brightness control. The augmented image data is input into the autoencoder model to extract feature vectors (S142), and it is determined whether the extracted feature vectors are included in the installation environment feature space (S143). And, as a result of the determination, if it is included within the installation environment feature space (S143-Y), the augmented image data can be added to the learning data (S144). On the other hand, if it is not included in the installation environment feature space as a result of the judgment (S143-N), it is not used as learning data (S145).
이때, S141 내지 S145 단계는 증강된 이미지 데이터의 추가에도 불구하고 학습 데이터가 충분치 않을 시 복수회 반복 수행될 수 있다.At this time, steps S141 to S145 may be repeated multiple times if the learning data is not sufficient despite the addition of augmented image data.
도 7은 본 발명의 일 실시예에서 매핑된 특징 공간을 기반으로 학습 데이터를 증강시키는 내용을 설명하기 위한 도면이다.FIG. 7 is a diagram illustrating augmentation of learning data based on a mapped feature space in an embodiment of the present invention.
다른 실시예로, 매핑된 특징 공간을 기반으로 학습 데이터를 증강시킬 수 있다. 즉, 매핑된 특징 공간의 세부 특징 공간 내 포함된 어느 하나의 특징 벡터를 랜덤으로 선택하고(S146), 선택된 특징 벡터의 세부 특징 공간에 위치하는 적어도 하나의 타 특징 벡터를 랜덤하게 선택한다(S147). 그리고 선택된 타 특징 벡터를 오토인코더 모델의 디코더에 입력하여 출력되는 이미지 데이터를 학습 데이터에 추가한다(S148).In another embodiment, learning data may be augmented based on the mapped feature space. That is, one feature vector included in the detailed feature space of the mapped feature space is randomly selected (S146), and at least one other feature vector located in the detailed feature space of the selected feature vector is randomly selected (S147) ). Then, the selected other feature vectors are input to the decoder of the autoencoder model, and the output image data is added to the learning data (S148).
결과적으로 타 특징 벡터를 디코더에 입력하게 되면 새로운 벡터에 대한 RGB 이미지를 획득할 수 있으며, 새롭게 생성된 RGB 이미지의 분류 정답지는 매핑된 특징 공간에서 사용되고 있는 정답지를 그대로 사용할 수 있다.As a result, when other feature vectors are input to the decoder, an RGB image for a new vector can be obtained, and the classification answer sheet for the newly created RGB image can be used as is as the answer key used in the mapped feature space.
다음으로, 구성된 학습 데이터에 기초하여 딥러닝 모델을 학습한다(S150).Next, a deep learning model is learned based on the configured training data (S150).
도 8은 본 발명의 일 실시예에서의 딥러닝 모델을 학습하는 내용을 설명하기 위한 도면이다.Figure 8 is a diagram for explaining the contents of learning a deep learning model in an embodiment of the present invention.
본 발명의 일 실시예는 앞서 매핑된 특징 공간을 기반으로 구성된 학습 데이터, 그리고 픽셀 기반 및 매핑된 특징 공간을 기반으로 증강된 학습 데이터를 이용하여 딥러닝 모델을 학습할 수 있다.One embodiment of the present invention can learn a deep learning model using training data constructed based on the previously mapped feature space and augmented training data based on the pixel-based and mapped feature space.
구체적으로 학습 데이터를 딥러닝 모델에 입력하여 출력되는 예측 클래스 확률 정보()를 획득한다. 그리고 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제1 특징 벡터와 상기 학습 데이터를 오토인코더 모델에 입력하여 출력되는 제3 특징 벡터 간의 유사도()와 예측 클래스 확률 정보()를 손실함수에 입력하여 손실값()을 산출하고, 오류 역전파 방식을 통해 산출된 손실값()을 기반으로 딥러닝 모델을 학습할 수 있다.Specifically, predicted class probability information output by inputting training data into a deep learning model ( ) to obtain. And the similarity between the first feature vector output by inputting the image data into the autoencoder model and the third feature vector output by inputting the learning data into the autoencoder model ( ) and predicted class probability information ( ) into the loss function and enter the loss value ( ) is calculated, and the loss value calculated through the error backpropagation method ( ), you can learn a deep learning model based on.
이때, 본 발명의 일 실시예는 예측 클래스 확률 정보()와 매핑된 특징 공간으로부터 획득되는 정답 클래스 확률 정보() 사이의 손실값()을 산출하고, 산출된 손실값()에 가중치를 적용하여 최종 손실값()을 산출할 수 있다.At this time, an embodiment of the present invention provides prediction class probability information ( ) and the correct answer class probability information obtained from the mapped feature space ( ) loss value between ( ) is calculated, and the calculated loss value ( ) is applied to the final loss value ( ) can be calculated.
[식 1][Equation 1]
= =
위 식 1에서 가중치의 경우, 매핑된 특징 공간 내 이미지 데이터 또는 픽셀 공간에서 증강된 이미지 데이터인 경우 1의 값을 갖는 가중치를 적용할 수 있다. 그리고 매핑된 특징 공간 내의 특징 벡터로부터 증강된 이미지 데이터인 경우에는 제1 및 제2 특징 벡터 간의 유사도()의 정규화값[0, 1]을 가중치로 적용할 수 있다. 이때, 정규화 방법은 특징 벡터 중심과 특징 벡터가 점유하고 있는 세부 특징 공간의 최대 거리를 기준으로 해당 학습 데이터의 위치에 대한 비율 기반으로 계산할 수 있다.In the case of the weight in Equation 1 above, a weight with a value of 1 can be applied if it is image data in the mapped feature space or image data augmented in the pixel space. And in the case of image data augmented from feature vectors in the mapped feature space, the similarity between the first and second feature vectors ( )'s normalized value [0, 1] can be applied as a weight. At this time, the normalization method can be calculated based on the ratio of the location of the corresponding learning data based on the maximum distance between the center of the feature vector and the detailed feature space occupied by the feature vector.
한편, 상술한 설명에서, 단계 S110 내지 단계 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에 기술된 내용은 도 9의 딥러닝 모델 생성 시스템(100)에도 적용된다.Meanwhile, in the above description, steps S110 to S150 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Additionally, some steps may be omitted or the order between steps may be changed as needed. In addition, even if other omitted content, the content described in FIGS. 1 to 8 also applies to the deep learning
이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)에 대해 설명하도록 한다.Hereinafter, the deep learning
도 9는 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)의 블록도이다.Figure 9 is a block diagram of a deep learning
본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.The deep learning
통신모듈(110)은 적어도 하나의 카메라와 데이터를 송수신한다.The
메모리(120)에는 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터와, 상기 카메라에 의해 촬영된 설치환경 정보를 포함하는 이미지 데이터에 기반하여 딥러닝 모델을 학습하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. The
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.For example,
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 오토인코더 모델로부터 출력되는 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하고, 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성한다. 그리고 프로세서(130)는 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 딥러닝 모델의 학습 데이터로 구성한 후, 구성된 학습 데이터에 기초하여 딥러닝 모델을 학습한다.As the
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that can be read by the processor (CPU) of the computer through the device interface of the computer in order for the computer to read the program and execute the methods implemented in the program. It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server in order to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
100: 딥러닝 모델 생성 시스템
110: 통신모듈
120: 메모리
130: 프로세서100: Deep learning model creation system
110: Communication module
120: memory
130: processor
Claims (12)
카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계;
오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계;
상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계;
상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계; 및
상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
In a method performed by a computer,
Receiving a plurality of image data including installation environment information captured through a camera;
generating an installation environment feature space based on each feature vector of the plurality of image data output from an autoencoder model;
generating an existing environment feature space based on each feature vector of the already collected training image data used for learning the autoencoder model and the deep learning model;
Configuring training image data in the existing environment feature space mapped with the installation environment feature space as training data for the deep learning model; and
Comprising the step of learning the deep learning model based on the configured training data,
How to create a deep learning model optimized for the installation environment.
상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는,
상기 이미지 데이터를 오토인코더 모델에 입력하여 특징 벡터를 추출하는 단계; 및
상기 특징 벡터의 위치 정보 및 상기 특징 벡터의 위치 정보에 대하여 유클리디안 거리 기반으로 설정된 세부 특징 공간에 기반하여 상기 설치환경 특징 공간을 생성하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to paragraph 1,
The step of generating an installation environment feature space based on each feature vector of the plurality of image data includes:
Inputting the image data into an autoencoder model to extract a feature vector; and
Comprising the step of generating the installation environment feature space based on the location information of the feature vector and a detailed feature space set based on the Euclidean distance with respect to the location information of the feature vector,
How to create a deep learning model optimized for the installation environment.
상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는,
상기 특징 벡터에 상응하는 세부 특징 공간들이 독립적으로 존재하는 독립형 특징 공간, 및 상기 독립형 특징 공간 내 적어도 둘 이상의 상기 세부 특징 공간이 서로 결합하여 존재하는 결합형 특징 공간 중 어느 하나의 설치환경 특징 공간을 생성하는 것인,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to paragraph 2,
The step of generating an installation environment feature space based on each feature vector of the plurality of image data includes:
An installation environment feature space selected from an independent feature space in which detailed feature spaces corresponding to the feature vector exist independently, and a combined feature space in which at least two of the detailed feature spaces in the independent feature space exist in combination with each other. creating,
How to create a deep learning model optimized for the installation environment.
상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계는,
상기 독립형 특징 공간 내 세부 특징 공간이 서로 겹치는 특징 벡터들 간의 중심 벡터를 산출하는 단계; 및
상기 중심 벡터를 기준으로 상기 겹치는 특징 벡터의 수에 상응하도록 상기 세부 특징 공간의 넓이를 재정의하여 상기 결합형 특징 공간으로 생성하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to paragraph 3,
The step of generating an installation environment feature space based on each feature vector of the plurality of image data includes:
calculating a center vector between feature vectors whose detailed feature spaces within the independent feature space overlap each other; and
Redefining the area of the detailed feature space to correspond to the number of overlapping feature vectors based on the center vector and generating the combined feature space,
How to create a deep learning model optimized for the installation environment.
상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계는,
상기 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제1 특징 벡터와 상기 학습 이미지 데이터를 오토인코더 모델에 입력하여 출력되는 제2 특징 벡터 간의 유클리디안 거리에 기초한 유사도에 기초하여 매핑된 특징 공간을 생성하는 단계; 및
상기 매핑된 특징 공간 내 상기 세부 특징 공간과 매핑되는 상기 학습 이미지 데이터를 상기 학습 데이터로 구성하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to paragraph 2,
The step of configuring learning image data in the existing environment feature space mapped with the installation environment feature space as learning data of the deep learning model,
A feature space mapped based on the similarity based on the Euclidean distance between the first feature vector output by inputting the image data into an autoencoder model and the second feature vector output by inputting the training image data into the autoencoder model. generating step; and
Comprising the step of configuring the learning image data mapped with the detailed feature space in the mapped feature space as the learning data,
How to create a deep learning model optimized for the installation environment.
상기 매핑된 특징 공간 내 포함된 어느 하나의 특징 벡터를 랜덤 선택하는 단계;
상기 선택된 특징 벡터의 세부 특징 공간에 위치하는 적어도 하나의 타 특징 벡터를 랜덤 선택하는 단계; 및
상기 선택된 타 특징 벡터를 상기 오토인코더 모델의 디코더에 입력하여 출력되는 이미지 데이터를 상기 학습 데이터에 추가하는 단계를 더 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to clause 5,
Randomly selecting any one feature vector included in the mapped feature space;
Randomly selecting at least one other feature vector located in a detailed feature space of the selected feature vector; and
Further comprising adding image data output by inputting the selected other feature vectors into the decoder of the autoencoder model to the learning data,
How to create a deep learning model optimized for the installation environment.
상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 단계는,
상기 구성된 학습 데이터를 상기 딥러닝 모델에 입력하여 출력되는 예측 클래스 확률 정보를 획득하는 단계;
상기 제1 특징 벡터 및 상기 학습 데이터를 오토인코더 모델에 입력하여 출력되는 제3 특징 벡터 간의 유사도와 상기 예측 클래스 확률 정보를 손실 함수에 입력하여 손실값을 산출하는 단계; 및
상기 손실값을 기반으로 상기 딥러닝 모델을 학습하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to clause 5,
The step of learning the deep learning model based on the configured training data,
Inputting the configured learning data into the deep learning model to obtain output predicted class probability information;
Calculating a loss value by inputting the similarity between the first feature vector and the third feature vector output by inputting the learning data into an autoencoder model and the predicted class probability information into a loss function; and
Including learning the deep learning model based on the loss value,
How to create a deep learning model optimized for the installation environment.
상기 제1 및 제2 특징 벡터 간의 유사도와 상기 예측 클래스 확률 정보를 손실 함수에 입력하여 손실값을 산출하는 단계는,
상기 예측 클래스 확률 정보와 상기 매핑된 특징 공간으로부터 획득되는 정답 클래스 확률 정보 사이의 손실값을 산출하는 단계; 및
상기 산출된 손실값에 가중치를 적용하여 최종 손실값을 산출하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
In clause 7,
The step of calculating a loss value by inputting the similarity between the first and second feature vectors and the predicted class probability information into a loss function,
calculating a loss value between the predicted class probability information and the correct class probability information obtained from the mapped feature space; and
Comprising the step of calculating a final loss value by applying a weight to the calculated loss value,
How to create a deep learning model optimized for the installation environment.
상기 산출된 손실값에 가중치를 적용하여 최종 손실값을 산출하는 단계는,
상기 매핑된 특징 공간 내 이미지 데이터 또는 픽셀 공간에서 증강된 이미지 데이터인 경우 1의 값을 갖는 가중치로 설정하고, 상기 매핑된 특징 공간 내의 특징 벡터로부터 증강된 이미지 데이터인 경우 상기 제1 및 제2 특징 벡터 간의 유사도의 정규화값의 가중치로 설정하는 것인,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to clause 8,
The step of calculating the final loss value by applying weight to the calculated loss value is,
If it is image data in the mapped feature space or image data augmented in pixel space, a weight is set to 1, and if it is image data augmented from a feature vector in the mapped feature space, the first and second features Setting the weight of the normalization value of the similarity between vectors,
How to create a deep learning model optimized for the installation environment.
상기 복수의 이미지 데이터를 픽셀 공간에서 증강시키는 단계;
상기 증강된 이미지 데이터가 상기 설치환경 특징 공간 내 포함되는지 여부를 판단하는 단계; 및
상기 판단 결과 포함되는 경우 증강된 이미지 데이터를 상기 학습 데이터에 추가하는 단계를 더 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 방법.
According to paragraph 1,
augmenting the plurality of image data in pixel space;
determining whether the augmented image data is included in the installation environment feature space; and
Further comprising adding augmented image data to the learning data when included as a result of the determination,
How to create a deep learning model optimized for the installation environment.
카메라를 통해 촬영된 설치환경 정보를 포함하는 복수의 이미지 데이터를 수신하는 단계;
오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하는 단계;
상기 오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하는 단계;
상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성하는 단계를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성을 위한 학습 데이터 구성 방법.
In a method performed by a computer,
Receiving a plurality of image data including installation environment information captured through a camera;
generating an installation environment feature space based on each feature vector of the plurality of image data output from an autoencoder model;
generating an existing environment feature space based on each feature vector of the previously collected training image data used for learning the autoencoder model and the deep learning model;
Comprising the step of configuring learning image data in the existing environment feature space mapped with the installation environment feature space as learning data of the deep learning model,
How to configure learning data to create a deep learning model optimized for the installation environment.
오토인코더 모델 및 딥러닝 모델의 학습에 이용된 기 수집된 학습 이미지 데이터와, 상기 카메라에 의해 촬영된 설치환경 정보를 포함하는 이미지 데이터에 기반하여 딥러닝 모델을 학습하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 오토인코더 모델로부터 출력되는 상기 복수의 이미지 데이터의 각 특징 벡터를 기반으로 설치환경 특징 공간을 생성하고, 상기 학습 이미지 데이터의 각 특징 벡터를 기반으로 기존환경 특징 공간을 생성하고, 상기 설치환경 특징 공간과 매핑되는 기존환경 특징 공간 내 학습 이미지 데이터를 상기 딥러닝 모델의 학습 데이터로 구성한 후, 상기 구성된 학습 데이터에 기초하여 상기 딥러닝 모델을 학습하는 프로세서를 포함하는,
설치환경에 최적화된 딥러닝 모델 생성 시스템.A communication module that transmits and receives data with at least one camera,
A memory storing a program for learning a deep learning model based on already collected learning image data used for learning an autoencoder model and a deep learning model, and image data including installation environment information captured by the camera, and
As the program stored in the memory is executed, an installation environment feature space is created based on each feature vector of the plurality of image data output from the autoencoder model, and an existing environment feature space is created based on each feature vector of the learning image data. A processor that generates an environment feature space, configures learning image data in the existing environment feature space mapped with the installation environment feature space as learning data of the deep learning model, and then learns the deep learning model based on the configured learning data. Including,
A deep learning model creation system optimized for the installation environment.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107218A KR20240029126A (en) | 2022-08-26 | 2022-08-26 | System for generating deep learning model optimized for installation environment and method for configuring training data thereof |
| PCT/KR2022/014925 WO2024043389A1 (en) | 2022-08-26 | 2022-10-04 | System and method for generating deep learning model optimized for installation environment, and training data configuration method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107218A KR20240029126A (en) | 2022-08-26 | 2022-08-26 | System for generating deep learning model optimized for installation environment and method for configuring training data thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240029126A true KR20240029126A (en) | 2024-03-05 |
Family
ID=90013616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220107218A KR20240029126A (en) | 2022-08-26 | 2022-08-26 | System for generating deep learning model optimized for installation environment and method for configuring training data thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240029126A (en) |
| WO (1) | WO2024043389A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029852B1 (en) | 2019-04-09 | 2019-10-08 | 세종대학교 산학협력단 | Object recognition apparatus for selecting neural network models according to environment and method thereof |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6090286B2 (en) * | 2014-10-31 | 2017-03-08 | カシオ計算機株式会社 | Machine learning device, machine learning method, classification device, classification method, program |
| WO2019229789A1 (en) * | 2018-05-28 | 2019-12-05 | 株式会社オプティム | Trained model suggestion system, trained model suggestion method, and program |
| US10579907B1 (en) * | 2019-01-31 | 2020-03-03 | StradVision, Inc. | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same |
| US11568318B2 (en) * | 2020-10-07 | 2023-01-31 | Panasonic Intellectual Property Management Co., Ltd. | Method for developing machine-learning based tool |
| KR102562770B1 (en) * | 2020-12-15 | 2023-08-01 | 경희대학교 산학협력단 | Method and apparatus for augmenting data |
-
2022
- 2022-08-26 KR KR1020220107218A patent/KR20240029126A/en unknown
- 2022-10-04 WO PCT/KR2022/014925 patent/WO2024043389A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029852B1 (en) | 2019-04-09 | 2019-10-08 | 세종대학교 산학협력단 | Object recognition apparatus for selecting neural network models according to environment and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024043389A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230021661A1 (en) | Forgery detection of face image | |
| US20140348420A1 (en) | Method and system for automatic selection of one or more image processing algorithm | |
| CN112819686B (en) | Image style processing method and device based on artificial intelligence and electronic equipment | |
| CN108596180A (en) | Parameter identification, the training method of parameter identification model and device in image | |
| JP6161266B2 (en) | Information processing apparatus, control method therefor, electronic device, program, and storage medium | |
| US20220091826A1 (en) | Automation and orchestration platform for software development and deployment | |
| US11501470B2 (en) | Geometric encoding of data | |
| CN113221983B (en) | Training method and device for transfer learning model, image processing method and device | |
| US11275570B1 (en) | Automation and orchestration platform for software development and deployment | |
| CN111507403A (en) | Image classification method and device, computer equipment and storage medium | |
| CN116051686A (en) | Method, system, equipment and storage medium for erasing characters on graph | |
| CN116189265A (en) | Sketch face recognition method, device and equipment based on lightweight semantic transducer model | |
| US20230394862A1 (en) | End to end trainable document extraction | |
| CN111126059B (en) | Short text generation method, short text generation device and readable storage medium | |
| KR20240029126A (en) | System for generating deep learning model optimized for installation environment and method for configuring training data thereof | |
| CN115291813B (en) | Data storage method and device, data reading method and device, and equipment | |
| CN116911361A (en) | Method, device and equipment for training network model based on deep learning framework network | |
| US20230153085A1 (en) | Systems and methods for source code understanding using spatial representations | |
| KR102477700B1 (en) | Method and apparatus for generating and editing images using contrasitive learning and generative adversarial network | |
| CN115567224A (en) | Method for detecting abnormal transaction of block chain and related product | |
| CN113239852A (en) | Privacy image processing method, device and equipment based on privacy protection | |
| CN111611427B (en) | Image retrieval method and system based on linear discriminant analysis depth hash algorithm | |
| JP2009294704A (en) | License number recognition device and license number recognition method | |
| CN112100075B (en) | User interface playback method, device, equipment and storage medium | |
| KR20240029127A (en) | System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition |