KR20240029127A - System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition - Google Patents
System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition Download PDFInfo
- Publication number
- KR20240029127A KR20240029127A KR1020220107219A KR20220107219A KR20240029127A KR 20240029127 A KR20240029127 A KR 20240029127A KR 1020220107219 A KR1020220107219 A KR 1020220107219A KR 20220107219 A KR20220107219 A KR 20220107219A KR 20240029127 A KR20240029127 A KR 20240029127A
- Authority
- KR
- South Korea
- Prior art keywords
- target domain
- dataset
- class
- similar
- learning model
- Prior art date
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007613 environmental effect Effects 0.000 title claims abstract description 28
- 238000013526 transfer learning Methods 0.000 title claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000001419 dependent effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법이 제공된다. 상기 방법은 비타겟 도메인 데이터셋을 기반으로 딥러닝 모델을 1차 학습하는 단계; 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계; 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계; 상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 1차 학습된 딥러닝 모델에 대한 2차 학습을 수행하는 단계; 및 상기 타겟 도메인의 데이터셋을 기반으로 상기 2차 학습된 딥러닝 모델에 대한 3차 학습을 수행하는 단계를 포함한다.A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition is provided. The method includes first learning a deep learning model based on a non-target domain dataset; Analyzing characteristic information for each dataset of a target domain and a similar target domain collected as having a similar purpose as the target domain; generating a class answer key for each dataset of the similar target domain based on an analysis result of the feature information; performing secondary learning on the primary learned deep learning model based on a dataset of a similar target domain having the generated class answer key; And it includes performing third learning on the second learned deep learning model based on the dataset of the target domain.
Description
본 발명은 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for generating a deep learning model based on hierarchical transfer learning for environmental information recognition.
최근 지능형 CCTV를 이용하여 자동으로 비디오의 정보를 분석하고 이를 보안에 활용하려는 수요가 급격히 증가하고 있다. 이때, 환경정보는 다양한 환경에서 강인한 지능형 영상 분석을 제공하기 위해 필수적으로 활용되는 정보이다. 일 예로, 저조도 센서를 사용하여 조도의 변화 값을 측정하고 이를 환경정보로 이용하여 조도 변화에 맞는 영상 분석 서비스를 제공할 수 있다.Recently, the demand to automatically analyze video information using intelligent CCTV and use it for security is rapidly increasing. At this time, environmental information is information that is essential to provide robust intelligent video analysis in various environments. For example, a low-light sensor can be used to measure the change in illumination and use this as environmental information to provide an image analysis service tailored to the change in illumination.
하지만, 조도뿐만 아니라 영상분석 성능을 저하시키는 다양한 환경정보의 요인들이 존재한다. 이러한 환경정보는 비, 흐림, 맑음 등의 날씨의 경우 동일한 장면을 촬영하더라도 시각적으로 다른 영상을 획득하게 되는 요인으로 작용한다. 따라서, 영상 분석 서비스를 제공하고자 하는 경우 환경정보에 대한 고려가 필요하나, 현재 영상 분석 서비스에 적용된 기술로는 환경정보를 정확하게 인식하는데 어려움이 있다.However, there are various environmental information factors that degrade image analysis performance in addition to illuminance. This environmental information acts as a factor in obtaining visually different images even when shooting the same scene in case of weather such as rain, cloudiness, or clear weather. Therefore, when trying to provide a video analysis service, it is necessary to consider environmental information, but it is difficult to accurately recognize environmental information with the technology currently applied to video analysis services.
종래 영상 분석 서비스의 경우, 보편적인 특징을 학습한 모델을 그대로 사용하거나, 타겟 도메인에만 특화되어 학습된 모델을 사용하였다. 이 경우 타겟 도메인의 특징이 조금만 달라지는 경우 안정적인 환경정보 인식 결과를 제공하는 것은 불가하였다.In the case of conventional video analysis services, a model that learned universal features was used as is, or a model learned specifically for the target domain was used. In this case, it was impossible to provide stable environmental information recognition results when the characteristics of the target domain changed slightly.
도 1a 내지 도 1d은 일반적인 데이터 증강을 위한 전이학습 과정을 도시한 도면이다.1A to 1D are diagrams showing a transfer learning process for general data augmentation.
도 1a 내지 도 1d에 도시된 바와 같이 비슷한 데이터셋을 생성하여 전이학습을 통해 딥러닝 모델을 학습하는 경우가 있다. 참고로, 도 1a 내지 도 1d는 원본 이미지를 회전 등의 변환을 통해 동일한 이미지로 인식하거나, 또는 다른 이미지의 경우 다른 이미지로 인식되도록 학습하는 것이다. 이러한 전이학습 과정은 이미지를 변형하고 변형한 이미지와 현재 이미지가 동일한지 여부를 비교하는 과정으로 딥러닝 모델의 학습이 이루어진다. 하지만, 현재 환경정보 인식을 위한 효과적인 전이학습 방법은 부재한 실정이다.As shown in FIGS. 1A to 1D, there are cases where similar datasets are created and a deep learning model is learned through transfer learning. For reference, FIGS. 1A to 1D show that the original image is recognized as the same image through transformation such as rotation, or in the case of a different image, it is learned to be recognized as a different image. This transfer learning process is a process of transforming the image and comparing whether the transformed image and the current image are the same, and the deep learning model is learned. However, there is currently no effective transfer learning method for environmental information recognition.
본 발명의 실시예는 다양한 데이터의 보편적인 특징을 학습한 딥러닝 모델의 지식을 활용하여 계층적 전이학습을 통해 타겟 도메인에 최적화된 딥러닝 모델로 학습 및 생성하기 위한 것으로, 보편적인 특징에 대한 지식 기반 학습을 통해 빠르고 정확한 타겟 도메인에 대한 데이터 처리가 가능한, 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법을 제공한다.An embodiment of the present invention is to learn and create a deep learning model optimized for the target domain through hierarchical transfer learning by utilizing the knowledge of a deep learning model that has learned universal features of various data. We provide a hierarchical transfer learning-based deep learning model generation system and method for environmental information recognition that enables fast and accurate data processing for target domains through knowledge-based learning.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenge that this embodiment aims to achieve is not limited to the technical challenges described above, and other technical challenges may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법은 도메인이 타겟되지 않은 데이터셋(이하, 비타겟 도메인 데이터셋)을 기반으로 딥러닝 모델을 1차 학습하는 단계; 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계; 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계; 상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 1차 학습된 딥러닝 모델에 대한 2차 학습을 수행하는 단계; 및 상기 타겟 도메인의 데이터셋을 기반으로 상기 2차 학습된 딥러닝 모델에 대한 3차 학습을 수행하는 단계를 포함한다.As a technical means for achieving the above-mentioned technical problem, the method for generating a deep learning model based on hierarchical transfer learning for environmental information recognition according to the first aspect of the present invention is a method of generating a deep learning model based on domain not targeted (hereinafter referred to as non-targeted domain). A step of first learning a deep learning model based on a data set; Analyzing characteristic information for each dataset of a target domain and a similar target domain collected as having a similar purpose as the target domain; generating a class answer key for each dataset of the similar target domain based on an analysis result of the feature information; performing secondary learning on the primary learned deep learning model based on a dataset of a similar target domain having the generated class answer key; And it includes performing third learning on the second learned deep learning model based on the dataset of the target domain.
본 발명의 일부 실시예에 있어서, 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계는, 상기 타겟 도메인의 데이터셋 및 상기 유사 타겟 도메인의 데이터셋에 대한 클래스별 포함된 이미지의 특징 정보를 분석할 수 있다.In some embodiments of the present invention, the step of analyzing characteristic information on the target domain and each dataset of the similar target domain collected as having a similar purpose as the target domain includes the dataset of the target domain and the similar target You can analyze the feature information of images included by class in the domain dataset.
본 발명의 일부 실시예에 있어서, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는, 상기 비타겟 도메인 데이터셋의 정답지를 상기 유사 타겟 도메인의 각 데이터셋에 적용하여 클래스 정답지를 생성하되, 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 유사한 것으로 분석된 경우 클래스 의존적 정답지를 생성하고, 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우 클래스 독립적 정답지를 생성할 수 있다.In some embodiments of the present invention, the step of generating a class answer key for each dataset of the similar target domain based on an analysis result of the feature information includes the answer key of the non-target domain dataset being used as a class answer key for the similar target domain. Generate a class answer key by applying it to each data set. If the data set of the similar target domain is analyzed to be similar to the data set of the target domain, a class-dependent answer key is generated, and the data set of the similar target domain is generated as a class answer key to the target domain. If it is analyzed as dissimilar to the dataset, a class-independent answer key can be generated.
본 발명의 일부 실시예에 있어서, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스의 경우 동일 클래스로 설정하여, 각 데이터셋의 상기 클래스 의존적 정답지의 클래스명이 동일하도록 생성할 수 있다.In some embodiments of the present invention, the step of generating a class answer key for each dataset of the similar target domain based on the analysis result of the feature information includes having the same class name among each dataset of the similar target domain. In the case of a class, it can be set to the same class so that the class name of the class-dependent answer key for each dataset is the same.
본 발명의 일부 실시예에 있어서, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스에 대하여 이종 클래스로 설정하여, 각 데이터셋의 상기 클래스 독립적 정답지의 클래스명이 각각 상이하도록 생성할 수 있다.In some embodiments of the present invention, the step of generating a class answer key for each dataset of the similar target domain based on the analysis result of the feature information includes having the same class name among each dataset of the similar target domain. By setting the class to a heterogeneous class, the class independent answer key of each dataset can be generated so that the class name is different.
본 발명의 일부 실시예에 있어서, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는, 상기 타겟 도메인과 상기 유사 타겟 도메인의 클래스별 데이터 간의 비유사 정도가 소정의 기준 조건에 따른 구분이 불가한 경우, 상기 유사 타겟 도메인의 데이터에 대하여 K-means 클러스터링 알고리즘을 적용하여 K개의 군집 데이터로 구성하고, 각 구성된 군집 데이터를 새로운 클래스로 설정하여 상기 클래스 군집화 정답지를 생성할 수 있다.In some embodiments of the present invention, the step of generating a class answer key for each dataset of the similar target domain based on the analysis result of the feature information includes the step of generating a class answer key for each dataset of the similar target domain and the ratio between the target domain and data for each class of the similar target domain. If the degree of similarity cannot be distinguished according to predetermined criteria, the K-means clustering algorithm is applied to the data of the similar target domain to form K cluster data, and each formed cluster data is set as a new class. You can create a class clustering answer sheet.
또한, 본 발명의 제2 측면에 따른 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템은 소정의 네트워크를 통해 데이터셋을 수집하는 통신모듈, 상기 데이터셋을 기반으로 딥러닝 모델을 학습하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 도메인이 타겟되지 않은 데이터셋(이하, 비타겟 도메인 데이터셋)을 기반으로 딥러닝 모델의 1차 학습을 수행하고, 상기 통신모듈을 통해 수집된 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석한 후, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하고, 상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 딥러닝 모델에 대한 2차 학습을 수행하며, 상기 타겟 도메인의 데이터셋을 기반으로 상기 딥러닝 모델에 대한 3차 학습을 수행한다.In addition, the deep learning model generation system based on hierarchical transfer learning for environmental information recognition according to the second aspect of the present invention includes a communication module that collects a dataset through a predetermined network, and a deep learning model based on the dataset. It includes a memory storing a program for learning and a processor executing the program stored in the memory. At this time, as the processor executes the program, the processor performs primary learning of a deep learning model based on a domain non-targeted dataset (hereinafter referred to as non-targeted domain dataset), and the data collected through the communication module After analyzing the target domain and the feature information for each dataset of the similar target domain collected as having a similar purpose as the target domain, a class for each dataset of the similar target domain is based on the analysis results of the feature information. Generate an answer sheet, perform secondary learning on the deep learning model based on a dataset of a similar target domain with the generated class answer key, and perform 3 steps for the deep learning model based on the dataset of the target domain. Perform primary learning.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 타겟 도메인의 데이터셋 및 상기 유사 타겟 도메인의 데이터셋에 대한 클래스별 포함된 이미지의 특징 정보를 분석하고, 상기 특징 정보의 분석 결과를 기반으로 상기 비타겟 도메인 데이터셋의 정답지를 상기 유사 타겟 도메인의 각 데이터셋에 적용하여 클래스 정답지를 생성할 수 있다.In some embodiments of the present invention, the processor analyzes feature information of images included in each class for the dataset of the target domain and the dataset of the similar target domain, and based on the analysis result of the feature information, the processor The answer key for the non-target domain dataset can be applied to each data set in the similar target domain to generate the class answer key.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 유사한 것으로 분석된 경우 클래스 의존적 정답지를 생성하되, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스의 경우 동일 클래스로 설정하여, 각 데이터셋의 상기 클래스 의존적 정답지의 클래스명이 동일하도록 생성할 수 있다.In some embodiments of the present invention, the processor generates a class-dependent answer key when the dataset of the similar target domain is analyzed to be similar to the dataset of the target domain, but the same class between each dataset of the similar target domain In the case of classes with names, they can be set to the same class so that the class names of the class-dependent answer key for each dataset are the same.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우 클래스 독립적 정답지를 생성하되, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스에 대하여 이종 클래스로 설정하여, 각 데이터셋의 상기 클래스 독립적 정답지의 클래스명이 각각 상이하도록 생성할 수 있다.In some embodiments of the present invention, the processor generates a class-independent answer key when the dataset of the similar target domain is analyzed to be dissimilar to the dataset of the target domain, but the same is true between each dataset of the similar target domain. Classes with class names can be set as heterogeneous classes, so that the class names of the class-independent answer sheets of each dataset are different.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 타겟 도메인과 상기 유사 타겟 도메인의 클래스별 데이터 간의 비유사 정도가 소정의 기준 조건에 따른 구분이 불가한 경우, 상기 유사 타겟 도메인의 데이터에 대하여 K-means 클러스터링 알고리즘을 적용하여 K개의 군집 데이터로 구성하고, 각 구성된 군집 데이터를 새로운 클래스로 설정하여 상기 클래스 군집화 정답지를 생성할 수 있다.In some embodiments of the present invention, when the degree of dissimilarity between the target domain and data for each class of the similar target domain cannot be distinguished according to a predetermined standard condition, the processor may select K for the data of the similar target domain. By applying the -means clustering algorithm, K cluster data can be composed, and each composed cluster data can be set as a new class to generate the class clustering answer key.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium recording a computer program for executing the method may be further provided.
전술한 본 발명의 일 실시예에 의하면, 타겟 도메인의 변화에도 안정적인 환경정보 인식 결과 제공이 가능하며, 도메인이 타겟되지 않은 보편적 특징을 기반의 데이터셋을 통한 딥러닝 모델의 학습이 수행되는바, 보다 빠르고 정확한 딥러닝 모델 및 환경정보 인식 결과 제공이 가능하다는 장점이 있다.According to an embodiment of the present invention described above, it is possible to provide stable environmental information recognition results even when the target domain changes, and learning of a deep learning model is performed through a dataset based on universal features that are not targeted at the domain, It has the advantage of being able to provide faster and more accurate deep learning models and environmental information recognition results.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1a 내지 도 1d는 일반적인 데이터 증강을 위한 전이학습 과정을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서의 클래스 정답지를 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에서의 클래스 의존적 정답지를 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에서의 클래스 독립적 정답지를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에서의 클래스 군집화 정답지를 생성하는 과정을 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에서 생성된 클래스 정답지가 적용된 유사 타겟 도메인을 기반으로 딥러닝 모델을 학습하는 과정을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템의 블록도이다.1A to 1D are diagrams showing a transfer learning process for general data augmentation.
Figure 2 is a flowchart of a deep learning model generation method according to an embodiment of the present invention.
Figure 3 is a diagram for explaining the concept of a deep learning model generation method according to an embodiment of the present invention.
Figure 4 is a diagram for explaining the process of generating a class answer key in one embodiment of the present invention.
Figure 5 is a diagram for explaining the process of generating a class-dependent answer key in one embodiment of the present invention.
Figure 6 is a diagram for explaining the process of generating a class-independent answer key in one embodiment of the present invention.
Figure 7 is a diagram for explaining the process of generating a class clustering answer key in one embodiment of the present invention.
Figures 8 to 10 are diagrams showing the process of learning a deep learning model based on a similar target domain to which the class answer key generated in one embodiment of the present invention is applied.
Figure 11 is a block diagram of a deep learning model generation system according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.
이하에서는 도 2 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법(이하, 딥러닝 모델 생성 방법)에 대해 설명하도록 한다.Hereinafter, a deep learning model generation method based on hierarchical transfer learning for environmental information recognition according to an embodiment of the present invention (hereinafter referred to as a deep learning model generation method) will be described with reference to FIGS. 2 to 10.
도 2는 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 순서도이다. 도 3은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법의 개념을 설명하기 위한 도면이다.Figure 2 is a flowchart of a deep learning model generation method according to an embodiment of the present invention. Figure 3 is a diagram for explaining the concept of a deep learning model generation method according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 딥러닝 모델 생성 방법은 비타겟 도메인 데이터셋을 기반으로 딥러닝 모델을 1차 학습하는 단계(S110)와, 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계(S120)와, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계(S130)와, 상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 1차 학습된 딥러닝 모델에 대한 2차 학습을 수행하는 단계(S140) 및 상기 타겟 도메인의 데이터셋을 기반으로 상기 2차 학습된 딥러닝 모델에 대한 3차 학습을 수행하는 단계(S150)를 포함하여 실시된다.A deep learning model generation method according to an embodiment of the present invention includes the step of first learning a deep learning model based on a non-target domain dataset (S110), a target domain, and data collected as having a similar purpose to the target domain. Analyzing feature information for each dataset of a similar target domain (S120); Generating a class answer key for each dataset of the similar target domain based on the analysis result of the feature information (S130); Performing secondary learning on the primary learned deep learning model based on a dataset of a similar target domain having the generated class answer key (S140) and performing secondary learning based on the dataset of the target domain It is carried out including a step (S150) of performing third learning on the deep learning model.
한편, 도 2에 도시된 각 단계들은 후술하는 딥러닝 모델 생성 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.Meanwhile, each step shown in FIG. 2 may be understood as being performed by the deep learning
먼저, 도메인이 타겟되지 않은 기존 데이터셋인 비타겟 도메인 데이터셋을 기반으로 딥러닝 모델에 대한 1차 학습을 수행한다(S110). 이때, 비타겟 도메인 데이터셋은 사람/동물, 날씨 등의 다양한 도메인에 대한 오픈된 일반 데이터셋으로, S110 단계에서는 딥러닝 모델을 대상으로 전이학습 정답지 생성 방법을 적용하여, 오픈된 일반 데이터셋인 비타겟 도메인 데이터셋을 통해 보편적 지식을 학습한다.First, the first learning of the deep learning model is performed based on the non-target domain dataset, which is an existing dataset where the domain is not targeted (S110). At this time, the non-target domain dataset is an open general dataset for various domains such as people/animals and weather. In step S110, the transfer learning answer key generation method is applied to the deep learning model to create an open general dataset. Learn universal knowledge through non-target domain datasets.
다음으로, 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인과 타겟 도메인의 각 데이터 셋에 대한 특징 정보를 분석한다(S120). 이때, 유사 타겟 도메인은 타겟 도메인과 비슷한 목적을 위해 수집된 데이터셋으로 구성된 도메인으로, 유사 타겟 도메인을 구성하는 데이터셋은 오픈된 데이터셋으로 구성될 수 있다. Next, characteristic information on each data set of the target domain and the similar target domain collected as having a similar purpose as the target domain is analyzed (S120). At this time, the similar target domain is a domain composed of datasets collected for a similar purpose as the target domain, and the dataset constituting the similar target domain may be composed of an open dataset.
즉, 기존에는 타겟 도메인에 최적화된 딥러닝 모델을 생성하기 위해서, 타겟 도메인 데이터셋에 대해서만 데이터를 수집하고 이를 바로 딥러닝 모델의 학습에 적용하였는데, 이 경우 학습된 딥러닝 모델에 입력되는 타겟 도메인의 이미지가 조금이라도 달라질 경우 동일한 인식 결과를 출력하지 못하는 문제가 있었다. In other words, in order to create a deep learning model optimized for the target domain, data was collected only for the target domain dataset and applied directly to the training of the deep learning model. In this case, the target domain input to the learned deep learning model was collected. There was a problem in that the same recognition results could not be output if the image was slightly different.
본 발명의 일 실시예는 이러한 문제를 해소하기 위해, 타겟 도메인과 동일 목적을 갖는 것으로 결정된 유사 타겟 도메인의 데이터셋을 수집하고 이에 대한 클래스 정답지를 재정의한 후, 클래스 정답지가 재정의된 유사 타겟 도메인의 데이터셋을 기반으로 딥러닝 모델을 학습하고, 이후 타겟 도메인의 데이터셋을 기반으로 딥러닝 모델을 학습함으로써 위와 같은 문제를 해소할 수 있다.In order to solve this problem, one embodiment of the present invention collects a data set of a similar target domain determined to have the same purpose as the target domain, redefines the class answer key for the same, and then uses the redefined class answer key of the similar target domain. The above problem can be solved by learning a deep learning model based on the dataset and then learning the deep learning model based on the dataset of the target domain.
일 실시예로, S120 단계에서는 타겟 도메인의 데이터셋 및 유사 타겟 도메인의 데이터셋에 대한 클래스별로 포함된 이미지의 특징 정보를 분석할 수 있다. In one embodiment, in step S120, feature information of images included by class for the target domain dataset and the similar target domain dataset may be analyzed.
다음으로, 특징 정보의 분석 결과를 기반으로 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성한다(S130).Next, a class answer key is generated for each dataset of a similar target domain based on the analysis results of the feature information (S130).
도 4는 본 발명의 일 실시예에서의 클래스 정답지를 생성하는 과정을 설명하기 위한 도면이다.Figure 4 is a diagram for explaining the process of generating a class answer key in one embodiment of the present invention.
일 실시예로, 유사 타겟 도메인의 데이터셋이 타겟 도메인의 데이터셋 간의 특징 정보에 대한 유사도를 산출하고(S131), 비교 결과 유사도가 기 설정된 임계값을 초과하여 유사한 것으로 분석된 경우 클래스 의존적 정답지를 생성하고(S132), 반대로 유사 타겟 도메인의 데이터셋이 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우 클래스 독립적 정답지 또는 클래스 군집화 정답지를 생성할 수 있다(S133~S135). In one embodiment, the similarity of the feature information between the datasets of the similar target domain is calculated (S131), and when the similarity is analyzed to exceed a preset threshold as a result of the comparison, the class-dependent answer key is provided. Generate (S132), and conversely, if the data set of the similar target domain is analyzed as dissimilar to the data set of the target domain, a class-independent answer key or a class clustering answer key can be generated (S133 to S135).
이때, 유사 정도는 딥러닝 모델이 적용된 디바이스의 설치 환경에 따라 사용자의 의도가 다를 수 있는바, 사용자의 의도 정보에 따라 유사도의 임계값이 결정될 수 있다. 또는, 사용자가 직접 시각적으로 타겟 도메인과 유사 타겟 도메인의 유사 여부를 확인하여 결정할 수도 있다.At this time, the degree of similarity may vary depending on the user's intention depending on the installation environment of the device to which the deep learning model is applied, and the threshold value of similarity may be determined according to the user's intention information. Alternatively, the user may decide to visually check whether the target domain is similar to the similar target domain.
예를 들어, 타겟 도메인과 유사 타겟 도메인의 데이터셋이 흐림 클래스에 대한 이미지를 제공하더라도, 흐림 클래스에 포함된 이미지가 매우 다르다면 두 데이터셋의 특징이 모두 같다고 할 수 없다. 이 경우 동일한 클래스로 정의하여 학습 데이터로 사용할 경우 딥러닝 모델의 성능 저하 요인으로 작용할 수 있으므로 클래스 독립적으로 판단하여 클래스 독립적 정답지를 생성 및 적용할 수 있다. 반대로, 포함된 흐림 이미지가 매우 유사하다면 데이터셋의 특징이 유사하다고 볼 수 있으므로 동일한 클래스로 판단하여 클래스 의존적 정답지를 생성 및 적용할 수 있다.For example, even if the datasets of the target domain and the similar target domain provide images for the blur class, if the images included in the blur class are very different, the features of the two datasets cannot be said to be the same. In this case, if the same class is defined and used as learning data, it may act as a factor in deteriorating the performance of the deep learning model, so class-independent judgment can be made to generate and apply a class-independent answer key. Conversely, if the included blur images are very similar, the characteristics of the dataset can be considered similar, so it can be judged to be the same class and generate and apply a class-dependent answer key.
도 5는 본 발명의 일 실시예에서의 클래스 의존적 정답지를 생성하는 과정을 설명하기 위한 도면이다.Figure 5 is a diagram for explaining the process of generating a class-dependent answer key in one embodiment of the present invention.
일 실시예로, 본 발명에서는 비타겟 도메인 데이터셋의 정답지를 유사 타겟 도메인의 데이터셋에 적용하여 새로운 클래스 정답지를 생성할 수 있다(S132). As an example, in the present invention, a new class answer key can be generated by applying the answer key from a non-target domain dataset to a data set of a similar target domain (S132).
이때, 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스의 경우 동일 클래스로 설정하여, 각 데이터셋의 클래스 의존적 정답지의 클래스명이 동일하도록 생성할 수 있다. 즉, 클래스 의존적 정답지를 생성하기 위해서는 동일한 이름의 클래스는 동일 클래스로 간주하여 데이터셋마다 동일한 클래스 이름을 통합적으로 사용하여 정답지를 생성할 수 있다.At this time, in the case of classes having the same class name between each dataset of a similar target domain, they can be set to the same class, so that the class-dependent answer key of each dataset has the same class name. In other words, in order to generate a class-dependent answer sheet, classes with the same name are considered the same class, and the same class name can be used comprehensively for each dataset to generate the answer sheet.
일 예로, 데이터셋 1의 클래스 1과 데이터셋 2의 클래스 1은 동일한 이름의 클래스이므로, 전이학습에 사용되는 클래스는 동일하게 클래스 1로 정의할 수 있다.For example, since
도 6은 본 발명의 일 실시예에서의 클래스 독립적 정답지를 생성하는 과정을 설명하기 위한 도면이다.Figure 6 is a diagram for explaining the process of generating a class-independent answer key in one embodiment of the present invention.
일 실시예로, 유사 타겟 도메인의 데이터셋이 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우(S131-N), 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스에 대하여 이종 클래스로 설정하여, 각 데이터셋의 클래스 독립적 정답지의 클래스명이 각각 상이하도록 생성할 수 있다(S133). 즉, 데이터셋의 특징 분석 결과를 확인하여 타겟 도메인과 유사 타겟 도메인의 모든 데이터셋의 클래스별 이미지가 현저히 차이가 나는 경우(S134), 동일한 이름의 클래스라 하더라도 다른 클래스와 연관이 없는 독립적인 클래스로 간주하여 유사 타겟 도메인의 데이터셋마다 새로운 클래스명을 할당하여 클래스 독립적 정답지를 생성할 수 있다.In one embodiment, when the dataset of the similar target domain is analyzed as being dissimilar to the dataset of the target domain (S131-N), classes with the same class name among each dataset of the similar target domain are set as heterogeneous classes. Thus, the class names of the class-independent answer sheets of each dataset can be generated so that they are different (S133). In other words, if the images for each class of all datasets in the target domain and similar target domain are significantly different by checking the characteristic analysis results of the dataset (S134), even if the class has the same name, it is an independent class that is not related to other classes. Considering that, a new class name can be assigned to each dataset of a similar target domain to create a class-independent answer key.
일 예로, 데이터셋 1의 클래스 1과 데이터셋 2의 클래스 1은 동일한 이름의 클래스이지만, 전이학습에 사용되는 클래스는 클래스 1과 클래스 3으로 클래스명이 각각 다르도록 생성할 수 있다.For example,
도 7은 본 발명의 일 실시예에서의 클래스 군집화 정답지를 생성하는 과정을 설명하기 위한 도면이다.Figure 7 is a diagram for explaining the process of generating a class clustering answer key in one embodiment of the present invention.
일 실시예로, 유사 타겟 도메인의 데이터셋이 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우로(S131-N), 타겟 도메인과 유사 타겟 도메인의 클래스별 데이터 간의 비유사 정도가 소정의 기준 조건에 따른 구분이 불가한 경우(S134-N) 클래스 군집화 정답지를 생성할 수 있다(S135). 즉, 기존에 사용하던 클래스 대신 유사 타겟 도메인의 데이터에 대하여 K-means 클러스터링 알고리즘을 적용하여 임의의 K개의 군집 데이터로 구성하고, 각 구성된 군집 데이터를 새로운 클래스로 설정하여 클래스 군집화 정답지를 생성할 수 있다.In one embodiment, in the case where a dataset of a similar target domain is analyzed as being dissimilar to a dataset of the target domain (S131-N), the degree of dissimilarity between the target domain and data for each class of the similar target domain is determined by a predetermined standard condition. If distinction according to is not possible (S134-N), the class clustering answer sheet can be created (S135). In other words, instead of the previously used class, the K-means clustering algorithm can be applied to data from a similar target domain to configure K random cluster data, and each configured cluster data can be set as a new class to generate a class clustering answer key. there is.
도 8 내지 도 10은 본 발명의 일 실시예에서 생성된 클래스 정답지가 적용된 유사 타겟 도메인을 기반으로 딥러닝 모델을 학습하는 과정을 도시한 도면이다.Figures 8 to 10 are diagrams showing the process of learning a deep learning model based on a similar target domain to which the class answer key generated in one embodiment of the present invention is applied.
다음으로 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 1차 학습된 딥러닝 모델에 대하여 2차 학습을 수행한다(S140). Next, secondary learning is performed on the primary learned deep learning model based on a dataset of a similar target domain with the generated class answer key (S140).
다음으로, 타겟 도메인 데이터셋을 기반으로 2차 학습된 딥러닝 모델에 대한 3차 학습을 수행한다(S150).Next, third learning is performed on the second learning deep learning model based on the target domain dataset (S150).
이와 같이, 본 발명의 일 실시예는 보편적 특징을 갖는 데이터셋을 기반으로 전체적인 분류기의 학습을 수행하고, 그 다음 타겟 도메인과 유사한 유사 타겟 도메인을 기반으로 딥러닝 모델을 학습하되, 새롭게 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 딥러닝 모델을 재학습함으로써, 타겟 이미지가 조금이라도 달라지는 경우에도 딥러닝 모델의 안정적인 출력 결과를 획득할 수 있는 장점이 있다.In this way, an embodiment of the present invention performs learning of an overall classifier based on a dataset with universal features, and then learns a deep learning model based on a similar target domain similar to the target domain, but trains the newly created class. By relearning the deep learning model based on a dataset of a similar target domain with the correct answer key, there is an advantage in obtaining stable output results of the deep learning model even if the target image changes even slightly.
한편, 상술한 설명에서, 단계 S110 내지 단계 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 10에 기술된 내용은 도 11의 딥러닝 모델 생성 시스템(100)에도 적용된다.Meanwhile, in the above description, steps S110 to S150 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Additionally, some steps may be omitted or the order between steps may be changed as needed. In addition, even if other omitted content, the content described in FIGS. 2 to 10 also applies to the deep learning
이하에서는 도 11을 참조하여 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)에 대해 설명하도록 한다.Hereinafter, the deep learning
도 11은 본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)의 블록도이다.Figure 11 is a block diagram of a deep learning
본 발명의 일 실시예에 따른 딥러닝 모델 생성 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.The deep learning
통신모듈(110)은 소정의 네트워크를 통해 데이터셋을 수집한다.The
메모리(120)에는 데이터셋을 기반으로 딥러닝 모델을 학습하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. The
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.For example,
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라 비타겟 도메인 데이터셋을 기반으로 딥러닝 모델을 학습하고, 통신모듈(110)을 통해 수집된 타겟 도메인 및 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하며, 특징 정보 간의 유사도에 기초하여 각 데이터셋에 대한 클래스 정답지를 생성한다.As the
그리고 프로세서(130)는 새롭게 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 딥러닝 모델에 대한 재학습을 수행하며, 이후 타겟 도메인의 데이터셋을 기반으로 딥러닝 모델을 추가 학습하여, 타겟 도메인에 최적화됨과 동시에 타겟 도메인의 변화에 유연하면서 안정적을 동작 가능한 딥러닝 모델을 생성할 수 있다.Then, the
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that can be read by the processor (CPU) of the computer through the device interface of the computer in order for the computer to read the program and execute the methods implemented in the program. It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server in order to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
100: 딥러닝 모델 생성 시스템
110: 통신모듈
120: 메모리
130: 프로세서100: Deep learning model creation system
110: Communication module
120: memory
130: processor
Claims (11)
도메인이 타겟되지 않은 데이터셋(이하, 비타겟 도메인 데이터셋)을 기반으로 딥러닝 모델을 1차 학습하는 단계;
타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계;
상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계;
상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 1차 학습된 딥러닝 모델에 대한 2차 학습을 수행하는 단계; 및
상기 타겟 도메인의 데이터셋을 기반으로 상기 2차 학습된 딥러닝 모델에 대한 3차 학습을 수행하는 단계를 포함하는,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
In a method performed by a computer,
A step of first learning a deep learning model based on a non-targeted domain dataset (hereinafter, non-targeted domain dataset);
Analyzing characteristic information for each dataset of a target domain and a similar target domain collected as having a similar purpose as the target domain;
generating a class answer key for each dataset of the similar target domain based on an analysis result of the feature information;
performing secondary learning on the primary learned deep learning model based on a dataset of a similar target domain having the generated class answer key; and
Comprising the step of performing third learning on the second learned deep learning model based on the dataset of the target domain,
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석하는 단계는,
상기 타겟 도메인의 데이터셋 및 상기 유사 타겟 도메인의 데이터셋에 대한 클래스별 포함된 이미지의 특징 정보를 분석하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
According to paragraph 1,
The step of analyzing characteristic information for each dataset of the target domain and similar target domains collected as having a similar purpose as the target domain,
Analyzing feature information of images included by class for the dataset of the target domain and the dataset of the similar target domain,
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는,
상기 비타겟 도메인 데이터셋의 정답지를 상기 유사 타겟 도메인의 각 데이터셋에 적용하여 클래스 정답지를 생성하되, 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 유사한 것으로 분석된 경우 클래스 의존적 정답지를 생성하고, 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우 클래스 독립적 정답지를 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
According to paragraph 1,
The step of generating a class answer key for each dataset of the similar target domain based on the analysis results of the feature information,
The answer key of the non-target domain data set is applied to each data set of the similar target domain to generate a class answer key. However, if the data set of the similar target domain is analyzed to be similar to the data set of the target domain, a class-dependent answer key is generated. Generating, and generating a class-independent answer key when the dataset of the similar target domain is analyzed to be dissimilar to the dataset of the target domain,
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는,
상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스의 경우 동일 클래스로 설정하여, 각 데이터셋의 상기 클래스 의존적 정답지의 클래스명이 동일하도록 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
According to paragraph 3,
The step of generating a class answer key for each dataset of the similar target domain based on the analysis results of the feature information,
In the case of classes having the same class name between each dataset of the similar target domain, the classes are set to the same class, and the class names of the class-dependent answer key of each dataset are generated to be the same,
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는,
상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스에 대하여 이종 클래스로 설정하여, 각 데이터셋의 상기 클래스 독립적 정답지의 클래스명이 각각 상이하도록 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
According to paragraph 3,
The step of generating a class answer key for each dataset of the similar target domain based on the analysis results of the feature information,
Classes with the same class name between each dataset of the similar target domain are set as heterogeneous classes, and the class names of the class independent answer key of each dataset are generated so that they are different.
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하는 단계는,
상기 타겟 도메인과 상기 유사 타겟 도메인의 클래스별 데이터 간의 비유사 정도가 소정의 기준 조건에 따른 구분이 불가한 경우, 상기 유사 타겟 도메인의 데이터에 대하여 K-means 클러스터링 알고리즘을 적용하여 K개의 군집 데이터로 구성하고, 각 구성된 군집 데이터를 새로운 클래스로 설정하여 상기 클래스 군집화 정답지를 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 방법.
According to clause 5,
The step of generating a class answer key for each dataset of the similar target domain based on the analysis results of the feature information,
If the degree of dissimilarity between the target domain and the data for each class of the similar target domain cannot be distinguished according to predetermined standard conditions, the K-means clustering algorithm is applied to the data of the similar target domain to form K cluster data. Constructing and setting each configured cluster data as a new class to generate the class clustering answer key,
A method for creating a deep learning model based on hierarchical transfer learning for environmental information recognition.
상기 데이터셋을 기반으로 딥러닝 모델을 학습하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 도메인이 타겟되지 않은 데이터셋(이하, 비타겟 도메인 데이터셋)을 기반으로 딥러닝 모델의 1차 학습을 수행하고, 상기 통신모듈을 통해 수집된 타겟 도메인 및 상기 타겟 도메인과 유사 목적을 갖는 것으로 수집된 유사 타겟 도메인의 각 데이터셋에 대한 특징 정보를 분석한 후, 상기 특징 정보의 분석 결과를 기반으로 상기 유사 타겟 도메인의 각 데이터셋에 대한 클래스 정답지를 생성하고, 상기 생성된 클래스 정답지를 갖는 유사 타겟 도메인의 데이터셋을 기반으로 상기 딥러닝 모델에 대한 2차 학습을 수행하며, 상기 타겟 도메인의 데이터셋을 기반으로 상기 딥러닝 모델에 대한 3차 학습을 수행하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템.
A communication module that collects data sets through a certain network,
A memory storing a program for learning a deep learning model based on the dataset, and
Including a processor that executes the program stored in the memory,
As the processor executes the program, the processor performs primary learning of a deep learning model based on a dataset in which the domain is not targeted (hereinafter referred to as non-target domain dataset), and the target domain collected through the communication module And after analyzing the characteristic information for each dataset of the similar target domain collected as having a similar purpose as the target domain, a class answer key for each dataset of the similar target domain is based on the analysis result of the characteristic information. Generate, perform secondary learning on the deep learning model based on a dataset of a similar target domain with the generated class answer key, and perform tertiary learning on the deep learning model based on the dataset of the target domain. To perform,
A deep learning model creation system based on hierarchical transfer learning for environmental information recognition.
상기 프로세서는 상기 타겟 도메인의 데이터셋 및 상기 유사 타겟 도메인의 데이터셋에 대한 클래스별 포함된 이미지의 특징 정보를 분석하고,
상기 특징 정보의 분석 결과를 기반으로 상기 비타겟 도메인 데이터셋의 정답지를 상기 유사 타겟 도메인의 각 데이터셋에 적용하여 클래스 정답지를 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템.
In clause 7,
The processor analyzes feature information of images included by class for the dataset of the target domain and the dataset of the similar target domain,
Based on the analysis results of the feature information, the answer key of the non-target domain dataset is applied to each data set of the similar target domain to generate a class answer key,
A deep learning model creation system based on hierarchical transfer learning for environmental information recognition.
상기 프로세서는 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 유사한 것으로 분석된 경우 클래스 의존적 정답지를 생성하되, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스의 경우 동일 클래스로 설정하여, 각 데이터셋의 상기 클래스 의존적 정답지의 클래스명이 동일하도록 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템.
According to clause 8,
The processor generates a class-dependent answer key when the dataset of the similar target domain is analyzed to be similar to the dataset of the target domain, but in the case of classes having the same class name between each dataset of the similar target domain, the processor generates a class-dependent answer key to the same class. By setting, the class name of the class-dependent answer key in each dataset is generated so that the class name is the same,
A deep learning model creation system based on hierarchical transfer learning for environmental information recognition.
상기 프로세서는 상기 유사 타겟 도메인의 데이터셋이 상기 타겟 도메인의 데이터셋과 비유사한 것으로 분석된 경우 클래스 독립적 정답지를 생성하되, 상기 유사 타겟 도메인의 각 데이터셋 간에 동일 클래스명을 갖는 클래스에 대하여 이종 클래스로 설정하여, 각 데이터셋의 상기 클래스 독립적 정답지의 클래스명이 각각 상이하도록 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템.
According to clause 8,
The processor generates a class-independent answer key when the data set of the similar target domain is analyzed to be dissimilar to the data set of the target domain, and a heterogeneous class for classes with the same class name among each data set of the similar target domain. By setting it to , the class names of the class-independent answer sheets of each dataset are generated so that they are different from each other.
A deep learning model creation system based on hierarchical transfer learning for environmental information recognition.
상기 프로세서는 상기 타겟 도메인과 상기 유사 타겟 도메인의 클래스별 데이터 간의 비유사 정도가 소정의 기준 조건에 따른 구분이 불가한 경우, 상기 유사 타겟 도메인의 데이터에 대하여 K-means 클러스터링 알고리즘을 적용하여 K개의 군집 데이터로 구성하고, 각 구성된 군집 데이터를 새로운 클래스로 설정하여 상기 클래스 군집화 정답지를 생성하는 것인,
환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템.According to clause 10,
If the degree of dissimilarity between the target domain and data for each class of the similar target domain cannot be distinguished according to a predetermined standard condition, the processor applies the K-means clustering algorithm to the data of the similar target domain to obtain K It is composed of cluster data, and each configured cluster data is set as a new class to generate the class clustering answer key,
A deep learning model creation system based on hierarchical transfer learning for environmental information recognition.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107219A KR20240029127A (en) | 2022-08-26 | 2022-08-26 | System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition |
| PCT/KR2022/014926 WO2024043390A1 (en) | 2022-08-26 | 2022-10-04 | Deep learning model generation system and method based on hierarchical transfer learning for environmental information recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107219A KR20240029127A (en) | 2022-08-26 | 2022-08-26 | System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240029127A true KR20240029127A (en) | 2024-03-05 |
Family
ID=90013619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220107219A KR20240029127A (en) | 2022-08-26 | 2022-08-26 | System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240029127A (en) |
| WO (1) | WO2024043390A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200057291A (en) | 2018-11-16 | 2020-05-26 | 한국전자통신연구원 | Method and apparatus for creating model based on transfer learning |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10497122B2 (en) * | 2017-10-11 | 2019-12-03 | Adobe Inc. | Image crop suggestion and evaluation using deep-learning |
| US10956787B2 (en) * | 2018-05-14 | 2021-03-23 | Quantum-Si Incorporated | Systems and methods for unifying statistical models for different data modalities |
| KR102176111B1 (en) * | 2018-10-18 | 2020-11-09 | 부산대학교 산학협력단 | Method and system for providing of naive semi-supervised deep learning using unlabeled data |
| KR102261187B1 (en) * | 2020-02-04 | 2021-06-07 | 광주과학기술원 | System and method for machine learning based surveillance video analysis |
| KR102421349B1 (en) * | 2020-05-07 | 2022-07-14 | 에스케이텔레콤 주식회사 | Method and Apparatus for Transfer Learning Using Sample-based Regularization |
-
2022
- 2022-08-26 KR KR1020220107219A patent/KR20240029127A/en unknown
- 2022-10-04 WO PCT/KR2022/014926 patent/WO2024043390A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200057291A (en) | 2018-11-16 | 2020-05-26 | 한국전자통신연구원 | Method and apparatus for creating model based on transfer learning |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024043390A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20050054394A (en) | Face recognition method and apparatus using pca learning per subgroup | |
| US20200272726A1 (en) | Method and apparatus for generating artificial intelligence resistant verification images | |
| CN109118420B (en) | Watermark identification model establishing and identifying method, device, medium and electronic equipment | |
| JP7448562B2 (en) | Dealing with rare training data for artificial intelligence | |
| WO2021104128A1 (en) | Feature library update method and apparatus, inference server and storage medium | |
| CN113221983B (en) | Training method and device for transfer learning model, image processing method and device | |
| WO2021128846A1 (en) | Electronic file control method and apparatus, and computer device and storage medium | |
| CN114330588A (en) | Picture classification method, picture classification model training method and related device | |
| Haq et al. | Automatic test suite generation for key-points detection DNNs using many-objective search (experience paper) | |
| Jabeen et al. | A deep multimodal system for provenance filtering with universal forgery detection and localization | |
| US20230267709A1 (en) | Dataset-aware and invariant learning for face recognition | |
| JP7438365B2 (en) | Learning utilization system, utilization device, learning device, program and learning utilization method | |
| KR20170057118A (en) | Method and apparatus for recognizing object, and method and apparatus for training recognition model | |
| CN113887490A (en) | DSSD neural network-based intelligent home environment control real-time recognition system and control method thereof | |
| CN112949534A (en) | Pedestrian re-identification method, intelligent terminal and computer readable storage medium | |
| CN113609866A (en) | Text marking method, device, equipment and storage medium | |
| CN116432210B (en) | File management method and system based on security protection | |
| US11551084B2 (en) | System and method of robust active learning method using noisy labels and domain adaptation | |
| KR20240029127A (en) | System and method for generating deep learning model based on hierachical transfer learning for environmental information recognition | |
| CN112001300A (en) | Building monitoring method and device based on cross entropy according to position and electronic equipment | |
| CN113286008B (en) | Edge computing intelligent gateway service processing method and intelligent gateway system | |
| CN116324906A (en) | Action object recognition in a cluttered video scene using text | |
| CN112348045A (en) | Training method and training device for neural network and electronic equipment | |
| US11631267B1 (en) | Systems and methods for utilizing a tiered processing scheme | |
| CN114626430B (en) | Emotion recognition model training method, emotion recognition device and emotion recognition medium |