KR20190054782A - Apparatus and method for enhancing learning capacility for machine learning - Google Patents
Apparatus and method for enhancing learning capacility for machine learning Download PDFInfo
- Publication number
- KR20190054782A KR20190054782A KR1020170151748A KR20170151748A KR20190054782A KR 20190054782 A KR20190054782 A KR 20190054782A KR 1020170151748 A KR1020170151748 A KR 1020170151748A KR 20170151748 A KR20170151748 A KR 20170151748A KR 20190054782 A KR20190054782 A KR 20190054782A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- background image
- image
- images
- module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 이미지 합성을 통해 다양하고 강건한 학습 이미지를 생성하여 머신 러닝(machine learning)의 학습 성능을 향상/강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for enhancing learning performance of machine learning capable of enhancing / enhancing learning performance of machine learning by generating various and robust learning images through image synthesis.
일반적으로 머신 러닝(machine learning, 기계 학습)은 데이터를 기반으로 기계가 직접 학습과 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. In general, machine learning (machine learning) is a technology that studies and constructs a system and its algorithms that perform data learning based on data, perform learning and prediction directly, and improve their performance.
기존의 머신 러닝 시스템의 개발에 사용되는 영상분석용 딥러닝 기술의 경우는 머신 러닝에서 요구되는 학습 데이터의 요구량을 크게 상회하는 수만~수백만 장의 학습 이미지 데이터가 필요하다. Deep learning techniques for image analysis used in the development of existing machine learning systems require tens of thousands to millions of pieces of learning image data, far exceeding the required amount of learning data required for machine learning.
하지만, 실제로는 일부 공개되어있는 몇 종류의 표준 벤치마킹 데이터 세트 외에는 여러 가지 기술 외적인 요인으로 인해 대용량 학습 데이터의 확보 자체가 쉽지 않은 실정이다. 특히 전차, 항공기 등과 같은 무기체계에 관련된 학습 이미지의 경우는 분야의 특수성으로 인해 이미지의 출처가 매우 제한적이고 머신 러닝 학습용 이미지 데이터의 수집/획득에 많은 한계가 있는 실정이다.However, in reality, it is not easy to acquire large-capacity learning data due to a variety of factors other than some standard benchmarking data sets which are partially disclosed. Especially, in the case of learning images related to weapon systems such as trams and airplanes, the source of images is very limited due to the specificity of the field, and there are limitations in collecting / acquiring image data for machine learning learning.
본 발명의 목적은 이미지 출처가 매우 제한적이고 수집/획득에 많은 한계가 있는 머신 러닝 학습용 이미지를 다양하게 생성할 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다. It is an object of the present invention to provide an apparatus and method for enhancing learning performance of machine learning capable of variously generating images for machine learning learning in which image sources are very limited and there are many limitations in acquisition / acquisition.
본 발명의 다른 목적은 머신 러닝 학습에 적용될 다양한/강건한 합성 학습 이미지를 생성하여 데이터의 학습 성능을 강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide an apparatus and method for enhancing learning performance of machine learning capable of enhancing data learning performance by generating various / robust synthetic learning images to be applied to machine learning learning.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 머신 러닝의 습성능 강화장치는, 적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈; 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및 상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for enhancing wet performance of machine learning, the apparatus comprising: a learning data module for outputting learning data of a 3D CAD model including at least one inorganic object; A plurality of 2D inorganic object images having different angles, perspectives, and directions are generated based on the type of the 3D inorganic object included in the learning data, and the generated plurality of 2D inorganic object images are combined with one or more background images and digital noise Learning performance enhancement module for generating images; And a fast cluster computing module for performing pattern learning according to a neural network model and a neural network operation provided in the neural network model unit and the neural network operation framework, and machine learning for recognizing the inorganic object, on the generated learning image.
본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 있다. According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.
본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은, 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module divides an inorganic object to perform machine learning from learning data of a 3D CAD model to recognize the type, A plurality of 2D learning images can be automatically generated by adjusting the perspective and direction differently.
본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module can divide an inorganic object by removing a background image when the learning data of the 3D CAD model includes a unique background image.
본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, the learning performance enhancing module is configured to classify one or more background images associated with the generated plurality of 2D learning images and a digital image corresponding to the digital image, based on the type of the recognized inorganic object, Noise is selected from the storage medium, and the specificity may include angle, perspective and direction.
본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module determines the specificity of the digital noise type and at least one background image selected from the storage medium, and determines the specificity of each of the plurality of 2D learning images, Sequential synthesis or random synthesis may optionally be performed based on the type of specificity.
본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈; 배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module includes: a 2D learning image generation module for generating a plurality of 2D learning images having different angles, perspective and direction from the learning data of the 3D CAD model; A background image selection module for selecting at least one background image or a background image of a geometric pattern from the background image storage module; A digital noise selection module for selecting at least one digital noise from the digital noise storage module; And a learning image synthesis module that synthesizes the generated plurality of 2D learning images, the selected at least one background image and digital noise, and outputs a plurality of learning images to be used in the tilting machine.
상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화장치는, 적어도 하나의 무기 객체를 포함하는 3D CAD 모델의 학습 데이터로부터 무기 객체를 분할 및 검출하고, 검출된 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 조정된 복수의 2D 무기 객체 이미지를 생성하는 2D학습 이미지 생성 모듈; 제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for enhancing a learning performance of a machine learning, the apparatus comprising: a processor for dividing and detecting an inorganic object from learning data of a 3D CAD model including at least one inorganic object, A 2D learning image generation module for generating a plurality of 2D inorganic object images whose angles, perspective and direction are adjusted based on the type of the inorganic object; A background image selection module for selecting at least one background image from the first storage module; A digital noise selection module for selecting at least one digital noise from the second storage module; And a learning image composing module for generating a plurality of learning images to be used for machine learning by synthesizing a 2D inorganic object image, a background image, and digital noise based on the generated plurality of 2D inorganic object images and the at least one background image specificity, ; ≪ / RTI >
본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 잇다.According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.
본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.According to an embodiment of the present invention, the 2D learning image generation module divides an inorganic object to be machine-runned from learning data of the 3D CAD model to recognize the type, and calculates an angle of the 3D inorganic object based on the recognized type , The perspective and orientation are differently adjusted to automatically generate a plurality of 2D learning images. When the learning data of the 3D CAD model includes a unique background image, the learning performance enhancing module removes the corresponding background image, Can be divided.
본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성을 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고, 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, the 2D learning image generation module notifies the background image selection module and the digital noise selection module of the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object, And the digital noise selection module respectively select one or more background images and digital noise associated with the generated plurality of 2D learning images from the first and second storage media based on the type and the specificity of the inorganic object, Angle, perspective and direction.
본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하여, 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.According to an embodiment of the present invention, the learning image synthesis module determines the specificity of at least one background image type selected in the background image selection module and the digital noise selection module, and determines the specificity of each of the plurality of 2D learning images, And can selectively perform sequential or random synthesis based on the specificity of the discriminated background image type.
본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성할 수 있다.According to an embodiment of the present invention, the learning image synthesis module synthesizes a background image with a 2D learning image and finally synthesizes digital noise when the specificity of each of the 2D learning images exceeds a threshold value, When the specificity of each of the images is less than the threshold value and the specificity of the background image type is equal to or greater than the threshold value, the 2D learning image is synthesized in the background image and finally the digital noise is synthesized. The 2D learning image, the background image, and the digital noise can be randomly synthesized.
상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화방법은, 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 단계; 및 상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며, 상기 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for enhancing learning performance of machine learning, the method comprising: outputting learning data of a 3D CAD model including an inorganic object; And generating a plurality of 2D weapon object images by adjusting the specificity of the 3D weapon objects based on the type of the 3D weapon objects included in the learning data and outputting the generated plurality of 2D weapon object images and one or more background images and digital noise And generating a learning image, wherein the generating the learning image comprises: recognizing a type of a specific inorganic object segmented from learning data of the 3D CAD model and generating a 3D inorganic object based on the recognized type; Adjusting a distance, an angle, and a direction of the 2D learning image to generate a plurality of 2D learning images; And selecting one or more background images and digital noise associated with the plurality of 2D learning images based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object.
본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 있다.According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.
본 발명의 실시예에 따라, 상기 복수의 2D 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, when the learning data of the 3D CAD model includes a unique background image, the step of generating the plurality of 2D learning images includes a step of dividing the inorganic object by removing the background image , And the specificity may include an angle, a perspective and an orientation.
본 발명의 실시예에 따라, 상기 학습 이미지를 생성하는 단계는 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하는 단계; 및 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 수행하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, the step of generating the learning image comprises: determining the specificity of the selected at least one background image type; And performing sequential or random compositing based on the specificity of each of the plurality of 2D learning images and the specificity of the determined background image type.
본 발명의 실시예에 따라, 상기 순차 합성 또는 랜덤 합성을 수행하는 단계는, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, performing the sequential synthesis or the random synthesis may include synthesizing a background image in a 2D learning image when the specificity of each of the 2D learning images exceeds a threshold value, ; Synthesizing a 2D learning image on a background image when the specificity of each of the 2D learning images is less than a threshold value and the specificity of a background image type is more than a threshold value, and finally synthesizing digital noise; And randomly synthesizing the 2D learning image, the background image, and the digital noise when the specificities of the 2D learning image and the background image are both equal to or less than the threshold value.
본 발명은 학습성능 강화모듈을 이용하여 학습데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시키는 학습데이터 대량 생성 구조를 제안하여 다양한 학습 데이터 환경과 조건을 만들 수 있는 효과가 있다. 이로 인하여 본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 근본적으로 해결할 수 있는 효과가 있다.The present invention relates to a learning enhancement module for improving learning performance (robustness / generalization) of machine learning learning data by applying a learning image synthesis technique for synthesizing a real background image or a geometric pattern and digital noise to a learning data source It is possible to create various learning data environment and conditions by proposing a mass data generation structure. Therefore, the present invention has an effect of fundamentally solving the problem of insufficient learning data inherent in the existing machine learning process.
도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도.
도 2는 도 1에 도시된 학습 성능 강화 모듈의 상세 블록 구성도.
도 3은 본 발명에 따른 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화방법에 따른 각 모듈의 동작을 나타낸 순서도.
도 4는 본 발명에서 적용되는 배경 이미지의 일 예를 나타낸 도면.
도 5는 본 발명에서 적용되는 디지털 노이즈의 일 예를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 학습 성능 강화 모듈이 구비하고 있는 이미지 분할 기능과 이미지 합성 기능의 일 예를 나타낸 도면.
도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 상룡될 최종 학습 이미지를 생성하는 일 에를 나타낸 도면. 1 is a block diagram of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention;
FIG. 2 is a detailed block diagram of the learning performance enhancing module shown in FIG. 1. FIG.
3 is a flowchart showing the operation of each module according to a method for enhancing learning performance of machine learning according to an embodiment of the present invention.
4 is a diagram showing an example of a background image applied in the present invention.
5 is a diagram showing an example of digital noise applied in the present invention.
6 is a diagram illustrating an example of an image segmentation function and an image composition function provided in the learning performance enhancement module according to the embodiment of the present invention.
Figure 7 illustrates the generation of a final training image to be subjected to machine learning by synthesizing a 2D learning image, a background image, and digital noise in a learning performance enhancement module according to an embodiment of the present invention.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. The suffix " module " and " part " for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.
그리고, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.And, the singular expressions used in the specification include plural expressions unless the context clearly indicates otherwise. In this specification, " comprises " Or " include. &Quot; Should not be construed to encompass the various components or steps described in the specification, and some of the components or portions may not be included, or may include additional components or steps And the like.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Further, in the description of the technology disclosed in this specification, a detailed description of related arts will be omitted if it is determined that the gist of the technology disclosed in this specification may be obscured.
본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 해결하기 위해 학습 데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용하여 머신 러닝 학습 데이터의 학습 성능(강건화/일반화)을 향상시키는 학습 데이터 대량 생성 구조를 제안한다. 상기 학습 데이터 대량 생성 구조에 의해 본 발명은 다양한 학습 데이터 환경과 조건을 생성할 수 있다. The present invention relates to a learning image synthesis technique for synthesizing a real background image or a geometric pattern and a digital noise to a learning data source in order to solve a learning data lacking inherent in an existing machine learning process, (Robustness / generalization) is proposed. By means of the above learning data mass generation structure, the present invention can generate various learning data environments and conditions.
도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도이다. 1 is a block diagram of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention.
도 1에 도시된 바와같이, 본 발명에 따른 머신 러닝의 학습성능 강화장치는, 학습 데이터 모듈(100), 신경망 모델부(110), 신경망 연산 프레임워크(120), 학습 성능 강화 모듈(130), 고속 클러스터 컴퓨팅 모듈(140) 및 훈련 모델 예측부(140)를 포함한다. 1, the apparatus for enhancing learning performance of a machine learning according to the present invention includes a
상기 학습 데이터 모듈(100)은 머신 러능을 수행할 학습 데이터 원본을 제공한다. 상기 학습 데이터 원본은 3차원(3D) CAD 모델 데이터일 수 있다. 상기 3차원(3D) CAD 모델 데이터는 적어도 하나의 무기 객체를 포함할 수 있다.The
상기 신경망 모델부(110)는 기 정의된 신경망 모델을 제공할 수 있고, 상기 신경망 연산 프레임워크(120)는 학습 데이터에 대하여 머신 러닝과 예측을 수행하기 위한 신경망 연산을 제공할 수 있다. The neural
상기 학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 이미지 학습 데이터 모듈(100)로부터 입력된 학습 데이터 원본으로부터 적어도 하나의 무기 객체를 분할하여 상기 분할된 적어도 하나의 무기 객체에 관련된 복수의 2D 학습 이미지(무기 객체 이미지)를 생성하고, 상기 생성된 복수의 2D 학습 이미지를 이미지 합성 기능을 이용하여 다수의 배경 이미지(실물 배경 또는 기하하적 패턴의 배경 이미지) 및 디지털 노이즈와 합성하여 머신 러닝을 수행하기 위한 학습 이미지를 출력한다. The learning
일 구현 예에서, 상기 학습 성능 강화 모듈(130)은 분할된 3D 무기 객체의 유형을 인식한 후 인식된 해당 3D 무기 객체의 각도, 원근 및 방향을 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다. 상기 학습 성능 강화 모듈은 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 각도, 원근 및 방향을 근거로, 상기 생성된 복수의 2D 학습 이미지와 합성될 배경 이미지와 디지털 노이즈를 결정할 수 있다. In one embodiment, the learning
상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다. 상기 분할 기능은 디지털 영상을 여러 개의 픽셀 집합으로 나누어 의미 있는 해석을 가능하도록 분할하는 것을 나타낸다. The synthesis may be based on predetermined conditions (random / rule based). The dividing function divides the digital image into a plurality of pixel sets and divides the image so as to allow meaningful analysis.
상기 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여, 상기 학습 이미지에 대하여 머신 러닝을 수행할 수 있다. The fast
상기 훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 러닝 머신 및 예측에 기반하여 해당 학습 이미젱 대한 훈련 모델 이용 여부를 결정할 수 있다. The training-model predicting
도 2는 도 1에 도시된 학습 성능 강화 모듈(130)의 상세 블록 구성도이다. FIG. 2 is a detailed block diagram of the learning-performance-
도 2를 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 원본(3D CAD 모델)을 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈(10)과, 배경 이미지 저장모듈(20a)로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하적 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈(20)과, 디지털 노이즈 저장 모듈(30b)로부터 적어도 하나 이상의 디지털 노이즈(e.g., 균일 분포 또는 가우시안 분포)를 선정하는 디지털 노이즈 선정 모듈(20)과, 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈(40)로 구성된다. 2, the learning
상기 2D 학습 이미지 생성 모듈(10)은 이미지 분할 기능을 구비하여 3D CAD 모델인 학습 데이터를 분할 및 검출(경계선 검출)하여, 임의의 각도, 원근 및 방향이 서로 상이한 다양한 2D 학습이미지를 생성할 수 있다. 상기 분해는 이미 고유 배경 이미지를 갖고 있는 학습 데이터로부터 배경을 제거하고 이미지를 추출하거나 이미지를 분할하는 것도 포함할 수 있다. 상기 분할은 3D CAD 모델인 학습 데이터를 복수의 영역으로 부분하여 사용하는 것을 포함한다. The 2D learning
상기 배경 이미지 저장 모듈(20a)은 복수의 배경 이미지를 저장할 수 있으며, 상기 복수의 배경 이미지는 실물 배경 이미지(e.g., 풍경)와 기하학적 패턴 이미지(e.g., 무늬, 형상 및 그들의 조합)를 포함할 수 있다. The background
상기 디지털 노이즈 저장모듈(30a)은 복수의 디지털 노이즈를 저장할 수 있으며, 상기 복수의 디지털 노이즈는 학습 방해 노이즈 및 랜덤 노이즈(normal /uniform/poisson 및 기타)를 포함할 수 있다. The digital
상기 배경 이미지 저장 모듈(20a)와 디지털 노이즈 저장모듈(30a)는 설명의 편의를 위하여 개별적으로 도시되었으나 이에 한정되는 것은 아니다. 즉, 하나의 메모리내에 각각 복수의 배경 이미지와 복수의 디지털 노이즈가 서로 다른 저장 영역에 저장될 수 있다. 이 경우 메모리는 도 2처럼 도시되지 않을 수도 있다.The background
상기 학습 이미지 합성 모듈(40)을 이미지 합성 기능을 구비하여, 생성된 복수의 2D학습 이미지와 상기 선택된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성할 수 있다. 이 경우 학습 이미지 합성 모듈(30)은 2D 학습이미지, 배경이미지 및 노이즈를 순차적으로 합성하거나 가변하여 합성할 수 있다. The learning
이와같이 구성된 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 첨부된 도면을 참조하여 설명하면 다음과 같다. 특히 본 발명의 특징은 학습 성능 강화 모델(130)에 있기 때문에 이를 중심으로 설명하기로 한다. The operation of the apparatus for enhancing learning performance of machine learning according to an embodiment of the present invention will now be described with reference to the accompanying drawings. In particular, since the feature of the present invention resides in the learning
도 3은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 나타낸 순서도이고, 도 4는 배경 이미지의 일 예이며, 도 5는 디지털 노이즈의 일 예이다. FIG. 3 is a flowchart illustrating an operation of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention. FIG. 4 is an example of a background image, and FIG. 5 is an example of digital noise.
도 3을 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 모듈(100)로부터 머신 러닝에 사용될 학습 데이타 원본인 3D CAD모델을 입력받을 수 있다. 상기 3D CAD모델은 무기체계에 관련된 3D 이미지로, 전차, 항공기, 포, 진지 등과 같은 개별 무기 객체 이미지 또는 그들의 조합일 수 있다(S100). Referring to FIG. 3, the learning
학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 적어도 하나 이상의 이미지를 인식/분할, 분할 이미지의 변형 및 재배치하여 복수의 2D학습 이미지를 생성한다(S110). 상기 분할은 무기 객체(weapon object) 이미지 또는 배경 이미지의 분할을 포함할 수 있다. 상기 이미지의 변형은 분할된 무기 객체의 사이즈 확대/축소, 각도, 원근 및 방향을 수정하는 것을 포함할 수 있다. 상기 재배치는 분할된 객체(object) 이미지 또는 배경 이미지의 위치 이동 및/또는 교체를 포함할 수 있다. The learning
일 실시예로, 학습 성능 강화 모듈(130)의 2D 학습 이미지 생성 모듈(20)은 운영자가 입력한 상세 설정에 기초하여 복수의 2D학습 이미지를 생성할 수 있다. 상기 상세 설정은 분할 대상인 무기 객체의 확대/축소, 각도, 원근, 방향, 재배치 위치 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 이 경우 학습 성능 강화 모듈(130)은 사용자 선택을 위해 별도의 사용자 인터페이스(UI)를 표시하거나 복수의 선택 항목이 포함된 메뉴를 제공할 수 있다. In one embodiment, the 2D learning
다른 실시예로, 상기 학습 성능 강화 모듈(130), 더 상세하게는 2D 학습 이미지 생성 모듈(20)은 객체 인식 기법을 통해 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 무기 객체(전차, 항공기, 포, 진지 및 기타)를 인식한 후 인식된 무기 객체의 유형(type)에 따라 각도, 원근 및 방향을 다르게 변경하여 복수의 2D 학습이미지를 생성할 수 있다. 일 예로, 전차의 경우는 배면이 보이는 이미지를 생성하지 않지만 항공기의 경우는 배면이 보이는 이미지를 생성할 수 있다. 특히, 2D 학습 이미지 생성 모듈(20)은 학습 데이터 원본(3D CAD 모델)으로부터 객체가 인식되면 인식된 객체의 유형을 배경 이미지 선정 모듈(20) 및 디지털 노이즈 선정 모듈(3)로 제공할 수 있다. In another embodiment, the learning
또한, 학습 성능 강화 모듈(130)은 이미지 선정 기능을 이용하여 2D 학습 이미지 생성 모듈(20)에서 생성된 복수의 2D 학습 이미지에 해당하는 적어도 하나의 배경 이미지와 디지털 노이즈를 선정할 수 있다(S120, S130). 상기 선정은 저장 매체(e.g., 저장 모듈)에 저장된 복수의 배경 이미지와 디지털 노이즈 중에서 상기 인식된 객체 유형에 매칭되는 적어도 하나의 배경 이미지를 선정하는 것을 의미한다. Also, the learning
즉, 일 실시예로, 학습 성능 강화 모듈(130)의 배경 이미지 선정 모듈(20)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 배경 이미지를 배경 이미지 저장 모듈(20a)로부터 선정할 수 있다. 상기 배경 이미지는 도 4에 도시된 바와같이, 실물 배경 이미지 및/또는 기하학적 패턴이 적용된 이미지를 포함할 수 있다. 상기 배경 이미지는 시간(e.g., 오전, 오후 또는 야간) 및 날씨(흐린날, 밝은 날, 비, 눈 및 기타)를 고려한 이미지일 수 있다. That is, in one embodiment, the background
또한, 일 실시예로, 학습 성능 강화 모듈(130)의 디지털 노이즈 선정 모듈 (30)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 디지털 노이즈를 디지털 노이즈 저장 모듈(30a)로부터 선정할 수 있다. 상기 디지털 노이즈는 상기 인식된 객체에 대한 머신 러닝을 방해는 노이즈로, 도 5에 도시된 바와같이 기 설정된 학습 방해 노이즈 또는 랜덤 노이즈(e.g., normal, uniform, poisson 노이즈)를 포함할 수 있다. In one embodiment, the digital
상기 학습 성능 강화 모듈(130) 내에서 생성된/선정된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈는 서로 동기될 수 있다. 즉, 도 2에서 복수의 2D학습 이미지, 적어도 하나 이상의 배경 이미지 및 디지털 노이즈 각각은 동기되어 학습 이미지 합성 모듈(40)로 입력될 수 있다. 따라서, 학습 성능 강화 모듈(130)은 도 6에 도시된 바와같이, 이미지 합성 기능을 이용하여 상기 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성함으로써 다양한 2D학습 이미지를 생성하여 출력한다(S140). 이때, 서로 상이한 2D 학습 이미지에 서로 다른 배경 이미지 및 디지털 노이즈가 합성될 수 있고, 서로 상이한 2D 학습 이미지에 동일한 하나 이상의 배경 이미지 및 디지털 노이즈가 합성될 수도 있다. A plurality of 2D learning images generated / selected in the learning
상기 생성된 다양한 2D 학습 이미지는 도 1의 후단부(140), 150)로 제공되어 머신 러닝에 사용된다. 상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다. The generated various 2D learning images are provided to the
도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 상룡될 최종 학습 이미지를 생성하는 일 예를 나타낸다. FIG. 7 shows an example of generating a final learning image to be used in machine learning by synthesizing a 2D learning image, a background image, and digital noise in a learning performance enhancing module according to an embodiment of the present invention.
일 실시예로, 학습 성능 강화 모듈(130)의 학습 이미지 합성 모듈(40)은 예를들어, 각 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)과 선정된 배경 이미지 및 디지털 노이즈 각각의 유형에 기초하여 특정 순서에 따라 합성하거나 랜덤하게 합성할 수 있다. In one embodiment, the learning
특정 순서에 따른 합성은 우선순위에 따라 순차적으로 합성하는 것으로, 예를 들면, 먼저 2D 학습 이미지에 배경 이미지를 합성한 후 합성된 이미지에 디지털 노이즈를 합성하는 제1방법과 배경 이미지에 디지털 노이즈를 합성한 후 2D 학습 이미지를 맨 나중에 합성하는 제2방법을 포함할 수 있다. 제1합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)이 기설정된 임계값 보다 커서, 배경 이미지와의 정확한 합성이 요구되는 경우에 적용된다. For example, a first method of synthesizing a background image to a 2D learning image and then synthesizing a digital noise to a synthesized image, and a first method of synthesizing a digital noise to a background image And a second method of synthesizing the 2D training image after the synthesis. The first synthesis method is applied when the specificity (angle, perspective and direction) of the generated 2D learning image (e.g., an inorganic object) is greater than a preset threshold value, so that accurate composition with the background image is required.
제1합성 방법을 사용할 경우 학습 이미지 합성 모듈(40)은 예를들어, n개의 2D 학습이미지와 m개의 상이한 실물 배경 이미지(또는 기하학적 패턴 이미지)를 조합하여 조합하여 n×m개의 2D 학습이미지를 생성할 수 있고, 상기 생성된 n×m개의 2D 학습이미지에 p개의 상이한 노이즈(비균일 분포, 가우시안 분포 등)를 조합하여 총 n×m×p개의 학습이미지를 생성할 수 있다. 상기 생성된 최종 학습이미지는 다양한 각도와 배경, 그리고 노이즈까지 강건할 수 있는 정보를 포함하기 때문에 최종 생성된 학습이미지를 사용하면 학습성능이 강화될 수 있다. When using the first synthesis method, the learning
제2합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성이 임계값 미만(일반적인 각도, 원근 및 방향)이지만, 배경 이미지(또는 디지털 노이즈)의 특이성이 임계값을 초과하는 경우에 주로 적용된다. 이를 위하여, 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)은 복수의 2D 학습 이미지와 배경 이미지를 각각 전송할 때 해당 이미지의 유형(type)을 나타내는 정보(e.g., normal or specific을 나타내는 정보)를 함께 제공할 수 있으며, 해당 정보를 기반으로 학습 이미지 합성 모듈(40)은 특이성이 임계값을 초과했는지의 여부를 판단할 수 있다. The second synthesis method is mainly used when the specificity of the generated 2D training image (e.g., inorganic object) is less than the threshold value (general angle, perspective and direction) but the specificity of the background image (or digital noise) . To this end, the 2D learning
반면에 랜덤 합성은 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)(또는 디지털 노이즈 선정 모듈)에서 제공된 이미지의 특이성이 모두 임계값 미만일 때, 순서에 관계없이 2D 학습 이미지(e.g., 무기 객체), 배경 이미지 및 디지털 노이즈를 합성하는 것을 나타낸다. On the other hand, the random synthesis is performed when the specificities of the images provided in the 2D learning
본 발명의 실시예에서는 설명의 편의를 위하여 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 제공될 때, 학습 성능 강화 모듈(130)에서 상기 무기 객체의 유형을 인식하고, 상기 인식된 무기 객체의 유형에 기초하여 복수의 2D 학습 이미지를 생성하고, 상기 생성된 2D 학습 이미지의 상태 정보에 대응되는 적어도 하나 이상의 배경 이미지와 디지털 이미지를 선정하는 구성을 주로 설명하였다. 하지만, 본 발명은 이에 한정되지 않고, 학습 성능 강화 모듈(130)이 복수의 2D 학습 이미지를 생성할 때 별도의 사용자 인터페이스(e.g., 설정 팝업 메뉴)를 선택적으로 제공하여, 생성될 이미지의 유형을 지정할 수 있다. 상기 사용자 인터페이스(e.g., 설정 팝업 메뉴)는 키워드 명령을 입력할 수 있는 창을 포함하거나, 각 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 복수의 항목(item) 리스트를 포함할 수 있다. In the embodiment of the present invention, for the sake of convenience of description, when a learning data source, that is, an inorganic object of the 3D CAD model is provided, the learning
일부 구현 예에서, 사용자 인터페이스가 키워드 명령을 입력할 수 있는 창으로 구성된 경우 운용자는 해당 창에 예를들어, "T-30 탱크 산악 전투"와 같은 키워드를 입력할 수 있으며, 상기 키워드에 따라 2D 학습 이미지 생성 모듈(10)은 다양한 각도, 방향, 자세를 갖는 T-30 탱크 이미지를 발생하고, 이에 기초하여 배경 이미지 선정 모듈(20)과 디지털 노이즈 선정 모듈(30)은 적어도 하나 이상의 산악 배경 이미지 및 디지털 노이즈를 선정한다. In some implementations, if the user interface is configured as a window into which a keyword command can be entered, the operator can enter a keyword such as " T-30 tank mountain battle ", for example, The learning
반면에, 팝업 메뉴를 제공하는 사용자 인터페이스를 시용할 경우에는 수행하고자 하는 러닝 머신의 목적에 기초하여 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 항목을 적절히 선택하여, 후단(고속 클러스터 컴퓨팅 모듈, 훈련 모델 예측부)에서 사용될 이미지의 종류를 한정할 수도 있다. 상기 구가지 방법은 운용자의 필요에 따라 적절히 선택하여 사용할 수 있다. On the other hand, when the user interface providing the pop-up menu is used, the image creation type (eg, angle, perspective and direction), the type of the background image, and the type of the digital noise May be appropriately selected to limit the types of images to be used in the rear stage (high-speed cluster computing module, training model prediction section). The above method can be appropriately selected and used according to the needs of the operator.
상기 학습 성능 강화 모듈(130)은 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 입력될 때 항상 사용자 인터페이스를 제공하는 것은 아니다. 상기 사용자 인터페이스의 제공은 운용자의 초기 설정에 따라 활성화/비활성화 될 수 있으며, 활성화되어 표시된다고 하더라도 사용자로부터 기 설정된 시간동안 아무런 입력이 없는 경우에는 사라지도록 구성될 수도 있다. The learning
이후 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 다양한 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여 머신 러닝을 수행한다. 즉, 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(13)에서 생성된 다양한 2D학습이미지로부터 무기 객체 인식에 필요한 특징을 추출하고, 신경 모델부(110)에서 제공된 신경망 모델과 신경망 연산 프레임워크(120)에서 제공된 신경망 연산을 이용하여 상기 추출된 특징에 대해 패턴 학습을 수행한다. The fast
훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 패턴 학습 결과를 이용하여 무기 객체를 판별하고, 해당 학습 이미지 대한 훈련 모델 적용 여부를 결정한다. The training
상술한 바와같이 본 발명은 학습 데이타 원본, 즉, 3D CAD모델의 학습 데이터 원(e.g.,무기 객체)를 제공받아 다양한 각도, 원근 및 방향을 갖는 2D 학습 이미지를 생성하고, 상기 생성된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지(실물 배경 이미지 또는 기하패턴의 배경 이미지) 및 디지털 노이즈를 합성하는 최종 학습 이미지를 생성함으로써 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습데이터 부족 문제를 해결할 수 있는 장점이 있다. As described above, the present invention provides a learning data source, i.e., a learning data source (e.g., an inorganic object) of a 3D CAD model to generate a 2D learning image having various angles, perspective and directions, An advantage of solving the lack of learning data inherent in the existing machine learning process by generating the learning image, the at least one background image (the background image of the real background image or the geometric pattern) and the final learning image synthesizing the digital noise have.
그리고, 본 발명은 상기와 같이 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 수 있는 학습 데이터 대량 생성 구조를 제공함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시킬 수 있다.The present invention provides a learning data mass generation structure capable of generating various learning images by synthesizing a background image of a real background image or a geometric pattern and digital noise on a learning data source as described above, (Robustness / generalization) can be improved.
또한, 본 발명은 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 때 다양한 학습 데이터 환경과 조건을 만들 수 있는 인터페이스를 제공함으로써 머신 러닝을 위한 보다 다양한 학습 이미지를 생성할 수 있는 효과가 있다. In addition, the present invention provides an interface for creating various learning data environments and conditions when various learning images are generated by composing a background image of a real background image or a geometric pattern and a digital noise to a learning data source, It is possible to generate various learning images.
상술한 본 발명에 따른 따른 머신 러닝의 학습성능 강화장치 및 방법은 상기 설명된 실시예들에 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. The apparatus and method for enhancing the learning performance of the machine learning according to the present invention can be applied to the embodiments described above without departing from the technical idea or essential features of the present invention. It will be understood that the invention may be practiced. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive.
10 : 2D 학습 이미지 생성 모듈
20 : 배경 이미지 선정 모듈
20a : 배경 이미지 저장 모듈
30 : 디자털 노이즈 선정 모듈
30a : 디지털 노이즈 저장 모듈
40 : 학습 이미지 합성 모듈
100 : 학습 데이터 모듈
110 : 신경망 모델부
120 : 신경망 연산 프레임 워크
130 : 학습 성능 강화 모듈
140 : 고속 클러스터 컴퓨팅 모듈
150 : 훈련 모델 예측부
10: 2D learning image generation module 20: background image selection module
20a: background image storage module 30: design noise selection module
30a: digital noise storage module 40: learning image synthesis module
100: learning data module 110: neural network model part
120: neural network operation framework 130: learning performance enhancement module
140: high-speed cluster computing module 150: training model prediction unit
Claims (18)
학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및
상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.A learning data module for outputting learning data of a 3D CAD model including at least one inorganic object;
A plurality of 2D inorganic object images having different angles, perspectives, and directions are generated based on the type of the 3D inorganic object included in the learning data, and the generated plurality of 2D inorganic object images are combined with one or more background images and digital noise Learning performance enhancement module for generating images; And
And a fast cluster computing module for performing pattern learning according to a neural network model and a neural network operation provided in the neural network model unit and the neural network operation framework and machine learning for recognizing the inorganic object, Learning performance enhancement device.
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. 2. The method of claim 1,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. The apparatus of claim 1, wherein the learning performance enhancing module
A plurality of 2D learning images are automatically adjusted by differentiating the angle, perspective and direction of the 3D inorganic object based on the recognized type by dividing the inorganic object to be subjected to machine learning from the learning data of the 3D CAD model, The learning performance of the machine learning apparatus is improved.
3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. 4. The apparatus of claim 3, wherein the learning performance enhancement module
Wherein when the learning data of the 3D CAD model includes a unique background image, the background image is removed to divide the inorganic object.
상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. 4. The apparatus of claim 3, wherein the learning performance enhancement module
Selecting one or more background images and digital noise associated with the generated plurality of 2D learning images from the storage medium based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object,
Wherein the singularity includes an angle, a perspective and a direction.
저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. 6. The apparatus of claim 5, wherein the learning performance enhancement module
Determining a specificity of the digital noise type from the selected one or more background images from the storage medium and selecting the sequential or random combination based on the specificity of each of the plurality of 2D learning images and the specificity of the determined background image and the digital noise type Learning performance of the machine learning apparatus.
3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈;
배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.The apparatus of claim 1, wherein the learning performance enhancing module
A 2D learning image generation module for generating a plurality of 2D learning images in which an arbitrary angle, perspective and direction are different from each other by disassembling an inorganic object from learning data of a 3D CAD model;
A background image selection module for selecting at least one background image or a background image of a geometric pattern from the background image storage module;
A digital noise selection module for selecting at least one digital noise from the digital noise storage module; And
And a learning image synthesis module for synthesizing the generated plurality of 2D learning images, the selected at least one background image and digital noise, and outputting a plurality of learning images to be used in the treadmill Learning performance enhancing device.
제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.A method for segmenting and detecting an inorganic object from learning data of a 3D CAD model including at least one inorganic object and generating a plurality of 2D inorganic object images with angle, perspective and orientation adjusted based on the detected type of the inorganic object Learning image generation module;
A background image selection module for selecting at least one background image from the first storage module;
A digital noise selection module for selecting at least one digital noise from the second storage module; And
A learning image synthesis module for synthesizing a 2D inorganic object image, a background image, and digital noise based on the generated plurality of 2D inorganic object images and the specificity of at least one background image to generate a plurality of learning images to be used for machine learning; And the learning performance of the machine learning apparatus is improved.
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. 9. The method of claim 8,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여,
상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며,
상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. The method of claim 8, wherein the 2D learning image generation module
An inorganic object to be subjected to machine learning is divided from learning data of the 3D CAD model to recognize the type,
A plurality of 2D learning images are automatically generated by differently adjusting the angle, perspective and direction of the 3D inorganic object based on the recognized type,
Wherein the learning performance enhancement module divides the inorganic object by removing the background image if the learning data of the 3D CAD model includes a unique background image.
상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성을 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고,
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. The method of claim 8, wherein the 2D learning image generation module
A background image selection module and a digital noise selection module are informed of the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object,
Wherein the background image selection module and the digital noise selection module select one or more background images and digital noise associated with the generated plurality of 2D learning images from the first and second storage media, respectively, based on the type and the specificity of the inorganic entity In addition,
Wherein the singularity includes an angle, a perspective and a direction.
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하여,
상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치. The method of claim 8, wherein the learning image synthesis module
The background image selection module determines the specificity of at least one background image type selected by the digital noise selection module,
Wherein the sequential synthesis or the random synthesis is selectively performed based on the specificity of each of the plurality of 2D learning images and the specificity of the discriminated background image type.
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.13. The apparatus of claim 12, wherein the learning image synthesis module
When the specificity of each of the 2D learning images exceeds a threshold value, synthesizes a background image to a 2D learning image and finally synthesizes a digital noise,
When the specificity of each of the 2D learning images is less than the threshold value and the specificity of the background image type is equal to or greater than the threshold value, the 2D learning image is synthesized with the background image,
Wherein the 2D learning image, the background image, and the digital noise are randomly synthesized when the specificities of the 2D learning image and the background image are all equal to or less than the threshold value.
상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며,
상기 학습 이미지를 생성하는 단계는
상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및
상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.Outputting learning data of a 3D CAD model including an inorganic object; And
Generating a plurality of 2D inorganic object images by adjusting the specificity of the 3D inorganic objects based on the type of the 3D inorganic objects included in the learning data, synthesizing the generated plurality of 2D inorganic object images with one or more background images and digital noise And generating a learning image,
The step of generating the learning image
Recognizing a type of a specific inorganic object segmented from learning data of the 3D CAD model and generating a plurality of 2D learning images by differently adjusting angles, perspectives and directions of the 3D inorganic object based on the recognized types; And
Selecting one or more background images and digital noise associated with the plurality of 2D learning images based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object; How to enhance learning performance.
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법. 15. The method of claim 14,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법. 15. The method of claim 14, wherein generating the plurality of 2D learning images comprises:
If the learning data of the 3D CAD model includes a unique background image, dividing the inorganic object by removing the background image,
Wherein the specificity includes an angle, a perspective and a direction.
선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하는 단계; 및
상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 수행하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법. 15. The method of claim 14, wherein generating the training image comprises:
Determining the specificity of the selected at least one background image type; And
And performing sequential synthesis or random synthesis based on the specificity of each of the plurality of 2D learning images and the specificity of the discriminated background image type.
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계;
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.18. The method of claim 17, wherein performing the sequential or random synthesis comprises:
Synthesizing a background image in a 2D learning image and finally synthesizing a digital noise when the specificity of each of the 2D learning images exceeds a threshold value;
Synthesizing a 2D learning image on a background image when the specificity of each of the 2D learning images is less than a threshold value and the specificity of a background image type is more than a threshold value, and finally synthesizing digital noise; And
And randomly synthesizing the 2D learning image, the background image, and the digital noise when the specificities of the 2D learning image and the background image are both equal to or less than the threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170151748A KR102053202B1 (en) | 2017-11-14 | 2017-11-14 | Apparatus and method for enhancing learning capacility for machine learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170151748A KR102053202B1 (en) | 2017-11-14 | 2017-11-14 | Apparatus and method for enhancing learning capacility for machine learning |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190054782A true KR20190054782A (en) | 2019-05-22 |
KR102053202B1 KR102053202B1 (en) | 2019-12-06 |
Family
ID=66679673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170151748A KR102053202B1 (en) | 2017-11-14 | 2017-11-14 | Apparatus and method for enhancing learning capacility for machine learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102053202B1 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102384009B1 (en) * | 2020-12-28 | 2022-04-08 | 주식회사 마크애니 | Learning data augmentation method and apparatus by composing object and background |
KR20220073242A (en) * | 2020-11-26 | 2022-06-03 | 한국전력공사 | Apparatus for constructing learning data for machine learning of power facilities and metho thereof |
KR20220081520A (en) * | 2020-12-09 | 2022-06-16 | 청주대학교 산학협력단 | Method and apparatus for configuring learning data set in object recognition |
KR20230008484A (en) * | 2021-07-07 | 2023-01-16 | 서울시립대학교 산학협력단 | Apparatus and method for evaluating the management status of pedestrian paths according to obstacles using image deep learning algorithm |
US11599114B2 (en) | 2019-07-09 | 2023-03-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
KR102540629B1 (en) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | Method for generate training data for transportation facility and computer program recorded on record-medium for executing method therefor |
KR20230141303A (en) | 2022-03-31 | 2023-10-10 | 주식회사 비솔 | System for creating background data for artificial intelligent by forming environment in virtual space |
KR20230141302A (en) | 2022-03-31 | 2023-10-10 | 주식회사 비솔 | System for creating background data for artificial intelligent for recognizing object in virtual space |
KR20230142198A (en) | 2022-04-01 | 2023-10-11 | 주식회사 비솔 | System for creating background data for artificial intelligent by patterning for object in virtual space |
KR20240038367A (en) * | 2022-09-16 | 2024-03-25 | 중앙대학교 산학협력단 | Synthetic image generation method and apparatus for training to detect an unconscious person in UAV environment |
KR102701172B1 (en) | 2023-11-15 | 2024-08-29 | 국방과학연구소 | Method and apparatus for generating virtual image for training deep learning model for detecting target from aerial image |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11631163B2 (en) * | 2020-02-11 | 2023-04-18 | Samsung Electronics Co., Ltd. | Mobile data augmentation engine for personalized on-device deep learning system |
WO2021178909A1 (en) * | 2020-03-05 | 2021-09-10 | Waymo Llc | Learning point cloud augmentation policies |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178229A (en) * | 2013-03-15 | 2014-09-25 | Dainippon Screen Mfg Co Ltd | Teacher data creation method, image classification method and image classification device |
WO2016157499A1 (en) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | Image processing apparatus, object detection apparatus, and image processing method |
-
2017
- 2017-11-14 KR KR1020170151748A patent/KR102053202B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178229A (en) * | 2013-03-15 | 2014-09-25 | Dainippon Screen Mfg Co Ltd | Teacher data creation method, image classification method and image classification device |
WO2016157499A1 (en) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | Image processing apparatus, object detection apparatus, and image processing method |
Non-Patent Citations (2)
Title |
---|
Peng, Xingchao, et al. Learning Deep Object Detectors from 3D Models. arXiv preprint arXiv:1412.7122v4. 2015.10.12.* * |
Rodner, Erik, et al. Fine-grained recognition in the noisy wild: Sensitivity analysis of convolutional neural networks approaches. arXiv preprint arXiv:1610.06756. 2016.10.21.* * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11599114B2 (en) | 2019-07-09 | 2023-03-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
US12078998B2 (en) | 2019-07-09 | 2024-09-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
KR20220073242A (en) * | 2020-11-26 | 2022-06-03 | 한국전력공사 | Apparatus for constructing learning data for machine learning of power facilities and metho thereof |
KR20220081520A (en) * | 2020-12-09 | 2022-06-16 | 청주대학교 산학협력단 | Method and apparatus for configuring learning data set in object recognition |
KR102384009B1 (en) * | 2020-12-28 | 2022-04-08 | 주식회사 마크애니 | Learning data augmentation method and apparatus by composing object and background |
KR20230008484A (en) * | 2021-07-07 | 2023-01-16 | 서울시립대학교 산학협력단 | Apparatus and method for evaluating the management status of pedestrian paths according to obstacles using image deep learning algorithm |
KR20230141303A (en) | 2022-03-31 | 2023-10-10 | 주식회사 비솔 | System for creating background data for artificial intelligent by forming environment in virtual space |
KR20230141302A (en) | 2022-03-31 | 2023-10-10 | 주식회사 비솔 | System for creating background data for artificial intelligent for recognizing object in virtual space |
KR20230142198A (en) | 2022-04-01 | 2023-10-11 | 주식회사 비솔 | System for creating background data for artificial intelligent by patterning for object in virtual space |
KR20240038367A (en) * | 2022-09-16 | 2024-03-25 | 중앙대학교 산학협력단 | Synthetic image generation method and apparatus for training to detect an unconscious person in UAV environment |
KR102540629B1 (en) * | 2022-10-27 | 2023-06-13 | 주식회사 모빌테크 | Method for generate training data for transportation facility and computer program recorded on record-medium for executing method therefor |
KR102701172B1 (en) | 2023-11-15 | 2024-08-29 | 국방과학연구소 | Method and apparatus for generating virtual image for training deep learning model for detecting target from aerial image |
Also Published As
Publication number | Publication date |
---|---|
KR102053202B1 (en) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190054782A (en) | Apparatus and method for enhancing learning capacility for machine learning | |
KR101947650B1 (en) | Apparatus and method for generating learning image in game engine-based machine learning | |
US11012679B2 (en) | Generating apparatus, generating method, and storage medium | |
US20200234397A1 (en) | Automatic view mapping for single-image and multi-view captures | |
US8687001B2 (en) | Apparatus and method extracting light and texture, and rendering apparatus using light and texture | |
US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
US20180276882A1 (en) | Systems and methods for augmented reality art creation | |
US20090079730A1 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
CN109690620A (en) | Threedimensional model generating means and threedimensional model generation method | |
NZ565418A (en) | Methodology for 3D scene reconstruction from 2D image sequences | |
CN103577793A (en) | Gesture recognition method and device | |
CN104732203A (en) | Emotion recognizing and tracking method based on video information | |
US10229340B2 (en) | System and method for coarse-to-fine video object segmentation and re-composition | |
KR20120082126A (en) | Apparatus and method for extracting feature of depth image | |
KR101851303B1 (en) | Apparatus and method for reconstructing 3d space | |
CN107024989A (en) | A kind of husky method for making picture based on Leap Motion gesture identifications | |
EP4092629A2 (en) | Method and apparatus for displaying objects, and storage medium | |
CN109685095B (en) | Classifying 2D images according to 3D arrangement type | |
CN110196917A (en) | Personalized LOGO format method for customizing, system and storage medium | |
KR20230036543A (en) | Method and apparatus for reconstructing 3d scene with monocular rgb image based on deep learning | |
KR102358854B1 (en) | Apparatus and method for color synthesis of face images | |
CN110060346B (en) | Determining a set of facets representing a real object skin | |
KR20190029842A (en) | Three-Dimensional Restoration Cloud Point Creation Method Using GPU Accelerated Computing | |
CN113068017A (en) | Enhancing video throughput of real scenes | |
Agus et al. | Interactive 3D Exploration of a Virtual Sculpture Collection: an Analysis of User Behavior in Museum Settings. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |