KR20190054782A - Apparatus and method for enhancing learning capacility for machine learning - Google Patents

Apparatus and method for enhancing learning capacility for machine learning Download PDF

Info

Publication number
KR20190054782A
KR20190054782A KR1020170151748A KR20170151748A KR20190054782A KR 20190054782 A KR20190054782 A KR 20190054782A KR 1020170151748 A KR1020170151748 A KR 1020170151748A KR 20170151748 A KR20170151748 A KR 20170151748A KR 20190054782 A KR20190054782 A KR 20190054782A
Authority
KR
South Korea
Prior art keywords
learning
background image
image
images
module
Prior art date
Application number
KR1020170151748A
Other languages
Korean (ko)
Other versions
KR102053202B1 (en
Inventor
양훈민
오세윤
조성백
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170151748A priority Critical patent/KR102053202B1/en
Publication of KR20190054782A publication Critical patent/KR20190054782A/en
Application granted granted Critical
Publication of KR102053202B1 publication Critical patent/KR102053202B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an apparatus and a method to enhance the learning performance of machine learning, capable of improving/enhancing the learning performance of machine learning by generating sturdy learning images through image synthesis. The present invention includes: a learning data module outputting learning data of a three-dimensional CAD model including at least one weapon object; a learning performance enhancing module generating a plurality of two-dimensional weapon object images having different angles, distances, and directions based on the type of the three-dimensional weapon object included in the learning data, and generating a learning image by synthesizing the two-dimensional weapon object images with at least one background image and digital noise; and a high-speed cluster computing module performing the recognition machine learning of the weapon object and pattern learning in accordance with a neural network operation and a neural network model which are provided by a neural network operation framework and a neural network model part.

Description

머신 러닝의 학습성능 강화장치 및 방법{APPARATUS AND METHOD FOR ENHANCING LEARNING CAPACILITY FOR MACHINE LEARNING} [0001] APPARATUS AND METHOD FOR ENHANCING LEARNING CAPACITY FOR MACHINE LEARNING [0002]

본 발명은 이미지 합성을 통해 다양하고 강건한 학습 이미지를 생성하여 머신 러닝(machine learning)의 학습 성능을 향상/강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for enhancing learning performance of machine learning capable of enhancing / enhancing learning performance of machine learning by generating various and robust learning images through image synthesis.

일반적으로 머신 러닝(machine learning, 기계 학습)은 데이터를 기반으로 기계가 직접 학습과 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. In general, machine learning (machine learning) is a technology that studies and constructs a system and its algorithms that perform data learning based on data, perform learning and prediction directly, and improve their performance.

기존의 머신 러닝 시스템의 개발에 사용되는 영상분석용 딥러닝 기술의 경우는 머신 러닝에서 요구되는 학습 데이터의 요구량을 크게 상회하는 수만~수백만 장의 학습 이미지 데이터가 필요하다. Deep learning techniques for image analysis used in the development of existing machine learning systems require tens of thousands to millions of pieces of learning image data, far exceeding the required amount of learning data required for machine learning.

하지만, 실제로는 일부 공개되어있는 몇 종류의 표준 벤치마킹 데이터 세트 외에는 여러 가지 기술 외적인 요인으로 인해 대용량 학습 데이터의 확보 자체가 쉽지 않은 실정이다. 특히 전차, 항공기 등과 같은 무기체계에 관련된 학습 이미지의 경우는 분야의 특수성으로 인해 이미지의 출처가 매우 제한적이고 머신 러닝 학습용 이미지 데이터의 수집/획득에 많은 한계가 있는 실정이다.However, in reality, it is not easy to acquire large-capacity learning data due to a variety of factors other than some standard benchmarking data sets which are partially disclosed. Especially, in the case of learning images related to weapon systems such as trams and airplanes, the source of images is very limited due to the specificity of the field, and there are limitations in collecting / acquiring image data for machine learning learning.

본 발명의 목적은 이미지 출처가 매우 제한적이고 수집/획득에 많은 한계가 있는 머신 러닝 학습용 이미지를 다양하게 생성할 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다. It is an object of the present invention to provide an apparatus and method for enhancing learning performance of machine learning capable of variously generating images for machine learning learning in which image sources are very limited and there are many limitations in acquisition / acquisition.

본 발명의 다른 목적은 머신 러닝 학습에 적용될 다양한/강건한 합성 학습 이미지를 생성하여 데이터의 학습 성능을 강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide an apparatus and method for enhancing learning performance of machine learning capable of enhancing data learning performance by generating various / robust synthetic learning images to be applied to machine learning learning.

상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 머신 러닝의 습성능 강화장치는, 적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈; 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및 상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for enhancing wet performance of machine learning, the apparatus comprising: a learning data module for outputting learning data of a 3D CAD model including at least one inorganic object; A plurality of 2D inorganic object images having different angles, perspectives, and directions are generated based on the type of the 3D inorganic object included in the learning data, and the generated plurality of 2D inorganic object images are combined with one or more background images and digital noise Learning performance enhancement module for generating images; And a fast cluster computing module for performing pattern learning according to a neural network model and a neural network operation provided in the neural network model unit and the neural network operation framework, and machine learning for recognizing the inorganic object, on the generated learning image.

본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 있다. According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은, 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module divides an inorganic object to perform machine learning from learning data of a 3D CAD model to recognize the type, A plurality of 2D learning images can be automatically generated by adjusting the perspective and direction differently.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module can divide an inorganic object by removing a background image when the learning data of the 3D CAD model includes a unique background image.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, the learning performance enhancing module is configured to classify one or more background images associated with the generated plurality of 2D learning images and a digital image corresponding to the digital image, based on the type of the recognized inorganic object, Noise is selected from the storage medium, and the specificity may include angle, perspective and direction.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module determines the specificity of the digital noise type and at least one background image selected from the storage medium, and determines the specificity of each of the plurality of 2D learning images, Sequential synthesis or random synthesis may optionally be performed based on the type of specificity.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈; 배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함할 수 있다.According to an embodiment of the present invention, the learning performance enhancement module includes: a 2D learning image generation module for generating a plurality of 2D learning images having different angles, perspective and direction from the learning data of the 3D CAD model; A background image selection module for selecting at least one background image or a background image of a geometric pattern from the background image storage module; A digital noise selection module for selecting at least one digital noise from the digital noise storage module; And a learning image synthesis module that synthesizes the generated plurality of 2D learning images, the selected at least one background image and digital noise, and outputs a plurality of learning images to be used in the tilting machine.

상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화장치는, 적어도 하나의 무기 객체를 포함하는 3D CAD 모델의 학습 데이터로부터 무기 객체를 분할 및 검출하고, 검출된 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 조정된 복수의 2D 무기 객체 이미지를 생성하는 2D학습 이미지 생성 모듈; 제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for enhancing a learning performance of a machine learning, the apparatus comprising: a processor for dividing and detecting an inorganic object from learning data of a 3D CAD model including at least one inorganic object, A 2D learning image generation module for generating a plurality of 2D inorganic object images whose angles, perspective and direction are adjusted based on the type of the inorganic object; A background image selection module for selecting at least one background image from the first storage module; A digital noise selection module for selecting at least one digital noise from the second storage module; And a learning image composing module for generating a plurality of learning images to be used for machine learning by synthesizing a 2D inorganic object image, a background image, and digital noise based on the generated plurality of 2D inorganic object images and the at least one background image specificity, ; ≪ / RTI >

본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 잇다.According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.

본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.According to an embodiment of the present invention, the 2D learning image generation module divides an inorganic object to be machine-runned from learning data of the 3D CAD model to recognize the type, and calculates an angle of the 3D inorganic object based on the recognized type , The perspective and orientation are differently adjusted to automatically generate a plurality of 2D learning images. When the learning data of the 3D CAD model includes a unique background image, the learning performance enhancing module removes the corresponding background image, Can be divided.

본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성을 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고, 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, the 2D learning image generation module notifies the background image selection module and the digital noise selection module of the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object, And the digital noise selection module respectively select one or more background images and digital noise associated with the generated plurality of 2D learning images from the first and second storage media based on the type and the specificity of the inorganic object, Angle, perspective and direction.

본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하여, 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.According to an embodiment of the present invention, the learning image synthesis module determines the specificity of at least one background image type selected in the background image selection module and the digital noise selection module, and determines the specificity of each of the plurality of 2D learning images, And can selectively perform sequential or random synthesis based on the specificity of the discriminated background image type.

본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성할 수 있다.According to an embodiment of the present invention, the learning image synthesis module synthesizes a background image with a 2D learning image and finally synthesizes digital noise when the specificity of each of the 2D learning images exceeds a threshold value, When the specificity of each of the images is less than the threshold value and the specificity of the background image type is equal to or greater than the threshold value, the 2D learning image is synthesized in the background image and finally the digital noise is synthesized. The 2D learning image, the background image, and the digital noise can be randomly synthesized.

상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화방법은, 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 단계; 및 상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며, 상기 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for enhancing learning performance of machine learning, the method comprising: outputting learning data of a 3D CAD model including an inorganic object; And generating a plurality of 2D weapon object images by adjusting the specificity of the 3D weapon objects based on the type of the 3D weapon objects included in the learning data and outputting the generated plurality of 2D weapon object images and one or more background images and digital noise And generating a learning image, wherein the generating the learning image comprises: recognizing a type of a specific inorganic object segmented from learning data of the 3D CAD model and generating a 3D inorganic object based on the recognized type; Adjusting a distance, an angle, and a direction of the 2D learning image to generate a plurality of 2D learning images; And selecting one or more background images and digital noise associated with the plurality of 2D learning images based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object.

본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 있다.According to an embodiment of the present invention, the background image includes a background image of a real background image or a geometric pattern, and the digital noise may include learning disturbance noise or random noise.

본 발명의 실시예에 따라, 상기 복수의 2D 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.According to an embodiment of the present invention, when the learning data of the 3D CAD model includes a unique background image, the step of generating the plurality of 2D learning images includes a step of dividing the inorganic object by removing the background image , And the specificity may include an angle, a perspective and an orientation.

본 발명의 실시예에 따라, 상기 학습 이미지를 생성하는 단계는 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하는 단계; 및 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 수행하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, the step of generating the learning image comprises: determining the specificity of the selected at least one background image type; And performing sequential or random compositing based on the specificity of each of the plurality of 2D learning images and the specificity of the determined background image type.

본 발명의 실시예에 따라, 상기 순차 합성 또는 랜덤 합성을 수행하는 단계는, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, performing the sequential synthesis or the random synthesis may include synthesizing a background image in a 2D learning image when the specificity of each of the 2D learning images exceeds a threshold value, ; Synthesizing a 2D learning image on a background image when the specificity of each of the 2D learning images is less than a threshold value and the specificity of a background image type is more than a threshold value, and finally synthesizing digital noise; And randomly synthesizing the 2D learning image, the background image, and the digital noise when the specificities of the 2D learning image and the background image are both equal to or less than the threshold value.

본 발명은 학습성능 강화모듈을 이용하여 학습데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시키는 학습데이터 대량 생성 구조를 제안하여 다양한 학습 데이터 환경과 조건을 만들 수 있는 효과가 있다. 이로 인하여 본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 근본적으로 해결할 수 있는 효과가 있다.The present invention relates to a learning enhancement module for improving learning performance (robustness / generalization) of machine learning learning data by applying a learning image synthesis technique for synthesizing a real background image or a geometric pattern and digital noise to a learning data source It is possible to create various learning data environment and conditions by proposing a mass data generation structure. Therefore, the present invention has an effect of fundamentally solving the problem of insufficient learning data inherent in the existing machine learning process.

도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도.
도 2는 도 1에 도시된 학습 성능 강화 모듈의 상세 블록 구성도.
도 3은 본 발명에 따른 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화방법에 따른 각 모듈의 동작을 나타낸 순서도.
도 4는 본 발명에서 적용되는 배경 이미지의 일 예를 나타낸 도면.
도 5는 본 발명에서 적용되는 디지털 노이즈의 일 예를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 학습 성능 강화 모듈이 구비하고 있는 이미지 분할 기능과 이미지 합성 기능의 일 예를 나타낸 도면.
도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 상룡될 최종 학습 이미지를 생성하는 일 에를 나타낸 도면.
1 is a block diagram of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention;
FIG. 2 is a detailed block diagram of the learning performance enhancing module shown in FIG. 1. FIG.
3 is a flowchart showing the operation of each module according to a method for enhancing learning performance of machine learning according to an embodiment of the present invention.
4 is a diagram showing an example of a background image applied in the present invention.
5 is a diagram showing an example of digital noise applied in the present invention.
6 is a diagram illustrating an example of an image segmentation function and an image composition function provided in the learning performance enhancement module according to the embodiment of the present invention.
Figure 7 illustrates the generation of a final training image to be subjected to machine learning by synthesizing a 2D learning image, a background image, and digital noise in a learning performance enhancement module according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. The suffix " module " and " part " for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

그리고, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.And, the singular expressions used in the specification include plural expressions unless the context clearly indicates otherwise. In this specification, " comprises " Or " include. &Quot; Should not be construed to encompass the various components or steps described in the specification, and some of the components or portions may not be included, or may include additional components or steps And the like.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Further, in the description of the technology disclosed in this specification, a detailed description of related arts will be omitted if it is determined that the gist of the technology disclosed in this specification may be obscured.

본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 해결하기 위해 학습 데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용하여 머신 러닝 학습 데이터의 학습 성능(강건화/일반화)을 향상시키는 학습 데이터 대량 생성 구조를 제안한다. 상기 학습 데이터 대량 생성 구조에 의해 본 발명은 다양한 학습 데이터 환경과 조건을 생성할 수 있다. The present invention relates to a learning image synthesis technique for synthesizing a real background image or a geometric pattern and a digital noise to a learning data source in order to solve a learning data lacking inherent in an existing machine learning process, (Robustness / generalization) is proposed. By means of the above learning data mass generation structure, the present invention can generate various learning data environments and conditions.

도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도이다. 1 is a block diagram of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention.

도 1에 도시된 바와같이, 본 발명에 따른 머신 러닝의 학습성능 강화장치는, 학습 데이터 모듈(100), 신경망 모델부(110), 신경망 연산 프레임워크(120), 학습 성능 강화 모듈(130), 고속 클러스터 컴퓨팅 모듈(140) 및 훈련 모델 예측부(140)를 포함한다. 1, the apparatus for enhancing learning performance of a machine learning according to the present invention includes a learning data module 100, a neural network model unit 110, a neural network operation framework 120, a learning performance enhancement module 130, A high-speed cluster computing module 140, and a training model predicting unit 140.

상기 학습 데이터 모듈(100)은 머신 러능을 수행할 학습 데이터 원본을 제공한다. 상기 학습 데이터 원본은 3차원(3D) CAD 모델 데이터일 수 있다. 상기 3차원(3D) CAD 모델 데이터는 적어도 하나의 무기 객체를 포함할 수 있다.The learning data module 100 provides a learning data source to perform a machine function. The learning data source may be three-dimensional (3D) CAD model data. The three-dimensional (3D) CAD model data may include at least one inorganic object.

상기 신경망 모델부(110)는 기 정의된 신경망 모델을 제공할 수 있고, 상기 신경망 연산 프레임워크(120)는 학습 데이터에 대하여 머신 러닝과 예측을 수행하기 위한 신경망 연산을 제공할 수 있다. The neural network modeling unit 110 may provide a predefined neural network model and the neural network computing framework 120 may provide neural network operations to perform machine learning and prediction on the training data.

상기 학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 이미지 학습 데이터 모듈(100)로부터 입력된 학습 데이터 원본으로부터 적어도 하나의 무기 객체를 분할하여 상기 분할된 적어도 하나의 무기 객체에 관련된 복수의 2D 학습 이미지(무기 객체 이미지)를 생성하고, 상기 생성된 복수의 2D 학습 이미지를 이미지 합성 기능을 이용하여 다수의 배경 이미지(실물 배경 또는 기하하적 패턴의 배경 이미지) 및 디지털 노이즈와 합성하여 머신 러닝을 수행하기 위한 학습 이미지를 출력한다. The learning performance enhancement module 130 divides at least one inorganic object from the learning data source input from the image learning data module 100 using an image segmentation function to generate a plurality of 2D And generates a learning image (an inorganic object image), synthesizes the generated plurality of 2D learning images with a plurality of background images (background image of a real background or a geometric pattern) and digital noise using an image compositing function, And outputs a learning image for performing the training.

일 구현 예에서, 상기 학습 성능 강화 모듈(130)은 분할된 3D 무기 객체의 유형을 인식한 후 인식된 해당 3D 무기 객체의 각도, 원근 및 방향을 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다. 상기 학습 성능 강화 모듈은 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 각도, 원근 및 방향을 근거로, 상기 생성된 복수의 2D 학습 이미지와 합성될 배경 이미지와 디지털 노이즈를 결정할 수 있다. In one embodiment, the learning performance enhancement module 130 recognizes the type of the divided 3D weapon object and automatically generates a plurality of 2D learning images by adjusting the angle, perspective, and direction of the recognized 3D weapon object . The learning performance enhancement module may determine a background image to be combined with the generated plurality of 2D learning images and a digital noise based on the type of the recognized inorganic object, the angle of the adjusted 3D inorganic object, and the perspective and direction.

상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다. 상기 분할 기능은 디지털 영상을 여러 개의 픽셀 집합으로 나누어 의미 있는 해석을 가능하도록 분할하는 것을 나타낸다. The synthesis may be based on predetermined conditions (random / rule based). The dividing function divides the digital image into a plurality of pixel sets and divides the image so as to allow meaningful analysis.

상기 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여, 상기 학습 이미지에 대하여 머신 러닝을 수행할 수 있다. The fast cluster computing module 140 applies the learning image generated through the learning performance enhancement module 130 to the neural network model provided by the neural network model unit 120 and the neural network operation provided by the neural network operation framework 110, Machine learning can be performed on the learning image.

상기 훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 러닝 머신 및 예측에 기반하여 해당 학습 이미젱 대한 훈련 모델 이용 여부를 결정할 수 있다. The training-model predicting unit 150 may determine whether to use the training model for the learning im- ages based on the treadmill and prediction performed in the fast cluster computing module 140. [

도 2는 도 1에 도시된 학습 성능 강화 모듈(130)의 상세 블록 구성도이다. FIG. 2 is a detailed block diagram of the learning-performance-enhancing module 130 shown in FIG.

도 2를 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 원본(3D CAD 모델)을 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈(10)과, 배경 이미지 저장모듈(20a)로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하적 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈(20)과, 디지털 노이즈 저장 모듈(30b)로부터 적어도 하나 이상의 디지털 노이즈(e.g., 균일 분포 또는 가우시안 분포)를 선정하는 디지털 노이즈 선정 모듈(20)과, 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈(40)로 구성된다. 2, the learning performance enhancement module 130 includes a 2D learning image generation module 10 for generating a plurality of 2D learning images having arbitrary angles, perspective, and directions by disassembling a learning data source (3D CAD model) A background image selection module 20 for selecting at least one background image or a background image of a geometric pattern from the background image storage module 20a and at least one digital noise from the digital noise storage module 30b , A uniform distribution or a Gaussian distribution) of a plurality of 2D learning images, a plurality of the learning images to be used in the treadmill by synthesizing the generated plurality of 2D learning images and the selected at least one background image and digital noise, And a learning image synthesis module 40 for outputting an image.

상기 2D 학습 이미지 생성 모듈(10)은 이미지 분할 기능을 구비하여 3D CAD 모델인 학습 데이터를 분할 및 검출(경계선 검출)하여, 임의의 각도, 원근 및 방향이 서로 상이한 다양한 2D 학습이미지를 생성할 수 있다. 상기 분해는 이미 고유 배경 이미지를 갖고 있는 학습 데이터로부터 배경을 제거하고 이미지를 추출하거나 이미지를 분할하는 것도 포함할 수 있다. 상기 분할은 3D CAD 모델인 학습 데이터를 복수의 영역으로 부분하여 사용하는 것을 포함한다. The 2D learning image generation module 10 is capable of generating various 2D learning images having different angles, perspective and directions from each other by dividing and detecting (boundary detection) learning data, which is a 3D CAD model, have. The decomposition may include removing the background from the training data already having its own background image, extracting the image, or splitting the image. The division includes use of learning data, which is a 3D CAD model, in a plurality of areas.

상기 배경 이미지 저장 모듈(20a)은 복수의 배경 이미지를 저장할 수 있으며, 상기 복수의 배경 이미지는 실물 배경 이미지(e.g., 풍경)와 기하학적 패턴 이미지(e.g., 무늬, 형상 및 그들의 조합)를 포함할 수 있다. The background image storage module 20a may store a plurality of background images, which may include a real background image (eg, landscape) and a geometric pattern image (eg, a pattern, a shape, and combinations thereof) have.

상기 디지털 노이즈 저장모듈(30a)은 복수의 디지털 노이즈를 저장할 수 있으며, 상기 복수의 디지털 노이즈는 학습 방해 노이즈 및 랜덤 노이즈(normal /uniform/poisson 및 기타)를 포함할 수 있다. The digital noise storage module 30a may store a plurality of digital noises, and the plurality of digital noises may include learning disturbance noise and random noise (normal / uniform / poisson and others).

상기 배경 이미지 저장 모듈(20a)와 디지털 노이즈 저장모듈(30a)는 설명의 편의를 위하여 개별적으로 도시되었으나 이에 한정되는 것은 아니다. 즉, 하나의 메모리내에 각각 복수의 배경 이미지와 복수의 디지털 노이즈가 서로 다른 저장 영역에 저장될 수 있다. 이 경우 메모리는 도 2처럼 도시되지 않을 수도 있다.The background image storage module 20a and the digital noise storage module 30a are separately shown for convenience of explanation, but are not limited thereto. That is, a plurality of background images and a plurality of digital noises may be stored in different storage areas, respectively, in one memory. In this case, the memory may not be shown in FIG.

상기 학습 이미지 합성 모듈(40)을 이미지 합성 기능을 구비하여, 생성된 복수의 2D학습 이미지와 상기 선택된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성할 수 있다. 이 경우 학습 이미지 합성 모듈(30)은 2D 학습이미지, 배경이미지 및 노이즈를 순차적으로 합성하거나 가변하여 합성할 수 있다. The learning image compositing module 40 may include an image compositing function to synthesize the generated plurality of 2D learning images with the selected at least one background image and digital noise. In this case, the learning image synthesis module 30 can synthesize or synthesize a 2D learning image, a background image, and noise sequentially.

이와같이 구성된 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 첨부된 도면을 참조하여 설명하면 다음과 같다. 특히 본 발명의 특징은 학습 성능 강화 모델(130)에 있기 때문에 이를 중심으로 설명하기로 한다. The operation of the apparatus for enhancing learning performance of machine learning according to an embodiment of the present invention will now be described with reference to the accompanying drawings. In particular, since the feature of the present invention resides in the learning performance enhancement model 130, it will be mainly described.

도 3은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 나타낸 순서도이고, 도 4는 배경 이미지의 일 예이며, 도 5는 디지털 노이즈의 일 예이다.  FIG. 3 is a flowchart illustrating an operation of a learning performance enhancing apparatus for machine learning according to an embodiment of the present invention. FIG. 4 is an example of a background image, and FIG. 5 is an example of digital noise.

도 3을 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 모듈(100)로부터 머신 러닝에 사용될 학습 데이타 원본인 3D CAD모델을 입력받을 수 있다. 상기 3D CAD모델은 무기체계에 관련된 3D 이미지로, 전차, 항공기, 포, 진지 등과 같은 개별 무기 객체 이미지 또는 그들의 조합일 수 있다(S100). Referring to FIG. 3, the learning performance enhancement module 130 may receive a 3D CAD model, which is a learning data source to be used for machine learning, from the learning data module 100. The 3D CAD model is a 3D image related to the weapon system, and may be an individual weapon object image such as a tank, an aircraft, a gun, a position, etc., or a combination thereof (S100).

학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 적어도 하나 이상의 이미지를 인식/분할, 분할 이미지의 변형 및 재배치하여 복수의 2D학습 이미지를 생성한다(S110). 상기 분할은 무기 객체(weapon object) 이미지 또는 배경 이미지의 분할을 포함할 수 있다. 상기 이미지의 변형은 분할된 무기 객체의 사이즈 확대/축소, 각도, 원근 및 방향을 수정하는 것을 포함할 수 있다. 상기 재배치는 분할된 객체(object) 이미지 또는 배경 이미지의 위치 이동 및/또는 교체를 포함할 수 있다. The learning performance enhancing module 130 recognizes / divides at least one image to be used for machine learning from a learning data source (3D CAD model) using an image segmentation function, and transforms and rearranges the divided images to generate a plurality of 2D learning images (S110). The segmentation may include segmentation of a weapon object image or background image. The modification of the image may include modifying the size enlargement / reduction, angle, perspective and direction of the divided inorganic object. The relocation may include moving and / or replacing a partitioned object image or a background image.

일 실시예로, 학습 성능 강화 모듈(130)의 2D 학습 이미지 생성 모듈(20)은 운영자가 입력한 상세 설정에 기초하여 복수의 2D학습 이미지를 생성할 수 있다. 상기 상세 설정은 분할 대상인 무기 객체의 확대/축소, 각도, 원근, 방향, 재배치 위치 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 이 경우 학습 성능 강화 모듈(130)은 사용자 선택을 위해 별도의 사용자 인터페이스(UI)를 표시하거나 복수의 선택 항목이 포함된 메뉴를 제공할 수 있다. In one embodiment, the 2D learning image generation module 20 of the learning performance enhancement module 130 may generate a plurality of 2D learning images based on the detailed settings input by the operator. The detailed settings may include, but are not limited to, an enlargement / reduction, an angle, a perspective, an orientation, a rearrangement position, and the like of an inorganic object to be divided. In this case, the learning performance enhancement module 130 may display a separate user interface (UI) for user selection or provide a menu including a plurality of selection items.

다른 실시예로, 상기 학습 성능 강화 모듈(130), 더 상세하게는 2D 학습 이미지 생성 모듈(20)은 객체 인식 기법을 통해 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 무기 객체(전차, 항공기, 포, 진지 및 기타)를 인식한 후 인식된 무기 객체의 유형(type)에 따라 각도, 원근 및 방향을 다르게 변경하여 복수의 2D 학습이미지를 생성할 수 있다. 일 예로, 전차의 경우는 배면이 보이는 이미지를 생성하지 않지만 항공기의 경우는 배면이 보이는 이미지를 생성할 수 있다. 특히, 2D 학습 이미지 생성 모듈(20)은 학습 데이터 원본(3D CAD 모델)으로부터 객체가 인식되면 인식된 객체의 유형을 배경 이미지 선정 모듈(20) 및 디지털 노이즈 선정 모듈(3)로 제공할 수 있다. In another embodiment, the learning performance enhancement module 130, more specifically, the 2D learning image generation module 20, may acquire, from the learning data source (3D CAD model) through the object recognition technique, A plurality of 2D learning images can be generated by differently changing the angle, perspective, and direction according to the type of the recognized weapon object after recognizing the aircraft, the aircraft, the ball, the center, and the like. For example, in the case of a tank, it does not create an image that shows the back side, but in the case of an aircraft, it produces an image that shows the back side. Particularly, when the object is recognized from the learning data source (3D CAD model), the 2D learning image generation module 20 can provide the type of the recognized object to the background image selection module 20 and the digital noise selection module 3 .

또한, 학습 성능 강화 모듈(130)은 이미지 선정 기능을 이용하여 2D 학습 이미지 생성 모듈(20)에서 생성된 복수의 2D 학습 이미지에 해당하는 적어도 하나의 배경 이미지와 디지털 노이즈를 선정할 수 있다(S120, S130). 상기 선정은 저장 매체(e.g., 저장 모듈)에 저장된 복수의 배경 이미지와 디지털 노이즈 중에서 상기 인식된 객체 유형에 매칭되는 적어도 하나의 배경 이미지를 선정하는 것을 의미한다. Also, the learning performance enhancement module 130 can select at least one background image and digital noise corresponding to the plurality of 2D learning images generated by the 2D learning image generation module 20 using the image selection function (S120 , S130). The selection means selecting a plurality of background images stored in a storage medium (e.g., a storage module) and at least one background image matching the recognized object type among digital noises.

즉, 일 실시예로, 학습 성능 강화 모듈(130)의 배경 이미지 선정 모듈(20)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 배경 이미지를 배경 이미지 저장 모듈(20a)로부터 선정할 수 있다. 상기 배경 이미지는 도 4에 도시된 바와같이, 실물 배경 이미지 및/또는 기하학적 패턴이 적용된 이미지를 포함할 수 있다. 상기 배경 이미지는 시간(e.g., 오전, 오후 또는 야간) 및 날씨(흐린날, 밝은 날, 비, 눈 및 기타)를 고려한 이미지일 수 있다. That is, in one embodiment, the background image selection module 20 of the learning performance enhancement module 130 determines the type of the inorganic object based on the type (eg, tram) of the inorganic object input from the 2D learning image generation module 20 At least one related background image may be selected from the background image storage module 20a. The background image may include an image with a real background image and / or a geometric pattern, as shown in FIG. The background image may be an image that takes into account time (e.g., morning, afternoon, or night) and weather (cloudy, bright, rain, snow and others).

또한, 일 실시예로, 학습 성능 강화 모듈(130)의 디지털 노이즈 선정 모듈 (30)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 디지털 노이즈를 디지털 노이즈 저장 모듈(30a)로부터 선정할 수 있다. 상기 디지털 노이즈는 상기 인식된 객체에 대한 머신 러닝을 방해는 노이즈로, 도 5에 도시된 바와같이 기 설정된 학습 방해 노이즈 또는 랜덤 노이즈(e.g., normal, uniform, poisson 노이즈)를 포함할 수 있다. In one embodiment, the digital noise selection module 30 of the learning-performance enhancement module 130 generates a digital noise image by using the type of the inorganic object (e.g., tram) input from the 2D learning image generation module 20, At least one digital noise relating to the digital noise can be selected from the digital noise storage module 30a. The digital noise may be noise that interferes with machine learning of the recognized object, and may include predetermined learning disturbance noise or random noise (e.g., normal, uniform, poisson noise) as shown in FIG.

상기 학습 성능 강화 모듈(130) 내에서 생성된/선정된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈는 서로 동기될 수 있다. 즉, 도 2에서 복수의 2D학습 이미지, 적어도 하나 이상의 배경 이미지 및 디지털 노이즈 각각은 동기되어 학습 이미지 합성 모듈(40)로 입력될 수 있다. 따라서, 학습 성능 강화 모듈(130)은 도 6에 도시된 바와같이, 이미지 합성 기능을 이용하여 상기 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성함으로써 다양한 2D학습 이미지를 생성하여 출력한다(S140). 이때, 서로 상이한 2D 학습 이미지에 서로 다른 배경 이미지 및 디지털 노이즈가 합성될 수 있고, 서로 상이한 2D 학습 이미지에 동일한 하나 이상의 배경 이미지 및 디지털 노이즈가 합성될 수도 있다. A plurality of 2D learning images generated / selected in the learning performance enhancement module 130, at least one background image and digital noise may be synchronized with each other. That is, in FIG. 2, each of the plurality of 2D learning images, at least one background image, and digital noise may be input to the learning image synthesis module 40 in synchronism with each other. 6, the learning performance enhancing module 130 generates various 2D learning images by synthesizing the plurality of 2D learning images with at least one background image and digital noise using the image compositing function, (S140). At this time, different background images and digital noise may be combined with different 2D learning images, and one or more background images and digital noise that are identical to each other in a 2D learning image may be synthesized.

상기 생성된 다양한 2D 학습 이미지는 도 1의 후단부(140), 150)로 제공되어 머신 러닝에 사용된다. 상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다. The generated various 2D learning images are provided to the rear end 140, 150 of FIG. 1 and used for machine learning. The synthesis may be based on predetermined conditions (random / rule based).

도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 상룡될 최종 학습 이미지를 생성하는 일 예를 나타낸다. FIG. 7 shows an example of generating a final learning image to be used in machine learning by synthesizing a 2D learning image, a background image, and digital noise in a learning performance enhancing module according to an embodiment of the present invention.

일 실시예로, 학습 성능 강화 모듈(130)의 학습 이미지 합성 모듈(40)은 예를들어, 각 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)과 선정된 배경 이미지 및 디지털 노이즈 각각의 유형에 기초하여 특정 순서에 따라 합성하거나 랜덤하게 합성할 수 있다. In one embodiment, the learning image composition module 40 of the learning performance enhancement module 130 determines the specificity (angle, perspective and direction) of each 2D training image (e.g., an inorganic object) The digital noise can be synthesized in a specific order or randomly synthesized based on each type of digital noise.

특정 순서에 따른 합성은 우선순위에 따라 순차적으로 합성하는 것으로, 예를 들면, 먼저 2D 학습 이미지에 배경 이미지를 합성한 후 합성된 이미지에 디지털 노이즈를 합성하는 제1방법과 배경 이미지에 디지털 노이즈를 합성한 후 2D 학습 이미지를 맨 나중에 합성하는 제2방법을 포함할 수 있다. 제1합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)이 기설정된 임계값 보다 커서, 배경 이미지와의 정확한 합성이 요구되는 경우에 적용된다. For example, a first method of synthesizing a background image to a 2D learning image and then synthesizing a digital noise to a synthesized image, and a first method of synthesizing a digital noise to a background image And a second method of synthesizing the 2D training image after the synthesis. The first synthesis method is applied when the specificity (angle, perspective and direction) of the generated 2D learning image (e.g., an inorganic object) is greater than a preset threshold value, so that accurate composition with the background image is required.

제1합성 방법을 사용할 경우 학습 이미지 합성 모듈(40)은 예를들어, n개의 2D 학습이미지와 m개의 상이한 실물 배경 이미지(또는 기하학적 패턴 이미지)를 조합하여 조합하여 n×m개의 2D 학습이미지를 생성할 수 있고, 상기 생성된 n×m개의 2D 학습이미지에 p개의 상이한 노이즈(비균일 분포, 가우시안 분포 등)를 조합하여 총 n×m×p개의 학습이미지를 생성할 수 있다. 상기 생성된 최종 학습이미지는 다양한 각도와 배경, 그리고 노이즈까지 강건할 수 있는 정보를 포함하기 때문에 최종 생성된 학습이미지를 사용하면 학습성능이 강화될 수 있다. When using the first synthesis method, the learning image synthesis module 40 combines, for example, n 2D learning images and m different real background images (or geometric pattern images) to obtain n × m 2D learning images And a total of n × m × p learning images can be generated by combining p different noise (non-uniform distribution, Gaussian distribution, etc.) in the generated n × m 2D learning images. Since the generated final learning image includes various angles and backgrounds and information that can be robust to noise, the learning performance can be enhanced by using the final generated learning image.

제2합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성이 임계값 미만(일반적인 각도, 원근 및 방향)이지만, 배경 이미지(또는 디지털 노이즈)의 특이성이 임계값을 초과하는 경우에 주로 적용된다. 이를 위하여, 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)은 복수의 2D 학습 이미지와 배경 이미지를 각각 전송할 때 해당 이미지의 유형(type)을 나타내는 정보(e.g., normal or specific을 나타내는 정보)를 함께 제공할 수 있으며, 해당 정보를 기반으로 학습 이미지 합성 모듈(40)은 특이성이 임계값을 초과했는지의 여부를 판단할 수 있다. The second synthesis method is mainly used when the specificity of the generated 2D training image (e.g., inorganic object) is less than the threshold value (general angle, perspective and direction) but the specificity of the background image (or digital noise) . To this end, the 2D learning image generation module 10 and the background image selection module 20 generate information (eg, normal or specific) indicating the type of the corresponding image when transmitting a plurality of 2D learning images and a background image, respectively Information), and based on the information, the learning image synthesis module 40 can determine whether the specificity exceeds the threshold value.

반면에 랜덤 합성은 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)(또는 디지털 노이즈 선정 모듈)에서 제공된 이미지의 특이성이 모두 임계값 미만일 때, 순서에 관계없이 2D 학습 이미지(e.g., 무기 객체), 배경 이미지 및 디지털 노이즈를 합성하는 것을 나타낸다. On the other hand, the random synthesis is performed when the specificities of the images provided in the 2D learning image generation module 10 and the background image selection module 20 (or the digital noise selection module) are all below the threshold, Weapon object), background image, and digital noise.

본 발명의 실시예에서는 설명의 편의를 위하여 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 제공될 때, 학습 성능 강화 모듈(130)에서 상기 무기 객체의 유형을 인식하고, 상기 인식된 무기 객체의 유형에 기초하여 복수의 2D 학습 이미지를 생성하고, 상기 생성된 2D 학습 이미지의 상태 정보에 대응되는 적어도 하나 이상의 배경 이미지와 디지털 이미지를 선정하는 구성을 주로 설명하였다. 하지만, 본 발명은 이에 한정되지 않고, 학습 성능 강화 모듈(130)이 복수의 2D 학습 이미지를 생성할 때 별도의 사용자 인터페이스(e.g., 설정 팝업 메뉴)를 선택적으로 제공하여, 생성될 이미지의 유형을 지정할 수 있다. 상기 사용자 인터페이스(e.g., 설정 팝업 메뉴)는 키워드 명령을 입력할 수 있는 창을 포함하거나, 각 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 복수의 항목(item) 리스트를 포함할 수 있다. In the embodiment of the present invention, for the sake of convenience of description, when a learning data source, that is, an inorganic object of the 3D CAD model is provided, the learning performance enhancing module 130 recognizes the type of the inorganic object, A plurality of 2D learning images are generated based on the type of the 2D learning image, and at least one background image and a digital image corresponding to the state information of the generated 2D learning image are selected. However, the present invention is not limited to this, and the learning performance enhancing module 130 may selectively provide a separate user interface (e.g., a setting pop-up menu) when generating a plurality of 2D learning images, Can be specified. The user interface (eg, setting pop-up menu) may include a window for inputting keyword commands, or may include a plurality of image creation types (eg, angle, perspective and direction) And may include an item list.

일부 구현 예에서, 사용자 인터페이스가 키워드 명령을 입력할 수 있는 창으로 구성된 경우 운용자는 해당 창에 예를들어, "T-30 탱크 산악 전투"와 같은 키워드를 입력할 수 있으며, 상기 키워드에 따라 2D 학습 이미지 생성 모듈(10)은 다양한 각도, 방향, 자세를 갖는 T-30 탱크 이미지를 발생하고, 이에 기초하여 배경 이미지 선정 모듈(20)과 디지털 노이즈 선정 모듈(30)은 적어도 하나 이상의 산악 배경 이미지 및 디지털 노이즈를 선정한다. In some implementations, if the user interface is configured as a window into which a keyword command can be entered, the operator can enter a keyword such as " T-30 tank mountain battle ", for example, The learning image generation module 10 generates a T-30 tank image having various angles, directions and attitudes, and based thereon, the background image selection module 20 and the digital noise selection module 30 generate at least one mountain background image And digital noise.

반면에, 팝업 메뉴를 제공하는 사용자 인터페이스를 시용할 경우에는 수행하고자 하는 러닝 머신의 목적에 기초하여 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 항목을 적절히 선택하여, 후단(고속 클러스터 컴퓨팅 모듈, 훈련 모델 예측부)에서 사용될 이미지의 종류를 한정할 수도 있다. 상기 구가지 방법은 운용자의 필요에 따라 적절히 선택하여 사용할 수 있다. On the other hand, when the user interface providing the pop-up menu is used, the image creation type (eg, angle, perspective and direction), the type of the background image, and the type of the digital noise May be appropriately selected to limit the types of images to be used in the rear stage (high-speed cluster computing module, training model prediction section). The above method can be appropriately selected and used according to the needs of the operator.

상기 학습 성능 강화 모듈(130)은 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 입력될 때 항상 사용자 인터페이스를 제공하는 것은 아니다. 상기 사용자 인터페이스의 제공은 운용자의 초기 설정에 따라 활성화/비활성화 될 수 있으며, 활성화되어 표시된다고 하더라도 사용자로부터 기 설정된 시간동안 아무런 입력이 없는 경우에는 사라지도록 구성될 수도 있다. The learning performance enhancement module 130 does not always provide a user interface when a learning data source, that is, an inorganic object of the 3D CAD model, is input. The provision of the user interface may be activated / deactivated according to the operator's initial setting, and may be configured to disappear when there is no input from the user for a preset time even if the user interface is activated and displayed.

이후 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 다양한 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여 머신 러닝을 수행한다. 즉, 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(13)에서 생성된 다양한 2D학습이미지로부터 무기 객체 인식에 필요한 특징을 추출하고, 신경 모델부(110)에서 제공된 신경망 모델과 신경망 연산 프레임워크(120)에서 제공된 신경망 연산을 이용하여 상기 추출된 특징에 대해 패턴 학습을 수행한다. The fast cluster computing module 140 applies various learning images generated through the learning performance enhancement module 130 to the neural network model provided by the neural network model unit 120 and the neural network operation provided by the neural network operation framework 110, Run. That is, the high-speed cluster computing module 140 extracts features necessary for inorganic object recognition from the various 2D learning images generated by the learning-performance enhancing module 13, and extracts features necessary for recognizing the inorganic objects from the neural network model provided by the neural model unit 110, And performs pattern learning on the extracted feature using the neural network operation provided by the neural network operation.

훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 패턴 학습 결과를 이용하여 무기 객체를 판별하고, 해당 학습 이미지 대한 훈련 모델 적용 여부를 결정한다. The training model predicting unit 150 determines an inorganic object using the pattern learning result performed by the high-speed cluster computing module 140, and determines whether to apply the training model to the learning image.

상술한 바와같이 본 발명은 학습 데이타 원본, 즉, 3D CAD모델의 학습 데이터 원(e.g.,무기 객체)를 제공받아 다양한 각도, 원근 및 방향을 갖는 2D 학습 이미지를 생성하고, 상기 생성된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지(실물 배경 이미지 또는 기하패턴의 배경 이미지) 및 디지털 노이즈를 합성하는 최종 학습 이미지를 생성함으로써 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습데이터 부족 문제를 해결할 수 있는 장점이 있다. As described above, the present invention provides a learning data source, i.e., a learning data source (e.g., an inorganic object) of a 3D CAD model to generate a 2D learning image having various angles, perspective and directions, An advantage of solving the lack of learning data inherent in the existing machine learning process by generating the learning image, the at least one background image (the background image of the real background image or the geometric pattern) and the final learning image synthesizing the digital noise have.

그리고, 본 발명은 상기와 같이 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 수 있는 학습 데이터 대량 생성 구조를 제공함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시킬 수 있다.The present invention provides a learning data mass generation structure capable of generating various learning images by synthesizing a background image of a real background image or a geometric pattern and digital noise on a learning data source as described above, (Robustness / generalization) can be improved.

또한, 본 발명은 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 때 다양한 학습 데이터 환경과 조건을 만들 수 있는 인터페이스를 제공함으로써 머신 러닝을 위한 보다 다양한 학습 이미지를 생성할 수 있는 효과가 있다. In addition, the present invention provides an interface for creating various learning data environments and conditions when various learning images are generated by composing a background image of a real background image or a geometric pattern and a digital noise to a learning data source, It is possible to generate various learning images.

상술한 본 발명에 따른 따른 머신 러닝의 학습성능 강화장치 및 방법은 상기 설명된 실시예들에 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. The apparatus and method for enhancing the learning performance of the machine learning according to the present invention can be applied to the embodiments described above without departing from the technical idea or essential features of the present invention. It will be understood that the invention may be practiced. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive.

10 : 2D 학습 이미지 생성 모듈 20 : 배경 이미지 선정 모듈
20a : 배경 이미지 저장 모듈 30 : 디자털 노이즈 선정 모듈
30a : 디지털 노이즈 저장 모듈 40 : 학습 이미지 합성 모듈
100 : 학습 데이터 모듈 110 : 신경망 모델부
120 : 신경망 연산 프레임 워크 130 : 학습 성능 강화 모듈
140 : 고속 클러스터 컴퓨팅 모듈 150 : 훈련 모델 예측부
10: 2D learning image generation module 20: background image selection module
20a: background image storage module 30: design noise selection module
30a: digital noise storage module 40: learning image synthesis module
100: learning data module 110: neural network model part
120: neural network operation framework 130: learning performance enhancement module
140: high-speed cluster computing module 150: training model prediction unit

Claims (18)

적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈;
학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및
상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
A learning data module for outputting learning data of a 3D CAD model including at least one inorganic object;
A plurality of 2D inorganic object images having different angles, perspectives, and directions are generated based on the type of the 3D inorganic object included in the learning data, and the generated plurality of 2D inorganic object images are combined with one or more background images and digital noise Learning performance enhancement module for generating images; And
And a fast cluster computing module for performing pattern learning according to a neural network model and a neural network operation provided in the neural network model unit and the neural network operation framework and machine learning for recognizing the inorganic object, Learning performance enhancement device.
제1항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
2. The method of claim 1,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
제1항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
The apparatus of claim 1, wherein the learning performance enhancing module
A plurality of 2D learning images are automatically adjusted by differentiating the angle, perspective and direction of the 3D inorganic object based on the recognized type by dividing the inorganic object to be subjected to machine learning from the learning data of the 3D CAD model, The learning performance of the machine learning apparatus is improved.
제3항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
4. The apparatus of claim 3, wherein the learning performance enhancement module
Wherein when the learning data of the 3D CAD model includes a unique background image, the background image is removed to divide the inorganic object.
제3항에 있어서, 상기 학습 성능 강화 모듈은
상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
4. The apparatus of claim 3, wherein the learning performance enhancement module
Selecting one or more background images and digital noise associated with the generated plurality of 2D learning images from the storage medium based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object,
Wherein the singularity includes an angle, a perspective and a direction.
제5항에 있어서, 상기 학습 성능 강화 모듈은
저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
6. The apparatus of claim 5, wherein the learning performance enhancement module
Determining a specificity of the digital noise type from the selected one or more background images from the storage medium and selecting the sequential or random combination based on the specificity of each of the plurality of 2D learning images and the specificity of the determined background image and the digital noise type Learning performance of the machine learning apparatus.
제1항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈;
배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
The apparatus of claim 1, wherein the learning performance enhancing module
A 2D learning image generation module for generating a plurality of 2D learning images in which an arbitrary angle, perspective and direction are different from each other by disassembling an inorganic object from learning data of a 3D CAD model;
A background image selection module for selecting at least one background image or a background image of a geometric pattern from the background image storage module;
A digital noise selection module for selecting at least one digital noise from the digital noise storage module; And
And a learning image synthesis module for synthesizing the generated plurality of 2D learning images, the selected at least one background image and digital noise, and outputting a plurality of learning images to be used in the treadmill Learning performance enhancing device.
적어도 하나의 무기 객체를 포함하는 3D CAD 모델의 학습 데이터로부터 무기 객체를 분할 및 검출하고, 검출된 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 조정된 복수의 2D 무기 객체 이미지를 생성하는 2D학습 이미지 생성 모듈;
제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
A method for segmenting and detecting an inorganic object from learning data of a 3D CAD model including at least one inorganic object and generating a plurality of 2D inorganic object images with angle, perspective and orientation adjusted based on the detected type of the inorganic object Learning image generation module;
A background image selection module for selecting at least one background image from the first storage module;
A digital noise selection module for selecting at least one digital noise from the second storage module; And
A learning image synthesis module for synthesizing a 2D inorganic object image, a background image, and digital noise based on the generated plurality of 2D inorganic object images and the specificity of at least one background image to generate a plurality of learning images to be used for machine learning; And the learning performance of the machine learning apparatus is improved.
제8항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
9. The method of claim 8,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
제8항에 있어서, 상기 2D학습 이미지 생성 모듈은
상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여,
상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며,
상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
The method of claim 8, wherein the 2D learning image generation module
An inorganic object to be subjected to machine learning is divided from learning data of the 3D CAD model to recognize the type,
A plurality of 2D learning images are automatically generated by differently adjusting the angle, perspective and direction of the 3D inorganic object based on the recognized type,
Wherein the learning performance enhancement module divides the inorganic object by removing the background image if the learning data of the 3D CAD model includes a unique background image.
제8항에 있어서, 상기 2D학습 이미지 생성 모듈은
상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성을 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고,
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
The method of claim 8, wherein the 2D learning image generation module
A background image selection module and a digital noise selection module are informed of the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object,
Wherein the background image selection module and the digital noise selection module select one or more background images and digital noise associated with the generated plurality of 2D learning images from the first and second storage media, respectively, based on the type and the specificity of the inorganic entity In addition,
Wherein the singularity includes an angle, a perspective and a direction.
제8항에 있어서, 상기 학습 이미지 합성 모듈은
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하여,
상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
The method of claim 8, wherein the learning image synthesis module
The background image selection module determines the specificity of at least one background image type selected by the digital noise selection module,
Wherein the sequential synthesis or the random synthesis is selectively performed based on the specificity of each of the plurality of 2D learning images and the specificity of the discriminated background image type.
제12항에 있어서, 상기 학습 이미지 합성 모듈은
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
13. The apparatus of claim 12, wherein the learning image synthesis module
When the specificity of each of the 2D learning images exceeds a threshold value, synthesizes a background image to a 2D learning image and finally synthesizes a digital noise,
When the specificity of each of the 2D learning images is less than the threshold value and the specificity of the background image type is equal to or greater than the threshold value, the 2D learning image is synthesized with the background image,
Wherein the 2D learning image, the background image, and the digital noise are randomly synthesized when the specificities of the 2D learning image and the background image are all equal to or less than the threshold value.
무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 단계; 및
상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며,
상기 학습 이미지를 생성하는 단계는
상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및
상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
Outputting learning data of a 3D CAD model including an inorganic object; And
Generating a plurality of 2D inorganic object images by adjusting the specificity of the 3D inorganic objects based on the type of the 3D inorganic objects included in the learning data, synthesizing the generated plurality of 2D inorganic object images with one or more background images and digital noise And generating a learning image,
The step of generating the learning image
Recognizing a type of a specific inorganic object segmented from learning data of the 3D CAD model and generating a plurality of 2D learning images by differently adjusting angles, perspectives and directions of the 3D inorganic object based on the recognized types; And
Selecting one or more background images and digital noise associated with the plurality of 2D learning images based on the type of the recognized inorganic object and the specificity of the adjusted 3D inorganic object; How to enhance learning performance.
제14항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
15. The method of claim 14,
A background image of a real background image or a background image of a geometric pattern,
Wherein the digital noise includes learning disturbance noise or random noise.
제14항에 있어서, 상기 복수의 2D 학습 이미지를 생성하는 단계는
상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
15. The method of claim 14, wherein generating the plurality of 2D learning images comprises:
If the learning data of the 3D CAD model includes a unique background image, dividing the inorganic object by removing the background image,
Wherein the specificity includes an angle, a perspective and a direction.
제14항에 있어서, 상기 학습 이미지를 생성하는 단계는
선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하는 단계; 및
상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 수행하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
15. The method of claim 14, wherein generating the training image comprises:
Determining the specificity of the selected at least one background image type; And
And performing sequential synthesis or random synthesis based on the specificity of each of the plurality of 2D learning images and the specificity of the discriminated background image type.
제17항에 있어서, 상기 순차 합성 또는 랜덤 합성을 수행하는 단계는
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계;
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
18. The method of claim 17, wherein performing the sequential or random synthesis comprises:
Synthesizing a background image in a 2D learning image and finally synthesizing a digital noise when the specificity of each of the 2D learning images exceeds a threshold value;
Synthesizing a 2D learning image on a background image when the specificity of each of the 2D learning images is less than a threshold value and the specificity of a background image type is more than a threshold value, and finally synthesizing digital noise; And
And randomly synthesizing the 2D learning image, the background image, and the digital noise when the specificities of the 2D learning image and the background image are both equal to or less than the threshold value.
KR1020170151748A 2017-11-14 2017-11-14 Apparatus and method for enhancing learning capacility for machine learning KR102053202B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170151748A KR102053202B1 (en) 2017-11-14 2017-11-14 Apparatus and method for enhancing learning capacility for machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151748A KR102053202B1 (en) 2017-11-14 2017-11-14 Apparatus and method for enhancing learning capacility for machine learning

Publications (2)

Publication Number Publication Date
KR20190054782A true KR20190054782A (en) 2019-05-22
KR102053202B1 KR102053202B1 (en) 2019-12-06

Family

ID=66679673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151748A KR102053202B1 (en) 2017-11-14 2017-11-14 Apparatus and method for enhancing learning capacility for machine learning

Country Status (1)

Country Link
KR (1) KR102053202B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384009B1 (en) * 2020-12-28 2022-04-08 주식회사 마크애니 Learning data augmentation method and apparatus by composing object and background
KR20220073242A (en) * 2020-11-26 2022-06-03 한국전력공사 Apparatus for constructing learning data for machine learning of power facilities and metho thereof
KR20220081520A (en) * 2020-12-09 2022-06-16 청주대학교 산학협력단 Method and apparatus for configuring learning data set in object recognition
KR20230008484A (en) * 2021-07-07 2023-01-16 서울시립대학교 산학협력단 Apparatus and method for evaluating the management status of pedestrian paths according to obstacles using image deep learning algorithm
US11599114B2 (en) 2019-07-09 2023-03-07 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR102540629B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for generate training data for transportation facility and computer program recorded on record-medium for executing method therefor
KR20230141303A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent by forming environment in virtual space
KR20230141302A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent for recognizing object in virtual space
KR20230142198A (en) 2022-04-01 2023-10-11 주식회사 비솔 System for creating background data for artificial intelligent by patterning for object in virtual space
KR20240038367A (en) * 2022-09-16 2024-03-25 중앙대학교 산학협력단 Synthetic image generation method and apparatus for training to detect an unconscious person in UAV environment
KR102701172B1 (en) 2023-11-15 2024-08-29 국방과학연구소 Method and apparatus for generating virtual image for training deep learning model for detecting target from aerial image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631163B2 (en) * 2020-02-11 2023-04-18 Samsung Electronics Co., Ltd. Mobile data augmentation engine for personalized on-device deep learning system
WO2021178909A1 (en) * 2020-03-05 2021-09-10 Waymo Llc Learning point cloud augmentation policies

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178229A (en) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd Teacher data creation method, image classification method and image classification device
WO2016157499A1 (en) * 2015-04-02 2016-10-06 株式会社日立製作所 Image processing apparatus, object detection apparatus, and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178229A (en) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd Teacher data creation method, image classification method and image classification device
WO2016157499A1 (en) * 2015-04-02 2016-10-06 株式会社日立製作所 Image processing apparatus, object detection apparatus, and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Peng, Xingchao, et al. Learning Deep Object Detectors from 3D Models. arXiv preprint arXiv:1412.7122v4. 2015.10.12.* *
Rodner, Erik, et al. Fine-grained recognition in the noisy wild: Sensitivity analysis of convolutional neural networks approaches. arXiv preprint arXiv:1610.06756. 2016.10.21.* *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11599114B2 (en) 2019-07-09 2023-03-07 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US12078998B2 (en) 2019-07-09 2024-09-03 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20220073242A (en) * 2020-11-26 2022-06-03 한국전력공사 Apparatus for constructing learning data for machine learning of power facilities and metho thereof
KR20220081520A (en) * 2020-12-09 2022-06-16 청주대학교 산학협력단 Method and apparatus for configuring learning data set in object recognition
KR102384009B1 (en) * 2020-12-28 2022-04-08 주식회사 마크애니 Learning data augmentation method and apparatus by composing object and background
KR20230008484A (en) * 2021-07-07 2023-01-16 서울시립대학교 산학협력단 Apparatus and method for evaluating the management status of pedestrian paths according to obstacles using image deep learning algorithm
KR20230141303A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent by forming environment in virtual space
KR20230141302A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent for recognizing object in virtual space
KR20230142198A (en) 2022-04-01 2023-10-11 주식회사 비솔 System for creating background data for artificial intelligent by patterning for object in virtual space
KR20240038367A (en) * 2022-09-16 2024-03-25 중앙대학교 산학협력단 Synthetic image generation method and apparatus for training to detect an unconscious person in UAV environment
KR102540629B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for generate training data for transportation facility and computer program recorded on record-medium for executing method therefor
KR102701172B1 (en) 2023-11-15 2024-08-29 국방과학연구소 Method and apparatus for generating virtual image for training deep learning model for detecting target from aerial image

Also Published As

Publication number Publication date
KR102053202B1 (en) 2019-12-06

Similar Documents

Publication Publication Date Title
KR20190054782A (en) Apparatus and method for enhancing learning capacility for machine learning
KR101947650B1 (en) Apparatus and method for generating learning image in game engine-based machine learning
US11012679B2 (en) Generating apparatus, generating method, and storage medium
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
US8687001B2 (en) Apparatus and method extracting light and texture, and rendering apparatus using light and texture
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
US20180276882A1 (en) Systems and methods for augmented reality art creation
US20090079730A1 (en) Method and apparatus for generating 3D image using 2D photograph images
CN109690620A (en) Threedimensional model generating means and threedimensional model generation method
NZ565418A (en) Methodology for 3D scene reconstruction from 2D image sequences
CN103577793A (en) Gesture recognition method and device
CN104732203A (en) Emotion recognizing and tracking method based on video information
US10229340B2 (en) System and method for coarse-to-fine video object segmentation and re-composition
KR20120082126A (en) Apparatus and method for extracting feature of depth image
KR101851303B1 (en) Apparatus and method for reconstructing 3d space
CN107024989A (en) A kind of husky method for making picture based on Leap Motion gesture identifications
EP4092629A2 (en) Method and apparatus for displaying objects, and storage medium
CN109685095B (en) Classifying 2D images according to 3D arrangement type
CN110196917A (en) Personalized LOGO format method for customizing, system and storage medium
KR20230036543A (en) Method and apparatus for reconstructing 3d scene with monocular rgb image based on deep learning
KR102358854B1 (en) Apparatus and method for color synthesis of face images
CN110060346B (en) Determining a set of facets representing a real object skin
KR20190029842A (en) Three-Dimensional Restoration Cloud Point Creation Method Using GPU Accelerated Computing
CN113068017A (en) Enhancing video throughput of real scenes
Agus et al. Interactive 3D Exploration of a Virtual Sculpture Collection: an Analysis of User Behavior in Museum Settings.

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant