KR102053202B1

KR102053202B1 - 머신 러닝의 학습성능 강화장치 및 방법

Info

Publication number: KR102053202B1
Application number: KR1020170151748A
Authority: KR
Inventors: 양훈민; 오세윤; 조성백
Original assignee: 국방과학연구소
Priority date: 2017-11-14
Filing date: 2017-11-14
Publication date: 2019-12-06
Also published as: KR20190054782A

Abstract

본 발명은 이미지 합성을 통해 다양하고 강건한 학습 이미지를 생성하여 머신 러닝(machine learning)의 학습 성능을 향상/강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법에 관한 것으로, 적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈; 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및 상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함할 수 있다.

Description

머신 러닝의 학습성능 강화장치 및 방법{APPARATUS AND METHOD FOR ENHANCING LEARNING CAPACILITY FOR MACHINE LEARNING}

본 발명은 이미지 합성을 통해 다양하고 강건한 학습 이미지를 생성하여 머신 러닝(machine learning)의 학습 성능을 향상/강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법에 관한 것이다.

일반적으로 머신 러닝(machine learning, 기계 학습)은 데이터를 기반으로 기계가 직접 학습과 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다.

기존의 머신 러닝 시스템의 개발에 사용되는 영상분석용 딥러닝 기술의 경우는 머신 러닝에서 요구되는 학습 데이터의 요구량을 크게 상회하는 수만~수백만 장의 학습 이미지 데이터가 필요하다.

하지만, 실제로는 일부 공개되어있는 몇 종류의 표준 벤치마킹 데이터 세트 외에는 여러 가지 기술 외적인 요인으로 인해 대용량 학습 데이터의 확보 자체가 쉽지 않은 실정이다. 특히 전차, 항공기 등과 같은 무기체계에 관련된 학습 이미지의 경우는 분야의 특수성으로 인해 이미지의 출처가 매우 제한적이고 머신 러닝 학습용 이미지 데이터의 수집/획득에 많은 한계가 있는 실정이다.

본 발명의 목적은 이미지 출처가 매우 제한적이고 수집/획득에 많은 한계가 있는 머신 러닝 학습용 이미지를 다양하게 생성할 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 머신 러닝 학습에 적용될 다양한/강건한 합성 학습 이미지를 생성하여 데이터의 학습 성능을 강화시킬 수 있는 머신 러닝의 학습성능 강화장치 및 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 머신 러닝의 습성능 강화장치는, 적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈; 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및 상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함할 수 있다.

본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 있다.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은, 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.

본 발명의 실시예에 따라, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈; 배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화장치는, 적어도 하나의 무기 객체를 포함하는 3D CAD 모델의 학습 데이터로부터 무기 객체를 분할 및 검출하고, 검출된 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 조정된 복수의 2D 무기 객체 이미지를 생성하는 2D학습 이미지 생성 모듈; 제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈; 제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및 상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함할 수 있다.

본 발명의 실시예에 따라, 상기 배경 이미지는 실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고, 상기 디지털 노이즈는 학습 방해 노이즈 또는 랜덤 노이즈를 포함할 수 잇다.

본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며, 상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할할 수 있다.

본 발명의 실시예에 따라, 상기 2D학습 이미지 생성 모듈은 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성을 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고, 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하며, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.

본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은 상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하여, 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행할 수 있다.

본 발명의 실시예에 따라, 상기 학습 이미지 합성 모듈은, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고, 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 머신 러닝의 학습 성능 강화방법은, 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 단계; 및 상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며, 상기 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및 상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따라, 상기 복수의 2D 학습 이미지를 생성하는 단계는 상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고, 상기 특이성은 각도, 원근 및 방향을 포함할 수 있다.

본 발명의 실시예에 따라, 상기 학습 이미지를 생성하는 단계는 선정된 적어도 하나 이상의 배경 이미지 유형의 특이성을 판별하는 단계; 및 상기 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 수행하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따라, 상기 순차 합성 또는 랜덤 합성을 수행하는 단계는, 상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및 상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함할 수 있다.

본 발명은 학습성능 강화모듈을 이용하여 학습데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시키는 학습데이터 대량 생성 구조를 제안하여 다양한 학습 데이터 환경과 조건을 만들 수 있는 효과가 있다. 이로 인하여 본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 근본적으로 해결할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도.
도 2는 도 1에 도시된 학습 성능 강화 모듈의 상세 블록 구성도.
도 3은 본 발명에 따른 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화방법에 따른 각 모듈의 동작을 나타낸 순서도.
도 4는 본 발명에서 적용되는 배경 이미지의 일 예를 나타낸 도면.
도 5는 본 발명에서 적용되는 디지털 노이즈의 일 예를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 학습 성능 강화 모듈이 구비하고 있는 이미지 분할 기능과 이미지 합성 기능의 일 예를 나타낸 도면.
도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 상룡될 최종 학습 이미지를 생성하는 일 에를 나타낸 도면.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

그리고, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 해결하기 위해 학습 데이터 원본에 실물 배경이미지 또는 기하패턴과 디지털 노이즈를 합성하는 학습 이미지 합성 기술을 적용하여 머신 러닝 학습 데이터의 학습 성능(강건화/일반화)을 향상시키는 학습 데이터 대량 생성 구조를 제안한다. 상기 학습 데이터 대량 생성 구조에 의해 본 발명은 다양한 학습 데이터 환경과 조건을 생성할 수 있다.

도 1은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 블록 구성도이다.

도 1에 도시된 바와같이, 본 발명에 따른 머신 러닝의 학습성능 강화장치는, 학습 데이터 모듈(100), 신경망 모델부(110), 신경망 연산 프레임워크(120), 학습 성능 강화 모듈(130), 고속 클러스터 컴퓨팅 모듈(140) 및 훈련 모델 예측부(140)를 포함한다.

상기 학습 데이터 모듈(100)은 머신 러능을 수행할 학습 데이터 원본을 제공한다. 상기 학습 데이터 원본은 3차원(3D) CAD 모델 데이터일 수 있다. 상기 3차원(3D) CAD 모델 데이터는 적어도 하나의 무기 객체를 포함할 수 있다.

상기 신경망 모델부(110)는 기 정의된 신경망 모델을 제공할 수 있고, 상기 신경망 연산 프레임워크(120)는 학습 데이터에 대하여 머신 러닝과 예측을 수행하기 위한 신경망 연산을 제공할 수 있다.

상기 학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 이미지 학습 데이터 모듈(100)로부터 입력된 학습 데이터 원본으로부터 적어도 하나의 무기 객체를 분할하여 상기 분할된 적어도 하나의 무기 객체에 관련된 복수의 2D 학습 이미지(무기 객체 이미지)를 생성하고, 상기 생성된 복수의 2D 학습 이미지를 이미지 합성 기능을 이용하여 다수의 배경 이미지(실물 배경 또는 기하하적 패턴의 배경 이미지) 및 디지털 노이즈와 합성하여 머신 러닝을 수행하기 위한 학습 이미지를 출력한다.

일 구현 예에서, 상기 학습 성능 강화 모듈(130)은 분할된 3D 무기 객체의 유형을 인식한 후 인식된 해당 3D 무기 객체의 각도, 원근 및 방향을 조정하여 복수의 2D 학습 이미지를 자동으로 생성할 수 있다. 상기 학습 성능 강화 모듈은 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 각도, 원근 및 방향을 근거로, 상기 생성된 복수의 2D 학습 이미지와 합성될 배경 이미지와 디지털 노이즈를 결정할 수 있다.

상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다. 상기 분할 기능은 디지털 영상을 여러 개의 픽셀 집합으로 나누어 의미 있는 해석을 가능하도록 분할하는 것을 나타낸다.

상기 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여, 상기 학습 이미지에 대하여 머신 러닝을 수행할 수 있다.

상기 훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 러닝 머신 및 예측에 기반하여 해당 학습 이미젱 대한 훈련 모델 이용 여부를 결정할 수 있다.

도 2는 도 1에 도시된 학습 성능 강화 모듈(130)의 상세 블록 구성도이다.

도 2를 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 원본(3D CAD 모델)을 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈(10)과, 배경 이미지 저장모듈(20a)로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하적 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈(20)과, 디지털 노이즈 저장 모듈(30b)로부터 적어도 하나 이상의 디지털 노이즈(e.g., 균일 분포 또는 가우시안 분포)를 선정하는 디지털 노이즈 선정 모듈(20)과, 상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈(40)로 구성된다.

상기 2D 학습 이미지 생성 모듈(10)은 이미지 분할 기능을 구비하여 3D CAD 모델인 학습 데이터를 분할 및 검출(경계선 검출)하여, 임의의 각도, 원근 및 방향이 서로 상이한 다양한 2D 학습이미지를 생성할 수 있다. 상기 분해는 이미 고유 배경 이미지를 갖고 있는 학습 데이터로부터 배경을 제거하고 이미지를 추출하거나 이미지를 분할하는 것도 포함할 수 있다. 상기 분할은 3D CAD 모델인 학습 데이터를 복수의 영역으로 부분하여 사용하는 것을 포함한다.

상기 배경 이미지 저장 모듈(20a)은 복수의 배경 이미지를 저장할 수 있으며, 상기 복수의 배경 이미지는 실물 배경 이미지(e.g., 풍경)와 기하학적 패턴 이미지(e.g., 무늬, 형상 및 그들의 조합)를 포함할 수 있다.

상기 디지털 노이즈 저장모듈(30a)은 복수의 디지털 노이즈를 저장할 수 있으며, 상기 복수의 디지털 노이즈는 학습 방해 노이즈 및 랜덤 노이즈(normal /uniform/poisson 및 기타)를 포함할 수 있다.

상기 배경 이미지 저장 모듈(20a)와 디지털 노이즈 저장모듈(30a)는 설명의 편의를 위하여 개별적으로 도시되었으나 이에 한정되는 것은 아니다. 즉, 하나의 메모리내에 각각 복수의 배경 이미지와 복수의 디지털 노이즈가 서로 다른 저장 영역에 저장될 수 있다. 이 경우 메모리는 도 2처럼 도시되지 않을 수도 있다.

상기 학습 이미지 합성 모듈(40)을 이미지 합성 기능을 구비하여, 생성된 복수의 2D학습 이미지와 상기 선택된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성할 수 있다. 이 경우 학습 이미지 합성 모듈(30)은 2D 학습이미지, 배경이미지 및 노이즈를 순차적으로 합성하거나 가변하여 합성할 수 있다.

이와같이 구성된 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 첨부된 도면을 참조하여 설명하면 다음과 같다. 특히 본 발명의 특징은 학습 성능 강화 모델(130)에 있기 때문에 이를 중심으로 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 머신 러닝의 학습성능 강화장치의 동작을 나타낸 순서도이고, 도 4는 배경 이미지의 일 예이며, 도 5는 디지털 노이즈의 일 예이다.

도 3을 참조하면, 학습 성능 강화 모듈(130)은 학습 데이터 모듈(100)로부터 머신 러닝에 사용될 학습 데이타 원본인 3D CAD모델을 입력받을 수 있다. 상기 3D CAD모델은 무기체계에 관련된 3D 이미지로, 전차, 항공기, 포, 진지 등과 같은 개별 무기 객체 이미지 또는 그들의 조합일 수 있다(S100).

학습 성능 강화 모듈(130)은 이미지 분할 기능을 이용하여 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 적어도 하나 이상의 이미지를 인식/분할, 분할 이미지의 변형 및 재배치하여 복수의 2D학습 이미지를 생성한다(S110). 상기 분할은 무기 객체(weapon object) 이미지 또는 배경 이미지의 분할을 포함할 수 있다. 상기 이미지의 변형은 분할된 무기 객체의 사이즈 확대/축소, 각도, 원근 및 방향을 수정하는 것을 포함할 수 있다. 상기 재배치는 분할된 객체(object) 이미지 또는 배경 이미지의 위치 이동 및/또는 교체를 포함할 수 있다.

일 실시예로, 학습 성능 강화 모듈(130)의 2D 학습 이미지 생성 모듈(20)은 운영자가 입력한 상세 설정에 기초하여 복수의 2D학습 이미지를 생성할 수 있다. 상기 상세 설정은 분할 대상인 무기 객체의 확대/축소, 각도, 원근, 방향, 재배치 위치 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 이 경우 학습 성능 강화 모듈(130)은 사용자 선택을 위해 별도의 사용자 인터페이스(UI)를 표시하거나 복수의 선택 항목이 포함된 메뉴를 제공할 수 있다.

다른 실시예로, 상기 학습 성능 강화 모듈(130), 더 상세하게는 2D 학습 이미지 생성 모듈(20)은 객체 인식 기법을 통해 학습 데이터 원본(3D CAD 모델)으로부터 머신 러닝에 사용될 무기 객체(전차, 항공기, 포, 진지 및 기타)를 인식한 후 인식된 무기 객체의 유형(type)에 따라 각도, 원근 및 방향을 다르게 변경하여 복수의 2D 학습이미지를 생성할 수 있다. 일 예로, 전차의 경우는 배면이 보이는 이미지를 생성하지 않지만 항공기의 경우는 배면이 보이는 이미지를 생성할 수 있다. 특히, 2D 학습 이미지 생성 모듈(20)은 학습 데이터 원본(3D CAD 모델)으로부터 객체가 인식되면 인식된 객체의 유형을 배경 이미지 선정 모듈(20) 및 디지털 노이즈 선정 모듈(3)로 제공할 수 있다.

또한, 학습 성능 강화 모듈(130)은 이미지 선정 기능을 이용하여 2D 학습 이미지 생성 모듈(20)에서 생성된 복수의 2D 학습 이미지에 해당하는 적어도 하나의 배경 이미지와 디지털 노이즈를 선정할 수 있다(S120, S130). 상기 선정은 저장 매체(e.g., 저장 모듈)에 저장된 복수의 배경 이미지와 디지털 노이즈 중에서 상기 인식된 객체 유형에 매칭되는 적어도 하나의 배경 이미지를 선정하는 것을 의미한다.

즉, 일 실시예로, 학습 성능 강화 모듈(130)의 배경 이미지 선정 모듈(20)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 배경 이미지를 배경 이미지 저장 모듈(20a)로부터 선정할 수 있다. 상기 배경 이미지는 도 4에 도시된 바와같이, 실물 배경 이미지 및/또는 기하학적 패턴이 적용된 이미지를 포함할 수 있다. 상기 배경 이미지는 시간(e.g., 오전, 오후 또는 야간) 및 날씨(흐린날, 밝은 날, 비, 눈 및 기타)를 고려한 이미지일 수 있다.

또한, 일 실시예로, 학습 성능 강화 모듈(130)의 디지털 노이즈 선정 모듈 (30)은 2D 학습 이미지 생성 모듈(20)로부터 입력된 무기 객체의 유형(e.g., 전차)에 기초하여 해당 무기 객체에 관련된 적어도 하나 이상의 디지털 노이즈를 디지털 노이즈 저장 모듈(30a)로부터 선정할 수 있다. 상기 디지털 노이즈는 상기 인식된 객체에 대한 머신 러닝을 방해하는 노이즈로, 도 5에 도시된 바와같이 기 설정된 학습 방해 노이즈 또는 랜덤 노이즈(e.g., normal, uniform, poisson 노이즈)를 포함할 수 있다.

상기 학습 성능 강화 모듈(130) 내에서 생성된/선정된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈는 서로 동기될 수 있다. 즉, 도 2에서 복수의 2D학습 이미지, 적어도 하나 이상의 배경 이미지 및 디지털 노이즈 각각은 동기되어 학습 이미지 합성 모듈(40)로 입력될 수 있다. 따라서, 학습 성능 강화 모듈(130)은 도 6에 도시된 바와같이, 이미지 합성 기능을 이용하여 상기 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성함으로써 다양한 2D학습 이미지를 생성하여 출력한다(S140). 이때, 서로 상이한 2D 학습 이미지에 서로 다른 배경 이미지 및 디지털 노이즈가 합성될 수 있고, 서로 상이한 2D 학습 이미지에 동일한 하나 이상의 배경 이미지 및 디지털 노이즈가 합성될 수도 있다.

상기 생성된 다양한 2D 학습 이미지는 도 1의 후단부(140), 150)로 제공되어 머신 러닝에 사용된다. 상기 합성은 기 설정된 조건(랜덤/규칙 기반)에 기반하여 이루어질 수 있다.

도 7은 본 발명의 실시예에 따른 학습 성능 강화 모듈에서 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 최종 학습 이미지를 생성하는 일 예를 나타낸다.

일 실시예로, 학습 성능 강화 모듈(130)의 학습 이미지 합성 모듈(40)은 예를들어, 각 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)과 선정된 배경 이미지 및 디지털 노이즈 각각의 유형에 기초하여 특정 순서에 따라 합성하거나 랜덤하게 합성할 수 있다.

특정 순서에 따른 합성은 우선순위에 따라 순차적으로 합성하는 것으로, 예를 들면, 먼저 2D 학습 이미지에 배경 이미지를 합성한 후 합성된 이미지에 디지털 노이즈를 합성하는 제1방법과 배경 이미지에 디지털 노이즈를 합성한 후 2D 학습 이미지를 맨 나중에 합성하는 제2방법을 포함할 수 있다. 제1합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성(각도, 원근 및 방향)이 기설정된 임계값 보다 커서, 배경 이미지와의 정확한 합성이 요구되는 경우에 적용된다.

제1합성 방법을 사용할 경우 학습 이미지 합성 모듈(40)은 예를들어, n개의 2D 학습이미지와 m개의 상이한 실물 배경 이미지(또는 기하학적 패턴 이미지)를 조합하여 조합하여 n×m개의 2D 학습이미지를 생성할 수 있고, 상기 생성된 n×m개의 2D 학습이미지에 p개의 상이한 노이즈(비균일 분포, 가우시안 분포 등)를 조합하여 총 n×m×p개의 학습이미지를 생성할 수 있다. 상기 생성된 최종 학습이미지는 다양한 각도와 배경, 그리고 노이즈까지 강건할 수 있는 정보를 포함하기 때문에 최종 생성된 학습이미지를 사용하면 학습성능이 강화될 수 있다.

제2합성 방법은 생성된 2D 학습 이미지(e.g., 무기 객체)의 특이성이 임계값 미만(일반적인 각도, 원근 및 방향)이지만, 배경 이미지(또는 디지털 노이즈)의 특이성이 임계값을 초과하는 경우에 주로 적용된다. 이를 위하여, 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)은 복수의 2D 학습 이미지와 배경 이미지를 각각 전송할 때 해당 이미지의 유형(type)을 나타내는 정보(e.g., normal or specific을 나타내는 정보)를 함께 제공할 수 있으며, 해당 정보를 기반으로 학습 이미지 합성 모듈(40)은 특이성이 임계값을 초과했는지의 여부를 판단할 수 있다.

반면에 랜덤 합성은 2D 학습 이미지 생성 모듈(10)과 배경 이미지 선정 모듈(20)(또는 디지털 노이즈 선정 모듈)에서 제공된 이미지의 특이성이 모두 임계값 미만일 때, 순서에 관계없이 2D 학습 이미지(e.g., 무기 객체), 배경 이미지 및 디지털 노이즈를 합성하는 것을 나타낸다.

본 발명의 실시예에서는 설명의 편의를 위하여 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 제공될 때, 학습 성능 강화 모듈(130)에서 상기 무기 객체의 유형을 인식하고, 상기 인식된 무기 객체의 유형에 기초하여 복수의 2D 학습 이미지를 생성하고, 상기 생성된 2D 학습 이미지의 상태 정보에 대응되는 적어도 하나 이상의 배경 이미지와 디지털 이미지를 선정하는 구성을 주로 설명하였다. 하지만, 본 발명은 이에 한정되지 않고, 학습 성능 강화 모듈(130)이 복수의 2D 학습 이미지를 생성할 때 별도의 사용자 인터페이스(e.g., 설정 팝업 메뉴)를 선택적으로 제공하여, 생성될 이미지의 유형을 지정할 수 있다. 상기 사용자 인터페이스(e.g., 설정 팝업 메뉴)는 키워드 명령을 입력할 수 있는 창을 포함하거나, 각 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 복수의 항목(item) 리스트를 포함할 수 있다.

일부 구현 예에서, 사용자 인터페이스가 키워드 명령을 입력할 수 있는 창으로 구성된 경우 운용자는 해당 창에 예를들어, "T-30 탱크 산악 전투"와 같은 키워드를 입력할 수 있으며, 상기 키워드에 따라 2D 학습 이미지 생성 모듈(10)은 다양한 각도, 방향, 자세를 갖는 T-30 탱크 이미지를 발생하고, 이에 기초하여 배경 이미지 선정 모듈(20)과 디지털 노이즈 선정 모듈(30)은 적어도 하나 이상의 산악 배경 이미지 및 디지털 노이즈를 선정한다.

반면에, 팝업 메뉴를 제공하는 사용자 인터페이스를 시용할 경우에는 수행하고자 하는 러닝 머신의 목적에 기초하여 이미지 생성 타입(e.g., 각도, 원근 및 방향), 배경 이미지의 종류 및 디지털 노이즈의 종류를 나타내는 항목을 적절히 선택하여, 후단(고속 클러스터 컴퓨팅 모듈, 훈련 모델 예측부)에서 사용될 이미지의 종류를 한정할 수도 있다. 상기 구가지 방법은 운용자의 필요에 따라 적절히 선택하여 사용할 수 있다.

상기 학습 성능 강화 모듈(130)은 학습 데이타 원본, 즉, 3D CAD모델의 무기 객체가 입력될 때 항상 사용자 인터페이스를 제공하는 것은 아니다. 상기 사용자 인터페이스의 제공은 운용자의 초기 설정에 따라 활성화/비활성화 될 수 있으며, 활성화되어 표시된다고 하더라도 사용자로부터 기 설정된 시간동안 아무런 입력이 없는 경우에는 사라지도록 구성될 수도 있다.

이후 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(130)를 통해 생성된 다양한 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여 머신 러닝을 수행한다. 즉, 고속 클러스터 컴퓨팅 모듈(140)은 학습 성능 강화 모듈(13)에서 생성된 다양한 2D학습이미지로부터 무기 객체 인식에 필요한 특징을 추출하고, 신경 모델부(110)에서 제공된 신경망 모델과 신경망 연산 프레임워크(120)에서 제공된 신경망 연산을 이용하여 상기 추출된 특징에 대해 패턴 학습을 수행한다.

훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 패턴 학습 결과를 이용하여 무기 객체를 판별하고, 해당 학습 이미지 대한 훈련 모델 적용 여부를 결정한다.

상술한 바와같이 본 발명은 학습 데이타 원본, 즉, 3D CAD모델의 학습 데이터 원(e.g.,무기 객체)를 제공받아 다양한 각도, 원근 및 방향을 갖는 2D 학습 이미지를 생성하고, 상기 생성된 복수의 2D학습 이미지와 적어도 하나 이상의 배경 이미지(실물 배경 이미지 또는 기하패턴의 배경 이미지) 및 디지털 노이즈를 합성하는 최종 학습 이미지를 생성함으로써 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습데이터 부족 문제를 해결할 수 있는 장점이 있다.

그리고, 본 발명은 상기와 같이 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 수 있는 학습 데이터 대량 생성 구조를 제공함으로써 머신 러닝 학습데이터의 학습 성능(강건화/일반화)을 향상시킬 수 있다.

또한, 본 발명은 학습데이터 원본에 실물 배경이미지 또는 기하패턴의 배경 이미지 및 디지털 노이즈를 합성하여 다양한 학습 이미지를 생성할 때 다양한 학습 데이터 환경과 조건을 만들 수 있는 인터페이스를 제공함으로써 머신 러닝을 위한 보다 다양한 학습 이미지를 생성할 수 있는 효과가 있다.

상술한 본 발명에 따른 따른 머신 러닝의 학습성능 강화장치 및 방법은 상기 설명된 실시예들에 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

10 : 2D 학습 이미지 생성 모듈 20 : 배경 이미지 선정 모듈
20a : 배경 이미지 저장 모듈 30 : 디자털 노이즈 선정 모듈
30a : 디지털 노이즈 저장 모듈 40 : 학습 이미지 합성 모듈
100 : 학습 데이터 모듈 110 : 신경망 모델부
120 : 신경망 연산 프레임 워크 130 : 학습 성능 강화 모듈
140 : 고속 클러스터 컴퓨팅 모듈 150 : 훈련 모델 예측부

Claims

적어도 하나의 무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 학습 데이터 모듈;
학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 각도, 원근 및 방향이 상이한 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 학습 성능 강화 모듈; 및
상기 생성된 학습 이미지를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 무기 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈;을 포함하며,
상기 학습 성능 강화 모듈은,
상기 하나 이상의 배경 이미지의 특이성을 판별하며,
상기 복수의 2D 무기 객체 이미지 각각의 특이성이 임계값을 초과할 때는 2D 무기 객체 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 무기 객체 이미지 각각의 특이성이 임계값 미만이고, 상기 배경 이미지의 특이성이 임계값 이상일 때는, 배경 이미지에 2D 무기 객체 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 무기 객체 이미지와 상기 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제1항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 상기 3D 무기 객체의 유형에 기초하여 상기 3D 무기 객체에 관련되며 상기 무기 객체의 인식을 방해하는 적어도 하나의 기 설정된 노이즈를 포함하며,
상기 적어도 하나의 기 설정된 노이즈는,
normal 노이즈, uniform 노이즈, poisson 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제1항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제3항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제3항에 있어서, 상기 학습 성능 강화 모듈은
상기 인식된 무기 객체의 유형, 조정된 3D 무기 객체의 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 저장 매체로부터 선정하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제5항에 있어서, 상기 학습 성능 강화 모듈은
저장 매체로부터 선정된 하나 이상의 배경 이미지와 디지털 노이즈 유형의 특이성을 판별하여, 복수의 2D 학습 이미지 각각의 특이성과 상기 판별된 배경 이미지와 디지털 노이즈 유형의 특이성에 기초하여 순차 합성 또는 랜덤 합성을 선택적으로 수행하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제1항에 있어서, 상기 학습 성능 강화 모듈은
3D CAD 모델의 학습 데이터로부터 무기 객체를 분해하여 임의의 각도, 원근 및 방향이 상이한 복수의 2D 학습이미지를 생성하는 2D학습 이미지 생성 모듈;
배경 이미지 저장모듈로부터 적어도 하나 이상의 실물 배경 이미지 또는 기하 패턴의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
디지털 노이즈 저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D학습 이미지와 상기 선정된 적어도 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 러닝 머신에 이용될 복수의 학습 이미지를 출력하는 학습 이미지 합성 모듈;을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
적어도 하나의 무기 객체를 포함하는 3D CAD 모델의 학습 데이터로부터 무기 객체를 분할 및 검출하고, 검출된 무기 객체의 유형에 기초하여 각도, 원근 및 방향을 포함하는 적어도 하나의 특이성이 조정된 복수의 2D 무기 객체 이미지를 생성하는 2D학습 이미지 생성 모듈;
제1저장 모듈로부터 적어도 하나 이상의 배경 이미지를 선정하는 배경 이미지 선정 모듈;
제2저장 모듈로부터 적어도 하나 이상의 디지털 노이즈를 선정하는 디지털 노이즈 선정 모듈; 및
상기 생성된 복수의 2D 무기 객체 이미지 및 적어도 하나 이상의 배경 이미지의 특이성에 기초하여, 2D 무기 객체 이미지, 배경 이미지 및 디지털 노이즈를 합성하여 머신 러닝에 사용될 복수의 학습 이미지를 생성하는 학습 이미지 합성 모듈;을 포함하며,
상기 학습 이미지 합성 모듈은,
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈에서 선정된 적어도 하나 이상의 배경 이미지의 특이성을 판별하여,
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지에 대한 상기 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하고,
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제8항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 상기 3D CAD 모델의 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 상기 3D 무기 객체에 관련되며 상기 무기 객체의 인식을 방해하는 적어도 하나의 기 설정된 노이즈를 포함하며,
상기 적어도 하나의 기 설정된 노이즈는,
normal 노이즈, uniform 노이즈, poisson 노이즈를 포함하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제8항에 있어서, 상기 2D학습 이미지 생성 모듈은
상기 3D CAD 모델의 학습 데이터로부터 머신 러닝을 수행할 무기 객체를 분할하여 유형을 인식하여,
상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 자동으로 생성하며,
상기 학습 성능 강화 모듈은 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
제8항에 있어서, 상기 2D학습 이미지 생성 모듈은
상기 검출된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 상기 특이성을, 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈로 통보하고,
상기 배경 이미지 선정 모듈과 디지털 노이즈 선정 모듈은 무기 개체의 유형과 통보된 특이성에 기초하여, 상기 생성된 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 제1,제2저장 매체로부터 각각 선정하는 것을 특징으로 하는 머신 러닝의 학습성능 강화장치.
삭제
삭제
무기 객체가 포함된 3D CAD 모델의 학습 데이터를 출력하는 단계; 및
상기 학습 데이터에 포함된 3D 무기 객체의 유형에 기초하여 3D 무기 객체의 특이성을 조정하여 복수의 2D 무기 객체 이미지를 생성하고, 생성된 복수의 2D 무기 객체 이미지와 하나 이상의 배경 이미지 및 디지털 노이즈를 합성하여 학습 이미지를 생성하는 단계;를 포함하며,
상기 학습 이미지를 생성하는 단계는
상기 3D CAD 모델의 학습 데이터로부터 분할된 특정 무기 객체의 유형을 인식하고, 상기 인식된 유형에 기초하여 3D 무기 객체의 각도, 원근 및 방향을 상이하게 조정하여 복수의 2D 학습 이미지를 생성하는 단계; 및
상기 인식된 무기 객체의 유형과 상기 조정된 3D 무기 객체의 특이성에 기초하여, 상기 복수의 2D 학습 이미지와 연관되는 하나 이상의 배경 이미지와 디지털 노이즈를 선정하는 단계;를 포함하며,
상기 학습 이미지를 생성하는 단계는
선정된 적어도 하나 이상의 배경 이미지에 각각에 대한 상기 특이성을 판별하는 단계;
상기 2D 학습 이미지 각각의 특이성이 임계값을 초과할 때는 2D 학습 이미지에 배경 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계;
상기 2D 학습 이미지 각각의 특이성이 임계값 미만이고 배경 이미지 유형의 특이성이 임계값 이상일 때는 배경 이미지에 2D 학습 이미지를 합성한 후 마지막으로 디지털 노이즈를 합성하는 단계; 및
상기 2D 학습 이미지와 배경 이미지의 특이성이 모두 임계값 이하일 경우에는 2D 학습 이미지, 배경 이미지 및 디지털 노이즈를 랜덤하게 합성하는 단계;를 포함하며,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
제14항에 있어서, 상기 배경 이미지는
실물 배경 이미지 또는 기하학적 패턴의 배경 이미지를 포함하고,
상기 디지털 노이즈는 상기 3D 무기 객체의 유형에 기초하여 상기 3D 무기 객체에 관련되며 상기 무기 객체의 인식을 방해하는 적어도 하나의 기 설정된 노이즈를 포함하며,
상기 적어도 하나의 기 설정된 노이즈는,
normal 노이즈, uniform 노이즈, poisson 노이즈를 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
제14항에 있어서, 상기 복수의 2D 학습 이미지를 생성하는 단계는
상기 3D CAD 모델의 학습 데이터가 고유의 배경 이미지를 포함하고 있는 경우 해당 배경 이미지를 제거하여 무기 객체를 분할하는 단계를 포함하고,
상기 특이성은 각도, 원근 및 방향을 포함하는 것을 특징으로 하는 머신 러닝 학습성능 강화방법.
삭제
삭제