KR102286037B1

KR102286037B1 - 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법

Info

Publication number: KR102286037B1
Application number: KR1020180138479A
Authority: KR
Inventors: 이승욱; 김태준; 윤승욱; 임성재; 황본우; 최진성
Original assignee: 한국전자통신연구원
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2021-08-05
Also published as: KR20200055841A; US20200151963A1

Abstract

기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법이 개시된다. 본 발명에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치에 의해 수행되는 학습 데이터 셋 생성 방법은, 3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계, 생성된 상기 3D 모델에 상응하는 2D 이미지를 생성하는 단계, 그리고 상기 2D 이미지 및 상기 3D 모델을 이용하여, 상기 2D 이미지로부터 상기 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 단계를 포함한다.

Description

기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법{LEARNING DATA SET GENERATING APPARATUS AND METHOD FOR MACHINE LEARNING}

본 발명은 기계 학습을 위한 학습 데이터 셋 생성 기술에 관한 것으로, 특히 2D 이미지를 이용하여 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 기술에 관한 것이다.

딥러닝(Deep Learning)은 다양한 응용 분야에서 기존의 비전 기반 접근 방법(Hand Crafted Feature)보다 월등한 성능을 보여준다. 특히, 딥러닝 기술 중 합성곱 신경망(Convolutional Neural Network)은 영상 인식, 자연어 처리, 게임 등의 많은 분야에 적용되어 우수한 결과를 보여주고 있다.

기존의 합성곱 기반의 학습 방식은 상당히 많은 양의 학습 데이터가 필요하다. 영상 혹은 음성의 경우 간단한 방식으로 학습 데이터를 확보할 수 있으나, 3D 딥러닝의 경우 대규모의 학습 데이터를 획득하는 것이 어렵다. 최근에는 3D 비전 기술 기술의 발전으로 저렴한 3D 획득 장치가 보급되었으나, 여전히 대규모의 3D 데이터를 확보하는 것은 쉽지 않은 일이다.

특히, 지도 학습의 경우 태깅 정보가 필요하다. 예를 들어, 게임, 애니메이션, VR/AR 등의 분야에서 사용되는 3D 캐릭터를 생성하고자 하는 경우, 기존의 그래픽 파이프라인에서는 원화 작가가 2D 형태의 원화를 그리고, 이를 기반으로 3D 모델러가 모델링을 진행하며, 이후 질감 작업, 리깅 작업, 애니메이션 작업 등을 진행하여 3D 캐릭터를 생성한다. 그리고 기존의 비전 기술은 객체에 대한 다시점 영상을 획득하고, 획득 당시 사용된 카메라의 위치 정보 등을 이용하여 3D 캐릭터를 복원한다.

한국 공개 특허 제10-2017-0074413호, 2017년 06월 30일 공개(명칭: 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 그 생성방법)

본 발명의 목적은 기계 학습을 위한 학습 데이터 셋을 대량으로 생성하기 위해, 초기 소수의 시드 데이터를 확장하여 대량의 학습 데이터 셋을 생성하는 것이다.

또한, 본 발명의 목적은 2D 원화를 기반으로 3D 캐릭터를 자동으로 생성할 수 있도록 하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치에 의해 수행되는 학습 데이터 셋 생성 방법은, 3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계, 생성된 상기 3D 모델에 상응하는 2D 이미지를 생성하는 단계, 그리고 상기 2D 이미지 및 상기 3D 모델을 이용하여, 상기 2D 이미지로부터 상기 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 단계를 포함한다.

이때, 상기 변형된 3D 캐릭터에 대한 3D 모델을 생성하는 단계는, 상기 3D 데이터를 복수의 분할 모델들로 분할하고, 상기 분할 모델을 변형하여 상기 3D 캐릭터의 변형된 3D 모델을 생성할 수 있다.

이때, 상기 2D 이미지를 생성하는 단계는, 상기 3D 모델에 대한 다시점 렌더링을 수행하여, 상기 3D 모델에 상응하는 하나 이상의 상기 2D 이미지를 생성할 수 있다.

이때, 상기 변형된 3D 캐릭터에 대한 3D 모델을 생성하는 단계는, 상기 3D 데이터를 복수의 분할 모델들로 분할하는 단계, 상기 분할 모델들 중에서 적어도 어느 하나의 분할 모델을 변형하여, 변형 모델을 생성하는 단계, 하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 이용하여, 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 단계를 포함할 수 있다.

이때, 상기 3D 데이터를 복수의 분할 모델들로 분할하는 단계는, 상기 3D 데이터를 상기 3D 캐릭터를 구성하는 복수의 파트 별로 구분하고, 구분된 상기 파트에 상응하도록 상기 3D 데이터를 분할하여, 각각의 상기 파트 별 상기 분할 모델을 생성할 수 있다.

이때, 상기 변형 모델을 생성하는 단계는, 상기 3D 캐릭터에 상응하는 상기 파트의 크기 및 상기 파트의 무늬 중 적어도 어느 하나를 변형하여, 상기 변형 모델을 생성할 수 있다.

이때, 상기 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 단계는, 하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 조합하여 하나의 상기 3D 모델을 생성하고, 생성된 상기 3D 모델을 증강하여 증강된 3D 모델을 생성할 수 있다.

이때, 상기 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계는, 상기 3D 데이터가 상기 3D 캐릭터에 상응하는 인체 모델에 스키닝 되어 있는 경우, 스키닝 정보를 이용하여 상기 3D 모델을 증강할 수 있다.

이때, 상기 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계는, 상기 3D 모델의 질감에 2D 증강을 적용하여, 상기 3D 모델을 증강할 수 있다.

이때, 상기 2D 이미지를 생성하는 단계는, 상기 3D 모델에 대한 텍스처 전처리를 수행한 후, 전처리된 상기 3D 모델을 셀 셰이딩하여 상기 3D 모델에 상응하는 상기 2D 이미지를 생성할 수 있다.

또한, 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치는, 3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 3D 모델 확장부, 생성된 상기 3D 모델에 상응하는 2D 이미지를 생성하는 2D 이미지 생성부, 그리고 상기 2D 이미지 및 상기 3D 모델을 이용하여, 상기 2D 이미지로부터 상기 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 학습 데이터 셋 생성부를 포함한다.

이때, 상기 3D 모델 확장부는, 상기 3D 데이터를 복수의 분할 모델들로 분할하고, 상기 분할 모델을 변형하여 상기 3D 캐릭터의 변형된 3D 모델을 생성할 수 있다.

이때, 상기 2D 이미지 생성부는, 상기 3D 모델에 대한 다시점 렌더링을 수행하여, 상기 3D 모델에 상응하는 하나 이상의 상기 2D 이미지를 생성할 수 있다.

이때, 상기 3D 모델 확장부는, 상기 3D 데이터를 복수의 분할 모델들로 분할하는 3D 데이터 분석 모듈, 상기 분할 모델들 중에서 적어도 어느 하나의 분할 모델을 변형하여, 변형 모델을 생성하는 변형 모듈, 하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 이용하여, 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 조합 모듈을 포함할 수 있다.

이때, 상기 3D 데이터 분석 모듈은, 상기 3D 데이터를 상기 3D 캐릭터를 구성하는 복수의 파트 별로 구분하고, 구분된 상기 파트에 상응하도록 상기 3D 데이터를 분할하여, 각각의 상기 파트 별 상기 분할 모델을 생성할 수 있다.

이때, 상기 변형 모듈은, 상기 3D 캐릭터에 상응하는 상기 파트의 크기 및 상기 파트의 무늬 중 적어도 어느 하나를 변형하여, 상기 변형 모델을 생성할 수 있다.

이때, 상기 3D 모델 확장부는, 상기 조합 모듈이 하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 조합하여 생성한 상기 3D 모델을 증강하여 증강된 3D 모델을 생성하는 증강 모듈을 더 포함할 수 있다.

이때, 상기 3D 모델 확장부는, 상기 3D 데이터가 상기 3D 캐릭터에 상응하는 인체 모델에 스키닝 되어 있는 경우, 스키닝 정보를 이용하여 상기 3D 모델을 증강할 수 있다.

이때, 상기 3D 모델 확장부는, 상기 3D 모델의 질감에 2D 증강을 적용하여, 상기 3D 모델을 증강할 수 있다.

이때, 상기 2D 이미지 생성부는, 상기 3D 모델에 대한 텍스처 전처리를 수행한 후, 전처리된 상기 3D 모델을 셀 셰이딩하여 상기 3D 모델에 상응하는 상기 2D 이미지를 생성할 수 있다.

본 발명에 따르면, 기계 학습을 위한 학습 데이터 셋을 대량으로 생성하여, 시드 데이터 학습 DB를 확장할 수 있다.

또한 본 발명에 따르면, 딥러닝을 이용하여 3D 객체를 복원하는 분야에 사용되는 학습 데이터 셋을 생성할 수 있다.

또한 본 발명에 따르면, 2D 원화를 기반으로 3D 캐릭터를 자동으로 생성할 수 있다.

도 1은 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 2D 원화로부터 3D 캐릭터를 생성하는 지도 학습 과정을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 3D 모델 확장부의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일실시예에 따른 3D 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 3D 모델을 생성하는 과정을 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 2D 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.

도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치(이하, 학습 데이터 셋 생성 장치)(100)는 3D 캐릭터 생성 시스템에 포함될 수 있다.

3D 캐릭터 생성 시스템은 학습 데이터 셋 생성 장치(100) 및 3D 캐릭터 생성 장치(200)를 포함할 수 있다. 그리고 학습 데이터 셋 생성 장치(100)는 대량의 학습 데이터 셋을 생성하며, 3D 캐릭터 생성 장치(200)는 학습 데이터 셋 생성 장치(100)가 생성한 학습 데이터 셋을 이용하여 지도 학습을 수행할 수 있다.

3D 캐릭터 생성 장치(200)는 2D 형태의 원화(Original drawing)를 입력받아 원화에 상응하는 3D 캐릭터를 생성하는 장치로, 3D 캐릭터 생성 장치(200)가 2D 형태의 원화를 입력받아 3D 캐릭터를 생성하는 추론을 수행하기 위해서는 사전에 학습되어있어야 한다.

도 2는 2D 원화로부터 3D 캐릭터를 생성하는 지도 학습 과정을 나타낸 도면이다.

지도 학습 과정은 딥러닝 네트워크를 구성하고, 학습 데이터 셋에 적합하도록 파라미터(Weight, W_i)를 최적화하는 것을 목표로 하며, 도 2에 도시한 바와 같이, 지도 학습을 위해서는 원본 2D 이미지(10)와 3D 모델(20)로 구성된 학습 데이터 셋이 필요하다.

학습 데이터 셋은 원본 2D 이미지(10)와 원본 2D 이미지(10)를 기반으로 생성된 3D 캐릭터인 3D 모델(20)로 구성된다. 3D 캐릭터를 생성하는 지도 학습을 위해서는 수천 개에서 수십만 개 이상의 학습 데이터 셋이 필요하나, 2D 이미지와 3D 모델로 구성된 학습 데이터 셋을 구하는 것이 쉽지 않다.

이에, 본 발명의 일실시예에 따른 학습 데이터 셋 생성 장치(100)는 대량의 학습 데이터 셋을 생성하여 초기에 주어진 시드 데이터 학습 DB를 확장함으로써, 3D 캐릭터 생성 장치(200)가 확장된 시드 데이터 학습 DB를 기반으로 지도 학습을 수행하도록 할 수 있다.

도 2의 과정을 수행하여 지도 학습된 3D 캐릭터 생성 장치(200)는 2D 형태의 원화를 입력받고, 입력받은 원화를 기반으로 3D 캐릭터를 자동으로 생성한다. 여기서, 원화는 3D 캐릭터를 생성하고자 하는 원본 이미지인 2D 형태의 이미지를 의미하고, 3D 캐릭터는 원화에 상응하도록 생성된 3D 형태의 캐릭터를 의미한다. 원화는 원화 작가가 그린 그림일 수 있으며, 생성된 3D 캐릭터는 게임, 애니메이션, VR, AR 등의 다양한 분야에서 활용될 수 있다.

이때, 3D 캐릭터 생성 장치(200)는 기계학습 엔진을 이용하여, 2D 형태의 원화에 상응하는 3D 캐릭터의 형태 및 질감 정보를 생성할 수 있다. 여기서, 형태는 정점(Vertex) 및 연결(edge) 등으로 구성되는 3D 캐릭터 메쉬 정보를 의미하고, 질감 정보는 diffuse, normal, specular map 등으로 정의되는 색상 정보를 의미할 수 있다.

이하에서는 도 3 및 도 4를 통하여 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 3은 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치의 구성을 나타낸 블록도이다.

도 3에 도시한 바와 같이, 학습 데이터 셋 생성 장치(100)는 3D 모델 확장부(110), 2D 이미지 생성부(120) 및 학습 데이터 셋 생성부(130)를 포함한다.

먼저, 3D 모델 확장부(110)는 3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 3D 캐릭터에 대한 3D 모델을 생성한다. 3D 모델 확장부(110)는 기계 학습을 위한 학습 데이터 셋 중에서, 3D 캐릭터에 대한 3D 모델을 생성할 수 있다.

3D 모델 확장부(110)는 시드가 되는 하나 이상의 3D 모델을 3D 데이터로 활용하여, 복수 개의 3D 모델을 생성할 수 있다. 이때, 3D 모델 확장부(110)는 3D 데이터를 복수의 분할 모델들로 분할하고, 분할 모델을 변형하여 3D 캐릭터의 변형된 3D 모델을 생성할 수 있다.

3D 모델 확장부(110)는 3D 데이터가 3D 캐릭터에 상응하는 인체 모델에 스키닝 되어 있는 경우, 스키닝 정보를 이용하여 3D 모델을 증강할 수 있으며, 3D 모델의 질감에 2D 증강을 적용하여 3D 모델을 증강할 수도 있다.

3D 모델 확장부(110)는 도 4와 같이 복수의 모듈들로 구성될 수 있다.

도 4는 본 발명의 일실시예에 따른 3D 모델 확장부의 구성을 나타낸 블록도이다.

도 4에 도시한 바와 같이, 3D 모델 확장부(110)는 3D 데이터 분석 모듈(111), 변형 모듈(113), 조합 모듈(115) 및 증강 모듈(117)을 포함할 수 있다.

3D 데이터 분석 모듈(111)은 3D 데이터를 복수의 분할 모델들로 분할할 수 있다. 이때, 3D 데이터 분석 모듈(111)은 3D 데이터를 3D 캐릭터를 구성하는 복수의 파트 별로 구분할 수 있으며, 구분된 파트에 상응하도록 3D 데이터를 분할하여 각각의 파트 별 분할 모델을 생성할 수 있다.

예를 들어, 3D 캐릭터가 상의, 하의 및 신발을 착용한 인간형 캐릭터인 경우, 3D 데이터 분석 모듈(111)은 3D 캐릭터에 상응하는 3D 데이터를 분석하여 상의, 하의, 액세서리 및 인체에 상응하는 각각의 파트로 구분할 수 있다. 그리고 3D 데이터 분석 모듈(111)은 상의, 하의, 액세서리 및 인체 각각에 상응하는 파트 별 분할 모델들을 생성하여 저장할 수 있다. 여기서, 액세서리는 인체에 착장된 상의 및 하의 이외의 것들을 의미하며, 신발, 모자, 주얼리 등을 의미할 수 있다.

설명의 편의를 위하여, 3D 캐릭터가 상의, 하의 및 신발(액세서리)를 착용한 인간형 캐릭터인 것으로 설명하였으나 이에 한정하지 않고, 3D 캐릭터는 의상이나 액세서리를 착용하지 않은 인간형 캐릭터이거나, 동물형 캐릭터 등일 수 있으며, 3D 캐릭터의 종류 및 특성은 이에 한정되지 않는다.

다음으로 변형 모듈(113)은 분할 모델들 중에서 적어도 어느 하나의 분할 모델을 변형하여, 변형 모델을 생성할 수 있다. 이때, 변형 모듈(113)은 분할 모델의 국소 부위에 대한 변형을 수행할 수 있으며, 3D 캐릭터에 상응하는 파트의 크기 및 파트의 무늬 중 적어도 어느 하나를 변형하여 변형 모델을 생성할 수 있다.

변형 모듈(113)은 상의, 하의, 액세서리 및 인체 각각에 상응하는 파트 별 분할 모델들 중에서 하나 이상의 분할 모델을 선택하고, 선택된 분할 모델을 변형하여 변형 모델을 생성할 수 있다.

예를 들어, 변형 모듈(113)은 상의에 해당하는 분할 모델과 액세서리에 해당하는 분할 모델을 선택하고, 상의에 상응하는 분할 모델을 호출하여 긴팔에서 반팔로 변형하며, 액세서리에 해당하는 분할 모델을 호출하여 신발에 무늬를 추가하는 변형을 할 수 있다.

이때, 변형 모듈(113)은 수작업 또는 파라메트릭 변형 등의 비전 기술을 이용하여 분할 모델을 변형할 수 있으며, 변형 모듈(113)이 분할 모델을 변형하는 방법은 이에 한정되지 않는다.

그리고 조합 모듈(115)은 하나 이상의 변형 모델을 포함하는 분할 모델들을 이용하여, 변형된 3D 캐릭터에 상응하는 3D 모델을 생성할 수 있다.

이때, 조합 모듈(115)은 3D 데이터가 인체 모델에 스키닝되어 있는 경우, 스키닝 정보를 이용하여 분할 모델들을 조합할 수 있다.

변형 모듈(113)이 상의에 해당하는 분할 모델 및 액세서리에 해당하는 분할 모델을 변형한 경우, 조합 모듈(115)은 상의에 해당하는 변형 모듈 및 액세서리에 해당하는 변형 모듈과 하의 및 인체에 해당하는 분할 모듈을 조합하여, 변형된 3D 캐릭터에 상응하는 3D 모델을 생성할 수 있다. 이때, 생성된 3D 모델은 시드가 되는 3D 캐릭터에서 상의가 긴팔에서 반팔로 변형되고, 신발에 무늬가 추가된 3D 캐릭터일 수 있다.

증강 모듈(117)은 조합 모듈(115)이 하나 이상의 변형 모델을 포함하는 분할 모델들을 조합하여 생성한 3D 모델을 증강하여 증강된 3D 모델을 생성할 수 있다. 증강 모듈(117)은 조합 모듈(115)이 생성한 3D 모델을 증강(Augmentation)하며, 골격체 애니메이션(Bone animation)을 기반으로 3D 모델을 증강할 수 있다.

3D 데이터가 인체 모델에 스키닝되어 있는 경우, 증강 모듈(117)은 스키닝 정보를 이용하여 증강할 수 있다. 생성된 3D 모델의 인체 관절을 조금씩 변경하여 다양한 자세를 취하도록 하면, 스키닝 정보에 의해 인체가 변형될 수 있다. 인체에 착장된 의상은 인체의 움직임에 따라 변형되므로, 증강 모듈(117)은 인체의 자세를 변경하여 증강된 3D 모델을 생성할 수 있다.

또한, 증강 모듈(117)은 기존의 2D 증강을 3D 모델의 질감 부분에 적용하여 증강된 3D 모델을 생성할 수 있다. 증강 모듈(117)은 색상 변화, 노이즈 추가 및 크로핑 등 다양한 방법의 2D 증강을 3D 모델의 질감 부분에 적용하여 3D 모델을 증강할 수 있으며, 2D 증강의 종류는 이에 한정되지 않는다. 일 예로, 증강 모듈(117)은 3D 모델에 착장된 의상 텍스처의 색상을 변경하여 다양하게 변형된 3D 모델을 생성하는 방법으로 3D 모델을 증강할 수 있다.

다시 도 3에 대하여 설명하면, 2D 이미지 생성부(120)는 생성된 3D 모델에 상응하는 2D 이미지를 생성한다. 여기서, 2D 이미지는 기계 학습을 위한 학습 데이터 셋 중에서, 2D 형태의 원화에 대한 2D 이미지를 의미하며, 2D 이미지 생성부(120)는 3D 모델 확장부(110)에 의해 생성된 3D 모델에 상응하는 원화를 2D 이미지로 생성할 수 있다.

이때, 2D 이미지 생성부(120)는 3D 모델에 대한 다시점 렌더링(멀티뷰 렌더링)을 수행하여, 3D 모델에 상응하는 복수 개의 2D 이미지를 생성할 수 있다. 본 발명의 실시예에 따른 2D 이미지 생성부(120)는 카툰 기반의 다시점 렌더링으로 3D 모델에 상응하는 원화의 2D 이미지들을 생성하므로, 수작업으로 3D 모델의 원화를 생성하는 방법에 비하여 효율적으로 2D 이미지를 생성할 수 있다.

그리고 2D 이미지 생성부(120)는 3D 모델에 대한 텍스처 전처리를 수행할 수 있으며, 텍스처 전처리를 수행한 후, 전처리된 3D 모델을 셀 셰이딩(Cel shading)하여 3D 모델에 상응하는 2D 이미지를 생성할 수 있다.

마지막으로 학습 데이터 셋 생성부(130)는 2D 이미지 및 3D 모델을 이용하여, 2D 이미지로부터 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성한다.

학습 데이터 셋 생성부(130)는 2D 이미지 생성부(120)가 생성한 2D 이미지와 3D 모델 확장부(110)가 생성한 3D 모델들 중에서 2D 이미지에 상응하는 3D 모델을 하나의 쌍으로 하는 기계 학습을 위한 학습 데이터 셋을 생성할 수 있다.

학습 데이터 셋 생성부(130)는 생성한 학습 데이터 셋을 시드 데이터 학습 DB에 저장하거나, 3D 캐릭터 생성 장치(200)의 지도 학습을 위해 3D 캐릭터 생성 장치(200)에 입력할 수 있다. 여기서, 시드 데이터 학습 DB는 초기의 3D 캐릭터에 상응하는 3D 모델 및 3D 모델에 상응하는 2D 이미지가 저장되는 데이터베이스를 의미하며, 본 발명의 일실시예에 따른 학습 데이터 셋 생성 장치(100)는 3D 모델 확장 과정 및 2D 이미지 생성 과정을 수행하여 시드 데이터 학습 DB를 확장할 수 있다.

이하에서는 도 5 내지 도 8을 통하여 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치에 의해 수행되는 학습 데이터 셋 생성 방법에 대하여 더욱 상세하게 설명한다.

도 5는 본 발명의 일실시예에 따른 기계 학습을 위한 학습 데이터 셋 생성 방법을 설명하기 위한 순서도이다.

먼저, 학습 데이터 셋 생성 장치(100)는 변형된 3D 캐릭터에 대한 3D 모델을 생성한다(S510).

학습 데이터 셋 생성 장치(100)는 3D 캐릭터에 상응하는 3D 데이터를 기반으로 변형된 3D 캐릭터에 대한 3D 모델을 생성할 수 있다. 여기서, 3D 캐릭터에 상응하는 3D 데이터는, 시드(seed)가 되는 3D 캐릭터에 대한 3D 모델 중 어느 하나를 의미할 수 있으며, 학습 데이터 셋 생성 장치(100)는 시드가 되는 3D 캐릭터를 변형하여 변형된 3D 캐릭터에 대한 3D 모델을 생성할 수 있다.

도 6은 본 발명의 일실시예에 따른 3D 모델을 생성하는 과정을 설명하기 위한 도면이다.

도 6에 도시한 바와 같이, 학습 데이터 셋 생성 장치(100)는 3D 모델 DB(610)에 저장된 하나 이상의 3D 모델 중에서 하나의 3D 모델을 3D 데이터로 추출한다. 그리고 학습 데이터 셋 생성 장치(100)는 3D 데이터에 대한 3D 객체 분석을 수행하여, 3D 데이터를 복수의 분할 모델들로 분할한다.

예를 들어, 추출한 3D 데이터가 인간형 캐릭터에 대한 3D 데이터인 경우, 학습 데이터 셋 생성 장치(100)는 3D 데이터를 상의, 하의, 액세서리 및 인체 각각의 파트에 상응하는 분할 모델들로 분할할 수 있다. 그리고 학습 데이터 셋 생성 장치(100)는 파트별로 분할된 분할 모델들 각각을 파트 별 3D 분할 모델 DB(620)에 저장할 수 있다.

이때, 학습 데이터 셋 생성 장치(100)는 3D 모델에 파트별 그룹 정보가 포함되어 있는 경우, 그룹 정보를 기반으로 3D 객체 분석을 수행하여 분할 모델들을 생성할 수 있다. 예를 들어, 학습 데이터 셋 생성 장치(100)는 OBJ에서의 그룹 정보(g)를 기반으로 3D 모델을 복수의 분할 모델들로 분할할 수 있다.

설명의 편의를 위하여, 학습 데이터 셋 생성 장치(100)가 상의, 하의, 액세서리 및 인체 파트로 3D 데이터를 분할하는 것으로 설명하였으나 이에 한정하지 않고, 학습 데이터 셋 생성 장치(100)는 상체, 하체, 팔, 다리, 몸통 등의 파트로 3D 데이터를 분할하여 분할 모델을 생성할 수도 있으며, 파트의 종류 및 개수는 이에 한정되지 않는다.

3D 객체 분석을 수행하여 분할 모델들을 생성한 후, 학습 데이터 셋 생성 장치(100)의 3D 분할 모델 론처는 각각의 3D 분할 모델 DB(620)에서 분할 모델을 하나씩 호출하며, 호출된 분할 모델에 대한 객체 변형을 수행할 수 있다.

도 7은 본 발명의 일실시예에 따른 3D 모델을 생성하는 과정을 나타낸 예시도이다.

도 7과 같이, 학습 데이터 셋 생성 장치(100)가 인체, 상의, 하의 및 액세서리에 대한 분할 모델을 각각 인체 3D 분할 모델 DB(621), 상의 3D 분할 모델 DB(622), 하의 3D 분할 모델 DB(623) 및 액세서리 3D 분할 모델 DB(624)에 저장한 경우, 3D 분할 모델 론처(launcher)는 각각의 3D 분할 모델 DB(621 내지 624)로부터 각각 하나의 분할 모델을 호출할 수 있다.

그리고 학습 데이터 셋 생성 장치(100)는 호출된 분할 모델들(700)을 변형하여 변형된 3D 객체인 변형 모델(750)을 생성할 수 있다. 이때, 학습 데이터 셋 생성 장치(100)는 호출된 분할 모델들(700) 중에서 하나 이상의 분할 모델을 변형하거나, 호출된 모든 분할 모델들을 변형할 수 있다.

예를 들어, 호출된 분할 모델(700)은 표준 체형의 인체 3D 분할 모델, 긴팔 셔츠 3D 분할 모델, 긴 바지 3D 분할 모델 및 민무늬 구두 3D 분할 모델인 것으로 가정한다. 그리고 학습 데이터 셋 생성 장치(100)는 인체 3D 분할 모델 DB(621)로부터 호출된 표준 체형의 인체 3D 분할 모델을 키가 작고 덩치가 큰 형태로 변형하거나, 상의 3D 분할 모델 DB(622)로부터 호출된 긴팔 셔츠 3D 분할 모델을 반팔 셔츠로 변형할 수 있으며, 하의 3D 분할 모델 DB(623)로부터 호출된 긴 바지 3D 분할 모델을 반바지로 변형할 수 있다.

이와 같이, 학습 데이터 셋 생성 장치(100)는 호출된 분할 모델(700)에 상응하는 파트의 크기를 변형하여 변형 모델(750)을 생성할 수 있으며, 호출된 분할 모델(700)에 상응하는 파트의 무늬를 변경하여 변형 모델(750)을 생성할 수도 있다.

예를 들어, 학습 데이터 셋 생성 장치(100)는 액세서리 3D 분할 모델 DB(624)로부터 호출된 민무늬 구두 3D 분할 모델에 무늬를 추가하거나, 기존의 무늬를 수정하여 변형 모델(750)을 생성할 수 있다.

변형 모델들(750)을 생성한 후, 학습 데이터 셋 생성 장치(100)는 생성된 변형 모델들(750)을 다시 조합하여 변형된 3D 캐릭터에 대한 3D 모델을 생성할 수 있다. 이때, 학습 데이터 셋 생성 장치(100)는 하나 이상의 변형 모델(750)과 분할 모델을 조합하여 변형된 3D 캐릭터에 대한 신규 모델인 3D 모델을 생성할 수도 있다.

그리고 학습 데이터 셋 생성 장치(100)는 도 6에 도시한 바와 같이, 생성된 3D 모델에 대한 데이터 증강을 수행하여 증강된 3D 모델을 생성할 수 있으며, 3D 모델을 출력하거나, 3D 모델 DB(610)에 저장할 수 있다. 이때, 증강된 3D 모델은 OBJ 파일일 수 있으며, 애니메이션 등을 위하여 스키닝 정보를 유지한 FBX 파일일 수 있다. 또한, 최종적으로 생성된 3D 모델은 변형된 3D 캐릭터에 대한 별도의 DB에 저장되거나, 3D 모델 DB(610)에 저장되어 학습 데이터 셋 확장 시 재 활용될 수 있다.

변형된 캐릭터에 대한 3D 모델을 생성한 후, 학습 데이터 셋 생성 장치(100)는 생성된 3D 모델에 상응하는 2D 이미지를 생성한다(S520).

학습 데이터 셋 생성 장치(100)는 S510 단계에서 생성된 3D 모델에 상응하는 복수의 2D 이미지들을 생성할 수 있다. 학습 데이터 셋 생성 장치(100)는 3D 모델에 대한 다시점 렌더링을 수행하여, 정면(0도), 측면(90도) 및 후면(180도)의 삼면도를 2D 이미지로 생성할 수 있다. 설명의 편의를 위하여, 정면, 측면 및 후면에 대한 2D 이미지를 생성하는 것으로 설명하였으나 이에 한정하지 않고, 학습 데이터 셋 생성 장치(100)는 다양한 시점에서의 2D 이미지를 생성할 수 있다.

또한, 학습 데이터 셋 생성 장치(100)는 캘리브레이션된 하나 이상의 카메라를 배치하고, 카툰 형식으로 렌더링할 수 있다. 학습 데이터 셋 생성 장치(100)는 3D 모델을 셀 셰이딩(Cel shading)할 수 있으며, 셀 셰이딩 시 사용되는 조명의 위치나 라인의 두께 등의 파라미터는 3D 모델이 원화(Original drawing)처럼 보일 수 있도록 설정될 수 있다.

이를 통하여, 3D 모델에 상응하는 카툰 스타일의 2D 이미지를 생성할 수 있다. 이때, 셀 셰이딩은 비사실적으로 묘사하는 그래픽 기법 중 하나로, 셀 셰이디드 애니메이션(Cel-shaded animation), 툰 셰이딩(Toon shading) 또는 툰 렌더링(Toon rendering)으로 불리며, 손으로 그린 듯한 효과를 줄 수 있다.

도 8은 본 발명의 일실시예에 따른 2D 이미지를 생성하는 과정을 설명하기 위한 도면이다.

도 8과 같이, 학습 데이터 셋 생성 장치(100)의 3D 모델 론처는 3D 모델 DB(610)에 저장된 3D 데이터들 중에서 어느 하나의 3D 모델을 호출할 수 있다. 여기서, 호출된 3D 모델은 학습 데이터 셋 생성 장치(100)의 3D 모델 확장부(110)에 의해 생성된 3D 모델일 수 있다.

호출된 3D 모델이 실사(Actual image)에 가까운 텍스처를 가진 경우, 학습 데이터 셋 생성 장치(100)는 텍스처 전처리를 수행한 후, 다시점 렌더링(멀티뷰 렌더링)을 수행하여 2D 이미지(원화)를 생성할 수 있다. 이때, 학습 데이터 셋 생성 장치(100)는 24비트 이상의 3D 모델을 단순화하는 텍스처 전처리를 수행하여, 사람이 손으로 그린 그림처럼 보이도록 할 수 있다.

그리고 학습 데이터 셋 생성 장치(100)는 다시점 렌더링된 데이터를 2D 이미지로 출력하거나, 저장할 수 있다. 이때, 다시점 렌더링된 데이터는 3D 모델에 상응하는 2D 원화를 의미한다.

설명의 편의를 위하여, 학습 데이터 셋 생성 장치(100)가 변형된 캐릭터에 대한 3D 모델을 생성한 후, 3D 모델에 대한 2D 이미지를 생성하는 것으로 설명하였으나 이에 한정하지 않고, 학습 데이터 셋 생성 장치(100)는 3D 모델을 생성하는 과정과 3D 모델에 상응하는 2D 이미지를 생성하는 과정을 별개의 작업으로 구분하여 수행할 수 있다.

마지막으로, 학습 데이터 셋 생성 장치(100)는 3D 모델 및 2D 이미지를 기반으로, 기계 학습을 위한 학습 데이터 셋을 생성한다(S530).

학습 데이터 셋 생성 장치(100)는 2D 이미지를 생성하는 과정에서 3D 모델 론처가 호출한 3D 모델과, 해당 3D 모델을 다시점 렌더링하여 생성한 2D 이미지를 하나의 쌍으로 하는 학습 데이터 셋을 생성한다.

여기서, 기계 학습을 위한 학습 데이터 셋은, 2D 이미지를 입력받아 2D 이미지에 상응하는 3D 캐릭터를 생성하는 기계 학습을 의미하며, 학습 데이터 셋 생성 장치(100)는 2D 이미지와 3D 모델을 하나의 쌍으로 하는 학습 데이터 셋을 생성한다.

이와 같이, 본 발명의 일실시예에 따른 학습 데이터 셋 생성 장치(100)는 2D형태의 원화를 기반으로 3D 캐릭터를 생성하는 3D 캐릭터 생성 장치(200)의 학습 데이터 셋을 생성할 수 있다. 학습 데이터 셋 생성 장치(100)는 3D 캐릭터에 상응하는 3D 모델과 원화에 상응하는 2D 데이터를 확장하여 시드 데이터 학습 DB를 확장하며, 이를 통하여 3D 캐릭터 생성 장치(200)가 대량의 학습 데이터 셋을 이용하여 지도학습을 수행할 수 있도록 한다.

도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 9를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(900)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(900)은 버스(920)를 통하여 서로 통신하는 하나 이상의 프로세서(910), 메모리(930), 사용자 인터페이스 입력 장치(940), 사용자 인터페이스 출력 장치(950) 및 스토리지(960)를 포함할 수 있다. 또한, 컴퓨터 시스템(900)은 네트워크(980)에 연결되는 네트워크 인터페이스(970)를 더 포함할 수 있다. 프로세서(910)는 중앙 처리 장치 또는 메모리(930)나 스토리지(960)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(930) 및 스토리지(960)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(931)이나 RAM(932)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

10: 2D 이미지 20: 3D 모델
100: 학습 데이터 셋 생성 장치
110: 3D 모델 확장부 111: 3D 데이터 분석 모듈
113: 변형 모듈 115: 조합 모듈
117: 증강 모듈 120: 2D 이미지 생성부
130: 학습 데이터 셋 생성부 200: 3D 캐릭터 생성 장치
610: 3D 모델 DB
620, 621 내지 624: 3D 분할 모델 DB
700: 호출된 분할 모델 750: 변형 모델
900: 컴퓨터 시스템 910: 프로세서
920: 버스 930: 메모리
931: 롬 932: 램
940: 사용자 인터페이스 입력 장치
950: 사용자 인터페이스 출력 장치
960: 스토리지 970: 네트워크 인터페이스
980: 네트워크

Claims

기계 학습을 위한 학습 데이터 셋 생성 장치에 의해 수행되는 학습 데이터 셋 생성 방법에 있어서,
3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계,
생성된 상기 3D 모델에 상응하는 2D 이미지를 생성하는 단계, 그리고
상기 2D 이미지 및 상기 3D 모델의 쌍을 이용하여, 상기 2D 이미지로부터 상기 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 단계를 포함하되,
3D 모델을 생성하는 단계는,
시드가 되는 하나 이상의 3D 모델을 3D 데이터로 활용하여, 복수 개의 3D 모델들을 생성하되,
2D 이미지를 생성하는 단계는,
생성된 복수 개의 3D 모델들 각각에 상응하는 2D 이미지를 생성하는,
기계 학습을 위한 학습 데이터 셋 생성 방법.
제1항에 있어서,
상기 변형된 3D 캐릭터에 대한 3D 모델을 생성하는 단계는,
상기 3D 데이터를 복수의 분할 모델들로 분할하고, 상기 분할 모델을 변형하여 상기 3D 캐릭터의 변형된 3D 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제2항에 있어서,
상기 2D 이미지를 생성하는 단계는,
상기 3D 모델에 대한 다시점 렌더링을 수행하여, 상기 3D 모델에 상응하는 하나 이상의 상기 2D 이미지를 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제1항에 있어서,
상기 변형된 3D 캐릭터에 대한 3D 모델을 생성하는 단계는,
상기 3D 데이터를 복수의 분할 모델들로 분할하는 단계,
상기 분할 모델들 중에서 적어도 어느 하나의 분할 모델을 변형하여, 변형 모델을 생성하는 단계,
하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 이용하여, 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 단계
를 포함하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제4항에 있어서,
상기 3D 데이터를 복수의 분할 모델들로 분할하는 단계는,
상기 3D 데이터를 상기 3D 캐릭터를 구성하는 복수의 파트 별로 구분하고, 구분된 상기 파트에 상응하도록 상기 3D 데이터를 분할하여, 각각의 상기 파트 별 상기 분할 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제5항에 있어서,
상기 변형 모델을 생성하는 단계는,
상기 3D 캐릭터에 상응하는 상기 파트의 크기 및 상기 파트의 무늬 중 적어도 어느 하나를 변형하여, 상기 변형 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제6항에 있어서,
상기 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 단계는,
하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 조합하여 하나의 상기 3D 모델을 생성하고, 생성된 상기 3D 모델을 증강하여 증강된 3D 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제1항에 있어서,
상기 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계는,
상기 3D 데이터가 상기 3D 캐릭터에 상응하는 인체 모델에 스키닝 되어 있는 경우, 스키닝 정보를 이용하여 상기 3D 모델을 증강하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제1항에 있어서,
상기 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 단계는,
상기 3D 모델의 질감에 2D 증강을 적용하여, 상기 3D 모델을 증강하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
제1항에 있어서,
상기 2D 이미지를 생성하는 단계는,
상기 3D 모델에 대한 텍스처 전처리를 수행한 후, 전처리된 상기 3D 모델을 셀 셰이딩(Cel shading)하여 상기 3D 모델에 상응하는 상기 2D 이미지를 생성하는 기계 학습을 위한 학습 데이터 셋 생성 방법.
3D 캐릭터에 상응하는 3D 데이터를 기반으로, 변형된 상기 3D 캐릭터에 대한 3D 모델을 생성하는 3D 모델 확장부,
생성된 상기 3D 모델에 상응하는 2D 이미지를 생성하는 2D 이미지 생성부, 그리고
상기 2D 이미지 및 상기 3D 모델의 쌍을 이용하여, 상기 2D 이미지로부터 상기 3D 캐릭터를 생성하는 기계 학습을 위한 학습 데이터 셋을 생성하는 학습 데이터 셋 생성부를 포함하되,
3D 모델 확장부는,
시드가 되는 하나 이상의 3D 모델을 3D 데이터로 활용하여, 복수 개의 3D 모델들을 생성하고,
2D 이미지 생성부는,
생성된 복수 개의 3D 모델들 각각에 상응하는 2D 이미지를 생성하는, 기계 학습을 위한 학습 데이터 셋 생성 장치.
제11항에 있어서,
상기 3D 모델 확장부는,
상기 3D 데이터를 복수의 분할 모델들로 분할하고, 상기 분할 모델을 변형하여 상기 3D 캐릭터의 변형된 3D 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제12항에 있어서,
상기 2D 이미지 생성부는,
상기 3D 모델에 대한 다시점 렌더링을 수행하여, 상기 3D 모델에 상응하는 하나 이상의 상기 2D 이미지를 생성하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제11항에 있어서,
상기 3D 모델 확장부는,
상기 3D 데이터를 복수의 분할 모델들로 분할하는 3D 데이터 분석 모듈,
상기 분할 모델들 중에서 적어도 어느 하나의 분할 모델을 변형하여, 변형 모델을 생성하는 변형 모듈,
하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 이용하여, 변형된 3D 캐릭터에 상응하는 상기 3D 모델을 생성하는 조합 모듈
을 포함하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제14항에 있어서,
상기 3D 데이터 분석 모듈은,
상기 3D 데이터를 상기 3D 캐릭터를 구성하는 복수의 파트 별로 구분하고, 구분된 상기 파트에 상응하도록 상기 3D 데이터를 분할하여, 각각의 상기 파트 별 상기 분할 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제15항에 있어서,
상기 변형 모듈은,
상기 3D 캐릭터에 상응하는 상기 파트의 크기 및 상기 파트의 무늬 중 적어도 어느 하나를 변형하여, 상기 변형 모델을 생성하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제16항에 있어서,
상기 조합 모듈이 하나 이상의 상기 변형 모델을 포함하는 상기 분할 모델들을 조합하여 생성한 상기 3D 모델을 증강하여 증강된 3D 모델을 생성하는 증강 모듈을 더 포함하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제11항에 있어서,
상기 3D 모델 확장부는,
상기 3D 데이터가 상기 3D 캐릭터에 상응하는 인체 모델에 스키닝 되어 있는 경우, 스키닝 정보를 이용하여 상기 3D 모델을 증강하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제11항에 있어서,
상기 3D 모델 확장부는,
상기 3D 모델의 질감에 2D 증강을 적용하여, 상기 3D 모델을 증강하는 기계 학습을 위한 학습 데이터 셋 생성 장치.
제11항에 있어서,
상기 2D 이미지 생성부는,
상기 3D 모델에 대한 텍스처 전처리를 수행한 후, 전처리된 상기 3D 모델을 셀 셰이딩하여 상기 3D 모델에 상응하는 상기 2D 이미지를 생성하는 기계 학습을 위한 학습 데이터 셋 생성 장치.