KR20190112428A - 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법 - Google Patents

통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법 Download PDF

Info

Publication number
KR20190112428A
KR20190112428A KR1020180034410A KR20180034410A KR20190112428A KR 20190112428 A KR20190112428 A KR 20190112428A KR 1020180034410 A KR1020180034410 A KR 1020180034410A KR 20180034410 A KR20180034410 A KR 20180034410A KR 20190112428 A KR20190112428 A KR 20190112428A
Authority
KR
South Korea
Prior art keywords
style
information
semantic
execution unit
generating
Prior art date
Application number
KR1020180034410A
Other languages
English (en)
Inventor
윤승욱
임성재
황본우
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180034410A priority Critical patent/KR20190112428A/ko
Publication of KR20190112428A publication Critical patent/KR20190112428A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G06K9/726—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 2D 컨셉 아트나 스케치 또는 사진으로부터 자동으로 응용에 바로 사용이 가능한 기능적 특성을 갖는 3D 객체모델을 생성하는 장치 및 방법, 그리고, 생성된 3D 객체모델의 스타일을 용이하게 의미론적으로 전이시킬 수 있는 3D 객체모델의 의미론적 스타일 전이 장치 및 방법에 관한 것이다. 본 발명에 따른 통합 3D 객체모델 생성 및 의미론적 스타일전이 방법(또는 장치)은, 3D 콘텐츠(객체나 캐릭터 등)에 대한 2D 컨셉이나 개념 그림, 스케치, 사진 등을 입력 받는 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부); 상기 입력 영상으로부터 대상 또는 객체의 구성요소, 시멘틱 특성, 스타일 특성을 분석하는 2D 입력영상 처리 및 분석 단계(또는 실행부); 원래의 입력과 상기 분석된 정보를 기반으로 응용에 바로 적용이 가능하도록 요구조건이나 기능성을 충족시키는 3D 객체정보(형상, 텍스처 모션 등)를 자동 생성하는 3D 객체정보생성 단계(또는 실행부); 생성된 3D 객체의 스타일을 저수준의 그래픽스 요소를 편집하지 않고 의미론적인 방식으로 손쉽게 변형하거나 후보군을 제시하는 3D 시멘틱(의미론적) 스타일전이 단계(또는 실행부); 생성된 최종 3D 객체모델을 출력하는 통합 3D 객체모델출력 단계(또는 실행부)를 포함한다.

Description

통합 3D 객체모델 생성 및 의미론적 스타일전이 장치 및 방법 {Method and System for Unified 3D Ojbect Model Generation and Semantic Style Transfer}
본 발명은 2D의 컨셉 아트, 스케치, 사진 등을 입력받아 이와 외형적으로 최대한 유사하면서 다양한 응용에서 바로 사용가능한 3D 객체정보를 자동 생성하는 기술, 그리고, 생성된 3D 객체정보의 스타일을 의미론적으로 바꿈으로서 최종적으로 사용자가 원하는 스타일의 3D 객체모델(응용에서 동작가능한 기능을 보유한)을 출력하는 기술에 관한 것이다.
종래 3D 콘텐츠 제작은, 2D의 컨셉 아트나 스케치 원화로부터 대상의 외형을 3D로 모델링하는 외형 모델링, 모델링한 외형에 질감이나 텍스처를 입히는 텍스처링, 객체에 움직임을 부여하는 애니메이션, 대상에 빛과 조명 효과를 주는 라이팅, 응용에 맞는 형태로 결과물을 표현하는 렌더링 등의 여러 세부 과정을 거쳐 수행된다. 영화, 컴퓨터 애니메이션, 게임, VR/AR 응용에 이르기까지 다양한 응용에 사용되는 3D 콘텐츠는 대부분 위와 같은 과정을 거쳐 제작된다.
그러나 제작 과정이 복잡하고 컨셉으로부터 대상의 외형을 3D로 만들고 응용에 맞는 각종 기능(텍스처링, 애니메이션, 두께 모델 등)을 추가하는 데 많은 비용과 시간, 그리고 전문성이 요구된다.
지속적인 센서기술의 발달 및 3D 콘텐츠에 대한 인식과 관심이 확산되면서 이런 문제를 해결하기 위해 컴퓨터 비전 기술을 활용한 스캐너 기반 3D 물체 외형 복원 방법 또는 여러 장의 사진으로부터 대상의 3D 외형을 복원하는 방법들이 제안되었다. 하지만 이런 방식은 시스템 HW 구성의 어려움, 복원 결과물의 불규칙한 단일 융합형 구조, 응용에서 요구되는 개수보다 훨씬 많은 다각형 개수 등의 문제로 응용에 적용하기 위해 여전히 많은 비용과 시간, 그리고 전문가의 수작업이 필요하다.
본 발명은 종래의 문제 해결을 위해 2D 컨셉 아트나 스케치 또는 사진으로부터 자동으로 응용에 바로 사용이 가능한 기능적 특성을 갖는 3D 객체모델을 생성하는 장치 및 방법을 제안한다.
또한 본 발명은 생성된 3D 객체모델의 스타일을 용이하게 의미론적으로 전이시킬 수 있는 3D 객체모델의 의미론적 스타일 전이 장치 및 방법을 제안한다.
상기 과제의 해결을 위한 본 발명에 따른 통합 3D 객체모델 생성 및 의미론적 스타일전이 방법(또는 장치)은,
3D 콘텐츠(객체나 캐릭터 등)에 대한 2D 컨셉이나 개념 그림, 스케치, 사진 등을 입력 받는 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부);
상기 입력 영상으로부터 대상 또는 객체의 구성요소, 시멘틱 특성, 스타일 특성을 분석하는 2D 입력영상 처리 및 분석 단계(또는 실행부);
원래의 입력과 상기 분석된 정보를 기반으로 응용에 바로 적용이 가능하도록 요구조건이나 기능성을 충족시키는 3D 객체정보(형상, 텍스처 모션 등)를 자동 생성하는 3D 객체정보생성 단계(또는 실행부);
생성된 3D 객체의 스타일을 저수준의 그래픽스 요소를 편집하지 않고 의미론적인 방식으로 손쉽게 변형하거나 후보군을 제시하는 3D 시멘틱(의미론적) 스타일전이 단계(또는 실행부);
생성된 최종 3D 객체모델을 출력하는 통합 3D 객체모델출력 단계(또는 실행부)를 포함한다.
발명의 한 실시예에서, 상기 2D 입력영상 처리 및 분석 단계(또는 실행부)는
2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부)에서 입력 받은 영상을 판별해 입력이 사진인 경우 이를 2D 컨셉 아트 또는 스케치화하는 단계(또는 실행부),
대상을 구분하기 위해 대상 주위의 배경 등의 영역을 추출하고 대상에 대한 정보를 입력영상 전처리결과 저장부에 저장하는 2D 컨셉 아트/스케치 전처리 단계(또는 실행부),
전처리 결과로부터 대상의 전체적인 형태 혹은 각 구성요소 등을 분석 및 인식하는 구성요소 분석 및 인식 단계(또는 실행부)
전처리된 2D 컨셉 아트/스케치로부터 물리적 형태가 아닌 각 구성요소 혹은 대상 전체의 의미를 분석하는 시멘틱특성 분석 단계(또는 실행부),
전처리된 2D 컨셉 아트/스케치로부터 디자인, 스타일 특성을 분석하는 스타일특성 분석 단계(또는 실행부),
상기 분석된 구성요소, 시멘틱특성, 스타일특성을 통합적으로 이용해 각 구성요소간 연결/상관관계를 유추하고 대상의 전체적인 통합구조를 분석해 그 결과를 입력영상분석 매개변수 저장부에 저장하는 구성요소간 상관관계 및 통합구조 분석 단계(또는 실행부)를 포함할 수 있다.
발명의 한 실시예에서, 상기 3D 객체정보생성 단계(또는 실행부)는 상기 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부)로부터의 입력 및 상기 2D 입력영상 처리 및 분석 단계(또는 실행부)의 분석결과를 받아 3D 객체정보를 생성하는데, 여기서 3D 객체정보 생성은 기계학습(이하, 단순히 '학습')에 기반할 수 있다.
또한 3D 객체정보는 3D 객체형상정보. 3D 객체텍스처정보, 3D 객체모션정보 중 적어도 하나를 포함할 수 있다.
따라서 상기 3D 객체정보생성 단계(또는 실행부)에는, 대상의 3D 형상 정보를 생성하고 결과를 3D 객체형상정보 저장부에 저장하는 3D 객체형상정보 생성 단계(또는 실행부)가 추가로 포함될 수 있다.
발명의 한 실시예에서, 상기 3D 객체형상정보 생성 단계(또는 실행부)는
입력된 2D 분석 정보로부터 객체의 스켈레톤(뼈대)을 생성하는 객체 스켈레톤 생성 단계(또는 실행부),
구성요소별로 생성한 스켈레톤과 유사한 참조모델을 검색하는 3D 객체 구성요소 참조모델 검색 단계(또는 실행부),
통합 학습 매개변수 저장부(30)에서 받은 입력 매개변수와 학습 네트워크를 통해 참조모델의 변형을 수행하는 학습기반 3D 객체 구성요소별 참조모델 변형 단계(또는 실행부),
각 구성요소별 3D 파트를 통합해 대상의 통합 3D 객체형상을 생성하는 학습기반 통합 3D 객체형상 생성 단계(또는 실행부)를 포함한다.
또한, 상기 3D 객체정보생성 단계(또는 실행부)에는, 대상의 질감 및 텍스처 정보를 생성하고 결과를 3D 객체텍스처정보 저장부에 저장하는 3D 객체텍스처정보 생성 단계(또는 실행부)가 추가로 포함될 수 있다.
발명의 한 실시예에서, 이 3D 객체텍스처정보 생성 단계(또는 실행부)는
구성요소에 적용가능한 텍스처 참조모델을 검색하고, 입력영상분석 매개변수 저장부(20)로부터 스타일 특성 분석 정보를 입력받아 스타일 특성이 유사한 참조모델을 검색하는 3D 객체 구성요소별 텍스처 참조모델 검색 단계(또는 실행부),
입력영상 전처리결과 저장부(10)로부터 대상의 텍스처를 입력받고 입력영상분석 매개변수 저장부(20)로부터 대상 텍스처의 분석 정보를 받아 학습 네트워크를 통해 검색된 참조모델을 대상 텍스처와 최대한 유사하도록 변형하는 학습기반 3D 객체 구성요소별 텍스처 참조모델 변형 단계(또는 실행부),
구성요소별로 각각 생성된 텍스처 파트간 색조 일치 여부를 판단해 전체적인 톤을 일치시키는 통합 텍스처 생성 및 텍스처 파트간 색조 일치 단계(또는 실행부),
응용에 필요한 텍스처 구성 재질 정보(albedo, specular, roughness, reflectance 등)를 최종 생성해 3D 객체텍스처정보 저장부(60)에 저장하는 학습기반 텍스처 구성 재질 정보 생성 단계(또는 실행부)를 포함한다.
또한, 상기 3D 객체정보생성 단계(또는 실행부)에는, 대상에 대한 기본적인 모션 정보를 생성하고 결과를 3D 객체모션정보 저장부(70)에 저장하는 3D 객체모션정보 생성 단계(또는 실행부)가 추가로 포함될 수 있다.
발명의 한 실시예에서, 이 3D 객체모션정보 생성 단계(또는 실행부)는
입력영상분석 매개변수 저장부(20)의 구성요소 정보를 입력 받아 각 구성요소의 의미론적 특성을 지닌 모션 참조모델을 검색하는 3D 객체 구성요소별 모션 참조모델 검색 단계(또는 실행부),
검색된 참조모델을 입력과 유사한 특성을 갖도록 변형하는 학습기반3D 객체 구성요소별 모션 참조모델 변형 단계(또는 실행부),
객체의 기본 움직임을 테스트하고 자연스러운 움직임이 가능하도록 움직임 방식, 매개변수 등을 자동 조정하는 통합 모션 생성 검증 및 조정 단계(또는 실행부),
입력영상분석 매개변수 저장부(20)의 시멘틱 특성 분석 정보를 이용해 생성된 모션 정보를 시멘틱 특성을 반영해 변형하고 결과를 3D 객체모션정보 저장부(70)에 저장하는 시멘틱 특성기반 모션 변형 단계(또는 실행부)를 포함한다.
마지막으로, 상기 과제 해결을 위한 본 발명에 따른 통합 3D 객체모델 생성 및 의미론적 스타일전이 방법(또는 장치)에서, 상기 3D 시멘틱 스타일전이 단계(또는 실행부)는 학습 네트워크를 통해 3D 객체의 스타일을 의미론적으로 변형하거나 변형 결과를 추천하는 것으로서, 이를 위해 통합 학습 매개변수 저장부(30)로부터 시멘틱 스타일과 3D 객체 요소간 상관관계 매개변수 정보를 받는다.
이 시멘틱 스타일전이 단계(또는 실행부)는, 객체를 구성하는 각 특성 정보별로 스타일 전이를 수행하는데, 여기서, 특성 정보는 3D 객체형상 스타일. 3D 객체텍스처 스타일, 3D 객체모션 스타일 중 적어도 하나를 포함할 수 있다.
따라서 발명의 한 실시예에서, 상기 시멘틱 스타일전이 단계(또는 실행부)에는,
객체형상에 대한 의미론적 스타일전이를 수행하는 3D 객체형상 스타일전이 단계(또는 실행부),
사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체형상 스타일 추천 샘플 생성 단계(또는 실행부)가 포함될 수 있다.
또한, 발명의 한 실시예에서, 상기 시멘틱 스타일전이 단계(또는 실행부)에는,
객체의 텍스처나 디테일한 의복 스타일 등에 대한 의미론적 스타일전이를 수행하는 3D 객체텍스처 스타일전이 단계(또는 실행부),
사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체텍스처 스타일 추천 샘플 생성 단계(또는 실행부)가 포함될 수 있다.
또한, 발명의 한 실시예에서, 상기 시멘틱 스타일전이 단계(또는 실행부)에는,
객체의 움직임, 모션에 대한 의미론적 스타일전이를 수행하는 3D 객체모션 스타일전이 단계(또는 실행부),
사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체모션 스타일 추천 샘플 생성 단계(또는 실행부)가 포함될 수 있다.
이상에서 소개한 본 발명 사상의 구성과 효과는 이하에서 도면과 함께 설명하는 발명의 상세한 설명에 의해 보다 더 명확해질 것이다.
본 발명은 복잡한 시스템 HW 구성이나 전문적 수작업 없이 2D 입력에 가장 부합하는 3D 객체모델을 생성하고 다양한 스타일로 변형해 응용에 바로 적용가능할 수 있다. 이로써, 3D 객체의 형상, 텍스처, 모션 정보 뿐아니라 의미론적인 스타일 속성, 응용별 요구조건과 기능을 고려해 생성되므로 별도의 편집없이 응용에 바로 적용이 가능하다.
도 1은 통합 3D 객체모델 생성 및 의미론적 스타일 전이 장치 및 방법의 블록도
도 2는 2D 입력영상 처리 및 분석 단계(또는 실행부)의 블록도
도 3은 3D 객체정보 생성 단계(또는 실행부)의 블록도
도 4는 3D 객체형상정보 생성 단계(또는 실행부)의 블록도
도 5는 3D 객체텍스처정보 생성 단계(또는 실행부)의 블록도
도 6은 3D 객체모션정보 생성 단계(또는 실행부)의 블록도
도 7은 3D 시멘틱 스타일전이 단계(또는 실행부)의 블록도
상기의 목적을 달성하기 위한 본 발명에 따른 통합 3D 객체모델 생성 및 의미론적 스타일 전이 장치 및 방법의 한 실시형태를 도면을 참조하여 설명한다.
본 실시형태의 전체적인 블록도는 도 1과 같다. 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부)(110)는 3D 콘텐츠(객체나 캐릭터 등)에 대한 컨셉이나 개념 그림, 스케치, 사진 등을 입력 받는다.
2D 입력영상 처리 및 분석 단계(또는 실행부)(120)에서는 입력된 영상으로부터 대상 또는 객체의 구성요소, 시멘틱 특성, 스타일 특성을 분석한다.
3D 객체정보생성 단계(또는 실행부)(130)에서는 원래의 입력과 분석된 정보를 기반으로 응용에 바로 적용이 가능하도록 요구조건이나 기능성을 충족시키는 3D 객체정보(형상, 텍스처 모션 등)를 자동 생성한다.
3D 시멘틱(의미론적) 스타일전이 단계(또는 실행부)(140)에서는 생성된 3D 객체의 스타일을 저수준의 그래픽스 요소를 편집하지 않고 의미론적인 방식으로 손쉽게 변형하거나 후보군을 제시한다.
통합 3D 객체모델출력 단계(또는 실행부)(150)에서는 이렇게 생성된 최종 3D 객체모델을 출력한다. 출력된 결과물은 별도의 수작업이나 편집없이 바로 응용에 적용 가능하다.
도 2는 2D 입력영상 처리 및 분석 단계(또는 실행부)(120)의 블록도이다.
2D 입력영상 처리 및 분석 단계(또는 실행부)(120)에서는 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부)(110)에서 입력 받은 영상을 판별해 입력이 사진인 경우 이를 2D 컨셉 아트 또는 스케치화한다. 2D 컨셉 아트/스케치 전처리 단계(또는 실행부)(220)에서는 대상을 구분하기 위해 대상 주위의 배경 등의 영역을 추출하고 대상에 대한 정보를 입력영상 전처리결과 저장부(10)에 저장한다. 전처리 결과로부터 구성요소 분석 및 인식 단계(또는 실행부)(230)에서는 대상의 전체적인 형태 혹은 각 구성요소 등을 분석 및 인식한다. 시멘틱특성 분석 단계(또는 실행부)(240)에서는 물리적 형태가 아닌 각 구성요소 혹은 대상 전체의 의미를 분석한다. 스타일특성 분석 단계(또는 실행부)(250)에서는 디자인, 스타일 특성을 분석한다. 구성요소간 상관관계 및 통합구조 분석 단계(또는 실행부)(260)에서는 앞서 분석된 정보를 통합적으로 이용해 각 구성요소간 연결/상관관계를 유추하고 대상의 전체적인 통합구조를 분석해 그 결과를 입력영상분석 매개변수 저장부(20)에 저장한다.
도 3은 3D 객체정보생성 단계(또는 실행부)(130)의 블록도이다.
3D 객체정보생성 단계(또는 실행부)(130)에서는 2D 컨셉 아트, 스케치 또는 사진 입력 단계(또는 실행부)(110)의 입력과 영상 전처리 결과 저장부(10), 입력영상분석 매개변수 저장부(20)로부터의 분석결과를 받아 3D 객체정보를 생성한다. 여기서 3D 객체정보는 응용에서 요구하는 특정 기능이나 요구사항에 맞는 정보를 의미하며, 도면에서는 대표적인 세 가지를 언급하였지만 본 발명이 이들 세 가지 정보에만 국한되는 것은 아니다. 또한, 3D 객체정보생성 단계(또는 실행부)(130) 내에서 3D 객체정보 생성을 위해 사용할 수 있는 방법에도 제한은 없다. 도 3에서는 단지 학습 기반 3D 객체정보 생성 방식을 예시로 설명한 것이다.
3D 객체정보생성 단계(또는 실행부)(130)는 학습 네트워크를 통해 3D 객체정보를 생성하기 위해 통합 학습 매개변수 저장부(30)와 통합 참조모델 DB(40)에서 각각 3D 객체정보 생성에 필요한 매개변수 및 참조모델을 제공받을 수 있다. 3D 객체형상정보 생성 단계(또는 실행부)(310)에서는 대상의 3D 형상 정보를 생성하고 결과를 3D 객체형상정보 저장부(50)에 저장한다. 3D 객체텍스처정보 생성 단계(또는 실행부)(320)에서는 대상의 질감 및 텍스처 정보를 생성하고 결과를 3D 객체텍스처정보 저장부(60)에 저장한다. 3D 객체모션정보 생성 단계(또는 실행부)(330)에서는 대상에 대한 기본적인 모션 정보를 생성하고 결과를 3D 객체모션정보 저장부(70)에 저장한다.
도 4는 3D 객체형상정보 생성 단계(또는 실행부)(310)의 구성을 나타낸다. 객체 스켈레톤 생성 단계(또는 실행부)(510)에서는 입력된 2D 분석 정보로부터 객체의 스켈레톤(뼈대)을 생성하고, 3D 객체 구성요소 참조모델 검색 단계(또는 실행부)(520)에서 구성요소별로 생성한 스켈레톤과 유사한 참조모델을 검색한다. 학습기반 3D 객체 구성요소별 참조모델 변형 단계(또는 실행부)(530)에서는 통합 학습 매개변수 저장부(30)에서 받은 입력 매개변수와 학습 네트워크를 통해 참조모델의 변형을 수행하며, 학습기반 통합 3D 객체형상 생성 단계(또는 실행부)(540)에서는 각 구성요소별 3D 파트를 통합해 대상의 통합 3D 객체형상을 생성한다.
도 5는 3D 객체텍스처정보 생성 단계(또는 실행부)(320)의 구성을 나타낸다. 3D 객체 구성요소별 텍스처 참조모델 검색 단계(또는 실행부)(610)에서는 구성요소에 적용가능한 텍스처 참조모델을 검색한다. 이때 입력영상분석 매개변수 저장부(20)로부터 스타일 특성 분석 정보를 입력받아 스타일 특성이 유사한 참조모델을 검색한다. 학습기반 3D 객체 구성요소별 텍스처 참조모델 변형 단계(또는 실행부)(620)에서는 입력영상 전처리결과 저장부(10)로부터 대상의 텍스처를 입력받고 입력영상분석 매개변수 저장부(20)로부터 대상 텍스처의 분석 정보를 받아 학습 네트워크를 통해 검색된 참조모델을 대상 텍스처와 최대한 유사하도록 변형한다. 통합 텍스처 생성 및 텍스처 파트간 색조 일치 단계(또는 실행부)(630)에서는 구성요소별로 각각 생성된 텍스처 파트간 색조 일치 여부를 판단해 전체적인 톤을 일치시킨다. 학습기반 텍스처 구성 재질 정보 생성 단계(또는 실행부)(640)에서는 응용에 필요한 텍스처 구성 재질 정보(albedo, specular, roughness, reflectance 등)를 최종 생성해 3D 객체텍스처정보 저장부(60)에 저장한다.
도 6은 3D 객체모션정보 생성 단계(또는 실행부)(320)의 구성을 나타낸다. 3D 객체 구성요소별 모션 참조모델 검색 단계(또는 실행부)(710)에서는 입력영상분석 매개변수 저장부(20)의 구성요소 정보를 입력 받아 각 구성요소의 의미론적 특성(예: 사람의 팔이면 움직이는 각도가 제한됨)을 지닌 모션 참조모델(뼈대, 리그 정보, 관절 정보 등)을 검색한다. 학습기반3D 객체 구성요소별 모션 참조모델 변형 단계(또는 실행부)(720)에서는 검색된 참조모델을 입력과 유사한 특성을 갖도록 변형(뼈대의 길이 조정, 관절 위치 조정 등)한다. 통합 모션 생성 검증 및 조정 단계(또는 실행부)(730)에서는 객체의 기본 움직임(예: 사람이면 걷기, 숨쉬기 등)을 테스트하고 자연스러운 움직임이 가능하도록 움직임 방식(예: 뼈대 기반, 블렌드쉐입 기반등), 매개변수 등을 자동 조정한다. 시멘틱 특성기반 모션 변형 단계(또는 실행부)(740)에서는 입력영상분석 매개변수 저장부(20)의 시멘틱 특성 분석 정보를 이용해 생성된 모션 정보를 시멘틱 특성을 반영(예: 사람의 경우 노인과 아이를 비교하면 같은 걷기 동작도 속도나 형태 등이 다르므로 이를 반영)해 변형하고 결과를 3D 객체모션정보 저장부(70)에 저장한다.
다시 도 1로 돌아가, 3D 시멘틱 스타일전이 단계(또는 실행부)(140)는 학습 네트워크를 통해 3D 객체의 스타일을 의미론적으로 변형하거나 변형 결과를 추천한다. 이를 위해 통합 학습 매개변수 저장부(30)로부터 시멘틱 스타일과 3D 객체 요소간 상관관계 매개변수 정보를 받는다. 이 정보는 다양한 사용자의 주관적 의미 속성 평가 방법을 통해 취득할 수 있다.
도 7은 3D 시멘틱 스타일전이 단계(또는 실행부)(140)의 블록도이다.
3D 시멘틱 스타일전이 단계(또는 실행부)(140)에서는 객체를 구성하는 각 특성 정보별로 스타일 전이(style transfer)를 수행한다. 이때, 응용에 따라 요구되는 특성 정보가 다르며 본 발명에서는 이를 제한하지 않고 예를 들어 세 가지 특성(형상, 텍스처, 모션)에 대한 스타일 전이 구성을 설명한다. 3D 객체형상 스타일전이 단계(또는 실행부)(410)에서는 객체형상에 대한 의미론적 스타일 (예: 캐릭터인 경우 더 강인하게, 더 귀엽게 등의 스타일) 전이를 수행하고, 사용자 입력에 최대한 부합하는 결과와 3D 객체형상 스타일 추천 샘플 생성 단계(또는 실행부)(440)에서 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 통합 3D 객체모델출력 단계(또는 실행부)(150)로 전달한다. 3D 객체텍스처 스타일전이 단계(또는 실행부)(420)에서는 객체의 텍스처나 디테일한 의복 스타일 등에 대한 의미론적 스타일 (예: 의복 텍스처인 경우 중세풍, 현대풍, 미래풍 등) 전이를 수행하고, 사용자 입력에 최대한 부합하는 결과와 3D 객체텍스처 스타일 추천 샘플 생성 단계(또는 실행부)(450)에서 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 통합 3D 객체모델출력 단계(또는 실행부)(150)로 전달한다. 3D 객체모션 스타일전이 단계(또는 실행부)(430)에서는 객체의 움직임, 모션에 대한 의미론적 스타일 (예: 캐릭터가 걷는 모션인 경우 활기차게, 힘없이 등) 전이를 수행하고, 사용자 입력에 최대한 부합하는 결과와 3D 객체모션 스타일 추천 샘플 생성 단계(또는 실행부)(460)에서 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 통합 3D 객체모델출력 단계(또는 실행부)(150)로 전달한다.
이상에서, 본 발명을 구체적인 실시예와 실시 형태로 예로 들어 설명하였다. 그러나 본 발명의 기술적 범위는 이러한 실시예에 의해 제한되는 것이 아니라, 이하의 특허청구범위의 합리적 해석에 의해 정해지는 것이다.

Claims (20)

  1. 2D의 컨셉 아트, 스케치, 사진을 입력받아 이와 외형적으로 최대한 유사하면서 다양한 응용에서 사용가능한 3D 객체정보를 자동 생성하는, 통합 3D 객체모델 생성 방법으로,
    3D 콘텐츠에 대한 2D 컨셉이나 개념 그림, 스케치, 또는 사진을 입력 받는 2D 컨셉 아트, 스케치 또는 사진 입력 단계;
    상기 입력 영상으로부터 대상 또는 객체의 구성요소, 시멘틱 특성, 스타일 특성을 분석하는 2D 입력영상 처리 및 분석 단계;
    원래의 입력과 상기 분석된 정보를 기반으로 응용에 바로 적용이 가능하도록 요구조건이나 기능성을 충족시키는 3D 객체모델을 생성하는 3D 객체정보생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  2. 제1항에서, 상기 3D 객체정보생성 단계 후에
    생성된 3D 객체의 스타일을 저수준의 그래픽스 요소를 편집하지 않고 의미론적인 방식으로 손쉽게 변형하거나 후보군을 제시하는 3D 시멘틱(의미론적) 스타일전이 단계를 추가로 포함하는 통합 3D 객체모델 생성 방법.
  3. 제1항에서, 상기 2D 입력영상 처리 및 분석 단계는
    2D 컨셉 아트, 스케치 또는 사진 입력 단계에서 입력 받은 영상을 판별해 입력이 사진인 경우 이를 2D 컨셉 아트 또는 스케치화하는 단계,
    대상을 구분하기 위해 대상 주위의 배경 영역을 추출하는 2D 컨셉 아트/스케치 전처리 단계,
    전처리 결과로부터 대상의 전체적인 형태 혹은 각 구성요소를 분석 및 인식하는 구성요소 분석 및 인식 단계
    전처리된 2D 컨셉 아트/스케치로부터 물리적 형태가 아닌 각 구성요소 혹은 대상 전체의 의미를 분석하는 시멘틱특성 분석 단계,
    전처리된 2D 컨셉 아트/스케치로부터 디자인, 스타일 특성을 분석하는 스타일특성 분석 단계,
    상기 분석된 구성요소, 시멘틱특성, 스타일특성을 통합적으로 이용해 각 구성요소간 연결/상관관계를 유추하고 대상의 전체적인 통합구조를 분석하는 구성요소간 상관관계 및 통합구조 분석 단계를 포함하는 통합 3D 객체모델 생성 방법.
  4. 제1항에서, 상기 3D 객체정보생성 단계는 기계학습에 기반하는 통합 3D 객체모델 생성 방법.
  5. 제1항에서, 상기 3D 객체정보생성 단계에서의 3D 객체정보는 3D 객체형상정보. 3D 객체텍스처정보, 3D 객체모션정보 중 적어도 하나를 포함하는 통합 3D 객체모델 생성 방법.
  6. 제1항에서, 상기 3D 객체정보생성 단계에는, 대상의 3D 형상 정보를 생성하는 3D 객체형상정보 생성 단계가 추가로 포함되는 통합 3D 객체모델 생성 방법.
  7. 제6항에서, 상기 3D 객체형상정보 생성 단계는
    입력된 2D 분석 정보로부터 객체의 스켈레톤(뼈대)을 생성하는 객체 스켈레톤 생성 단계,
    구성요소별로 생성한 스켈레톤과 유사한 참조모델을 검색하는 3D 객체 구성요소 참조모델 검색 단계,
    입력 매개변수와 학습 네트워크를 통해 참조모델의 변형을 수행하는 학습기반 3D 객체 구성요소별 참조모델 변형 단계,
    각 구성요소별 3D 파트를 통합해 대상의 통합 3D 객체형상을 생성하는 학습기반 통합 3D 객체형상 생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  8. 제1항에서, 상기 3D 객체정보생성 단계에는, 대상의 질감 및 텍스처 정보를 생성하는 3D 객체텍스처정보 생성 단계가 추가로 포함되는 통합 3D 객체모델 생성 방법.
  9. 제8항에서, 상기 3D 객체텍스처정보 생성 단계는
    구성요소에 적용가능한 텍스처 참조모델을 검색하고, 스타일 특성 분석 정보를 입력받아 스타일 특성이 유사한 참조모델을 검색하는 3D 객체 구성요소별 텍스처 참조모델 검색 단계,
    대상의 텍스처 및 그 분석 정보를 받아 학습 네트워크를 통해 검색된 참조모델을 대상 텍스처와 최대한 유사하도록 변형하는 학습기반 3D 객체 구성요소별 텍스처 참조모델 변형 단계,
    구성요소별로 각각 생성된 텍스처 파트간 색조 일치 여부를 판단해 전체적인 톤을 일치시키는 통합 텍스처 생성 및 텍스처 파트간 색조 일치 단계,
    응용에 필요한 텍스처 구성 재질 정보를 최종 생성하는 학습기반 텍스처 구성 재질 정보 생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  10. 제1항에서, 상기 3D 객체정보생성 단계에는, 대상에 대한 기본적인 모션 정보를 생성하는 3D 객체모션정보 생성 단계가 추가로 포함되는 통합 3D 객체모델 생성 방법.
  11. 제10항에서, 상기 3D 객체모션정보 생성 단계는
    입력영상의 구성요소 정보를 입력 받아 각 구성요소의 의미론적 특성을 지닌 모션 참조모델을 검색하는 3D 객체 구성요소별 모션 참조모델 검색 단계,
    검색된 참조모델을 입력과 유사한 특성을 갖도록 변형하는 학습기반3D 객체 구성요소별 모션 참조모델 변형 단계,
    객체의 기본 움직임을 테스트하고 자연스러운 움직임이 가능하도록 움직임 방식을 자동 조정하는 통합 모션 생성 검증 및 조정 단계,
    입력영상의 시멘틱 특성 분석 정보를 이용해 생성된 모션 정보를 시멘틱 특성을 반영해 변형하는 시멘틱 특성기반 모션 변형 단계를 포함하는 통합 3D 객체모델 생성 방법.
  12. 제2항에서, 상기 3D 시멘틱 스타일전이 단계는
    객체를 구성하는 각 특성 정보별로 스타일 전이를 수행하는데, 여기서, 특성 정보는 3D 객체형상 스타일. 3D 객체텍스처 스타일, 3D 객체모션 스타일 중 적어도 하나를 포함하는 통합 3D 객체모델 생성 방법.
  13. 제2항에서, 상기 3D 시멘틱 스타일전이 단계는,
    객체형상에 대한 의미론적 스타일전이를 수행하는 3D 객체형상 스타일전이 단계,
    사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체형상 스타일 추천 샘플 생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  14. 제2항에서, 상기 3D 시멘틱 스타일전이 단계는,
    객체의 스타일에 대한 의미론적 스타일전이를 수행하는 3D 객체텍스처 스타일전이 단계,
    사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체텍스처 스타일 추천 샘플 생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  15. 제2항에서, 상기 3D 시멘틱 스타일전이 단계는,
    객체의 움직임, 모션에 대한 의미론적 스타일전이를 수행하는 3D 객체모션 스타일전이 단계,
    사용자 입력에 최대한 부합하는 결과와 대상의 특성을 고려해 추천 샘플 스타일을 생성해 변형 결과 및 추천 결과를 출력하는 3D 객체모션 스타일 추천 샘플 생성 단계를 포함하는 통합 3D 객체모델 생성 방법.
  16. 2D의 컨셉 아트, 스케치, 사진을 입력받아 이와 외형적으로 최대한 유사하면서 다양한 응용에서 사용가능한 3D 객체정보를 자동 생성하는, 통합 3D 객체모델 생성 장치로,
    3D 콘텐츠에 대한 2D 컨셉이나 개념 그림, 스케치, 사진 등을 입력 받는 2D 컨셉 아트, 스케치 또는 사진 입력 실행부;
    상기 입력 영상으로부터 대상 또는 객체의 구성요소, 시멘틱 특성, 스타일 특성을 분석하는 2D 입력영상 처리 및 분석 실행부;
    원래의 입력과 상기 분석된 정보를 기반으로 응용에 바로 적용이 가능하도록 요구조건이나 기능성을 충족시키는 3D 객체모델을 생성하는 3D 객체정보생성 실행부를 포함하는 통합 3D 객체모델 생성 장치.
  17. 제16항에서, 상기 3D 객체정보생성 실행부에서 생성된 3D 객체의 스타일을 저수준의 그래픽스 요소를 편집하지 않고 의미론적인 방식으로 손쉽게 변형하거나 후보군을 제시하는 3D 시멘틱(의미론적) 스타일전이 실행부를 추가로 포함하는 통합 3D 객체모델 생성 장치.
  18. 제16항에서, 상기 2D 입력영상 처리 및 분석 실행부는
    2D 컨셉 아트, 스케치 또는 사진 입력 실행부에서 입력 받은 영상을 판별해 입력이 사진인 경우 이를 2D 컨셉 아트 또는 스케치화하는 실행부,
    대상을 구분하기 위해 대상 주위의 배경 등의 영역을 추출하고 대상에 대한 정보를 입력영상 전처리결과 저장부에 저장하는 2D 컨셉 아트/스케치 전처리 실행부,
    전처리 결과로부터 대상의 전체적인 형태 혹은 각 구성요소 등을 분석 및 인식하는 구성요소 분석 및 인식 실행부
    전처리된 2D 컨셉 아트/스케치로부터 물리적 형태가 아닌 각 구성요소 혹은 대상 전체의 의미를 분석하는 시멘틱특성 분석 실행부,
    전처리된 2D 컨셉 아트/스케치로부터 디자인, 스타일 특성을 분석하는 스타일특성 분석 실행부,
    상기 분석된 구성요소, 시멘틱특성, 스타일특성을 통합적으로 이용해 각 구성요소간 연결/상관관계를 유추하고 대상의 전체적인 통합구조를 분석해 그 결과를 입력영상분석 매개변수 저장부에 저장하는 구성요소간 상관관계 및 통합구조 분석 실행부를 포함하는 통합 3D 객체모델 생성 장치.
  19. 제16항에서, 상기 3D 객체정보생성 실행부에서의 3D 객체정보는 3D 객체형상정보, 3D 객체텍스처정보, 3D 객체모션정보 중 적어도 하나를 포함하는 통합 3D 객체모델 생성 장치.
  20. 제17항에서, 상기 3D 시멘틱 스타일전이 실행부는
    객체를 구성하는 각 특성 정보별로 스타일 전이를 수행하는데, 여기서, 특성 정보는 3D 객체형상 스타일, 3D 객체텍스처 스타일, 3D 객체모션 스타일 중 적어도 하나를 포함하는 통합 3D 객체모델 생성 장치.

KR1020180034410A 2018-03-26 2018-03-26 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법 KR20190112428A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180034410A KR20190112428A (ko) 2018-03-26 2018-03-26 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034410A KR20190112428A (ko) 2018-03-26 2018-03-26 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190112428A true KR20190112428A (ko) 2019-10-07

Family

ID=68422370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034410A KR20190112428A (ko) 2018-03-26 2018-03-26 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190112428A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN114331827A (zh) * 2022-03-07 2022-04-12 深圳市其域创新科技有限公司 风格迁移方法、装置、设备和存储介质
WO2022250401A1 (en) * 2021-05-24 2022-12-01 Samsung Electronics Co., Ltd. Methods and systems for generating three dimensional (3d) models of objects
WO2023075508A1 (ko) * 2021-10-29 2023-05-04 삼성전자주식회사 전자 장치 및 그 제어 방법
GB2612775A (en) * 2021-11-10 2023-05-17 Sony Interactive Entertainment Inc System and method for generating assets
WO2024075972A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 3차원(3d) 모델을 생성하는 방법 및 전자 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN112669308B (zh) * 2021-01-06 2024-05-24 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
WO2022250401A1 (en) * 2021-05-24 2022-12-01 Samsung Electronics Co., Ltd. Methods and systems for generating three dimensional (3d) models of objects
WO2023075508A1 (ko) * 2021-10-29 2023-05-04 삼성전자주식회사 전자 장치 및 그 제어 방법
GB2612775A (en) * 2021-11-10 2023-05-17 Sony Interactive Entertainment Inc System and method for generating assets
CN114331827A (zh) * 2022-03-07 2022-04-12 深圳市其域创新科技有限公司 风格迁移方法、装置、设备和存储介质
WO2024075972A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 3차원(3d) 모델을 생성하는 방법 및 전자 장치

Similar Documents

Publication Publication Date Title
KR20190112428A (ko) 통합 3d 객체모델 생성 및 의미론적 스타일전이 장치 및 방법
US10679061B2 (en) Tagging virtualized content
US12014467B2 (en) Generating augmented reality prerenderings using template images
CN109729426A (zh) 一种视频封面图像的生成方法及装置
US20230260180A1 (en) Automated dance animation
Wang et al. 3D human motion editing and synthesis: A survey
JP2011159329A (ja) 自動３ｄモデリングシステム及び方法
US20230360285A1 (en) Generating differentiable procedural materials
JP7457211B2 (ja) サードパーティ資産を用いて拡張現実体験を促進するためのコンピューティングプラットフォーム
US11734888B2 (en) Real-time 3D facial animation from binocular video
WO2010081225A1 (en) Digital content creation system
KR100898991B1 (ko) 3차원 그래픽 시스템의 쉐이더 제공 및 변환 장치
Gutiérrez et al. An ontology of virtual humans: incorporating semantics into human shapes
Fu et al. State-of-the-art in 3D face reconstruction from a single RGB image
WO2023069086A1 (en) System and method for dynamic portrait relighting
Altarawneh et al. Leveraging Cloud-based Tools to Talk with Robots.
KR20210074962A (ko) 손쉬운 영상 메시지 제작 방법 및 이를 이용한 장치
CN117932161B (zh) 一种多源多模态数据的可视化搜索方法及系统
WO2024057905A1 (ja) プログラム、情報処理方法、および情報処理装置
Schmitz et al. Interactive pose and shape editing with simple sketches from different viewing angles
de Carvalho Cruz et al. A review regarding the 3D facial animation pipeline
Long et al. Computer Simulation and Innovation of Virtual Reality Technology in Film and Television Animation Scene Construction
KR20190109639A (ko) 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치
Reddy et al. Digital Human Creator Using Facial Expression and Voice
Rahman et al. Implementation of diffusion model in realistic face generation