KR20200133293A - 커스터마이징 이미지 생성 장치 및 방법 - Google Patents

커스터마이징 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR20200133293A
KR20200133293A KR1020190058459A KR20190058459A KR20200133293A KR 20200133293 A KR20200133293 A KR 20200133293A KR 1020190058459 A KR1020190058459 A KR 1020190058459A KR 20190058459 A KR20190058459 A KR 20190058459A KR 20200133293 A KR20200133293 A KR 20200133293A
Authority
KR
South Korea
Prior art keywords
image
input
images
customized
basic
Prior art date
Application number
KR1020190058459A
Other languages
English (en)
Other versions
KR102259126B1 (ko
Inventor
박종민
소송희
소한나
이주원
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020190058459A priority Critical patent/KR102259126B1/ko
Publication of KR20200133293A publication Critical patent/KR20200133293A/ko
Application granted granted Critical
Publication of KR102259126B1 publication Critical patent/KR102259126B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

커스터마이징 이미지 생성 방법 및 장치가 개시된다. 본 발명의 일실시예에 따르면, 커스터마이징 이미지 생성 방법은 클라이언트로부터 2D 입력 이미지를 수신하는 동작, 상기 2D 입력 이미지로부터 특징점을 추출하는 동작, 데이터베이스로부터 상기 특징점을 기초로 기초 커스터마이징 이미지를 선택하는 동작 및 상기 기초 커스터마이징 이미지 및 상기 특징점을 기초로 최종 3D 모델을 생성하고, 상기 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공하는 동작을 포함한다.

Description

커스터마이징 이미지 생성 장치 및 방법{APPARTUS AND METHOD FOR GENERATING CUSTOMIZING IMAGE}
아래의 실시예들은 아래의 실시예들은 커스터마이징 이미지를 생성 장치 및 방법에 관한 것이다.
PC(Personal Computer)용 게임, 비디오용 게임, 무선 단말기용 게임, 네트워크 게임 등에서 캐릭터의 외관을 수정할 수 있는 커스터마이징 서비스가 제공된다. 특히, MMORPG, MMOSNG(Massively Multiplayer Online Social Network Game), MMOSLG(Massively Multiplayer Online Simulation Game) 등의 다수의 플레이어가 동시에 접속하는 게임의 경우, 캐릭터의 외관은 플레이어의 개성을 반영하는 수단으로 사용되며, 게임에 플레이어를 유인하는 중요한 요소로 작용한다.
본 발명의 실시예에 따르면, 커스터마이징 이미지 생성 장치는 사용자가 쉽게 수집할 수 있는 2D 입력 이미지를 이용하여 3D의 출력 커스터마이징 이미지를 간편하고 정확하게 생성할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 클라이언트는 사용자로부터 수신한 동작 입력을 기초로 출력 커스터마이징 이미지의 생성 과정을 시작함으로써 시스템은 2D 입력 이미지가 3D의 출력 커스터마이징 이미지로 변환되는 경험을 사용자에게 제공하고, 사용자 경험을 향상시킬 수 있다.
본 발명의 일실시예에 따르면, 커스터마이징 이미지 생성 방법은 클라이언트로부터 2D 입력 이미지를 수신하는 동작; 상기 2D 입력 이미지로부터 특징점을 추출하는 동작; 데이터베이스로부터 상기 특징점을 기초로 기초 커스터마이징 이미지를 선택하는 동작; 및 상기 기초 커스터마이징 이미지 및 상기 특징점을 기초로 최종 3D 모델을 생성하고, 상기 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공하는 동작을 포함한다.
또한, 상기 기초 커스터마이징 이미지를 선택하는 동작은, 상기 데이터베이스에 저장된 복수의 기초 커스터마이징 이미지 중에서 상기 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지를 선택할 수 있다.
또한, 상기 프리셋 이미지를 제공하는 동작은, 상기 기초 커스터마이징 이미지의 파라미터를 기초로 상기 최종 3D 모델을 생성할 수 있다.
또한, 상기 프리셋 이미지를 제공하는 동작은, 상기 최종 3D 모델의 입력 파라미터를 뉴럴 네트워크에 입력하여 출력된 출력 파라미터를 기초로 최종 3D 모델을 생성할 수 있다.
또한, 상기 2D 입력 이미지를 수신하는 동작은, 하나 이상의 신체 부위에 대응하는 하나 이상의 2D 입력 이미지를 수신하고, 상기 특징점을 추출하는 동작은, 상기 하나 이상의 2D 입력 이미지로부터 각각의 특징점을 추출하고, 상기 프리셋 이미지를 제공하는 동작은, 상기 추출된 하나 이상의 2D 입력 이미지에 대응하는 특징점들을 결합하여 상기 최종 3D 모델을 생성할 수 있다.
상기 커스터마이징 이미지 생성 방법은, 사용자 입력에 의해 상기 하나 이상의 프리셋 이미지 중에서 선택되고 수정된 최종 커스터마이징 이미지를 이용하여 추천 모듈을 학습하는 동작을 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 커스터마이징 이미지 생성 장치는 적어도 하나의 프로세서; 및 클라이언트와 통신하는 I/O 인터페이스를 포함하고, 상기 I/O 인터페이스는, 상기 클라이언트로부터 2D 입력 이미지를 수신하고, 상기 프로세서는, 상기 2D 입력 이미지로부터 특징점을 추출하고, 데이터베이스로부터 상기 특징점을 기초로 기초 커스터마이징 이미지를 선택하고, 상기 기초 커스터마이징 이미지를 기초로 최종 3D 모델을 생성하고, 상기 최종 3D 모델로부터 생성된 하나 이상의 프리셋 이미지를 제공할 수 있다.
상기 프로세서는, 상기 데이터베이스에 저장된 복수의 기초 커스터마이징 이미지 중에서 상기 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지를 선택할 수 있다.
상기 프로세서는, 상기 기초 커스터마이징 이미지의 파라미터를 기초로 상기 최종 3D 모델을 생성할 수 있다.
상기 프로세서는, 상기 최종 3D 모델의 입력 파라미터를 뉴럴 네트워크에 입력하여 출력된 출력 파라미터를 기초로 최종 3D 모델을 생성할 수 있다.
상기 I/O 인터페이스는, 하나 이상의 신체 부위에 대응하는 하나 이상의 2D 입력 이미지를 수신하고, 상기 프로세서는, 상기 하나 이상의 2D 입력 이미지로부터 각각의 특징점을 추출하고, 상기 추출된 하나 이상의 2D 입력 이미지에 대응하는 특징점들을 결합하여 상기 최종 3D 모델을 생성할 수 있다.
본 발명의 또 다른 실시예에 따르면, 적어도 하나의 프로세서; 제1 면 및 제2 면을 포함하는 디스플레이; 상기 제1 면 및 상기 제2 면의 폴딩(folding) 상태 및 언폴딩(unfolding) 상태를 감지하는 폴딩 센서; 및 커스터마이징 이미지 생성 장치와 통신하는 I/O 인터페이스를 포함하고, 상기 폴딩 센서가 언폴딩 상태를 감지할 때, 상기 제1 면은 2D 입력 이미지를 표시하고, 상기 폴딩 센서가 폴딩 상태를 감지할 때, 상기 I/O 인터페이스는 상기 커스터마이징 이미지 생성 장치로 상기 2D 입력 이미지를 송신하고, 상기 I/O 인터페이스는, 상기 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신하고, 상기 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택 신호를 상기 커스터마이징 이미지 생성 장치로 송신하고, 상기 프리셋 이미지는, 상기 2D 입력 이미지, 데이터베이스에 저장된 기초 커스터마이징 이미지 및 뉴럴 네트워크를 기초로 생성된 3D 모델로부터 생성될 수 있다.
본 발명의 또 다른 실시예에 따르면, 적어도 하나의 프로세서; 제1 면 및 제2 면을 포함하는 디스플레이; 상기 제1 면 및 상기 제2 면의 터치(touch)를 감지하는 터치 센서; 및 커스터마이징 이미지 생성 장치와 통신하는 I/O 인터페이스를 포함하고, 상기 제1 면은 2D 입력 이미지를 표시하고, 상기 터치 센서가 상기 제1 면으로부터 상기 제2 면을 향하는 방향으로 상기 2D 입력 이미지의 드래그 동작을 감지할 때, 상기 I/O 인터페이스는 상기 커스터마이징 이미지 생성 장치로 상기 2D 입력 이미지를 송신하고, 상기 I/O 인터페이스는, 상기 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신하고, 상기 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택 신호를 상기 커스터마이징 이미지 생성 장치로 송신하고, 상기 프리셋 이미지는, 상기 2D 입력 이미지, 데이터베이스에 저장된 기초 커스터마이징 이미지 및 뉴럴 네트워크를 기초로 생성된 3D 모델로부터 생성될 수 있다.
본 발명의 일실시예에 따르면, 커스터마이징 이미지 생성 장치는 사용자가 쉽게 수집할 수 있는 2D 입력 이미지를 이용하여 3D의 출력 커스터마이징 이미지를 간편하고 정확하게 생성할 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 클라이언트는 사용자로부터 수신한 동작 입력을 기초로 출력 커스터마이징 이미지의 생성 과정을 시작함으로써 시스템은 2D 입력 이미지가 3D의 출력 커스터마이징 이미지로 변환되는 경험을 사용자에게 제공하고, 사용자 경험을 향상시킬 수 있는 효과가 있다.
도 1은 일 실시예에 따른 커스터마이징 이미지를 생성하는 시스템의 전체 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 커스터마이징 이미지 생성 방법의 전체 동작을 도시한 순서도이다.
도 3은 일 실시예에 따른 커스터마이징 이미지를 생성하는 과정을 도시한 흐름도이다.
도 4는 일 실시예에 따른 커스터마이징 이미지를 생성하는 과정을 예시적으로 도시한 도면이다.
도 5는 일 실시예에 따른 커스터마이징 이미지 생성 장치의 전체 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 클라이언트의 전체 구성을 도시한 도면이다.
도 7은 일 실시예에 따른 클라이언트의 커스터마이징 이미지를 생성하는 일례이다.
도 8은 다른 실시예에 따른 클라이언트의 커스터마이징 이미지를 생성하는 일례이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 일 실시예에 따른 커스터마이징 이미지를 생성하는 시스템의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 시스템은 사용자로부터 2D 입력 이미지를 입력 받고, 출력 커스터마이징 이미지를 클라이언트를 통해 출력할 수 있다. 시스템은 2D 입력 이미지를 분석하여 3D의 출력 커스터마이징 이미지를 출력할 수 있다. 시스템은 2D 입력 이미지의 분석 결과를 기초로 커스터마이징 이미지 생성을 위해 축적한 데이터 및 분석 결과를 종합하여 출력 커스터마이징 이미지를 출력할 수 있다. 이를 통해, 시스템은 사용자가 쉽게 수집할 수 있는 2D 입력 이미지를 이용하여 3D의 출력 커스터마이징 이미지를 간편하고 정확하게 생성할 수 있다.
도 1을 참조하면, 시스템은 클라이언트(110) 및 커스터마이징 이미지 생성 장치(100)를 포함할 수 있다. 클라이언트(110)와 커스터마이징 이미지 생성 장치(100)는 네트워크로 연결될 수 있다. 커스터마이징 이미지 생성 장치(100)는 서버를 포함할 수 있다. 커스터마이징 이미지 생성 장치(100)는 클라이언트(110)로부터 수신한 2D 입력 이미지를 분석하고, 커스터마이징 이미지 생성을 위해 축적한 데이터 및 분석 결과를 종합하여 출력 커스터마이징 이미지를 출력할 수 있다.
커스터마이징 이미지 생성 장치(100)은 2D 입력 이미지로부터 특징점을 추출할 수 있다. 여기서, 특징점은 하나의 2D 입력 이미지를 다른 2D 입력 이미지와 구별하는 정보를 의미할 수 있다. 특징점은 랜드마크(landmark)로 지칭될 수 있으며, 점에 한정되지 않고 선이나 면을 포함할 수 있다. 특징점은 2D 입력 이미지 상의 물리적인 위치를 점유할 수도 있지만, 2D 입력 이미지의 특징을 반영하는 추상적인 정보를 포함할 수도 있다.
커스터마이징 이미지 생성 장치(100)은 특징점을 이용하여 3D 모델을 생성할 수 있다. 커스터마이징 이미지 생성 장치(100)은 특징점을 반영하는 3D 모델을 생성할 수 있다. 이하에서, 특징점이 반영되어 최초로 생성된 3D 모델은 기초 3D 모델로 지칭될 수 있다. 예를 들어, 커스터마이징 이미지 생성 장치(100)은 특징점을 기초로 제로 베이스에서 3D 모델을 생성할 수 있다. 다른 예로, 커스터마이징 이미지 생성 장치(100)은 이미 존재하는 3D 모델에 특징점을 반영하여 수정된 3D 모델을 생성할 수도 있다. 커스터마이징 이미지 생성 장치(100)은 특징점을 기초로 이미 존재하는 복수의 3D 모델 중에서 적합한 3D 모델을 기본 모델로 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기본 모델의 가변 파라미터를 특징점을 기초로 변경함으로써 기초 3D 모델을 생성할 수 있다.
커스터마이징 이미지 생성 장치(100)은 기초 3D 모델을 기존에 축적해온 데이터를 이용하여 수정할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기존에 커스터마이징된 이미지들 중에서 기초 3D 모델을 수정하는데 사용될 기초 커스터마이징 이미지를 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)은 특징점을 기초로 기초 커스터마이징 이미지를 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기초 커스터마이징 이미지를 이용하여 기초 3D 모델을 수정할 수 있다. 이처럼, 커스터마이징 이미지 생성 장치(100)은 기존의 커스터마이징 이미지를 이용하여 기초 3D 모델을 수정함으로써 사용자 또는 복수의 사용자들의 경향을 기초 3D 모델에 반영할 수 있다.
커스터마이징 이미지 생성 장치(100)은 뉴럴 네트워크를 이용하여 기존에 축적해온 데이터를 기초 3D 모델에 반영할 수 있다. 뉴럴 네트워크는 학습 데이터를 이용하여 딥 러닝 방식으로 미리 학습될 수 있다. 학습 데이터는 뉴럴 네트워크를 학습시키기 위한 학습 데이터를 의미한다. 학습 데이터는 2D 입력 이미지 또는 커스터마이징 이미지를 포함할 수 있다. 학습 데이터는 2D 입력 이미지 또는 커스터마이징 이미지의 특징을 나타내는 벡터 정보를 포함할 수 있다. 학습 데이터는 학습 영상 쌍을 포함할 수 있다. 학습 영상 쌍은 제1 학습 영상 쌍과 제2 학습 영상 쌍을 포함한다. 제1 학습 영상 쌍은 2D 입력 이미지 및 2D 입력 이미지가 잘 반영된 커스터마이징 이미지를 포함할 수 있다. 제2 학습 영상 쌍은 2D 입력 이미지 및 2D 입력 이미지가 잘 반영되지 않은 커스터마이징 이미지를 포함할 수 있다.
딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화 (abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다. 딥 러닝 기법들로는 심층 신경망(Deep Neural Networks, DNN), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경망(Deep Belief Networks, DBN)을 예로 들 수 있다. 이 밖에도, 커스터마이징 이미지 생성 장치(100)은 GAN(Generative Adversarial Networks) 또는 VAE(Variational Auto Encoder)와 같은 제너레이티브 모델(Generative Model)을 이용할 수도 있다. 제너레이티브 모델은 샘플 이미지들로부터 실제 이미지와 유사한 이미지를 생성할 수 있는 모델을 만드는 데 이용된다. 예를 들어, 제너레이티브 모델은 사람의 얼굴 이미지들로부터 실제 사진과 같은 사람 얼굴 이미지를 생성해내는 데 이용될 수 있다.
커스터마이징 이미지 생성 장치(100)은 뉴럴 네트워크를 이용하여 기초 3D 모델을 수정할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기초 3D 모델을 표현하는 입력 정보를 뉴럴 네트워크에 입력할 수 있다. 입력 정보는 벡터 형태로서 뉴럴 네트워크의 각각의 레이어를 거쳐 출력 벡터로 변환될 수 있다. 커스터마이징 이미지 생성 장치(100)은 출력 벡터를 기초로 기초 3D 모델을 수정할 수 있다. 이처럼, 커스터마이징 이미지 생성 장치(100)은 기존의 미리 학습된 뉴럴 네트워크를 이용하여 기초 3D 모델을 수정함으로써 기초 3D 모델의 품질을 향상시킬 수 있다.
사용자(120)는 클라이언트(110)에 2D 입력 이미지를 입력할 수 있다. 사용자(120)는 클라이언트(110)에 2D 입력 이미지를 입력하고, 간단한 동작을 통하여 2D 입력 이미지로부터 출력 커스터마이징 이미지를 출력할 수 있다. 클라이언트(110)는 사용자(120)로부터 수신한 동작 입력을 기초로 출력 커스터마이징 이미지의 생성 과정을 시작할 수 있다. 여기서, 동작 입력은 클라이언트(110)의 특성에 기초한 직관적인 동작 입력을 포함할 수 있다. 이를 통해, 시스템은 2D 입력 이미지가 3D의 출력 커스터마이징 이미지로 변환되는 경험을 사용자(120)에게 제공하고, 사용자 경험을 향상시킬 수 있다.
예를 들어, 사용자(120)는 폴더블(foldable) 단말기의 폴딩(folding) 동작을 통하여 출력 커스터마이징 이미지의 생성을 위한 동작 입력을 클라이언트(110)에 입력할 수 있다. 클라이언트(110)는 폴더블 단말기를 포함할 수 있다. 클라이언트(110)의 디스플레이는 접힐 수 있는 제1 면과 제2 면으로 형성될 수 있다. 사용자(120)가 입력한 2D 입력 이미지는 제1 면에 표시될 수 있다.
사용자(120)는 클라이언트(110)의 제1 면과 제2 면을 접을 수 있다. 클라이언트(110)는 폴딩 동작을 인식하고, 2D 입력 이미지에 대한 커스터마이징 이미지의 생성 과정을 시작할 수 있다. 클라이언트(110)는 커스터마이징 이미지 생성 장치(100)로 2D 입력 이미지를 전송할 수 있다.
커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지를 수신하고 분석할 수 있다. 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지로부터 특징점을 추출하고 커스터마이징 이미지 생성을 위해 축적한 데이터를 이용하여 출력 커스터마이징 이미지를 출력할 수 있다.
커스터마이징 이미지 생성 장치(100)는 출력 커스터마이징 이미지를 클라이언트(110)에 전송할 수 있다. 클라이언트(110)는 출력 커스터마이징 이미지를 디스플레이의 제2 면에 표시할 수 있다. 이처럼, 제1 면에 표시된 2D 입력 이미지는 폴딩 동작을 통해 제2 면의 출력 커스터마이징 이미지로 표시됨으로써 사용자(120)에게 직관적인 사용자 경험을 제공할 수 있다.
다른 예로, 사용자(120)는 디스플레이에 표시된 2D 입력 이미지에 대한 드래그(drag) 동작을 통하여 출력 커스터마이징 이미지의 생성을 위한 동작 입력을 클라이언트(110)에 입력할 수 있다. 클라이언트(110)는 디스플레이를 포함할 수 있다. 디스플레이는 접히는 제1 면 및 제2 면으로 구성될 수도 있고, 접히지 않는 하나의 면으로 구성될 수도 있다.
디스플레이의 상단에는 사용자가 입력한 2D 입력 이미지가 표시될 수 있다. 사용자(120)는 드래그 동작을 통해 2D 입력 이미지를 디스플레이의 하단으로 이동할 수 있다. 클라이언트(110)는 사용자(120)의 디스플레이의 상단에 대한 터치 동작을 인식하고, 터치가 유지되는 상태로 디스플레이의 하단으로의 드래그 동작을 인식할 수 있다. 클라이언트(110)는 드래그 동작에 대응하여 2D 입력 이미지에 대한 커스터마이징 이미지의 생성 과정을 시작할 수 있다. 클라이언트(110)는 커스터마이징 이미지 생성 장치(100)로 2D 입력 이미지를 전송할 수 있다.
커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지를 수신하고 분석할 수 있다. 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지로부터 특징점을 추출하고 커스터마이징 이미지 생성을 위해 축적한 데이터를 이용하여 출력 커스터마이징 이미지를 출력할 수 있다.
커스터마이징 이미지 생성 장치(100)는 출력 커스터마이징 이미지를 클라이언트(110)에 전송할 수 있다. 클라이언트(110)는 출력 커스터마이징 이미지를 디스플레이의 하단에 표시할 수 있다. 이처럼, 디스플레이의 상단에 표시된 2D 입력 이미지는 드래그 동작을 통해 변환되고 디스플레이의 하단에 출력 커스터마이징 이미지가 표시됨으로써 사용자(120)에게 직관적인 사용자 경험을 제공할 수 있다.
클라이언트(110)는 사용자의 키 조작에 따라 AP를 포함한 통신 중개장치를 이용하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 클라이언트(110)는 폴더블 스마트폰을 포함할 수 있다. 클라이언트(110)는 AP 및 통신망을 이용하여 음성 또는 데이터 통신을 수행하는 단말기이며, AP 및 통신망을 경유하여 외부 장치와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 클라이언트(110)는 AP 및 통신망을 이용하여 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. 한편, 클라이언트(110)는 사용자의 조작을 통한 입출력을 수행하기 위해 터치 스크린을 구비한 형태로 제작되는 것이 바람직하며, 사용자의 조작에 따른 입력을 통해 게임 프로그램을 구동할 수 있다.
클라이언트(110)는 비디오 게임용 단말기, 오락실용 단말기, 휴대용 단말기, PC용 단말기, 유선 또는 무선 단말기를 적어도 하나 이상 포함하여 이루어지는 것이 바람직하며, 단말기에 구비된 소정의 키입력수단은 키보드, 마우스, 게임조작 유니트, 아날로그 유니트, 터치 스크린을 적어도 하나 이상 포함할 수 있다.
클라이언트(110)는, 사용자 장비, 모바일, 무선 통신이 가능한 PC, 핸드폰, 키오스크, 셀룰러 폰, 셀룰러, 셀룰러 단말, 가입자 유닛, 가입자국, 이동국, 단말, 원격국, PDA, 원격 단말, 액세스 단말, 사용자 에이전트, 무선 접속 기능을 구비하는 휴대용 장치, 무선 모뎀과 같은, 무선 접속 매커니즘을 사용할 수 있는 임의의 장치 등으로 지칭될 수 있으나, 이들로 한정되지는 않는다. 클라이언트(110)는 단말기 또는 피어로 지칭될 수도 있다.
커스터마이징 이미지 생성 장치(100)는 커스터마이징 이미지를 생성하기 위한 서버와 함께 게임 서버를 포함할 수 있다. 게임 서버는 클라이언트(110)가 접속되며, 접속된 클라이언트(110)로 서비스를 제공할 수 있다. 또한, 게임 서버는 회원 가입 절차를 진행하여 그에 따라 회원으로 가입된 사용자의 각종 정보를 저장하여 관리하고, 게임에 관련된 각종 아이템에 대한 구매 및 결제 기능을 제공할 수도 있다. 또한, 게임 서버는, 사용자 간에 게임 대전을 할 수 있도록, 복수의 클라이언트 각각에서 실행되는 게임 애플리케이션의 실행 데이터를 실시간으로 중계할 수도 있다.
이러한 서버는 하드웨어적으로는 통상적인 웹 서버(Web Server) 또는 왑 서버(WAP Server)와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는, C, C++, Java, Visual Basic, Visual C 등 여하한 언어를 통하여 구현되어 여러 가지 기능을 하는 프로그램 모듈(Module)을 포함한다.
또한, 서버는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 통하여 불특정 다수 클라이언트 및/또는 다른 서버와 연결되어 있고, 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템 및 그를 위하여 설치되어 있는 컴퓨터 소프트웨어(서버 프로그램)를 뜻하는 것이다.
또한, 서버는, 전술한 서버 프로그램 이외에도, 서버 상에서 동작하는 일련의 응용 프로그램(Application Program)과 경우에 따라서는 내부 또는 외부에 구축되어 있는 각종 데이터베이스(DB: Database, 이하 "DB"라 칭함)를 포함하는 넓은 개념으로 이해되어야 할 것이다. 따라서, 서버는, 회원 가입 정보와, 게임에 대한 각종 정보 및 데이터를 분류하여 DB에 저장시키고 관리하는데, 이러한 DB는 서버의 내부 또는 외부에 구현될 수 있다.
또한, 서버는, 일반적인 서버용 하드웨어에 도스(DOS), 윈도우(windows), 리눅스(Linux), 유닉스(UNIX), 매킨토시(Macintosh) 등의 운영체제에 따라 다양하게 제공되고 있는 서버 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹사이트(Website), IIS(Internet Information Server)와 유닉스환경에서 사용되는 CERN, NCSA, APPACH등이 이용될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조 또는 서버와 클라이언트(110)들을 연결하는 망(Network)을 의미한다. 네트워크는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE, Wi-Fi 등이 포함되나 이에 한정되지는 않는다. 네트워크는 LAN, WAN 등의 폐쇄형 네트워크일 수도 있으나, 인터넷(Internet)과 같은 개방형인 것이 바람직하다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미한다. 또한, 클라이언트(110)가 이동통신 단말기이거나 스마트 폰 등인 경우, 네트워크는 3G, 4G, LTE, Wi-Fi 등의 이동통신망을 포함할 수 있다.
여기서 사용된 '서버'라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 2는 일 실시예에 따른 커스터마이징 이미지 생성 방법의 전체 동작을 도시한 순서도이다.
일 실시예에 따르면, 단계(201)에서, 커스터마이징 이미지 생성 장치(100)는 클라이언트로부터 2D 입력 이미지를 수신한다. 사용자(120)는 클라이언트(110)에 2D 입력 이미지를 입력하고, 간단한 동작을 통하여 2D 입력 이미지로부터 출력 커스터마이징 이미지를 출력할 수 있다. 클라이언트(110)는 사용자(120)로부터 수신한 동작 입력을 기초로 출력 커스터마이징 이미지의 생성 과정을 시작할 수 있다. 예를 들어, 사용자(120)는 폴더블(foldable) 단말기의 폴딩(folding) 동작을 통하여 출력 커스터마이징 이미지의 생성을 위한 동작 입력을 클라이언트(110)에 입력할 수 있다. 다른 예로, 사용자(120)는 디스플레이에 표시된 2D 입력 이미지에 대한 드래그(drag) 동작을 통하여 출력 커스터마이징 이미지의 생성을 위한 동작 입력을 클라이언트(110)에 입력할 수 있다.
단계(203)에서, 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지로부터 특징점을 추출한다. 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지에 포함된 인물의 특징을 나타내는 정보를 특징점으로서 추출할 수 있다. 2D 입력 이미지에 포함된 인물은 특징점을 통하여 다른 인물과 구별될 수 있다.
커스터마이징 이미지 생성 장치(100)는 데이터베이스로부터 특징점을 기초로 기초 커스터마이징 이미지를 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)는 기초 커스터마이징 이미지 및 특징점을 기초로 최종 3D 모델을 생성하고, 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공할 수 있다.
단계(205)에서, 커스터마이징 이미지 생성 장치(100)는 특징점을 이용하여 기초 3D 모델을 생성한다. 예를 들어, 커스터마이징 이미지 생성 장치(100)은 특징점을 기초로 제로 베이스에서 3D 모델을 생성할 수 있다. 다른 예로, 커스터마이징 이미지 생성 장치(100)은 이미 존재하는 3D 모델에 특징점을 반영하여 수정된 3D 모델을 생성할 수도 있다.
단계(207)에서, 커스터마이징 이미지 생성 장치(100)는 데이터베이스로부터 특징점을 기초로 기초 커스터마이징 이미지를 선택한다. 커스터마이징 이미지 생성 장치(100)은 기존에 커스터마이징된 이미지들 중에서 기초 3D 모델을 수정하는데 사용될 기초 커스터마이징 이미지를 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)은 특징점을 기초로 기초 커스터마이징 이미지를 선택할 수 있다. 커스터마이징 이미지 생성 장치(100)는 데이터베이스에 저장된 복수의 기초 커스터마이징 이미지 중에서 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지를 선택할 수 있다.
단계(209)에서, 커스터마이징 이미지 생성 장치(100)는 기초 커스터마이징 이미지를 기초로 기초 3D 모델을 수정하여 최종 3D 모델을 생성한다. 커스터마이징 이미지 생성 장치(100)는 기초 커스터마이징 이미지의 파라미터를 기초로 기초 3D 모델을 수정하여 최종 3D 모델을 생성할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기존의 커스터마이징 이미지를 이용하여 기초 3D 모델을 수정함으로써 사용자 또는 복수의 사용자들의 경향을 기초 3D 모델에 반영할 수 있다. 커스터마이징 이미지 생성 장치(100)는 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공할 수 있다.
단계(213)에서, 클라이언트는 최종 3D 모델로부터 생성된 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지를 선택할 수 있다.
이후, 사용자는 하나 이상의 프리셋 이미지로부터 원하는 프리셋 이미지를 선택할 수 있다. 사용자는 선택한 프리셋 이미지의 파라미터를 수정하여 출력 커스터마이징 이미지를 생성할 수 있다. 출력 커스터마이징 이미지는 추천 모듈의 학습에 사용될 수 있다.
2D 입력 이미지는 신체의 다양한 부분을 포함할 수 있다. 예를 들어, 2D 입력 이미지는 인물의 얼굴, 몸통, 팔 또는 다리를 포함할 수 있다. 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지에 포함된 인물의 다양한 신체 부위 각각에 대한 특징점을 추출하여 3D의 출력 커스터마이징 이미지를 생성할 수 있다.
다른 실시예에 따르면, 커스터마이징 이미지 생성 장치(100)는 하나 이상의 2D 입력 이미지에 포함된 인물의 신체 부위를 종합하여 3D의 출력 커스터마이징 이미지를 생성할 수도 있다. 커스터마이징 이미지 생성 장치(100)는 하나 이상의 신체 부위에 대응하는 하나 이상의 2D 입력 이미지를 수신할 수 있다. 커스터마이징 이미지 생성 장치(100)는 하나 이상의 2D 입력 이미지로부터 각각의 특징점을 추출할 수 있다. 커스터마이징 이미지 생성 장치(100)는 추출된 하나 이상의 2D 입력 이미지에 대응하는 특징점들을 결합하여 기초 3D 모델을 생성할 수 있다. 이후, 커스터마이징 이미지 생성 장치(100)는 기존에 축적한 데이터를 통해 기초 3D 모델을 수정하고 복수의 프리셋 이미지를 생성할 수 있다. 클라이언트(110)는 복수의 프리셋 이미지 중에서 하나의 프리셋 이미지를 출력 커스터마이징 이미지로서 선택할 수 있다.
도 3은 일 실시예에 따른 커스터마이징 이미지를 생성하는 과정을 도시한 흐름도이다.
도 3을 참조하면, 2D 입력 이미지로부터 출력 커스터마이징 이미지를 생성하는 시스템은 클라이언트(110) 및 커스터마이징 이미지 생성 장치(100)를 포함한다. 커스터마이징 이미지 생성 장치(100)는 특징점 추출부(111), 커스터마이징 이미지 생성부(113), 뉴럴 네트워크(115) 및 데이터베이스(117)를 포함할 수 있다.
클라이언트(110)는 커스터마이징 이미지 생성 장치(100)로 2D 입력 이미지(121)를 송신할 수 있다. 클라이언트(110)는 사용자(120)로부터 수신한 동작 입력을 기초로 출력 커스터마이징 이미지의 생성 과정을 시작할 수 있다. 특징점 추출부(111)는 클라이언트(110)로부터 2D 입력 이미지(121)를 수신한다.
특징점 추출부(111)는 2D 입력 이미지(121)로부터 특징점을 추출한다. 특징점 추출부(111)는 2D 입력 이미지(121)에 포함된 인물의 특징을 나타내는 정보를 특징점으로서 추출할 수 있다. 2D 입력 이미지(121)에 포함된 인물은 특징점을 통하여 다른 인물과 구별될 수 있다.
특징점 추출부(111)는 출출한 특징점을 커스터마이징 이미지 생성부(113) 및 데이터베이스(117)로 전송할 수 있다. 단계(123)에서, 특징점 추출부(111)는 특징점을 커스터마이징 이미지 생성부(113)로 전송할 수 있다. 단계(125)에서, 특징점 추출부(111)는 데이터베이스(117)로 특징점을 전송할 수 있다. 단계(123) 및 단계(125)는 동시에 또는 이시에 수행될 수 있다.
커스터마이징 이미지 생성부(113)는 특징점을 이용하여 기초 3D 모델을 생성한다. 예를 들어, 커스터마이징 이미지 생성부(113)는 특징점을 기초로 제로 베이스에서 3D 모델을 생성할 수 있다. 다른 예로, 커스터마이징 이미지 생성 장치(100)은 이미 존재하는 3D 모델에 특징점을 반영하여 수정된 3D 모델을 생성할 수도 있다.
데이터베이스(117)로부터 특징점을 기초로 기초 커스터마이징 이미지는 선택될 수 있다. 데이터베이스(117)로부터 기존에 커스터마이징된 이미지들 중에서 기초 3D 모델을 수정하는데 사용될 기초 커스터마이징 이미지(117)가 선택될 수 있다. 데이터베이스(117)에 저장된 복수의 기초 커스터마이징 이미지 중에서 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지(117)가 선택될 수 있다.
데이터베이스(117)는 기초 커스터마이징 이미지(117)를 커스터마이징 이미지 생성부(113)로 전송할 수 있다. 커스터마이징 이미지 생성부(113)는 기초 커스터마이징 이미지(117)를 기초로 기초 3D 모델을 수정하여 최종 3D 모델을 생성한다. 커스터마이징 이미지 생성부(113)는 기존의 커스터마이징 이미지(117)를 이용하여 기초 3D 모델을 수정함으로써 사용자 또는 복수의 사용자들의 경향을 기초 3D 모델에 반영할 수 있다.
커스터마이징 이미지 생성부(113)는 최종 3D 모델(129)을 뉴럴 네트워크(115)로 전송할 수 있다. 뉴럴 네트워크(115)는 최종 3D 모델(129)를 입력으로 최종 3D 모델(131)을 생성할 수 있다. 뉴럴 네트워크(115)는 최종 3D 모델(131)을 커스터마이징 이미지 생성부(113)로 전송할 수 있다. 커스터마이징 이미지 생성 장치(100)은 기존의 미리 학습된 뉴럴 네트워크를 이용하여 기초 3D 모델을 수정함으로써 기초 3D 모델의 품질을 향상시킬 수 있다.
커스터마이징 이미지 생성부(113)는 최종 3D 모델로부터 하나 이상의 프리셋 이미지를 생성할 수 있다. 커스터마이징 이미지 생성부(113)는 복수의 프리셋 이미지(133)를 클라이언트(110)로 송신할 수 있다.
도 4는 일 실시예에 따른 커스터마이징 이미지를 생성하는 과정을 예시적으로 도시한 도면이다.
단계(401)에서, 클라이언트(110)는 2D 입력 이미지를 디스플레이에 표시할 수 있다. 예를 들어, 2D 입력 이미지는 디스플레이의 일부 영역에 표시되고, 다른 영역에는 디폴트 파라미터가 반영된 기본적인 3D 모델이 표시될 수 있다.
단계(403)에서, 클라이언트(110)는 간단한 동작 입력을 수신할 수 있다. 클라이언트(110)가 동작 입력을 수신함으로써 커스터마이징 과정이 시작될 수 있다. 예를 들어, 클라이언트(110)는 폴딩 동작 또는 드래그 동작을 수신할 수 있다.
단계(405)에서, 클라이언트(110)는 2D 입력 이미지를 커스터마이징 이미지 생성 장치(100)로 송신할 수 있다. 커스터마이징 이미지 생성 장치(100)는 2D 입력 이미지로부터 특징점을 추출할 수 있다.
단계(407)에서, 커스터마이징 이미지 생성 장치(100)는, 예를 들어, 2D 입력 이미지에 포함된 인물의 얼굴의 각 요소 별로 특징점을 분석할 수 있다.
단계(409)에서, 커스터마이징 이미지 생성 장치(100)는 특징점을 커스터마이징 이미지의 각 요소별 파라미터 값으로 변환할 수 있다. 커스터마이징 이미지 생성 장치(100)는 각 요소별 파라미터 값을 이용하여 기초 3D 모델을 생성할 수 있다.
단계(413)에서, 기초 커스터마이징 이미지가 데이터베이스로부터 선택될 수 있다. 기초 커스터마이징 이미지는 특징점을 기초로 선택될 수 있다. 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지가 선택될 수 있다.
단계(411)에서, 기초 3D 모델은 기초 커스터마이징 이미지를 통해 수정될 수 있다. 커스터마이징 이미지 생성부(113)는 기초 커스터마이징 이미지를 이용하여 기초 3D 모델을 수정하고, 최종 3D 모델을 출력할 수 있다.
단계(417)에서, 커스터마이징 이미지 생성 장치(100)는 최종 3D 모델로부터 하나 이상의 프리셋 이미지를 제공하고, 프리셋 이미지를 클라이언트(110)로 송신할 수 있다. 사용자는 클라이언트(110)에 표시된 하나 이상의 프리셋 이미지 중에서 원하는 프리셋 이미지를 선택하고 수정하여, 출력 커스터마이징 이미지를 출력할 수 있다.
단계(415)에서, 사용자의 출력 커스터마이징 이미지는 추천 모듈을 학습하기 위해 사용될 수 있다.
도 5는 일 실시예에 따른 커스터마이징 이미지 생성 장치의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 커스터마이징 이미지 생성 장치(100)는 적어도 하나의 프로세서(501) 및 I/O 인터페이스(503)를 포함한다. I/O 인터페이스(503)는 클라이언트로부터 2D 입력 이미지를 수신한다. 프로세서(501)는 2D 입력 이미지로부터 특징점을 추출할 수 있다. 프로세서(501)는 특징점을 이용하여 기초 3D 모델을 생성할 수 있다. 프로세서(501)는 데이터베이스로부터 특징점을 기초로 기초 커스터마이징 이미지를 선택할 수 있다. 프로세서(501)는 기초 커스터마이징 이미지를 기초로 기초 3D 모델을 수정하여 최종 3D 모델을 생성할 수 있다. 프로세서(501)는 뉴럴 네트워크를 이용하여 최종 3D 모델을 수정하여 최종 3D 모델을 생성할 수 있다.
I/O 인터페이스(503)는 최종 3D 모델로부터 생성된 하나 이상의 프리셋 이미지를 클라이언트로 송신할 수 있다. I/O 인터페이스(503)는 하나 이상의 프리셋 이미지 중에서 선택된 출력 커스터마이징 이미지를 수신할 수 있다.
도 6은 일 실시예에 따른 클라이언트의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 클라이언트(110)는 프로세서(601), 디스플레이(603) 및 I/O 인터페이스(605)를 포함한다. 디스플레이(603)는 제1 면(607) 및 제2 면(609)로 구성될 수 있다. 디스플레이(603)는 폴더블 디스플레이를 포함할 수 있다. I/O 인터페이스(605)는 커스터마이징 이미지 생성 장치(100)로부터 하나 이상의 프리셋 이미지를 수신할 수 있다. I/O 인터페이스(605)는 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택 신호를 커스터마이징 이미지 생성 장치로 송신할 수 있다. 프리셋 이미지는 2D 입력 이미지, 데이터베이스에 저장된 기초 커스터마이징 이미지 및 뉴럴 네트워크를 기초로 생성된 3D 모델로부터 커스터마이징 이미지 생성 장치(100)에 의해 생성될 수 있다.
도 7은 일 실시예에 따른 클라이언트의 커스터마이징 이미지를 생성하는 일례이다.
일 실시예에 따르면, 단계(710)에서, 클라이언트(110)의 제1 면은 2D 입력 이미지를 입력하라는 기호(713)를 표시할 수 있다. 클라이언트(110)는 2D 입력 이미지(711)를 수신할 수 있다. 클라이언트(110)의 제1 면은 2D 입력 이미지를 표시할 수 있다. 폴딩 센서가 언폴딩 상태를 감지할 때, 제1 면은 2D 입력 이미지(721)를 표시할 수 있다. 클라이언트(110)의 제2 면은 디폴트 파라미터(717) 및 이를 반영한 3D 형상(715)를 표시할 수 있다.
단계(720)에서, 사용자는 클라이언트(110)에 동작 입력을 입력할 수 있다. 예를 들어, 동작 입력은 폴딩/언폴딩 동작을 포함할 수 있다. 폴딩 센서는 제1 면 및 제2 면의 폴딩(folding) 상태 및 언폴딩(unfolding) 상태를 감지할 수 있다. 폴딩 센서가 폴딩 상태를 감지할 때 I/O 인터페이스는 커스터마이징 이미지 생성 장치로 2D 입력 이미지를 송신할 수 있다.
단계(730)에서, I/O 인터페이스는 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신할 수 있다. 제1 면에는 2D 입력 이미지(721)가 표시될 수 있다. 제2 면에는 복수의 프리셋 이미지(731, 733, 735, 737) 및 파라미터(732, 734, 736, 738)이 표시될 수 있다. 사용자는 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택할 수 있다. I/O 인터페이스는 선택 신호를 커스터마이징 이미지 생성 장치로 송신할 수 있다.
도 8은 다른 실시예에 따른 클라이언트의 커스터마이징 이미지를 생성하는 일례이다.
일 실시예에 따르면, 단계(710)에서, 클라이언트(110)의 제1 면은 2D 입력 이미지를 입력하라는 기호(713)를 표시할 수 있다. 클라이언트(110)는 2D 입력 이미지(711)를 수신할 수 있다. 클라이언트(110)의 제1 면은 2D 입력 이미지를 표시할 수 있다. 클라이언트(110)의 제2 면은 디폴트 파라미터(717) 및 이를 반영한 3D 형상(715)를 표시할 수 있다.
단계(720)에서, 사용자는 클라이언트(110)에 동작 입력을 입력할 수 있다. 예를 들어, 동작 입력은 드래그 동작을 포함할 수 있다. 터치 센서가 제1 면으로부터 제2 면을 향하는 방향으로 2D 입력 이미지의 드래그 동작을 감지할 때, I/O 인터페이스는 커스터마이징 이미지 생성 장치로 2D 입력 이미지를 송신할 수 있다.
단계(730)에서, I/O 인터페이스는 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신할 수 있다. 제1 면에는 2D 입력 이미지(721)가 표시될 수 있다. 제2 면에는 복수의 프리셋 이미지(731, 733, 735, 737) 및 파리미터(732, 734, 736, 738)이 표시될 수 있다. 사용자는 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택할 수 있다. I/O 인터페이스는 선택 신호를 커스터마이징 이미지 생성 장치로 송신할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.
이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100...커스터마이징 이미지 생성 장치 110...클라이언트

Claims (13)

  1. 클라이언트로부터 2D 입력 이미지를 수신하는 동작;
    상기 2D 입력 이미지로부터 특징점을 추출하는 동작;
    데이터베이스로부터 상기 특징점을 기초로 기초 커스터마이징 이미지를 선택하는 동작; 및
    상기 기초 커스터마이징 이미지 및 상기 특징점을 기초로 최종 3D 모델을 생성하고, 상기 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공하는 동작
    을 포함하는, 커스터마이징 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 기초 커스터마이징 이미지를 선택하는 동작은,
    상기 데이터베이스에 저장된 복수의 기초 커스터마이징 이미지 중에서 상기 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지를 선택하는,
    커스터마이징 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 프리셋 이미지를 제공하는 동작은,
    상기 기초 커스터마이징 이미지의 파라미터를 기초로 상기 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 프리셋 이미지를 제공하는 동작은,
    상기 최종 3D 모델의 입력 파라미터를 뉴럴 네트워크에 입력하여 출력된 출력 파라미터를 기초로 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 2D 입력 이미지를 수신하는 동작은,
    하나 이상의 신체 부위에 대응하는 하나 이상의 2D 입력 이미지를 수신하고,
    상기 특징점을 추출하는 동작은,
    상기 하나 이상의 2D 입력 이미지로부터 각각의 특징점을 추출하고,
    상기 프리셋 이미지를 제공하는 동작은,
    상기 추출된 하나 이상의 2D 입력 이미지에 대응하는 특징점들을 결합하여 상기 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 방법.
  6. 제1항에 있어서,
    사용자 입력에 의해 상기 하나 이상의 프리셋 이미지 중에서 선택되고 수정된 최종 커스터마이징 이미지를 이용하여 추천 모듈을 학습하는 동작을 더 포함하는, 커스터마이징 이미지 생성 방법.
  7. 적어도 하나의 프로세서; 및
    클라이언트와 통신하는 I/O 인터페이스를 포함하고,
    상기 I/O 인터페이스는, 상기 클라이언트로부터 2D 입력 이미지를 수신하고,
    상기 프로세서는,
    상기 2D 입력 이미지로부터 특징점을 추출하고,
    데이터베이스로부터 상기 특징점을 기초로 기초 커스터마이징 이미지를 선택하고,
    상기 기초 커스터마이징 이미지 및 상기 특징점을 기초로 최종 3D 모델을 생성하고, 상기 최종 3D 모델을 이용하여 하나 이상의 프리셋 이미지를 제공하는,
    커스터마이징 이미지 생성 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 데이터베이스에 저장된 복수의 기초 커스터마이징 이미지 중에서 상기 특징점과 유사한 파라미터를 가지는 기초 커스터마이징 이미지를 선택하는,
    커스터마이징 이미지 생성 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 기초 커스터마이징 이미지의 파라미터를 기초로 상기 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 최종 3D 모델의 입력 파라미터를 뉴럴 네트워크에 입력하여 출력된 출력 파라미터를 기초로 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 장치.
  11. 제7항에 있어서,
    상기 I/O 인터페이스는,
    하나 이상의 신체 부위에 대응하는 하나 이상의 2D 입력 이미지를 수신하고,
    상기 프로세서는,
    상기 하나 이상의 2D 입력 이미지로부터 각각의 특징점을 추출하고,
    상기 추출된 하나 이상의 2D 입력 이미지에 대응하는 특징점들을 결합하여 상기 최종 3D 모델을 생성하는,
    커스터마이징 이미지 생성 장치.
  12. 적어도 하나의 프로세서;
    제1 면 및 제2 면을 포함하는 디스플레이;
    상기 제1 면 및 상기 제2 면의 폴딩(folding) 상태 및 언폴딩(unfolding) 상태를 감지하는 폴딩 센서; 및
    커스터마이징 이미지 생성 장치와 통신하는 I/O 인터페이스를 포함하고,
    상기 폴딩 센서가 언폴딩 상태를 감지할 때, 상기 제1 면은 2D 입력 이미지를 표시하고,
    상기 폴딩 센서가 폴딩 상태를 감지할 때, 상기 I/O 인터페이스는 상기 커스터마이징 이미지 생성 장치로 상기 2D 입력 이미지를 송신하고,
    상기 I/O 인터페이스는, 상기 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신하고, 상기 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택 신호를 상기 커스터마이징 이미지 생성 장치로 송신하고,
    상기 프리셋 이미지는, 상기 2D 입력 이미지, 데이터베이스에 저장된 기초 커스터마이징 이미지 및 뉴럴 네트워크를 기초로 생성된 3D 모델로부터 생성되는,
    클라이언트.
  13. 적어도 하나의 프로세서;
    제1 면 및 제2 면을 포함하는 디스플레이;
    상기 제1 면 및 상기 제2 면의 터치(touch)를 감지하는 터치 센서; 및
    커스터마이징 이미지 생성 장치와 통신하는 I/O 인터페이스를 포함하고,
    상기 제1 면은 2D 입력 이미지를 표시하고,
    상기 터치 센서가 상기 제1 면으로부터 상기 제2 면을 향하는 방향으로 상기 2D 입력 이미지의 드래그 동작을 감지할 때, 상기 I/O 인터페이스는 상기 커스터마이징 이미지 생성 장치로 상기 2D 입력 이미지를 송신하고,
    상기 I/O 인터페이스는, 상기 커스터마이징 이미지 생성 장치로부터 하나 이상의 프리셋 이미지를 수신하고, 상기 하나 이상의 프리셋 이미지 중에서 출력 커스터마이징 이미지의 선택 신호를 상기 커스터마이징 이미지 생성 장치로 송신하고,
    상기 프리셋 이미지는, 상기 2D 입력 이미지, 데이터베이스에 저장된 기초 커스터마이징 이미지 및 뉴럴 네트워크를 기초로 생성된 3D 모델로부터 생성되는,
    클라이언트.
KR1020190058459A 2019-05-19 2019-05-19 커스터마이징 이미지 생성 장치 및 방법 KR102259126B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190058459A KR102259126B1 (ko) 2019-05-19 2019-05-19 커스터마이징 이미지 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190058459A KR102259126B1 (ko) 2019-05-19 2019-05-19 커스터마이징 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200133293A true KR20200133293A (ko) 2020-11-27
KR102259126B1 KR102259126B1 (ko) 2021-06-01

Family

ID=73641594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190058459A KR102259126B1 (ko) 2019-05-19 2019-05-19 커스터마이징 이미지 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102259126B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550973B1 (ko) * 2022-01-18 2023-07-05 (주)에스프레소미디어 Ａｉ 딥러닝을 활용한 개인 밀착형 메타버스 캐릭터 생성 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120046652A (ko) * 2010-11-02 2012-05-10 에스케이플래닛 주식회사 얼굴 인식 기반의 헤어 추천 시스템 및 그 방법
KR20120092037A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
KR101906431B1 (ko) * 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120046652A (ko) * 2010-11-02 2012-05-10 에스케이플래닛 주식회사 얼굴 인식 기반의 헤어 추천 시스템 및 그 방법
KR20120092037A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
KR101906431B1 (ko) * 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102550973B1 (ko) * 2022-01-18 2023-07-05 (주)에스프레소미디어 Ａｉ 딥러닝을 활용한 개인 밀착형 메타버스 캐릭터 생성 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102259126B1 (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
KR101925440B1 (ko) 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법
KR101334066B1 (ko) 진화하는 사이버 로봇 시스템 및 그 제공 방법
CN113383369A (zh) 身体姿势估计
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
EP4248407A1 (en) Real-time motion transfer for prosthetic limbs
KR20230079180A (ko) 인간 캐릭터의 음악 반응 애니메이션
US20220207355A1 (en) Generative adversarial network manipulated image effects
US20220103860A1 (en) Video compression system
KR20190034035A (ko) 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법
CN116383494A (zh) 一种基于实景元宇宙的信息资源推送方法、装置及系统
KR20240052043A (ko) 대화 안내 증강 현실 경험
KR102259126B1 (ko) 커스터마이징 이미지 생성 장치 및 방법
Meng et al. De-anonymization attacks on metaverse
US12051163B2 (en) External computer vision for an eyewear device
CN112115703B (zh) 文章评估方法及装置
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
KR102235538B1 (ko) 가이드 컨텐츠 제공 방법 및 장치
KR20200135096A (ko) 폴더블 단말기 및 폴더블 단말기의 디스플레이 표시 방법
US20240296535A1 (en) Automatic image quality evaluation
US20240297957A1 (en) Aspect ratio conversion for automated image generation
KR102636063B1 (ko) 웹기반 메타버스 플랫폼 시스템
US20240087266A1 (en) Deforming real-world object using image warping
US11893166B1 (en) User avatar movement control using an augmented reality eyewear device
US20240291779A1 (en) Customizable chatbot for interactive platforms
US20240127563A1 (en) Stylizing a whole-body of a person

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant