KR20220056025A - 게임 캐릭터를 커스터마이즈하는 방법 및 장치 - Google Patents

게임 캐릭터를 커스터마이즈하는 방법 및 장치 Download PDF

Info

Publication number
KR20220056025A
KR20220056025A KR1020200140702A KR20200140702A KR20220056025A KR 20220056025 A KR20220056025 A KR 20220056025A KR 1020200140702 A KR1020200140702 A KR 1020200140702A KR 20200140702 A KR20200140702 A KR 20200140702A KR 20220056025 A KR20220056025 A KR 20220056025A
Authority
KR
South Korea
Prior art keywords
texture
image
clothing
model
game
Prior art date
Application number
KR1020200140702A
Other languages
English (en)
Inventor
김동건
김충효
Original Assignee
주식회사 넥슨코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥슨코리아 filed Critical 주식회사 넥슨코리아
Priority to KR1020200140702A priority Critical patent/KR20220056025A/ko
Publication of KR20220056025A publication Critical patent/KR20220056025A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor

Abstract

본 개시는 인물을 포함하는 2D 이미지를 획득하는 단계; 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계; 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계; 및 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법 및 장치를 제안한다.

Description

게임 캐릭터를 커스터마이즈하는 방법 및 장치{METHOD AND APPARATUS FOR CUSTOMISING GAME CHARACTER}
본 개시는 게임 내에서 게임 캐릭터를 커스터마이즈하는 방법 및 장치에 관한 것이다. 보다 구체적으로는, 게임 내에서 2D 이미지에 기초하여 3D 게임 캐릭터를 커스터마이즈하는 방법 및 장치에 관한 것이다.
컴퓨팅 디바이스 및 네트워크 환경의 발달에 따라 다양한 유무선 통신 기기를 이용한 온라인 기반의 게임을 즐기는 사용자들이 크게 증가하고 있다. 온라인 게임들은 사용자가 직접 제어하는 캐릭터 및 캐릭터가 포함하는 아이템들을 제공함으로써 사용자의 게임에 대한 흥미를 유발한다.
일반적으로 게임 서비스 내에서는 사용자가 캐릭터의 외형을 커스터마이즈할 수 있는 시스템을 제공한다. 게임 서비스 제공자는 사용자가 캐릭터의 성별, 얼굴 생김새, 신체 유형, 머리카락의 색/스타일, 피부 톤, 및 의상 등을 선택하여 캐릭터를 커스터마이즈하게끔 할 수 있다.
그러나 이러한 수동적인 커스터마이징에는 시간이 많이 소비되며, 선택할 수 있는 옵션이 한정되어 있어, 사용자가 원하는 외형의 캐릭터를 생성하기 어렵다. 따라서, 사용자가 원하는 외형으로 캐릭터를 쉽게 커스터마이징하기 위한 기술이 요구된다.
본 개시에서는 사용자가 원하는 외형으로 캐릭터를 쉽게 커스터마이징하기 위한 방법을 제공하고자 한다.
본 개시의 다양한 실시예들에 따르면, 게임 캐릭터를 커스터마이즈하는 방법에 있어서, 인물을 포함하는 2D 이미지를 획득하는 단계; 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계; 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계; 및 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법이 제공된다.
일 실시예에 따르면, 상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지에서 배경과 인물을 분리하여 식별하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지를 분석하여 의상의 타입을 결정하는 단계; 및 상기 결정된 의상의 타입에 기초하여 상기 의상 텍스처를 추출하는 단계를 포함하고, 상기 프리셋 메쉬는 상기 결정된 의상의 타입에 기초하여 결정될 수 있다.
일 실시예에 따르면, 상기 프리셋 메쉬는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있을 수 있다.
일 실시예에 따르면, 상기 3D 의상 모델을 생성하는 단계는, 상기 추출된 의상 텍스처를 상기 프리셋 메쉬에 맞게 변형하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지를 분석하여 의상의 세부 형태를 추출하는 단계를 포함하고, 상기 3D 의상 모델을 생성하는 단계는, 상기 추출된 의상의 세부 형태에 기초하여 상기 프리셋 메쉬를 변형하는 단계; 및 상기 변형된 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지에서 인물의 포즈를 식별하는 단계를 더 포함하고, 상기 3D 의상 모델을 생성하는 단계는, 상기 식별된 포즈에 기초하여 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 3D 의상 모델을 생성하는 단계는, 상기 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성하는 단계; 및 상기 프리셋 메쉬에 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 포함하는 의상 텍스처를 매핑하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계는, 상기 게임 캐릭터의 체형에 관한 정보를 획득하는 단계; 상기 체형에 관한 정보에 기초하여, 상기 3D 의상 모델을 변형하는 단계; 및 상기 변형된 3D 의상 모델을 상기 게임 캐릭터의 3D 모델과 결합하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계는, 상기 3D 의상 모델에 대응되는, 상기 게임 캐릭터가 착용 가능한 의상 아이템을 생성하는 단계; 및 상기 게임 캐릭터가 상기 의상 아이템을 착용하고, 상기 게임 캐릭터의 외형이 상기 3D 의상 모델에 기초하여 변경되도록 제어하는 단계; 를 포함할 수 있다.
일 실시예에 따르면, 상기 의상 아이템은 게임 내에서 캐릭터들 간에 거래가 가능하도록 설정되는 것일 수 있다.
일 실시예에 따르면, 상기 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하는 단계 및 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하는 단계 중 적어도 하나는 학습된 인공지능 모델을 이용하여 수행되는 것일 수 있다.
본 개시의 다양한 실시예들에 따르면, 게임 캐릭터를 커스터마이즈하는 게임 제공 장치에 있어서, 상기 게임 제공 장치는, 프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및 상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 인물을 포함하는 2D 이미지를 획득하고, 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고, 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고, 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 2D 이미지에서 배경과 인물을 분리하여 식별하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 2D 이미지를 분석하여 의상의 타입을 결정하고, 상기 결정된 의상의 타입에 기초하여 상기 의상 텍스처를 추출하고, 상기 결정된 의상의 타입에 기초하여 상기 프리셋 메쉬를 결정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프리셋 메쉬는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있는 것일 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 추출된 의상 텍스처를 상기 프리셋 메쉬에 맞게 변형하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 2D 이미지를 분석하여 의상의 세부 형태를 추출하고, 상기 추출된 의상의 세부 형태에 기초하여 상기 프리셋 메쉬를 변형하고, 상기 변형된 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 2D 이미지에서 인물의 포즈를 식별하고, 상기 식별된 포즈에 기초하여 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성하고, 상기 프리셋 메쉬에 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 포함하는 의상 텍스처를 매핑하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 게임 캐릭터의 체형에 관한 정보를 획득하고, 상기 체형에 관한 정보에 기초하여 상기 3D 의상 모델을 변형하고, 상기 변형된 3D 의상 모델을 상기 게임 캐릭터의 3D 모델과 결합하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 3D 의상 모델에 대응되는, 상기 게임 캐릭터가 착용 가능한 의상 아이템을 생성하도록 설정될 수 있다. 상기 적어도 하나의 프로세서는 상기 게임 캐릭터가 상기 의상 아이템을 착용하고, 상기 게임 캐릭터의 외형이 상기 3D 의상 모델에 기초하여 변경되도록 제어할 수 있다.
일 실시예에 따르면, 상기 의상 아이템은 게임 내에서 캐릭터들 간에 거래가 가능하도록 설정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하는 동작 및 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하는 동작 중 적어도 하나는 학습된 인공지능 모델을 이용하여 수행하도록 설정될 수 있다.
본 개시의 다양한 실시예들에 따르면, 게임 캐릭터를 커스터마이즈하는 사용자 단말은, 프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및 상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 인물을 포함하는 2D 이미지를 획득하고, 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고, 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고, 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정될 수 있다.
본 개시의 다양한 실시예들에 따르면, 게임 캐릭터를 커스터마이즈하는 서버는, 통신부; 프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및 상기 통신부 및 상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 사용자 단말로부터 인물을 포함하는 2D 이미지를 획득하고, 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고, 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고, 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하기 위한 데이터를 사용자 단말에 전송하도록 설정될 수 있다.
본 개시의 다양한 실시예들에 따르면, 인물을 포함하는 2D 이미지를 획득하는 단계; 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계; 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계; 및 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법을 하드웨어와 결합되어 실행시키기 위하여 매체에 저장되는 컴퓨터 프로그램이 제공된다.
본 개시의 다양한 실시예들에 따르면, 인물을 포함하는 2D 이미지를 획득하는 단계; 상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계; 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계; 및 상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법을 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터 판독가능 기록매체가 제공된다.
본 개시의 다양한 실시예들은 사용자가 원하는 외형으로 캐릭터를 쉽게 커스터마이징할 수 있는 시스템을 제공한다.
본 개시의 다양한 실시예들은 2D 이미지에 포함된 의상을 반영하여 3D 캐릭터를 커스터마이징할 수 있는 시스템을 제공한다.
도 1은 본 개시의 다양한 실시예들에 따른, 서버 및 사용자 단말을 포함하는 게임 제공 시스템을 도시한다.
도 2는 본 개시의 다양한 실시예들에 따른, 게임 캐릭터를 커스터마이즈하는 방법의 흐름도이다.
도 3은 본 개시의 다양한 실시예들에 따른, 게임 캐릭터를 커스터마이즈하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 다양한 실시예들에 따른, 프리셋 메쉬를 변형하여 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 다양한 실시예들에 따른, 2D 이미지의 포즈를 식별하여 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 7는 본 개시의 다양한 실시예들에 따른, 3D 의상 모델을 게임 캐릭터에 적용하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 의상 아이템을 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 생성된 의상 아이템을 사용하는 방법을 설명하기 위한 도면이다.
도 10a는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 분리된 인물 이미지를 획득하는 예시를 나타내는 도면이다.
도 10b는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 의상 텍스처를 획득하는 예시를 나타내는 도면이다.
도 10c는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 3D 의상 모델을 획득하는 예시를 나타내는 도면이다.
도 11은 본 개시의 다양한 실시예들에 따른, 게임 제공 장치가 학습 모델을 학습할 때 이용하는, 복수 개의 계층 구조를 갖는 인공 신경망을 개략적으로 도시한 도면이다.
도 12은 본 개시의 다양한 실시예들에 따른 게임 제공 장치의 세부적인 구성을 설명하기 위한 도면이다.
도 13은 본 개시의 다양한 실시예들에 따른 서버의 세부적인 구성을 설명하기 위한 도면이다.
도 14는 본 개시의 다양한 실시예들에 따른 사용자 단말의 세부적인 구성을 설명하기 위한 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예에 따른 전자 장치를 구성하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하의 본 개시에서 아이템이란 물건, 상품과 같은 게임 내의 다양한 오브젝트를 모두 포함할 수 있으며, 무기, 방어구, 옷, 수정과 같은 게임 내 캐릭터가 장착하는 장비, 게임 내 캐릭터가 탑승하는 탑승물, 음식, 포션과 같은 소비물, 경험치, 버프 등 게임 내에서 사용자가 획득할 수 있는 모든 디지털, 사이버 목적물 등을 의미할 수 있으며, 상기 예시에 제한되지 않는다.
이하의 본 개시에서 아이템의 정보란 아이템의 등급, 아이템의 공격력 정보, 아이템의 방어력 정보, 아이템의 내구도 정보, 아이템의 속성 정보와 같은 아이템에 관한 능력 정보를 포함할 수 있다.
이하의 본 개시에서 캐릭터란, 게임 내에서 사용자가 제어할 수 있는 소정의 오브젝트를 의미할 수 있다.
이하의 본 개시에서 캐릭터 정보란 게임 캐릭터와 관련된 정보로써, 캐릭터의 레벨, 캐릭터의 등급, 캐릭터의 누적 사용 시간, 캐릭터의 보유 금액, 캐릭터의 명성, 캐릭터의 업적 달성율, 캐릭터의 퀘스트 달성률과 같은 캐릭터의 능력 정보 및 캐릭터의 이름, 캐릭터의 외형 등 캐릭터에 대한 모든 정보를 포함할 수 있으며, 상기 예시에 제한되지 않는다.
이하의 본 개시에서 사용자 계정이란, 적어도 하나의 캐릭터를 포함한 사용자의 계정을 의미할 수 있다. 게임 내에서는 사용자가 복수의 캐릭터를 생성할 수 있으며, 복수의 캐릭터가 하나의 사용자 계정에 종속된 형태로 존재할 수 있다. 물론 상기 예시에 제한되지 않으며, 하나의 사용자 계정을 통해 게임 서비스를 제공하는 형태 또한 존재할 수도 있다.
이하의 본 개시에서 사용자 계정 정보란 사용자의 이름, 전화번호, 이메일 주소, 게임 이용 기간, 나이 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
이하의 본 개시에서 게임 제공 장치는 게임 서버, 사용자 단말, 게임 서버 및 사용자 단말을 포함하는 게임 시스템 또는 독립적인 하나의 장치일 수 있다.
이하의 본 개시에서, 서버가 사용자 단말을 제어한다는 의미는 서버가 사용자 단말과의 통신을 통해 사용자 단말에서의 출력(화면 표시, 음향 출력, 진동 출력, 램프 발광 등 사용자 단말에서의 모든 출력 장치) 및 사용자 단말이 소정의 동작을 수행하기 위한 데이터를 제공하는 것을 의미할 수 있다. 물론 사용자 단말이 기저장된 데이터를 이용하여 사용자 단말에서의 출력을 제어할 수도 있으며, 상기 예시에 제한되지 않는다.
이하의 본 개시에서 사용자(또는 사용자 계정)와 정보 또는 데이터를 송수신한다는 의미는 사용자(또는 사용자 계정)와 대응 또는 연동된 디바이스(또는 사용자 단말)과 정보 또는 데이터를 송수신한다는 의미를 포함할 수 있다.
이하의 본 개시에서 사용자 단말과 대응되는 사용자 계정이란 사용자 단말을 통해 서비스에 로그인 또는 접속한 사용자 계정 및 사용자 단말이 정보를 저장하고 있는 사용자 계정을 포함할 수 있다. 또한 사용자 계정의 사용자 단말이란 사용자 계정이 로그인 되거나, 사용자 계정 정보가 저장되거나, 사용자 계정이 접속한 사용자 단말을 의미할 수 있다.
이하의 본 개시에서, 유저, 플레이어, 사용자, 사용자 계정, 게이머는 동일한 의미로 사용될 수 있다. 본 개시에서 사용자 단말은 문맥에 따라 유저, 플레이어, 사용자, 사용자 계정, 게이머를 가리키거나, 그들에 의해 사용되는 장치를 가리킬 수 있음이 이해되어야 한다. 본 개시에서 유저, 플레이어, 사용자, 사용자 계정, 게이머는 문맥에 따라 그들이 조작하는 아바타나 캐릭터를 가리키거나 그들에 의해 사용되는 장치를 가리킬 수 있음이 이해되어야 한다.
도 1은 본 개시의 다양한 실시예들에 따른 서버 및 사용자 단말을 포함하는 게임 제공 시스템을 도시한다.
본 개시의 게임 제공 시스템(100)은 서버(170)와 적어도 하나의 사용자 단말(110 내지 160)을 포함할 수 있다. 서버(170)는 네트워크 망을 통해 다양한 온라인 활동을 제공할 수 있다. 서버(170)는 적어도 하나의 사용자 단말(110 내지 160)에게 동시에 온라인 활동을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 서버(170)라 함은, 단일 서버, 서버의 집합체, 클라우드 서버 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다. 서버(170)는 다양한 온라인 활동을 제공하며, 온라인 활동을 위한 데이터를 저장하는 데이터베이스를 포함할 수 있다. 또한 서버(170)는 결제 이벤트를 생성 및 처리하는 결제 서버를 포함할 수도 있다. 앞서 설명한 바와 같이 서버(170)는 게임 제공 장치일 수 있다.
본 개시의 일 실시예에 따르면 네트워크란 모든 통신 방식을 이용하여 설립(또는 형성)된 연결을 의미하며, 단말과 단말간의 또는 단말과 서버간의 데이터를 송수신하는, 모든 통신 방식을 통해 연결된 통신망을 의미할 수 있다.
모든 통신 방식이라 함은 소정의 통신 규격, 소정의 주파수 대역, 소정의 프로토콜 또는 소정의 채널을 통한 통신 등 모든 통신 방식을 포함할 수 있다. 예를 들면, 블루투스, BLE, Wi-Fi, Zigbee, 3G, LTE, 초음파를 통한 통신 방식 등을 포함할 수 있으며, 근거리 통신, 원거리 통신, 무선 통신 및 유선 통신을 모두 포함할 수 있다. 물론 상기 예시에 제한되지 않는다.
본 개시의 일 실시예에 따르면 근거리 통신 방식이라 함은, 통신을 수행하는 디바이스(단말 또는 서버)가 소정의 범위 내에 있을 때에만 통신이 가능한 통신 방식을 의미할 수 있으며, 예를 들어, 블루투스, NFC 등을 포함할 수 있다. 원거리 통신 방식이라 함은, 통신을 수행하는 디바이스가 거리와 관계 없이 통신이 가능한 통신 방식을 의미할 수 있다. 예를 들면, 원거리 통신 방식은 AP와 같은 중계기를 통해 통신을 수행하는 두 디바이스가 소정의 거리 이상일 때에도 통신할 수 있는 방식을 의미할 수 있으며, SMS, 전화와 같은 셀룰러 네트워크(3G, LTE)를 이용한 통신 방식을 포함할 수 있다. 물론 상기 예시에 제한되지 않는다. 네트워크 망을 이용하여 온라인 활동을 제공받는다는 의미는 모든 통신 방식을 통해 서버와 단말 간의 통신이 수행될 수 있다는 의미를 포함할 수 있다.
명세서 전체에서 적어도 하나의 사용자 단말(110 내지 160)이라 함은 퍼스널 컴퓨터(Personal Computer)(110), 태블릿(Tablet)(120), 휴대폰(Cellular Phone)(130), 노트북(140), 스마트 폰(150), TV(160) 뿐만 아니라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, 냉장고, 세탁기, 청소기 등의 다양한 전자 디바이스를 포함할 수 있고, 상기 예시에 제한되지 않는다. 앞서 설명한 바와 같이 적어도 하나의 사용자 단말(110 내지 160)은 게임 제공 장치일 수 있다.
본 개시의 일 실시예에 따르면, 온라인 활동은 온라인 게임, 포털 서비스, SNS(Social Network Service)를 포함할 수 있으며, 상기 예시에 제한되지 않는다. 또한 온라인 게임은 스포츠, MMORPG, AOS, FPS, TCG, CCG 등 다양한 장르를 포함할 수 있다. 또한 온라인 게임은 사용자와 사용자간의 대결 방식의 게임일 수도 있고, 사용자와 컴퓨터(예를 들면, 인공지능)과의 대결 방식일 수도 있다. 또한 대결 방식이 아닌 건설 또는 꾸밈 방식의 게임일 수도 있다. 물론 상기 예시에 제한되지 않으며 온라인 게임의 형태에는 제한이 없다.
본 개시의 다양한 실시예들에 따르면, 게임 제공 시스템(100)은 인물을 포함하는 2D 이미지를 획득할 수 있다. 게임 제공 시스템(100)은 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출할 수 있다. 게임 제공 시스템(100)은 프리셋 메쉬를 저장하고 있을 수 있다. 게임 제공 시스템(100)은 추출된 의상 텍스처를 프리셋 메쉬에 매핑하여 3D 의상 모델을 생성할 수 있다. 게임 제공 시스템(100)은 생성된 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용할 수 있다. 이는 이하에서 보다 자세히 설명한다.
일 실시예에서, 사용자 단말(110 내지 160)은 사용자 입력에 기초하여, 인물을 포함하는 2D 이미지를 획득할 수 있다. 사용자 단말(110 내지 160)은 획득된 2D 이미지를 서버(170)에 전송할 수 있다. 서버(170)는 수신된 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출할 수 있다. 서버(170)는 프리셋 메쉬를 저장하고 있을 수 있다. 서버(170)는 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성할 수 있다. 서버(170)는 생성된 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하기 위한 데이터를 사용자 단말(110 내지 160)에 전송할 수 있다. 사용자 단말(110 내지 160)은 3D 의상 모델을 게임 캐릭터에 적용할 수 있다.
다른 실시예에서, 서버(170)의 동작 중 일부 또는 전부는 사용자 단말(110 내지 160)에서 수행될 수도 있다. 예를 들어, 서버(170)와의 통신 없이 사용자 단말(110 내지 160)이 기 저장된 정보를 이용하여 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하거나, 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성할 수도 있다.
도 2는 본 개시의 다양한 실시예들에 따른, 게임 캐릭터를 커스터마이즈하는 방법의 흐름도이다. 이러한 동작은 도 1에 도시된 사용자 단말(110 내지 160) 및 서버(170), 도 12에 도시된 게임 제공 장치(1200) 또는 게임 제공 장치(1200)의 프로세서(1210), 도 13에 도시된 서버(1300) 또는 서버(1300)의 프로세서(1310), 또는 도 14에 도시된 사용자 단말(1400) 또는 사용자 단말(1400)의 프로세서(1410)에 의해 수행될 수 있다.
도 2를 참조하면, 단계 S210에서 게임 제공 장치는 인물을 포함하는 2D 이미지를 획득할 수 있다. 2D 이미지는 인물의 실사 사진 또는 인물로 식별할 수 있는 오브젝트를 포함하는 드로잉을 포함할 수 있다. 일 실시예에서, 게임 제공 장치는 사용자 입력에 기초하여 2D 이미지를 획득할 수 있다. 일 실시예에서, 2D 이미지는 게임 제공 장치에 저장된 것일 수 있다.
일 실시예에서, 게임 제공 장치는 획득된 2D 이미지가 캐릭터를 커스터마이즈하기 위해 적합한지 여부를 판단할 수 있다. 예를 들어, 게임 제공 장치는 획득된 2D 이미지에서 인물이 인식되지 않는 경우 부적합한 2D 이미지로 판단할 수 있다. 예를 들어, 게임 제공 장치는 획득된 2D 이미지에 인물의 전신이 포함되지 않는 경우 부적합한 2D 이미지로 판단할 수 있다. 일 실시예에서, 획득된 2D 이미지가 부적합하다고 판단되는 경우, 게임 제공 장치는 사용자에게 획득된 2D 이미지가 부적합함을 알리고 다른 2D 이미지를 입력할 것을 요청할 수 있다. 일 실시예에서, 획득된 2D 이미지가 적합하다고 판단되는 경우, 게임 제공 장치는 단계 S230을 수행할 수 있다.
단계 S230에서 게임 제공 장치는 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출할 수 있다. 게임 제공 장치는 2D 이미지에서 인물이 착용한 의상에 해당하는 부분을 식별하고, 해당 부분의 이미지를 추출하고 처리하여 3D 의상 모델을 생성하기 위한 의상 텍스처를 생성할 수 있다. 의상 텍스처는 색상, 명암, 무늬, 질감을 포함한 의상의 표면에 관한 정보를 포함할 수 있으며, 후술할 프리셋 메쉬의 표면에 매핑될 수 있도록 설정될 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지로부터 인물과 배경을 분리하여 식별하고, 배경으로부터 분리된 인물 이미지를 추출할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지로부터 의상 텍스처를 프리셋 메쉬에 적절하게 매핑하기 위한 추가적인 정보를 더 추출할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지를 분석하여 의상의 세부 형태, 의상의 타입, 인물의 포즈 중 적어도 하나를 포함하는 의상 정보를 추출할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지로부터 의상 텍스처를 추출할 수 있다.
단계 S250에서 게임 제공 장치는 프리셋 메쉬(mesh)에 추출된 의상 텍스처를 매핑하여, 2D 이미지의 의상에 대응되는 3D 의상 모델을 생성할 수 있다. 프리셋 메쉬는 3D 의상 모델을 생성하기 위한 기본 형태의 의상 메쉬일 수 있다. 프리셋 메쉬는 게임 서비스 제공자에 의해 미리 제작되어 게임 제공 장치에 저장되어 있는 것일 수 있다. 일 실시예에서, 프리셋 메쉬는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있을 수 있다. 일 실시예에서, 캐릭터의 성별, 체형별, 또는 의상 타입별 프리셋 메쉬들이 저장되어 있을 수 있다.
일 실시예에서, 게임 제공 장치는 추출된 의상 텍스처를 프리셋 메쉬에 맞게 변형할 수 있다. 일 실시예에서, 게임 제공 장치는 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지에서 추출한 의상의 세부 형태, 의상의 타입, 인물의 포즈 중 적어도 하나를 포함하는 의상 정보에 기초하여, 의상 텍스처를 프리셋 메쉬에 매핑할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 프리셋 메쉬에 추출된 의상 텍스처를 매핑할 수 있다.
단계 S270에서 게임 제공 장치는 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용할 수 있다. 게임 제공 장치는 게임 캐릭터의 3D 모델에서 의상에 해당하는 부분을 3D 의상 모델로 교체하여, 게임 캐릭터의 외형을 변경할 수 있다.
도 3은 본 개시의 다양한 실시예들에 따른, 게임 캐릭터를 커스터마이즈하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 게임 제공 장치는 인물을 포함하는 2D 이미지(310)를 획득할 수 있다. 2D 이미지(310)는 인물의 실사 사진 또는 인물로 식별할 수 있는 오브젝트를 포함하는 드로잉을 포함할 수 있다. 일 실시예에서, 게임 제공 장치는 사용자 입력에 기초하여 2D 이미지(310)를 획득할 수 있다. 일 실시예에서, 2D 이미지(310)는 게임 제공 장치에 저장된 것일 수 있다.
단계 320에서, 게임 제공 장치는 획득된 2D 이미지(310)로부터 인물이 착용한 의상 텍스처(330)를 추출할 수 있다. 게임 제공 장치는 2D 이미지(310)에서 인물이 착용한 의상에 해당하는 부분을 식별하고, 해당 부분의 이미지를 추출하고 처리하여 3D 의상 모델을 생성하기 위한 의상 텍스처(330)를 생성할 수 있다. 의상 텍스처(330)는 색상, 명암, 무늬, 질감을 포함한 의상의 표면적인 외형 정보를 포함할 수 있으며, 후술할 프리셋 메쉬(340)의 표면에 매핑될 수 있도록 설정될 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지(310)에서 인물의 신체와 의상, 또는 배경과 의상을 구분하는 경계선을 검출할 수 있다. 경계선은 네크라인, 소매 자락, 바지 자락, 치마 자락 등을 포함할 수 있다. 게임 제공 장치는 검출된 경계선에 기초하여, 2D 이미지(310)에서 의상 텍스처(330)를 추출할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지(310)에서 의상 텍스처(330)를 프리셋 메쉬(340)에 적절하게 매핑하기 위한 추가적인 정보를 더 추출할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(310)를 분석하여 의상의 세부 형태, 의상의 타입, 인물의 포즈 중 적어도 하나를 추출할 수 있다.
게임 제공 장치는 3D 의상 모델을 생성하기 위한 프리셋 메쉬(340)를 획득할 수 있다. 프리셋 메쉬(340)는 3D 의상 모델을 생성하기 위한 기본 형태의 의상 메쉬일 수 있다. 프리셋 메쉬(340)는 게임 서비스 제공자에 의해 미리 제작되어 게임 제공 장치에 저장되어 있는 것일 수 있다.
일 실시예에서, 프리셋 메쉬(340)는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있을 수 있다. 다시 말하면, 프리셋 메쉬(340)는 게임 캐릭터와 동일한 골격 및 관절 구조를 가지고, 게임 캐릭터를 움직이는 제어 명령에 의해 게임 캐릭터와 동일하게 움직이도록 설정될 수 있다.
일 실시예에서, 캐릭터의 종족별, 성별, 또는 의상 타입별로 복수의 프리셋 메쉬들이 저장되어 있을 수 있고, 게임 제공 장치는 저장된 프리셋 메쉬들 중 3D 의상 모델을 생성하기 위해 사용할 프리셋 메쉬(340)를 선택할 수 있다.
단계 350에서, 게임 제공 장치는 프리셋 메쉬(340)및 단계 320에서 추출된 의상 텍스처(320)를 입력받아, 2D 이미지(310)의 의상에 대응되는 3D 의상 모델(360)을 생성할 수 있다. 게임 제공 장치는 프리셋 메쉬(340)에 추출된 의상 텍스처(320)를 매핑하여 3D 의상 모델(360)을 생성할 수 있다.
일 실시예에서, 게임 제공 장치는 추출된 의상 텍스처(320)를 프리셋 메쉬에 맞게 변형할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(310)에서 보이지 않는 부분의 텍스처를 추정하여 생성할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지(310)에서 보이지 않는 부분의 텍스처를 생성하기 위하여 추출된 의상 텍스처(320)를 보간 또는 외삽할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(310)에서 추출된 의상 텍스처(320)에 기초하여 보이지 않는 부분의 텍스처를 합성할 수 있다. 일 실시예에서, 게임 제공 장치는 예제 기반 합성 기법을 사용하여 2D 이미지(310)에서 보이지 않는 부분의 텍스처를 합성할 수 있다.
예를 들어, 2D 이미지(310)가 인물의 앞모습을 포함하고 있는 경우, 게임 제공 장치는 2D 이미지(310)로부터 의상의 앞면에 해당하는 텍스처(320)를 추출하고, 추출된 텍스처를 복사하여 의상의 뒷면에 해당하는 텍스처를 생성할 수 있다. 다른 예를 들어, 2D 이미지(310)에서 인물의 일부가 장애물에 가려 보이지 않는 경우, 게임 제공 장치는 추출된 의상 텍스처(320)를 보간하여 보이지 않은 부분의 텍스처를 생성하거나, 또는 추출된 의상 텍스처(320)에 기초하여 보이지 않는 부분의 텍스처를 합성할 수 있다.
게임 제공 장치는 변형 또는 추정된 의상 텍스처를 프리셋 메쉬(340)에 매핑할 수 있다. 일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 의상 텍스처(330)를 변형하거나 또는 보이지 않은 부분의 텍스처를 추정할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지에서 추출한 의상의 세부 형태, 의상의 타입, 인물의 포즈 중 적어도 하나를 포함하는 의상 정보에 기초하여, 의상 텍스처(330)를 프리셋 메쉬(340)에 매핑할 수 있다.
단계 380에서, 게임 제공 장치는 단계 350에서 생성된 3D 의상 모델(360) 및 미리 생성된 게임 캐릭터(370)를 입력받아, 2D 이미지(310) 에 따라 커스터마이즈된 게임 캐릭터(390)를 생성할 수 있다. 예를 들어, 게임 제공 장치는 게임 캐릭터(370)의 3D 모델에서 의상에 해당하는 부분을 생성된 3D 의상 모델(360)로 교체하여, 게임 캐릭터(370)의 외형을 변경할 수 있다.
도 4는 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 게임 제공 장치는 인물을 포함하는 2D 이미지(410)를 획득할 수 있다. 2D 이미지(410)는 인물의 실사 사진 또는 인물로 식별할 수 있는 오브젝트를 포함하는 드로잉을 포함할 수 있다. 일 실시예에서, 게임 제공 장치는 사용자 입력에 기초하여 2D 이미지(410)를 획득할 수 있다. 일 실시예에서, 2D 이미지(410)는 게임 제공 장치에 저장된 것일 수 있다.
일 실시예에서, 2D 이미지(410)는 인물 외의 배경 오브젝트들을 더 포함하고 있을 수 있다. 단계 420에서, 게임 제공 장치는 2D 이미지(410)로부터 인물과 배경을 분리하여 식별하고, 배경으로부터 분리된 인물 이미지(430)를 추출할 수 있다. 일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지(410)로부터 인물과 배경을 분리하여 식별할 수 있다.
단계 440에서, 게임 제공 장치는 2D 이미지(410) 또는 2D 이미지에서 분리된 인물 이미지(430)를 분석하여 의상의 타입을 결정할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(410)에 포함된 복수의 의상들의 타입들을 결정할 수 있다.
예를 들어, 게임 제공 장치는 2D 이미지(410)의 인물이 착용한 의상에서 상의와 하의를 구분할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(410)의 인물이 착용한 하의가 치마인지 바지인지 구분할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(410)의 인물이 착용한 모자, 헬멧, 안경, 스카프, 허리띠, 장갑, 신발, 반지, 목걸이, 귀걸이, 머리띠 등의 액세서리를 식별할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(410)의 인물이 착용한 의상의 특징에 따라 의상의 타입을 구분할 수 있다. 의상의 특징은 네크라인의 모양, 소매, 바짓단 또는 치맛단의 모양 및 길이, 주름, 요철, 장식 등을 포함할 수 있다. 물론 상기 예시에 한정되지 않는다.
일 실시예에서, 의상의 타입은 게임 제공 장치에 저장된 프리셋 메쉬에 대응하여 결정될 수 있다. 게임 제공 장치는 캐릭터의 성별, 체형별, 또는 의상 타입별로 제작된 하나 이상의 프리셋 메쉬를 포함하는 프리셋 메쉬 라이브러리(460)를 포함할 수 있다. 게임 제공 장치는 프리셋 메쉬 라이브러리(460)에 저장된 하나 이상의 프리셋 메쉬와 2D 이미지(410)로부터 식별된 의상을 비교하여, 식별된 의상과 가장 유사한 프리셋 메쉬에 대응되는 의상 타입을 선택할 수 있다. 예를 들어, 프리셋 메쉬 라이브러리(460)가 민소매 상의, 반소매 상의, 긴소매 상의, 짧은 바지, 긴 바지, 짧은 치마, 긴 치마의 기본 형태를 가지는 7종의 프리셋 메쉬들을 포함하고 있다고 할 때, 게임 제공 장치는 2D 이미지(410)를 분석하여, 인물이 착용한 의상의 형태가 7종의 프리셋 메쉬들 중 긴소매 상의와 긴 바지의 형태와 가장 유사하다고 판단하고, 의상의 타입을 '긴소매 상의'와 '긴 바지'으로 결정할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지(410)를 분석하여 의상의 타입을 결정할 수 있다.
단계 450에서, 게임 제공 장치는 단계 440에서 결정된 의상의 타입에 기초하여 의상 텍스처를 추출할 수 있다. 게임 제공 장치는 2D 이미지(410)에서 의상의 타입에 대응되는 영역을 식별하고, 해당 영역의 이미지를 추출하고 처리하여 의상 텍스처를 생성할 수 있다. 예를 들어, 의상의 타입이 반소매 상의로 결정될 경우, 게임 제공 장치는 2D 이미지(410)에서 인물의 몸통 및 상완에 해당하는 영역의 이미지만을 추출하여 반소매 상의의 의상 텍스처를 생성할 수 있다. 의상의 타입에 대응되는 영역을 식별하기 위하여, 게임 제공 장치는 2D 이미지(410)를 분석하여 의상의 세부 형태를 추출하거나 또는 인물의 포즈를 식별할 수 있다. 이에 대하여는 도 5 및 도 6에서 상세히 설명한다.
일 실시예에서 2D 이미지(410)에 포함된 복수 개의 의상 타입들이 결정된 경우, 게임 제공 장치는 각 의상 타입에 대응되는 의상 텍스처를 각각 구분하여 추출할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(410)에서 상의의 의상 텍스처와 하의의 의상 텍스처를 각각 구분하여 추출할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지(410)로부터 의상의 타입에 기초하여 의상 텍스처를 추출할 수 있다.
단계 470에서, 게임 제공 장치는 프리셋 메쉬 라이브러리(460)에 저장된 하나 이상의 프리셋 메쉬 중 단계 440에서 결정된 의상의 타입에 대응되는 프리셋 메쉬를 3D 의상 모델 생성에 사용할 프리셋 메쉬로 결정할 수 있다. 단계 480에서, 게임 제공 장치는 단계 470에서 결정된 프리셋 메쉬와 단계 450에서 추출된 의상 텍스처를 입력받아, 3D 의상 모델(490)을 생성할 수 있다. 일 실시예에서, 게임 제공 장치는 추출된 의상 텍스처를 단계 470에서 결정된 프리셋 메쉬에 맞게 변형하거나 또는 보이지 않는 부분의 텍스처를 추정할 수 있다.
일 실시예에서, 복수의 의상 타입들이 결정된 경우, 대응되는 복수의 3D 의상 모델들이 생성될 수 있다. 예를 들어 2D 이미지(410)의 분석 결과 인물이 착용한 의상 타입이 '긴소매 상의' 및 '긴 바지'로 판단된 경우, 게임 제공 장치는 2D 이미지로부터 추출된 긴소매 상의의 텍스처를 긴소매 상의의 프리셋 메쉬에 매핑하고, 2D 이미지로부터 추출된 긴 바지의 텍스처를 긴 바지의 프리셋 메쉬에 매핑하여, 3D 의상 모델(490)들을 생성할 수 있다.
도 5는 본 개시의 다양한 실시예들에 따른, 프리셋 메쉬를 변형하여 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 프리셋 메쉬(540)는 미리 정해진 기본 형태를 가지므로, 2D 이미지(510)에 포함된 의상과 가장 유사한 프리셋 메쉬를 선택하더라도 2D 이미지(510)의 의상의 형태와는 상이한 부분이 있을 수 있다. 따라서 2D 이미지(510)에 포함된 의상을 반영하는 3D 의상 모델(580)을 생성하기 위하여, 2D 이미지(510)의 의상의 형태에 맞추어 프리셋 메쉬(540)가 변형될 수 있다.
단계 520에서, 게임 제공 장치는 2D 이미지(510)를 분석하여 의상의 세부 형태를 추출할 수 있다. 의상의 세부 형태는 네크라인의 모양, 소매, 바짓단 또는 치맛단의 모양 및 길이, 주름, 요철, 장식, 그 밖의 의상의 외형적 특징을 포함할 수 있다.
일 실시예에서, 게임 제공 장치는 2D 이미지(510)에서 의상에 해당하는 부분의 실루엣을 추출할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(510)에서 의상의 특징점(feature point)에 해당하는 부분을 식별할 수 있다. 의상의 특징점은 프리셋 메쉬(540)의 미리 설정된 특징점에 대응되는 것일 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(510)에서 네크라인에 해당하는 부분, 소매 끝에 해당되는 부분, 옷자락에 해당되는 부분 등을 검출하고, 검출된 부분의 형태적 특징을 저장할 수 있다. 물론 상기 예시에 제한되지 않는다.
일 실시예에서, 게임 제공 장치는 의상의 세부 형태를 소정의 옵션들 중에서 선택할 수 있다. 소정의 옵션들은 프리셋 메쉬(540)의 미리 설정된 변형 옵션에 대응되는 것일 수 있다. 예를 들어, 게임 저장 장치는 2D 이미지(510)에 포함된 의상의 네크라인이 V넥, U넥, 스퀘어넥, 보트넥, 터틀넥 등을 포함하는 소정의 네크라인 옵션들 중에서 어느 것에 해당하는지 선택할 수 있다. 예를 들어, 게임 저장 장치는 2D 이미지(510)에 포함된 의상의 바짓단이 스키니, 스트레이트, 와이드, 부츠컷, 배기, 카고 등을 포함하는 소정의 바짓단 옵션들 중에서 어느 것에 해당하는지 선택할 수 있다. 물론 상기 예시에 제한되지 않는다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지(510)를 분석하여 의상의 세부 형태를 추출할 수 있다.
단계 530에서, 게임 제공 장치는 의상의 세부 형태에 기초하여 2D 이미지(510)로부터 인물이 착용한 의상 텍스처를 추출할 수 있다. 게임 제공 장치는 의상의 세부 형태에 기초하여 2D 이미지(510)에서 의상에 대응되는 영역을 식별하고, 해당 영역의 이미지를 추출 및 처리하여 의상 텍스처를 생성할 수 있다. 일 실시예에서, 추출된 의상 텍스처는 의상의 세부 형태에 관한 정보와 결합되어 있을 수 있다.
게임 제공 장치는 3D 의상 모델을 생성하기 위한 프리셋 메쉬(540)를 획득할 수 있다. 일 실시예에서, 프리셋 메쉬(540)는 프리셋 메쉬 라이브러리에 저장된 프리셋 메쉬들 중 의상의 타입에 대응되는 것으로 결정된 것일 수 있다. 다시 말해, 게임 제공 장치는 저장된 프리셋 메쉬들 중 2D 이미지(510)로부터 추출된 의상의 세부 형태와 가장 유사한 프리셋 메쉬(540)를 선택할 수 있다.
단계 550에서, 게임 제공 장치는 추출된 의상의 세부 형태에 기초하여 프리셋 메쉬(540)를 변형하여, 변형된 프리셋 메쉬(560)를 생성할 수 있다. 예를 들어, 게임 제공 장치는 프리셋 메쉬(540)의 일부 또는 전체의 길이 또는 너비를 증가 또는 감소시키거나, 네크라인, 소매, 바짓단 또는 치맛단의 모양을 변형시키거나, 주름, 장식, 또는 요철 등을 부가할 수 있다.
일 실시예에서, 게임 제공 장치는 단계 520에서 추출된 의상에 해당하는 부분의 실루엣에 기초하여 프리셋 메쉬(540)의 일부를 변형할 수 있다. 일 실시예에서, 게임 제공 장치는 프리셋 메쉬(540)의 미리 설정된 특징점을 2D 이미지(510)에서 식별된 의상의 특징점에 매칭되도록 프리셋 메쉬(540)의 일부를 변형할 수 있다.
일 실시예에서, 게임 제공 장치는 소정의 옵션들 중에서 선택된 의상의 세부 형태에 기초하여, 선택된 옵션에 대응되는 형태로 프리셋 메쉬(540)를 변형할 수 있다. 소정의 옵션에 대응되는 프리셋 메쉬(540)의 변형 형태는 미리 설정된 것일 수 있다. 예를 들어, 2D 이미지(510)에 포함된 의상의 네크라인이 V넥으로 결정된 경우, 게임 제공 장치는 상의 프리셋 메쉬(540)의 네크라인을 미리 설정된 V넥 형태로 변형할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 추출된 의상의 세부 형태에 기초하여 프리셋 메쉬(540)를 변형할 수 있다.
단계 570에서, 게임 제공 장치는 변형된 프리셋 메쉬(560)및 단계 530에서 추출된 의상 텍스처를 입력받아, 2D 이미지(510)의 의상에 대응되는 3D 의상 모델(580)을 생성할 수 있다. 게임 제공 장치는 변형된 프리셋 메쉬(560)에 추출된 의상 텍스처를 매핑하여 3D 의상 모델(580)을 생성할 수 있다. 일 실시예에서, 게임 제공 장치는 추출된 의상 텍스처를 변형된 프리셋 메쉬(560)에 맞게 변형하거나 또는 보이지 않는 부분의 텍스처를 추정할 수 있다.
도 6은 본 개시의 다양한 실시예들에 따른, 2D 이미지의 포즈를 식별하여 3D 의상 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 6를 참조하면, 2D 이미지(610)에 포함된 인물은 프리셋 메쉬(640)의 기본 포즈와 다른 포즈를 취하고 있을 수 있다. 따라서 2D 이미지(610)로부터 추출된 의상 텍스처를 프리셋 메쉬(640)의 올바른 위치에 반영하기 위하여, 2D 이미지와 프리셋 메쉬 간의 매핑 관계가 필요할 수 있다.
단계 620에서, 게임 제공 장치는 2D 이미지(610)를 분석하여 인물의 포즈를 추출할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(610)에서 인물의 특징점을 식별하여 포즈를 추출할 수 있다. 예를 들어, 게임 제공 장치는 2D 이미지(610)에서 목, 어깨, 팔꿈치, 손목, 허리, 무릎, 발목 등의 관절부에 해당하는 부분을 검출하고, 관절 사이를 잇는 골격을 생성하여 인물의 포즈를 추출할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(610)에서 깊이 정보를 추정할 수 있다. 일 실시예에서, 게임 제공 장치는 2D 이미지(610)에서 추출된 2D 포즈에 대응되는, 깊이 정보를 포함하는 3D 포즈를 추정할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 2D 이미지(610)를 분석하여 인물의 포즈를 추출할 수 있다.
단계 630에서, 게임 제공 장치는 인물의 포즈에 기초하여 2D 이미지(610)로부터 인물이 착용한 의상 텍스처를 추출할 수 있다. 게임 제공 장치는 인물의 포즈에 기초하여 2D 이미지(610)에서 의상에 대응되는 영역을 식별하고, 해당 영역의 이미지를 추출 및 처리하여 의상 텍스처를 생성할 수 있다. 일 실시예에서, 추출된 의상 텍스처는 인물의 포즈에 관한 정보와 결합되어 있을 수 있다.
게임 제공 장치는 3D 의상 모델을 생성하기 위한 프리셋 메쉬(640)를 획득할 수 있다. 단계 650에서, 게임 제공 장치는 단계 630에서 추출된 인물의 포즈에 기초하여 2D 이미지(610)의 의상에 대응되는 3D 의상 모델(660)을 생성할 수 있다. 게임 제공 장치는 추출된 인물의 포즈에 기초하여 프리셋 메쉬(640)에 추출된 의상 텍스처를 매핑할 수 있다.
일 실시예에서, 게임 제공 장치는 추출된 인물의 포즈에 기초하여, 프리셋 메쉬(640)와 추출된 의상 텍스처 간의 매핑 관계를 나타내는 텍스처 맵을 생성할 수 있다. 게임 제공 장치는 상기 텍스처 맵에 기초하여 프리셋 메쉬(640)에 의상 텍스처를 매핑할 수 있다. 일 실시예에서, 게임 제공 장치는 의상 텍스처를 변형된 프리셋 메쉬(640)에 맞게 변형하거나 또는 보이지 않는 부분의 텍스터를 추정할 수 있다.
일 실시예에서, 게임 제공 장치는 미리 학습된 인공지능 모델을 이용하여 인물의 포즈에 기초하여 프리셋 메쉬(640)에 의상 텍스처를 매핑할 수 있다.
도 7는 본 개시의 다양한 실시예들에 따른, 3D 의상 모델을 게임 캐릭터에 적용하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 게임 제공 장치는 본 개시의 다양한 실시예들에 따라 생성된 3D 의상 모델(710)을 획득할 수 있다. 3D 의상 모델(710)은 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있을 수 있다.
3D 의상 모델(710)의 기본 형태는 프리셋 메쉬 및 2D 이미지에 포함된 의상의 형태에 따라 결정될 수 있다. 따라서, 기본 형태와 다른 체형을 가진 캐릭터에 3D 의상 모델(710)을 적용하기 위하여 3D 의상 모델(710)이 변형될 수 있다.
게임 제공 장치는 게임 캐릭터의 체형 정보(720)를 획득할 수 있다. 캐릭터의 체형 정보(720)는 게임 캐릭터의 종족, 성별, 키, 체중, 어깨 너비, 팔 길이, 가슴 둘레, 허리 둘레, 다리 길이 등의 파라미터를 포함할 수 있다. 캐릭터의 체형 정보(720)는 게임 캐릭터의 생성시 사용자에 의해 설정된 캐릭터 정보일 수 있다. 물론 상기 예시에 한정되지 않으며, 캐릭터의 체형 정보(720)는 캐릭터의 신체 형태와 관련된 임의의 정보를 포함할 수 있다. 캐릭터의 체형 정보(720)는 게임 제공 장치에 저장되어 있을 수 있다.
단계 730에서, 게임 제공 장치는 획득된 체형 정보(720)에 기초하여 3D 의상 모델(710)을 변형할 수 있다. 일 실시예에서, 게임 제공 장치는 획득된 체형 정보(720)에 기초하여 3D 의상 모델(710)의 적어도 일부의 비율을 변경하거나, 일부를 삭제하거나, 소정의 특징을 부가할 수 있다.
예를 들어, 게임 제공 장치는 캐릭터의 종족 또는 성별에 맞추어 3D 의상 모델(710)의 비율을 조절하거나, 일부를 삭제하거나, 소정의 특징을 부가할 수 있다. 예를 들어, 게임 제공 장치는 캐릭터의 키 또는 체중에 맞추어 3D 의상 모델(710)의 길이 또는 너비를 늘리거나 줄일 수 있다. 예를 들어, 게임 제공 장치는 캐릭터의 어깨 너비, 팔 길이, 가슴 둘레, 허리 둘레, 다리 길이와 같은 신체 부위별 파라미터에 맞추어, 3D 의상 모델(710)의 해당 부위의 크기를 조절할 수 있다.
게임 제공 장치는 게임 캐릭터에 3D 의상 모델(710)을 적용하기 위해, 게임 캐릭터의 3D 모델(740)을 획득할 수 있다. 단계 750에서, 게임 제공 장치는 게임 캐릭터의 3D 모델(740)과 단계 730에서 변형된 3D 의상 모델을 결합하여, 커스터마이즈된 게임 캐릭터(760)를 생성할 수 있다.
일 실시예에서, 게임 제공 장치는 게임 캐릭터의 3D 모델(740)에서 의상에 해당하는 부분을 변형된 3D 의상 모델로 교체하여, 게임 캐릭터의 외형을 변경할 수 있다. 예를 들어, 3D 의상 모델(710)이 상의의 3D 모델일 경우, 게임 캐릭터의 3D 모델(740)의 몸통 및 팔 부분이 변형된 3D 의상 모델로 교체될 수 있다. 예를 들어, 3D 의상 모델(710)이 하의의 3D 모델일 경우, 게임 캐릭터의 3D 모델(740)의 다리 부분이 변형된 3D 의상 모델로 교체될 수 있다.
도 8은 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 의상 아이템을 생성하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시예에서, 2D 이미지로부터 의상 아이템을 생성하고자 하는 사용자는 사용자 단말(110)을 통해 2D 이미지(810)를 입력할 수 있다. 사용자 단말(110)은 입력받은 2D 이미지(810)를 서버(170)로 전송할 수 있다. 서버(170)는 본 발명의 다양한 실시예들에 따른 방법에 의하여, 획득한 2D 이미지(810)로부터 3D 의상 모델을 생성할 수 있다. 서버(170)는 획득된 3D 의상 모델을 저장할 수 있다.
다른 실시예에서, 서버(170)가 아닌 사용자 단말(110)이 본 발명의 다양한 실시예들에 따른 방법에 의하여 2D 이미지로부터 3D 의상 모델을 생성할 수 있다. 사용자 단말(110)은 생성된 3D 의상 모델을 서버(170)로 전송할 수 있다.
서버(170)는 2D 이미지로부터 생성된 3D 의상 모델에 대응되는, 게임 캐릭터가 착용 가능한 의상 아이템을 생성할 수 있다. 일 실시예에서, 생성되는 의상 아이템의 종류는 3D 의상 모델의 의상 타입에 기초하여 결정될 수 있다. 예를 들어, 2D 이미지로부터 상의 3D 의상 모델이 생성되는 경우, 대응되는 상의 아이템이 생성될 수 있다. 일 실시예에서, 하나의 2D 이미지로부터 복수의 3D 의상 모델들이 생성되는 경우, 복수의 3D 의상 모델들에 각각 대응되는 복수의 의상 아이템들이 생성될 수 있다. 예를 들어, 2D 이미지로부터 상의 및 하의 3D 의상 모델이 생성되는 경우, 상의 3D 의상 모델에 대응되는 상의 아이템과, 하의 3D 의상 모델에 대응되는 하의 아이템이 각각 생성될 수 있다.
생성된 의상 아이템은 서버(170)의 의상 아이템 데이터베이스에 등록될 수 있다. 서버(170)는 등록된 의상 아이템에 관한 정보(820)를 의상 아이템을 생성한 사용자의 사용자 단말(110)로 전송할 수 있다. 의상 아이템에 관한 정보(820)는 생성된 3D 의상 모델 및 의상 아이템의 이름, 종류, 등급, 능력, 내구도, 가격 등의 아이템 정보를 포함할 수 있다. 일 실시예에서, 의상 아이템에 관한 정보(820)는 의상 아이템을 생성한 사용자에 관한 정보를 포함할 수 있다.
서버(170)는 등록된 의상 아이템이 사용자들에 의해 사용될 수 있도록 관리할 수 있다. 일 실시예에서, 등록된 의상 아이템은 의상 아이템을 생성한 사용자뿐 아니라, 다른 사용자들에 의해서도 사용될 수 있다. 예를 들어, 생성된 의상 아이템은 게임 내에서 판매되거나 또는 캐릭터들 간에 거래되도록 설정될 수 있다.
서버(170)는 사용자가 등록된 의상 아이템을 획득함에 대응하여 의상 아이템의 정보(820)를 사용자 단말(110 내지 140)로 전송할 수 있다. 의상 아이템의 정보(820)를 수신한 사용자 단말(110 내지 140)은, 게임 캐릭터가 의상 아이템을 착용하게 하는 사용자 입력에 대응하여, 게임 캐릭터의 외형이 의상 아이템의 3D 의상 모델을 적용하여 변경되도록 제어할 수 있다.
도 9는 본 개시의 다양한 실시예들에 따른, 2D 이미지로부터 생성된 의상 아이템을 사용하는 방법을 설명하기 위한 도면이다.
도 9는 사용자 단말에 디스플레이되는 보유 아이템 인터페이스(900) 및 장착 아이템 인터페이스(950)의 일 예시를 도시한다. 보유 아이템 인터페이스(900)는 캐릭터가 장착하고 있지 않지만 보유하고 있는 아이템을 표시하는 인터페이스일 수 있다. 장착 아이템 인터페이스(950)는 캐릭터가 착용하고 있는 아이템 및 아이템을 착용한 캐릭터의 외형을 표시하는 인터페이스일 수 있다.
일 실시예에서, 사용자가 2D 이미지로부터 의상 아이템(910)을 생성할 경우, 사용자 캐릭터는 생성된 의상 아이템(910)을 획득할 수 있다. 일 실시예에서, 사용자 캐릭터는 게임 내에서 구매, 거래, 또는 다른 수단에 의하여 다른 사용자가 생성한 의상 아이템(910)을 획득할 수 있다.
일 실시예에서, 획득된 의상 아이템(910)은 보유 아이템 인터페이스(900)에서 확인될 수 있다. 일 실시예에서, 사용자 단말은 보유 아이템 인터페이스(900)를 통해 획득된 의상 아이템(910)에 관한 정보를 표시할 수 있다.
일 실시예에서, 사용자 단말은 보유 아이템 인터페이스(900)를 통해 사용자 캐릭터가 의상 아이템(910)을 착용하게 하는 사용자 입력을 수신할 수 있다. 사용자 입력에 응답하여, 사용자 단말은 사용자 캐릭터가 의상 아이템을 착용(960)하도록 제어하고, 사용자 캐릭터의 외형(970)이 착용한 의상 아이템(960)의 3D 의상 모델을 적용하여 변경되도록 제어할 수 있다. 일 실시예에서, 의상 아이템(960)이 착용되는 부위는 의상 아이템의 종류에 따라 결정될 수 있고, 의상 아이템의 종류는 상술하였듯이 3D 의상 모델의 의상 타입에 대응하여 결정될 수 있다.
일 실시예에서, 착용된 의상 아이템(960) 및 변경된 사용자 캐릭터의 외형(970)은 착용 아이템 인터페이스(950)에서 확인될 수 있다. 일 실시예에서, 사용자 단말은 착용 아이템 인터페이스(950)를 통해 착용된 의상 아이템(960)에 관한 정보를 표시할 수 있다.
도 10a는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 분리된 인물 이미지를 획득하는 예시를 나타내는 도면이다.
도 10a를 참조하면, 배경 인물 분리 식별 학습 모델(1010)은 2D 이미지를 입력받고, 분리된 인물 이미지를 출력할 수 있다. 2D 이미지는 인물의 실사 사진 또는 인물로 식별할 수 있는 오브젝트를 포함하는 드로잉을 포함할 수 있다.
배경 인물 분리 식별 학습 모델(1010)은, 2D 이미지의 특정 영역의 특징을 추출하고, 추출된 특징들에 의해 인물과 배경의 경계를 판단할 수 있는 기능을 제공할 수 있다. 다양한 실시예들에서, 배경 인물 분리 식별 학습 모델(1210)은, 인공 지능 알고리즘으로서, 기계학습, 신경망, 유전자, 딥러닝, 분류 알고리즘 중 적어도 하나를 이용하여 학습된 학습 모델일 수 있다.
도 10b는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 의상 텍스처를 획득하는 예시를 나타내는 도면이다.
도 10b를 참조하면, 의상 타입 결정 학습 모델(1020)은 2D 이미지를 입력받고, 2D 이미지에 포함된 의상의 타입을 출력할 수 있다. 일 실시예에서, 2D 이미지는 배경 인물 분리 식별 학습 모델(1010)에서 출력된 분리된 인물 이미지일 수 있다. 의상 타입 결정 학습 모델(1020)은 2D 이미지를 분석하여 의상의 특징을 추출하고, 추출된 특징에 대응되는 의상의 타입을 판단할 수 있는 기능을 제공할 수 있다.
또한, 의상 텍스처 추출 학습 모델(1030)은, 상기 2D 이미지 및 상기 의상의 타입을 입력받고, 의상 텍스처를 출력할 수 있다. 의상 텍스처는 색상, 명암, 무늬, 질감을 포함한 의상의 표면에 관한 정보를 포함할 수 있으며, 프리셋 메쉬의 표면에 매핑될 수 있도록 설정될 수 있다. 의상 텍스처 추출 학습 모델(1030)은 의상에 대응되는 영역을 식별하고, 식별된 영역의 이미지와 프리셋 메쉬의 관계를 추론하는 기능을 제공할 수 있다.
다양한 실시예들에서, 의상 타입 결정 학습 모델(1020) 및 의상 텍스처 추출 학습 모델(1030)은, 인공 지능 알고리즘으로서, 기계학습, 신경망, 유전자, 딥러닝, 분류 알고리즘 중 적어도 하나를 이용하여 학습된 학습 모델일 수 있다.
도 10c는 본 개시의 다양한 실시예들에 따른, 학습 모델을 이용하여 2D 이미지로부터 3D 의상 모델을 획득하는 예시를 나타내는 도면이다.
도 10c를 참조하면, 의상 세부 형태 결정 학습 모델(1040)은 2D 이미지를 입력받고, 2D 이미지에 포함된 의상의 세부 형태를 출력할 수 있다. 또한 포즈 식별 학습 모델(1060)은 2D 이미지를 입력받고, 2D 이미지에 포함된 인물의 포즈를 출력할 수 있다. 일 실시예에서, 2D 이미지는 배경 인물 분리 식별 학습 모델(1010)에서 출력된 분리된 인물 이미지일 수 있다.
일 실시예에서, 의상 세부 형태 결정 학습 모델(1040)은 2D 이미지에서 의상의 특징점(feature point)에 해당하는 부분을 식별하고, 의상의 세부 형태를 추론하는 기능을 제공할 수 있다. 일 실시예에서, 포즈 식별 학습 모델(1060)은 2D 이미지(610)에서 인물의 특징점을 식별하고, 포즈를 추론하는 기능을 제공할 수 있다.
또한, 의상 메쉬 변형 학습 모델(1050)은, 프리셋 메쉬 및 상기 의상의 세부 형태를 입력받고, 변형된 프리셋 메쉬를 출력할 수 있다. 프리셋 메쉬는 3D 의상 모델을 생성하기 위한 기본 형태의 의상 메쉬일 수 있다. 의상 메쉬 변형 학습 모델(1050)은 입력받은 의상의 세부 형태에 매칭되도록 프리셋 메쉬의 일부를 변형하는 기능을 제공할 수 있다.
또한, 텍스처 매칭 학습 모델(1070)은, 상기 변형된 프리셋 메쉬, 상기 포즈, 및 의상 텍스처를 입력받고, 3D 의상 모델을 출력할 수 있다. 의상 텍스처는 의상 텍스처 추출 학습 모델(1030)에서 출력된 의상 텍스처일 수 있다.
일 실시예에서, 텍스처 매칭 학습 모델(1070)은 변형된 프리셋 메쉬, 포즈, 및 의상 텍스처 상호간의 매핑 관계를 추론하는 기능을 제공할 수 있다. 일 실시예에서, 텍스처 매칭 학습 모델(1070)은 의상 텍스처를 프리셋 메쉬에 맞게 변형하는 기능을 제공할 수 있다. 일 실시예에서, 텍스처 매칭 학습 모델(1070)은 2D 이미지에서 보이지 않는 부분의 텍스처를 추론하여 생성하는 기능을 제공할 수 있다.
다양한 실시예들에서, 의상 세부 형태 결정 학습 모델(1040), 의상 메쉬 변형 학습 모델(1050), 포즈 식별 학습 모델(1060), 및 텍스처 매칭 학습 모델(1070)은, 인공 지능 알고리즘으로서, 기계학습, 신경망, 유전자, 딥러닝, 분류 알고리즘 중 적어도 하나를 이용하여 학습된 학습 모델일 수 있다.
도 11은 본 개시의 다양한 실시예들에 따른, 게임 제공 장치가 학습 모델을 학습할 때 이용하는, 복수 개의 계층 구조를 갖는 인공 신경망을 개략적으로 도시한 도면이다. 도 11의 인공 신경망은 도 10a의 배경 인물 분리 식별 학습 모델(1210), 도 10b의 의상 타입 결정 학습 모델(1020) 및 의상 텍스처 추출 학습 모델(1030), 및 도 10c의 의상 세부 형태 결정 학습 모델(1040), 의상 메쉬 변형 학습 모델(1250), 포즈 식별 학습 모델(1060), 및 텍스처 매칭 학습 모델(1070)을 구성하는 인공 신경망일 수 있다.
도 11을 참고하면, 인공 신경망은 입력 레이어(1110), 적어도 하나의 히든 레이어(1120, 1130) 및 출력 레이어(1140)를 포함할 수 있다. 또한, 인공 신경망을 통한 연산은 게임 제공 장치 내의 프로세서에서 수행될 수 있다. 또한, 히든 레이어(1120, 1130)에서 수행된 학습 및 훈련을 통해 각 레이어와 노드 사이의 파라미터가 학습될 수 있다.
예를 들면, 게임 제공 장치 내의 프로세서는 반복적인 학습을 통하여, 2D 이미지에서 3D 의상 모델을 생성하는 데 영향을 미치는 요소들에 관련된 파라미터의 값들을 획득할 수 있다. 예를 들어, 게임 제공 장치 내의 프로세서는 의상 타입, 의상의 세부 형태, 포즈, 매핑 관계 등을 결정하는 데 이용되는 2D 이미지 내의 의상의 특징점들, 인물의 특징점들에 관련된 파라미터의 값들을 획득할 수 있다. 예를 들어, 게임 제공 장치 내의 프로세서는 2D 이미지에서 의상 텍스처를 추출하고 의상 텍스처를 프리셋 메쉬에 매핑하는 데 이용되는 의상 타입, 의상의 세부 형태, 포즈, 매핑 관계 등에 관련된 파라미터의 값들을 획득할 수 있다.
또한, 게임 제공 장치는 획득된 파라미터의 값이 학습 모델에 반영되도록, 훈련된 인공 신경망에서 학습 모델을 재학습 할 수 있다.
도 12는 본 개시의 다양한 실시예들에 따른 게임 제공 장치의 세부적인 구성을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이 일부 실시예에 따른 게임 제공 장치(1200)는 적어도 하나의 프로세서(1210), 통신부(1230), 및 메모리(1250)를 포함할 수 있다. 그러나 도 12에 도시된 구성 요소가 모두 게임 제공 장치(1200)의 필수 구성 요소인 것은 아니다. 도 12에 도시된 구성 요소보다 많은 구성 요소에 의해 게임 제공 장치(1200)가 구현될 수도 있고, 도 12에 도시된 구성 요소보다 적은 구성 요소에 의해 게임 제공 장치(1200)가 구현될 수 있다. 게임 제공 장치(1200)는 사용자 단말일 수도 있고 서버일 수도 있고, 게임 네트워크 시스템일수도 있고, 별도의 장치일 수도 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 통상적으로 게임 제공 장치(1200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1210)는 메모리(1250)에 저장된 프로그램을 실행함으로써, 통신부(1230) 및 메모리(1250) 등을 전반적으로 제어할 수 있다. 프로세서(1210)는, 통신부(1230) 및 메모리(1250) 등을 제어함으로써, 본 명세서에서의 게임 제공 장치(1200)의 동작을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 인물을 포함하는 2D 이미지를 획득하고, 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하고, 메모리(1250)에 저장된 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고, 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 2D 이미지를 분석하여 의상의 타입을 결정하고, 결정된 의상의 타입에 기초하여 의상 텍스처를 추출하고, 결정된 의상의 타입에 기초하여 프리셋 메쉬를 결정하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 추출된 의상 텍스처를 프리셋 메쉬에 맞게 변형하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 2D 이미지를 분석하여 의상의 세부 형태를 추출하고, 추출된 의상의 세부 형태에 기초하여 프리셋 메쉬를 변형하고, 변형된 프리셋 메쉬에 추출된 의상 텍스처를 매핑하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 2D 이미지에서 인물의 포즈를 식별하고, 식별된 포즈에 기초하여 프리셋 메쉬에 추출된 의상 텍스처를 매핑하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성하고, 프리셋 메쉬에 2D 이미지에서 보이지 않는 부분의 텍스처를 포함하는 의상 텍스처를 매핑하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 게임 캐릭터의 체형에 관한 정보를 획득하고, 체형에 관한 정보에 기초하여 3D 의상 모델을 변형하고, 변형된 3D 의상 모델을 게임 캐릭터의 3D 모델과 결합하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 3D 의상 모델에 대응되는, 게임 캐릭터가 착용 가능한 의상 아이템을 생성하도록 설정될 수 있다. 프로세서(1210)는 게임 캐릭터가 의상 아이템을 착용하고, 게임 캐릭터의 외형이 3D 의상 모델에 기초하여 변경되도록 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1210)는 학습된 인공지능 모델을 이용하여 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하거나, 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 통신부(1230)는 프로세서(1210)의 제어에 의해 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신부(1230)는 프로세서(1210)의 제어에 의해 결제 서버, 인증 서버와 같은 외부 장치와 통신을 수행할 수 있다. 또한 통신부(1230)는 외부 인터페이스와의 통신을 통해 사용자 정보 또는 사용자 입력을 획득할 수도 있다.
메모리(1250)는 프로세서(1210)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 게임 제공 장치(1200)로 입력되거나 게임 제공 장치(1200)로부터 출력되는 데이터를 저장할 수도 있다. 본 개시의 일 실시예에 따르면 메모리(1250)는 사용자 계정에 관한 정보, 게임 관련 정보를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1250)는 적어도 하나의 프리셋 메쉬를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1250)는 2D 이미지로부터 생성된 3D 의상 모델을 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1250)는 2D 이미지로부터 생성된 의상 아이템에 관한 정보를 저장할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1250)에 저장된 프로그램을 이용하여 프로세서(1210)는 게임 캐릭터를 커스터마이즈하는 방법을 실행할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한 본 개시의 일 실시예에 따르면, 메모리(1250)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
본 개시의 일 실시예에 따르면, 게임 캐릭터를 커스터마이즈하는 방법은 게임 제공 장치(1200)에서 수행되거나, 서버 또는 사용자 단말에서 수행될 수도 있으며, 또한 게임 제공 장치(1200)가 포함하는 적어도 하나의 구성은 앞선 도 1 내지 도 11에서 설명한 실시예들을 수행할 수 있다.
또한 게임 캐릭터를 커스터마이즈하는 방법은 서버와 사용자 단말이 개별적으로 또는 함께 수행할 수도 있다. 서버 및 사용자 단말의 구성은 이하 도 13 및 도 14에서 더 자세히 설명한다.
도 13은 본 개시의 다양한 실시예들에 따른 게임 제공 장치의 세부적인 구성을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이 일부 실시예에 따른 서버(1300)는 적어도 하나의 프로세서(1310), 통신부(1330), 및 메모리(1350)를 포함할 수 있다. 그러나 도 13에 도시된 구성 요소가 모두 서버(1300)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 서버(1300)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 서버(1300)가 구현될 수 있다. 서버(1300)는 사용자 단말일 수도 있고 서버일 수도 있고, 게임 네트워크 시스템일수도 있고, 별도의 장치일 수도 있다.
본 개시의 일 실시예에 따르면, 프로세서(1310)는 통상적으로 서버(1300)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1310)는 메모리(1350)에 저장된 프로그램을 실행함으로써, 통신부(1330) 및 메모리(1350) 등을 전반적으로 제어할 수 있다. 프로세서(1310)는, 통신부(1330) 및 메모리(1350) 등을 제어함으로써, 본 명세서에서의 서버(1300)의 동작을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1310)는 통신부(1330)를 통해 사용자 단말(1400)로부터 인물을 포함하는 2D 이미지를 획득하고, 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하고, 메모리(1350)에 저장된 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고, 통신부(1330)를 통해 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하기 위한 데이터를 사용자 단말(1400)에 전송하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1310)의 동작은 도 12에서 설명한 게임 제공 장치(1200)의 프로세서(1210)의 동작과 대응될 수 있으므로, 자세한 설명은 생략한다.
통신부(1330)는 프로세서(1310)의 제어에 따라 사용자 단말(1400)에게 질의를 제공하고, 질의에 대한 응답 정보를 수신할 수 있다. 또한 본 개시의 일 실시예에 따르면, 통신부(1330)는 사용자 단말(1400)과 데이터를 송수신할 수 있으며, 사용자 단말(1400)과 송수신하는 데이터에는 사용자 단말(1400) 또는 사용자 단말(1400) 내에 포함된 프로그램을 제어하는 제어 데이터를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 통신부(1330)는 프로세서(1310)의 제어에 따라 사용자 단말(1400)로부터 인물을 포함하는 2D 이미지를 획득하고, 사용자 단말(1400)에 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하기 위한 데이터를 전송할 수 있다.
메모리(1350)는 프로세서(1310)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 서버(1300)로 입력되거나 서버(1300)로부터 출력되는 데이터를 저장할 수도 있다. 본 개시의 일 실시예에 따르면 메모리(1350)는 사용자 계정에 관한 정보, 게임 관련 정보를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1350)는 적어도 하나의 프리셋 메쉬를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1350)는 2D 이미지로부터 생성된 3D 의상 모델을 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1350)는 2D 이미지로부터 생성된 의상 아이템에 관한 정보를 저장할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1350)에 저장된 프로그램을 이용하여 프로세서(1310)는 게임 캐릭터를 커스터마이즈하는 방법을 실행할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1350)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한 본 개시의 일 실시예에 따르면, 메모리(1350)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
또한 본 개시의 일 실시예에 따르면, 게임 캐릭터를 커스터마이즈하는 방법은 서버(1300)와 사용자 단말(1400)이 나누어 수행할 수도 있고, 서버(1300)와 사용자 단말(1400)이 개별적으로 수행할 수도 있고, 게임 제공 장치(1200)에서 수행될 수도 있다.
도 14는 본 개시의 다양한 실시예들에 따른 사용자 단말의 세부적인 구성을 설명하기 위한 도면이다.
도 14에 도시된 바와 같이 일부 실시예에 따른 사용자 단말(1400)은 적어도 하나의 프로세서(1410), 통신부(1430), 메모리(1450), 및 사용자 인터페이스(1470)를 포함할 수 있다. 그러나 도 14에 도시된 구성 요소가 모두 사용자 단말(1400)의 필수 구성 요소인 것은 아니다. 도 14에 도시된 구성 요소보다 많은 구성 요소에 의해 사용자 단말(1400)이 구현될 수도 있고, 도 14에 도시된 구성 요소보다 적은 구성 요소에 의해 사용자 단말(1400)이 구현될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1410)는 통상적으로 사용자 단말(1400)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1410)는 메모리(1450)에 저장된 프로그램을 실행함으로써, 통신부(1430), 메모리(1450), 및 사용자 인터페이스(1470) 등을 전반적으로 제어할 수 있다. 프로세서(130)는, 통신부(1430), 메모리(1450), 및 사용자 인터페이스(1470) 등을 제어함으로써, 본 명세서에서의 사용자 단말(1400)의 동작을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1410)는 인물을 포함하는 2D 이미지를 획득하고, 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하고, 프리셋 메쉬에 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하고, 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정될 수 있다.
본 개시의 다른 실시예에 따르면, 프로세서(1410)는 인물을 포함하는 2D 이미지를 획득하고, 통신부(1430)를 통하여 2D 이미지를 서버(1300)로 전송하도록 설정될 수 있다. 프로세서(1410)는, 통신부(1430)를 통하여, 2D 이미지로부터 생성된 3D 의상 모델을 서버(1300)로부터 수신하고, 수신된 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 프로세서(1410)의 동작은 도 12에서 설명한 게임 제공 장치(1200)의 프로세서(1210)의 동작과 대응될 수 있으므로, 자세한 설명은 생략한다.
통신부(1430)는 프로세서(1410)의 제어에 따라 서버(1300)에게 질의를 제공하고, 질의에 대한 응답 정보를 수신할 수 있다. 또한 본 개시의 일 실시예에 따르면, 통신부(1430)는 서버(1300)와 데이터를 송수신할 수 있으며, 서버(1300)와 송수신하는 데이터에는 사용자 단말(1400) 또는 사용자 단말(1400) 내에 포함된 프로그램을 제어하는 제어 데이터를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 통신부(1430)는 프로세서(1410)의 제어에 따라 서버(1300)에 2D 이미지를 전송하고, 서버(1300)로부터 3D 의상 모델 또는 의상 아이템에 관한 정보를 수신할 수 있다.
본 개시의 일 실시예에 따르면, 통신부(1430)는 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 자기장 통신부(Near Field Communication), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한 본 개시의 일 실시예에 따르면, 통신부(1430)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
메모리(1450)는 프로세서(1410)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 사용자 단말(1400)로 입력되거나 사용자 단말(1400)로부터 출력되는 데이터를 저장할 수도 있다. 본 개시의 일 실시예에 따르면 메모리(1450)는 사용자 계정에 관한 정보, 게임 관련 정보를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1450)는 적어도 하나의 프리셋 메쉬를 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1450)는 2D 이미지로부터 생성된 3D 의상 모델을 저장할 수 있다. 본 개시의 일 실시예에 따르면, 메모리(1450)는 2D 이미지로부터 생성된 의상 아이템에 관한 정보를 저장할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1450)에 저장된 프로그램을 이용하여 프로세서(1410)는 게임 캐릭터를 커스터마이즈하는 방법을 실행할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(1450)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한 본 개시의 일 실시예에 따르면, 메모리(1450)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
본 개시의 일 실시예에 따르면, 사용자 인터페이스(1470)는 다양한 인터페이스를 포함할 수 있다. 예를 들면, 사용자 인터페이스(1470)는 키 패드(key pad), 돔 스위치(dome switch), 음성 입력 인터페이스, 지문 입력 인터페이스, 터치 입력 인터페이스(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 카메라, 조그 휠, 조그 스위치 등 다양한 인터페이스를 포함할 수 있으며, 가속도 센서, 위치 센서, 온도 센서, 광센서 등 다양한 센서를 사용자 인터페이스와 연동할 수도 있다. 물론 상기 예시에 제한되는 것은 아니다.
또한 본 개시의 일 실시예에 따르면, 사용자 인터페이스(1470)는 출력부(미도시)를 더 포함할 수도 있다. 출력부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 또한 출력부(미도시)는 LED 램프, 진동 모터, 스피커, 플래쉬 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.
또한 본 개시의 일 실시예에 따르면, 사용자 인터페이스(1470)는 게임 정보에 대한 알림을 이미지, 동영상, 소리, 진동, 램프 등으로 출력할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (28)

  1. 게임 캐릭터를 커스터마이즈하는 방법에 있어서,
    인물을 포함하는 2D 이미지를 획득하는 단계;
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계;
    프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계;
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계;
    를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법.
  2. 제1항에 있어서,
    상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지에서 배경과 인물을 분리하여 식별하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법.
  3. 제1항에 있어서,
    상기 의상 텍스처를 추출하는 단계는,
    상기 2D 이미지를 분석하여 의상의 타입을 결정하는 단계; 및
    상기 결정된 의상의 타입에 기초하여 상기 의상 텍스처를 추출하는 단계를 포함하고,
    상기 프리셋 메쉬는 상기 결정된 의상의 타입에 기초하여 결정되는,
    게임 캐릭터를 커스터마이즈하는 방법.
  4. 제1항에 있어서,
    상기 프리셋 메쉬는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있는 것을 특징으로 하는, 게임 캐릭터를 커스터마이즈하는 방법.
  5. 제1항에 있어서,
    상기 3D 의상 모델을 생성하는 단계는, 상기 추출된 의상 텍스처를 상기 프리셋 메쉬에 맞게 변형하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법.
  6. 제1항에 있어서,
    상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지를 분석하여 의상의 세부 형태를 추출하는 단계를 포함하고,
    상기 3D 의상 모델을 생성하는 단계는,
    상기 추출된 의상의 세부 형태에 기초하여 상기 프리셋 메쉬를 변형하는 단계; 및
    상기 변형된 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법.
  7. 1항에 있어서,
    상기 의상 텍스처를 추출하는 단계는, 상기 2D 이미지에서 인물의 포즈를 식별하는 단계를 더 포함하고,
    상기 3D 의상 모델을 생성하는 단계는, 상기 식별된 포즈에 기초하여 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하는 단계를 포함하는,
    게임 캐릭터를 커스터마이즈하는 방법.
  8. 제1항에 있어서,
    상기 3D 의상 모델을 생성하는 단계는,
    상기 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성하는 단계; 및
    상기 프리셋 메쉬에 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 포함하는 의상 텍스처를 매핑하는 단계를 포함하는,
    게임 캐릭터를 커스터마이즈하는 방법.
  9. 제1항에 있어서,
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계는,
    상기 게임 캐릭터의 체형에 관한 정보를 획득하는 단계;
    상기 체형에 관한 정보에 기초하여, 상기 3D 의상 모델을 변형하는 단계; 및
    상기 변형된 3D 의상 모델을 상기 게임 캐릭터의 3D 모델과 결합하는 단계를 포함하는,
    게임 캐릭터를 커스터마이즈하는 방법.
  10. 제1항에 있어서,
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계는,
    상기 3D 의상 모델에 대응되는, 상기 게임 캐릭터가 착용 가능한 의상 아이템을 생성하는 단계; 및
    상기 게임 캐릭터가 상기 의상 아이템을 착용하고, 상기 게임 캐릭터의 외형이 상기 3D 의상 모델에 기초하여 변경되도록 제어하는 단계를 포함하는,
    게임 캐릭터를 커스터마이즈하는 방법.
  11. 제10항에 있어서,
    상기 의상 아이템은 게임 내에서 캐릭터들 간에 거래가 가능하도록 설정되는, 게임 캐릭터를 커스터마이즈하는 방법.
  12. 제1항에 있어서,
    상기 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하는 단계 및 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하는 단계 중 적어도 하나는 학습된 인공지능 모델을 이용하여 수행되는 것을 특징으로 하는, 게임 캐릭터를 커스터마이즈하는 방법.
  13. 게임 캐릭터를 커스터마이즈하는 게임 제공 장치에 있어서, 상기 게임 제공 장치는,
    프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및
    상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    인물을 포함하는 2D 이미지를 획득하고,
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고,
    상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고,
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정되는,
    게임 제공 장치.
  14. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 2D 이미지에서 배경과 인물을 분리하여 식별하도록 설정되는, 게임 제공 장치.
  15. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 2D 이미지를 분석하여 의상의 타입을 결정하고,
    상기 결정된 의상의 타입에 기초하여 상기 의상 텍스처를 추출하고,
    상기 결정된 의상의 타입에 기초하여 상기 프리셋 메쉬를 결정하도록 설정되는,
    게임 제공 장치.
  16. 제13항에 있어서,
    상기 프리셋 메쉬는 게임 캐릭터에 적용되어 움직일 수 있도록 리깅(rigging) 및 스키닝(skinning)되어 있는 것을 특징으로 하는, 게임 제공 장치.
  17. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여, 상기 추출된 의상 텍스처를 상기 프리셋 메쉬에 맞게 변형하도록 설정되는, 게임 제공 장치.
  18. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 2D 이미지를 분석하여 의상의 세부 형태를 추출하고,
    상기 추출된 의상의 세부 형태에 기초하여 상기 프리셋 메쉬를 변형하고,
    상기 변형된 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하도록 설정되는,
    게임 제공 장치.
  19. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 2D 이미지에서 인물의 포즈를 식별하고,
    상기 식별된 포즈에 기초하여 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하도록 설정되는,
    게임 제공 장치.
  20. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 추출된 의상 텍스처에 기초하여, 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 추정하여 생성하고,
    상기 프리셋 메쉬에 상기 2D 이미지에서 보이지 않는 부분의 텍스처를 포함하는 의상 텍스처를 매핑하도록 설정되는, 게임 제공 장치.
  21. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 게임 캐릭터의 체형에 관한 정보를 획득하고,
    상기 체형에 관한 정보에 기초하여, 상기 3D 의상 모델을 변형하고,
    상기 변형된 3D 의상 모델을 상기 게임 캐릭터의 3D 모델과 결합하도록 설정되는,
    게임 제공 장치.
  22. 제13항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    상기 3D 의상 모델에 대응되는, 상기 게임 캐릭터가 착용 가능한 의상 아이템을 생성하고,
    상기 게임 캐릭터가 상기 의상 아이템을 착용하고, 상기 게임 캐릭터의 외형이 상기 3D 의상 모델에 기초하여 변경되도록 제어하는,
    게임 제공 장치.
  23. 제22항에 있어서,
    상기 의상 아이템은 게임 내에서 캐릭터들 간에 거래가 가능하도록 설정되는, 게임 제공 장치.
  24. 제13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 2D 이미지로부터 인물이 착용한 의상 텍스처를 추출하는 동작 및 상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여 3D 의상 모델을 생성하는 동작 중 적어도 하나는 학습된 인공지능 모델을 이용하여 수행하도록 설정되는, 게임 제공 장치.
  25. 게임 캐릭터를 커스터마이즈하는 사용자 단말에 있어서, 상기 사용자 단말은,
    프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및
    상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    인물을 포함하는 2D 이미지를 획득하고,
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고,
    상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고,
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하도록 설정되는,
    사용자 단말.
  26. 게임 캐릭터를 커스터마이즈하는 서버에 있어서, 상기 서버는,
    통신부;
    프리셋 메쉬 및 인스트럭션들을 저장하는 메모리; 및
    상기 통신부 및 상기 메모리와 기능적으로 연결되고, 상기 인스트럭션들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여,
    사용자 단말로부터 인물을 포함하는 2D 이미지를 획득하고,
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하고,
    상기 프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하고,
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하기 위한 데이터를 사용자 단말에 전송하도록 설정되는,
    서버.
  27. 인물을 포함하는 2D 이미지를 획득하는 단계;
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계;
    프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계; 및
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법을 하드웨어와 결합되어 실행시키기 위하여 매체에 저장되는 컴퓨터 프로그램.
  28. 인물을 포함하는 2D 이미지를 획득하는 단계;
    상기 2D 이미지로부터, 인물이 착용한 의상 텍스처를 추출하는 단계;
    프리셋 메쉬에 상기 추출된 의상 텍스처를 매핑하여, 3D 의상 모델을 생성하는 단계;
    상기 3D 의상 모델을 미리 생성된 게임 캐릭터에 적용하는 단계를 포함하는, 게임 캐릭터를 커스터마이즈하는 방법을 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터 판독가능 기록매체.
KR1020200140702A 2020-10-27 2020-10-27 게임 캐릭터를 커스터마이즈하는 방법 및 장치 KR20220056025A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140702A KR20220056025A (ko) 2020-10-27 2020-10-27 게임 캐릭터를 커스터마이즈하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140702A KR20220056025A (ko) 2020-10-27 2020-10-27 게임 캐릭터를 커스터마이즈하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220056025A true KR20220056025A (ko) 2022-05-04

Family

ID=81584255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140702A KR20220056025A (ko) 2020-10-27 2020-10-27 게임 캐릭터를 커스터마이즈하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220056025A (ko)

Similar Documents

Publication Publication Date Title
CN110021061B (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
US11232512B2 (en) Method and device for combining an avatar image with a portion of a user's image
US11017462B2 (en) Providing a virtual shopping environment for an item
US11836963B2 (en) Computer vision assisted item search
US11836862B2 (en) External mesh with vertex attributes
CN106462979A (zh) 时尚偏好分析
US20230074826A1 (en) Body fitted accessory with physics simulation
WO2023034832A1 (en) Controlling interactive fashion based on body gestures
US11900506B2 (en) Controlling interactive fashion based on facial expressions
KR20200092265A (ko) 전자 장치 및 그 동작방법
US20240070766A1 (en) Personalized try-on ads
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
US11673054B2 (en) Controlling AR games on fashion items
JP2020198053A (ja) 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法
US11076276B1 (en) Systems and methods to provide wireless communication between computing platforms and articles
KR20220056025A (ko) 게임 캐릭터를 커스터마이즈하는 방법 및 장치
WO2017160958A1 (en) Product customization
US20240013463A1 (en) Applying animated 3d avatar in ar experiences
CN111382659A (zh) 确定装置及计算机程序产品
US20230196712A1 (en) Real-time motion and appearance transfer
CN110009446A (zh) 一种显示方法及终端
CN117408766A (zh) 服饰穿搭推荐方法、电视机、介质及设备
US20240037858A1 (en) Virtual wardrobe ar experience
US11544885B2 (en) Augmented reality experience based on physical items
US20230316666A1 (en) Pixel depth determination for object