KR101896137B1 - 플레이어의 모습을 반영한 아바타의 생성 기법 - Google Patents

플레이어의 모습을 반영한 아바타의 생성 기법 Download PDF

Info

Publication number
KR101896137B1
KR101896137B1 KR1020137032380A KR20137032380A KR101896137B1 KR 101896137 B1 KR101896137 B1 KR 101896137B1 KR 1020137032380 A KR1020137032380 A KR 1020137032380A KR 20137032380 A KR20137032380 A KR 20137032380A KR 101896137 B1 KR101896137 B1 KR 101896137B1
Authority
KR
South Korea
Prior art keywords
player
hair
face
received
identified
Prior art date
Application number
KR1020137032380A
Other languages
English (en)
Other versions
KR20140033088A (ko
Inventor
제프리 지저스 에버트
저스틴 아브람 클라크
재커리 타일러 미들턴
매튜 제이 펄스
마크 토마스 마이어리크
댄 오스본
앤드류 알 캠벨
찰스 에버렛 마틴
데이비드 엠 힐
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140033088A publication Critical patent/KR20140033088A/ko
Application granted granted Critical
Publication of KR101896137B1 publication Critical patent/KR101896137B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예는 플레이어의 현재 모습을 반영하는 아바타를 생성하는 시스템, 방법 및 컴퓨터 매체와 관련된다. 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 데이터는 플레이어의 가시 스펙트럼 이미지(visible spectrum image), 플레이어와 현재 배경 모두를 포함하는 깊이 이미지(depth image) 및 플레이어에 대한 골격 데이터(skeletal data)를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 수신된 데이터에 적어도 부분적으로 기초하여, 플레이어의 얼굴 모습, 플레이어의 머리카락 모습, 플레이어의 옷차림 및 플레이어의 피부색 중 하나 이상이 캡처된다. 플레이어를 닮은 3D 아바타는 캡처된 얼굴 모습, 머리카락 모습, 옷차림, 및/또는 피부색을 사전결정된 아바타 특징들과 결합함으로써 생성된다.

Description

플레이어의 모습을 반영한 아바타의 생성 기법{GENERATION OF AVATAR REFLECTING PLAYER APPEARANCE}
최근 수년간 비디오 게임은 상당히 발전하였다. 특히 처리 능력, 이미지 프로세싱 및 그래픽에서의 발전이 게임에서의 개념 및 그래픽 복잡도를 증가시키는 것을 가능하게 하였다. 종래에는, 플레이어가 디폴트 캐릭터를 선택하거나 단순한 사전정의된 캐릭터들의 그룹 중 하나의 캐릭터를 선택하였다. 비디오 게임이 발달하면서, 단순한 캐릭터보다는 플레이어 아바타를 사용하는 것이 점점 더 흔해졌다. 일부 게임은 플레이어가 사전정의된 아바타들의 그룹 중에서 선택하거나 아바타의 다양한 특징들을 커스토마이징(customize)할 수 있게 한다. 플레이어는 머리카락 색상, 성별, 키, 안경 등과 같은 특징을 수동으로 커스토마이징함으로써 플레이어 자신을 닮은 아바타를 생성하고자 시도할 수 있다. 이러한 수동 커스토마이징은 시간이 소비되며 여전히 플레이어의 모습을 실제로 닮은 아바타를 생성하지는 않는다.
본 발명의 실시예는 플레이어의 현재 모습을 반영하는 아바타를 생성하는 시스템, 방법 및 컴퓨터 매체와 관련된다. 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 데이터는 플레이어의 가시 스펙트럼 이미지(visible spectrum image), 플레이어와 현재 배경 모두를 포함하는 깊이 이미지(depth image) 및 플레이어에 대한 골격 데이터(skeletal data)를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 수신된 데이터에 적어도 부분적으로 기초하여, 플레이어의 얼굴 모습, 플레이어의 머리카락 모습, 플레이어의 옷차림 및 플레이어의 피부색 중 하나 이상이 캡처된다. 셔츠 소매, 바지 또는 반바지(shorts leg), 또는 스커트나 드레스 자락도 검출될 수 있다. 플레이어를 닮은 3D 아바타는 캡처된 얼굴 모습, 머리카락 모습, 옷차림, 피부색, 및/또는 검출된 셔츠 소매, 바지 또는 반바지, 또는 스커트나 드레스 자락을 사전결정된 아바타 특징들과 결합함으로써 생성된다.
본 요약부는 아래의 상세한 설명에서 추가로 기술되는 개념들의 선택을 단순화된 형식으로 도입하도록 제공된다. 본 요약부는 본 발명의 청구사항의 중요 특성 또는 기본 특성을 식별하기 위한 것이 아니며, 본 발명의 청구사항의 범주에 대한 결정을 돕도록 사용되는 것 또한 아니다.
본 발명은 첨부된 도면을 참조하여 상세히 후술된다.
도 1은 본 발명의 실시예를 구현하도록 사용하기에 적합한 예시적인 컴퓨팅 환경의 블록도;
도 2는 본 발명의 실시예에 따른 플레이어의 머리의 가시 스펙트럼 이미지의 투시도;
도 3은 본 발명의 실시예에 따른 플레이어의 가시 스펙트럼 이미지의 투시도;
도 4는 본 발명의 실시예에 따라 도 2 및 3의 플레이어를 닮은 3D 아바타의 투시도;
도 5는 본 발명의 실시예에 따라 플레이어의 현재 모습을 반영하는 아바타를 생성하는 예시적인 방법의 순서도;
도 6은 본 발명의 실시예에 따른 예시적인 아바타 생성 시스템을 도시한 도면;
도 7은 본 발명의 실시예에 따라 플레이어의 현재 모습을 반영하는 아바타를 생성하는 예시적인 방법의 순서도로서, 얼굴 모습 캡처, 머리카락 모습 캡처, 옷차림 캡처 및 피부색 캡처에 대한 하위 단계들이 도시된 순서도;
도 8은 본 발명은 실시예에 따른 플레이어의 가시 스펙트럼 이미지의 투시도;
도 9는 본 발명의 실시예에 따른 플레이어의 머리의 가시 스펙트럼 이미지의 투시도;
도 10은 얼굴 및 머리의 다른 부분들을 나타내는, 본 발명의 실시예에 따른 플레이어의 머리의 가시 스펙트럼 이미지의 부분적인 투시도;
도 11은 본 발명의 실시예에 따른 기준점(alignment point)이 함께 도시된 도 10의 이미지를 도시한 도면;
도 12는 본 발명의 실시예에 따른 목적지점을 갖는 템플릿 텍스처 맵(template texture map)을 도시한 도면;
도 13은 기준점을 도 12의 목적지점에 매칭함으로써 도 11의 이미지의 워핑(warping)으로부터 생성된 얼굴 텍스처 맵을 도시한 도면;
도 14는 도 8 내지 11 및 13의 이미지의 플레이어의 현재 모습을 반영하는 3D 아바타를 도시한 도면;
도 15는 본 발명의 실시예에 따른 플레이어의 가시 스펙트럼 이미지의 투시도; 및
도 16은 단순화된 골격이 식별된 도 15에 도시된 플레이어의 깊이 이미지를 도시한 도면.
본 명세서에서는 본 발명의 실시예가 법으로 명시된 요구사항을 만족하도록 특별하게 기술되었다. 그러나, 이러한 설명이 본 발명의 범주를 한정짓는 것은 아니다. 오히려, 발명자는 본 발명의 청구사항이 본 명세서에서 기술된 것과 상이한 단계들 또는 유사한 단계들과의 조합을 포함하도록 다른 발명 또는 미래의 기술과 관련하여 다른 방식으로 구현될 수도 있음을 고려하였다. 또한, "단계" 및/또는 "블록" 또는 "모듈" 등의 용어들이 방법 또는 시스템의 상이한 컴포넌트들을 함축하도록 본 명세서에서 사용되었을 수 있지만, 개별적인 단계들의 순서가 명백하게 기술되지 않는 한 이러한 용어들이 본 명세서에 개시된 다양한 단계들 간의 임의의 특정한 순서를 의미하는 것으로 해석되어서는 안된다.
본 발명의 실시예는 플레이어의 현재 모습을 반영하는 아바타를 생성하는 시스템, 방법 및 컴퓨터 매체와 관련된다. 본 발명의 실시예에 따르면, 아바타는 플레이어의 현재 모습을 기술하는 데이터로부터 생성된다. 플레이어의 모습의 다양한 측면들이 데이터에 기초하여 캡처되고 플레이어를 닮은 3D 아바타를 생성하도록 사전결정된 아바타 특징들과 결합된다.
전술된 바와 같이, 플레이어는 소정의 특징들을 수동으로 커스토마이징하여 자신을 닮은 아바타를 생성하고자 시도할 수 있지만, 생성된 아바타는 여전히 플레이어의 모습을 실제로 반영하지 않는다.
그러나, 다양한 센서들이 플레이어의 현재 모습을 묘사하는 데이터를 수집하기 위해서 사용될 수 있다. 이러한 센서들은 특히 플레이어의 모습을 묘사하는 상세한 정보를 포함하며 플레이어의 모습을 정확하게 반영하는 아바타를 생성하는 데에 사용될 수 있는 가시 스펙트럼 이미지, 깊이 이미지 및 골격 데이터를 제공한다. 가시 스펙트럼 데이터, 깊이 데이터 및 골격 데이터의 조합은 이전에 가능하지 않았던 플레이어의 모습의 상세한 측면들을 캡처하는 것을 가능하게 한다. 또한, 센서 데이터가 획득된 후에 다양한 특징들에 대한 플레이어 선택 없이 플레이어를 닮은 아바타가 자동으로 생성될 수 있다.
본 발명의 일 실시예에서, 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 이 데이터는, 플레이어의 가시 스펙트럼 이미지, 플레이어와 현재 배경 모두를 포함하는 깊이 이미지 및 플레이어에 대한 골격 데이터를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 플레이어의 얼굴 모습은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 얼굴 모습은 플레이어의 얼굴을 식별하고, 플레이어 얼굴의 얼굴 특징을 식별하며, 식별된 얼굴 특징에 기초하여 플레이어의 얼굴을 포함하는 수신된 가시 스펙트럼 이미지의 일부를 얼굴 텍스처 맵(face texture map)으로 워핑(warping)함으로써 캡처된다. 플레이어의 머리카락 모습은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 머리카락 모습은 플레이어의 머리카락의 범위를 식별하고, 플레이어의 식별된 머리카락의 범위를 사전결정된 헤어스타일 템플릿(hairstyle template)에 매칭하며, 플레이어의 머리카락 색상을 식별함으로써 캡처된다. 3D 아바타가 플레이어를 닮게 하도록 플레이어의 캡처된 얼굴 모습과 머리카락 모습을 반영하는 3D 아바타가 생성된다. 3D 아바타는 얼굴 텍스처 맵, 플레이어의 식별된 머리카락의 범위와 일치하는 헤어스타일 템플릿 및 식별된 플레이어의 머리카락 색상을 사전결정된 아바타 특징과 결합함으로써 생성된다.
다른 실시예에서, 데이터 획득 컴포넌트가 플레이어의 현재 모습을 묘사하는 데이터를 수신한다. 이 데이터는, 플레이어의 가시 스펙트럼 이미지, 플레이어 및 현재 배경 모두를 포함하는 깊이 이미지 및 플레이어에 대한 골격 데이터를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 얼굴 캡처 컴포넌트는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 얼굴 모습을 캡처한다. 머리카락 캡처 컴포넌트는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 머리카락 모습을 캡처한다. 옷차림 캡처 컴포넌트는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 옷차림을 캡처한다. 아바타 생성 컴포넌트는 캡처된 얼굴 모습, 머리카락 모습 및 옷차림을 사전결정된 아바타 특징과 결합함으로써 플레이어를 닮은 3D 아바타를 생성한다.
또 다른 실시예에서, 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 이 데이터는, 플레이어의 가시 스펙트럼 이미지, 플레이어 및 현재 배경 모두를 포함하는 깊이 이미지 및 플레이어의 골격 데이터를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 플레이어의 얼굴 모습은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 얼굴 모습은 플레이어의 얼굴을 식별하고, 플레이어 얼굴의 얼굴 특징을 식별하며, 식별된 얼굴 특징에 기초하여 플레이어의 얼굴을 포함하는 수신된 가시 스펙트럼 이미지의 일부를 얼굴 텍스처 맵으로 워핑함으로써 캡처된다. 플레이어의 머리카락 모습은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 머리카락 모습은 플레이어의 머리카락의 범위를 식별하고, 플레이어의 식별된 머리카락의 범위를 사전결정된 헤어스타일 템플릿에 매칭하며, 플레이어의 머리카락 색상을 식별함으로써 캡처된다.
플레이어의 옷차림은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 옷차림은 플레이어 및 현재 배경 모두를 포함하는 수신된 깊이 이미지 및 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여, 에지 검출을 이용해 바깥쪽 옷 경계(outer clothing boundary)를 결정함으로써 캡처된다. 옷차림은 또한 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여, 결정된 색상 그래디언트(color gradient)에 기초하여 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계(inner clothing boundary)를 결정함으로써 캡처된다. 옷차림은 또한 플레이어의 옷을 바깥쪽 옷 경계와 적어도 하나의 안쪽 옷 경계에 의해 적어도 부분적으로 경계가 지어지는 영역으로서 식별함으로써 캡처된다.
플레이어의 피부색은 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 피부색은 플레이어의 얼굴에 해당하는 영역 내의 수신된 가시 스펙트럼 이미지의 하나 이상의 영역의 색상을 샘플링하고 플레이어의 피부색을 결정하도록 하나 이상의 영역의 샘플링된 색상들을 혼합함으로써 캡처된다. 컴퓨팅 디바이스의 프로세서는 플레이어를 닮은 3D 아바타를 생성하도록 캡처된 플레이어의 얼굴 모습, 머리카락 모습, 옷차림 및 피부색을 반영하는 3D 아바타를 생성하기 위해 사용된다. 3D 아바타는 얼굴 텍스처 맵, 플레이어의 식별된 머리카락의 범위와 일치하는 헤어스타일 템플릿 및 식별된 플레이어 머리카락 색상을 사전결정된 아바타 특징들과 결합함으로써 생성된다.
위에서 본 발명의 몇몇 실시예의 개요가 기술되었으며, 본 발명의 다양한 측면들에 대한 전반적인 맥락을 제공하기 위해 본 발명의 실시예가 구현될 수 있는 예시적인 운영 환경이 아래에서 기술될 것이다. 먼저 도 1을 참조하면, 본 발명의 실시예를 구현하기 위한 예시적인 운영 환경이 컴퓨팅 디바이스(100)로서 일반적으로 도시되고 설계되었다. 컴퓨팅 디바이스(100)는 그러나 적절한 컴퓨팅 환경의 일 예시이며 본 발명의 실시예의 용도 또는 기능의 범주를 제한하고자 하는 것은 아니다. 컴퓨팅 디바이스(100)가 도시된 임의의 컴포넌트 또는 컴포넌트들의 조합에 대한 어떠한 종속성 또는 필요조건을 갖는 것으로 해석되어서는 안된다.
본 발명의 실시예는 컴퓨터 또는 PDA 또는 그외의 휴대용 디바이스와 같은 다른 장치에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능한 명령을 포함하는 컴퓨터 코드 또는 기계-이용가능한(machine-userable) 명령의 일반적인 맥락에서 기술될 수 있다. 일반적으로, 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함하는 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추출 데이터 유형을 구현하는 코드를 지칭한다. 본 발명의 실시예는, 휴대용 디바이스, 소비자 전자기기, 범용 컴퓨터, 보다 전문적인 컴퓨팅 디바이스 등을 포함하는 다양한 시스템 구성에서 실시될 수 있다. 본 발명의 실시예는 또한 통신 네트워크를 통해 링크된 원격 프로세싱 디바이스에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다.
도 1을 참조하면, 컴퓨팅 디바이스(100)는, 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프레젠테이션 컴포넌트(116), 입력/출력 포트(118), 입력/출력 컴포넌트(120) 및 예시적인 파워 서플라이(122)를 직접 또는 간접적으로 연결시키는 버스(110)를 포함한다. 버스(110)는 (어드레스 버스, 데이터 버스, 또는 이들의 조합과 같은) 하나 이상의 버스일 수 있음을 나타낸다. 도 1의 다양한 블록들이 명확성을 위해서 선으로 도시되었지만, 실제로는 기술하는 다양한 컴포넌트가 그렇게 명확하지 않으며, 비유적으로, 선들은 보다 정확하게는 흐리거나 불분명할 것이다. 예를 들어, 디스플레이 디바이스와 같은 프레젠테이션 컴포넌트가 I/O 컴포넌트가 되는 것을 고려할 수 있다. 또한, 프로세서는 메모리를 구비한다. 우리는 이것이 당업계에서 자연스러운 사항이며, 도 1의 그림이 단지 본 발명의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 디바이스의 예시임을 인지한다. "워크스테이션," "서버," "랩탑," "휴대용 디바이스" 등과 같은 카테고리들은 도 1의 범주 내에서 고려되며 "컴퓨팅 디바이스"로 지칭되기 때문에 이들 간의 구별은 이루어지지 않는다.
컴퓨팅 디바이스(100)는 전형적으로 다양한 컴퓨터-판독가능한 매체를 포함한다. 컴퓨터-판독가능한 매체는 컴퓨팅 디바이스(100)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며 휘발성 매체 및 비휘발성 매체, 제거가능한 매체 및 제거 불가능한 매체를 모두 포함한다. 예시로서, 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이것으로 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈, 또는 그 외의 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 매체 및 비휘발성 매체, 제거가능한 매체 및 제거 불가능한 매체를 모두 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 그 외의 메모리 기술, CD-ROM, DVD 또는 그 외의 광학 디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그 외의 자기 스토리지 디바이스, 또는 컴퓨팅 디바이스(100)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데에 사용될 수 있는 임의의 다른 매체를 포함하지만, 이것으로 한정되는 것은 아니다.
통신 매체는 전형적으로 컴퓨터-판독가능한 명령, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호 내의 다른 데이터를 포함한다. "변조된 데이터 신호"라는 용어는 하나 이상의 자신의 특성 세트를 갖거나 신호 내의 정보를 인코딩하도록 변경된 전파된 신호를 지칭한다. 예시로서, 통신 매체는 유선 네트워크 또는 다이렉트-와이어 접속과 같은 유선 매체 및 음향, RF, 적외선, 라디오, 마이크로파, 스프레드-스펙트럼 및 그 외의 무선 매체와 같은 무선 매체를 포함하지만, 이것으로 한정되는 것은 아니다. 이들의 조합이 컴퓨터-판독가능한 매체의 범주 내에 포함된다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리의 형태인 컴퓨터 저장 매체를 포함한다. 메모리는 이동식 메모리, 고정식 메모리, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 디바이스는 고체 상태 메모리, 하드 드라이브, 광학적 디스크 드라이브 등을 포함한다. 컴퓨팅 디바이스(100)는 메모리(112) 또는 I/O 컴포넌트(120)와 같은 다양한 엔티티로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프레젠테이션 컴포넌트(들)(116)는 사용자 또는 다른 디바이스에게 데이터 표시를 제시한다. 예시적인 프레젠테이션 컴포넌트는 디스플레이 디바이스, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등을 포함한다.
I/O 포트(118)는 컴퓨팅 디바이스(100)가 I/O 컴포넌트(120)를 포함하는 다른 디바이스에 논리적으로 연결될 수 있게 하며, 이들 중 일부는 내장형일 수 있다. 예시적인 컴포넌트는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 무선 디바이스 등을 포함한다.
전술된 바와 같이, 본 발명의 실시예는 플레이어의 현재 모습을 닮은 아바타를 생성하기 위한 시스템, 방법 및 컴퓨터 매체와 관련된다. 본 발명의 실시예는 도 2 내지 16을 참조로 하여 기술될 것이다.
도 2 내지 4는 플레이어를 묘사하는 데이터를 획득하여 플레이어의 현재 모습을 닮은 아바타를 생성하는 본 발명의 실시예의 구현을 도시한다. 도 2는 플레이어(201)의 가시 스펙트럼 이미지(200)를 도시한다. 이미지(200)는 플레이어(201)의 얼굴(202), 머리카락(204) 및 옷(206)을 포함한다. 일 실시예에서, 플레이어(201)는 이미지(200)의 캡처를 용이하게 하도록 가이드 마커(guide marker)(208)에 따라 자신을 카메라 앞에 위치시킨다. 도 3은 플레이어(201)의 다른 가시 스펙트럼 이미지(300)를 도시한다. 실질적으로 플레이어(201)의 전신이 이미지(300)에 포함된다. 도 3은 또한 이미지(308)의 캡처를 용이하게 하도록 가이드 마커(308)를 포함한다.
가시 스펙트럼 이미지(200, 300)에 더하여, 센서는 플레이어(201)의 하나 이상의 깊이 이미지를 수집한다. 깊이 이미지는 이미지 내의 각 픽셀의 깊이(depth)를 나타내며, 이는 이미지의 배경이 이미지 내의 사람 또는 객체로부터 구별될 수 있게 하고 또한 깊이에 기초하여 얼굴 특징과 같은 사람의 다양한 신체 특징들의 식별을 가능하게 한다. 사람은 이미지의 전경(foreground) 내의 유사한 깊이의 픽셀들을 포함하는 것으로서 인식될 수 있는 반면, 배경은 더욱 깊은 깊이를 갖는 픽셀들로 결정된다.
깊이 데이터는 또한 당업계에서 알려진 바와 같이 골격 데이터의 생성을 가능하게 한다. 일 실시예에서, 사람을 나타내는 이미지의 부분은 깊이 정보를 사용하여 이미지의 배경으로부터 구별될 수 있다. 사람을 나타내는 이미지의 부분은 식별된 사람의 포즈에 대한 매칭을 식별하도록 포즈의 데이터베이스에 비교될 수 있다. 매칭이 식별되면, 매칭에 상응하는 단순화된 골격 구조가 식별될 수 있다. 식별된 골격 구조는 플레이어의 골격의 윤곽을 나타낼 수 있으며, 부가물(appendage) 및 다른 신체 특징들을 나타내도록 연결부위(joint)를 나타내는 점들 및 점들을 연결하는 선들을 포함할 수 있다. 깊이 데이터로부터 단순화된 플레이어 골격을 식별하는 다른 방법들도 고려된다.
골격 데이터 및 깊이 이미지와 함께 가시 스펙트럼 이미지(200, 300)는, 도 4에 도시된 플레이어(201)를 닮은 아바타(400)를 생성하도록 사전결정된 아바타 특징들과 결합된다. 일부 실시예에서, 생성된 아바타는 높이와 폭과 같은 소정의 사전결정된 비율을 가지며, 손, 발, 눈, 팔과 다리 두께, 또는 그 외의 특징들과 같은 소정의 사전결정된 특징들을 갖는다. 아바타(400)는 플레이어(201)의 얼굴(202), 머리카락(204) 및 옷(206)을 반영하며, 다양한 특징들에 대한 수동 선택이 달성할 수 있는 것보다 훨씬 더 정확하게 플레이어(201)를 나타내는 아바타를 획득할 수 있다.
도 5는 플레이어의 현재 모습을 반영하는 아바타를 생성하는 방법을 도시한다. 단계(502)에서, 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 이 데이터는, 플레이어의 가시 스펙트럼 이미지, 플레이어 및 현재 배경 모두를 포함하는 깊이 이미지 및 플레이어에 대한 골격 데이터를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 단계(504)에서, 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 얼굴 모습이 캡처된다. 또한 수신된 데이터에 적어도 부분적으로 기초하여, 단계(506) 및 단계(508)에서 각각 머리카락 모습 및 옷차림이 캡처되고, 단계(510)에서 소매, 바지 또는 반바지, 또는 옷자락이 검출되며, 단계(512)에서 피부색이 캡처된다. 단계(514)에서, 캡처된 얼굴 모습, 머리카락 모습, 옷차림, 소매/바지/옷자락, 및 피부색을 사전결정된 아바타 특징들과 결합함으로써 플레이어를 닮은 아바타가 생성된다.
도 6은 본 발명의 실시예에 따른 시스템(600)을 도시한다. 데이터 획득 컴포넌트(602)는 센서(604)로부터 플레이어의 현재 모습을 묘사하는 데이터를 수신한다. 이 데이터는, 플레이어의 가시 스펙트럼 이미지, 플레이어 및 현재 배경 모두를 포함하는 깊이 이미지 및 플레이어에 대한 골격 데이터를 포함한다. 골격 데이터는 플레이어의 골격의 윤곽을 나타낸다. 센서(604)는 RGB 카메라 및 적외선 또는 다른 깊이 센서를 포함할 수 있다. 일 실시예에서, 플레이어는 센서 데이터의 획득을 용이하게 하기 위해서 다양한 바람직한 위치에서 센서(604)의 경로 내에 위치한다. 데이터 획득 컴포넌트(602)는 수신된 데이터를 얼굴 캡처 컴포넌트(606), 머리카락 캡처 컴포넌트(608), 옷 캡처 컴포넌트(610), 소매 검출 컴포넌트(612) 및 피부색 검출 컴포넌트(614)로 제공한다. 컴포넌트(606, 608, 610, 612, 614)는 정보를 캡처 또는 검출하여 이 정보를 아바타 생성 컴포넌트(616)에 제공하며, 아바타 생성 컴포넌트(616)는 이러한 정보를 이용하여 플레이어를 닮은 3D 아바타를 생성한다.
다양한 실시예에서, 컴포넌트(606, 608, 610, 612, 614)의 임의의 조합이 포함된다. 얼굴 캡처 컴포넌트(606)는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 얼굴 모습을 캡처한다. 머리카락 캡처 컴포넌트(608)는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 머리카락 모습을 캡처한다. 옷 캡처 컴포넌트(610)는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 옷차림을 캡처한다. 소매 검출 컴포넌트(612)는 수신된 데이터에 적어도 부분적으로 기초하여, (1) 셔츠 소매, (2) 바지 또는 반바지 및 (3) 스커트 또는 드레스 자락 중 적어도 하나를 식별한다. 피부색 캡처 컴포넌트(614)는 수신된 데이터에 적어도 부분적으로 기초하여 플레이어의 피부색을 식별한다. 아바타 생성 컴포넌트(616)는 캡처된 얼굴 모습, 머리카락 모습 및 옷차림을 사전결정된 아바타 특징들과 결합시킴으로써 플레이어와 닮은 3D 아바타를 생성한다. 컴포넌트(602, 606, 608, 610, 612, 614, 616)의 기능이 별개의 물리적 컴포넌트 또는 디바이스 상에 존재할 수 있거나 또는 함께 구현될 수도 있다.
도 7은 플레이어의 현재 모습을 반영하는 아바타를 생성하는 방법(700)을 도시한다. 방법(700)의 단계들은 도 6의 시스템(600)의 컴포넌트에 의해 구현될 수 있다. 단계(702)에서, 플레이어의 현재 모습을 묘사하는 데이터가 수신된다. 이러한 데이터는 플레이어의 적어도 하나의 가시 스펙트럼 이미지(702A), 플레이어와 현재 배경 모두를 포함하는 적어도 하나의 깊이 이미지(702B) 및 플레이어에 대한 골격 데이터(702C)를 포함한다. 골격 데이터(702C)는 플레이어의 골격의 윤곽을 나타내며, 적어도 하나의 깊이 이미지(702B)로부터 파생될 수 있다.
단계(704)에서, 플레이어의 얼굴 모습이 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 단계(704)는 하위단계(704A-704C)에 의해 구현될 수 있다. 하위단계(704A)에서, 플레이어의 얼굴이 식별된다. 하위단계(704B)에서, 플레이어 얼굴의 얼굴 특징이 식별된다. 하위단계(704C)에서, 플레이어의 얼굴을 포함하는 수신된 가시 스펙트럼 이미지의 부분이 식별된 얼굴 특징에 기초하여 얼굴 텍스처 맵으로 워핑된다. 얼굴 텍스처 맵은 2D 이미지 포인트들을 3D 모델로 맵핑하는 방식을 식별하는 UV 공간 맵이다.
단계(706)에서, 플레이어의 머리카락 모습이 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 단계(706)는 하위단계(706A-706C)에 의해 구현될 수 있다. 하위단계(706A)에서, 플레이어의 머리카락의 범위가 식별된다. 하위단계(706B)에서, 식별된 플레이어의 머리카락의 범위가 사전결정된 헤어스타일 템플릿에 매칭된다. 하위단계(706C)에서, 플레이어의 머리카락 색상이 식별된다.
단계(708)에서, 플레이어의 옷차림이 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 단계(708)는 하위단계(708A-708C)에 의해 구현될 수 있다. 하위단계(708A)에서, 플레이어 및 현재 배경 모두를 포함하는 수신된 깊이 이미지 및 수신된 플레이어의 가시 스펙트럼 이미지를 이용하여, 에지 검출을 이용하여 바깥쪽 옷 경계가 검출된다. 하위단계(708B)에서, 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여, 결정된 색상 그래디언트에 기초하여 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계가 결정된다. 하위단계(708C)에서, 플레이어 옷은 바깥쪽 옷 경계와 적어도 하나의 안쪽 옷 경계에 의해 적어도 부분적으로 경계가 지어지는 영역으로서 식별된다.
단계(710)에서 플레이어의 피부색이 수신된 데이터에 적어도 부분적으로 기초하여 캡처된다. 단계(710)는 하위단계(710A, 710B)에 의해 구현될 수 있다. 단계(710A)에서, 플레이어의 얼굴에 해당하는 영역 내에서 수신된 가시 스펙트럼 이미지의 하나 이상의 영역의 색상이 샘플링된다. 하위단계(710B)에서, 플레이어의 피부색을 결정하도록 하나 이상의 영역의 샘플링된 색상들을 혼합된다.
단계(712)에서, 플레이어를 닮은 3D 아바타를 생성하도록 얼굴 텍스처 맵, 플레이어의 식별된 머리카락의 범위와 일치하는 헤어스타일 템플릿 및 식별된 플레이어 머리카락 색상을 사전결정된 아바타 특징들과 결합함으로써, 플레이어의 캡처된 얼굴 모습, 머리카락 모습, 옷차림 및 피부색을 반영하는 3D 아바타가 생성된다.
도 5 내지 7을 참조하여 논의된 얼굴 모습 캡처, 머리카락 모습 캡처, 옷차림 캡처 및 소매/바지/치마 자락의 검출이 아래에서 보다 자세하게 기술될 것이다.
얼굴 모습 캡처
전술된 바와 같이, 가시 스펙트럼 이미지, 깊이 이미지 및 골격 데이터가 플레이어의 얼굴 모습을 캡처하는 데에 사용될 수 있다. 캡처된 얼굴 모습은 3D 아바타로 통합될 수 있다. 일 실시예에서, 플레이어의 머리가 플레이어에 대한 수신된 골격 데이터를 분석함으로써 식별될 수 있다. 그 다음 플레이어의 머리에 해당하는 수신된 가시 스펙트럼 이미지의 머리 부분이 식별될 수 있다. 따라서, 플레이어의 머리와 얼굴의 대충의 위치가 먼저 골격 데이터를 이용하여 식별될 수 있으며, 이 위치에 해당하는 가시 스펙트럼 이미지의 부분이 추가로 분석될 수 있다. 일 실시예에서, 얼굴 검출 알고리즘이 수신된 가시 스펙트럼 이미지의 머리 부분에 적용된다. 일 특정 알고리즘에서, 알려진 얼굴들의 데이터베이스에 얼굴을 비교하는 기계 학습 기법(machine learning technique)이 사용된다.
식별된 얼굴로부터, 다양한 얼굴 특징들이 식별될 수 있다. 일부 실시예에서, 식별된 얼굴 특징에 해당하는 얼굴 기준점(alignment point)이 결정된다. 식별된 얼굴 기준점은 템플릿 텍스처 맵(template texture map) 상의 목적지점(destination point)에 매칭된다. 플레이어의 얼굴을 포함하는 수신된 가시 스펙트럼 이미지의 부분은 얼굴 텍스처 맵으로 워핑되어(warped) 얼굴 텍스처 맵이 템플릿 텍스처 맵의 목적지점으로 맵핑된 플레이어 얼굴의 식별된 얼굴 특징에 해당하는 얼굴 기준점을 포함하게 한다. 이로써, 플레이어의 얼굴 이미지가 목적 템플릿에 맞춰지기 위해 미세하기 왜곡된다. 본 발명에서 사용되는 텍스처 맵은 UV 공간에 있으며 3D 모델로 맵핑될 수 있게 하는 정보를 포함한다. 따라서, 얼굴 특징과 상응하는 기준점을 식별하고 기준점을 템플릿 텍스처 맵의 목적지점에 맵핑함으로써, 플레이어 얼굴의 3D 모델이 생성될 수 있다.
이것은 도 8 내지 13에 도시되었다. 도 8은 플레이어(802)의 가시 스펙트럼 이미지(800)를 도시한다. 도 9는 플레이어(802)의 제 2 가시 스펙트럼 이미지(900)를 도시한다. 도 8 및 9에 도시된 가이드 마커는 특징 검출을 용이하게 하도록 도시되었으며, 만약 플레이어(802)가 자신의 몸을 시스템이 기대하는 위치에 위치시키면, 특징 검출이 보다 정확해진다. 도 10은 플레이어(802)의 얼굴(1000)을 도시한다. 얼굴(1000)은 여기에서 머리카락 및 플레이어의 옷의 일부와 함께 도시되었다. 도 11은 식별된 얼굴 특징에 해당하는 예시적인 얼굴 기준점(1102)을 도시한다. 얼굴 특징들은 눈, 턱, 귀, 코, 입, 눈썹, 하관 및 그 외의 특징들을 포함할 수 있다. 일 실시예에서, 99개의 얼굴 기준점이 0-7은 왼쪽 눈, 8-15는 오른쪽 눈, 16-25는 왼쪽 눈썹, 26-35는 오른쪽 눈썹, 36-47은 코, 48-59는 바깥 입, 60-67은 안쪽 입, 68-86은 하관 라인, 87은 왼쪽 눈 중심, 88은 오른쪽 눈 중심, 89는 코 중심 및 90-99는 눈썹 위로서 사용된다.
도 12는 목적지점(1202)과 3D 모델 사이의 관계를 정의하는 템플릿 텍스처 맵(1200)을 도시한다. UV 공간 내의 텍스처 맵은 당업계에서 잘 알려져 있다. 얼굴 기준점(1102)은 목적지점(1202)에 대한 소스점(source point)으로서 역할을 수행한다. 템플릿 텍스처 맵(1200)은 특정한 양식화된 3D 머리 모델로 맵핑하기 위해 작가가 창작한 맵일 수 있다. 다양한 템플릿 텍스처 맵들이 사용될 수 있다. 일부 실시예에서, 모든 기준점이 목적지점에 맞추어 조정될 필요는 없다. 예를 들어, 눈과 입 기준점이 플레이어의 표정을 보다 잘 보존하기 위해 매칭되지 않을 수도 있다. 도 13은 결과적인 얼굴 텍스처 맵(1300)을 도시한다. 얼굴 텍스처 맵(1300)은 도 10의 이미지(1000)에 비교하여 미세하게 왜곡되었다. 얼굴 텍스처 맵(1300)은 플레이어(802)의 현재 모습을 반영하는 3D 아바타의 일부로서 포함된 플레이어(802)의 머리를 나타내는 3D 머리 모델로 모핑될(morphed) 수 있다. 도 14는 플레이어(802)를 닮은 얼굴과 머리(1402)를 갖는 아바타(1400)를 도시한다.
일부 실시예에서, 플레이어의 현재 모습을 묘사하는 데이터가 오직 플레이어의 정면에 대해서만 수신된다. 플레이어의 측면 및 뒤에 대한 데이터는 추론된다. 다른 실시예에서, 복수의 각도 또는 측면으로부터의 플레이어의 이미지가 수신되어, 플레이어의 머리와 몸의 각 면에 대한 특징 인식이 수행된다.
다양한 필터링 및 프로세싱 단계들 또한 수행될 수 있다. 일 실시예에서, 다음의 필터 및 값들, RGB 이미지에 대한 양방향 필터(커널 래디어스 3 픽셀, 에지 문턱값(0-255)은 20, 색상 노이즈 감소(양방향 필터, HSV 색상 공간), 커널 래디어스 5 픽셀, 에지 문턱값(0-255)은 42, 오토-콘트라스트(HSV 공간), 재-센터 값(re-center value)(0-1)은 0.54, 재-표준편차 값(re-Standard Deviation value)(0-1)은 0.15, 및 오리지널(0-1) 0.5와 혼합, 밝기 커브 조정(HSV 공간), 커브 포인트 1은 0.6, 1.0, 오리지널(0-1) 0.5와 혼합이 적용된다.
일부 실시예에서, 얼굴 텍스처 맵을 3D 머리 모델로 모핑(morphing)하기 전에, 기준점이 분석되며, 상응하는 얼굴 특징의 크기가 계산된다. 얼굴 텍스처 맵과 복수의 식별된 얼굴 특징의 계산된 크기에 기초하여, 복수의 사전결정된 머리 모델이 모핑된 3D 머리 모델을 생성하도록 결합된다.
일 실시예에서, 머리가 가까이 있거나 멀리 있는 이미지를 설명하기 위해서 가시 스펙트럼 이미지 내의 플레이어의 머리의 실제 크기를 고려하도록 측정이 정규화된다. 모핑 구성은 정규화된 값들을 평균 및 표준편차 값에 비교함으로써 각 특징에 대해 결정된다. 이것은 특정한 특징이 평균에 비교하였을 때 얼마나 큰지/작은지/넓은지/좁은지 등과 관련된 정보를 효율적으로 제공한다. 다양한 아티스트-생성 3D 머리 모델이 존재하며, 다양한 모델들로부터 적절한 특징이 모핑 구성에 따라 결합된다. 따라서, 정규화된 얼굴 범위가 모핑 구성으로 변환되며, 모핑 구성은 플레이어의 특징을 반영하도록 다양한 머리 모델을 혼합하는 방식을 명시한다.
일 특정한 실시예에서, 모핑 구성은 넓거나, 좁거나, 길거나, 짧은 하관/턱, 좁거나, 넓거나, 짧거나, 긴 코, 넓거나, 좁거나, 높이 있거나, 낮게 있는 눈 영역으로 카테고리화된다.
머리카락 모습 캡처
플레이어의 얼굴 캡처에 더하여, 플레이어의 머리카락 모습이 캡처될 수 있다. 머리카락 모습은 대략의 헤어스타일뿐 아니라 머리카락 색상도 포함한다. 일 실시예에서, 뱅(bang), 정수리 상의 머리카락, 각 측면 상의 머리카락, 턱 위쪽 머리카락, 이마를 덮는 머리카락 등과 같은 플레이어의 머리카락의 다양한 측면들이 분석되어 사전정의된 헤어스타일 템플릿과 매칭하도록 결합된다.
일 실시예에서, 플레이어의 머리카락의 범위가 바깥쪽 및 안쪽 머리카락 경계를 결정함으로써 식별된다. 플레이어와 현재 배경 모두를 포함하는 수신된 깊이 이미지를 이용하여, 플레이어의 머리카락의 깊이로부터 배경의 깊이를 구별함으로써 바깥쪽 머리카락 경계(outer hair boundary)가 결정된다. 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여, 플레이어의 머리카락으로부터 플레이어의 피부 및/또는 옷을 구별함으로써 안쪽 머리카락 경계(inner hair boundary)가 결정된다. 일 실시예에서, 안쪽 머리카락 경계는 플레이어의 머리카락을 사용자가 입고 있는 옷으로부터 구별하고 플레이어의 얼굴 모습 캡처시에 식별된 얼굴 특징을 이용하여 플레이어의 이마 범위를 결정함으로써 결정된다. 플레이어의 이마 위치를 아는 것은 머리카락에 대한 가시 스펙트럼 이미지를 분석할 위치를 좁히도록 돕는다.
플레이어의 머리카락은 바깥쪽 및 안쪽 머리카락 경계에 의해 적어도 부분적으로 경계 지어진 영역으로서 식별된다. 일부 실시예에서, 플레이어의 머리카락의 복수의 머리카락 속성이 식별되며, 복수의 머리카락 속성의 각각은 플레이어의 머리카락의 부분 또는 특징을 기술한다. 머리카락 속성은 정수리 상의 머리카락, 각 측면 상의 머리카락, 턱 위쪽 머리카락, 이마를 덮는 머리카락 등을 포함하지만, 이것으로 한정되는 것은 아니다. 식별된 복수의 머리카락 속성은 가장 좋은 매칭을 찾기 위해서 사전결정된 헤어스타일 템플릿의 라이브러리에 비교될 수 있다. 일부 실시예에서, 라이브러리는 10 내지 20개의 사전결정된 헤어스타일을 포함한다. 다른 실시예에서, 플레이어의 머리로부터의 거리는 특정 픽셀이 머리카락으로 분류될 가능성에 영향을 미치며, 플레이어의 머리에 더 가까울수록 픽셀이 머리카락으로 간주될 가능성이 더 높다.
머리카락 모습 캡처의 세부사항이 다양한 방식으로 구현될 수 있다. 머리카락 모습 캡처의 다양한 측면들의 몇몇 구체적인 예시들이 아래에 제시되었다. 머리카락은 깊이가 알려진(depth-informed) 배경 제거, 이마(forehead) 추정 및 얼굴 제거를 이용하여 컬러 가시 스펙트럼 이미지로부터 분할될 수 있다. 배경 문턱값에 대해 결정하는 것(예로서, 얼굴 거리 +20cm), 전체-배경에 대한 컬러 이미지를 초기화하는 것(특별한 색상 또는 알파로 태그), 배경보다 큰 값을 갖거나 값이 0과 같을 때(깊이 홀(depth hole)) 모든 깊이 픽셀들을 배경으로서 마킹하는 것, 가까이에 있는 이웃한 픽셀들이 이전에 배경으로 마킹된(그러나 새로운 것으로부터 확산되지 않는다) 모든 깊이 픽셀들을 배경으로서 마킹하는 것 - 이것은 깊이 에지를 안쪽으로 약화시킴, 컬러 픽셀들을 깊이 픽셀들로 맵핑, 배경이 아닌 깊이 픽셀에 해당하는 모든 소스 컬러 픽셀을 타겟 컬러 이미지에 복사, 및 범위 한정된 플루드 필(flood-fill)을 이용하여 배경 에지를 따라 컬러 이미지를 다시 채움 - 배경 픽셀에 대해 경계를 이루는 임의의 주어진 배경이 아닌 컬러 픽셀에 대해, 소정의 거리를 이동하였거나 또는 소스 이미지 픽셀 컬러가 오리지널 에지 픽셀 색상으로부터 너무 많이 벗어날 때까지 소스 이미지로부터 타겟 이미지로 픽셀을 복사하고 에지로부터 바깥 방향으로 이동하는 것에 의해 깊이가 알려진 배경 제거가 달성될 수 있다.
이마 추정은, 얼굴-검출 경계를 이용한 중심 얼굴 색상 기준을 샘플링하고 이러한 색상으로 색상 평균을 시드하는 것, 눈썹 바로 위에서 시작하여 이마를 오르는 이마 영역의 폭을 가로질러 샘플링하고 색상의 러닝 평균을 유지하는 것, 샘플 색상의 하나의 라인이 평균과 뚜렷하게 다를 때 러닝 평균을 재설정하고 전이점을 기록하는 것, 및 배경 픽셀이 샘플링되었을 때에만 위로 오르는 것을 멈추고 전이점을 기록하는 것에 의해 달성될 수 있다. 제 1 기록된 전이점은 헤어라인 레벨일 가능성이 있고, 마지막 전이점은 머리카락의 맨 윗부분일 가능성이 있다. 눈썹 레벨은 이마의 가장 아래 부분이다.
얼굴 제거는, 이마가 아닌 아래쪽 얼굴의 좋은 윤곽을 제공하는 얼굴-검출 특징 포인트의 2D 컨벡스 헐(convex hull)을 계산하는 것, 눈을 통해 이어지는 라인 상에서 하관라인 포인트의 일부를 반영하고 이를 컨벡스 헐에 추가하는 것, 반영된 포인트를 헤어라인 위에 배치하는 것을 방지하도록 이마 헤어라인 예측을 이용하는 것, 컨벡스 헐 내의 모든 컬러 픽셀을 배경으로서 마킹하는 것, 및 귀를 제외하고 입과 눈 사이의 수직 영역 내의 모든 컬러 픽셀을 배경으로서 마킹하는 것에 의해 달성될 수 있다.
다른 실시예에서, 머리카락 색상은, 높은 머리카락을 획득하기에 충분히 높고 어깨 길이의 긴 머리카락을 획득하기에 충분히 낮은 얼굴 주변의 직사각형으로 샘플링을 제한하는 것, 전체 평균에 대해 배경으로 마킹되지 않은 모든 색상 픽셀들을 샘플링하는 것, 및 커스텀-스케일된 HCV 색상 공간 내의 평균 색상과 뚜렷하게 다른 임의의 픽셀을 제외한 배경이 아닌 모든 색상 픽셀을 다시 샘플링하는 것에 의해 샘플링된다. 만약 헤어스타일 추정이 완료되면, 플레이어 머리의 측면으로부터 수집된 색상이 위에서 수집된 색상보다 강조될 수 있으며, 이는 측면이 조명 상태에 의해 영향을 덜 받을 가능성이 있기 때문이다.
일 실시예에서, 헤어스타일은 머리카락 샘플링 영역을 상단 중앙, 위쪽 좌측/우측 및 아래쪽 좌측/우측의 5개 영역으로 분할함으로써 예측된다. 상단과 위쪽 좌측/우측 사이의 수평 문턱값은 눈썹의 에지에 있으며, 위쪽과 아래쪽 사이의 문턱값은 얼굴의 중앙이다(귀를 제거함으로써 여백이 되어야 함). 머리카락 색상 분류는 각 영역 내의 머리카락 픽셀의 수를 샘플링하도록 사용되고, 이마 예측은 이마 높이와 상단 머리카락 높이를 측정하도록 사용된다. 이제 이마 높이, 상단 머리카락 높이, 상단 머리카락 영역, 위쪽 측면 영역, 아래쪽 측면 영역의 5개의 값이 획득된다. 상단 머리카락 높이 및 영역 값은 단일값으로 혼합되어 4개의 값을 생성한다. 값들은 얼굴 검출에 기초하여 픽셀에서 예측된 얼굴 크기로 정규화된다. 각 값은 "없음(none)," "일부(some)" 및 "다수(lots)"와 같은 빈(bin)으로 분류될 수 있으며, 이때 문턱값은 사람 또는 기계 학습을 통해 경험적으로 유도된다. 특정한 플레이어에 대한 피드백으로서 디스플레이하기 위한 시각적 헤어스타일을 선택하도록 빈 값(binned value)은 에셋 매트릭스에 대해 매칭된다.
HCV(Hue-chroma-value) 색상 공간은 지각(perceptual) 색상 차이 비교에 사용될 수 있다. 이러한 색상 공간은 원뿔 형태이며, 검정은 바닥에 단일 포인트로서 흰색은 상단에 단일 포인트로서 가지고, 포화된 색상이 상단에서 원뿔의 가장 넓은 부분을 형성한다. HSV는 실린더의 바닥을 가로질러 넓게 퍼진 거의 검정인 색상을 가지며, 이것은 이미지 노이즈가 색조(hue) 및 포화에서 광범위한 변동을 유도할 수 있을 때 문제를 발생시킨다. 두 값 사이의 거리는 HC 평면상의 극좌표를 이용하고 V에 대한 유클리디안 거리(Euclidean distance)를 추가하여 측정된다. 원뿔의 반지름 및 높이가 색상의 서로 다른 특징을 강조하도록 스케일될 수 있다. 색상 공간 거리 문턱값은 조작을 위해 가변적이지만, 이들 3개의 변수 중 하나는 고정될 수 있다. 다른 스케일링 접근법은 원뿔의 상단을 고정된 반지름 1로 유지하고, 대신 거리 문턱값/2의 반지름으로 채도 및 포화도를 혼합함으로써 원뿔의 바닥 포인트를 원판으로 퍼지게 한다. 이러한 접근법은 의사-원뿔(pseudo-cone)의 상단의 포화된 색상에 영향을 미치지 않고 모든 어두운 색상들이 서로의 문턱 거리 내에 있을 것을 보장한다. 일 실시예에서, 머리카락에 대한 특정 튜닝 색상은 거리 문턱값=0.1, H'=H, C'=lerp(S, C, 거리 문턱/2)(문턱=0은 순수한 HCV를 생성), 및 V'=V*0.5를 포함한다.
옷차림 캡처
옷차림 또한 플레이어의 현재 모습을 묘사하는 수신된 데이터로부터 캡처될 수 있다. 생성된 3D 아바타는 플레이어가 입고 있는 것과 유사한 옷을 포함할 수 있다.
일 실시예에서, 플레이어 및 현재 배경 모두를 포함하는 수신된 깊이 이미지와 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여 에지 검출을 이용해 바깥쪽 옷 경계를 결정하는 것, 플레이어의 수신된 가시 스펙트럼 이미지를 이용하여 색상 분석에 기초하여 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계를 결정하는 것, 바깥쪽 옷 경계와 적어도 하나의 안쪽 옷 경계에 의해 적어도 부분적으로 경계지어지는 영역으로서 플레이어 옷을 식별하는 것에 의해 옷차림이 캡처된다. 다른 실시예에서, 에지 검출은 배경의 깊이를 수신된 깊이 이미지 내의 플레이어의 깊이로부터 구별하고, 옷의 색상을 수신된 가시 스펙트럼 이미지 내의 배경의 색상으로부터 구별한다.
일부 실시예에서, 플레이어의 신체 특징이 수신된 골격 데이터를 이용하여 식별된다. 바깥쪽 옷 경계와 적어도 하나의 안쪽 옷 경계는 수신된 가시 스펙트럼 이미지의 영역 및 옷이 전형적으로 입혀진 플레이어의 식별된 신체 특징에 상응하는 수신된 깊이 이미지의 영역들을 분석함으로써 결정된다. 예를 들어, 손목, 팔목, 어깨, 무릎, 엉덩이 등이 골격 데이터로부터 식별될 수 있으며, 시스템에게 옷을 식별하기 위한 좁혀진 분석 영역을 제공한다.
다른 실시예에서, 플레이어의 옷차림을 캡처하는 것은 스케일된 플레이어 골격을 형성하도록 플레이어에 대한 골격 데이터를 사전결정된 골격 크기로 다시 스케일하는 것, 스케일된 플레이어 골격을 사전결정된 포즈(pose)로 재배치(repose)시키는 것, 재배치, 스케일된 플레이어 골격 및 식별된 플레이어 옷에 기초하여 옷 텍스처 맵을 생성하는 것을 더 포함한다. 옷 텍스처 맵으로부터 생성된 3D 신체 모델은 3D 아바타를 생성하는 데에 사용된다.
일부 실시예에서, 옷의 특정한 품목이 식별 및 캡처된다. 다른 실시예에서, 전체 신체 옷 캡처가 수행된다. 또 다른 실시예에서, 옷차림 캡처가 특정 옷차림을 최소 문턱값까지 검출할 수 없을 때, 반팔 셔츠 또는 바지 또는 반바지가 디폴트로서 사용된다. 유사하게, 만약 플레이어의 몸통에서 옷이 검출되지 않으면, 아바타에 짧은 소매의 셔츠가 포함될 수 있다.
일 실시예에서, 추적된 골격 상으로 제공된 캡처된 깊이 맵 위치를 벗겨내는 것이 수행된다. 그 다음 메시(mesh)가 생성된다. 그 다음 스킨 픽셀을 검출하여 스킨으로서 등록하지 않을 수 있지만 스킨 픽셀에 부착된 영역으로 지능적으로 채움으로써 스킨 제거가 수행된다. 배경은 플레이어로 식별된 영역의 에지에 가까운 가시 스펙트럼 이미지 내의 에지를 검출함으로써 플레이어 마스크를 약화시키고 Canny 에지 검출을 이용하여 제거된다. 그 다음 마스크를 채우도록 세로 방향 및 가로 방향으로 뼈를 스트레치하기 위해 뼈 스케일 계산이 수행된다. 골격 데이터는 골격을 제공된 2D 골격 위치로 재배치시키는 데에 사용된다. 그 다음 새롭게 재타겟된 메시를 이용하여 가시 스펙트럼 이미지가 마스크에 적용된다. 픽셀당(per-pixel) 스트레치 및/또는 단순한 RGB 플로드 필(flood fill)이 마스크의 나머지 여백을 채우도록 사용된다.
소매/바지 자락/치마 자락 검출
셔츠 소매, 바지 또는 반바지, 스커트 또는 드레스 자락이 별개의 기능으로써 또는 옷차림 캡처의 일부로서 생각되어질 수 있다. 일 실시예에서, 플레이어의 팔과 다리에 해당하는 영역은 수신된 골격 데이터를 이용하여 식별된다. 플레이어의 수신된 가시 스펙트럼 이미지의 색상은 (1)셔츠 소매, (2)바지 자락 및 (3)스커트 또는 드레스 자락 중 적어도 하나를 검출하도록 플레이어의 팔과 다리에 해당하는 식별된 영역을 따라 분석된다. 예를 들어, 이러한 분석은 색상 분류 또는 그래디언트 분석일 수 있다. 일 실시예에서, 골격 데이터는 가시 스펙트럼 이미지의 색상을 분석하기 위한 경로를 식별하도록 사용될 수 있다. 예를 들어, 골격의 팔 부분이 알려져 있기 때문에, 픽셀의 색상은 팔이 어디에 존재하는지를 찾기 위해서 어깨로부터 팔을 아래로 이동하여 분석될 수 있다.
다른 실시예에서, 스커트 또는 드레스 자락이 검출될 수 있다. 수신된 골격 데이터를 이용하여, 플레이어의 다리에 해당하는 영역이 식별된다. 플레이어와 현재 배경 모두를 포함하는 수신된 깊이 이미지를 이용하여, 플레이어의 다리에 해당하는 식별된 영역 사이의 영역이 분석되어 플레이어 깊이로부터 배경 깊이를 구별하고 플레이어 깊이로부터 배경 깊이를 분리하여 실질적으로 수평 에지를 식별함으로써 스커트 또는 드레스 에지를 검출한다.
골격 데이터는 본 명세서에서 다양한 포인트에서 논의되었다. 도 15는 플레이어(1502)의 가시 스펙트럼 이미지(1500)를 도시하며 도 16은 플레이어(1502)의 상응하는 깊이 이미지(1600)를 도시한다. 센서로부터 감지되는 객체로, 그리고 다시 센서까지의 시간을 측정하는 적외선 센서에 의해 생성될 수 있는 깊이 이미지(1600)는, 제 1 깊이에 있는 배경 부분(1604)과 앞에서 더 가까운 제 2 깊이에 있는 플레이어 부분(1602)을 나타낸다. 단순화된 골격(1606)은 플레이어 부분(1602)의 포즈에 기초하여 결정될 수 있다. 일 실시예에서, 플레이어 부분(1602)은 데이터베이스 내의 다양한 플레이어 포즈에 비교되며, 매칭 식별에 따라, 골격(1606)은 데이터베이스 내의 매칭 포즈의 골격으로 결정된다.
본 발명은 한정적이지 않고 예시적인 특정한 실시예들과 관련하여 기술되었다. 다른 실시예들이 본 발명의 범주로부터 벗어나지 않고 본 발명이 관련된 당업자에게 명백해질 것이다.
전술된 내용으로부터, 명확하고 시스템 및 방법에 내재하는 다른 장점들과 함께 본 발명이 전술된 모든 목적 및 목표를 이루도록 잘 적응될 수 있음을 알 것이다. 소정의 특징들과 하위-조합이 이용가능하며 다른 특징들 및 하위-조합들을 참조하지 않고 사용될 수 있음을 이해할 것이다. 이것은 본 발명의 특허청구범위의 범주에 의해 고려되며 이러한 범주 내에 포함된다.

Claims (19)

  1. 컴퓨팅 디바이스에 의해 실행될 때, 플레이어의 현재 모습을 반영하는 아바타(avatar)를 생성하는 방법을 수행하는 컴퓨터 실행가능한 명령어들이 포함된(embodied) 컴퓨터 하드웨어 디바이스에 있어서,
    상기 방법은,
    상기 플레이어의 현재 모습을 묘사하는 데이터 - 상기 데이터는 상기 플레이어의 가시 스펙트럼 이미지(visible spectrum image), 상기 플레이어와 현재 배경 모두를 포함하는 깊이 이미지(depth image) 및 상기 플레이어에 대한 골격 데이터(skeletal data)를 포함하고, 상기 골격 데이터는 상기 플레이어의 골격의 윤곽을 나타냄 - 를 수신하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 얼굴 모습(facial appearance)을 캡처하는 단계로서,
    상기 플레이어의 얼굴을 식별하는 단계와,
    상기 플레이어의 얼굴의 얼굴 특징들을 식별하는 단계와,
    상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분을 상기 식별된 얼굴 특징들에 기초하여 얼굴 텍스처 맵(face texture map) - 상기 얼굴 텍스처 맵은 상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분의 UV 공간 맵임 - 으로 워핑(warping)하는 단계
    에 의해 상기 얼굴 모습을 캡처하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 머리카락 모습(hair appearance)을 캡처하는 단계로서,
    상기 플레이어의 머리카락의 범위(extent)를 식별하는 단계와,
    상기 플레이어의 머리카락의 상기 식별된 범위를 미리결정된 헤어스타일 템플릿(hairstyle template)과 매칭하는 단계와,
    상기 플레이어의 머리카락의 색상을 식별하는 단계
    에 의해 상기 머리카락 모습을 캡처하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 옷차림(clothing appearance)을 캡처하는 단계로서,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지 및 상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 에지 검출을 통해 바깥쪽 옷 경계를 결정하는 단계와,
    상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 결정된 색상 그래디언트에 기초해 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계를 결정하는 단계와,
    적어도 부분적으로 상기 바깥쪽 옷 경계와 상기 적어도 하나의 안쪽 옷 경계에 의해 경계지워지는 영역으로서 플레이어 옷을 식별하는 단계
    에 의해 상기 옷차림을 캡처하는 단계와,
    상기 얼굴 텍스처 맵, 상기 플레이어의 머리카락의 상기 식별된 범위에 매칭되는 상기 헤어스타일 템플릿 및 상기 식별된 플레이어의 머리카락 색상을 미리결정된 아바타 특징들과 결합함으로써 3D 아바타가 상기 플레이어를 닮게 되도록 상기 플레이어의 상기 캡처된 얼굴 모습 및 머리카락 모습을 반영하는 3D 아바타를 생성하는 단계
    를 포함하며,
    상기 생성된 3D 아바타는 상기 식별된 플레이어 옷을 닮은 옷을 가지는 것인 컴퓨터 하드웨어 디바이스.
  2. 제1항에 있어서,
    상기 플레이어의 얼굴을 식별하는 단계는,
    상기 플레이어에 대한 상기 수신된 골격 데이터를 분석함으로써 상기 플레이어의 머리를 식별하는 단계와,
    상기 플레이어의 머리에 대응하는 상기 수신된 가시 스펙트럼 이미지의 머리 부분을 식별하는 단계와,
    상기 수신된 가시 스펙트럼 이미지의 상기 머리 부분에 얼굴 검출 알고리즘을 적용하는 단계
    를 포함하는 것인 컴퓨터 하드웨어 디바이스.
  3. 제1항에 있어서, 상기 플레이어의 얼굴 모습을 캡처하는 단계는, 상기 식별된 얼굴 특징들에 대응하는 얼굴 기준점(alignment point)들을 식별하는 단계를 더 포함하고,
    상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분을 상기 식별된 얼굴 특징들에 기초하여 상기 얼굴 텍스처 맵으로 워핑하는 단계는, 상기 얼굴 텍스처 맵이 템플릿 텍스처 맵의 목적지점(destination point)들에 매핑되는 상기 플레이어의 얼굴의 상기 식별된 얼굴 특징들에 대응하는 얼굴 기준점들을 포함하도록 상기 식별된 얼굴 기준점들을 상기 템플릿 텍스처 맵 상의 목적지점들과 매칭하는 단계를 포함하는 것인 컴퓨터 하드웨어 디바이스.
  4. 제3항에 있어서, 상기 3D 아바타를 생성하는 단계는 모핑된 3D 머리 모델을 생성하는 단계를 포함하고,
    상기 모핑된 3D 머리 모델을 생성하는 단계는,
    상기 얼굴 텍스처 맵의 매핑된 얼굴 기준점들을 분석하는 단계와,
    상기 매핑된 얼굴 기준점들에 대응하는 복수의 상기 식별된 얼굴 특징들에 대해, 상기 복수의 식별된 얼굴 특징들의 크기를 계산하는 단계와,
    상기 얼굴 텍스처 맵 및 복수의 식별된 얼굴 특징들의 계산된 크기에 기초하여, 복수의 미리결정된 머리 모델들을 결합하여 모핑된(morphed) 3D 머리 모델을 생성하는 단계에 의해 이루어지는 것인 컴퓨터 하드웨어 디바이스.
  5. 제1항에 있어서,
    상기 플레이어의 머리카락의 범위를 식별하는 단계는,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지를 이용하여, 상기 배경의 깊이를 상기 플레이어의 머리카락의 깊이로부터 구별함으로써 바깥쪽 머리카락 경계(outer hair boundary)를 결정하는 단계와,
    상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 상기 플레이어의 피부를 상기 플레이어의 머리카락으로부터 구별함으로써 안쪽 머리카락 경계(inner hair boundary)를 결정하는 단계
    를 포함하는 컴퓨터 하드웨어 디바이스.
  6. 제5항에 있어서,
    상기 안쪽 머리카락 경계를 결정하는 단계는,
    상기 플레이어의 머리카락을 상기 플레이어가 입은 옷으로부터 구별하는 단계와,
    상기 플레이어의 얼굴 모습의 캡처시에 식별된 얼굴 특징들을 이용하여, 상기 플레이어의 이마의 범위를 결정하는 단계를 포함하는 것인 컴퓨터 하드웨어 디바이스.
  7. 제5항에 있어서,
    상기 플레이어의 머리카락의 상기 식별된 범위를 미리결정된 헤어스타일 템플릿과 매칭하는 단계는,
    상기 플레이어의 머리카락을 적어도 부분적으로 상기 바깥쪽 머리카락 경계 및 상기 안쪽 머리카락 경계에 의해 경계지워지는 영역으로서 식별하는 단계와,
    상기 플레이어의 머리카락의 복수의 머리카락 속성 - 상기 복수의 머리카락 속성의 각각은 상기 플레이어의 머리카락의 부분 또는 특징을 묘사함 - 을 식별하는 단계와,
    상기 식별된 복수의 머리카락 속성을 미리결정된 헤어스타일 템플릿의 라이브러리와 비교하는 단계를 포함하는 것인 컴퓨터 하드웨어 디바이스.
  8. 제1항에 있어서, 상기 에지 검출은, 상기 수신된 깊이 이미지에서 상기 플레이어의 깊이로부터 상기 배경의 깊이를 구별하고, 상기 수신된 가시 스펙트럼 이미지 내의 상기 배경의 색상으로부터 옷의 색상을 구별하는 것인 컴퓨터 하드웨어 디바이스.
  9. 제1항에 있어서, 상기 플레이어의 옷차림을 캡처하는 단계는,
    상기 수신된 골격 데이터를 이용하여, 상기 플레이어의 신체 특징들을 식별하는 단계와,
    옷이 일반적으로 착용되는 상기 플레이어의 식별된 신체 특징들에 대응하는 상기 수신된 깊이 이미지의 영역 및 상기 수신된 가시 스펙트럼 이미지의 영역을 분석함으로써 상기 바깥쪽 옷 경계 및 상기 적어도 하나의 안쪽 옷 경계를 결정하는 단계를 더 포함하는 컴퓨터 하드웨어 디바이스.
  10. 제1항에 있어서, 상기 플레이어의 옷차림을 캡처하는 단계는,
    스케일링된 플레이어 골격을 형성하기 위하여 상기 플레이어에 대한 골격 데이터를 미리결정된 골격 사이즈로 리스케일링(rescale)하는 단계와,
    상기 스케일링된 플레이어 골격을 미리결정된 포즈로 재배치(reposing)하는 단계와,
    상기 재배치되고 스케일링된 플레이어 골격 및 상기 식별된 플레이어 옷에 기초하여 옷 텍스처 맵을 생성하는 단계
    를 더 포함하며,
    상기 옷 텍스처 맵으로부터 생성된 3D 신체 모델은 상기 3D 아바타를 생성하는데 사용되는 것인 컴퓨터 하드웨어 디바이스.
  11. 제1항에 있어서, 상기 플레이어의 옷차림을 캡처하는 단계는,
    상기 수신된 골격 데이터를 이용하여, 상기 플레이어의 팔과 다리에 대응하는 영역을 식별하는 단계와,
    (1) 셔츠 소매, (2) 바지 또는 반바지(shorts leg), 및 (2) 스커트 또는 드레스 자락 중 적어도 하나를 검출하기 위하여 상기 플레이어의 팔과 다리에 대응하는 상기 식별된 영역을 따라 상기 플레이어의 상기 수신된 가시 스펙트럼 이미지의 색상을 분석하는 단계를 더 포함하는 컴퓨터 하드웨어 디바이스.
  12. 제1항에 있어서, 상기 플레이어의 옷차림을 캡처하는 단계는,
    상기 수신된 골격 데이터를 이용하여, 상기 플레이어의 다리에 대응하는 영역을 식별하는 단계와,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지를 이용하여, 플레이어 깊이로부터 배경 깊이를 구별하고 상기 플레이어 깊이로부터 상기 배경 깊이를 분리하는 수평 에지를 식별함으로써 스커트 또는 드레스 에지를 검출하도록 상기 플레이어의 상기 다리에 대응하는 상기 식별된 영역들 사이의 영역을 분석하는 단계를 더 포함하는 컴퓨터 하드웨어 디바이스.
  13. 제1항에 있어서,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 피부색을 캡처하는 단계를 더 포함하고,
    상기 플레이어의 피부색을 캡처하는 단계는,
    상기 플레이어의 얼굴에 대응하는 영역 내의 상기 수신된 가시 스펙트럼 이미지의 하나 이상의 영역의 색상을 샘플링하는 단계와,
    플레이어의 피부색을 결정하도록 상기 하나 이상의 영역의 상기 샘플링된 색상을 혼합하는 단계에 의해 이루어지며,
    상기 생성된 3D 아바타는 상기 결정된 플레이어 피부색을 반영하는 피부색을 가지는 것인 컴퓨터 하드웨어 디바이스.
  14. 실행되었을 때, 쿼리-의존적(query-dependent) 오디오 및 비디오 클립 프리뷰들을 제공하는 방법을 수행하는 컴퓨터 실행가능한 명령어들을 포함하는 시스템이 포함된 컴퓨터 하드웨어 디바이스에 있어서,
    상기 시스템은,
    플레이어의 현재 모습을 묘사하는 데이터 - 상기 데이터는 상기 플레이어의 가시 스펙트럼 이미지, 상기 플레이어와 현재 배경 모두를 포함하는 깊이 이미지 및 상기 플레이어에 대한 골격 데이터를 포함하고, 상기 골격 데이터는 상기 플레이어의 골격의 윤곽을 나타냄 - 를 수신하는 데이터 획득 컴포넌트와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 얼굴 모습을 캡처하는 얼굴 캡처 컴포넌트 - 상기 플레이어의 얼굴 모습을 캡처하는 것은, 상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분을 얼굴 텍스처 맵으로 워핑하는 것을 포함하고, 상기 얼굴 텍스처 맵은 상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분의 UV 공간 맵임 - 와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 머리카락 모습을 캡처하는 머리카락 캡처 컴포넌트와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 옷차림을 캡처하는 옷 캡처 컴포넌트로서,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지 및 상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 에지 검출을 통해 바깥쪽 옷 경계를 결정하고,
    상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 결정된 색상 그래디언트에 기초해 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계를 결정하고,
    적어도 부분적으로 상기 바깥쪽 옷 경계와 상기 적어도 하나의 안쪽 옷 경계에 의해 경계지워지는 영역으로서 플레이어 옷을 식별함으로써 상기 플레이어의 옷차림을 캡처하는 옷 캡처 컴포넌트와,
    상기 캡처된 얼굴 모습, 캡처된 머리카락 모습 및 옷차림을 미리결정된 아바타 특징들과 결합함으로써 상기 플레이어를 닮은 3D 아바타를 생성하는 아바타 생성 컴포넌트를 포함하는 컴퓨터 하드웨어 디바이스.
  15. 제14항에 있어서,
    상기 수신된 데이터에 적어도 부분적으로 기초하여, (1) 셔츠 소매, (2) 바지 또는 반바지 및 (3) 스커트 또는 드레스 자락 중 적어도 하나를 식별하는 소매 검출 컴포넌트와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 피부색을 식별하는 피부색 캡처 컴포넌트를 더 포함하며,
    상기 아바타 생성 컴포넌트는, 상기 플레이어를 닮은 상기 3D 아바타를 생성하도록 상기 식별된 (1) 셔츠 소매, (2) 바지 또는 반바지 및 (3) 스커트 또는 드레스 자락 중 적어도 하나와 상기 식별된 피부색을 결합하는 것인 컴퓨터 하드웨어 디바이스.
  16. 플레이어의 현재 모습을 반영하는 아바타를 생성하는 컴퓨터 구현되는 방법으로서,
    상기 플레이어의 현재 모습을 묘사하는 데이터 - 상기 데이터는 상기 플레이어의 가시 스펙트럼 이미지, 상기 플레이어와 현재 배경 모두를 포함하는 깊이 이미지 및 상기 플레이어에 대한 골격 데이터를 포함하고, 상기 골격 데이터는 상기 플레이어의 골격의 윤곽을 나타냄 - 를 수신하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 얼굴 모습을 캡처하는 단계로서,
    상기 플레이어의 얼굴을 식별하는 단계와,
    상기 플레이어의 얼굴의 얼굴 특징들을 식별하는 단계와,
    상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분을 상기 식별된 얼굴 특징들에 기초하여 얼굴 텍스처 맵 - 상기 얼굴 텍스처 맵은 상기 플레이어의 얼굴을 포함하는 상기 수신된 가시 스펙트럼 이미지의 부분의 UV 공간 맵임 - 으로 워핑하는 단계
    에 의해 상기 얼굴 모습을 캡처하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 머리카락 모습을 캡처하는 단계로서,
    상기 플레이어의 머리카락의 범위를 식별하는 단계와,
    상기 플레이어의 머리카락의 상기 식별된 범위를 미리결정된 헤어스타일 템플릿과 매칭하는 단계와,
    상기 플레이어의 머리카락의 색상을 식별하는 단계
    에 의해 상기 머리카락 모습을 캡처하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 옷차림을 캡처하는 단계로서,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지 및 상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 에지 검출을 통해 바깥쪽 옷 경계를 결정하는 단계와,
    상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 결정된 색상 그래디언트에 기초해 피부로부터 옷을 구별함으로써 적어도 하나의 안쪽 옷 경계를 결정하는 단계와,
    적어도 부분적으로 상기 바깥쪽 옷 경계와 상기 적어도 하나의 안쪽 옷 경계에 의해 경계지워지는 영역으로서 플레이어 옷을 식별하는 단계
    에 의해 상기 옷차림을 캡처하는 단계와,
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 플레이어의 피부색을 캡처하는 단계로서,
    상기 플레이어의 얼굴에 대응하는 영역 내의 상기 수신된 가시 스펙트럼 이미지의 하나 이상의 영역의 색상을 샘플링하는 단계와,
    플레이어의 피부색을 결정하도록 상기 하나 이상의 영역의 상기 샘플링된 색상을 혼합하는 단계
    에 의해 상기 피부색을 캡처하는 단계와,
    상기 얼굴 텍스처 맵, 상기 플레이어의 머리카락의 상기 식별된 범위에 매칭되는 상기 헤어스타일 템플릿 및 상기 식별된 플레이어의 머리카락 색상을 사전결정된 아바타 특징들과 결합함으로써 3D 아바타가 상기 플레이어를 닮게 되도록 상기 플레이어의 상기 캡처된 얼굴 모습, 머리카락 모습, 옷차림 및 피부색을 반영하는 3D 아바타를 생성하기 위해 컴퓨팅 디바이스의 프로세서를 이용하는 단계를 포함하는 컴퓨터 구현 방법.
  17. 제16항에 있어서,
    상기 플레이어의 옷차림을 캡처하는 단계는,
    상기 수신된 골격 데이터를 이용하여, 상기 플레이어의 팔과 다리에 대응하는 영역을 식별하는 단계와,
    상기 플레이어의 상기 팔과 다리에 대응하는 상기 식별된 영역을 따라 상기 플레이어의 상기 수신된 가시 스펙트럼 이미지의 상기 색상 그래디언트를 분석하여 (1) 셔츠 소매, (2) 바지 또는 반바지 및 (3) 스커트 또는 드레스 자락 중 적어도 하나를 검출하는 단계를 더 포함하는 컴퓨터 구현 방법.
  18. 제16항에 있어서,
    상기 플레이어의 옷차림을 캡처하는 단계는,
    상기 수신된 골격 데이터를 이용하여, 상기 플레이어의 팔에 대응하는 영역을 식별하는 단계와,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지를 이용하여, 플레이어 깊이로부터 배경 깊이를 구별하고 상기 플레이어 깊이로부터 상기 배경 깊이를 분리하는 수평 에지를 식별함으로써 스커트 또는 드레스 에지를 검출하도록 상기 플레이어의 다리에 대응하는 상기 식별된 영역들 사이의 영역을 분석하는 단계를 더 포함하는 컴퓨터 구현 방법.
  19. 제16항에 있어서,
    상기 플레이어의 머리카락의 범위를 식별하는 단계는,
    상기 플레이어와 상기 현재 배경 모두를 포함하는 상기 수신된 깊이 이미지를 이용하여, 상기 배경의 깊이를 상기 플레이어의 머리카락의 깊이로부터 구별함으로써 바깥쪽 머리카락 경계를 결정하는 단계와,
    상기 플레이어의 상기 수신된 가시 스펙트럼 이미지를 이용하여, 상기 플레이어의 피부를 상기 플레이어의 머리카락과 상기 플레이어가 입은 옷으로부터 구별함으로써 안쪽 머리카락 경계를 결정하는 단계와,
    상기 플레이어의 상기 얼굴 모습 캡처시에 식별된 상기 얼굴 특징들을 이용하여, 상기 플레이어의 이마(forehead)의 범위를 결정하는 단계
    를 포함하며,
    상기 플레이어의 머리카락의 상기 식별된 범위를 상기 미리결정된 헤어스타일 템플릿과 매칭하는 단계는,
    적어도 부분적으로 상기 바깥쪽 머리카락 경계와 상기 안쪽 머리카락 경계에 의해 경계지워지는 영역으로서 상기 플레이어의 머리카락을 식별하는 단계와,
    상기 플레이어의 머리카락의 복수의 머리카락 속성 - 상기 복수의 머리카락 속성의 각각은 상기 플레이어의 머리카락의 부분(portion) 또는 특성(characteristic)을 묘사함 - 을 식별하는 단계와,
    상기 식별된 복수의 머리카락 속성을 사전결정된 헤어스타일 템플릿의 라이브러리와 비교하는 단계
    를 포함하는 것인 컴퓨터 구현 방법.
KR1020137032380A 2011-06-06 2012-06-04 플레이어의 모습을 반영한 아바타의 생성 기법 KR101896137B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493839P 2011-06-06 2011-06-06
US61/493,839 2011-06-06
US13/297,890 2011-11-16
US13/297,890 US9013489B2 (en) 2011-06-06 2011-11-16 Generation of avatar reflecting player appearance
PCT/US2012/040768 WO2012170354A2 (en) 2011-06-06 2012-06-04 Generation of avatar reflecting player appearance

Publications (2)

Publication Number Publication Date
KR20140033088A KR20140033088A (ko) 2014-03-17
KR101896137B1 true KR101896137B1 (ko) 2018-09-07

Family

ID=47262095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032380A KR101896137B1 (ko) 2011-06-06 2012-06-04 플레이어의 모습을 반영한 아바타의 생성 기법

Country Status (6)

Country Link
US (2) US9013489B2 (ko)
EP (1) EP2718902B1 (ko)
JP (1) JP5976103B2 (ko)
KR (1) KR101896137B1 (ko)
CN (1) CN103597518B (ko)
WO (1) WO2012170354A2 (ko)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
JP5874325B2 (ja) * 2011-11-04 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5994233B2 (ja) 2011-11-08 2016-09-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
JP5869145B2 (ja) * 2011-12-20 2016-02-24 インテル コーポレイション 記憶済みコンテンツのローカルセンサ増補及びａｒ通信
US9367869B2 (en) * 2012-02-13 2016-06-14 Dean Stark System and method for virtual display
JP5949030B2 (ja) 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US20140031118A1 (en) * 2012-07-30 2014-01-30 Michael A. Liberty Interactive virtual farming video game
JP5949331B2 (ja) * 2012-08-30 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
EP2904581B1 (en) * 2012-10-01 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for determining a depth of a target object
US9607441B2 (en) * 2012-10-02 2017-03-28 Autodesk, Inc. Morphological attractor for creating custom ancestors in inheritance-based character generation
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
US9285951B2 (en) * 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
EP3047882A4 (en) * 2013-10-24 2016-08-31 Huawei Device Co Ltd METHOD AND DEVICE FOR DISPLAYING AN IMAGE
US20150134302A1 (en) * 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs
CN104637078B (zh) * 2013-11-14 2017-12-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置
US10037653B2 (en) 2013-12-19 2018-07-31 Empire Technology Development Llc Peer-to-peer (P2P) code exchange facilitation in centrally managed online service
US10366439B2 (en) 2013-12-27 2019-07-30 Ebay Inc. Regional item reccomendations
US10444938B1 (en) * 2014-02-26 2019-10-15 Symantec Corporation Systems and methods for customizing user icons
CN104021138B (zh) * 2014-04-23 2017-09-01 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
US10192134B2 (en) * 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
CN106413516B (zh) * 2014-07-30 2018-01-23 奥林巴斯株式会社 图像处理装置
US20160092956A1 (en) 2014-09-30 2016-03-31 Jonathan Su Garment size mapping
CN107206281A (zh) * 2014-11-21 2017-09-26 索尼互动娱乐股份有限公司 程序及信息处理设备
US10204375B2 (en) 2014-12-01 2019-02-12 Ebay Inc. Digital wardrobe using simulated forces on garment models
KR102374446B1 (ko) * 2014-12-11 2022-03-15 인텔 코포레이션 아바타 선택 메커니즘
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
CN104504746B (zh) * 2014-12-24 2017-12-15 天脉聚源（北京）科技有限公司 一种生成虚拟图像的方法
US10013796B2 (en) 2015-01-22 2018-07-03 Ditto Technologies, Inc. Rendering glasses shadows
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US10310616B2 (en) 2015-03-31 2019-06-04 Ebay Inc. Modification of three-dimensional garments using gestures
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160371878A1 (en) 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing image perspective adjustment and automatic fitting
CN104950887B (zh) * 2015-06-19 2017-07-21 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置
CN104965707A (zh) * 2015-06-30 2015-10-07 王正豪 一种网游角色渲染处理方法
US10019848B2 (en) 2015-07-31 2018-07-10 Adobe Systems Incorporated Edge preserving color smoothing of 3D models
CN105023280A (zh) * 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
CN105338369A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
US10398867B2 (en) * 2015-11-10 2019-09-03 Koninklijke Philips N.V. Determining information about a patients face
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
US10192103B2 (en) * 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US20170312634A1 (en) * 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
WO2017223530A1 (en) * 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN106127861B (zh) * 2016-06-29 2019-02-19 黄丽英 可佩带式发型模拟装置及其模拟控制系统
CN106136559B (zh) * 2016-06-29 2019-07-16 南宁远卓新能源科技有限公司 自助发型模拟装置及其模拟控制系统
US10452896B1 (en) * 2016-09-06 2019-10-22 Apple Inc. Technique for creating avatar from image data
JP6698216B2 (ja) * 2016-09-23 2020-05-27 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． アバターの作成及び編集に関する米国特許商標局への特許出願
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US10384133B1 (en) 2016-12-30 2019-08-20 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US10454857B1 (en) * 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
CN106807088A (zh) * 2017-02-15 2017-06-09 成都艾维拓思科技有限公司 游戏数据更新的方法及装置
US10357718B2 (en) 2017-02-28 2019-07-23 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
KR101866407B1 (ko) 2017-03-15 2018-06-12 주식회사 한글과컴퓨터 아바타 생성 시스템 및 이를 이용한 아바타 생성 방법
US11145138B2 (en) 2017-04-28 2021-10-12 Linden Research, Inc. Virtual reality presentation of layers of clothing on avatars
US11094136B2 (en) * 2017-04-28 2021-08-17 Linden Research, Inc. Virtual reality presentation of clothing fitted on avatars
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR20230144661A (ko) 2017-05-16 2023-10-16 애플 인크. 이모지 레코딩 및 전송
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10311624B2 (en) 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
CN109325988B (zh) * 2017-07-31 2022-11-11 腾讯科技（深圳）有限公司 一种面部表情合成方法、装置及电子设备
CN107551549A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏形象调整方法及其装置
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US10916059B2 (en) * 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
CN108171789B (zh) * 2017-12-21 2022-01-18 迈吉客科技（北京）有限公司 一种虚拟形象生成方法和系统
CN109961477A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种空间定位方法、装置及设备
CN109961473A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 双眼定位方法及装置、电子设备和计算机可读存储介质
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN109961478A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
KR102181587B1 (ko) 2017-12-26 2020-11-20 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
DE102018102560A1 (de) * 2018-02-06 2019-08-08 Connaught Electronics Ltd. Verfahren zum Anzeigen einer Szene von einem bestimmten Blickpunkt aus auf einer Anzeigevorrichtung eines Fahrzeugs und Fahrerassistenzsystem
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US10820650B2 (en) 2018-02-27 2020-11-03 Levi Strauss & Co. Surface projection for apparel in an apparel design system
KR102577472B1 (ko) * 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
CN108479070A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 虚拟模型生成方法和装置
KR102068489B1 (ko) * 2018-03-30 2020-01-22 (주)온넷시스템즈코리아 3차원 객체 생성 장치
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技（深圳）有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
US10713543B1 (en) 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102113745B1 (ko) * 2018-10-02 2020-05-28 한국과학기술연구원 3차원 모델의 텍스처를 전이하는 방법 및 장치
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11182634B2 (en) * 2019-02-05 2021-11-23 Disney Enterprises, Inc. Systems and methods for modifying labeled content
CN110020520B (zh) * 2019-03-26 2021-03-26 华中科技大学 一种基于声音信号的人脸识别辅助认证方法和系统
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US10953334B2 (en) * 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
JP7323315B2 (ja) 2019-03-27 2023-08-08 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法及びプログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11110353B2 (en) 2019-07-10 2021-09-07 Electronic Arts Inc. Distributed training for machine learning of AI controlled virtual entities on video game clients
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
US20210073886A1 (en) 2019-08-29 2021-03-11 Levi Strauss & Co. Digital Showroom with Virtual Previews of Garments and Finishes
WO2021096192A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Neural facial expressions and head poses reenactment with latent pose descriptors
CN111182350B (zh) * 2019-12-31 2022-07-26 广州方硅信息技术有限公司 图像处理方法、装置、终端设备及存储介质
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
US11508087B2 (en) * 2020-04-27 2022-11-22 Snap Inc. Texture-based pose validation
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
KR102358854B1 (ko) * 2020-05-29 2022-02-04 연세대학교 산학협력단 얼굴 이미지 색상 합성 장치 및 방법
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN112017295B (zh) * 2020-08-28 2024-02-09 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112121436B (zh) * 2020-09-18 2024-02-09 网易（杭州）网络有限公司 游戏数据处理方法及装置
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112132979B (zh) * 2020-09-29 2022-04-22 支付宝(杭州)信息技术有限公司 一种虚拟资源的选取方法、装置及设备
CN112221133A (zh) * 2020-10-21 2021-01-15 Oppo（重庆）智能科技有限公司 游戏画面的定制方法、云服务器、终端及存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11863916B2 (en) * 2022-01-27 2024-01-02 Altek Semiconductor Corporation Color correction method and image correction apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Family Cites Families (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
IL121138A (en) * 1997-06-23 2001-11-25 Chiaro Networks Ltd An integrated device for optical components for beam deflection
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP1147370B1 (en) 1998-12-16 2009-02-25 3DV Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6543052B1 (en) 1999-07-09 2003-04-01 Fujitsu Limited Internet shopping system utilizing set top box and voice recognition
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7062085B2 (en) * 2001-09-13 2006-06-13 Eastman Kodak Company Method for detecting subject matter regions in images
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2003217528A1 (en) * 2002-03-26 2003-10-08 So-Woon Kim System and method for 3-dimension simulation of glasses
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1743277A4 (en) 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070273711A1 (en) * 2005-11-17 2007-11-29 Maffei Kenneth C 3D graphics system and method
EP1956548A4 (en) 2005-12-01 2009-04-15 Shiseido Co Ltd FACIAL CLASSIFICATION PROCEDURE, FACE CLASSIFICATION DEVICE, CLASSIFICATION IMAGING, FACE CLASSIFICATION PROGRAM, RECORDING MEDIUM ON WHICH THE PROGRAM IS RECORDED
US9471924B2 (en) 2005-12-08 2016-10-18 International Business Machines Corporation Control of digital media character replacement using personalized rulesets
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7720284B2 (en) * 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20100013559A1 (en) * 2007-02-02 2010-01-21 Max Lee B High frequency amplifying device
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8398793B2 (en) * 2007-07-20 2013-03-19 Curt G. Joa, Inc. Apparatus and method for minimizing waste and improving quality and production in web processing operations
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
EP2267324B1 (en) * 2008-03-21 2021-06-16 NTN Corporation Comb-shaped cage for a ball bearing, ball bearing with the cage and method of manufacturing the cage
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8364863B2 (en) * 2008-07-11 2013-01-29 Intel Corporation Method and apparatus for universal serial bus (USB) command queuing
WO2010019925A1 (en) * 2008-08-15 2010-02-18 Brown Technology Partnerships Method and apparatus for estimating body shape
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
JP2010066853A (ja) 2008-09-09 2010-03-25 Fujifilm Corp 画像処理装置、方法およびプログラム
US8600101B2 (en) * 2009-02-05 2013-12-03 Kazuo Sairyo Portrait illustration creation system, character creation system, and created portrait illustration display system
US20100290677A1 (en) * 2009-05-13 2010-11-18 John Kwan Facial and/or Body Recognition with Improved Accuracy
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR101604631B1 (ko) * 2009-07-21 2016-03-18 삼성전자주식회사 불 휘발성 메모리 장치 및 그것의 프로그램 방법
US9146784B2 (en) * 2009-08-03 2015-09-29 Oracle International Corporation Invocation of web services based on a policy file including processes of a workflow associated with user roles
US20110194762A1 (en) * 2010-02-04 2011-08-11 Samsung Electronics Co., Ltd. Method for detecting hair region
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation

Also Published As

Publication number Publication date
US9013489B2 (en) 2015-04-21
EP2718902B1 (en) 2017-07-26
KR20140033088A (ko) 2014-03-17
CN103597518B (zh) 2016-10-26
JP2014522536A (ja) 2014-09-04
CN103597518A (zh) 2014-02-19
US20150190716A1 (en) 2015-07-09
EP2718902A2 (en) 2014-04-16
JP5976103B2 (ja) 2016-08-23
US20120309520A1 (en) 2012-12-06
WO2012170354A2 (en) 2012-12-13
WO2012170354A3 (en) 2013-03-28
EP2718902A4 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
KR101896137B1 (ko) 플레이어의 모습을 반영한 아바타의 생성 기법
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN109690617B (zh) 用于数字化妆镜的系统和方法
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
WO2016011834A1 (zh) 一种图像处理方法及系统
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
JP4998637B1 (ja) 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
WO2018094653A1 (zh) 一种用户头发模型的重建方法、装置及终端
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
JP2001109913A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
WO2014081394A1 (en) Method, apparatus and system for virtual clothes modelling
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Rosin et al. Non-photorealistic rendering of portraits
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
WO2023138345A1 (zh) 虚拟形象生成方法和系统
WO2020104990A1 (en) Virtually trying cloths & accessories on body model
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
US20200126314A1 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal