KR102374446B1 - 아바타 선택 메커니즘 - Google Patents

아바타 선택 메커니즘 Download PDF

Info

Publication number
KR102374446B1
KR102374446B1 KR1020177012781A KR20177012781A KR102374446B1 KR 102374446 B1 KR102374446 B1 KR 102374446B1 KR 1020177012781 A KR1020177012781 A KR 1020177012781A KR 20177012781 A KR20177012781 A KR 20177012781A KR 102374446 B1 KR102374446 B1 KR 102374446B1
Authority
KR
South Korea
Prior art keywords
avatar
user
recipients
attributes
module
Prior art date
Application number
KR1020177012781A
Other languages
English (en)
Other versions
KR20170095817A (ko
Inventor
리단 장
샤오펑 퉁
양저우 두
원룽 리
샤오루 선
마가렛 이. 모리스
글렌 제이. 앤더슨
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20170095817A publication Critical patent/KR20170095817A/ko
Application granted granted Critical
Publication of KR102374446B1 publication Critical patent/KR102374446B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/38—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 아바타들의 동적 선택을 용이하게 하는 메커니즘이 기술된다. 실시예들의 방법은, 본원에 기술되는 바와 같이, 사용자 속성들을 취득하는 단계, 사용자 속성들을 분석하는 단계 및 사용자 속성들에 기초하여 아바타의 선택을 용이하게 하는 단계를 포함한다.

Description

아바타 선택 메커니즘{AVATAR SELECTION MECHANISM}
본원에 기술되는 실시예들은 일반적으로 컴퓨터에 관한 것이다. 보다 상세하게는, 실시예들은 아바타들을 추천하고 선택하는 메커니즘에 관한 것이다.
아바타들은, 통신 애플리케이션들, 사용자 인터페이스 애플리케이션들, 컴퓨터 게임들 등과 같은, 다양한 시스템들 및 소프트웨어 애플리케이션들에서 널리 공지되고 광범위하게 사용되고 있다. 아바타들은 사람 얼굴, 동물 얼굴, 만화 얼굴 들의 애니메이션화된 버전을 지칭할 수 있다. 자신의 실제 얼굴을 노출시키지 않음으로써 자신의 프라이버시를 보호하기를 원하는 사용자들에 의해 아바타들이 종종 사용된다.
컴퓨터 비전 및 처리 능력의 진보에 따라, 사용자들이 자신의 얼굴 동작들을 아바타들에 모핑할 수 있도록 얼굴 표정 위주의 아바타 애니메이션이 모바일 디바이스들 상에서 실현가능하다. 그렇지만, 모바일 애플리케이션들에 대한 아바타 스토어들이 현재 사용자의 선호사항을 충족시키도록 구성되어 있지 않다. 예를 들어, 아바타 모바일 애플리케이션들의 사용자들은 전형적으로 동일한 아바타들의 리스트들을 제공받는다. 더욱이, 현재의 애플리케이션들은 특정 사용자의 의도된 대상자에게 반향을 불러일으키지 않을 수 있는 아바타들을 특징으로 한다. 구체적으로는, 선택된 아바타가 문화 규범들로 인해 누군가를 의도하지 않게 기분 상하게 하거나, 우둔하거나, 시대에 뒤떨어져 있거나 하는 등의 인상을 줄지도 모른다.
유사한 도면 부호들이 유사한 요소들을 가리키고 있는 첨부 도면들의 도면들에, 실시예들이 제한으로서가 아니라 예로서 예시되어 있다.
도 1은 일 실시예에 따른, 컴퓨팅 디바이스에서의 아바타 시뮬레이션 메커니즘을 나타낸 도면.
도 2는 일 실시예에 따른, 아바타 선택 메커니즘을 나타낸 도면.
도 3은 일 실시예에 따른, 아바타 결정 메커니즘을 나타낸 도면.
도 4는 일 실시예에 따른, 아바타 결정 메커니즘의 동작을 나타낸 흐름도.
도 5a 및 도 5b는 종래의 아바타 추천 애플리케이션의 스냅숏들을 나타낸 도면.
도 6은 일 실시예에 따른, 아바타 추천 메커니즘을 나타낸 도면.
도 7a 내지 도 7c는 아바타 추천 메커니즘의 구현의 실시예들을 나타낸 도면.
도 8은 일 실시예에 따른, 아바타 추천 메커니즘의 동작을 나타낸 흐름도.
도 9는 일 실시예에 따른, 본 개시내용의 실시예들을 구현하는 데 적당한 컴퓨터 시스템을 나타낸 도면.
이하의 설명에서, 수많은 구체적 상세들이 기재되어 있다. 그렇지만, 실시예들은, 본원에 기술되는 바와 같이, 이 구체적 상세들 없이도 실시될 수 있다. 다른 경우들에서, 이 설명의 이해를 모호하게 하지 않기 위해 널리 공지된 회로들, 구조들 및 기법들이 상세히 나타내어져 있지 않다.
실시예들은 사용자를 효과적으로 표현하고 대상자의 문화, 나이 및 선호사항들과 부합하는 아바타들의 선택을 제공한다. 이러한 실시예들에서, 아바타 선택은 송신자의 아바타를 선택하는 데 송신자들 및/또는 의도된 대상자의 프로파일 정보(예컨대, 신상 정보, 취향, 소셜 네트워크)를 고려한다. 추가의 실시예들에서, 통신 동태(communication dynamics) 및 대화 주제들의 분석에 의해 아바타 선택이 최적화될 수 있다. 이러한 실시예들에서, 대화에 관련한 일반적인 경향은 물론, 사용자들의 정서 상태 및 대인관계 동태의 분석에 따라 아바타 선택이 조정된다. 다른 추가의 실시예들에서, 장난스러운 통신의 한 형태로서 아바타들의 모습이 조작될 수 있다.
실시예들은 또한 얼굴 위주의 아바타 추천을 제공한다. 이러한 실시예들에서, 카메라 입력으로부터 사용자 선호사항을 추론하는 것에 의해 아바타들의 개인화된 추천 리스트가 제공된다. 사용자 속성들 및 아바타 모델들과 얼굴 입력 사이의 유사점들 둘 다를 아는 것에 의해 개인화된 추천 리스트가 발생된다. 실시예들은 얼굴 속성들(예컨대, 얼굴 형태(facial shape), 성별, 나이, 감정, 얼굴형(face shape), 안경, 헤어 스타일 등)을 분석하기 위해 사용자의 얼굴의 카메라 입력을 구현한다. 이 속성들을, 사용자의 주변 환경 인자들과 함께, 고려하여, 이용가능한 아바타들의 순위 점수가 계산되고, 아바타 모델들의 추천 리스트가 사용자에게 제공된다. 추가의 실시예들에서, 부수적 인자들 또는 속성들의 변화를 검출할 시에, 리스트가 주기적으로 변경될 수 있다.
유의할 점은, 비록 간략함, 명확함, 및 이해의 편의를 위해 사람 얼굴이 문서 전체에 걸쳐 일 예로서 사용되지만, 실시예들이 그렇게 제한되지 않는다는 것과, 용어 사용자가 단일의 사람, 다수의 사람들, 다른 생물들(예컨대, 개, 고양이, 식물 등), 그리고 심지어 무생물들(예컨대, 조각상, 텔레비전, 악기 등)을 지칭할 수 있다는 것이다. 게다가, 예를 들어, 실시예들이 단일의 사람의 얼굴에 적용될 수 있을 뿐만 아니라, 실시예들이 일군의 사람들에도 - 그들의 얼굴로만 제한되지 않음 -, 그들의 애완 동물 및/또는 다른 물체들 등과 함께, 똑같이 적용가능하고 부합할 수 있다. 이와 유사하게, 실시예들이 단일의 컴퓨팅 디바이스 또는, 스마트폰과 같은, 특정 유형의 컴퓨팅 디바이스로 제한되지 않고, 다수의 또는 확장 디스플레이들, 소형 화면들, 대형 화면들, 그리고 심지어, 점포 디스플레이, 깊이 추적(depth track)을 할 수 있는, 매직 미러와 같은, 거대한 화면들을 갖는 컴퓨팅 디바이스들과 같은, 임의의 수 및 유형의 디바이스들이 사용될 수 있고, 임의의 수 및 형태의 사람들, 애완 동물들, 물체들 등이 사용될 수 있다.
도 1은 일 실시예에 따른, 컴퓨팅 디바이스(100)에서의 아바타 선택 메커니즘(110)을 나타내고 있다. 일 실시예에서, 컴퓨팅 디바이스(100)는, 컴퓨팅 디바이스(100)와 같은, 컴퓨팅 디바이스들에서의 아바타들의 동적 결정 및/또는 추천을 용이하게 하기 위한 임의의 수 및 유형의 컴포넌트들의 조합을 포함하는 아바타 선택 메커니즘("아바타 메커니즘")(110)을 호스팅하기 위한 호스트 머신으로서 역할한다. 컴퓨팅 디바이스(100)는, 서버 컴퓨터들, 데스크톱 컴퓨터들 등과 같은 대형 컴퓨팅 시스템들을 포함할 수 있고, 셋톱 박스들(예컨대, 인터넷 기반 케이블 텔레비전 셋톱 박스들 등), GPS(global positioning system) 기반 디바이스들 등을 추가로 포함할 수 있다. 컴퓨팅 디바이스(100)는 스마트폰(예컨대, Apple®의 iPhone®, Research in Motion®의 BlackBerry® 등)을 비롯한 셀룰러 폰, PDA(personal digital assistant), 태블릿 컴퓨터(예컨대, Apple®의 iPad®, Samsung®의 Galaxy 3® 등), 랩톱 컴퓨터(예컨대, 노트북, 넷북, UltrabookTM 등), e-리더(예컨대, Amazon®의 Kindle®, Barnes and Nobles®의 Nook® 등) 등과 같은, 모바일 컴퓨팅 디바이스들을 포함할 수 있다.
컴퓨팅 디바이스(100)는 컴퓨터 디바이스(100)의 하드웨어 및/또는 물리적 자원들과 사용자 사이의 인터페이스로서 역할하는 운영 체제(OS)(106)를 포함할 수 있다. 컴퓨팅 디바이스(100)는 하나 이상의 프로세서들(102), 메모리 디바이스들(104), 네트워크 디바이스들, 드라이버들 등은 물론, 터치스크린들, 터치 패널들, 터치 패드들, 가상 또는 일반 키보드들, 가상 또는 일반 마우스들 등과 같은 입출력(I/O) 소스들(108)을 추가로 포함한다. 유의할 점은, "노드", "컴퓨팅 노드", "서버", "서버 디바이스", "클라우드 컴퓨터", "클라우드 서버", "클라우드 서버 컴퓨터", "머신", "호스트 머신", "디바이스", "컴퓨팅 디바이스", "컴퓨터", "컴퓨팅 시스템" 등과 같은 용어들이 본 문서 전체에 걸쳐 서로 바꾸어 사용될 수 있다는 것이다. 추가로 유의할 점은, "애플리케이션", "소프트웨어 애플리케이션", "프로그램", "소프트웨어 프로그램", "패키지", 및 "소프트웨어 패키지"와 같은 용어들이 본 문서 전체에 걸쳐 서로 바꾸어 사용될 수 있다는 것이다. 이와 유사하게, "작업(job)", "입력", "요청" 및 "메시지"와 같은 용어들이 본 문서 전체에 걸쳐 서로 바꾸어 사용될 수 있다.
도 2는 일 실시예에 따른, 아바타 메커니즘(110)을 나타내고 있다. 일 실시예에서, 랩톱 컴퓨터, 데스크톱 컴퓨터, 스마트폰, 태블릿 컴퓨터 등과 같은, 컴퓨팅 디바이스(100)에서 아바타 메커니즘(110)이 이용될 수 있다. 일 실시예에서, 아바타 메커니즘(110)은, 수신 및 포착 로직(201), 메싱 및 매핑 모듈(205)을 포함하는 검출/추적 로직(203), 아바타 결정 메커니즘(207), 아바타 추천 메커니즘(209) 및 통신/호환성 로직(219)과 같은, 임의의 수 및 유형의 컴포넌트들을 포함할 수 있다.
일 실시예에서, 수신 및 포착 로직(201)은 컴퓨팅 디바이스(100)에 있는 이미지 소스들(225)에 구현되는 이미지 포착 디바이스가, 사용자의 얼굴의 라이브 및 실시간 이미지와 같은, 사용자와 연관된 이미지를 수신하고 포착하는 것을 용이하게 한다. 사용자의 얼굴의 라이브 이미지가 수신되고 포착될 때, 사용자의 얼굴 및 그의 움직임들 및 표정들이, 연속적으로 그리고 실시간으로, 검출/추적 로직(203)에 의해 라이브 비디오 프레임들에서 검출되고 추적될 수 있다.
검출/추적 로직(203)에 의해 수행되는 바와 같은 사용자의 얼굴과 그의 움직임들 및 표정들의 검출 및 추적은 사용자의 얼굴을 검출하는 것과 얼굴 표정 움직임들 및 머리 강체 움직임(head rigid movement)들을 결정하기 위해 나중에 사용될 수 있는, 특징점들의 위치들과 같은, 얼굴의 다양한 특징들을 결정하는 것을 포함할 수 있다. 게다가, 이 특징들에 기초하여, 유사한 표정 특징들이, 데이터베이스(240)와 같은, 움직임 포착 데이터베이스에서 액세스되고 그로부터 검색될 수 있다. 추가 상세들에 대해서는, 발명의 명칭이 Avatar Facial Expression Techniques인 Yangzhou Du 등의, 2013년 6월 29일에 출원된 미국 특허 출원 제13/977,682호, 2011년 4월 11일에 출원된 PCT/CN2011/072603의 미국 국내 단계를 참조하세요.
일부 실시예들에서, 데이터베이스(240)는, 웃는 것, 찡그리는 것, 비웃는 것, 우는 것, 화내는 것, 행복해하는 것, 놀라는 것, 말하는 것, 말하지 않는 것, 먹는 것, 마시는 것, 노래하는 것, 하품하는 것, 재채기하는 것 등과 같은, 다양한 사람 얼굴 표정들에 관련된 데이터를 기록하고, 저장하며, 유지하는 데 사용될 수 있다. 이 표정들은 프레임들의 시퀀스로서 기록될 수 있고, 여기서 각각의 프레임은, 하기의 9개의 특징들과 같은, 다수의 특징들을 포함할 수 있다: 1) 윗입술과 아랫 입술 사이의 거리; 2) 2개의 입꼬리 사이의 거리; 3) 윗입술과 코끝 사이의 거리; 4) 아랫 입술과 코끝 사이의 거리; 5) 콧방울과 코끝 사이의 거리; 6) 윗눈꺼풀과 아랫 눈꺼풀 사이의 거리; 7) 눈썹 끝과 코끝 사이의 거리; 8) 2개의 눈썹 끝 사이의 거리; 및 9) 눈썹 끝과 눈썹 중간 사이의 거리. 데이터베이스(240)는 데이터 소스, 메모리(휘발성 또는 비휘발성), 디스크 저장소, 광학 저장소 등과 같은, 정보 저장 매체 등을 포함할 수 있다.
일 실시예에서, 데이터베이스(240)로부터 검색된 특징들에 기초하여, 메싱 및 매핑 모듈(205)은 다양한 얼굴 점들을 찾기 위해 3차원(3D) 메시를 이용하고, 그들을 대응하는 아바타에 매핑한다. 이것은 사람 얼굴을 정규화하여 아바타 얼굴에 매핑하는 것, 얼굴 표정 변화들을 아바타에 복사하는 것, 그리고 이어서 검색된 특징들에서와 동일한 얼굴 표정 변화들을 수행하도록 아바타를 구동하는 것을 수반할 수 있다. 실시예들에서, 메싱 및 매핑 모듈(205)은 아바타가 컴퓨팅 디바이스(100)와 연관된 디스플레이 디바이스(230)에 의해 출력될 수 있게 하는 그래픽 렌더링 특징들을 포함할 수 있다. 예를 들어, 디스플레이 화면 또는 디바이스(230)는 아바타를 사용자에게 시각적으로 출력할 수 있고, 이와 유사하게, 컴퓨팅 디바이스(250)와 같은, 하나 이상의 다른 컴퓨팅 디바이스들과 연관된, 디스플레이 디바이스(255)와 같은, 하나 이상의 디스플레이 디바이스들은 동일한 시뮬레이션된 아바타를 그 각자의 사용자들에게 디스플레이할 수 있다. 게다가, 디스플레이 디바이스(230)는 LCD(liquid crystal display), LED(light emitting diode) 디스플레이, 플라즈마 디스플레이, 및 CRT(cathode ray tube) 디스플레이(이들로 제한되지 않음)를 비롯한 다양한 디스플레이(들)로 구현될 수 있다.
컴퓨팅 디바이스(250)는, 네트워크(270)(예컨대, 클라우드 네트워크, 인터넷, 인트라넷, 셀룰러 네트워크, 근접(proximity) 또는 준근접(near proximity) 네트워크 등)와 같은, 하나 이상의 네트워크들을 통해 컴퓨팅 디바이스(100)와 통신할 수 있다. 컴퓨팅 디바이스(250)는 사용자 인터페이스(260), 통신 로직(265), 및 아바타 메커니즘(110)을 포함하는 하나 이상의 소프트웨어 애플리케이션들을 추가로 포함할 수 있다.
실시예들에서, 검출/추적 로직(203)은 이미지 소스(225)로부터 이미지 데이터를 수신할 수 있고, 여기서 이미지 데이터는 이미지들 또는 프레임들(예컨대, 비디오 프레임들)의 시퀀스의 형태로 되어 있을 수 있다. 이미지 소스들(225)은, 카메라와 같은, 이미지 포착 디바이스를 포함할 수 있다. 이러한 디바이스는 하드웨어 및/또는 소프트웨어의 임의의 조합으로 구현될 수 있는, 광학계 어셈블리, 이미지 센서, 이미지/비디오 인코더(이들로 제한되지 않음) 등과 같은, 다양한 컴포넌트들을 포함할 수 있다. 광학계 어셈블리는 시야 내의 이미지를 이미지 센서 내의 다수의 센서 요소들 상으로 투사하기 위해 하나 이상의 광학 디바이스들(예컨대, 렌즈들, 미러들 등)을 포함할 수 있다. 그에 부가하여, 광학계 어셈블리는 이 광학 디바이스(들)의 배열을 제어하는 하나 이상의 메커니즘들을 포함할 수 있다. 예를 들어, 이러한 메커니즘들은 포커싱 동작, 조리개 설정, 노출 설정, 줌잉 동작, 셔터 속도, 유효 초점 거리 등을 제어할 수 있다. 그렇지만, 실시예들이 이러한 예들로 제한되지 않는다.
아바타 기반 시스템(예컨대, 화상 채팅 시스템)에서, 사용자의 머리 제스처들은 물론, 사용자의 얼굴 표정들을 포착하는 것이 중요하다. 실시예들에서, 이 동작들은 검출/추적 로직(203)에 의해 수행될 수 있다. 차례로, 이 제스처들 및 표정들은 애니메이션 파라미터들로서 표현될 수 있고, 여기서 이러한 애니메이션 파라미터들이 렌더링을 위해 메싱 및 매핑 모듈(205)로 전달된다. 이러한 방식으로, 아바타 시스템은 가상 3D 모델 상에 원래의 사용자의 얼굴 표정을 재현할 수 있다.
일부 실시예들에서, 검출/추적 로직(203)에 대한 실시가능 해결책은 다양한 특징들을 제공할 수 있다. 예를 들어, 검출/추적 로직(203)은 머리 제스처들로 인한 강체 움직임을 추적할 수 있다. 이러한 강체 움직임은 평행이동, 회전 및 스케일링 인자들(이들로 제한되지 않음)을 포함할 수 있다. 또한, 검출/추적 로직(203)은 얼굴 표정들로 인한 비강체 변환(non-rigid transformation)을 추적할 수 있고, 여기서 비강체 변환들은 다수의 얼굴 동작 단위(facial action unit)들(예컨대, 6개의 전형적인 얼굴 동작 단위들)을 포함할 수 있다. 게다가, 검출/추적 로직(203)은 하나 이상의 프로세서들 상에서(예컨대, Intel Atom 1.6 GHz 프로세서들 상에서) 실시간으로 실행하도록 그의 구현에서 최적화될 수 있다.
이미지 소스들(225)은 센서 요소들의 어레이를 비롯한 하나 이상의 이미지 센서들을 추가로 포함할 수 있고, 여기서 요소들은 CMOS(complementary metal oxide semiconductor) 센서들, CCD(charge coupled device)들, 또는 다른 적당한 센서 요소 유형들일 수 있다. 이 요소들은, 센서에 입사하는 광에 대응하는, 아날로그 강도 신호들(예컨대, 전압들)을 발생시킬 수 있다. 그에 부가하여, 이미지 센서는 또한 아날로그 강도 신호들을 디지털적으로 인코딩된 강도 값들로 변환하는 ADC(analog-to-digital converter)(들)를 포함할 수 있다. 그렇지만, 실시예들이 이러한 예들로 제한되지 않는다. 예를 들어, 이미지 센서는 광학계 어셈블리를 통해 수광되는 광을 픽셀 값들로 변환하고, 여기서 이 픽셀 값들 각각은 대응하는 센서 요소에서의 특정의 광 강도를 나타낸다. 비록 이 픽셀 값들이 디지털로서 기술되었지만, 그들이 대안적으로 아날로그일 수 있다. 앞서 기술된 바와 같이, 이미지 감지 디바이스는 픽셀 값들을 인코딩 및/또는 압축하는 이미지/비디오 인코더를 포함할 수 있다. 이 인코딩 및/또는 압축을 위해 다양한 기법들, 표준들, 및/또는 포맷들(예컨대, MPEG(Moving Picture Experts Group), JPEG(Joint Photographic Expert Group) 등)이 이용될 수 있다.
전술한 바와 같이, 이미지 소스들(225)은, 이미지 포착 디바이스들(예컨대, 하나 이상의 카메라들 등) 및, 컨텍스트 인식 센서들(예컨대, 온도 센서들, 하나 이상의 카메라들과 협동하는 얼굴 표정 및 특징 측정 센서들, (예컨대, 배경색, 광 등을 감지하기 위한) 환경 센서들), (예컨대, 지문, 얼굴 점 또는 특징 등을 검출하기 위한) 생체 측정 센서들 등(이들로 제한되지 않음)과 같은, 이미지 감지 디바이스들과 같은, 임의의 수 및 유형의 컴포넌트들일 수 있다. 컴퓨팅 디바이스(100)는 또한, 변화하는 기술들, 파라미터들, 프로토콜들, 표준들 등과의 호환성을 보장하면서, 아바타를 디스플레이하고 사용자가 다른 컴퓨팅 디바이스(250)에 있는 다른 사용자들과 통신하기 위한 하나 이상의 사용자 인터페이스들(예컨대, WUI(web user interface), GUI(graphical user interface), 터치스크린 등)을 제공하는, 비즈니스 애플리케이션들, 소셜 네트워크 웹사이트들(예컨대, Facebook®, Google+®, Twitter® 등), 비즈니스 네트워킹 웹사이트들(예컨대, LinkedIn® 등), 통신 애플리케이션들(예컨대, Skype®, Tango®, Viber® 등), 게임들 및 다른 엔터테인먼트 애플리케이션들 등과 같은, 하나 이상의 소프트웨어 애플리케이션들을 포함할 수 있다.
통신/호환성 로직(219)은, 변화하는 기술들, 파라미터들, 프로토콜들, 표준들 등과의 호환성을 보장하면서, 컴퓨팅 디바이스(100) 및 컴퓨팅 디바이스들(250)(모바일 컴퓨팅 디바이스, 데스크톱 컴퓨터, 서버 컴퓨팅 디바이스 등)과 같은, 다양한 컴퓨팅 디바이스들, 저장 디바이스들, 데이터베이스(240)와 같은, 데이터베이스들 및/또는 데이터 소스들, 네트워크(270)(예컨대, 클라우드 네트워크, 인터넷, 인트라넷, 셀룰러 네트워크, 블루투스, BLE(Bluetooth low energy), Bluetooth Smart, Wi-Fi proximity, RFID(Radio Frequency Identification), NFC(Near Field Communication), BAN(Body Area Network)과 같은, 근접 네트워크들 등)와 같은, 네트워크들, 연결 및 위치 관리 기법들, 소프트웨어 애플리케이션들/웹사이트들(예컨대, Facebook®, LinkedIn®, Google+®, Twitter® 등과 같은, 소셜 및/또는 비즈니스 네트워킹 웹사이트들, 비즈니스 애플리케이션들, 게임들 및 다른 엔터테인먼트 애플리케이션들 등), 프로그래밍 언어들 등 사이의 동적 통신 및 호환성을 용이하게 하기 위해 사용될 수 있다.
아바타 메커니즘(110)의 임의의 수 및 유형의 컴포넌트들(201 내지 219)이 꼭 단일의 컴퓨팅 디바이스에 있는 것은 아닐 수 있고, 서버 컴퓨팅 디바이스들, 카메라들, PDA들, 휴대폰들(예컨대, 스마트폰들, 태블릿 컴퓨터들 등), 개인용 컴퓨팅 디바이스들(예컨대, 데스크톱 디바이스들, 랩톱 컴퓨터들 등), 스마트 텔레비전들, 서버들, 웨어러블 디바이스들, 미디어 플레이어들, 임의의 스마트 컴퓨팅 디바이스들 등(이들로 제한되지 않음)을 가지는 컴퓨팅 디바이스들(100, 250)을 비롯한, 임의의 수 및 유형의 컴퓨팅 디바이스들 간에 할당되거나 분산될 수 있는 것이 생각되고 있다. 추가의 예들은 마이크로프로세서, 그래픽 프로세서 또는 엔진, 마이크로제어기, ASIC(application-specific integrated circuit) 등을 포함한다. 그렇지만, 실시예들이 이러한 예들로 제한되지 않는다.
컴퓨팅 디바이스들(250)의 통신 로직(265)은 컴퓨팅 디바이스(100)의 통신/호환성 로직(219)과 유사하거나 동일할 수 있고, 컴퓨팅 디바이스(100)에 있는 아바타 메커니즘(110)과, 네트워크(270)와 같은, 하나 이상의 네트워크들을 통한 아바타들의 통신을 위한 컴퓨팅 디바이스들(250)에 있는 하나 이상의 소프트웨어 애플리케이션들 사이의 통신을 용이하게 하기 위해 사용될 수 있다. 게다가, 로직(265, 219)은, 네트워크(270)(예컨대, 인터넷, 인트라넷, 클라우드 네트워크, 근접 네트워크(예컨대, 블루투스) 등)와 같은, 하나 이상의 네트워크들을 통한 통신을 용이하게 하기 위해, 무선 또는 유선 통신 및 관련 프로토콜들(예컨대, Wi-Fi®, WiMAX, 이더넷 등)과 같은, 통신 기술들 중 임의의 하나 이상을 사용하도록 배열 또는 구성될 수 있다. 데이터베이스(240)는 데이터(예컨대, 환자 정보, 커스터마이제이션 파라미터들, 프로세스 프로토콜들 등), 정책들, 자원들, 소프트웨어 프로그램들 또는 명령어들 등의 단기 및/또는 장기 저장을 위한 임의의 수 및 유형의 디바이스들 또는 매체들(데이터 저장 디바이스, 하드 드라이브, 솔리드 스테이트 드라이브, 하드 디스크, 메모리 카드 또는 디바이스, 메모리 회로 등)을 포함할 수 있다. 각각의 컴퓨팅 디바이스(250)는 또한, 아바타들과, 얼굴 특징점들 등과 같은, 다른 관련 정보를 비롯한, 데이터를 저장하고, 유지하며, 그리고/또는 캐싱하기 위한 메모리 및/또는 저장 매체를 포함할 수 있다.
비록 간략함, 명확함, 및 이해의 편의를 위해 본 문서 전체에 걸쳐 하나 이상의 예들(예컨대, 단일의 사람 얼굴, 모바일 컴퓨팅 디바이스 등)이 논의될 수 있지만, 실시예들이 임의의 특정 수 및 유형의 사용자들, 아바타들, 자원들 또는 컴퓨팅 디바이스들에의 액세스 형태들, 사용자들, 네트워크 또는 인증 프로토콜들 또는 프로세스들 등으로 제한되지 않는 것이 생각되고 있다. 예를 들어, 실시예들이 임의의 특정 네트워크 보안 인프라스트럭처들 또는 프로토콜들(예컨대, SSO(single-sign-on) 인프라스트럭처들 및 프로토콜들)로 제한되지 않고, SAML(security assertion markup language), OAuth, Kerberos 등과 같은, 임의의 수 및 유형의 네트워크 보안 인프라스트럭처들 및 프로토콜들과 호환가능할 수 있다.
본 문서 전체에 걸쳐, "로직", "컴포넌트", "모듈", "프레임워크", "엔진", "포인트" 등과 같은 용어들은 서로 바꾸어 언급될 수 있고, 예로서, 소프트웨어, 하드웨어, 및/또는, 펌웨어와 같은, 소프트웨어와 하드웨어의 임의의 조합을 포함할 수 있다. 게다가, "아바타", "아바타 스케일 인자", "스케일링", "애니메이션", "사람 얼굴", "얼굴 특징점들", "줌인", "줌아웃" 등과 같은, 특정의 브랜드, 단어, 용어, 문구, 이름, 및/또는 두문자의 임의의 사용이 실시예들을 제품들에서 또는 본 문서의 외부에 있는 문헌에서 그 라벨을 담고 있는 소프트웨어 또는 디바이스들로 제한하는 것으로 읽혀져서는 안된다.
특정 특징들을 추가하는 것, 제거하는 것, 그리고/또는 향상시키는 것을 포함하는 다양한 실시예들을 용이하게 하기 위해 임의의 수 및 유형의 컴포넌트들이 아바타 시뮬레이션 메커니즘(110)에 추가되고 그리고/또는 그로부터 제거될 수 있는 것이 생각되고 있다. 간략함, 명확함, 및 아바타 시뮬레이션 메커니즘(110)의 이해의 편의를 위해, 컴퓨팅 디바이스의 컴포넌트들과 같은, 표준의 그리고/또는 공지된 컴포넌트들 중 다수가 여기서 도시되지 않고 논의되지 않는다. 실시예들이, 본원에 기술되는 바와 같이, 임의의 특정 기술, 토폴로지, 시스템, 아키텍처, 및/또는 표준으로 제한되지 않고 임의의 장래의 변화들을 채택하고 그에 적합하게 되도록 충분히 동적인 것이 생각되고 있다.
일 실시예에 따르면, 검출/추적 로직(203)에 의해 취득되는 사용자 얼굴 및 움직임 데이터가 아바타를 선택하고 조작하기 위해 아바타 결정 메커니즘(207)에 의해 사용될 수 있다. 다른 실시예에서, 데이터가 아바타 추천 메커니즘(209)에 수신될 수 있고, 아바타 추천 메커니즘(209)은 다수의 아바타들의 리스트를 추천으로서 제공한다.
아바타 선택
도 3은 아바타 결정 메커니즘(207)의 일 실시예를 나타내고 있다. 아바타 결정 메커니즘(207)은 사용자를 효과적으로 표현하고 대상자의 문화, 나이 및 선호사항들과 부합하는 아바타들을 선택한다. 일 실시예에 따르면, 아바타 결정 메커니즘(207)은 아바타를 선택하기 위해 사용자 프로파일 정보 및 의도된 대상자의 프로파일 정보(예컨대, 신상 정보, 취향, 소셜 네트워크)를 수신하고 고려한다. 일 실시예에서, 아바타 결정 메커니즘(207)은 아바타 결정 모듈(300), 프로파일 취득 모듈(305), 컨텍스트 엔진(306) 및 내용 분석기(308)를 포함한다.
일 실시예에 따르면, 아바타 결정 모듈(300)은 검출/추적 로직(203)으로부터 수신되는 사용자 얼굴 및 움직임 정보, 프로파일 취득 모듈(305)로부터 수신되는 송신자 및 수신자 프로파일 정보, 컨텍스트 엔진(306)으로부터 수신되는 컨텍스트 정보 및 내용 분석기(308)로부터 수신되는 정보에 기초하여 아바타를 선택한다. 일 실시예에서, 검출/추적 로직(203)은 송신자의 얼굴 표정들을 모니터링하여 감정적 반응들 및 다른 표정들을 추론하기 위해 센서 어레이들로부터의 데이터를 사용한다. 그에 부가하여, 감정들을 추론하기 위해 송신자의 음성 특성들, 및 다른 속성들이 모니터링될 수 있다. 추가의 실시예에서, 아바타 결정 모듈(300)은 또한 아바타를 선택하기 이전에 수신자의 감정적 반응들을 추론하기 위해 수신자 디바이스(예컨대, 컴퓨팅 디바이스(250))로부터 센서 어레이 데이터를 수신할 수 있다.
일 실시예에서, 프로파일 취득 모듈(305)은 아바타를 수신하게 되어 있는 송신자 및 하나 이상의 수신자들에 대한 프로파일 정보를 취득한다. 이러한 실시예에서, 프로파일 취득 모듈(305)은 네트워크(230)를 통해, 소셜 네트워크 웹사이트들(예컨대, Facebook®, Google+®, Twitter® 등), 비즈니스 네트워킹 웹사이트들(예컨대, LinkedIn® 등), 통신 애플리케이션들(예컨대, Skype®, Tango®, Viber® 등) 및 서비스 제공업자들(예컨대, Hulu®, Netflix®, Amazon® 등)과 같은, 하나 이상의 네트워크 소스들로부터 정보를 추출할 수 있다. 추가의 실시예에서, 송신자와 하나 이상의 수신자들에 의해 공유되는 사회적 영향들에 의해 아바타 선택이 결정될 수 있다. 예를 들어, 송신자 또는 송신자의 통신 상대방들이 Twitter® 상에서 팔로우하는 사람들의 아바타 선택들에 기초하여 아바타가 선택될 수 있다.
컨텍스트 엔진(306)은 사용자 및/또는 메시지 수신자의 현재 상황에 관련된 정보를 취득한다. 예를 들어, 컨텍스트 엔진(306)은 수신자의 사회적 상황(예컨대, 혼자 있음), 현재 위치(예컨대, 집 또는 직장), 사용자 및 수신자의 사용자 활동(예컨대, 운동 중임)을 결정할 수 있다. 내용 분석기(308)는 기분 및 대인관계 동태(예컨대, 슬픔 또는 적개심)를 결정하기 위해 송신자와 수신자 사이의 메시지들의 내용을 분석한다.
앞서 논의된 바와 같이, 아바타 결정 모듈(300)은 아바타의 선택에서 고려하기 위해 검출/추적 로직(203), 프로파일 취득 모듈(305), 컨텍스트 엔진(306) 및 내용 분석기(308)로부터 정보를 수신한다. 일 실시예에 따르면, 아바타 결정 모듈(300)은 프로파일 취득 모듈(305)로부터 수신되는 정보에 기초하여 송신자의 의도를 추론할 수 있다. 예를 들어, 특정의 애플리케이션 내에서의 또는 다른 소셜 매체에서의 송신자와 하나 이상의 수신자들 사이의 관계(Facebook® 상에서의 친구 또는 친구의 친구, Tinder®에서 최근에 만남, LinkedIn®에서의 동료, Twitter®에서의 팔로워)에 기초하여 송신자의 의도(예컨대, 친구, 바람둥이, 직업적 협상, 청혼 등)가 추론될 수 있다.
다른 실시예에서, 아바타 결정 모듈(300)은 송신자의 아바타 선택과 수신자의 취향 간의 오버랩(overlap)을 매핑할 수 있다. 이러한 실시예에서, 내용 분석기(308)는 아바타 결정 모듈(300)에 정보를 제공하기 전에 주요 주제들에 대한 텍스트를 분석할 수 있다. 이어서, 아바타 결정 모듈(300)은 주제면에서 관련성이 있는 아바타들을 식별하기 위해 단어들을 소셜 네트워크 페이지들과 매칭(match)시킬 수 있다(예컨대, 누군가가 월드컵을 말하는 경우, 아바타 결정 모듈(300)은 유명한 축구 선수의 아바타를 선택하는 것으로 응답할 수 있다). 일 실시예에서, 통신 상대방이 괴롭힘 또는 협상을 위해 아바타들을 수정하는 것을 돕기 위해 내용 분석기(308)로부터 수신되는 분석 데이터가 사용될 수 있다. 예를 들어, 수신자가 적대적인 메모 또는 비난에 의해 기습을 받는 경우, 아바타 결정 모듈(300)은 대답을 위해 널리 알려진 영화에서 억울하게 누명을 쓴 캐릭터의 아바타를 선택할 수 있다.
일 실시예에 따르면, 아바타 결정 모듈(300)은 컨텍스트 엔진(306)으로부터 수신되는 컨텍스트 분석을 아바타 선택에서의 인자로서 사용한다. 예를 들어, 송신자의 사회적 상황(예컨대, 수신자가 혼자 있는지)은 아바타의 모습에 영향을 미칠 수 있다. 추가의 실시예에서, 아바타 결정 모듈(300)은, 오버랩이 없는 경우, 문화적 변환을 수행한다. 예를 들어, 미국에서 사람을 악마라고 말하는 것이 그 사람이 매력적인 악당이라는 것을 의미하는 경우, 결정 모듈(300)은, 수신자가 용어 악마가 불쾌하게 될 국가에서 온 경우, 다른 옵션을 선택할 수 있다. 다른 예로서, 브라질에 있는 십대와 연결하려고 시도하는 미국에 있는 중년 블로거가 Mick Jagger를 아바타로서 이미 선택한 시나리오에서, 아바타 결정 모듈(300)은 브라질에서 인기있는 DJ의 아바타를 선택할 수 있다.
일 실시예에 따르면, 아바타 결정 모듈(300)은 앞서 기술된 인자들에 기초하여 데이터베이스(240)로부터 아바타들을 자동으로 선택한다. 이러한 실시예에서, 데이터베이스(140)는 Intel® Pocket Avatars에 의해 제공되는 캐릭터들의 3차원(3D) 모델들을 포함한다.
도 4는 일 실시예에 따른, 컴퓨팅 디바이스에 있는 아바타 결정 메커니즘을 용이하게 하는 방법(400)을 나타낸 흐름도이다. 방법(400)은 하드웨어(예컨대, 회로부, 전용 로직, 프로그램밍가능 로직 등), 소프트웨어(처리 디바이스 사에서 실행되는 명령어들 등), 이들의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 일 실시예에서, 방법(400)이 아바타 선택 메커니즘(110)에 의해 수행될 수 있다. 방법(400)의 프로세스들은 제시에서의 간략함 및 명확함을 위해 선형 시퀀스들로 나타내어져 있지만; 임의의 수의 프로세스들이 병렬로, 비동기적으로, 또는 상이한 순서들로 수행될 수 있는 것이 생각되고 있다. 간략함, 명확함, 및 이해의 편의를 위해, 도 1 및 도 2를 참조하여 논의된 상세들 중 다수가 여기서 논의 또는 반복되지 않는다.
방법(400)은 블록(410)에서 아바타 검출 메커니즘(207)에서 송신자 및 수신자 속성들을 수신하는 것으로 시작한다. 앞서 논의된 바와 같이, 속성들은, 컴퓨팅 디바이스에 있는 하나 이상의 이미지 센서들을 통한, 사용자의 비디오 이미지(예컨대, 송신자 및/또는 수신자의 얼굴)를 포함하는, 라이브, 실시간, 오디오-비디오 데이터를 포함할 수 있다. 속성들은 또한 프로파일 취득 모듈(305) 및 컨텍스트 엔진(306)에 의해 취득되는 정보를 포함할 수 있다. 블록(420)에서, 수신된 데이터가 앞서 논의된 바와 같이 분석된다. 블록(430)에서, 송신자는 하나 이상의 수신자들로 전송하기 위한 텍스트 기반 메시지(텍스트 또는 음성)를 준비한다. 블록(440)에서, 아바타 결정 메커니즘(207)은 속성들과 관련하여 메시지 내용을 분석한다. 블록(450)에서, 분석에 기초하여 아바타가 선택된다. 블록(460)에서, 아바타가 (예컨대, 메싱 및 매핑 모듈(205)에서) 렌더링된다. 블록(470)에서, 메시지가 수신자에게 이용가능하게 된다. 블록(480)에서, 아바타 결정 메커니즘(207)은 (예컨대, 수신자의 컴퓨팅 디바이스로부터의 오디오-비디오를 통해) 수신자 반응을 모니터링한다. 블록(490)에서, 수신자의 반응에 기초하여 조절이 행해져야 하는지에 관해 결정이 행해진다. 그러한 경우, 제어가 블록(410)으로 되돌아가서, 수신자의 반응들을 반영하는 업데이트된 속성들이 수신되고 이어서 분석된다.
앞서 나타낸 바와 같이, 아바타 결정 메커니즘은 송신자와 의도된 대상자의 프로파일 정보(신상 정보, 취향, 소셜 네트워크)를 부합시키는 것에 의해 통신 반향을 증가시키는 아바타들을 선택한다. 대화에 관련성 있는 일반적인 경향들은 물론, 각각의 사용자의 정서 상태 및 대인관계 동태의 분석에 따라 선택이 조정된다. 아바타 결정 메커니즘은 또한 장난스러운 통신의 한 형태로서 서로의 아바타들의 모습을 조작함에 있어서 사용자들을 안내한다.
아바타 추천
앞서 논의된 바와 같이, 기존의 아바타 애플리케이션들은 사용자 선호사항들을 충족시키는 적당한 옵션들을 제공하지 않는다. 도 5a와 도 5b는 도 5a에 도시된 사용자에 대해 도 5b에서의 사용자에 대해서와 동일한 아바타들의 리스트가 제공되는 종래의 아바타 추천 애플리케이션의 스냅숏들을 나타내고 있다.
일 실시예에 따르면, 아바타 추천 모듈(209)은 사용자 선호사항을 카메라 입력으로부터 직접 추론하는 것에 의해 사용자에 대한 개인화된 아바타 모델들의 리스트를 가능하게 하기 위해 얼굴 위주의 아바타들을 제공하도록 구현된다. 이러한 실시예에서, 아바타 추천 모듈(209)은 사용자 속성들 및 아바타 모델들과 얼굴 입력 사이의 유사점들을 아는 것에 의해 개인화된 추천 리스트를 발생시킨다.
도 6은, 사용자 인식 모듈(604)과 아바타 순위 모듈(606)을 포함하는, 아바타 추천 모듈(209)의 일 실시예를 나타내고 있다. 사용자 인식 모듈(604)은, 사용자의 속성들을 인식하기 위해, 검출/추적 로직(203)으로부터 사용자의 추출된 얼굴 특징 정보(예컨대, 모습 및 지오메트리 특징들)를 수신한다. 도 7a는 사용자 인식 모듈(604)에 수신되는 정보에 포함된 추출된 특징들의 일 실시예를 나타내고 있다. 일 실시예에서, 각각의 대상 속성에 대한 개개의 분류기를 훈련시키기 위해 모습과 지오메트리 특징들 둘 다가 사용된다. 이러한 실시예에서, 기계 학습 분류 방법(예컨대, SVM(Support Vector Machine))이 모델을 획득하기 위해 분류기 훈련을 수행하도록 구현된다.
일 실시예에 따르면, 모델이 사용자의 제1 모습에 적용되고(예컨대, 처음 보는 경우), 그 결과 현재 사용자 속성들이 출력된다. 추가의 실시예에서, 장면을 결정하고 그리고/또는 사용자의 옷 스타일을 검사하기 위해 얼굴 상자 밖에 있는 모습 특징들이 또한 추출될 수 있다. 이 실시예에서, 얼굴의 모습 및 환경에 대해 시각적 기술자(visual descriptor)(예컨대, HOG(Histogram of oriented Gradients))가 사용된다. 각각의 사용자가 14개의 속성들: 얼굴형, 모습, 성별, 나이, 피부 색상, 모발 색상, 모발 길이, 안경, 화장 정도, 감정, 환경, 조명 및 옷 스타일에 따라 기술될 수 있다. 도 7b는 사용자 인식 모듈(604)에 의해 수행되는 사용자 속성 분석의 일 실시예를 나타내고 있다.
아바타 순위 모듈(606)은 사용자 인식 모듈(604)로부터 속성 데이터를 수신하고, 속성 유사도 점수들을 종합하는 것에 의해 데이터베이스(240)에 있는 이용가능한 아바타 모델들에 순위 부여한다. 일 실시예에서, 각각의 아바타 피큐어(avatar figure)에 대한 점수를 할당하기 위해 현재 사용자에 대한 모든 속성들이 고려된다. 이러한 실시예에서, 각각의 아바타 피큐어는 모든 속성들에 대한 값들을 갖는다. 이어서, 사용자와 아바타 피큐어 간의 매칭(matching)이 개개의 속성의 면에서의 매칭으로서 분해될 수 있다. 일 실시예에서, 속성 점수는 하기 식에 의해 표현되고:
Figure 112017044911113-pct00001
여기서 i는 속성을 나타내고,
Figure 112017044911113-pct00002
는 제i 속성에 대한 사용자와 아바타 피큐어 사이의 점수 차이를 나타내며, wi는 제i 속성의 가중치 파라미터이다.
아바타 모델이 사용자와 유사하면, 출력 점수가 보다 작다. 일 실시예에서, 누락된 속성들은 대응하는 가중치 파라미터를 0으로 설정하는 것에 의해 무시될 수 있다. 예를 들어, 모자가 사용자의 모발을 가로막고 있는 경우, 모발 관련 속성 가중치(예컨대, 색상 및 길이)는 0으로 설정되어야만 한다.
도 8은 일 실시예에 따른, 컴퓨팅 디바이스에 있는 아바타 추천 메커니즘을 용이하게 하는 방법(800)을 나타낸 흐름도이다. 방법(800)은 하드웨어(예컨대, 회로부, 전용 로직, 프로그램밍가능 로직 등), 소프트웨어(처리 디바이스 사에서 실행되는 명령어들 등), 이들의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 일 실시예에서, 방법(800)이 아바타 선택 메커니즘(110)에 의해 수행될 수 있다. 방법(800)의 프로세스들은 제시에서의 간략함 및 명확함을 위해 선형 시퀀스들로 나타내어져 있지만; 임의의 수의 프로세스들이 병렬로, 비동기적으로, 또는 상이한 순서들로 수행될 수 있는 것이 생각되고 있다. 간략함, 명확함, 및 이해의 편의를 위해, 도 1 및 도 2를 참조하여 논의된 상세들 중 다수가 여기서 논의 또는 반복되지 않는다.
방법(800)은 블록(810)에서, Intel® Pocket Avatars, Nito®, Mojo Masks® 등과 같은, 아바타 애플리케이션의 동작 동안 이미지 소스들(225)들로부터의 라이브 비디오들을 포착하는 것으로 시작한다. 블록(820)에서, 비디오에서 사용자의 얼굴을 찾아낸다. 일 실시예에서, 검출/추적 로직(203)은 비디오 내의 이미지가 얼굴을 포함하는지를 검출한다. 이러한 실시예에서, 각각의 얼굴의 위치는 하나의 경계 직사각형으로 표현된다. 얼굴 직사각형에 기초하여 상이한 얼굴 특징들(예컨대, 눈썹, 눈, 코, 입, 모발 등)이 추가로 위치 확인될 수 있다. 블록(830)에서, 검출된 얼굴이 추출된다. 블록(840)에서, 앞서 논의된 바와 같이, 추출된 것으로부터의 사용자 속성들이 사용자 인식 모듈(604)에서 인식된다.
블록(850)에서, 속성 및 유사도 점수들을 종합하는 것에 의해 아바타 모델들이 순위 부여된다. 블록(860)에서, 아바타 모델들이 유사도 점수들에 의해 정렬(sort)된다. 블록(870)에서, 정렬된 점수들이 디스플레이(230)에 리스트로서 디스플레이된다. 일 실시예에서, 대역폭을 절감하기 위해 애니메이션화된 모델 대신에 각각의 모델의 정적 스냅숏이 디스플레이된다. 이러한 실시예에서, 사용자는 모델을 로딩하여 모델의 동적 동작들을 검사하기 위해 스냅숏을 선택할 수 있다.
아바타 추천 모듈(209)을 구현하는 예시적인 아바타 애플리케이션은 사용자가 아바타 스토어를 열고 모델을 선택하기 위해 모바일 디바이스 상에서 아바타 애플리케이션을 작동시키는 것을 수반할 수 있다. 이어서, 추천 모듈(209)은 상이한 사용자 속성들을 인식하고 종합된 점수들에 의해 모델들에 순위 부여한다. 조정된 리스트가 이어서 화면 상에 디스플레이된다. 도 7c는 추천 모듈(209)에 의해 제공되는 디스플레이된 아바타들의 리스트의 일 실시예를 나타내고 있다. 도 7c에 도시된 바와 같이, 디스플레이된 리스트의 상단은 슬픈 아바타를 포함하지 않는데, 그 이유는 사용자가 지금 웃고 있기 때문이다. 게다가, 모든 여자 아바타들이 상단 위치로 이동되는 반면, 남자 아바타 피큐어들은 하부 위치들로 이동된다.
도 9는 일 실시예에 따른, 본 개시내용의 실시예들을 구현하는 데 적당한 컴퓨터 시스템(900)을 나타내고 있다. 컴퓨터 시스템(900)은 버스(905)(또는, 예를 들어, 정보를 전달하기 위한 링크, 상호연결부, 또는 다른 유형의 통신 디바이스 또는 인터페이스) 및 정보를 처리할 수 있는, 버스(905)에 결합된 프로세서(910)를 포함한다. 컴퓨팅 시스템(900)이 단일 프로세서를 갖는 것으로 예시되어 있지만, 전자 시스템(900)은, 중앙 프로세서들, 그래픽 프로세서들, 및 물리학 프로세서들 등 중 하나 이상과 같은, 다수의 프로세서들 및/또는 코프로세서들을 포함할 수 있다. 컴퓨팅 시스템(900)은 버스(805)에 결합된, RAM(random access memory) 또는 다른 동적 저장 디바이스(920)(메인 메모리라고 지칭됨)를 추가로 포함할 수 있고, 프로세서(910)에 의해 실행될 수 있는 정보 및 명령어들을 저장할 수 있다. 메인 메모리(920)는 또한 프로세서(910)에 의한 명령어들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하는 데 사용될 수 있다.
컴퓨팅 시스템(900)은 또한 프로세서(910)에 대한 정적 정보 및 명령어들을 저장할 수 있는, 버스(905)에 결합된, ROM(read only memory) 및/또는 다른 저장 디바이스(930)를 포함할 수 있다. 데이터 저장 디바이스(940)는 정보 및 명령어들을 저장하기 위해 버스(905)에 결합될 수 있다. 자기 디스크 또는 광학 디스크 및 대응하는 드라이브와 같은, 데이터 저장 디바이스(940)는 컴퓨팅 시스템(900)에 결합될 수 있다.
컴퓨팅 시스템(900)은 또한, 정보를 사용자에게 디스플레이하기 위해, 버스(905)를 통해, CRT(cathode ray tube), LCD(liquid crystal display) 또는 OLED(Organic Light Emitting Diode) 어레이와 같은, 디스플레이 디바이스(950)에 결합될 수 있다. 영숫자 및 다른 키들을 포함하는 사용자 입력 디바이스(960)는 정보 및 커맨드 선택들을 프로세서(910)에 전달하기 위해 버스(905)에 결합될 수 있다. 다른 유형의 사용자 입력 디바이스(960)는 방향 정보 및 커맨드 선택들을 프로세서(910)에 전달하기 위한 그리고 디스플레이(950) 상에서의 커서 움직임을 제어하기 위한, 마우스, 트랙볼, 터치스크린, 터치패드, 또는 커서 방향 키들과 같은, 커서 컨트롤(970)이다. 컴퓨터 시스템(900)의 카메라 및 마이크로폰 어레이들(990)은 제스처들을 관찰하고, 오디오 및 비디오를 기록하기 위해 그리고 시각적 및 오디오 명령들을 수신하고 전송하기 위해 버스(905)에 결합될 수 있다.
컴퓨팅 시스템(900)은, LAN(local area network), WAN(wide area network), MAN(metropolitan area network), PAN(personal area network), 블루투스, 클라우드 네트워크, 모바일 네트워크(예컨대, 3G(3rd Generation) 등), 인트라넷, 인터넷 등과 같은, 네트워크에의 액세스를 제공하는 네트워크 인터페이스(들)(980)를 추가로 포함할 수 있다. 네트워크 인터페이스(들)(980)는, 예를 들어, 하나 이상의 안테나(들)을 나타낼 수 있는, 안테나(985)를 가지는 무선 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스(들)(980)는 또한, 예를 들어, 이더넷 케이블, 동축 케이블, 광섬유 케이블, 직렬 케이블, 또는 병렬 케이블일 수 있는, 네트워크 케이블(987)을 통해 원격 디바이스들과 통신하는, 예를 들어, 유선 네트워크 인터페이스를 포함할 수 있다.
네트워크 인터페이스(들)(980)는, 예를 들어, IEEE 802.11b 및/또는 IEEE 802.11g 표준들을 준수하는 것에 의해 LAN에의 액세스를 제공할 수 있고, 그리고/또는 무선 네트워크 인터페이스는, 예를 들어, 블루투스 표준들을 준수하는 것에 의해 개인 영역 네트워크에의 액세스를 제공할 수 있다. 표준들의 이전 및 이후 버전들을 비롯한, 다른 무선 네트워크 인터페이스들 및/또는 프로토콜들이 또한 지원될 수 있다.
무선 LAN 표준들을 통한 통신에 부가하여 또는 그 대신에, 네트워크 인터페이스(들)(980)는, 예를 들어, TDMA(Time Division, Multiple Access) 프로토콜들, GSM(Global Systems for Mobile Communications) 프로토콜들, CDMA(Code Division, Multiple Access) 프로토콜들, 및/또는 임의의 다른 유형의 무선 통신 프로토콜들을 사용하여 무선 통신을 제공할 수 있다.
네트워크 인터페이스(들)(980)는, 예를 들어, LAN 또는 WAN을 지원하는 통신 링크를 제공하기 위해, 모뎀, 네트워크 인터페이스 카드, 또는, 이더넷, 토큰링, 또는 다른 유형들의 물리적 유선 또는 무선 접속들에 결합하는 데 사용되는 것들과 같은, 다른 널리 공지된 인터페이스 디바이스들과 같은, 하나 이상의 통신 인터페이스들을 포함할 수 있다. 이러한 방식으로, 컴퓨터 시스템은 또한, 예를 들어, 인트라넷 또는 인터넷을 비롯한, 종래의 네트워크 인프라스트럭처를 통해 다수의 주변 디바이스들, 클라이언트들, 제어 서피스(control surface)들, 콘솔들, 또는 서버들에 결합될 수 있다.
앞서 기술된 예보다 더 적게 또는 더 많은 장비를 갖춘 시스템이 특정 구현들에 대해 선호될 수 있다는 것을 잘 알 것이다. 따라서, 컴퓨팅 시스템(900)의 구성이, 가격 제약조건들, 성능 요구사항들, 기술적 개선들, 또는 다른 상황들과 같은, 수많은 인자들에 따라 구현마다 달라질 수 있다. 전자 디바이스 또는 컴퓨터 시스템(900)의 예들은 모바일 디바이스, PDA(personal digital assistant), 모바일 컴퓨팅 디바이스, 스마트폰, 셀룰러 전화, 핸드셋, 단방향 페이저, 양방향 페이저, 메시징 디바이스, 컴퓨터, PC(personal computer), 데스크톱 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 핸드헬드 컴퓨터, 태블릿 컴퓨터, 서버, 서버 어레이 또는 서버 팜, 웹 서버, 네트워크 서버, 인터넷 서버, 워크스테이션, 미니컴퓨터, 메인프레임 컴퓨터, 수퍼컴퓨터, 네트워크 가전기기, 웹 가전기기, 분산 컴퓨팅 시스템, 멀티프로세서 시스템, 프로세서 기반 시스템, 소비자 전자기기, 프로그래밍가능 소비자 전자기기, 텔레비전, 디지털 텔레비전, 셋톱박스, 무선 액세스 포인트, 기지국, 가입자국, 모바일 가입자 센터(mobile subscriber center), 무선 네트워크 제어기, 라우터, 허브, 게이트웨이, 브리지, 스위치, 머신, 또는 이들의 조합(이들로 제한되지 않음)을 포함할 수 있다.
실시예들은 모 기판(parentboard)을 사용하여 상호연결되는 하나 이상의 마이크로칩들 또는 집적 회로들, 하드와이어드 로직, 메모리 디바이스에 의해 저장되고 마이크로프로세서에 의해 실행되는 소프트웨어, 펌웨어, ASIC(application specific integrated circuit), 및/또는 FPGA(field programmable gate array) 중 임의의 것 또는 그 조합으로서 구현될 수 있다. 용어 "로직"은, 예로서, 소프트웨어 또는 하드웨어 및/또는 소프트웨어와 하드웨어의 조합들을 포함할 수 있다.
실시예들이, 예를 들어, 컴퓨터, 컴퓨터들의 네트워크, 또는 다른 전자 디바이스들과 같은 하나 이상의 머신들에 의해 실행될 때, 하나 이상의 머신들로 하여금 본원에 기술되는 실시예들에 따라 동작들을 수행하게 할 수 있는 머신 실행가능 명령어들을 저장하고 있는 하나 이상의 머신 판독가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 머신 판독가능 매체는 플로피 디스켓, 광학 디스크, CD-ROM(Compact Disc-Read Only Memory), 및 광자기 디스크, ROM, RAM, EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory), 자기 또는 광학 카드, 플래시 메모리, 또는 머신 실행가능 명령어들을 저장하는 데 적당한 다른 유형의 매체/컴퓨터 판독가능 매체를 포함할 수 있지만, 이들로 제한되지 않는다.
더욱이, 실시예들은 컴퓨터 프로그램 제품으로서 다운로드될 수 있고, 여기서 프로그램은 통신 링크(예컨대, 모뎀 및/또는 네트워크 연결)를 거쳐 반송파 또는 다른 전파 매체 내에 구현되는 그리고/또는 그에 의해 변조되는 하나 이상의 데이터 신호들을 통해 원격 컴퓨터(예컨대, 서버)로부터 요청측 컴퓨터(예컨대, 클라이언트)로 전송될 수 있다.
"일 실시예", "실시예", "예시적인 실시예", "다양한 실시예들" 등으로 지칭하는 것은 그와 같이 기술된 실시예(들)가 특정의 특징들, 구조들 또는 특성들을 포함할 수 있지만, 모든 실시예가 특정의 특징들, 구조들 또는 특성들을 꼭 포함하는 것은 아니라는 것을 나타낸다. 게다가, 일부 실시예들은 다른 실시예들에 대해 기술된 특징들 중 일부, 전부를 가지거나 전혀 갖지 않을 수 있다.
이하의 설명 및 청구항들에서, 용어 "결합된"이, 그의 파생어들과 함께, 사용될 수 있다. "결합된"은 2개 이상의 요소들이 서로 협력하거나 상호작용하지만 그들 사이에 개재되어 있는 물리적 또는 전기적 컴포넌트들을 가질 수 있거나 그렇지 않을 수 있다는 것을 나타내기 위해 사용된다.
청구항들에서 사용되는 바와 같이, 달리 언급되지 않는 한, 공통의 요소를 기술하는 데 서수 형용사 "제1", "제2", "제3" 등을 사용하는 것은 동일한 요소들의 상이한 인스턴스들이 지칭되고 있다는 것을 나타낼 뿐이고, 그와 같이 기술된 요소들이 시간적으로, 공간적으로, 순위에서 또는 임의의 다른 방식에서 주어진 순서로 있어야만 한다는 것을 암시하려는 것으로 의도되어 있지 않다.
이하의 항목들 및/또는 예들은 추가적인 실시예들 또는 예들에 관한 것이다. 예들에서의 세부 사항들이 하나 이상의 실시예들에서 어디에나 사용될 수 있다. 상이한 실시예들 또는 예들의 다양한 특징들은, 각종의 상이한 응용분야들에 적합하기 위해 일부 특징들은 포함되고 다른 특징들은 배제되게, 다양하게 조합될 수 있다. 예들은 방법, 방법의 동작들을 수행하는 수단, 머신에 의해 수행될 때, 머신으로 하여금 본원에 기술되는 실시예들 및 예들에 따른 하이브리드 통신을 용이하게 하기 위한 방법의 또는 장치 또는 시스템의 동작들을 수행하게 하는 명령어들을 포함하는 적어도 하나의 머신 판독가능 매체와 같은 발명 요지를 포함할 수 있다.
일부 실시예들은 아바타들의 동적 선택을 용이하게 하는 장치를 포함하는 예 1에 관한 것이다. 본 장치는 사용자의 이미지를 실시간으로 포착하는 수신 및 포착 로직, 사용자 이미지에 기초하여 사용자의 얼굴 특징들을 결정하는 검출/추적 로직 및 사용자 얼굴 특징에 기초하여 아바타의 선택을 용이하게 하는 아바타 선택 모듈을 포함한다.
예 2는 예 1의 발명 요지를 포함하고, 여기서 아바타 선택 모듈은 사용자와 하나 이상의 수신자들에 대한 프로파일 정보를 취득하는 프로파일 취득 모듈, 사용자와 하나 이상의 수신자들의 현재 상황에 관련된 정보를 취득하는 컨텍스트 엔진, 기분 및 대인관계 동태를 결정하기 위해 사용자와 하나 이상의 수신자들 사이의 메시지의 내용을 분석하는 내용 분석기 및 프로파일 정보, 컨텍스트 엔진에 의해 취득된 정보 그리고 내용 분석기에 의해 결정된 기분 및 대인관계 통태에 기초하여 아바타를 선택하는 아바타 결정 모듈을 포함한다.
예 3은 예 2의 발명 요지를 포함하고, 여기서 프로파일 취득 모듈은 하나 이상의 소셜 네트워크 소스들로부터 정보를 추출한다.
예 4는 예 3의 발명 요지를 포함하고, 여기서 아바타 결정 모듈은 아바타를 선택함에 있어서의 인자로서 하나 이상의 소셜 네트워크 소스들로부터의 정보에 기초하여 사용자의 의도를 추론한다.
예 5는 예 4의 발명 요지를 포함하고, 여기서 아바타 결정 모듈은 송신자와 하나 이상의 수신자들에 의해 공유되는 사회적 영향들에 기초하여 아바타를 선택한다.
예 6은 예 2의 발명 요지를 포함하고, 여기서 아바타 결정 모듈은 주제면에서 관련성이 있는 아바타를 선택하기 위해 내용 분석기로부터의 텍스트에 있는 단어들을 소셜 네트워크 소스들과 매칭시킨다.
예 7은 예 2의 발명 요지를 포함하고, 여기서 아바타 결정 모듈은 수신자의 사회적 상황에 기초하여 아바타를 선택한다.
예 8은 예 2의 발명 요지를 포함하고, 여기서 아바타 결정 모듈은 하나 이상의 수신자들로부터 이미지 데이터 또는 텍스트 데이터를 수신하고 하나 이상의 수신자들의 인지된 감정적 반응들에 기초하여 아바타를 선택한다.
예 9는 예 1의 발명 요지를 포함하고, 여기서 아바타 선택 모듈은 사용자 얼굴 특징들에 기초하여 사용자 속성들을 인식하는 사용자 인식 모듈, 사용자 속성 데이터를 수신하고 속성 유사도 점수들에 기초하여 이용가능한 아바타 모델들에 순위 부여하는 순위 부여 모듈 및 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 아바타 추천 모듈을 포함한다.
예 10은 예 9의 발명 요지를 포함하고, 여기서 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하기 위해 사용자에 대한 모든 속성들이 고려된다.
예 11은 예 9의 발명 요지를 포함하고, 여기서 아바타 추천 모듈은 디스플레이하기 위한 순위 부여된 이용가능한 아바타 모델들의 리스트를 발생시킨다.
일부 실시예들은 아바타들의 동적 선택을 용이하게 하는 방법을 포함하는 예 12에 관한 것이며, 본 방법은 속성들을 취득하는 단계, 속성들을 분석하는 단계 및 사용자 속성들에 기초하여 아바타의 선택을 용이하게 하는 단계를 포함한다.
예 13은 예 12의 발명 요지를 포함하고, 여기서 속성들은 사용자와 하나 이상의 수신자들에 대한 프로파일 정보, 사용자와 하나 이상의 수신자들의 현재 상황에 관련된 정보, 사용자의 얼굴 속성들 중 적어도 하나를 포함한다.
예 14는 예 13의 발명 요지를 포함하고, 기분 및 대인관계 동태를 결정하기 위해 사용자와 하나 이상의 수신자들 사이의 메시지의 내용을 분석하는 단계 및 속성들 및 메시지의 내용에 기초하여 아바타를 선택하는 단계를 추가로 포함한다.
예 15는 예 14의 발명 요지를 포함하고, 하나 이상의 수신자들의 얼굴 속성들을 모니터링하는 단계, 하나 이상의 수신자들로부터 텍스트 데이터를 수신하는 단계 및 얼굴 속성들 및 하나 이상의 수신자들로부터의 텍스트 데이터에 기초하여 업데이트된 아바타를 선택하는 단계를 추가로 포함한다.
예 16은 예 12의 발명 요지를 포함하고, 여기서 사용자 속성들을 분석하는 단계는 사용자 얼굴 속성들을 인식하는 단계를 포함한다.
예 17은 예 16의 발명 요지를 포함하고, 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하는 단계, 속성 유사도 점수들에 기초하여 이용가능한 아바타 모델들에 순위 부여하는 단계 및 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 단계를 추가로 포함한다.
예 18은 예 17의 발명 요지를 포함하고, 여기서 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하기 위해 사용자에 대한 모든 속성들이 고려된다.
예 19는 예 17의 발명 요지를 포함하고, 디스플레이하기 위한 순위 부여된 이용가능한 아바타 모델들의 리스트를 발생시키는 단계를 추가로 포함한다.
일부 실시예들은, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 제12항 내지 제19항 중 어느 한 항에 따른 동작들을 수행하게 하는 복수의 명령어들을 포함하는 적어도 하나의 머신 판독가능 매체를 포함하는 예 20에 관한 것이다.
일부 실시예들은 제12항 내지 제19항 중 어느 한 항에 따른 동작들을 수행하는 메커니즘을 포함하는 시스템을 포함하는 예 21에 관한 것이다.
일부 실시예들은 제12항 내지 제19항 중 어느 한 항에 따른 동작들을 수행하는 수단을 포함하는 장치를 포함하는 예 22에 관한 것이다.
일부 실시예들은 제12항 내지 제19항 중 어느 한 항에 따른 동작들을 수행하도록 구성된 컴퓨팅 디바이스를 포함하는 예 23에 관한 것이다.
일부 실시예들은 제12항 내지 제19항 중 어느 한 항에 따른 동작들을 수행하도록 구성된 통신 디바이스를 포함하는 예 24에 관한 것이다.
일부 실시예들은 아바타들의 동적 선택을 용이하게 하는 장치를 포함하는 예 25에 관한 것이며, 본 장치는 속성들을 취득하는 수단, 속성들을 분석하는 수단 및 사용자 속성들에 기초하여 아바타의 선택을 용이하게 하는 수단을 포함한다.
예 26은 예 25의 발명 요지를 포함하고, 여기서 속성들은 사용자와 하나 이상의 수신자들에 대한 프로파일 정보, 사용자와 하나 이상의 수신자들의 현재 상황에 관련된 정보, 사용자의 얼굴 속성들 중 적어도 하나를 포함한다.
예 27은 예 26의 발명 요지를 포함하고, 기분 및 대인관계 동태를 결정하기 위해 사용자와 하나 이상의 수신자들 사이의 메시지의 내용을 분석하는 수단 및 속성들 및 메시지의 내용에 기초하여 아바타를 선택하는 수단을 추가로 포함한다.
예 28은 예 27의 발명 요지를 포함하고, 하나 이상의 수신자들의 얼굴 속성들을 모니터링하는 수단, 하나 이상의 수신자들로부터 텍스트 데이터를 수신하는 수단 및 얼굴 속성들 및 하나 이상의 수신자들로부터의 텍스트 데이터에 기초하여 업데이트된 아바타를 선택하는 수단을 추가로 포함한다.
예 29는 예 25의 발명 요지를 포함하고, 여기서 사용자 속성들을 분석하는 수단은 사용자 얼굴 속성들을 인식하는 수단을 포함한다.
일부 실시예들은, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하는 복수의 명령어들을 포함하는 적어도 하나의 머신 판독가능 매체를 포함하는 예 30에 관한 것이며, 상기 동작들은 속성들을 취득하는 동작, 속성들을 분석하는 동작 및 사용자 속성들에 기초하여 아바타의 선택을 용이하게 하는 동작을 포함한다.
예 31은 예 30의 발명 요지를 포함하고, 여기서 속성들은 사용자와 하나 이상의 수신자들에 대한 프로파일 정보, 사용자와 하나 이상의 수신자들의 현재 상황에 관련된 정보, 사용자의 얼굴 속성들 중 적어도 하나를 포함한다.
예 32는 예 31의 발명 요지를 포함하고, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 동작들을 추가로 수행하게 하는 복수의 명령어들을 포함하고, 상기 동작들은 기분 및 대인관계 동태를 결정하기 위해 사용자와 하나 이상의 수신자들 사이의 메시지의 내용을 분석하는 동작 및 속성들 및 메시지의 내용에 기초하여 아바타를 선택하는 동작을 포함한다.
예 33은 예 32의 발명 요지를 포함하고, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 동작들을 추가로 수행하게 하는 복수의 명령어들을 포함하고, 상기 동작들은 하나 이상의 수신자들의 얼굴 속성들을 모니터링하는 동작, 하나 이상의 수신자들로부터 텍스트 데이터를 수신하는 동작 및 얼굴 속성들 및 하나 이상의 수신자들로부터의 텍스트 데이터에 기초하여 업데이트된 아바타를 선택하는 동작을 포함한다.
예 34는 예 30의 발명 요지를 포함하고, 여기서 사용자 속성들을 분석하는 동작은 사용자 얼굴 속성들을 인식하는 동작을 포함한다.
예 35는 예 34의 발명 요지를 포함하고, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 컴퓨팅 디바이스로 하여금 동작들을 추가로 수행하게 하는 복수의 명령어들을 포함하고, 상기 동작들은 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하는 동작, 속성 유사도 점수들에 기초하여 이용가능한 아바타 모델들에 순위 부여하는 동작 및 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 동작을 포함한다.
도면들 및 이상의 설명은 실시예들의 예들을 제공한다. 본 기술분야의 통상의 기술자라면 기술된 요소들 중 하나 이상이 단일의 기능 요소로 잘 결합될 수 있다는 것을 잘 알 것이다. 대안적으로, 특정 요소들이 다수의 기능 요소들로 분할될 수 있다. 일 실시예로부터의 요소들이 다른 실시예에 추가될 수 있다. 예를 들어, 본원에 기술되는 프로세스들의 순서들이 변경될 수 있고 본원에 기술되는 방식으로 제한되지 않는다. 더욱이, 임의의 흐름도에서의 동작들이 도시된 순서로 구현될 필요가 없고, 동작들 모두가 꼭 수행될 필요는 없다. 또한, 다른 동작들에 의존하지 않는 그 동작들은 다른 동작들과 병렬로 수행될 수 있다. 실시예들의 범주가 이 특정 예들에 의해 결코 제한되지 않는다. 명세서에 명시적으로 주어져 있든 그렇지 않든 간에, 구조, 차원, 및 재료의 사용에서의 차이들과 같은, 수많은 변형들이 가능하다. 실시예들의 범주는 적어도 이하의 청구항들에 의해 주어지는 것만큼 광의적이다.

Claims (35)

  1. 아바타들의 동적 선택을 용이하게 하는 장치로서,
    사용자의 이미지를 실시간으로 포착하는 수신 및 포착 로직;
    상기 사용자 이미지에 기초하여 상기 사용자의 얼굴 특징들(facial features)을 결정하는 검출/추적 로직; 및
    상기 사용자 얼굴 특징 및 하나 이상의 수신자들에 대한 정보에 기초하여 아바타의 선택을 용이하게 하는 아바타 선택 모듈
    을 포함하고,
    상기 아바타 선택 모듈은:
    기분 및 대인관계 동태(sentiment and interpersonal dynamics)를 결정하기 위해 상기 사용자와 상기 하나 이상의 수신자들 사이의 메시지의 내용을 분석하는 내용 분석기; 및
    상기 내용 분석기에 의해 결정된 상기 기분 및 상기 대인관계 동태에 기초하여 아바타를 선택하는 아바타 결정 모듈을 포함하는, 장치.
  2. 제1항에 있어서, 상기 아바타 선택 모듈은:
    상기 사용자와 상기 하나 이상의 수신자들에 대한 프로파일 정보를 취득하는 프로파일 취득 모듈; 및
    상기 사용자와 상기 하나 이상의 수신자들의 현재 상황들에 관련된 정보를 취득하는 컨텍스트 엔진(context engine)
    을 포함하는, 장치.
  3. 제2항에 있어서, 상기 프로파일 취득 모듈은 하나 이상의 소셜 네트워크 소스들로부터 정보를 추출하는, 장치.
  4. 제3항에 있어서, 상기 아바타 결정 모듈은 상기 아바타를 선택함에 있어서의 인자로서 하나 이상의 소셜 네트워크 소스들로부터의 상기 정보에 기초하여 상기 사용자의 의도를 추론하는, 장치.
  5. 제3항에 있어서, 상기 아바타 결정 모듈은 송신자와 하나 이상의 수신자들에 의해 공유되는 사회적 영향들(social influences)에 기초하여 상기 아바타를 선택하는, 장치.
  6. 제3항에 있어서, 상기 아바타 결정 모듈은 주제면에서 관련성이 있는 아바타(topically relevant avatar)를 선택하기 위해 상기 내용 분석기로부터의 텍스트에 있는 단어들을 상기 소셜 네트워크 소스들에 대해 매칭(match)시키는, 장치.
  7. 제2항에 있어서, 상기 아바타 결정 모듈은 수신자의 사회적 상황(social situation)에 기초하여 상기 아바타를 선택하는, 장치.
  8. 제2항에 있어서, 상기 아바타 결정 모듈은 상기 하나 이상의 수신자들로부터 이미지 데이터 또는 텍스트 데이터를 수신하고 상기 하나 이상의 수신자들의 인지된 감정적 반응들에 기초하여 상기 아바타를 선택하는, 장치.
  9. 제1항에 있어서, 상기 아바타 선택 모듈은:
    상기 사용자 얼굴 특징들에 기초하여 사용자 속성들을 인식하는 사용자 인식 모듈;
    사용자 속성 데이터를 수신하고 속성 유사도 점수들(attribute similarity scores)에 기초하여 이용가능한 아바타 모델들에 순위 부여하는 순위 부여 모듈(ranking module); 및
    상기 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 아바타 추천 모듈을 포함하는, 장치.
  10. 제9항에 있어서, 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하기 위해 상기 사용자에 대한 모든 속성들이 고려되는, 장치.
  11. 제9항에 있어서, 상기 아바타 추천 모듈은 디스플레이하기 위한 상기 순위 부여된 이용가능한 아바타 모델들의 리스트를 발생시키는, 장치.
  12. 아바타들의 동적 선택을 용이하게 하는 방법으로서, 상기 방법은 하나 이상의 프로세서들, 메모리 디바이스들, 네트워크 디바이스들, 드라이버들 및 입출력 소스들 중 적어도 하나를 포함하는 컴퓨팅 디바이스에 의해 수행되고, 상기 방법은:
    사용자의 이미지를 포함하는 사용자 속성들을 취득하는 단계;
    상기 사용자 속성들을 분석하여 상기 사용자의 얼굴 특징들을 결정하는 단계;
    상기 사용자와 하나 이상의 수신자들 사이의 메시지의 내용을 분석하여 기분 및 대인관계 동태를 결정하는 단계; 및
    상기 사용자 얼굴 특징 및 상기 하나 이상의 수신자들에 대한 정보에 기초하여 아바타를 선택하는 단계
    를 포함하고,
    상기 아바타를 선택하는 단계는 상기 메시지의 상기 내용을 분석하여 결정된 상기 기분 및 상기 대인관계 동태에 기초하는, 방법.
  13. 제12항에 있어서, 상기 사용자 속성들은 상기 사용자와 상기 하나 이상의 수신자들에 대한 프로파일 정보, 상기 사용자와 상기 하나 이상의 수신자들의 현재 상황들에 관련된 정보, 및 상기 사용자의 얼굴 특징들 중 적어도 하나를 포함하는, 방법.
  14. 삭제
  15. 제12항에 있어서,
    상기 하나 이상의 수신자들의 얼굴 속성들을 모니터링하는 단계;
    상기 하나 이상의 수신자들로부터 텍스트 데이터를 수신하는 단계; 및
    상기 하나 이상의 수신자들의 상기 얼굴 속성들 및 상기 하나 이상의 수신자들로부터의 텍스트 데이터에 기초하여 업데이트된 아바타를 선택하는 단계를 추가로 포함하는, 방법.
  16. 제12항에 있어서, 상기 사용자 속성들을 분석하는 단계는 상기 사용자의 얼굴 속성들을 인식하는 단계를 포함하는, 방법.
  17. 제16항에 있어서,
    속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하는 단계;
    속성 유사도 점수들에 기초하여 상기 이용가능한 아바타 모델들에 순위 부여하는 단계; 및
    상기 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 단계를 추가로 포함하는, 방법.
  18. 제17항에 있어서, 속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하기 위해 상기 사용자에 대한 모든 속성들이 고려되는, 방법.
  19. 제17항에 있어서, 디스플레이하기 위한 상기 순위 부여된 이용가능한 아바타 모델들의 리스트를 발생시키는 단계를 추가로 포함하는, 방법.
  20. 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하는 복수의 명령어들을 포함하는 적어도 하나의 머신 판독가능 매체로서, 상기 동작들은:
    사용자의 이미지를 포함하는 사용자 속성들을 취득하는 동작;
    상기 사용자 속성들을 분석하여 상기 사용자의 얼굴 특징들을 결정하는 동작;
    상기 사용자의 얼굴 특징들과 하나 이상의 수신자들에 대한 정보에 기초하여 아바타를 선택하는 동작;
    상기 사용자와 상기 하나 이상의 수신자들 사이의 메시지의 내용을 분석하여 기분 및 대인관계 동태를 결정하는 동작; 및
    상기 기분 및 상기 대인관계 동태에 기초하여 아바타를 선택하는 동작
    을 포함하는, 머신 판독가능 매체.
  21. 제20항에 있어서, 상기 사용자 속성들은 상기 사용자와 상기 하나 이상의 수신자들에 대한 프로파일 정보, 상기 사용자와 상기 하나 이상의 수신자들의 현재 상황들에 관련된 정보, 및 상기 사용자의 얼굴 특징들 중 적어도 하나를 포함하는, 머신 판독가능 매체.
  22. 삭제
  23. 제20항에 있어서, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    상기 하나 이상의 수신자들의 얼굴 속성들을 모니터링하는 동작;
    상기 하나 이상의 수신자들로부터 텍스트 데이터를 수신하는 동작; 및
    상기 하나 이상의 수신자들의 상기 얼굴 속성들 및 상기 하나 이상의 수신자들로부터의 텍스트 데이터에 기초하여 업데이트된 아바타를 선택하는 동작
    을 포함하는 동작들을 추가로 수행하게 하는 복수의 명령어들을 포함하는, 머신 판독가능 매체.
  24. 제20항에 있어서, 상기 사용자 속성들을 분석하는 동작은 상기 사용자의 얼굴 속성들을 인식하는 동작을 포함하는, 머신 판독가능 매체.
  25. 제24항에 있어서, 컴퓨팅 디바이스 상에서 실행되는 것에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    속성 유사도 점수를 각각의 이용가능한 아바타 모델에 할당하는 동작;
    속성 유사도 점수들에 기초하여 상기 이용가능한 아바타 모델들에 순위 부여하는 동작; 및
    상기 순위 부여된 이용가능한 아바타 모델들에 기초하여 아바타를 추천하는 동작
    을 포함하는 동작들을 추가로 수행하게 하는 복수의 명령어들을 포함하는, 머신 판독가능 매체.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
KR1020177012781A 2014-12-11 2014-12-11 아바타 선택 메커니즘 KR102374446B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/093596 WO2016090605A1 (en) 2014-12-11 2014-12-11 Avatar selection mechanism

Publications (2)

Publication Number Publication Date
KR20170095817A KR20170095817A (ko) 2017-08-23
KR102374446B1 true KR102374446B1 (ko) 2022-03-15

Family

ID=56106474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177012781A KR102374446B1 (ko) 2014-12-11 2014-12-11 아바타 선택 메커니즘

Country Status (6)

Country Link
US (1) US20160361653A1 (ko)
EP (1) EP3238176B1 (ko)
JP (1) JP6662876B2 (ko)
KR (1) KR102374446B1 (ko)
CN (1) CN107077750A (ko)
WO (1) WO2016090605A1 (ko)

Families Citing this family (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US9930310B2 (en) 2009-09-09 2018-03-27 Apple Inc. Audio alteration techniques
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US10438631B2 (en) 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
EP3218879A4 (en) * 2014-11-10 2018-07-04 Intel Corporation Image capturing apparatus and method
JP5905652B1 (ja) * 2015-01-30 2016-04-20 株式会社Ｕｂｉｃ データ評価システム、データ評価方法、およびデータ評価プログラム
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10607386B2 (en) 2016-06-12 2020-03-31 Apple Inc. Customized avatars and associated framework
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
US20180089880A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Transmission of avatar data
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) * 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
WO2018201104A1 (en) 2017-04-27 2018-11-01 Snap Inc. Regional-level representation of user location on a social media platform
US10861210B2 (en) 2017-05-16 2020-12-08 Apple Inc. Techniques for providing audio and video effects
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US20200105265A1 (en) * 2017-06-20 2020-04-02 Sony Corporation Information processor, information processing method, and program
US10636193B1 (en) * 2017-06-29 2020-04-28 Facebook Technologies, Llc Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10636192B1 (en) 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US20190114037A1 (en) 2017-10-17 2019-04-18 Blend Systems, Inc. Systems and methods for distributing customized avatars responsive to events
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
WO2019108700A1 (en) 2017-11-29 2019-06-06 Snap Inc. Group stories in an electronic messaging application
KR102387861B1 (ko) 2017-11-29 2022-04-18 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
CN112041891A (zh) 2018-04-18 2020-12-04 斯纳普公司 增强表情系统
KR102173146B1 (ko) * 2018-05-11 2020-11-02 이재윤 두상과 피부톤을 이용한 헤어라인 제공시스템
CN112512649B (zh) * 2018-07-11 2024-05-24 苹果公司 用于提供音频和视频效果的技术
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
KR102530264B1 (ko) 2018-08-08 2023-05-09 삼성전자 주식회사 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
KR102242779B1 (ko) * 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
CN109857311A (zh) * 2019-02-14 2019-06-07 北京达佳互联信息技术有限公司 生成人脸三维模型的方法、装置、终端及存储介质
KR20200101014A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11315298B2 (en) * 2019-03-25 2022-04-26 Disney Enterprises, Inc. Personalized stylized avatars
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
CN113508369A (zh) * 2019-04-01 2021-10-15 住友电气工业株式会社 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11587276B2 (en) 2019-12-03 2023-02-21 Disney Enterprises, Inc. Data-driven extraction and composition of secondary dynamics in facial performance capture
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11409368B2 (en) * 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
EP4128194A1 (en) 2020-03-31 2023-02-08 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11151767B1 (en) * 2020-07-02 2021-10-19 Disney Enterprises, Inc. Techniques for removing and synthesizing secondary dynamics in facial performance capture
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
CN112188140A (zh) * 2020-09-29 2021-01-05 深圳康佳电子科技有限公司 一种人脸跟踪视频聊天方法、系统及存储介质
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11582424B1 (en) * 2020-11-10 2023-02-14 Know Systems Corp. System and method for an interactive digitally rendered avatar of a subject person
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
GB2606344A (en) * 2021-04-28 2022-11-09 Sony Interactive Entertainment Europe Ltd Computer-implemented method and system for generating visual adjustment in a computer-implemented interactive entertainment environment
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
WO2022249461A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
KR20230021924A (ko) 2021-08-06 2023-02-14 삼성전자주식회사 전자 장치 및 전자 장치에서 복수의 상태들의 우선 순위에 기반한 캐릭터 오브젝트 표시 방법
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
JP7145556B1 (ja) * 2021-10-14 2022-10-03 株式会社I’mbesideyou 動画像分析システム
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
GB2617836A (en) * 2022-04-19 2023-10-25 Sony Interactive Entertainment Inc Image processing apparatus and method
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050223328A1 (en) 2004-01-30 2005-10-06 Ashish Ashtekar Method and apparatus for providing dynamic moods for avatars
JP2006520053A (ja) * 2003-03-03 2006-08-31 アメリカ オンライン インコーポレイテッド 通信するためにアバターを使用する方法
JP2012190112A (ja) * 2011-03-09 2012-10-04 Nec Casio Mobile Communications Ltd 電子データ作成装置、電子データ作成方法、及び電子データ作成プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0220748D0 (en) * 2002-09-06 2002-10-16 Saw You Com Ltd Improved communication using avatars
US7908554B1 (en) * 2003-03-03 2011-03-15 Aol Inc. Modifying avatar behavior based on user action or mood
CN1757057A (zh) * 2003-03-03 2006-04-05 美国在线服务公司 使用图形表达进行通信
JP2005293335A (ja) * 2004-04-01 2005-10-20 Hitachi Ltd 携帯端末装置
US7468729B1 (en) * 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
JP4986279B2 (ja) * 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP4783264B2 (ja) * 2006-11-01 2011-09-28 ソフトバンクモバイル株式会社 電子メール作成方法及び通信端末装置
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
JP5319311B2 (ja) * 2009-01-21 2013-10-16 任天堂株式会社 表示制御プログラムおよび表示制御装置
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9357174B2 (en) * 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
US9785883B2 (en) * 2012-04-27 2017-10-10 Excalibur Ip, Llc Avatars for use with personalized generalized content recommendations
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US9285951B2 (en) * 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
JP6111723B2 (ja) * 2013-02-18 2017-04-12 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
WO2014139118A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006520053A (ja) * 2003-03-03 2006-08-31 アメリカ オンライン インコーポレイテッド 通信するためにアバターを使用する方法
US20050223328A1 (en) 2004-01-30 2005-10-06 Ashish Ashtekar Method and apparatus for providing dynamic moods for avatars
JP2012190112A (ja) * 2011-03-09 2012-10-04 Nec Casio Mobile Communications Ltd 電子データ作成装置、電子データ作成方法、及び電子データ作成プログラム

Also Published As

Publication number Publication date
EP3238176B1 (en) 2023-11-01
EP3238176A4 (en) 2018-10-17
CN107077750A (zh) 2017-08-18
KR20170095817A (ko) 2017-08-23
JP2018505462A (ja) 2018-02-22
JP6662876B2 (ja) 2020-03-11
WO2016090605A1 (en) 2016-06-16
EP3238176A1 (en) 2017-11-01
US20160361653A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
KR102374446B1 (ko) 아바타 선택 메커니즘
US9489760B2 (en) Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
CN107924414B (zh) 促进在计算装置处进行多媒体整合和故事生成的个人辅助
US11841935B2 (en) Gesture matching mechanism
US20170212892A1 (en) Predicting media content items in a dynamic interface
EP3612926B1 (en) Parsing electronic conversations for presentation in an alternative interface
US20170083586A1 (en) Integrated dynamic interface for expression-based retrieval of expressive media content
CN108876877A (zh) 表情符号人偶化
US20160086088A1 (en) Facilitating dynamic affect-based adaptive representation and reasoning of user behavior on computing devices
CN111527496A (zh) 基于面部辨识生成个性化表情符号和嘴唇同步视频的系统和方法
JP2018530079A (ja) 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
US10176798B2 (en) Facilitating dynamic and intelligent conversion of text into real user speech
US20170083519A1 (en) Platform and dynamic interface for procuring, organizing, and retrieving expressive media content
US10191920B1 (en) Graphical image retrieval based on emotional state of a user of a computing device
US20170083520A1 (en) Selectively procuring and organizing expressive media content
KR20230029946A (ko) 이미지들에 대한 여행 기반 증강 현실 콘텐츠
US20220092071A1 (en) Integrated Dynamic Interface for Expression-Based Retrieval of Expressive Media Content
KR20230013280A (ko) 클라이언트 애플리케이션 콘텐츠 분류 및 발견
KR20230028553A (ko) 여행과 연관된 증강 현실 기반 번역들
KR20240010718A (ko) 메시징 시스템 내에서의 스캔 동작으로부터의 숏컷들
US11743530B2 (en) Systems and methods for improved searching and categorizing of media content items based on a destination for the media content machine learning
US11010935B2 (en) Context aware dynamic image augmentation
US20230096129A1 (en) Hologram communication continuity
WO2015084286A1 (ru) Способ создания и передачи эмограммы пользователя
KR20230055161A (ko) 사용자 상태 기반의 촬영 공유 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant