KR20230022154A - 기본 셀프-이미지를 위한 전역 구성 인터페이스 - Google Patents

기본 셀프-이미지를 위한 전역 구성 인터페이스 Download PDF

Info

Publication number
KR20230022154A
KR20230022154A KR1020227038093A KR20227038093A KR20230022154A KR 20230022154 A KR20230022154 A KR 20230022154A KR 1020227038093 A KR1020227038093 A KR 1020227038093A KR 20227038093 A KR20227038093 A KR 20227038093A KR 20230022154 A KR20230022154 A KR 20230022154A
Authority
KR
South Korea
Prior art keywords
user
image
computing device
self
video
Prior art date
Application number
KR1020227038093A
Other languages
English (en)
Inventor
제레미 보스
달린 다이어
Original Assignee
스냅 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 아이엔씨 filed Critical 스냅 아이엔씨
Publication of KR20230022154A publication Critical patent/KR20230022154A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6583—Acknowledgement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

메시징 시스템을 작동하기 위한 방법이 제공된다. 상기 방법은 수정 가능한 동영상을 송수신하도록 구성되며, 컴퓨팅 디바이스에 의해, 개인화된 동영상에서 사용자의 셀프 이미지를 사용하도록 상기 사용자로부터 제1 승인을 수신하는 단계를 포함한다. 상기 방법은 또한, 컴퓨팅 디바이스에 의해, 상기 개인화된 동영상에서 다른 사용자의 다른 셀프 이미지를 사용하는 것이 가능하도록 상기 사용자로부터 제2 승인을 수신하는 단계를 포함한다. 상기 방법은, 컴퓨팅 디바이스에 의해, 제1 승인 및 제2 승인이 수신된 후, 상기 사용자의 셀프 이미지의 적어도 일부, 상기 다른 사용자의 다른 셀프 이미지의 적어도 일부, 및 스톡 동영상의 적어도 일부를 포함하는 개인화된 동영상을 전송하는 단계를 추가로 포함한다. 수정 가능한 동영상을 송수신하도록 구성된 메시징 시스템을 작동시키기 위한 시스템 및 비일시적 프로세서 판독가능 매체가 제공된다.

Description

기본 셀프-이미지를 위한 전역 구성 인터페이스
본 개시는 대체적으로 디지털 이미지 프로세싱에 관한 것이다. 보다 상세하게는, 본 개시는 통신 시스템을 위한 구성과 인터페이싱하기 위한 방법 및 시스템에 관한 것이다.
스티커 및 이모티콘과 같은 공유 미디어는 메시징 어플리케이션 프로그램의 표준 옵션이 되고 있다. 현재, 일부 메신저는 통신 채팅을 통해 이미지 및 짧은 동영상을 생성하고 다른 사용자에게 보내는 옵션을 사용자에게 제공한다.
구현예는 예로서 예시되며, 첨부된 도면의 도면으로 제한되지 않으며, 여기에서 유사한 참조 번호는 유사한 요소를 나타낸다.
도 1은 개인화된 동영상의 템플릿 기반 생성을 위한 시스템 및 방법이 구현될 수 있는 예시적인 환경을 도시하는 블록 다이어그램이다.
도 2는 개인화된 동영상의 템플릿 기반 생성을 위한 방법을 구현하기 위한 컴퓨팅 디바이스의 일 구현예를 나타내는 블록 다이어그램이다.
도 3은 본 개시의 일부 예시적인 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 프로세스를 도시하는 흐름도이다.
도 4는 본 개시의 일부 예시적인 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 시스템의 기능을 도시하는 흐름도이다.
도 5는 일부 예시적인 구현예에 따른, 동영상 템플릿의 생성에 사용하기 위한 라이브 액션 동영상의 생성 프로세스를 도시하는 흐름도이다.
도 6은 일부 예시적인 구현예에 따른, 동영상 템플릿의 생성을 위한 예시적인 라이브 액션 동영상들의 프레임을 도시한다.
도 7은 예시적인 일 구현예에 따른, 안면의 원본 이미지 및 정규화된 조명을 갖는 해당 안면의 이미지를 도시한다.
도 8은 예시적인 일 구현예에 따른, 세그멘트화된 두부(head) 이미지, 안면 랜드마크를 갖는 두부 이미지, 및 안면 마스크를 도시한다.
도 9는 예시적인 일 구현예에 따른, 사용자 안면, 스킨 마스크, 및 스킨 마스크를 재채색한 결과를 특징으로 하는 프레임을 도시한다.
도 10은 예시적인 일 구현예에 따른, 안면 동기화 액터의 안면 이미지, 안면 동기화 액터의 안면 랜드마크의 이미지, 사용자의 안면 랜드마크의 이미지, 및 안면 동기화 액터의 안면 표정을 갖는 사용자의 안면 이미지의 이미지를 도시한다.
도 11은 예시적인 일 구현예에 따른, 세그먼트화된 안면 이미지, 모발 마스크, 타겟 이미지에 맞추어진 모발 마스크, 및 타겟 이미지에 적용된 모발 마스크를 도시한다.
도 12는 예시적인 일 구현예에 따른, 눈의 원본 이미지, 재구성된 눈의 공막을 갖는 이미지, 재구성된 홍채를 갖는 이미지, 및 재구성된 이동된 홍채를 갖는 이미지를 도시한다.
도 13 및 도 14는 일부 예시적인 구현예에 따른, 동영상 템플릿들에 기초하여 생성된 예시적인 개인화된 동영상의 프레임을 도시한다.
도 15는 예시적인 일 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 방법을 도시하는 흐름도이다.
도 16은 개인화된 동영상의 템플릿 기반 생성을 위한 방법을 구현하는 데 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
도 17은 수정 가능한 동영상을 송수신하도록 구성된 메시징 시스템을 작동시키는 방법의 일례를 도시하는 흐름도이다.
구현예에 대한 다음의 상세한 설명은 상세한 설명의 일부를 형성하는 첨부된 도면에 대한 언급을 포함한다. 본 섹션에 기재된 접근법은 청구항에 대한 선행 기술이 아니며, 본 섹션에 포함됨으로써 선행 기술로 인정되지 않는다. 도면은 예시적인 구현예에 따른 예시를 도시한다. 본원에서 "실시예"로도 언급되는 이들 예시적인 구현예는 당업자가 본 주제를 실시할 수 있도록 충분히 상세하게 설명된다. 구현예는 조합될 수 있고, 다른 구현예가 활용될 수 있거나, 청구되는 내용의 범위를 벗어나지 않으면서 구조적, 논리적 및 작동적 변경이 이루어질 수 있다. 따라서, 다음의 상세한 설명은 제한적인 의미로 취해져서는 안되며, 그 범위는 첨부된 청구항들 및 이의 등가물에 의해 정의된다.
본 특허 문서의 목적상, 용어 "일"은 달리 언급되지 않거나, "하나 이상"의 사용이 명백히 부적절하지 않은 경우, "하나 이상"을 의미한다. 용어 "~을 포함하다", "~을 포함하는", "~을 함유하다" 및 "~을 함유하는"은 상호교환 가능하며 제한하는 것으로 의도되지 않는다. 예를 들어, 용어 "~을 포함하는"은 "~을 포함하지만 이에 한정되지 않는"을 의미하는 것으로 해석되어야 한다.
본 개시는 메시징 시스템을 작동시키기 위한 방법 및 시스템에 관한 것이다. 본 개시에 제공된 구현예는 공지된 기술의 적어도 몇몇 이슈들을 해결한다. 본 개시는 실시간으로 스마트폰, 태블릿 컴퓨터 또는 모바일 폰과 같은 모바일 디바이스들 상에서 작동하도록 설계될 수 있지만, 이의 구현예는 웹 서비스 또는 클라우드 기반 리소스과 연관된 접근법으로 확장될 수 있다. 본원에 기술된 방법은 컴퓨터 시스템 상에서 실행되는 소프트웨어에 의해, 또는 마이크로프로세서 또는 다른 특별히 설계된 ASIC(application-specific integrated circuits), 프로그램가능 로직 디바이스, 또는 이의 임의의 조합의 조합 중 하나를 이용하는 하드웨어에 의해 구현될 수 있다. 특히, 본원에 기술되는 방법은 디스크 드라이브 또는 컴퓨터 판독가능 매체와 같은 비일시적 저장 매체 상에 상주하는 일련의 컴퓨터 실행가능 명령에 의해 구현될 수 있다.
본 개시의 일부 구현예는, 컴퓨팅 디바이스(일반적으로 모바일 폰) 상에서, 사용자의 안면이 동영상에 삽입되는 개인화된 동영상에서의, 셀프-이미지, 또는 셀카의 사용을 승인하는 것을 가능하게 할 수 있다. 사용자의 안면은, 반드시 그렇지는 않지만, 일반적으로 동영상에서 액터의 안면(스톡 동영상, 템플릿 및 템플릿 동영상이라고도 함)을 대체한다. 스톡 동영상은 애니메이션 동영상 또는 라이브 액션 동영상일 수 있다. 사용자는 또한 개인화된 동영상(또한 2-인 동영상(two-person video)으로 지칭됨)에서 친구의 셀카의 사용을 승인할 수 있고, 그 후 사용자 및 그의 친구의 셀카를 갖는 개인화된 동영상을 동영상에 삽입할 수 있다.
2-인 동영상을 승인한 후, 사용자의 모바일 디바이스는 사용자의 셀카를 친구의 모바일 디바이스로 전송할 수 있고, 친구는 또한 사용자의 셀카뿐만 아니라 그들 자신의 셀카와 함께 개인화된 동영상을 전송할 수 있다.
사용자는 자신 또는 친구의 수정된 동영상에서 셀카를 사용하기 위한 권한을 철회할 수 있으며, 자신의 모바일 디바이스의 애플리케이션 프로그램에서 그의 셀카를 삭제할 수 있을 뿐만 아니라 친구의 모바일 디바이스가 사용자의 셀카를 삭제하도록 지시를 보낼 수 있다. 마찬가지로, 2-인 동영상에 대한 친구의 승인 철회에 응답하여, 친구의 모바일 디바이스로부터 친구의 셀카를 삭제하라는 명령이 수신될 수 있고, 이에 이어 사용자의 디바이스는 그 친구의 셀카를 삭제할 수 있다.
본 기술에 따른 소프트웨어 애플리케이션은 또한 2-인 동영상에 대한 가능한 파트너를 제안할 수 있다. 이러한 제안은 사용자 소셜 그래프, 가장 최근의 통신의 수신자/송신자, 통신의 가장 통상적인 수신자/송신자, 또는 이전의 사용자 선택에 기초할 수 있다.
이제 도면을 참조하여, 예시적인 구현예가 기술된다. 도면은 이상화된 예시적인 구현예의 개략적인 예시이다. 따라서, 본원에서 논의되는 예시적인 구현예는 본원에 제시된 특정 예시들로 제한되는 것으로 이해되어서는 안 된다; 오히려, 이들 예시적인 구현예는 편차를 포함할 수 있고, 당업자에게 명백히 자명한 바와 같이 본원에 제시된 예시들과 상이할 수 있다.
도 1은 개인화된 동영상의 템플릿 기반 생성을 위한 시스템 및 방법이 구현될 수 있는 예시적인 환경(100)을 도시한다. 해당 환경(100)은 컴퓨팅 디바이스(105), 사용자(102), 컴퓨팅 디바이스(110), 사용자(104), 네트워크(120), 및 메신저 서비스 시스템(130)을 포함할 수 있다. 컴퓨팅 디바이스(105) 및 컴퓨팅 디바이스(110)는 모바일 폰, 스마트폰, 또는 태블릿 컴퓨터와 같은 모바일 디바이스를 지칭할 수 있다. 다른 구현예에서, 컴퓨팅 디바이스(110)는 개인용 컴퓨터, 랩탑 컴퓨터, 넷북, 셋톱박스, 텔레비전 디바이스, 멀티미디어 디바이스, 개인 디지털 어시스턴트, 게임 콘솔, 엔터테인먼트 시스템, 인포테인먼트 시스템, 차량 컴퓨터, 또는 임의의 다른 컴퓨팅 디바이스를 지칭할 수 있다.
컴퓨팅 디바이스(105) 및 컴퓨팅 디바이스(110)는 네트워크(120)를 통해 메신저 서비스 시스템(130)에 통신적으로 연결될 수 있다. 메신저 서비스 시스템(130)은 클라우드 기반 컴퓨팅 리소스(들)로서 구현될 수 있다. 메신저 서비스 시스템(130)은 원격 위치에서 이용 가능하고 네트워크(예를 들어, 인터넷)를 통해 액세스가 가능한 컴퓨팅 리소스(들)(하드웨어 및 소프트웨어)를 포함할 수 있다. 클라우드 기반 컴퓨팅 리소스는 여러 사용자가 공유할 수 있으며, 수요에 따라 동적으로 재할당될 수 있다. 클라우드 기반 컴퓨팅 리소스은 네트워크 스위치 또는 라우터를 사용하여 공동-배치될 수 있는 컴퓨터 서버의 컬렉션을 포함하는 하나 이상의 서버 팜/클러스터를 포함할 수 있다.
네트워크(120)는, 예를 들어, 인터넷, 인트라넷, 근거리 통신망(LAN), 개인 영역 네트워크(PAN), 광역 네트워크(WAN), 가상 사설망(VPN), 셀룰러 전화 네트워크(예를 들어, GSM(Global System for Mobile) 통신 네트워크 등)을 포함하는 임의의 유선, 무선 또는 광 네트워크를 포함할 수 있다.
본 개시의 일부 구현예에서, 컴퓨팅 디바이스(105)는 컴퓨팅 디바이스(110)의 사용자(102)와 사용자(104) 사이의 통신 채팅이 가능하도록 구성될 수 있다. 통신 채팅 동안, 사용자(102) 및 사용자(104)는 문자 메시지와 동영상을 교환할 수 있다. 동영상에는 개인화된 동영상이 포함될 수 있다. 개인화된 동영상은 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110)에 저장된 사전에 생성된 동영상 템플릿에 기초하여 생성될 수 있다. 일부 구현예에서, 사전에 생성된 동영상 템플릿은 메신저 서비스 시스템(130)에 저장될 수 있고, 필요에 따라 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110)에 다운로드 될 수 있다.
메신저 서비스 시스템(130)은 동영상 전처리 시스템(140)을 포함할 수 있다. 시스템(140)은 애니메이션 동영상 또는 라이브 액션 동영상에 기초하여 동영상 템플릿을 생성할 수 있다. 메신저 서비스 시스템(130)은 동영상 템플릿을 저장하기 위한 동영상 템플릿 데이터베이스(145)를 포함할 수 있다. 동영상 템플릿은 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110)에 다운로드 될 수 있다.
메신저 서비스 시스템(130)은 또한 사용자 프로파일(135)을 저장하도록 구성될 수 있다. 사용자 프로파일(135)은 사용자(102)의 안면 이미지, 사용자(104)의 안면 이미지, 및 다른 사람의 안면 이미지를 포함할 수 있다. 안면 이미지는 필요에 따라 그리고 허가에 기초하여 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110)에 다운로드 될 수 있다. 추가적으로, 사용자(102)의 안면 이미지는 컴퓨팅 디바이스(105)를 사용하여 생성될 수 있고, 컴퓨팅 디바이스(105)의 로컬 메모리에 저장될 수 있다. 안면 이미지는 컴퓨팅 디바이스(105)에 저장된 다른 이미지들에 기초하여 생성될 수 있다. 안면 이미지는 사전에 생성된 동영상 템플릿들에 기초하여 개인화된 동영상을 생성하도록 컴퓨팅 디바이스(105)에 의해 추가로 사용될 수 있다. 유사하게, 컴퓨팅 디바이스(110)는 사용자(104)의 안면 이미지를 생성하는 데 사용될 수 있다. 사용자(104)의 안면 이미지는 컴퓨팅 디바이스(110) 상에서 개인화된 동영상을 생성하는 데 사용될 수 있다. 다른 구현예에서, 사용자(102)의 안면 이미지 및 사용자(104)의 안면 이미지는 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110) 상에서 개인화된 동영상을 생성하기 위해 상호교차적으로 사용될 수 있다.
도 2는 개인화된 동영상을 위한 방법을 구현하기 위한 컴퓨팅 디바이스(105)(또는 컴퓨팅 디바이스(110))의 예시적인 구현예를 나타내는 블록 다이어그램이다. 도 2에 도시된 예에서, 컴퓨팅 디바이스(110)는 하드웨어 컴포넌트 및 소프트웨어 컴포넌트 둘 모두를 포함한다. 특히, 컴퓨팅 디바이스(110)는 디지털 이미지를 획득하기 위한 카메라(205) 또는 임의의 다른 이미지 캡처 디바이스 또는 스캐너를 포함한다. 컴퓨팅 디바이스(110)는 소프트웨어 컴포넌트 및 프로세서-판독가능 명령어 또는 코드를 저장하기 위한 프로세서 모듈(210) 및 저장 모듈(215)을 추가로 포함할 수 있으며, 이는 프로세서 모듈(210)에 의해 수행될 때, 컴퓨팅 디바이스(105)로 하여금 본원에 기술되는 바와 같은 개인화된 동영상의 템플릿 기반 생성을 위한 방법 중 적어도 일부 단계를 수행하게 한다. 컴퓨팅 디바이스(105)는 그래픽 디스플레이 시스템(230) 및 통신 모듈(240)을 포함할 수 있다. 다른 구현예에서, 컴퓨팅 디바이스(105)는 추가적이거나 상이한 컴포넌트를 포함할 수 있다. 이에 더하여, 컴퓨팅 디바이스(105)는 도 2에 도시된 것과 유사하거나 동등한 기능을 수행하는 더 적은 수의 컴포넌트를 포함할 수 있다.
컴퓨팅 디바이스(110)는 다른 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(110))과의 통신 채팅을 가능하게 하는 메신저(220) 및 개인화된 동영상의 템플릿 기반 생성을 위한 시스템(250)을 추가로 포함할 수 있다. 시스템(250)은 도 4를 참조하여 이하에서 보다 상세히 설명된다. 메신저(220) 및 시스템(250)은 메모리 저장소(215)에 저장된 소프트웨어 컴포넌트 및 프로세서-판독가능 명령어 또는 코드로서 구현될 수 있으며, 이는 프로세서 모듈(210)에 의해 수행될 때, 컴퓨팅 디바이스(105)로 하여금 본원에 기술되는 바와 같은 통신 채팅을 제공하고 개인화된 동영상을 생성하기 위한 방법의 적어도 일부 단계를 수행하게 한다.
일부 구현예에서, 개인화된 동영상의 템플릿-기반 생성을 위한 시스템(250)은 메신저(220)에 통합될 수 있다. 템플릿 기반 개인화된 동영상을 위한 메신저(220) 및 시스템(250)의 사용자 인터페이스는 그래픽 디스플레이 시스템(230)을 통해 제공될 수 있다. 통신 채팅은 통신 모듈(240) 및 네트워크(120)를 통해 활성화될 수 있다. 통신 모듈(240)은 GSM 모듈, WiFi 모듈, BluetoothTM 모듈 등을 포함할 수 있다.
도 3은 본 개시의 일부 예시적인 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 프로세스(300)의 단계를 도시하는 흐름도이다. 프로세스(300)는 프로덕션(305), 포스트 프로덕션(310), 리소스 준비(315), 스킨 재채색(320), 입술 동기화 및 안면 재연(325), 모발 애니메이션(330), 눈 애니메이션(335), 및 전개(340)의 단계를 포함할 수 있다. 리소스 준비(315) 단계는 메신저 서비스 시스템(130)(도 1에 도시됨)에서의 동영상 전처리 시스템(140)에 의해 수행될 수 있다. 리소스 준비(315) 단계는 동영상 구성 데이터를 포함할 수 있는 동영상 템플릿의 생성으로 이어진다.
스킨 재채색(320), 입술 동기화 및 안면 재연(325), 모발 애니메이션(330), 눈 애니메이션(335), 및 전개(340)의 단계는 컴퓨팅 디바이스(105)에서의 개인화된 동영상의 템플릿 기반 생성을 위한 시스템(250)(도 2에 도시됨)에 의해 수행될 수 있다. 시스템(250)은 사용자의 안면 이미지 및 동영상 구성 데이터를 수신하고, 사용자의 안면을 특징으로 하는 개인화된 동영상을 생성할 수 있다.
스킨 재채색(320), 입술 동기화 및 안면 재연(325), 모발 애니메이션(330), 눈 애니메이션(335), 및 전개(340)의 단계는 또한 메신저 서비스 시스템(130)에서의 동영상 전처리 시스템(140)에 의해 수행될 수 있다. 시스템(140)은 사용자 안면의 테스트 이미지 및 동영상 구성 파일을 수신할 수 있다. 시스템(140)은 사용자 안면을 특징으로 하는 개인화된 테스트 동영상을 생성할 수 있다. 운영자는 개인화된 테스트 동영상을 검토할 수 있다. 검토의 결과에 기초하여, 동영상 구성 파일은 동영상 템플릿 데이터베이스(145)에 저장될 수 있고, 그 후 컴퓨팅 디바이스(105) 또는 컴퓨팅 디바이스(110)로 다운로드 될 수 있다.
프로덕션 단계(305)는 아이디어 및 시나리오 창작, 위치, 소품, 액터, 의상 및 효과를 확인하는 동안의 사전 프로덕션, 및 하나 이상의 녹화 세션을 필요로 할 수 있는 프로덕션 자체를 포함할 수 있다. 일부 예시적인 구현예에서, 녹화 단계는, 본원에서 그린 스크린 또는 크로마 키(chroma key) 스크린으로도 지칭되는 크로마 키 배경 상에 장면/액터를 녹화함으로써 수행될 수 있다. 후속적인 두부 트래킹 및 리소스 정리를 가능하게 하기 위해, 액터는 액터의 안면을 커버하는 트래킹 마크를 갖는 크로마 키 안면 마스크(예를 들어, 발라클라바(balaclavas))를 착용할 수 있지만, 목과 턱의 하부는 열린 채로 둘 수 있다. 아이디어 및 시나리오 창작은 도 5에 상세히 도시되어 있다.
예시적인 구현예에서, 사전 프로덕션 및 후속 프로덕션의 단계(305)는 선택적이다. 액터를 녹화하는 대신, 2차원(2D) 또는 3차원(3D) 애니메이션이 생성되거나 제3자 푸티지/이미지가 사용될 수 있다. 또한, 사용자의 이미지의 원래 배경이 사용될 수 있다.
도 4는 일부 예시적인 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 시스템(250)의 기능(400)을 도시하는 개략도이다. 시스템(250)은 사용자 안면 이미지(405) 및 동영상 구성 데이터(410)를 포함하는 동영상 템플릿으로서 도시된 소스 안면의 이미지를 수신할 수 있다. 동영상 구성 데이터(410)는 데이터 시퀀스(420)를 포함할 수 있다. 예를 들어, 동영상 구성 데이터(410)는 프레임 이미지의 시퀀스, 프레임 이미지에서 안면 영역의 위치를 정의하는 안면 영역 파라미터의 시퀀스, 및 프레임 이미지에서 안면 랜드마크의 위치를 정의하는 안면 랜드마크 파라미터의 시퀀스를 포함할 수 있다. 각각의 안면 랜드마크 파라미터는 안면 표정에 상응할 수 있다. 프레임 이미지의 시퀀스는 애니메이션 동영상에 기초하거나 라이브 액션 동영상에 기초하여 생성될 수 있다. 안면 랜드마크 파라미터들의 시퀀스는 안면동기화 액터의 안면을 특징으로 하는 라이브 액션 동영상에 기초하여 생성될 수 있다. 동영상 구성 데이터(410)는 스킨 마스크, 눈 파라미터, 입 영역 이미지, 두부 파라미터, 애니메이션화된 대상체 이미지, 프리셋 텍스트 파라미터 등을 추가로 포함할 수 있다. 동영상 구성 데이터는 프레임 이미지에 등장하는 적어도 하나의 액터의 신체의 스킨 영역을 정의하는 스킨 마스크의 시퀀스를 포함할 수 있다. 예시적인 구현예에서, 동영상 구성 데이터(410)는 입 영역 이미지의 시퀀스를 추가로 포함할 수 있다. 각각의 입 영역 이미지는 프레임 이미지들 중 적어도 하나에 상응할 수 있다. 추가의 예시적인 구현예에서, 동영상 구성 데이터(410)는 프레임 이미지에 등장하는 안면동기화 액터의 공막에서의 홍체의 위치를 정의하는 눈 파라미터의 시퀀스, 또는 두부의 회전, 턴, 스케일 및 다른 파라미터를 정의하는 두부 파라미터의 시퀀스를 포함할 수 있다. 다른 예시적인 구현예에서, 동영상 구성 데이터(410)는 애니메이션화된 대상체 이미지의 시퀀스를 추가로 포함할 수 있다. 각각의 애니메이션화된 대상체 이미지는 프레임 이미지들 중 적어도 하나에 상응할 수 있다. 동영상 구성 데이터(410)는 사운드트랙(450)을 추가로 포함할 수 있다.
시스템(250)은 사용자 안면 이미지(405)에 기초하여, 사용자 데이터(435)를 결정할 수 있다. 사용자 데이터는 사용자 안면 랜드마크, 사용자 안면 마스크, 사용자 색상 데이터, 사용자 모발 마스크 등을 포함할 수 있다.
시스템(250)은 사용자 데이터(435) 및 데이터 시퀀스(420)에 기초하여, 개인화된 동영상(440)으로서 나타나는 출력 동영상의 프레임(445)을 생성할 수 있다. 시스템(250)은 개인화된 동영상(440)에 사운드트랙을 더 추가할 수 있다. 개인화된 동영상(440)은 프레임 이미지의 시퀀스의 프레임 이미지를 수정함으로써 생성될 수 있다. 프레임 이미지의 수정은 안면 랜드마크 파라미터들에 상응하는 안면 표정을 채택하는 소스 안면을 특징으로 하는 추가적인 이미지를 획득하기 위해 사용자 안면 이미지(405)를 수정하는 단계를 포함할 수 있다. 수정은 프레임 이미지에 상응하는 안면 랜드마크 파라미터에 기초하여 수행될 수 있다. 또 다른 이미지가 프레임 이미지에 상응하는 안면 영역 파라미터에 의해 결정된 위치에서 프레임 이미지 내로 삽입될 수 있다. 예시적인 구현예에서, 출력 동영상의 생성은 소스 안면과 연관된 색상 데이터를 결정하고, 컬러 데이터에 기초하여, 프레임 이미지 내의 스킨 영역을 재채색하는 단계를 추가로 포함할 수 있다. 추가적으로, 출력 동영상의 생성은, 프레임 이미지 내로, 프레임 이미지에 상응하는 입 영역을 삽입하는 단계를 포함할 수 있다. 또한, 출력 동영상을 생성하는 단계는 프레임에 상응하는 눈 파라미터에 기초하여 눈 영역의 이미지를 생성하고, 프레임 이미지에 해당 눈 영역의 이미지를 삽입하는 단계를 포함할 수 있다. 예시적인 구현예에서, 출력 동영상의 생성은 소스 안면 이미지에 기초하여 모발 마스크를 결정하고, 프레임 이미지에 상응하는 모발 마스크 및 두부 파라미터에 기초하여 모발 이미지를 생성하고, 프레임 이미지에 해당 모발 이미지를 삽입하는 단계를 추가로 포함할 수 있다. 추가적으로, 출력 동영상의 생성은, 프레임 이미지 내로, 프레임 이미지에 상응하는 애니메이션화된 대상체 이미지를 삽입하는 단계를 포함할 수 있다.
도 5는 라이브 액션 동영상을 생성하는 프로세스(500)을 도시하는 블록 다이어그램이다. 라이브 액션 동영상은 개인화된 동영상 생성을 위한 동영상 템플릿을 생성하는 데 추가로 사용될 수 있다. 프로세스(500)는 단계(505)에서의 아이디어 창작 단계 및 단계(510)에서의 시나리오 창작 단계를 포함할 수 있다. 프로세스(500)는 단계(515)에서의 사전 프로덕션으로 계속될 수 있고, 이에 이어 프로덕션 단계(305)가 뒤따른다. 프로덕션 단계(305)는 크로마 키 스크린(525)을 이용하거나 실제 상황(530)에서 녹화하는 단계를 포함할 수 있다.
도 6은 동영상 템플릿의 생성을 위한 예시적인 라이브 액션 동영상의 프레임을 도시한다. 동영상(605) 및 동영상(615)의 경우, 프레임은 실제 상황(530)에서 녹화된다. 동영상(610), 동영상(620) 및 동영상(625)의 경우, 프레임은 크로마 키 스크린(525)을 사용하여 녹화된다. 액터는 액터의 안면을 커버하는 트래킹 마크를 갖는 크로마 키 안면 마스크(630)를 착용할 수 있다.
포스트 프로덕션 단계(310)는 동영상 편집 또는 애니메이션화, 시각 효과, 정리, 사운드 디자인, 및 음성 오버 레코딩을 포함할 수 있다.
리소스 준비 단계(315) 동안, 추가적인 전개를 위해 준비된 리소스는, 액터의 두부가 없는 배경 푸티지(즉, 액터의 두부가 제거된 정리된 배경 준비); 검은 배경에 액터가 있는 푸티지(녹화된 개인화된 동영상에만 해당); 프레임의 전경 시퀀스; 일반적인 두부를 갖는 예시적인 푸티지 및 사운드트랙; 두부 위치, 회전 및 스케일에 대한 좌표; 두부에 부착된 애니메이션화된 요소(선택 사항); 보이스 오버가 있거나 없는 사운드 트랙; 별도의 파일에서의 보이스 오버(선택 사항); 등과 같은 컴포넌트를 포함할 수 있다. 이러한 모든 컴포넌트는 선택 사항이며 다른 형식으로 렌더링될 수 있다. 컴포넌트의 수와 구성은 개인화된 동영상의 형식에 따라 다르다. 예를 들어, 맞춤형 개인화된 동영상에는 보이스 오버가 필요하지 않으며, 사용자의 사진으로부터의 원본 배경이 사용되는 경우에는 배경 푸티지 및 두부 좌표가 필요하지 않다. 예시적인 구현예에서, 안면이 위치될 필요가 있는 영역은 좌표를 갖는 파일로 준비하는 대신에 (예를 들어, 수동으로) 지시될 수 있다.
스킨 재채색 단계(320)는 개인화된 동영상에서의 액터의 스킨 색상을 사용자의 이미지 상의 안면의 색상과 일치시킨다. 이 단계를 구현하기 위해, 배경의 어느 부분이 재채색되어야 하는지를 구체적으로 나타내는 스킨 마스크가 준비될 수 있다. 액터의 각 신체 부위(목, 왼손 및 오른손 등)에 대한 별도의 마스크를 갖는 것이 바람직할 수 있다.
스킨 재채색 단계(320)는 안면 이미지 조명 정규화를 포함할 수 있다.도 7은 예시적인 일 구현예에 따른, 안면의 원본 이미지(705) 및 정규화된 조명을 갖는 해당 안면의 이미지(710)를 도시한다. 고르지 않은 조명으로 인한 그림자 또는 하이라이트는 색상 분포에 영향을 미치며 재채색 단계 후 피부 톤을 너무 어둡거나 너무 밝게 할 수 있다. 이를 피하기 위해, 사용자의 안면에서의 그림자 및 하이라이트가 검출되고 제거될 수 있다. 안면 이미지 조명 정규화 프로세스는 다음의 단계를 포함한다. 사용자의 안면 이미지는 딥 컨볼루션 네트워크(deep convolutional neural network)를 사용하여 변환될 수 있다. 네트워크는 임의의 조명 하에서 촬영된 초상화 이미지의 형태로 원본 이미지(705)를 수신하고, 원본 이미지(705)의 조명을 변경하여 원본 이미지(705)의 대상체를 동일하게 유지하면서 원본 이미지(705)의 조명을 고르게 만들 수 있다. 따라서, 안면 이미지 조명 정규화 프로세스의 입력은 사용자의 안면 및 안면 랜드마크의 이미지 형태의 원본 이미지(705)를 포함한다. 안면 이미지 조명 정규화 프로세스의 출력은 정규화된 조명을 갖는 안면 이미지(710)를 포함한다.
피부 재채색 단계(320)는 마스크 생성 및 신체 통계를 포함할 수 있다. 전체 스킨을 위한 마스크 또는 신체 부위에 대한 개별적인 마스크가 있을 수 있다. 또한, (예를 들면, 상당한 조명 변화로 인해) 상이한 마스크가 동영상 내의 상이한 장면에 대해 생성될 수 있다. 마스크는, 예를 들어 키 입력과 같은 기술에 의해, 사람의 안내에 따라 반자동으로 생성될 수 있다. 준비된 마스크는 동영상 에셋에 병합된 후 재채색 단계에서 사용될 수 있다. 또한, 불필요한 실시간 계산을 피하기 위해, 각 마스크에 대해 색상 통계가 사전에 계산될 수 있다. 통계에는 평균값, 중앙값, 표준 편차 및 각 색상 채널에 대한 일부 백분위수가 포함될 수 있다. 통계는 적색, 녹색, 청색(RGB) 공간뿐만 아니라 다른 색 공간(색상, 채도, 명도(HSV) 색 공간, CIELAB 색 공간(CIE L*a*b*으로도 알려지고, 또는 "LAB" 색 공간으로 약칭됨) 등에서 계산될 수 있다. 마스크 생성 프로세스의 입력은 동영상 또는 이미지 시퀀스의 형태에서 스킨이 드러나지 않은 액터의 신체 부위에 대한 그레이 스케일 마스크를 포함할 수 있다. 마스크 생성 프로세스의 출력에는 압축되고 동영상에 병합된 마스크 및 각 마스크에 대한 색상 통계가 포함될 수 있다.
스킨 재채색 단계(320)는 안면 통계 계산을 추가로 포함할 수 있다.도 8은 예시적인 일 구현예에 따른, 세그먼트화된 두부 이미지(805), 안면 랜드마크(810)를 갖는 세그먼트화된 두부 이미지(805), 및 안면 마스크(815)를 도시한다. 사용자의 두부 이미지 및 안면 랜드마크의 세그멘테이션에 기초하여, 사용자의 안면 마스크(815)가 생성될 수 있다. 눈, 입, 모발 또는 (안경과 같은) 액세서리와 같은 영역은 안면 마스크(815)에 포함되지 않을 수 있다. 사용자의 세그먼트화된 두부 이미지(805) 및 안면 마스크는 사용자의 안면 피부에 대한 통계를 계산하는데 사용될 수 있다. 따라서, 안면 통계 계산의 입력은 사용자의 세그먼트화된 두부 이미지(805), 안면 랜드마크(810), 및 안면 세그멘테이션을 포함할 수 있고, 안면 통계 계산의 출력은 사용자의 안면 피부에 대한 색상 통계를 포함할 수 있다.
스킨 재채색 단계(320)는 스킨-톤 매칭 및 재채색 단계를 추가로 포함할 수 있다. 도 9는 예시적인 일 구현예에 따른, 사용자 안면, 스킨 마스크(910), 및 스킨 마스크(910)를 재채색한 결과(915)를 특징으로 하는 프레임(905)을 도시한다. 스킨-톤 매칭 및 재채색 단계는 액터의 스킨 및 사용자의 스킨에서의 색상 분포를 설명하는 통계를 사용하여 수행될 수 있고, 배경 프레임의 재채색 단계는 컴퓨팅 디바이스 상에서 실시간으로 수행될 수 있다. 각각의 색상 채널에 대해, 분포 매칭 단계가 수행될 수 있고, 변환된 색상의 분포가 안면 색상의 분포에 근접하도록 하기 위해 배경 픽셀의 색상이 수정될 수 있다. 분포 매칭 단계는 색상 분포가 정상이라는 가정하에 또는 다차원 확률 밀도 함수 전달과 같은 기술을 적용하여 수행될 수 있다. 따라서, 스킨-톤 매칭 및 재채색 프로세스의 입력은 배경 프레임, 프레임에 대한 액터 스킨 마스크, 각 마스크에 대한 액터 몸체 스킨 색상 통계, 및 사용자 안면 스킨 색상 통계를 포함할 수 있으며, 출력은 드러나지 않은 재채색된 스킨을 갖는 모든 신체 부위를 갖는 배경 프레임을 포함할 수 있다.
일부 구현예에서, 스킨 재채색 단계(320)를 적용하기 위해, 상이한 스킨-톤을 갖는 몇몇 액터가 녹화될 수 있고, 그 후 사용자의 이미지의 스킨-톤에 가장 가까운 스킨-톤을 갖는 개인화된 동영상의 버전이 사용될 수 있다.
예시적인 구현예에서, 스킨 재채색 단계(320) 대신, 소정의 룩업 테이블(LUT)이 장면의 조명에 대해 안면의 색상을 조정하는 데 사용될 수 있다. LUT는 또한 안면의 색상을 (예를 들어, 안면을 녹색으로 만들기 위해) 변경하는 데 사용될 수 있다.
입술 동기화 및 안면 재연 단계(325)는 사실적인 안면 애니메이션화로 이어질 수 있다. 도 10은 입술 동기화 및 안면 재연 단계(325)의 예시적인 일 프로세스를 도시한다. 도 10은 예시적인 일 구현예에 따른, 안면 동기화 액터 안면의 이미지(1005), 안면 동기화 액터의 안면 랜드마크의 이미지(1010), 사용자의 안면 랜드마크의 이미지(1015), 및 안면 동기화 액터의 안면 표정을 갖는 사용자 안면의 이미지(1020)를 도시한다. 입술 동기화 및 안면 재연 단계(325)는 안면 동기화 액터를 녹화하고, 안면 동기화 액터 안면의 이미지(1005)를 획득하기 위해 소스 동영상/이미지를 전처리하는 단계를 포함할 수 있다. 이어서, 안면 랜드마크는 안면 동기화 액터의 안면 랜드마크의 이미지(1010)에 의해 나타나는 바와 같이 추출될 수 있다. 이 단계는 또한 안면 동기화 액터의 시선 트래킹 단계를 포함할 수 있다. 일부 구현예에서, 안면 동기화 액터를 녹화하는 대신, 이전에 준비된 애니메이션화된 2D 또는 3D 안면 및 입 영역 모델이 사용될 수 있다. 애니메이션화된 2D 또는 3D 안면 및 입 영역 모델은 머신 러닝 기술에 의해 생성될 수 있다.
선택적으로, 안면 랜드마크의 미세 조정이 수행될 수 있다. 일부 예시적인 구현예에서, 안면 랜드마크의 미세 조정은 수동으로 수행된다. 이러한 단계는 동영상 구성 파일을 준비할 때 클라우드에서 수행될 수 있다. 일부 예시적인 구현예에서, 이들 단계들은 리소스 준비(315) 동안 수행될 수 있다. 그 후, 사용자의 안면 랜드마크는 사용자의 안면 랜드마크의 이미지(1015)에 의해 나타나는 바와 같이 추출될 수 있다. 동기화 및 안면 재연 단계(325)의 다음 단계는 안면 동기화 액터의 안면 표정을 갖는 사용자의 안면 이미지(1020)를 획득하기 위해, 추출된 랜드마크를 갖는 타겟 이미지의 애니메이션화를 포함할 수 있다. 이 단계는 사용자의 안면 이미지에 기초하여 컴퓨팅 디바이스 상에서 수행될 수 있다. 애니메이션화의 방법은 미국 특허 출원 제16/251,472호에 상세히 기재되어 있으며, 이는 그 전체가 본원에 참조로서 포함된다. 입술 동기화 및 안면 재연 단계(325)는 또한 인공 지능이 만든 두부 회전으로 풍부해질 수 있다.
일부 예시적인 구현예에서, 사용자가 이미지를 취한 후, 사용자의 두부의 3D 모델이 생성될 수 있다. 이 구현예에서, 입술 동기화 및 안면 재연 단계(325)는 생략될 수 있다.
모발 애니메이션 단계(330)는 사용자의 모발에 애니메이션을 적용하기 위해 수행될 수 있다. 예를 들어, 사용자가 모발을 가지고 있다면, 사용자가 그의 두부를 움직이거나 회전할 때 모발이 애니메이션화될 수 있다. 모발 애니메이션 단계(330)는 도 11에 도시되어 있다. 도 11은 예시적인 일 구현예에 따른, 세그먼트화된 안면 이미지(1105), 모발 마스크(1110), 안면 이미지에 맞추어진 모발 마스크(1115), 및 안면 이미지에 적용된 모발 마스크(1120)를 도시한다. 모발 애니메이션 단계(330)는 다음의 단계 중 하나 이상을 포함할 수 있다: 모발 타입을 분류하는 단계, 모발의 외관을 수정하는 단계, 모발 스타일을 수정하는 단계, 모발을 보다 길게 만드는 단계, 모발의 색상을 변경하는 단계, 모발을 커팅하고 애니메이션화하는 단계 등. 도 11에 도시된 바와 같이, 세그먼트화된 안면 이미지(1105)의 형태로 안면 이미지가 획득될 수 있다. 그 후, 모발 마스크(1110)가 세그먼트화된 안면 이미지(1105)에 적용될 수 있다. 이미지(1115)는 안면 이미지에 맞추어진 모발 마스크(1110)를 나타낸다. 이미지(1120)는 안면 이미지에 적용된 모발 마스크(1110)를 나타낸다. 모발 애니메이션 단계(330)는 미국 특허 출원 제16/551,756호에 상세히 기재되어 있으며, 이는 그 전체가 본원에 참조로서 포함된다.
눈 애니메이션 단계(335)는 사용자의 안면 표정을 보다 사실적으로 만들 수 있다. 눈 애니메이션 단계(335)는 도 12에 상세히 도시되어 있다. 눈 애니메이션 단계(335)의 프로세스는 다음의 단계로 이루어질 수 있다: 사용자 안면의 눈 영역의 재구성, 시선 이동 단계, 및 눈을 깜박이는 단계. 눈 영역을 재구성하는 동안, 눈 영역은 안구, 홍채, 동공, 속눈썹 및 눈꺼풀과 같은 부분으로 세그먼트화된다. 눈 영역의 일부 부위(예를 들어, 홍채 또는 눈꺼풀)가 완전히 보이지 않는 경우, 이 부위의 전체 텍스쳐는 합성될 수 있다. 일부 구현예에서, 눈의 3D 모핑가능 모델이 피팅될 수 있고, 눈의 3D-형상이 눈의 텍스쳐와 함께 획득될 수 있다. 도 12는 눈의 원본 이미지(1205), 눈의 재구성된 공막을 갖는 이미지(1210), 및 재구성된 홍채를 갖는 이미지(1215)를 도시한다.
시선 이동 단계는 안면 동기화 액터의 동영상에서의 시선 방향과 동공 위치를 트래킹하는 단계를 포함한다. 이 데이터는 안면 동기화 액터의 눈 움직임이 충분히 풍부하지 않은 경우 수동으로 편집될 수 있다. 그 후, 시선 움직임은 안면 동기화 액터의 것과 동일한 눈 형상 및 홍채의 동일한 위치를 갖는 새로운 눈 이미지를 합성함으로써 사용자의 눈 영역으로 전달될 수 있다. 도 12는 재구성된 이동된 홍채를 갖는 이미지(1220)를 도시한다.
눈을 깜박이는 단계 동안, 사용자의 눈의 가시적인 부위는 안면 동기화 액터의 눈을 트래킹함으로써 결정될 수 있다. 눈꺼풀과 속눈썹의 변화된 외양은 눈 영역의 재구성에 기초하여 생성될 수 있다.
눈 애니메이션 단계(335)는 안면 재연이 생성적 대립 네트워크(GAN)를 사용하여 수행되는 경우 명시적으로(기술된 바와 같이) 또는 암시적으로 수행될 수 있다. 후자의 경우, 네트워크는 사용자 안면 및 소스 동영상의 이미지로부터 필요한 모든 정보를 암시적으로 캡처할 수 있다.
전개 단계(340) 동안, 사용자 안면은 사진과 동일하게 애니메이션화되고 푸티지 템플릿에 자동으로 삽입될 수 있다. 이전 단계(리소스 준비(315), 스킨 재채색(320), 입술 동기화 및 안면 재연(325), 모발 애니메이션(330), 및 눈 애니메이션(335) 단계)으로부터의 파일은 구성 파일을 위한 데이터로서 사용될 수 있다. 사전에 정의된 사용자 안면 세트를 갖는 개인화된 동영상의 예가 초기 검토를 위해 생성될 수 있다. 검토 중에 식별된 문제가 제거된 후, 개인화된 동영상이 배포될 수 있다.
또한, 구성 파일에는 맞춤형 개인화된 동영상에 대한 텍스트 파라미터를 나타낼 수 있는 컴포넌트가 포함될 수 있다. 맞춤형 개인화된 동영상은 사용자가 최종 동영상의 상단에 원하는 텍스트를 추가하는 것을 가능하게 하는 개인화된 동영상의 유형이다. 맞춤형 텍스트 메시지를 갖는 개인화된 동영상의 생성은 2019년 10월 23일자로 출원된 "맞춤형 텍스트 메시지를 갖는 개인화된 동영상을 생성하는 시스템 및 방법(System and Method for Generating Personalized Videos with Customized Text Messages)"이라는 제목의 미국 특허 출원 제16/661,122호에 보다 상세히 기술되어 있으며, 이는 그 전체가 본원에 포함된다.
예시적인 일 구현예에서, 개인화된 동영상의 생성은, 사용자의 두부의 주목할 만한 두부 회전을 생성하는 단계; 신체 애니메이션화 및 옷을 갈아 입는 단계; 모발 스타일 변경, 미용, 액세서리 추가 등과 같은 안면 미화 단계; 장면 조명 변경 단계; 사용자가 타이핑한 텍스트를 발성/노래할 수 있는 음성을 합성하거나 사용자의 음성과 일치하도록 톤에 대해 음성을 변경하는 단계; 성별 전환 단계; 사용자 입력에 따른 배경 및 전경을 구성하는 단계; 등의 단계를 추가로 포함할 수 있다.
도 13 및 도 14는 일부 예시적인 구현예에 따른, 동영상 템플릿들에 기초하여 생성된 예시적인 개인화된 동영상의 프레임을 도시한다. 도 13은 재채색 단계가 수행된, 액터를 촬영한 개인화된 동영상(1305)를 도시한다. 도 13은 제3자로부터 획득된 스톡 동영상에 기초하여 생성된 개인화된 동영상(1310)를 추가로 도시한다. 개인화된 동영상(1310)에서, 사용자 안면(1320)은 스톡 동영상에 삽입된다. 도 13은 2D 애니메이션의 상부에 사용자 두부(1325)가 추가된 2D 애니메이션인 개인화된 동영상(1315)를 추가로 도시한다.
도 14는 사용자 안면(1415)이 3D 애니메이션에 삽입된 3D 애니메이션인 개인화된 동영상(1405)를 도시한다. 도 14는 효과, 애니메이션화 요소(1420), 및 선택적으로 사용자 안면의 이미지 상부에 추가된 텍스트를 갖는 개인화된 동영상(1410)를 추가로 도시한다.
도 15는 본 개시의 일부 예시적인 구현예에 따른, 개인화된 동영상의 템플릿 기반 생성을 위한 방법(1500)을 도시하는 흐름도이다. 방법(1500)은 컴퓨팅 디바이스(105)에 의해 수행될 수 있다. 방법(1500)은 단계(1505)에서 동영상 구성 데이터를 수신하는 단계로부터 시작할 수 있다. 동영상 구성 데이터는 프레임 이미지의 시퀀스, 프레임 이미지에서 안면 영역의 위치를 정의하는 안면 영역 파라미터의 시퀀스, 및 프레임 이미지에서 안면 랜드마크의 위치를 정의하는 안면 랜드마크 파라미터의 시퀀스를 포함할 수 있다. 각각의 안면 랜드마크 파라미터는 안면 표정에 상응할 수 있다. 예시적인 구현예에서, 프레임 이미지의 시퀀스는 애니메이션 동영상에 기초하거나 라이브 액션 동영상에 기초하여 생성될 수 있다. 안면 랜드마크 파라미터들의 시퀀스는 안면동기화 액터의 안면을 특징으로 하는 라이브 액션 동영상에 기초하여 생성될 수 있다. 동영상 구성 데이터는 다음 중 하나 이상을 포함할 수 있다: 프레임 이미지에서 특징지어지는 적어도 한 명의 액터의 신체의 스킨 영역을 정의하는 스킨 마스크의 시퀀스, 각각의 입 영역 이미지가 프레임 이미지 중 적어도 하나에 상응하는 입 영역 이미지의 시퀀스, 프레임 이미지에 등장하는 안면 동기화 액터의 공막에서의 홍채의 위치를 정의하는 눈 파라미터의 시퀀스, 두부의 회전, 스케일, 턴 및 다음 파라미터를 정의하는 두부 파라미터의 시퀀스, 애니메이션화 대상체 이미지의 시퀀스(여기에서 각각의 애니메이션화 대상체 이미지는 프레임 이미지 중 적어도 하나에 상응함), 등.
방법(1500)은 단계(1510)에서 소스 안면의 이미지를 수신하는 단계를 계속 진행할 수 있다. 방법(1500)은 단계(1515)에서 출력 동영상을 생성하는 단계를 추가로 포함할 수 있다. 구체적으로, 출력 동영상의 생성 단계는 프레임 이미지의 시퀀스의 프레임 이미지를 수정하는 단계를 포함할 수 있다. 프레임 이미지는 안면 랜드마크 파라미터에 상응하는 안면 표정을 채택하는 소스 안면을 특징으로 하는 추가 이미지를 획득하기 위해 소스 안면의 이미지를 수정하는 단계에 의해 수정될 수 있다. 소스 안면의 이미지는 프레임 이미지에 상응하는 안면 랜드마크 파라미터에 기초하여 수정될 수 있다. 또 다른 이미지가 프레임 이미지에 상응하는 안면 영역 파라미터에 의해 결정된 위치에서 프레임 이미지 내로 삽입될 수 있다. 예시적인 일 구현예에서, 출력 동영상의 생성은 다음의 단계들 중 하나 이상을 선택적으로 추가로 포함할 수 있다: 소스 안면과 연관된 색상 데이터를 결정하는 단계 및 색상 데이터에 기초하여 프레임 이미지 내의 스킨 영역을 재채색하는 단계, 프레임 이미지에 상응하는 입 영역을 프레임 이미지 내에 삽입하는 단계, 프레임에 상응하는 눈 파라미터에 기초하여 눈 영역의 이미지를 생성하는 단계, 프레임 이미지의 눈 영역의 이미지를 삽입하는 단계, 소스 안면 이미지에 기초하여 모발 마스크를 결정하는 단계 및 프레임 이미지에 상응하는 모발 마스크 및 두부 파라미터에 기초하여 모발 이미지를 생성하는 단계, 모발 이미지를 프레임 이미지에 삽입하는 단계, 프레임 이미지에 상응하는 애니메이션화된 대상체 이미지를 프레임 이미지에 삽입하는 단계.
도 16은 본원에 기술된 방법을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 시스템(1600)을 도시한다. 컴퓨팅 시스템(1600)은 개인화된 동영상의 템플릿 기반 생성을 위한 컴퓨팅 디바이스(105 및 110), 메신저 서비스 시스템(130), 메신저(220), 및 시스템(250) 등의 컨텍스트에서 구현될 수 있다.
도 16에 도시된 바와 같이, 컴퓨팅 시스템(1600)의 하드웨어 컴포넌트는 하나 이상의 프로세서들(1610) 및 메모리(1620)를 포함할 수 있다. 메모리(1620)는 부분적으로, 프로세서(1610)에 의한 실행을 위한 명령어 및 데이터를 저장한다. 메모리(1620)는 시스템(1600)이 작동할 때 실행가능한 코드를 저장할 수 있다. 시스템(1600)은 선택적인 대용량 저장 디바이스(1630), 선택적인 휴대용 저장 매체 드라이브(들)(1640), 하나 이상의 선택적인 출력 디바이스(1650), 하나 이상의 선택적인 입력 디바이스(1660), 선택적인 네트워크 인터페이스(1670), 및 하나 이상의 선택적인 주변 디바이스(1680)를 추가로 포함할 수 있다. 컴퓨팅 시스템(1600)은 또한 하나 이상의 소프트웨어 컴포넌트(1695)(예를 들어, 본원에 기술된 바와 같은 개인화된 동영상의 템플릿 기반 생성을 위한 방법을 구현할 수 있는 것)을 포함할 수 있다.
도 16에 도시된 컴포넌트는 단일 버스(1690)를 통해 연결되는 것으로 도시된다. 컴포넌트는 하나 이상의 데이터 전송 수단 또는 데이터 네트워크를 통해 연결될 수 있다. 프로세서(1610) 및 메모리(1620)는 로컬 마이크로프로세서 버스를 통해 연결될 수 있고, 대용량 저장 디바이스(1630), 주변 디바이스(들)(1680), 휴대용 저장 디바이스(1640) 및 네트워크 인터페이스(1670)는 하나 이상의 입/출력(I/O) 버스를 통해 연결될 수 있다.
자기 디스크 드라이브, 솔리드 스테이트 디스크 드라이브 또는 광학 디스크 드라이브로 구현될 수 있는 대용량 저장 디바이스(1630)는 프로세서(1610)에 의해 사용하기 위한 데이터 및 명령어를 저장하기 위한 비휘발성 저장 디바이스이다. 대용량 저장 디바이스(1630)는 본원에 기술된 구현예를 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 컴포넌트(1695))를 저장할 수 있다.
휴대용 저장 매체 드라이브(들)(1640)는 콤팩트 디스크(CD) 또는 디지털 동영상 디스크(DVD)와 같은 휴대용 비휘발성 저장 매체와 함께 작동하여, 컴퓨팅 시스템(1600)에게 및 이로부터 데이터 및 코드를 입력 및 출력한다. 본원에 기술된 구현예를 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 컴포넌트(1695))는 이러한 휴대용 매체 상에 저장될 수 있고, 휴대용 저장 매체 드라이브(들)(1640)를 통해 컴퓨팅 시스템(1600)에 입력될 수 있다.
선택적인 입력 디바이스(1660)는 사용자 인터페이스의 일부를 제공한다. 입력 디바이스(1660)는 영숫자 및 다른 정보를 입력하기 위한, 키보드와 같은 영숫자 키패드, 또는 마우스, 트랙볼, 스타일러스 또는 커서 방향 키와 같은 포인팅 디바이스를 포함할 수 있다. 입력 디바이스(1660)는 또한 카메라 또는 스캐너를 포함할 수 있다. 추가적으로, 도 16에 도시된 바와 같은 시스템(1600)은 선택적인 출력 디바이스(1650)를 포함한다. 적합한 출력 디바이스는 스피커, 프린터, 네트워크 인터페이스 및 모니터를 포함한다.
네트워크 인터페이스(1670)는 예를 들어, 다른 것들 중에서도 인터넷, 인트라넷, LAN, WAN, 셀룰러 폰 네트워크, Bluetooth 라디오, 및 IEEE 802.11-기반 무선 주파수 네트워크를 포함하는, 하나 이상의 유선, 무선, 또는 광 네트워크와 같은 하나 이상의 통신 네트워크를 통해 외부 디바이스, 외부 컴퓨팅 디바이스, 서버, 및 네트워크 시스템과 통신하는데 이용될 수 있다. 네트워크 인터페이스(1670)는 이더넷 카드, 광 트랜시버, 무선 주파수 송수신기, 또는 정보를 송수신할 수 있는 임의의 다른 유형의 디바이스와 같은 네트워크 인터페이스 카드일 수 있다. 선택적인 주변 디바이스(1680)는 컴퓨터 시스템에 추가적인 기능을 추가하기 위해 임의의 유형의 컴퓨터 지원 디바이스를 포함할 수 있다.
컴퓨팅 시스템(1600)에 포함된 컴포넌트는 컴퓨터 컴포넌트의 광범위한 카테고리를 나타내도록 의도된다. 따라서, 컴퓨팅 시스템(1600)은 서버, 개인용 컴퓨터, 핸드헬드 컴퓨팅 디바이스, 전화, 모바일 컴퓨팅 디바이스, 워크스테이션, 미니컴퓨터, 메인프레임 컴퓨터, 네트워크 노드, 또는 임의의 다른 컴퓨팅 디바이스일 수 있다. 컴퓨팅 시스템(1600)은 또한 상이한 버스 구성, 네트워크화된 플랫폼, 멀티-프로세서 플랫폼 등을 포함할 수 있다. UNIX, Linux, Windows, Macintosh OS, Palm OS 및 다른 적합한 운영 체제를 포함하는 다양한 운영 체제(OS)가 사용될 수 있다.
전술한 기능 중 일부는 저장 매체(예를 들어, 컴퓨터 판독가능 매체 또는 프로세서-판독가능 매체) 상에 저장되는 명령어로 구성될 수 있다. 명령어는 프로세서에 의해 검색되고 실행될 수 있다. 저장 매체의 일부 예는 메모리 디바이스, 테이프, 디스크 등이다. 명령어는 프로세서에 의해 실행될 때 작동하여 프로세서가 본 발명에 따라 작동하도록 지시한다. 당업자는 명령어, 프로세서(들) 및 저장 매체에 익숙할 것이다.
본원에 기술된 프로세싱을 수행하기에 적합한 임의의 하드웨어 플랫폼이 본 발명과 함께 사용하기에 적합하다는 것은 주목할 만하다. 본원에서 사용되는 용어 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 저장 미디어"는 실행을 위해 프로세서에 명령어를 제공하는 데 참여하는 임의의 매체 또는 미디어를 지칭한다. 이러한 매체는 비휘발성 매체, 휘발성 매체, 및 전송 매체를 포함하나 이에 한정되지 않는 많은 형태를 취할 수 있다. 비휘발성 매체는 예를 들어, 고정 디스크와 같은 광학 또는 자기 디스크를 포함한다. 휘발성 매체는 시스템 랜덤 액세스 메모리(RAM)와 같은 동적 메모리를 포함한다. 전송 매체는, 다른 것들 중에서도 버스의 일 구현예를 포함하는 와이어를 포함하는, 동축 케이블, 구리 와이어, 및 광섬유를 포함한다. 전송 매체는 또한 무선 주파수(RF) 및 적외선(IR) 데이터 통신 동안 생성되는 것과 같은 음파 또는 광파의 형태를 취할 수 있다. 컴퓨터 판독가능 매체의 일반적인 형태는 예를 들어, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-판독 전용 메모리(ROM) 디스크, DVD, 임의의 다른 광학 매체, 마크 또는 구멍의 패턴을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, EEPROM, 임의의 다른 메모리 칩 또는 카트리지, 캐리어 웨이브, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
컴퓨터 판독가능 매체의 다양한 형태는 실행을 위해 하나 이상의 명령어의 하나 이상의 시퀀스를 프로세서로 전달하는 데 관련될 수 있다. 버스는 데이터를 시스템 RAM으로 전달하며, 이 RAM에서 프로세서는 명령어를 검색하고 실행한다. 시스템 프로세서에 의해 수신된 명령어는 프로세서에 의한 실행 전 또는 후에 고정된 디스크 상에 선택적으로 저장될 수 있다.
도 17은 본 개시의 일부 예시적인 구현예에 따른, 수정 가능한 동영상을 송수신하도록 구성된 메시징 시스템을 작동시키는 방법(1700)을 도시하는 흐름도이다. 방법(1700)은 컴퓨팅 디바이스(105)에 의해 수행될 수 있다. 방법(1700)은, 컴퓨팅 디바이스에 의해, 개인화된 동영상에서 사용자의 셀프 이미지(셀카라고도 함)를 사용하도록 해당 사용자로부터 제1 승인을 수신하는 것을 나타내는 단계(1705)에서 시작될 수 있다. 단계(1705)로부터, 방법(1700)에서의 흐름은, 컴퓨팅 디바이스에 의해, 개인화된 동영상에서 다른 사용자의 다른 셀프 이미지를 사용하는 것이 가능하도록 해당 사용자로부터 제2 승인을 수신하는 것을 나타내는 단계(1710)로 진행한다. 단계(1710)로부터, 방법(1700)에서의 흐름은, 컴퓨팅 디바이스에 의해, 제1 승인 및 제2 승인이 수신된 후, 사용자의 셀프 이미지의 적어도 일부, 다른 사용자의 다른 셀프 이미지의 적어도 일부, 및 스톡 동영상(또한 템플릿 또는 템플릿 동영상으로도 지칭됨)의 적어도 일부를 포함하는 개인화된 동영상을 전송하는 것을 나타내는 단계(1715)로 진행한다.
방법(1700)은 또한 추가적인 방법 작동을 포함할 수 있다. 예를 들어, 방법(1700)은, 컴퓨팅 디바이스에 의해, 제2 승인의 수신에 응답하여 사용자의 셀프 이미지를 다른 컴퓨팅 디바이스로 전송하는 단계를 추가로 포함할 수 있다. 다른 컴퓨팅 디바이스는 다른 사용자와 연관될 수 있다. 방법(1700)은, 컴퓨팅 디바이스에 의해, 다른 사용자가 다른 사용자의 다른 셀프 이미지를 사용하도록 사용자에게 권한을 부여한다는 표시를 다른 컴퓨팅 디바이스로부터 수신하는 단계를 포함할 수 있다.
따라서, 하나 이상의 사람들로부터의 셀프 이미지를 사용하고 프라이버시 제어를 포함하는 이미지 및 동영상을 포함하는 통신 시스템을 위한 구성과 인터페이싱하기 위한 방법 및 시스템을 기술하였다. 구현예는 비록 특정 예시적인 구현예를 참조하여 기술되었지만, 본 출원의 보다 넓은 사상 및 범위를 벗어나지 않으면서 이러한 예시적인 구현예에 대해 다양한 수정 및 변경이 이루어질 수 있음은 명백할 것이다. 따라서, 본 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 수정 가능한 동영상을 송수신하도록 구성된 메시징 시스템을 작동시키는 방법으로서,
    컴퓨팅 디바이스에 의해, 개인화된 동영상에서 사용자의 셀프 이미지를 사용하도록 상기 사용자로부터 제1 승인을 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 개인화된 동영상에서 다른 사용자의 다른 셀프 이미지를 사용하는 것이 가능하도록 상기 사용자로부터 제2 승인을 수신하는 단계;
    및 상기 컴퓨팅 디바이스에 의해, 상기 제1 승인 및 제2 승인이 수신된 후, 상기 사용자의 셀프 이미지의 적어도 일부, 상기 다른 사용자의 다른 셀프 이미지의 적어도 일부, 및 스톡 동영상의 적어도 일부를 포함하는 개인화된 동영상을 전송하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 사용자의 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
  3. 제2항에 있어서, 컴퓨팅 디바이스에 의해, 다른 사용자가 다른 사용자의 다른 셀프 이미지를 사용하도록 사용자에게 권한을 부여한다는 표시를 다른 컴퓨팅 디바이스로부터 수신하는 단계를 추가로 포함하는, 방법.
  4. 제3항에 있어서, 제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 다른 사용자의 다른 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로부터 수신하는 단계를 추가로 포함하는, 방법.
  5. 제2항에 있어서,
    컴퓨팅 디바이스에 의해, 셀프 이미지를 삭제하라는 사용자 명령을 수신하는 단계;
    컴퓨팅 디바이스에 의해, 셀프 이미지를 삭제하는 단계; 및
    컴퓨팅 디바이스에 의해, 다른 컴퓨팅 디바이스 상의 셀프 이미지를 삭제하라는 명령을 상기 다른 컴퓨팅 디바이스에 전송하는 단계를 추가로 포함하는, 방법.
  6. 제2항에 있어서,
    컴퓨팅 디바이스에 의해, 다른 셀프 이미지를 삭제하라는 다른 사용자로부터의 다른 사용자 명령을 다른 컴퓨팅 디바이스로부터 수신하는 단계; 및
    컴퓨팅 디바이스에 의해, 다른 셀프 이미지를 삭제하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 컴퓨팅 디바이스는 모바일 컴퓨팅 디바이스인, 방법.
  8. 제1항에 있어서, 컴퓨팅 디바이스에 의해, 사용자에게 조합 동영상에 대해 제안된 추가 사용자를 제시하는 단계를 추가로 포함하고, 상기 제안된 추가 사용자는,
    사용자 소셜 그래프;
    가장 최근 통신의 수신자/송신자;
    가장 통상적인 통신의 수신자/송신자; 및
    이전의 사용자 선택 중 적어도 하나에 기초하여 선택되는, 방법.
  9. 제1항에 있어서,
    컴퓨터 디바이스에 의해, 셀프 이미지를 수신하는 단계를 추가로 포함하되,
    개인화된 동영상은 셀프 이미지를 기반으로 제작된 수정된 셀프 이미지를 포함하며, 상기 수정된 셀프 이미지는 안면 랜드마크 파라미터에 상응하는 안면 표정을 적용하도록 조정되고, 상기 수정된 셀프 이미지는 안면 영역 파라미터에 의해 결정된 위치에서의 스톡 동영상에 삽입되는, 방법.
  10. 제9항에 있어서, 스톡 동영상은 애니메이션 동영상 및 라이브 액션 동영상 중 하나인, 방법.
  11. 수정 가능한 동영상을 송수신하도록 적용되는 메시징 시스템을 작동시키기 위한 시스템으로서, 상기 시스템은 적어도 하나의 프로세서 및 프로세서-실행가능 코드를 저장하는 메모리를 포함하되, 상기 적어도 하나의 프로세서는 상기 프로세서-실행가능 코드를 실행할 때,
    컴퓨팅 디바이스에 의해, 개인화된 동영상에서 사용자의 셀프 이미지를 사용하도록 상기 사용자로부터 제1 승인을 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 개인화된 동영상에서 다른 사용자의 다른 셀프 이미지를 사용하는 것이 가능하도록 상기 사용자로부터 제2 승인을 수신하는 단계;
    및 상기 컴퓨팅 디바이스에 의해, 상기 제1 승인 및 제2 승인이 수신된 후, 상기 사용자의 셀프 이미지의 적어도 일부, 상기 다른 사용자의 다른 셀프 이미지의 적어도 일부, 및 스톡 동영상의 적어도 일부를 포함하는 개인화된 동영상을 전송하는 단계의 작동을 구현하도록 구성되는, 시스템.
  12. 제11항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 사용자의 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로 전송하는 단계의 작동을 구현하도록 추가로 구성되는, 시스템.
  13. 제12항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    컴퓨팅 디바이스에 의해, 다른 사용자가 다른 사용자의 다른 셀프 이미지를 사용하도록 사용자에게 권한을 부여한다는 표시를 다른 컴퓨팅 디바이스로부터 수신하는 단계의 작동을 구현하도록 추가로 구성되는, 시스템.
  14. 제13항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 다른 사용자의 다른 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로부터 수신하는 단계의 작동을 구현하도록 추가로 구성되는, 시스템.
  15. 제12항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    컴퓨팅 디바이스에 의해, 셀프 이미지를 삭제하라는 사용자 명령을 수신하는 단계;
    컴퓨팅 디바이스에 의해, 셀프 이미지를 삭제하는 단계; 및
    컴퓨팅 디바이스에 의해, 다른 컴퓨팅 디바이스 상의 셀프 이미지를 삭제하라는 명령을 상기 다른 컴퓨팅 디바이스에 전송하는 단계의 작동을 구현하도록 추가로 구성되는, 시스템.
  16. 제12항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    컴퓨팅 디바이스에 의해, 다른 셀프 이미지를 삭제하라는 다른 사용자로부터의 다른 사용자 명령을 다른 컴퓨팅 디바이스로부터 수신하는 단계; 및
    컴퓨팅 디바이스에 의해, 다른 셀프 이미지를 삭제하는 단계의 작동을 구현하도록 추가로 구성되는, 시스템.
  17. 제11항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    컴퓨팅 디바이스에 의해, 사용자에게 조합 동영상에 대해 제안된 추가 사용자를 제시하는 단계의 작동을 구현하도록 추가로 구성되며, 여기에서 상기 제안된 추가 사용자는,
    사용자 소셜 그래프;
    가장 최근 통신의 수신자/송신자;
    가장 통상적인 통신의 수신자/송신자; 및
    이전의 사용자 선택 중 적어도 하나에 기초하여 선택되는, 시스템.
  18. 제11항에 있어서, 적어도 하나의 프로세서는 프로세서 실행가능 코드를 실행할 때,
    컴퓨터 디바이스에 의해, 셀프 이미지를 수신하는 단계의 작동을 구현하도록 추가로 구성되며,
    여기에서, 개인화된 동영상은 셀프 이미지를 기반으로 제작된 수정된 셀프 이미지를 포함하며, 상기 수정된 셀프 이미지는 안면 랜드마크 파라미터에 상응하는 안면 표정을 적용하도록 조정되고, 상기 수정된 셀프 이미지는 안면 영역 파라미터에 의해 결정된 위치에서의 스톡 동영상에 삽입되는, 시스템.
  19. 저장된 명령어를 갖는 비일시적 프로세서-판독가능 매체로서, 이는 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 수정 가능한 동영상을 송수신하도록 적용되는 메시징 시스템을 작동시키기 위한 방법을 구현하게 하되, 상기 방법은,
    컴퓨팅 디바이스에 의해, 개인화된 동영상에서 사용자의 셀프 이미지를 사용하도록 상기 사용자로부터 제1 승인을 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 개인화된 동영상에서 다른 사용자의 다른 셀프 이미지를 사용하는 것이 가능하도록 상기 사용자로부터 제2 승인을 수신하는 단계;
    및 상기 컴퓨팅 디바이스에 의해, 상기 제1 승인 및 제2 승인이 수신된 후, 상기 사용자의 셀프 이미지의 적어도 일부, 상기 다른 사용자의 다른 셀프 이미지의 적어도 일부, 및 스톡 동영상의 적어도 일부를 포함하는 개인화된 동영상을 전송하는 단계를 포함하는, 비일시적 프로세서-판독가능 매체.
  20. 제19항에 있어서, 방법은,
    제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 사용자의 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로 전송하는 단계;
    컴퓨팅 디바이스에 의해, 다른 사용자가 다른 사용자의 다른 셀프 이미지를 사용하도록 사용자에게 권한을 부여한다는 표시를 다른 컴퓨팅 디바이스로부터 수신하는 단계; 및
    제2 승인의 수신에 응답하는 컴퓨팅 디바이스에 의해, 다른 사용자의 다른 셀프 이미지를 다른 사용자와 연관된 다른 컴퓨팅 디바이스로부터 수신하는 단계를 추가로 포함하는, 비일시적 프로세서-판독가능 매체.
KR1020227038093A 2020-03-31 2021-03-03 기본 셀프-이미지를 위한 전역 구성 인터페이스 KR20230022154A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/836,059 2020-03-31
US16/836,059 US11335121B2 (en) 2020-03-31 2020-03-31 Global configuration interface for default self-images
PCT/US2021/020637 WO2021202043A1 (en) 2020-03-31 2021-03-03 Global configuration interface for default self-images

Publications (1)

Publication Number Publication Date
KR20230022154A true KR20230022154A (ko) 2023-02-14

Family

ID=75223437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227038093A KR20230022154A (ko) 2020-03-31 2021-03-03 기본 셀프-이미지를 위한 전역 구성 인터페이스

Country Status (5)

Country Link
US (3) US11335121B2 (ko)
EP (1) EP4128165A1 (ko)
KR (1) KR20230022154A (ko)
CN (1) CN115362475A (ko)
WO (1) WO2021202043A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335121B2 (en) * 2020-03-31 2022-05-17 Snap Inc. Global configuration interface for default self-images
US11831454B2 (en) * 2020-12-21 2023-11-28 Christopher Max Schwitalla Full dome conference

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838795B2 (en) 2004-12-03 2014-09-16 At&T Intellectual Property I, L.P. System, method, apparatus, and product for resource sharing
CA2734143C (en) * 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
US8701020B1 (en) * 2011-02-01 2014-04-15 Google Inc. Text chat overlay for video chat
WO2013052109A2 (en) * 2011-10-03 2013-04-11 Greenroom, Inc. System and method for communications
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US9070109B2 (en) * 2012-07-10 2015-06-30 Sap Portals Israel Ltd Dynamic presentation of a user profile
US20170004646A1 (en) * 2015-07-02 2017-01-05 Kelly Phillipps System, method and computer program product for video output from dynamic content
WO2017137948A1 (en) 2016-02-10 2017-08-17 Vats Nitin Producing realistic body movement using body images
US11335121B2 (en) * 2020-03-31 2022-05-17 Snap Inc. Global configuration interface for default self-images

Also Published As

Publication number Publication date
US20230282025A1 (en) 2023-09-07
US20210303826A1 (en) 2021-09-30
US11335121B2 (en) 2022-05-17
EP4128165A1 (en) 2023-02-08
CN115362475A (zh) 2022-11-18
US11688201B2 (en) 2023-06-27
US20220237946A1 (en) 2022-07-28
WO2021202043A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US11694417B2 (en) Template-based generation of personalized videos
US11861936B2 (en) Face reenactment
KR102658104B1 (ko) 템플릿-기반 개인화 비디오 생성 시스템 및 방법
US20230282025A1 (en) Global configuration interface for default self-images
US11842433B2 (en) Generating personalized videos with customized text messages
US20220385808A1 (en) Selfie setup and stock videos creation
US11895260B2 (en) Customizing modifiable videos of multimedia messaging application
KR20210113679A (ko) 다수의 사람들이 등장하는 개인화된 비디오를 제공하기 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right