KR20200090936A - 비디오 스트림의 실시간 페인팅 - Google Patents

비디오 스트림의 실시간 페인팅 Download PDF

Info

Publication number
KR20200090936A
KR20200090936A KR1020207020708A KR20207020708A KR20200090936A KR 20200090936 A KR20200090936 A KR 20200090936A KR 1020207020708 A KR1020207020708 A KR 1020207020708A KR 20207020708 A KR20207020708 A KR 20207020708A KR 20200090936 A KR20200090936 A KR 20200090936A
Authority
KR
South Korea
Prior art keywords
graphical representation
video stream
input
component
face portion
Prior art date
Application number
KR1020207020708A
Other languages
English (en)
Other versions
KR102173620B1 (ko
Inventor
유리 모나스티르신
일리아 툴루포프
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Priority to KR1020207031142A priority Critical patent/KR102329583B1/ko
Publication of KR20200090936A publication Critical patent/KR20200090936A/ko
Application granted granted Critical
Publication of KR102173620B1 publication Critical patent/KR102173620B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06K9/00248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)

Abstract

비디오 스트림의 프레임들 내에서 그래픽 표현을 실시간으로 생성하기 위한 시스템, 디바이스, 매체, 및 방법이 제시된다. 이 시스템 및 방법은, 얼굴 부분을 묘사하는 프레임을 수신하고, 사용자 입력을 식별하며, 사용자 입력에 대응하는 얼굴 부분 상의 위치들을 식별한다. 이 시스템 및 방법은, 얼굴 부분 상의 위치들에 링크된 사용자 입력의 그래픽 표현을 생성하고 이 그래픽 표현을 비디오 스트림의 프레임들 내에서 실시간으로 렌더링한다.

Description

비디오 스트림의 실시간 페인팅{REAL TIME PAINTING OF A VIDEO STREAM}
우선권 주장
본 출원은, 그 전체 내용이 참조로 본 명세서에 포함되는 2016년 7월 18일 출원된 미국 특허 출원 제15/213,186호의 우선권을 주장한다.
기술분야
본 개시내용의 실시예들은 일반적으로 이미지의 자동화된 처리에 관한 것이다. 제한으로서가 아니라, 더 구체적으로는, 본 개시내용은, 사용자 입력의 지속적인 그래픽 표현을 비디오 스트림 내에서 실시간으로 생성하기 위한 시스템 및 방법을 다룬다.
통신 애플리케이션 및 디바이스는, 텍스트, 이미지, 사운드 녹음, 및/또는 비디오 녹화 등의 다양한 매체를 이용하여 복수의 사용자들 사이에서 통신을 제공할 수 있다. 예를 들어, 화상 회의는, 2명 이상의 개인이 소프트웨어 애플리케이션, 통신 디바이스, 및 통신 네트워크의 조합을 이용하여 서로 통신하는 것을 허용한다. 통신 디바이스는 또한, 비디오 스트림을 녹화하여 통신 네트워크를 통해 메시지로서 전송할 수 있다.
통신 애플리케이션 및 디바이스는 2개의 디바이스 사이의 양방향 비디오 통신을 제공하기 위해 존재하지만, 통신 세션의 계류 동안에 비디오 스트림 내의 이미지를 수정하는 것 등의 비디오 스트리밍에 관한 문제들이 있을 수 있다. 통신 디바이스는 동작을 수행하기 위하여 디바이스의 물리적 조작을 이용한다. 예를 들어, 디바이스는 통상적으로 디바이스의 배향을 변경하거나 터치스크린 등의 입력 디바이스를 조작함으로써 동작된다. 따라서, 비디오 스트림이 캡처되고 있는 동안 디바이스들 사이의 비디오 통신을 개선하고 비디오 스트림을 실시간으로 수정할 필요성이 본 기술분야에 여전히 존재한다.
첨부된 도면들 중 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안 된다.
도 1은 일부 예시적인 실시예에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 예시적인 실시예에 따른 페인팅 시스템을 나타내는 도면이다.
도 3은, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 4는, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 5는, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6은, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 7은, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 8은, 일부 예시적인 실시예에 따른, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 9는 일부 예시적인 실시예에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시한 사용자 인터페이스 도면이다.
도 10은 일부 예시적인 실시예에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 나타내는 블록도이다.
도 11은 예시적인 실시예에 따른 머신으로 하여금 본 명세서에서 논의된 방법들 중 임의의 것을 수행하게 하기 위한 한 세트의 명령어들이 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 개략적 표현을 도시하는 블록도이다.
본 명세서에서 제공된 서두는 단지 편의를 위한 것이며 사용된 용어들의 범위 또는 의미에 반드시 영향을 주는 것은 아니다.
이하의 설명은 본 개시내용의 실시예들을 나타내는 시스템, 방법, 기술, 명령어 시퀀스, 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서, 설명의 목적을 위해, 많은 구체적인 상세사항이 본 발명의 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 널리 공지된 명령어 인스턴스, 프로토콜, 구조 및 기술은 반드시 상세하게 도시되지는 않는다.
비디오 스트림 내의 한 세트의 프레임을 통해 비디오 스트림에 걸친 관심 객체를 식별하고 추적하는 페인팅 시스템이 설명된다. 다양한 예시적인 실시예에서, 페인팅 시스템은, 얼굴 랜드마크들(facial landmarks), 사용자 입력들, 및 얼굴 상의 랜드마크들 또는 지점들과 사용자 입력 사이의 상대적인 종횡비들(relative aspect ratios)을 식별하고 추적한다. 페인팅 시스템은, 비디오 스트림이 이미지 캡처 디바이스에 의해 캡처되고 있는 동안 비디오 스트림의 프레임들 내에서 실시간으로 페인팅할 사용자 입력의 컬러, 형상, 라인, 및 기타의 그래픽 표현을 사용자가 선택할 수 있게 한다. 페인팅은 얼굴이나 기타의 관심 객체에 관한 것일 수 있다. 페인팅 시스템은, 페인팅과 조합하여 비디오 스트림의 외관을 강조하거나 변경하는 비디오 스트림의 수정을 가능케 할 수 있다. 예를 들어, 페인팅 시스템은, 비디오 스트림의 컬러, 음영, 채도, 또는 밝기를 감소시키고 페인팅된 그래픽 표현에 수정되지 않은 컬러를 프리젠팅하되, 페인팅된 섹션이 네온 컬러, 반짝임, 또는 기타 임의의 적절한 컬러 대비로 보이게 할 수 있다. 스포츠 이벤트에서의 디바이스 사용자는, 예를 들어, 디바이스에 의해 생성되고 있는 비디오 스트림에 존재하는 플레이어의 뺨에 팀 로고 또는 플레이어 번호를 페인팅하기 위해 인터페이스를 이용할 수 있다. 그 다음, 페인팅 시스템은, 플레이어가 비디오 스트림 내에서 이동(move)하고 비디오 스트림이 또 다른 디바이스 또는 기타의 디바이스들에 전송됨에 따라 플레이어를 추적하고 플레이어의 뺨에 페인팅을 유지할 것이다. 일부 경우에, 스포츠 이벤트의 디바이스 사용자는, 플레이어의 머리 바로 위의 공기 등의, 플레이어 얼굴에 가까운 스크린의 일부 상에 팀 로고 또는 플레이어 번호를 페인팅할 수 있다. 그 다음, 페인팅 시스템은 플레이어를 추적하고 플레이어의 머리 위의 공기중에 페인팅을 유지할 것이다.
상기의 내용은 하나의 구체적인 예이다. 본 개시내용의 다양한 실시예들은 비디오 스트림이 캡처되고 있는 동안 디바이스에 의해 또 다른 디바이스에 전송되는 이미지 또는 비디오 스트림을 수정(예를 들어, 실시간으로 비디오 스트림을 수정)하기 위한 디바이스 및 디바이스의 하나 이상의 프로세서에 의한 명령어들에 관한 것이다. 이미지 내의 또는 비디오 스트림에 걸친 및 비디오 스트림을 포함하는 한 세트의 이미지를 통해 관심 대상 및 영역을 식별하고 추적하는 페인팅 시스템이 설명된다. 다양한 예시적인 실시예에서, 페인팅 시스템은, 비디오 스트림 또는 이미지 내에 묘사된 하나 이상의 얼굴 부위(facial feature)를 식별하고 추적하며, 하나 이상의 얼굴 부위 및 2개 이상의 얼굴 부위들 사이의 상호관계에 관하여 이미지 인식, 얼굴 인식, 및 얼굴 처리 기능을 수행한다.
도 1은, 한 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 예를 들어, 네트워크 시스템(100)은 클라이언트들이 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신신호의 전송 및 수신, 지리위치의 결정 등) 및 양태(예를 들어, 통신 데이터의 전송, 통신 세션의 표시의 수신 및 전송 등)에 관련될 수 있다. 여기서는 클라이언트-서버 아키텍처로 예시되었지만, 다른 실시예들은 피어-투-피어 또는 분산 네트워크 환경 등의 다른 네트워크 아키텍처를 포함할 수 있다.
도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련된 컴퓨터 및 인터넷 관련 분야의 통상의 기술자에 의해 이해되는 바와 같이, 도 1에 도시된 각각의 컴포넌트 또는 엔진은, 명령어들을 실행하고, 하드웨어-구현된 컴포넌트 또는 엔진을 형성하며, 명령어들의 실행시, 특정한 세트의 기능들을 실행하도록 구성된 특별 목적 머신으로 작용하기 위한 한 세트의 실행가능한 소프트웨어 명령어들 및 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제에 대한 이해를 전달하는 것과 밀접하지 않은 다양한 기능 컴포넌트들 및 엔진은 도 1에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가적인 기능을 용이화하기 위해, 도 1에 나타낸 것 등의 추가적인 기능 컴포넌트 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1에 도시된 다양한 기능 컴포넌트들 및 엔진들은 단일의 서버 컴퓨터 또는 클라이언트 디바이스 상에 존재하거나, 다양한 배열로 수 개의 서버 컴퓨터들 또는 클라이언트 디바이스들에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처로서 도시되어 있지만, 본 발명의 주제는 결코 이러한 아키텍처로 제한되지 않는다.
도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(들)(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(들)(122)을 실행하는 제3자 서버(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터 요청을 수신하는 인터페이스 컴포넌트(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 컴포넌트(140)는 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 컴포넌트(140)는, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.
클라이언트 디바이스(110)는, 다양한 모바일 컴퓨팅 디바이스들 중 임의의 것 및 모바일-특유의 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE)를 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱"이라고도 함)을 실행할 수 있다. 또한, 일부 예시적인 실시예에서, 클라이언트 디바이스들(110)은, 페인팅 시스템(160)의 컴포넌트들이 페인팅 시스템(160)의 동작들에 관한 특정한 세트의 기능들을 수행하게끔 클라이언트 디바이스(110)를 구성하도록 페인팅 시스템(160)의 전부 또는 일부를 형성한다.
한 예에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(들)(112)을 실행하고 있다. 클라이언트 애플리케이션(들)(112)은, 사용자(106)에게 정보를 프리젠팅하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 또한, 일부 예에서, 클라이언트 디바이스(110)는 페인팅 시스템(160)의 기능을 실행하여 비디오 스트림의 캡처 동안에 비디오 스트림의 이미지들을 세그먼트화하고 (예를 들어, 비디오 스트림의 세그먼트화된 이미지들에 기초하여 수정된 이미지 데이터와 함께) 비디오 스트림을 전송한다.
클라이언트 디바이스들(110) 각각은, 적어도 디스플레이, 및 소셜 메시징 시스템(130), 다른 클라이언트 디바이스들, 및 제3자 서버(120)에 액세스하기 위한 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용형 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전제품, 게임 콘솔, 셋톱박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되는 것은 아니다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스(110)와 상호작용하는 기타의 수단일 수 있다. 일부 실시예에서, 사용자(106)는 클라이언트 디바이스(110)를 통해 소셜 메시징 시스템(130)과 상호작용한다. 사용자(106)는 네트워킹된 환경의 일부가 아닐 수 있지만, 클라이언트 디바이스(110)와 연관될 수 있다.
도 1에 도시된 바와 같이, 데이터 계층(128)은 정보 저장소 또는 데이터베이스(134)로의 액세스를 용이화하는 데이터베이스 서버(132)를 갖는다. 데이터베이스(134)는, 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계), 이미지 수정 선호도 데이터, 및 액세스가능성 데이터, 및 기타의 사용자 데이터 등의 데이터를 저장하는 저장 디바이스이다.
개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.
애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 컴포넌트(150)를 포함하며, 애플리케이션 로직 컴포넌트(150)는, 인터페이스 컴포넌트(140)와 연계하여, 데이터 계층(128) 내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 컴포넌트(150)는, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피처들과 연관된 기능을 구현하는데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 컴포넌트(150)로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스(110)의 사용자가 텍스트와 사진 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 클라이언트 디바이스(110)는 (예를 들어, 제한된 또는 무제한의) 명시된 기간 동안 소셜 메시징 애플리케이션으로부터의 메시지를 액세스하고 볼 수 있다. 한 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 명시된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스될 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 컴포넌트(150)에서 별개로 구현될 수 있다.
도 1에 나타낸 바와 같이, 소셜 메시징 시스템(130)은, 클라이언트 디바이스(110)에 의한 비디오 데이터의 캡처 동안 비디오 데이터를 식별, 추적 및 수정할 수 있는 페인팅 시스템(160)의 적어도 일부를 포함할 수 있다. 유사하게, 클라이언트 디바이스(110)는, 전술된 바와 같이, 페인팅 시스템(160)의 일부를 포함한다. 다른 예에서, 클라이언트 디바이스(110)는 전체 페인팅 시스템(160)을 포함할 수 있다. 클라이언트 디바이스(110)가 페인팅 시스템(160)의 일부(또는 전부)를 포함하는 경우, 클라이언트 디바이스(110)는 단독으로 또는 소셜 메시징 시스템(130)과 협력하여 본 명세서에 설명된 페인팅 시스템(160)의 기능을 제공할 수 있다.
일부 실시예에서, 소셜 메시징 시스템(130)은, 콘텐츠(예를 들어, 비디오 클립 또는 이미지)가 시청 시간 또는 시청 완료 등의 삭제 트리거 이벤트 후에 삭제되는 단기 통신을 가능케 하는 단기 메시지 시스템일 수 있다. 이러한 실시예에서, 디바이스는, 단기 메시지를 생성, 전송, 수신 또는 그 양태를 디스플레이하는 것 중의 임의의 상황 내에서 본 명세서에서 설명된 다양한 컴포넌트들을 이용한다. 예를 들어, 페인팅 시스템(160)을 구현하는 디바이스는, 비디오 클립에 묘사된 얼굴의 피부를 나타내는 픽셀 등의 관심 대상을 식별하고, 추적하고, 수정할 수 있다. 디바이스는, 단기 메시지에 대한 콘텐츠의 생성의 일부로서 비디오 클립을 캡처한 후에 이미지 처리없이 비디오 클립의 캡처 동안 관심 대상을 수정할 수 있다.
도 2에서, 다양한 실시예에서, 페인팅 시스템(160)은 독립형 시스템으로서 구현되거나 클라이언트 디바이스(110)와 연계하여 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 페인팅 시스템(160)은, 액세스 컴포넌트(210), 입력 컴포넌트(220), 위치 컴포넌트(230), 링킹 컴포넌트(240), 생성 컴포넌트(250), 렌더링 컴포넌트(260), 스케일링 컴포넌트(270), 및 추적 컴포넌트(280)를 포함하는 것으로 도시되어 있다. 컴포넌트들(210 내지 280)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 컴포넌트들(210 내지 280)의 각각의 컴포넌트는 단일 컴포넌트로서 구현되거나, 다른 컴포넌트들 내에 결합되거나, 또는 복수의 컴포넌트들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 컴포넌트들도 역시 포함될 수 있지만, 도시되지는 않는다.
액세스 컴포넌트(210)는, 이미지 캡처 디바이스에 의해 캡처되거나 그렇지 않으면 클라이언트 디바이스(110)에 의해 수신되거나 클라이언트 디바이스(110)에 저장된 프레임들을 액세스하거나 기타의 방식으로 회수한다. 일부 예에서, 액세스 컴포넌트(210)는 클라이언트 디바이스(110)의 이미지 캡처 디바이스로 하여금 클라이언트 디바이스(110)의 디스플레이 디바이스 상에 프리젠팅된 사용자 인터페이스와의 사용자 상호작용에 기초하여 비디오 스트림의 프레임들을 캡처하게 하도록 구성된 이미지 캡처 컴포넌트의 일부 또는 전부를 포함할 수 있다. 액세스 컴포넌트(210)는 프레임들 또는 프레임들의 일부를 페인팅 시스템(160)의 하나 이상의 다른 컴포넌트에 전달할 수 있다.
입력 컴포넌트(220)는 클라이언트 디바이스(110)의 입력 디바이스 상의 사용자 입력을 식별한다. 입력 컴포넌트(220)는, 키보드, 마우스, 커서, 터치스크린, 또는 클라이언트 디바이스(110)의 기타 임의의 적절한 입력 디바이스 등의 입력 디바이스의 일부 또는 전부를 포함할 수 있다. 입력 디바이스가 터치스크린인 경우, 일부 예시적인 실시예에서, 입력 컴포넌트(220)는 터치 압력에 기초하여 선택된 연관된 특성들을 식별 또는 구별하기 위해 터치스크린 상에 가해진 터치 압력을 식별 및 구별한다.
위치 컴포넌트(230)는 비디오 스트림의 프레임들 내의 하나 이상의 위치를 식별한다. 위치 컴포넌트(230)는 비디오 스트림의 프레임들 내에 묘사된 얼굴 부분 상의 위치들을 식별할 수 있다. 일부 실시예에서, 위치 컴포넌트(230)는, 얼굴 부분 상의 좌표, 얼굴 랜드마크, 또는 지점들을 식별 또는 정의할 수 있다. 위치 컴포넌트(230)는, 일부 경우에, 얼굴 부분 상에 얼굴 메시(facial mesh) 또는 메시 요소들을 결정하거나 생성하여, 얼굴 랜드마크를 식별하고 얼굴 랜드마크들 중 2개 이상 사이의 거리를 결정할 수 있다.
링킹 컴포넌트(240)는, 입력 컴포넌트(220)에 의해 수신된 사용자 입력과 위치 컴포넌트(230)에 의해 식별된 하나 이상의 위치를 링크한다. 링킹 컴포넌트(240)는, 얼굴 부분 상의 위치들, 지점들 또는 랜드마크들을 입력 컴포넌트(220)에 의해 수신된 사용자 입력의 하나 이상의 지점과 직접 링크할 수 있다. 일부 예에서, 링킹 컴포넌트(240)는, 사용자 입력과 연관된 하나 이상의 픽셀 및 얼굴 부분과 연관된 하나 이상의 픽셀을 링크함으로써 얼굴 부분의 위치들, 지점들, 또는 랜드마크들과 사용자 입력을 링크한다.
생성 컴포넌트(250)는 사용자 입력의 그래픽 표현을 생성한다. 그래픽 표현은, 라인, 라인의 일부, 형상, 컬러, 패턴, 또는 기타 임의의 표현으로서 생성될 수 있다. 일부 예에서, 생성 컴포넌트(250)는, 적어도 부분적으로, 그래픽 유형에 대한 사용자 인터페이스 선택 및 사용자 입력의 위치로부터 생성될 수 있다. 일부 예에서, 생성 컴포넌트는 엣지 또는 크기 특성을 생성하거나 그래픽 표현에 할당한다. 엣지 및 크기 특성은 그래픽 표현의 묘사를 수정하고 클라이언트 디바이스(110)의 입력 디바이스를 통해 사용자 입력으로서 선택될 수 있다. 일부 예에서, 엣지 및 크기 특성 중 하나 이상은, 얼굴 부분의 특성 또는 얼굴 부분의 상대적 거리에 기초하여 페인팅 시스템(160)의 생성 컴포넌트(250) 또는 다른 컴포넌트에 의해 결정될 수 있다.
렌더링 컴포넌트(260)는 그래픽 표현을 비디오 스트림의 프레임들 내에 렌더링한다. 일부 예에서, 렌더링 컴포넌트(260)는 그래픽 표현을 얼굴 부분 상에 또는 프레임 내로서 얼굴 부분 외부에 렌더링한다. 렌더링 컴포넌트(260)는 하나 이상의 그래픽 표현을 포함하도록 비디오 스트림의 프레임들을 수정할 수 있다. 일부 예에서, 렌더링 컴포넌트(260)는 프로세서-판독가능한 저장 디바이스 내에 그래픽 표현을 저장한다. 저장 후, 렌더링 컴포넌트(260) 또는 액세스 컴포넌트(210)는 그래픽 표현에 액세스하여 이전에 저장된 그래픽 표현을 후속 비디오 스트림 내에서 실시간으로 렌더링할 수 있다.
스케일링 컴포넌트(270)는 비디오 스트림의 프레임들 내에 묘사된 객체들의 이동(movement)에 기초하여 그래픽 표현을 스케일링한다. 일부 예시적인 실시예에서, 스케일링 컴포넌트(270)는, 클라이언트 디바이스(110) 또는 클라이언트 디바이스(110)의 이미지 캡처 디바이스에 관한 얼굴 부분의 이동에 기초하여 그래픽 표현의 크기 특성을 스케일링한다. 일부 실시예에서, 스케일링 컴포넌트(270)는, 얼굴 부분이 프레임 내에서 및 이미지 캡처 디바이스에 관하여 이동함에 따라 그래픽 표현을 스케일링하면서, 그래픽 표현과, 얼굴 부분 상의 하나 이상의 얼굴 랜드마크, 위치들, 지점들 사이의, 또는 프레임 내이지만 얼굴 부분과 연관된 좌표들의 세트 외부의 하나 이상의 좌표 사이의 라인 가중치 또는 종횡비를 유지할 수 있다.
추적 컴포넌트(280)는 비디오 스트림의 프레임들 내의 객체의 이동을 추적한다. 일부 예에서, 추적 컴포넌트(280)는, 얼굴 부분, 얼굴 부분의 하나 이상의 얼굴 랜드마크, 또는 관심 객체 상의 명시된 지점들의 이동을 추적한다. 추적 컴포넌트(280)는, 하나 이상의 얼굴 랜드마크, 얼굴 부분, 또는 기타의 객체의 이동을, 그래픽 평면 상에 오버레이된 그래픽 표현의 이동과 정합시킬 수 있다.
도 3은, 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(300)을 나타내는 흐름도를 도시한다. 방법(300)의 동작들은, 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있고, 예시의 목적으로 이하에서 설명된다.
동작 310에서, 액세스 컴포넌트(210)는 비디오 스트림의 하나 이상의 프레임을 수신하거나 기타의 방식으로 액세스한다. 하나 이상의 프레임의 적어도 일부분은 적어도 얼굴 부분을 묘사한다. 일부 실시예에서, 액세스 컴포넌트(210)는, 클라이언트 디바이스(110)와 연관된 이미지 캡처 디바이스에 의해 캡처되고 얼굴 페인팅 애플리케이션의 사용자 인터페이스 상에 프리젠팅되는 비디오 스트림으로서 하나 이상의 프레임을 수신한다. 액세스 컴포넌트(210)는, 액세스 컴포넌트(210)를 포함하는 하드웨어의 일부로서 이미지 캡처 디바이스를 포함할 수 있다. 이들 실시예에서, 액세스 컴포넌트(210)는 이미지 캡처 디바이스에 의해 캡처된 하나 이상의 프레임 또는 비디오 스트림을 직접 수신한다. 일부 예에서, 액세스 컴포넌트(210)는, 이하에서 더 상세히 설명되는 바와 같이, 하나 이상의 이미지 또는 비디오 스트림(예를 들어, 비디오 스트림을 포함하는 한 세트의 이미지들)의 전부 또는 일부를 페인팅 시스템(160)의 하나 이상의 컴포넌트에 전달한다.
동작 320에서, 입력 컴포넌트(220)는, 클라이언트 디바이스(110)(예를 들어, 컴퓨팅 디바이스 또는 모바일 컴퓨팅 디바이스)의 입력 디바이스 상의 사용자 입력을 식별한다. 입력 컴포넌트(220)는, 클라이언트 디바이스(110)의 입력 디바이스로부터의 입력 또는 입력의 표시를 수신하는 것에 기초하여 사용자 입력을 식별할 수 있다. 예를 들어, 입력 컴포넌트(220)는, 마우스, 커서, 터치 스크린 디바이스, 버튼, 키패드, 또는 클라이언트 디바이스(110)의 일부이거나 이에 접속되거나 이와 통신하는 기타 임의의 적절한 입력 디바이스로부터 수신된 사용자 입력을 식별할 수 있다.
일부 실시예에서, 사용자 입력은 터치 스크린 디바이스를 통해 수신된다. 터치 스크린 디바이스는, 사용자 입력을 제공하는 터치의 압력에 민감하도록 구성될 수 있다. 이들 실시예에서, 입력 컴포넌트(220)는 사용자 입력의 터치 압력을 결정한다. 사용자 입력의 터치 압력에 기초하여, 입력 컴포넌트(220)는 터치 압력과 연관된 엣지 특성을 식별한다. 터치 압력은 2진 값일 수 있다. 터치 압력이 2진 값인 경우, 명시된 임계값 위의 압력은 사용자 입력의 제1 양태와 연관될 수 있고, 명시된 임계값 아래의 압력은 사용자 입력의 제2 양태와 연관될 수 있다. 이들 예들에서, 입력 컴포넌트(220)는 터치 압력이 압력 임계값을 초과한다고 결정하고 제1 양태를 사용자 입력과 연관되는 것으로 식별한다. 일부 실시예에서, 제1 양태 및 제2 양태는 제1 및 제2 엣지 특성일 수 있다. 예를 들어, 제1 엣지 특성은 라인의 엣지를 블렌딩 또는 흐릿하게 하는 확산 엣지일 수 있고, 제2 엣지 특성은 명확하게 정의된 선명한 엣지일 수 있다. 일부 실시예에서, 터치 압력은 2진 값이 아닐 수 있다. 이들 경우에, 엣지 특성은, 2개 이상의 압력 또는 사용자 입력의 압력과 연관된 2개의 말단 값들 사이의 명시된 임계값과 연관될 수 있다. 예를 들어, 제1 말단 값은 터치 스크린에 감지될 수 있는 가장 가벼운 터치 압력을 나타낼 수 있고, 제2 말단 값은 터치 스크린에 감지될 수 있는 가장 무거운 압력을 나타낼 수 있다. 이들 경우에, 2개 이상의 임계값은 제1 말단 값과 제2 말단 값 사이의 값들에 위치될 수 있다. 2개 이상의 임계값들 각각은 엣지 특성 또는 기타의 사용자 입력 또는 그래픽 표현 특성과 연관되되, 2개 이상의 임계값들 중의 한 임계값을 초과하는 압력이 단일의 특성 또는 엣지 특성을 나타낼 수 있게 한다. 특성은, 엣지 특성(예를 들어, 엣지의 선명도), 라인 가중치 또는 두께, 라인 컬러 또는 컬러 강도, 또는 기타 임의의 적절한 특성일 수 있다.
일단 액세스 컴포넌트(210)가 비디오 스트림의 프레임들을 수신하기 시작하면, 사용자 입력은 컬러 또는 컬러 세트의 선택을 포함할 수 있다. 페인팅 시스템(160)은, 컬러, 그래픽 효과(예를 들어, 반짝임, 네온 글로우(neon glow), 가변적 또는 시간조절적 글로우(variable or timed glow), 이벤트 기반 외관), 라인 가중치, 디자인, 및 페인팅된 그래픽 표현의 스타일, 컬러 및 타이밍에 영향을 주는 기타의 옵션의 선택을 가능케 하기 위해 비디오 스트림 위에 프리젠팅된 한 세트의 사용자 입력 요소들의 프리젠테이션을 야기할 수 있다. 예를 들어, 사용자 입력은 페인팅된 그래픽 표현의 프리젠테이션을 위한 타이밍 방식 또는 위치 방식의 선택을 포함할 수 있다. 이들 경우에, 페인팅 시스템(160)은, 얼굴의 회전 또는 눈의 깜박임 등의 이벤트에 기초하거나, 시간조절된 간격(timed intervals) 또는 설정된 기간(set period of time) 동안 등의 타이밍 요소(timing element)에 기초하여, 페인팅된 그래픽 표현의 프리젠테이션을 유발할 수 있다. 사용자 입력이 스타일의 선택을 포함하는 경우, 후속된 사용자 입력은 선택된 스타일의 하나 이상의 스타일 특성 세트에 따라 포멧될 수 있다. 일부 실시예에서, 선택에 이용가능한 스타일은, 페인팅 스타일(예를 들어, 입체파, 인상파, Shijo 스쿨, Shan Shui), 컬러 팔레트 스타일(예를 들어, 네온 글로우, 파스텔), 또는 한 세트의 미리 결정된 스타일 특성들을 통한 생성이 가능한 기타의 스타일을 포함한다. 예를 들어, 인상파 스타일이 선택되는 경우, 후속 사용자 입력의 페인팅된 그래픽 표현은, 파스텔 컬러 팔레트, 확산 엣지, 및 시뮬레이트된 브러시 스트로크로 구성될 수 있다. 추가 예로서, 네온 컬러 팔레트 또는 스타일이 선택되는 경우, 후속하는 사용자 입력으로부터 생성된 페인팅된 그래픽 표현은 백열 효과로 생성될 수 있다. 백열 효과는, 페인팅된 그래픽 표현 내의 컬러의 휘도 값을 통해 및 비디오 스트림의 프레임들의 적어도 일부의 밝기 값을 조정함으로써 생성될 수 있다.
동작 330에서, 위치 컴포넌트(230)는 사용자 입력에 대응하는 얼굴 부분 상의 하나 이상의 위치를 식별한다. 위치 컴포넌트(230)는, 얼굴 부분 상의 하나 이상의 위치, 얼굴 부분 상의 얼굴 랜드마크, 얼굴 부분에 맵핑된 하나 이상의 좌표, 또는 얼굴 부분 상의 기타 임의의 적절한 위치의 픽셀 위치에 기초하여 하나 이상의 위치를 식별할 수 있다. 예를 들어, 얼굴은 한 세트의 알려진 얼굴 랜드마크들을 묘사할 수 있다. 위치 컴포넌트(230)는 얼굴 랜드마크에 관한 하나 이상의 위치를 식별할 수 있다.
일부 예시적인 실시예에서, 동작 330을 수행하는데 있어서, 위치 컴포넌트(230)는 얼굴 부분 상의 얼굴 메시를 결정한다. 얼굴 메시는 얼굴 부분 내에 묘사된 하나 이상의 얼굴 랜드마크를 식별한다. 얼굴 메시를 결정하는 것은, 메시를 정규 그리드에 투사하여 메시를 정규 그리드에 의해 100 × 100 셀들로 분리하는 것을 포함할 수 있다. 그리드로서 설명되었지만, 메시는 교차하는 또는 접촉하는 다각형들로 형성될 수 있다는 것을 이해해야 한다. 예를 들어, 메시는, 삼각형들 중 하나 이상의 점들이 얼굴 랜드마크, 랜드마크 지점, 또는 얼굴 랜드마크의 상대적 거리에 기초하여 결정된 지점을 나타내는 한 세트의 연결된 삼각형들로 형성될 수 있다. 일단 메시 투사가 형성되고 나면, 위치 컴포넌트(230)는, 각각의 셀에 대해, 그리드의 셀이 대응하는 메시 요소를 결정할 수 있다. 그 다음, 위치 컴포넌트(230)는 결정된 메시 요소들 각각에 대응하는 픽셀들을 결정할 수 있다. 일부 예에서, 각각의 메시 요소에 대응하는 픽셀들을 결정하는 것은 폭-우선 탐색을 이용하여 수행될 수 있다.
위치 컴포넌트(230)는 사용자 입력의 하나 이상의 좌표를 식별할 수 있다. 하나 이상의 좌표는, 메시의 하나 이상의 셀, 지점, 또는 교차부와 정렬되거나 이들에 관해 식별될 수 있다. 일부 예에서, 하나 이상의 좌표는 메시 내에 묘사된 하나 이상의 픽셀로서 식별될 수 있다. 일부 실시예에서, 사용자 입력의 하나 이상의 좌표를 식별하는 것은, 사용자 입력 내에서 선택된 하나 이상의 픽셀을 결정하는 것(예를 들어, 라인을 교차하는 하나 이상의 픽셀이 사용자 입력에 의해 그려졌음)을 포함할 수 있다. 일단 하나 이상의 픽셀이 결정되고 나면, 위치 컴포넌트(230)는, 하나 이상의 결정된 픽셀에 대응하는 메시 내의 부분들, 점들, 또는 좌표들을 결정할 수 있다.
위치 컴포넌트(230)는, 하나 이상의 좌표를 하나 이상의 얼굴 랜드마크의 적어도 일부분에 맵핑할 수 있다. 일부 경우에, 하나 이상의 좌표의 상대적 거리는, 얼굴 랜드마크, 메시 요소, 또는 메시 상의 지점들에 관하여 결정된다. 일부 예에서, 위치 컴포넌트(230)는, 하나 이상의 좌표를, 메시에 맵핑되거나 기타의 방식으로 메시와 연관된 프레임 내의 하나 이상의 픽셀에 맵핑한다. 맵핑은, 비디오 스트림의 복수의 프레임에 걸쳐 사용자 입력 및 사용자 입력의 그래픽 표현을 추적하기 위한 기준을 설정할 수 있다. 이들 경우에, 사용자 입력 또는 그래픽 표현을 추적하는 것은, 이하의 상세사항 및 실시예에서 설명되는 바와 같이, 지속적인 그래픽 표현이 비디오 스트림 내에서 실시간으로 생성, 추적 및 프리젠팅될 수 있게 한다.
동작 340에서, 링킹 컴포넌트(240)는 사용자 입력을 얼굴 부분 상의 하나 이상의 위치에 링크한다. 일부 실시예에서, 사용자 입력을 얼굴 부분 상의 하나 이상의 위치에 링크하는 것은, 얼굴의 하나 이상의 위치에 대한, 사용자 입력 또는 사용자 입력 내의 지점들 사이의 픽셀 독립적 연관(pixel independent association)을 생성한다. 픽셀 독립적 연관은, 사용자 입력이 비디오 스트림의 복수의 프레임에 걸쳐 얼굴 부분과 함께 이동할 수 있게 한다. 링크는, 데이터베이스, 테이블, 또는 사용자 입력의 지점들과 얼굴의 하나 이상의 위치를 연관시키는 데이터 구조로서 생성될 수 있다. 데이터베이스, 테이블 또는 데이터 구조는, 얼굴 부분이 비디오 스트림의 이전 프레임에서 점유된 얼굴 부분과는 프레임 내의 상이한 위치를 점유하는 것으로 결정될 때 참조될 수 있다.
동작 350에서, 생성 컴포넌트(250)는 사용자 입력의 그래픽 표현을 생성한다. 사용자 입력의 그래픽 표현은, 동작 340에서와 같이, 얼굴 부분 상의 하나 이상의 위치에 링크된다. 그래픽 표현은, 라인, 라인의 일부, 형상, 컬러, 패턴, 또는 사용자 입력의 기타 임의의 표현을 포함할 수 있다. 예를 들어, 그래픽 표현은, 사용자 입력에 의해 프레임 내에서 점유된 영역을 점유하도록 생성된 라인일 수 있다. 일부 실시예에서, 그래픽 표현은, 비디오 스트림의 프레임들 내에서 실시간으로 프리젠팅될 페인팅된 라인, 형상, 또는 디자인일 수 있다. 그래픽 표현은, 페인트, 메이크업, 문신, 또는 얼굴 부분에 묘사된 머리카락 또는 피부 상에 또는 그 내부에 위치하는 기타의 표현으로서 나타나도록 생성될 수 있다. 일부 경우에, 그래픽 표현은, 뿔, 마스크, 머리카락, 모자, 안경, 또는 얼굴 부분 또는 그 부근에 위치한 기타의 객체 또는 구조물 등의 물리적 객체 또는 구조물로서 생성될 수 있다.
사용자 입력이 터치 압력을 포함하는 실시예에서, 입력 컴포넌트(220) 및 생성 컴포넌트(250) 중 하나 이상은 터치 압력과 연관하여 식별된 엣지 특성을 사용자 입력으로부터 생성된 그래픽 표현에 할당한다. 예를 들어, 엣지 특성이 확산 엣지인 경우, 페인트의 라인으로서 생성된 그래픽 표현은 얼굴 상에 위치할 수 있고, 라인 내의 중심점으로부터 외측으로 균일하게 또는 불균일하게 퍼지는 엣지를 포함할 수 있다. 추가적인 예로서, 확산 엣지는 그래픽 표현의 엣지를 얼굴 부분의 하나 이상의 추가적인 컬러로 블렌딩할 수 있다.
동작 360에서, 렌더링 컴포넌트(260)는 비디오 스트림의 하나 이상의 후속 프레임 내에서 얼굴 부분 상에 그래픽 표현을 렌더링한다. 그래픽 표현은 얼굴 부분 상에서 하나 이상의 위치에 프리젠팅될 수 있다. 렌더링 컴포넌트(260)는 그래픽 표현이 비디오 스트림의 프레임들 내에서 프리젠팅되게 한다. 일단 렌더링 컴포넌트(260)에 의해 렌더링되고 나면, 그래픽 표현은 비디오 스트림의 프레임들 상에서 지속적으로 렌더링될 수 있고, 여기서, 그래픽 표현에 대응하는 얼굴 부분의 하나 이상의 위치가 프레임 내에서 나타난다. 얼굴 부분의 하나 이상의 위치가 하나 이상의 프레임 내에 존재하지 않는 프레임들에서, 렌더링 컴포넌트(260)는 하나 이상의 프레임 내에서 그래픽 표현을 스킵하거나 렌더링하지 않을 수 있다.
일부 실시예에서, 일단 렌더링되고 나면, 렌더링 컴포넌트(260)는 프로세서-판독가능한 저장 디바이스 내에 그래픽 표현을 저장할 수 있다. 일단 저장되고 나면, 그래픽 표현은 하나 이상의 이벤트에 기초하여 소환될 수 있다. 일부 실시예에서, 짝수는 그래픽 표현을 저장한 후 얼굴 페인팅 애플리케이션을 오픈하는 것 또는 저장 후 얼굴 페인팅 애플리케이션의 인스턴스를 초기화하는 것에 대응할 수 있다. 일부 예에서, 얼굴 페인팅 애플리케이션을 개시하는 것에 응답하여, 액세스 컴포넌트(210)는 새로운 비디오 스트림 내에서 얼굴 부분을 검출한다. 새로운 비디오 스트림은, 그래픽 표현이 생성되어 렌더링되었던 비디오 스트림과는 별개의 비디오 스트림일 수 있다. 새로운 비디오 스트림 내에서 얼굴 부분을 검출하는 것에 응답하여, 렌더링 컴포넌트(260)는, 프로세서-판독가능한 저장 디바이스에 저장된 그래픽 표현을 새로운 비디오 스트림의 하나 이상의 프레임 내에서 렌더링한다.
도 4는 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(400)을 나타내는 흐름도를 도시한다. 방법(400)의 동작들은 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예에서, 방법(400)의 소정 동작들은, 이하에서 더 상세히 설명되는 바와 같이, 방법(300)의 하나 이상의 동작을 이용하여 또는 방법(300)의 하나 이상의 동작의 서브동작으로서 수행될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 방법(400)은 동작 320의 일부로서 수행될 수 있다.
동작 410에서, 위치 컴포넌트(230)는 컴퓨팅 디바이스의 이미지 캡처 디바이스에 대한 얼굴 부분의 제1 상대적 거리를 결정한다. 제1 상대적 거리는 비디오 스트림의 프레임에서 결정될 수 있다. 위치 컴포넌트(230)는 얼굴 부분에 의해 점유된 프레임의 양에 기초하여 얼굴 부분의 상대적 거리를 결정할 수 있다. 제1 상대적 거리가 프레임의 점유된 부분에 기초하여 결정되는 경우, 위치 컴포넌트(230)는 얼굴 랜드마크들 사이의 거리를 결정하고 거리를 비교를 위해 일시적으로 저장하여 이미지 캡처 디바이스에 관한 얼굴 부분의 상대적 위치에서의 변화를 결정할 수 있다.
동작 420에서, 입력 컴포넌트(220)는 얼굴 부분의 제1 상대적 거리에 기초하여 그래픽 표현의 크기 특성을 결정한다. 일부 예시적인 실시예에서, 입력 컴포넌트(220)는 제1 상대적 거리 및 사용자 입력의 일정한 크기로부터 크기 특성을 결정한다. 이들 실시예에서, 사용자 입력은 터치 스크린 디바이스에서 손가락 또는 스타일러스의 접촉으로부터 수신된다. 손가락 또는 스타일러스는, 고정된 폭 또는 미리 결정된 폭 범위 내의 폭을 가질 수 있다. 폭 또는 미리 결정된 폭 범위는, 터치 스크린으로부터 수신된 입력이 고정된 입력 폭을 갖도록 입력 컴포넌트(220)에 알려질 수 있다. 입력 컴포넌트(220)는 고정된 입력 폭을 갖는 사용자 입력을 수신할 수 있다. 입력 컴포넌트(220)는, 위치 컴포넌트(230) 및 링킹 컴포넌트(240)와 협력하여, 사용자 입력의 고정된 입력 폭 상의 하나 이상의 지점을, 얼굴 부분 상에 도시된 하나 이상의 지점, 하나 이상의 위치, 또는 하나 이상의 얼굴 랜드마크에 링크할 수 있다.
일부 예에서, 입력 컴포넌트(220)는, 사용자 인터페이스에서 라인 가중치 선택에 적어도 부분적으로 기초하여 크기 특성을 결정할 수 있다. 예를 들어, 그래픽 표현에 대응하는 사용자 입력을 수신하기 전에, 렌더링 컴포넌트(260)는 한 세트의 선택가능한 라인 가중치 요소들을 프리젠팅할 수 있다. 입력 컴포넌트(220)는, 라인 가중치, 두께, 형상, 또는 한 세트의 선택가능한 라인 가중치 요소들 중에서 크기 특성에 대한 기타 임의의 적절한 사용자 인터페이스 선택의 선택을 포함한 사용자 입력을 수신할 수 있다. 입력 컴포넌트(220)는, 그래픽 표현에 대한 사용자 입력과 연관된 디폴트 라인 가중치를 수정하도록 라인 가중치 요소의 선택을 통합한다.
동작 430에서, 스케일링 컴포넌트(270)는, 비디오 스트림의 후속 프레임에서 제1 상대적 거리로부터 제2 상대적 거리로의 얼굴 부분의 이동에 기초하여 그래픽 표현의 크기 특성을 스케일링한다. 예를 들어, 얼굴이 이미지 캡처 디바이스에 더 가까이 이동함에 따라, 비디오 스트림의 하나 이상의 프레임 내에 묘사된 바와 같이, 그래픽 표현의 라인 가중치는, 얼굴이 이미지 캡처 디바이스에 접근함에 따라 그래픽 표현의 라인들이 더 두꺼워지도록 증가될 수 있다. 유사하게, 얼굴 부분이 이미지 캡처 디바이스로부터 더 멀리 이동함에 따라, 그래픽 표현의 라인 가중치는 라인이 더 얇아지도록 감소한다. 일부 실시예에서, 스케일링 컴포넌트(270)는, 얼굴 부분의 위치들, 지점들, 또는 얼굴 랜드마크들에 관한 그래픽 표현에 대한 라인 가중치 비율을 유지한다. 예를 들어, 얼굴 부분이 이미지 캡처 디바이스에 더 가까이 이동함에 따라 라인 가중치가 두껍게 되더라도, 라인 가중치의 종횡비는 스케일링 동안에 일정하게 유지된다. 이들 경우, 크기 특성이 스케일링됨에 따라 그래픽 표현의 픽셀 값은 변하지만, 그 비율은 유지되어, 그래픽 표현이, 이미지 캡처 디바이스로부터의 얼굴 부분의 상대적 거리에 관계없이, 얼굴 부분 상에서 동일한 외견적 공간을 점유하도록 유지된다.
일부 실시예에서, 스케일링 컴포넌트(270)는 최소 얼굴 스케일을 포함하거나 그래픽 표현을 스케일링하는데 이용하기 위한 최소 얼굴 스케일을 결정할 수 있다. 스케일링 컴포넌트(270)는, 그래픽 표현의 라인 가중치 또는 기타의 크기 특성에 관한 얼굴 부분의 크기에 대해 페인팅 시스템(160) 내에서 미리 결정된 최소 얼굴 스케일을 이용할 수 있다. 일부 예에서, 스케일링 컴포넌트(270)가 미리 결정된 최소 얼굴 스케일을 포함하는 경우, 스케일링 컴포넌트(270)는 비디오 스트림 위에 프리젠팅되는 명령어들의 생성 및 (예를 들어, 사용자 인터페이스 요소를 통한) 프리젠테이션을 유발하여, 얼굴 부분이 최소 얼굴 스케일에 대응하는 크기로 비디오의 프레임들 내에 위치할 때까지 사용자가 얼굴 부분 또는 이미지 캡처 디바이스를 이동시키도록 지시할 수 있다. 일부 실시예에서, 스케일링 컴포넌트(270)는, 비디오 스트림의 프레임들 내의 초기에 프리젠팅된 얼굴 부분이 비디오 스트림 내에 프리젠팅될 얼굴의 최소 크기라고 가정함으로써 최소 얼굴 스케일을 결정한다.
동작 432에서, 크기 특성을 스케일링하는 동안, 스케일링 컴포넌트(270)는 제1 상대적 거리에서 그래픽 표현에 대한 제1 라인 가중치를 식별한다. 스케일링 컴포넌트(270)는, 라인 가중치 선택에 대한 사용자 입력, 그래픽 표현에 대응하는 사용자 입력, 및 제1 상대적 거리 중 하나 이상에 기초하여 제1 라인 가중치를 식별할 수 있다. 일부 실시예에서, 전술된 바와 같이, 스케일링 컴포넌트(270)는, 제1 라인 가중치를, 선택된 라인 가중치, 고정된 입력 폭, 또는 기타의 명시된 값으로서 식별할 수 있다. 일부 예에서, 스케일링 컴포넌트(270)는, 고정된 입력 폭 및 얼굴 부분의 제1 상대적 거리를 이용하여 결정되는 제1 라인 가중치를 식별한다.
동작 434에서, 스케일링 컴포넌트(270)는 그래픽 표현 상의 적어도 하나의 지점의 제1 상대적 위치 및 얼굴 부분 상에 묘사된 2개 이상의 얼굴 랜드마크를 결정한다. 스케일링 컴포넌트(270)는 비디오 스트림의 하나 이상의 프레임 내의 하나 이상의 픽셀에서 적어도 하나의 지점의 제1 상대적 위치를 결정할 수 있다. 일부 예에서, 스케일링 컴포넌트(270)는 비디오 스트림의 하나 이상의 프레임 내의 하나 이상의 좌표로서 제1 상대적 위치를 결정하며, 여기서 비디오 스트림은 객체 추적을 위한 프레임을 분할하는 한 세트의 좌표들로 세그먼트화된다.
동작 436에서, 스케일링 컴포넌트(270)는 제2 상대적 거리에서 2개 이상의 얼굴 랜드마크 사이의 거리 변화를 결정한다. 일부 실시예에서, 스케일링 컴포넌트(270)는 얼굴 부분 상에 묘사된 2개 이상의 얼굴 랜드마크에 대한 제2 상대적 위치를 식별함으로써 거리 변화를 결정한다. 스케일링 컴포넌트(270)는, 2개 이상의 얼굴 랜드마크의 제1 상대적 위치 및 2개 이상의 얼굴 랜드마크에 대한 제2 상대적 거리에서의 제2 상대적 위치를 비교함으로써 거리 변화를 결정한다. 스케일링 컴포넌트(270)는 픽셀 또는 좌표 위치들이 정합하는지를 결정하기 위해 제1 상대적 위치 및 제2 상대적 위치의 픽셀 또는 좌표 위치들을 비교할 수 있다. 픽셀 또는 좌표 위치가 정합하지 않는 경우, 스케일링 컴포넌트(270)는 거리 변화를 식별할 수 있다.
동작 438에서, 스케일링 컴포넌트(270)는 2개 이상의 얼굴 랜드마크 사이의 거리 변화에 기초하여 그래픽 표현에 대한 제1 라인 가중치를 수정하여 그래픽 표현에 대한 제2 라인 가중치를 생성한다. 일부 실시예에서, 제1 상대적 위치와 제2 상대적 위치 사이의 거리 변화를 식별하는 것에 응답하여, 스케일링 컴포넌트(270)는 제1 라인 가중치를 제2 라인 가중치로 변경함으로써 그래픽 표현에 대한 가중치를 수정한다. 제2 라인 가중치는, 제1 상대적 거리에서 제1 라인 가중치와 2개 이상의 얼굴 부위 사이에 존재했던 종횡비를 유지한다.
도 5는 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(500)을 나타내는 흐름도를 도시한다. 방법(500)의 동작들은 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예에서, 방법(500)의 소정 동작들은, 설명된 실시예들 중 하나 이상에서, 이하에서 더 상세히 설명되는 바와 같이, 방법들(300 또는 400)의 하나 이상의 동작을 이용하거나, 방법들(300 또는 400)의 하나 이상의 동작의 서브동작으로서 수행될 수 있다.
동작 510에서, 생성 컴포넌트(250)는 얼굴 부분 앞에 위치한 그래픽 평면을 생성한다. 그래픽 평면은 투명할 수 있고 얼굴 부분으로부터 외측으로 연장될 수 있다. 그래픽 평면은 그래픽 평면 주위에 분포된 좌표들의 세트를 포함할 수 있다. 그래픽 평면은 비디오 스트림의 프레임들 내의 이미지 계층으로서 생성될 수 있다. 일부 예에서, 이미지 계층은 비디오 스트림의 프레임 내에 묘사된 이미지 위에 위치한 투명한 오버레이로서 생성된다.
일부 실시예에서, 그래픽 평면은, 그래픽 표현이 얼굴 부분에 관해 2개 이상의 3차원 위치를 포함하는 그래픽 평면 상의 좌표들에 링크될 수 있도록 윤곽선이 형성된다. 일부 실시예에서, 윤곽선이 형성된 그래픽 평면은 2개 이상의 이미지 계층에 걸쳐서 생성된다. 2개 이상의 이미지 계층은 서로 중첩될 수 있고 비디오 스트림의 프레임 내에 묘사된 이미지 위에 위치한 투명한 오버레이로서 위치할 수 있다. 얼굴 부분을 중심으로 한 이미지 캡처 디바이스의 회전시, 2개 이상의 이미지 계층은 비디오 스트림 내의 2개 이상의 시야각에서 얼굴 부분에 오버레이하는 윤곽 평면으로서 작용한다. 예를 들어, 사용자가 사용자 입력과 함께 얼굴 부분으로부터 상향 연장되고 그래픽 표현으로 렌더링된 한 쌍의 뿔을 그렸을 때, 뿔 부분은 윤곽선 형성된 그래픽 평면으로서 작용하는 2개 이상의 이미지에 걸쳐 위치할 수 있다. 이미지 캡처 디바이스가 얼굴 부분을 중심으로 회전함에 따라, 얼굴 부분으로부터 상방으로 연장되는 2차원 또는 3차원 뿔로서 뿔이 표현된다. 추가 예로서, 그래픽 표현에 대한 사용자 입력이 비디오 스트림 내의 얼굴 부분의 다양한 부분에서 수신되는 경우, 생성 컴포넌트(250)는, 시야 내에 계속적으로 있지 않은 얼굴 부분의 부분들에 대한 그래픽 표현을 생성하고, 적어도 일시적으로, 저장할 수 있다. 이러한 방식으로, 페인팅 시스템(160)은 입력을 수신하고 사용자의 전체 얼굴을 커버하는 페인팅된 그래픽 표현을 생성할 수 있다. 사용자가 이미지 캡처 디바이스 쪽으로 정면으로 향하고 있는 경우, 얼굴 앞 쪽의 페인팅된 그래픽 표현이 비디오 스트림 내의 렌더링 및 프리젠테이션을 위해 소환되거나 생성될 수 있다. 사용자가 회전하거나 이미지 캡처 디바이스가 회전되어 얼굴의 측면을 보여주는 경우, 얼굴의 측면에 대한 그래픽 표현이 렌더링을 위해 소환되거나 생성될 수 있다. 또한, 얼굴 또는 이미지 캡처 디바이스가 회전함에 따라, 각각의 새로이 포함된 얼굴 부분에 대한 페인팅된 그래픽 표현(예를 들어, 정면으로부터 측면 뷰까지의 각도)이 소환되거나 생성되어, 영역, 위치, 지점 또는 랜드마크가 회전하여 시야에 들어옴에 따라 각각의 영역, 위치, 지점, 또는 얼굴 랜드마크와 연관된 페인팅된 그래픽 표현을 포함한 부드러운 회전이 렌더링되어 디스플레이될 수 있다.
동작 520에서, 링킹 컴포넌트(240)는 그래픽 평면 상의 하나 이상의 지점을 얼굴 부분 상에 묘사된 하나 이상의 얼굴 랜드마크에 링크한다. 링킹 컴포넌트(240)는 그래픽 평면 상의 하나 이상의 지점을 동작 340에서 수행된 링킹과 유사하거나 또는 동일하게 하나 이상의 얼굴 랜드마크에 링크할 수 있다.
동작 530에서, 추적 컴포넌트(280)는 하나 이상의 얼굴 랜드마크의 이동을 추적한다. 추적 컴포넌트(280)는 하나 이상의 얼굴 랜드마크의 이동을 그래픽 평면의 이동과 정합시킨다. 추적 컴포넌트(280)는 하나 이상의 얼굴 추적 알고리즘을 이용하여 비디오 스트림의 프레임들에 걸쳐 하나 이상의 얼굴 랜드마크의 이동을 추적할 수 있다. 예를 들어, 추적 컴포넌트(280)는, 활성 외관 모델, 주 성분 분석, 고유 추적, 변형가능한 표면 모델, 또는 기타 임의의 적절한 추적 방법을 이용하여 얼굴 랜드마크를 추적할 수 있다. 얼굴 랜드마크의 이동은, 비디오 스트림의 프레임들 사이의 전방 모션(forward motion), 후방 모션(rearward motion), 회전, 병진, 및 기타의 이동들에 관하여 추적될 수 있다.
도 6은 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(600)을 나타내는 흐름도를 도시한다. 방법(600)의 동작들은 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예에서, 방법(600)의 소정 동작들은, 이하에서 더 상세히 설명되는 바와 같이, 방법(300, 400 또는 500)의 하나 이상의 동작을 이용하여, 또는 방법(300, 400 또는 500)의 하나 이상의 동작의 서브동작으로서 수행될 수 있다. 방법(600)은 얼굴 부분 상의 하나 이상의 위치를 추적하여 그래픽 표현을 지속적인 그래픽 표현으로서 렌더링하게 할 수 있다.
동작 610에서, 위치 컴포넌트(230)는, 제1 후속 프레임 내의 제1 장소에서 제1 후속 프레임의 얼굴 부분 상의 하나 이상의 위치를 식별한다. 일부 실시예에서, 위치 컴포넌트(230)는 동작들(330 또는 410)과 유사하거나 또는 동일하게 얼굴 부분 상의 하나 이상의 위치를 식별할 수 있다.
동작 620에서, 렌더링 컴포넌트(260)는 제1 장소에서 얼굴 부분 상의 하나 이상의 위치에서 그래픽 표현을 렌더링한다. 렌더링 컴포넌트(260)는, 전술된 동작 360에서 수행된 렌더링과 유사하거나 동일하게 그래픽 표현을 렌더링할 수 있다. 그래픽 표현은, 그래픽 표현의 생성 후에, 렌더링 컴포넌트(260)가 비디오 스트림의 하나 이상의 프레임들 내에 그래픽 표현을 묘사함으로써 비디오 스트림을 수정하도록, 실시간으로 비디오 스트림 내에서 렌더링될 수 있다. 그래픽 표현은, 하나 이상의 프레임에 오버레이하는 이미지 계층(예를 들어, 그래픽 평면)에 포함됨으로써 비디오의 하나 이상의 프레임 상에 묘사될 수 있다.
동작 630에서, 위치 컴포넌트(230)는 제2 후속 프레임 내의 제2 장소에서 제2 후속 프레임의 얼굴 부분 상의 하나 이상의 위치를 식별한다. 일부 예에서, 위치 컴포넌트(230)는 전술된 동작들(330, 410, 또는 436)에서 수행된 식별과 유사하거나 동일하게 제2 후속 프레임에서 하나 이상의 위치를 식별할 수 있다.
동작 640에서, 렌더링 컴포넌트(260)는 제2 장소에서 얼굴 부분 상의 하나 이상의 위치에서 그래픽 표현을 렌더링한다. 렌더링 컴포넌트(260)는 동작들(360 또는 620)과 유사하거나 동일하게 비디오 스트림의 프레임들 내에 그래픽 표현을 렌더링할 수 있다.
도 7은 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(700)을 나타내는 흐름도를 도시한다. 방법(700)의 동작들은 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예에서, 방법(700)의 소정 동작들은, 이하에서 더 상세히 설명되는 바와 같이, 방법(300, 400, 500 또는 600)의 하나 이상의 동작을 이용하여, 또는 방법(300, 400, 500 또는 600)의 하나 이상의 동작의 서브동작으로서 수행될 수 있다.
동작 710에서, 입력 컴포넌트(220)는 사용자 입력이 비디오 스트림 내의 얼굴 부분으로부터 외측으로 연장된다고 결정한다. 일부 실시예에서, 입력 컴포넌트(220)는, 사용자 입력의 종료 이전에, 얼굴 부분의 일부로서 포함되지 않은 비디오 스트림의 프레임의 일부를 가로지르는 입력을 수신한다. 입력 컴포넌트(220)는, 위치 컴포넌트(230)가 비디오 스트림의 프레임들 내의 얼굴 부분의 경계들을 식별하는 것에 기초하여, 사용자 입력이 얼굴 부분으로부터 외측으로 연장된다고 결정할 수 있다.
동작 720에서, 위치 컴포넌트(230)는 사용자 입력의 위치에 대응하는 좌표 세트 중의 하나 이상의 좌표를 결정한다. 일부 실시예에서, 하나 이상의 좌표는, 얼굴 부분에 위치한 좌표, 지점, 또는 얼굴 랜드마크이다. 이들 실시예에서, 동작 720은 전술된 동작 330과 유사하거나 동일하게 수행될 수 있다. 일부 예에서, 위치 컴포넌트(230)는 프레임 내에 묘사된 얼굴 부분의 좌표와 독립적인 한 세트의 프레임 좌표들을 식별한다. 프레임 좌표들은 프레임을 프레임 영역들로 세그먼트화한다. 프레임 좌표들의 적어도 일부분은 얼굴 부분에 의해 점유될 수 있다. 프레임 좌표들의 적어도 일부분은 얼굴 부분이 없는 배경에 의해 점유될 수 있다. 이들 경우에, 위치 컴포넌트(230)는, 얼굴 부분과 연관되지 않은 하나 이상의 프레임 좌표와 대응하는 사용자 입력에 대한 좌표 세트 중의 하나 이상의 좌표를 결정한다.
동작 730에서, 링킹 컴포넌트(240)는 사용자 입력을 그래픽 평면 상의 하나 이상의 좌표들에 링크한다. 일부 실시예에서, 링킹 컴포넌트(240)는 전술된 동작 340 또는 520과 유사하거나 동일하게 그래픽 평면 상의 하나 이상의 좌표에 사용자 입력을 링크한다. 사용자 입력은, 하나 이상의 프레임 좌표에 대응하는 그래픽 평면 상의 하나 이상의 좌표에 링크될 수 있다. 일부 예에서, 사용자 입력에 링크된 하나 이상의 좌표의 적어도 일부분은 하나 이상의 프레임 좌표에 대응하는 좌표이고, 사용자 입력에 링크된 하나 이상의 좌표의 일부는 얼굴 부분에 대응하는 좌표이다.
동작 740에서, 렌더링 컴포넌트(260)는 그래픽 표현을 렌더링한다. 그래픽 표현은, 비디오 스트림의 하나 이상의 후속 프레임 내에서 그래픽 평면 상에 얼굴 부분으로부터 외측으로 연장되도록 렌더링될 수 있다. 일부 예시적인 실시예에서, 렌더링 컴포넌트(260)는 동작 360, 620 또는 640과 유사하거나 동일하게 그래픽 표현을 렌더링한다.
도 8은 비디오 스트림이 캡처되고 있고 클라이언트 디바이스(예를 들어, 컴퓨팅 디바이스)의 디스플레이 디바이스 상에 프리젠팅되고 있는 동안 비디오 스트림의 하나 이상의 프레임 내의 얼굴 상에 그래픽 표현을 생성하기 위한 예시적인 방법(800)을 나타내는 흐름도를 도시한다. 방법(800)의 동작들은 페인팅 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예에서, 방법(800)의 소정 동작들은, 이하에서 더 상세히 설명되는 바와 같이, 임의의 방법(300, 400, 500, 600 또는 700)의 하나 이상의 동작을 이용하여, 또는 방법(300, 400, 500, 600 또는 700)의 하나 이상의 동작의 서브동작으로서 수행될 수 있다.
동작 810에서, 입력 컴포넌트(220)는 제1 사용자 입력을 결정한다. 제1 사용자 입력은 비디오 스트림 내의 얼굴 부분으로부터 외측으로 연장된다. 일부 실시예에서, 입력 컴포넌트(220)는 동작들(320, 420 또는 710) 중 하나 이상과 유사하거나 동일하게 제1 사용자 입력을 결정한다.
동작 812에서, 위치 컴포넌트(230)는 제1 사용자 입력의 위치에 대응하는 좌표 세트 중의 하나 이상의 좌표를 결정한다. 일부 예시적인 실시예에서, 위치 컴포넌트(230)는 전술된 동작 330, 410, 또는 720에서 설명된 것과 유사하거나 동일하게 하나 이상의 좌표를 결정한다.
동작 814에서, 링킹 컴포넌트(240)는 제1 사용자 입력을 제1 그래픽 평면 상의 하나 이상의 좌표에 링크한다. 제1 그래픽 평면은 얼굴 부분에 관하여 제1의 3차원 위치에 배치될 수 있다. 일부 예시적인 실시예에서, 링킹 컴포넌트(240)는 전술된 동작들(340 또는 520)에 관하여 설명된 것과 유사하거나 동일하게 동작 814를 수행한다. 일부 예에서, 링킹 컴포넌트(240)는, 제1 사용자 입력과 제1 그래픽 평면 상의 하나 이상의 좌표 사이의 링크를 프로세서-판독가능한 저장 디바이스 상에 적어도 일시적으로 저장하는 데이터 구조를 생성한다.
동작 816에서, 렌더링 컴포넌트(260)는 제1 그래픽 표현을 렌더링한다. 제1 그래픽 표현은, 비디오 스트림의 하나 이상의 후속 프레임 내에서 제1 그래픽 평면 상에 얼굴 부분으로부터 외측으로 연장되도록 렌더링될 수 있다. 일부 예시적인 실시예에서, 렌더링 컴포넌트(260)는, 전술된 동작들(360, 620, 640, 또는 740) 중 하나 이상에 관하여 설명된 것과 유사하거나 동일하게 동작 816을 수행한다.
동작 818에서, 생성 컴포넌트(250)는 얼굴 부분에 관하여 제2의 3차원 위치에서 제2 그래픽 평면을 생성한다. 일부 예시적인 실시예에서, 생성 컴포넌트(250)는 동작들(350 또는 510) 중 하나 이상과 유사하거나 동일하게 제2 그래픽 평면을 생성한다. 제2 그래픽 평면은, 제1 그래픽 평면의 적어도 일부 및 얼굴 부분의 적어도 일부와 중첩되는 오버레이로서 생성될 수 있다. 일부 예에서, 제2 그래픽 평면은, 이미지 캡처 디바이스가 얼굴 부분을 중심으로 회전할 때, 제2 그래픽 평면이 제1 그래픽 평면의 위치 또는 비디오 스트림의 프레임 내에 묘사된 얼굴 부분으로부터 소정 거리만큼 이격된 3차원 위치에 배치된 것처럼 나타나도록 배치될 수 있다.
동작 820에서, 입력 컴포넌트(220)는 비디오 스트림의 프레임 내에 위치한 제2 사용자 입력을 결정한다. 일부 예시적인 실시예에서, 입력 컴포넌트(220)는 동작 320 또는 710과 유사하거나 동일하게 제2 사용자 입력 위치를 결정한다.
동작 822에서, 링킹 컴포넌트(240)는 제2 사용자 입력을 제2 그래픽 평면 상의 하나 이상의 좌표에 링크한다. 일부 실시예에서, 링킹 컴포넌트(240)는 동작 340, 520 또는 730과 유사하거나 동일하게 동작 822를 수행한다.
동작 824에서, 생성 컴포넌트(250)는 제2 그래픽 평면 상의 하나 이상의 좌표에서 제2 사용자 입력의 제2 그래픽 표현을 생성한다. 일부 예시적인 실시예에서, 생성 컴포넌트(250)는 동작 350, 510 또는 818과 유사하거나 동일하게 제2 사용자 입력의 제2 그래픽 표현을 생성한다.
동작 826에서, 렌더링 컴포넌트(260)는 제1 그래픽 평면 상에 제1 그래픽 표현을 렌더링하고 제2 그래픽 평면 상에 제2 그래픽 표현을 렌더링한다. 렌더링 컴포넌트(260)는 비디오 스트림의 후속 프레임들 내에서 제1 그래픽 표현 및 제2 그래픽 표현을 렌더링할 수 있다. 일부 예시적인 실시예에서, 렌더링 컴포넌트(260)는 제1 그래픽 표현 및 제2 그래픽 표현 각각을, 동작 360, 620, 640과 유사하거나 동일하게, 또는 전술된 방식과는 달리 렌더링한다. 제1 그래픽 표현 및 제2 그래픽 표현은, 프레임 내의 얼굴 부분의 묘사와 함께, 각각 제1 및 제2 그래픽 평면 상에서 비디오의 프레임들 상에 렌더링될 수 있다. 렌더링 컴포넌트(260)는, 제1 그래픽 표현 및 제2 그래픽 표현을, 일단 생성되고 나면 실시간으로 비디오 스트림의 하나 이상의 프레임에서 렌더링할 수 있다.
예들
본 명세서에 개시된 장치 및 방법을 더욱 양호하게 예시하기 위해, 비제한적인 예들의 목록이 여기에 제공된다:
1. 방법으로서, 하나 이상의 프로세서에 의해, 비디오 스트림의 하나 이상의 프레임 ―상기 하나 이상의 프레임의 적어도 일부분은 적어도 얼굴 부분을 묘사함― 을 수신하는 단계; 컴퓨팅 디바이스의 입력 디바이스 상의 사용자 입력을 식별하는 단계; 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계; 상기 사용자 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 단계; 상기 사용자 입력의 그래픽 표현 ―상기 사용자 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 단계; 및 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨― 을 렌더링하는 단계를 포함하는 방법.
2. 예 1에 있어서, 상기 사용자 입력을 식별하는 단계는, 상기 비디오 스트림의 프레임에서 상기 컴퓨팅 디바이스의 이미지 캡처 디바이스까지의 상기 얼굴 부분의 제1 상대적 거리를 결정하는 단계; 상기 얼굴 부분의 상기 제1 상대적 거리에 기초하여 상기 그래픽 표현의 크기 특성을 결정하는 단계; 및 상기 비디오 스트림의 후속 프레임에서 상기 제1 상대적 거리로부터 제2 상대적 거리로의 상기 얼굴 부분의 이동에 기초하여 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계를 더 포함하는 방법.
3. 예 1 또는 예 2에 있어서, 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계는, 상기 제1 상대적 거리에서 상기 그래픽 표현에 대한 제1 라인 가중치를 식별하는 단계; 상기 그래픽 표현 상의 적어도 하나의 지점의 제1 상대적 위치 및 상기 얼굴 부분에 묘사된 2개 이상의 얼굴 랜드마크를 결정하는 단계; 상기 제2 상대적 거리에서 상기 2개 이상의 얼굴 랜드마크 사이의 거리 변화를 결정하는 단계; 및 상기 2개 이상의 얼굴 랜드마크 사이의 상기 거리 변화에 기초하여 상기 그래픽 표현에 대한 상기 제1 라인 가중치를 수정하여 상기 그래픽 표현에 대한 제2 라인 가중치를 생성하는 단계를 더 포함하는 방법.
4. 예 1 내지 예 3 중 임의의 하나 이상에 있어서, 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 상기 하나 이상의 위치를 식별하는 단계는, 상기 얼굴 부분 상에서 얼굴 메시 ―상기 얼굴 메시는 상기 얼굴 부분 내에 묘사된 하나 이상의 얼굴 랜드마크를 식별함― 를 결정하는 단계; 상기 사용자 입력의 하나 이상의 좌표를 식별하는 단계; 및 상기 하나 이상의 좌표를 상기 하나 이상의 얼굴 랜드마크의 적어도 일부분에 맵핑하는 단계를 더 포함하는 방법.
5. 예 1 내지 예 4 중 임의의 하나 이상에 있어서, 상기 얼굴 부분 앞에 위치하는 그래픽 평면을 생성하는 단계; 상기 그래픽 평면 상의 하나 이상의 지점을 상기 얼굴 부분에 묘사된 하나 이상의 얼굴 랜드마크에 링크하는 단계; 및 상기 하나 이상의 얼굴 랜드마크의 이동을 추적하고 상기 하나 이상의 얼굴 랜드마크의 이동을 상기 그래픽 평면의 이동과 정합시키는 단계를 더 포함하는 방법.
6. 예 1 내지 예 5 중 임의의 하나 이상에 있어서, 상기 그래픽 평면은, 상기 그래픽 평면 상의 좌표들에 링크된 그래픽 표현이 상기 얼굴 부분에 관해 2차원 또는 그 이상의 3차원 위치들을 포함하도록 윤곽선이 형성되는, 방법.
7. 예 1 내지 예 6 중 임의의 하나 이상에 있어서, 상기 그래픽 평면은 투명하고, 상기 얼굴로부터 외측으로 연장되며, 상기 그래픽 평면 주위에 분포된 좌표들의 세트를 가지며, 상기 사용자 입력이 상기 얼굴 부분으로부터 외측으로 연장된다고 결정하는 단계; 상기 사용자 입력의 위치에 대응하는 상기 좌표들의 세트 중의 하나 이상의 좌표를 결정하는 단계; 상기 사용자 입력을 상기 그래픽 평면 상의 상기 하나 이상의 좌표에 링크하는 단계; 및 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 그래픽 평면 상에 상기 얼굴로부터 외측으로 연장되는 상기 그래픽 표현을 렌더링하는 단계를 더 포함하는 방법.
8. 예 1 내지 예 7 중 임의의 하나 이상에 있어서, 상기 그래픽 평면은 상기 얼굴 부분에 관하여 제1의 3차원 위치에 위치하는 제1 그래픽 평면이고, 상기 그래픽 표현은 제1 그래픽 표현이며, 상기 얼굴 부분에 관하여 제2의 3차원 위치에서 제2 그래픽 평면을 생성하는 단계; 상기 비디오 스트림의 프레임 내에 위치하는 제2 사용자 입력을 결정하는 단계; 상기 제2 사용자 입력을 상기 제2 그래픽 평면 상의 하나 이상의 좌표에 링크하는 단계; 상기 제2 그래픽 평면 상의 상기 하나 이상의 좌표에서 상기 제2 사용자 입력의 제2 그래픽 표현을 생성하는 단계; 및 상기 제1 그래픽 평면 상의 상기 제1 그래픽 표현 및 상기 제2 그래픽 평면 상의 상기 제2 그래픽 표현을 렌더링하는 단계를 더 포함하는 방법.
9. 예 1 내지 예 8 중 임의의 하나 이상에 있어서, 상기 방법은, 제1 후속 서브프레임 내의 제1 장소에서 상기 제1 후속 서브프레임의 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계; 상기 제1 장소에서의 얼굴 부분 상의 상기 하나 이상의 위치에 상기 그래픽 표현을 렌더링하는 단계; 제2 후속 프레임 내의 제2 장소에서 상기 제2 후속 프레임의 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계; 및 상기 제2 장소에서의 상기 얼굴 부분 상의 상기 하나 이상의 위치에서 상기 그래픽 표현을 렌더링하는 단계에 의해, 상기 얼굴 부분 상의 상기 하나 이상의 위치를 추적하여 상기 그래픽 표현을 지속적인 그래픽 표현으로서 렌더링하는 단계를 더 포함하는 방법.
10. 예 1 내지 예 9 중 임의의 하나 이상에 있어서, 프로세서-판독가능한 저장 디바이스 내에 상기 그래픽 표현을 저장하는 단계; 애플리케이션을 개시하는 것에 응답하여, 새로운 비디오 스트림 내에서 상기 얼굴 부분을 검출하는 단계; 및 상기 새로운 비디오 스트림 내에서 상기 얼굴 부분을 검출하는 것에 응답하여, 상기 새로운 비디오 스트림의 하나 이상의 프레임 내에서 상기 그래픽 표현을 렌더링하는 단계를 더 포함하는 방법.
11. 예 1 내지 예 10 중 임의의 하나 이상에 있어서, 상기 입력 디바이스는 상기 사용자 입력을 제공하는 터치의 압력에 민감하도록 구성된 터치 스크린 디바이스이고, 상기 사용자 입력을 식별하는 단계는, 사용자 입력의 터치 압력을 결정하는 단계; 상기 터치 압력과 연관된 엣지 특성을 식별하는 단계; 및 상기 엣지 특성을 상기 사용자 입력으로부터 생성된 그래픽 표현에 할당하는 단계를 더 포함하는 방법.
12. 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 결합되어, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 프로세서 실행가능한 명령어들을 저장하는 비일시적인 프로세서-판독가능한 저장 매체를 포함하는 시스템으로서, 상기 동작들은: 상기 하나 이상의 프로세서에 의해, 비디오 스트림의 하나 이상의 프레임 ―상기 하나 이상의 프레임의 적어도 일부분은 적어도 얼굴 부분을 묘사함― 을 수신하는 단계; 컴퓨팅 디바이스의 입력 디바이스 상의 사용자 입력을 식별하는 단계; 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계; 상기 사용자 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 단계; 상기 사용자 입력의 그래픽 표현 ―상기 사용자 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 단계; 및 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨― 을 렌더링하는 단계를 포함하는 시스템.
13. 예 12에 있어서, 상기 사용자 입력을 식별하는 단계는, 상기 비디오 스트림의 프레임에서 상기 컴퓨팅 디바이스의 이미지 캡처 디바이스까지의 상기 얼굴 부분의 제1 상대적 거리를 결정하는 단계; 상기 얼굴 부분의 상기 제1 상대적 거리에 기초하여 상기 그래픽 표현의 크기 특성을 결정하는 단계; 및 상기 비디오 스트림의 후속 프레임에서 상기 제1 상대적 거리로부터 제2 상대적 거리로의 상기 얼굴 부분의 이동에 기초하여 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계를 더 포함하는 시스템.
14. 예 12 또는 예 13에 있어서, 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계는, 상기 제1 상대적 거리에서 상기 그래픽 표현에 대한 제1 라인 가중치를 식별하는 단계; 상기 그래픽 표현 상의 적어도 하나의 지점의 제1 상대적 위치 및 상기 얼굴 부분에 묘사된 2개 이상의 얼굴 랜드마크를 결정하는 단계; 상기 제2 상대적 거리에서 상기 2개 이상의 얼굴 랜드마크 사이의 거리 변화를 결정하는 단계; 및 상기 2개 이상의 얼굴 랜드마크 사이의 상기 거리 변화에 기초하여 상기 그래픽 표현에 대한 상기 제1 라인 가중치를 수정하여 상기 그래픽 표현에 대한 제2 라인 가중치를 생성하는 단계를 더 포함하는 시스템.
15. 예 10 내지 예 14 중 임의의 하나 이상에 있어서, 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 상기 하나 이상의 위치를 식별하는 단계는, 상기 얼굴 부분 상에서 얼굴 메시 ―상기 얼굴 메시는 상기 얼굴 부분 내에 묘사된 하나 이상의 얼굴 랜드마크를 식별함― 를 결정하는 단계; 상기 사용자 입력의 하나 이상의 좌표를 식별하는 단계; 및 상기 하나 이상의 좌표를 상기 하나 이상의 얼굴 랜드마크의 적어도 일부분에 맵핑하는 단계를 더 포함하는 시스템.
16. 예 10 내지 예 15 중 임의의 하나 이상에 있어서, 상기 동작들은, 상기 얼굴 부분 앞에 위치하는 그래픽 평면을 생성하는 단계; 상기 그래픽 평면 상의 하나 이상의 지점을 상기 얼굴 부분에 묘사된 하나 이상의 얼굴 랜드마크에 링크하는 단계; 및 상기 하나 이상의 얼굴 랜드마크의 이동을 추적하고 상기 하나 이상의 얼굴 랜드마크의 이동을 상기 그래픽 평면의 이동과 정합시키는 단계를 더 포함하는 시스템.
17. 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하는 프로세서 실행가능한 명령어들을 저장한 프로세서-판독가능한 저장 매체로서, 상기 동작들은, 하나 이상의 프로세서에 의해, 비디오 스트림의 하나 이상의 프레임 ―상기 하나 이상의 프레임의 적어도 일부분은 적어도 얼굴 부분을 묘사함― 을 수신하는 단계; 컴퓨팅 디바이스의 입력 디바이스 상의 사용자 입력을 식별하는 단계; 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계; 상기 사용자 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 단계; 상기 사용자 입력의 그래픽 표현 ―상기 사용자 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 단계; 및 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨― 을 렌더링하는 단계를 포함하는, 프로세서-판독가능한 저장 매체.
18. 예 17에 있어서, 상기 사용자 입력을 식별하는 단계는, 상기 비디오 스트림의 프레임에서 상기 컴퓨팅 디바이스의 이미지 캡처 디바이스까지의 상기 얼굴 부분의 제1 상대적 거리를 결정하는 단계; 상기 얼굴 부분의 상기 제1 상대적 거리에 기초하여 상기 그래픽 표현의 크기 특성을 결정하는 단계; 및 상기 비디오 스트림의 후속 프레임에서 상기 제1 상대적 거리로부터 제2 상대적 거리로의 상기 얼굴 부분의 이동에 기초하여 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계를 더 포함하는, 프로세서-판독가능한 저장 매체.
19. 예 17 또는 예 18에 있어서, 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계는, 상기 제1 상대적 거리에서 상기 그래픽 표현에 대한 제1 라인 가중치를 식별하는 단계; 상기 그래픽 표현 상의 적어도 하나의 지점의 제1 상대적 위치 및 상기 얼굴 부분에 묘사된 2개 이상의 얼굴 랜드마크를 결정하는 단계; 상기 제2 상대적 거리에서 상기 2개 이상의 얼굴 랜드마크 사이의 거리 변화를 결정하는 단계; 및 상기 2개 이상의 얼굴 랜드마크 사이의 상기 거리 변화에 기초하여 상기 그래픽 표현에 대한 상기 제1 라인 가중치를 수정하여 상기 그래픽 표현에 대한 제2 라인 가중치를 생성하는 단계를 더 포함하는, 프로세서-판독가능한 저장 매체.
20. 예 17 내지 예 19 중 임의의 하나 이상에 있어서, 상기 사용자 입력에 대응하는 상기 얼굴 부분 상의 상기 하나 이상의 위치를 식별하는 단계는, 상기 얼굴 부분 상에서 얼굴 메시 ―상기 얼굴 메시는 상기 얼굴 부분 내에 묘사된 하나 이상의 얼굴 랜드마크를 식별함― 를 결정하는 단계; 상기 사용자 입력의 하나 이상의 좌표를 식별하는 단계; 및 상기 하나 이상의 좌표를 상기 하나 이상의 얼굴 랜드마크의 적어도 일부분에 맵핑하는 단계를 더 포함하는, 프로세서-판독가능한 저장 매체.
21. 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 제1 예 내지 제11 예 중 어느 한 예의 방법을 실행하게 하는 프로세서 실행가능한 명령어들을 포함하는 머신 판독가능한 매체.
본 장치 및 방법들의 이들 및 다른 예들과 피처들은 상세한 설명에서 부분적으로 전술되었다. 요약 및 예들은 본 발명의 주제의 비제한적인 예를 제공하기 위한 것이다. 이것은 철저한 또는 빠짐없는 설명을 제공하기 위한 것이 아니다. 상세한 설명은 본 발명의 주제에 관한 추가 정보를 제공하기 위해 포함된다.
모듈, 컴포넌트, 및 로직
소정 실시예들은, 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 컴포넌트들은 하드웨어 컴포넌트들을 구성할 수 있다. "하드웨어 컴포넌트"는, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하드웨어 컴포넌트(예를 들어, 적어도 하나의 하드웨어 프로세서, 프로세서, 또는 프로세서 그룹)은, 본 명세서에서 설명된 소정의 동작들을 수행하도록 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성된다.
일부 실시예에서, 하드웨어 컴포넌트는, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현된다. 예를 들어, 하드웨어 컴포넌트는 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능한 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, 범용 프로세서 또는 다른 프로그램가능한 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 컴포넌트를 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.
따라서, "하드웨어 컴포넌트"라는 구문은, 소정 방식으로 동작하거나 본 명세서에서 설명된 소정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 물리결선된(hardwired)), 또는 일시적으로 구성된(예를 들어, 프로그램된) 유형 엔티티(tangible entity)를 포괄하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 컴포넌트"란 하드웨어 컴포넌트를 말한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려할 때, 하드웨어 컴포넌트들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 컴포넌트들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다. 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 한 시점에서는 특정한 하드웨어 컴포넌트를 구성하고 상이한 시점에서 상이한 하드웨어 컴포넌트를 구성할 수 있다.
하드웨어 컴포넌트는 다른 하드웨어 컴포넌트들에 정보를 제공하고 이로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 컴포넌트가 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 컴포넌트들 사이에서 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 컴포넌트들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 컴포넌트들 사이의 통신은, 예를 들어, 복수의 하드웨어 컴포넌트들이 액세스하는 메모리 구조 내의 정보의 저장 및 회수를 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장한다. 그 다음, 또 다른 하드웨어 컴포넌트는, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 컴포넌트는 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.
본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 프로세서들에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 본 명세서에서 설명된 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 컴포넌트들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 컴포넌트"란 프로세서를 이용하여 구현된 하드웨어 컴포넌트를 말한다.
유사하게, 본 명세서에서 설명된 방법들은 적어도 부분적으로 프로세서-구현될 수 있고, 여기서, 특정한 프로세서 또는 프로세서들은 하드웨어의 한 예이다. 예를 들어, 방법의 동작들 중 적어도 일부분은 프로세서 또는 프로세서-구현된 컴포넌트에 의해 수행될 수 있다. 게다가, 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어(software as a service)"(SaaS)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부분은, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷) 및 적절한 인터페이스(예를 들어, 애플리케이션 프로그램 인터페이스(API))를 통해 액세스가능하다.
소정 동작들의 수행은, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치된, 프로세서들 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 단일의 지리적 위치에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치한다. 다른 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 다수의 지리적 위치에 걸쳐 분산된다.
애플리케이션들
도 9는, 일부 실시예에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 기타의 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(900)를 나타낸다. 한 실시예에서, 모바일 디바이스(900)는 사용자(902)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(902)는 모바일 디바이스(900)를 물리적으로 터치(904)할 수 있고, 터치(904)에 응답하여, 모바일 디바이스(900)는, 터치 위치, 터치 힘, 또는 제스쳐 모션과 같은 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(900)는 애플리케이션을 론칭하거나 모바일 디바이스(900)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(906)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예에서, 홈 스크린(906)은, 배터리 수명, 접속성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(902)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(902)는 모바일 디바이스(900)의 애플리케이션과 상호작용한다. 예를 들어, 홈 스크린(906)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.
모바일 디바이스(900)는, 도 9에 도시된 바와 같이, 촬영 디바이스(908)를 포함한다. 촬영 디바이스는, 비디오 스트림 또는 하나 이상의 연속적인 이미지를 캡처할 수 있는 모바일 디바이스(900)에 결합된 카메라 또는 기타 임의의 디바이스일 수 있다. 촬영 디바이스(908)는 페인팅 시스템(160) 또는 선택가능한 사용자 인터페이스 요소에 의해 트리거되어 비디오 스트림 또는 일련의 프레임들의 캡처를 개시하고 비디오 스트림 또는 일련의 이미지들을 본 개시내용에서 설명된 하나 이상의 방법에 따라 처리하기 위해 페인팅 시스템(160)에 전달할 수 있다.
네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, ("앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(900) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(900)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치확인 앱, 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(900)는, 일부 실시예에 따라, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(910)을 포함한다. 이 예에서, 소셜 메시징 앱(910)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다. 예를 들어, 일부 실시예에서, 소셜 메시징 애플리케이션은 사용자 및 소셜 메시징 애플리케이션에 의해 생성된 단기 미디어 갤러리를 포함한다. 이러한 갤러리는, 사용자에 의해 게시되고 사용자의 연락처(예를 들어, "친구")가 볼 수 있는 비디오 또는 사진으로 구성될 수 있다. 대안으로서, 공개 갤러리는, 애플리케이션의 임의의 사용자로부터의 (및 모든 사용자에 의해 액세스가능한) 미디어로 구성된 소셜 메시징 애플리케이션 관리자에 의해 생성될 수 있다. 역시 또 다른 실시예에서, 소셜 메시징 애플리케이션은, 소셜 메시징 애플리케이션의 플랫폼 상의 발행자에 의해 생성되고 임의의 사용자에 의해 액세스될 수 있는 기사 및 기타의 콘텐츠로 구성된 "잡지" 피처를 포함할 수 있다. 이들 환경들 또는 플랫폼들 중 임의의 것이 본 발명의 개념을 구현하는데 이용될 수 있다.
일부 실시예에서, 단기 메시지 시스템은, 시청 시간 또는 시청 완료 등의 삭제 트리거 이벤트에 후속하여 삭제되는 단기 비디오 클립 또는 이미지를 갖는 메시지를 포함할 수 있다. 이러한 실시예에서, 페인팅 시스템(160)을 구현하는 디바이스는, 단기 비디오 클립이 디바이스에 의해 캡처되고 단기 비디오 클립을 단기 메시지 시스템을 이용하여 또 다른 디바이스에 전송할 때, 단기 비디오 클립 내의 얼굴을 식별, 추적, 추출 및 그 표현을 생성할 수 있다.
소프트웨어 아키텍처
도 10은 전술된 디바이스들 상에 설치될 수 있는 소프트웨어의 아키텍처(1002)를 나타내는 블록도(1000)이다. 도 10은 소프트웨어 아키텍처의 비제한적 예일 뿐이고, 본 명세서에서 설명된 기능을 용이화하기 위해 많은 다른 아키텍처가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1002)는, 프로세서(1110), 메모리(1130), 및 I/O 컴포넌트(1150)를 포함하는 도 11의 머신(1100) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍처에서, 소프트웨어(1002)는 각각의 계층이 특정한 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1002)는, 운영 체제(1004), 라이브러리(1006), 프레임워크(1008), 및 애플리케이션(1010) 등의 계층들을 포함한다. 동작상, 애플리케이션(1010)은, 일부 실시예에 따라, 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 호출(1012)을 기동하고, API 호출(1012)에 응답하여 메시지(1014)를 수신한다.
다양한 구현에서, 운영 체제(1004)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1004)는, 예를 들어, 커널(1020), 서비스(1022) 및 드라이버(1024)를 포함한다. 커널(1020)은 일부 실시예에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1020)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스(1022)는 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예에 따라, 드라이버(1024)는 기저 하드웨어를 제어하거나 이와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버(1024)는, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.
일부 실시예에서, 라이브러리(1006)는 애플리케이션(1010)에 의해 이용되는 로우 레벨 공통 인프라스트럭처를 제공한다. 라이브러리(1006)는, 메모리 할당 함수, 문자열 조작 함수, 수학 함수 등의 함수를 제공할 수 있는 시스템 라이브러리(1030)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리(1006)는, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포멧의 프리젠테이션과 조작을 지원하는 라이브러리들) 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 디스플레이 상에서 2차원(2D) 및 3차원(3D)으로 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1032)를 포함할 수 있다. 라이브러리(1006)는 또한, 많은 다른 API를 애플리케이션(1010)에 제공하는 광범위한 다른 라이브러리(1034)를 포함할 수 있다.
프레임워크(1008)는 일부 실시예에 따라 애플리케이션(1010)에 의해 이용될 수 있는 하이 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크(1008)는, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 자원 관리, 하이-레벨 위치확인 서비스 등을 제공한다. 프레임워크(1008)는 애플리케이션(1010)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼 특유일 수 있다.
한 예시적인 실시예에서, 애플리케이션(1010)은, 홈 애플리케이션(1050), 연락처 애플리케이션(1052), 브라우저 애플리케이션(1054), 북 리더 애플리케이션(1056), 위치파악 애플리케이션(1058), 미디어 애플리케이션(1060), 메시징 애플리케이션(1062), 게임 애플리케이션(1064), 및 제3자 애플리케이션(1066) 등의 광범위한 애플리케이션을 포함한다. 일부 실시예에 따르면, 애플리케이션(1010)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션(1010)을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1066)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(software development kit)(SDK)를 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® PHONE, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1066)은 본 명세서에서 설명된 기능을 용이화하기 위해 운영 체제(1004)에 의해 제공되는 API 호출(1012)을 기동할 수 있다.
예시적인 머신 아키텍처 및 머신-판독가능한 매체
도 11은, 머신-판독가능한 매체(예를 들어, 비일시적인 프로세서-판독가능한 저장 매체 또는 프로세서-판독가능한 저장 디바이스)로부터 명령어들(예를 들어, 프로세서-실행가능한 명령어들)을 판독하여 본 명세서에서 논의된 방법론들 중 임의의 것을 수행할 수 있는, 일부 실시예에 따른 머신(1100)의 컴포넌트들을 나타내는 블록도이다. 구체적으로, 도 11은 예시적인 형태의 컴퓨터 시스템으로 된 머신(1100)의 개략적 표현을 도시하며, 머신 내부에서, 머신(1100)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령어들(1116)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)이 실행될 수 있다. 대안적인 실시예에서, 머신(1100)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1100)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1100)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋톱박스(STB), PDA(personal digital assistant), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1100)에 의해 취해질 동작들을 명시하는 명령어들(1116)을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 또한, 단 하나의 머신(1100)이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하기 위해 명령어들(1116)을 개별적으로 또는 공동으로 실행하는 머신들의 집합체(1100)를 포함하는 것으로 간주되어야 한다.
다양한 실시예에서, 머신(1100)은, 버스(1102)를 통해 서로 통신하도록 구성될 수 있는 프로세서(1110), 메모리(1130), 및 I/O 컴포넌트(1150)를 포함한다. 한 예시적인 실시예에서, 프로세서(1110)(예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP; Digital Signal Processor), 주문형 집적 회로(ASIC; Application Specific Integrated Circuit), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어(1116)를 실행할 수 있는 프로세서(1112) 및 프로세서(1114)를 포함한다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서("코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 11은 복수의 프로세서를 도시하지만, 머신(1100)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
일부 실시예에 따르면, 메모리(1130)는, 버스(1102)를 통해 프로세서(1110)가 액세스할 수 있는, 메인 메모리(1132), 정적 메모리(1134), 및 저장 유닛(1136)을 포함한다. 저장 유닛(1136)은, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 것을 구현하는 명령어들(1116)이 저장되는 머신-판독가능한 매체(1138)를 포함할 수 있다. 명령어들(1116)은 또한, 머신(1100)에 의한 그 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1132) 내에, 정적 메모리(1134) 내에, 프로세서들(1110) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에 존재할 수 있다. 따라서, 다양한 실시예에서, 메인 메모리(1132), 정적 메모리(1134), 및 프로세서들(1110)은 머신-판독가능한 매체(1138)로서 간주된다.
본 명세서에서 사용될 때, "메모리"라는 용어는, 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신-판독가능한 매체(1138)를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하지만 이것으로 제한되지 않는 것으로 간주된다. 머신-판독가능한 매체(1138)가 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "머신-판독가능한 매체"라는 용어는 명령어(1116)를 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 또한, 명령어들이, 머신(1100)의 프로세서들(예를 들어, 프로세서들(1110))에 의해 실행될 때, 머신(1100)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 것을 수행하게 하도록, 머신(예를 들어, 머신(1100))에 의한 실행을 위한 명령어(예를 들어, 명령어(1116))를 저장할 수 있는 임의의 매체 또는 복수의 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 매체"란, 단일의 저장 장치 또는 디바이스 뿐만 아니라, 복수의 저장 장치 또는 디바이스를 포함하는 "클라우드-기반" 저장 시스템 또는 저장 네트워크를 말한다. "머신-판독가능한 매체"라는 용어는, 그에 따라, 솔리드-스테이트 메모리(예를 들어, 플래시 메모리), 광학 매체, 자기 매체, 기타의 비휘발성 메모리(예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EPROM)), 또는 이들의 임의의 적절한 조합의 형태로 된 데이터 저장소를 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 신호 그 자체를 포함할 수 있다.
I/O 컴포넌트(1150)들은, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하며, 정보를 교환하고, 측정치를 캡처하는 등을 수행하는 다양한 컴포넌트를 포함한다. 일반적으로, I/O 컴포넌트(1150)들은 도 11에 도시되지 않은 많은 다른 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트(1150)들은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트(1150)는 출력 컴포넌트(1152) 및 입력 컴포넌트(1154)를 포함한다. 출력 컴포넌트(1152)들은, 시각적 컴포넌트(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube) 등의 디스플레이), 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터), 기타의 신호 생성기 등을 포함한다. 입력 컴포넌트(1154)들은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 사진-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 기타의 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버튼, 터치 또는 터치 제스쳐의 위치 및 힘을 제공하는 터치 스크린, 또는 기타의 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.
일부 추가의 예시적인 실시예에서, I/O 컴포넌트(1150)들은, 특히, 바이오메트릭 컴포넌트(1156), 모션 컴포넌트(1158), 환경 컴포넌트(1160), 또는 위치 컴포넌트(1162)를 포함한다. 예를 들어, 바이오메트릭 컴포넌트(1156)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 입 제스쳐)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함한다. 모션 컴포넌트(1158)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트(1160)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 노이즈를 검출하는 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 가스 센서 컴포넌트(예를 들어, 머신 후각 검출 센서, 안전을 위해 위험한 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함한다. 위치 컴포넌트(1162)는, 위치 센서 컴포넌트(예를 들어, GPS(Global Positioning System) 수신기 컴포넌트), 고도 센서 컴포넌트(예를 들어, 고도가 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함한다.
통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트(1150)들은, 머신(1100)을 각각 결합(1182) 및 결합(1172)을 통해 네트워크(1180) 또는 디바이스(1170)에 결합하도록 동작가능한 통신 컴포넌트(1164)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1164)는 네트워크 인터페이스 컴포넌트 또는 네트워크(1180)와 인터페이스하기에 적절한 또 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트(1164)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스(1170)는, 또 다른 머신 또는 임의의 다양한 주변 디바이스(예를 들어, USB(Universal Serial Bus)를 통해 결합된 주변 디바이스)일 수 있다.
게다가, 일부 실시예에서, 통신 컴포넌트(1164)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함한다. 예를 들어, 통신 컴포넌트(1164)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트(예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서), 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함한다. 또한, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 위치, WI-FI® 신호 삼각측량을 통한 위치, 특정한 위치를 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 위치 등의 다양한 정보가 통신 컴포넌트(1164)를 통해 도출될 수 있다.
전송 매체
다양한 예시적인 실시예에서, 네트워크(1180)의 부분들은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(MAN; Metropolitan Area Network), 인터넷, 인터넷의 일부, PSTN(public switched telephone network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1180) 또는 네트워크(1180)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1182)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1182)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.
예시적인 실시예에서, 명령어들(1116)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1164)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 프로토콜들 중 임의의 하나(예를 들어, 하이퍼텍스트 전송 프로토콜(HTTP))를 이용하여 네트워크(1180)를 통해 전송되거나 수신된다. 유사하게, 다른 예시적인 실시예에서, 명령어들(1116)은 디바이스(1170)에 대한 결합(1172)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신된다. "전송 매체"라는 용어는, 머신(1100)에 의한 실행을 위한 명령어(1116)를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 용이화하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주되어야 한다.
또한, 머신-판독가능한 매체(1138)는 전파 신호를 구현하지 않는다는 점에서 비일시적(즉, 어떠한 일시적인 신호도 갖지 않음)이다. 그러나, 머신-판독가능한 매체(1138)를 "비일시적"으로 라벨링하는 것은 매체가 이동 불가능하다는 것을 의미하는 것으로 해석되어서는 안 된다; 매체는 한 물리적 위치로부터 또 다른 위치로 이동될 수 있는 것으로 간주되어야 한다. 추가로, 머신-판독가능한 매체(1138)는 유형이므로, 매체는 머신-판독가능한 디바이스로 간주될 수 있다.
용어
본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트들, 동작들 또는 구조들을 구현할 수 있다. 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.
본 발명의 주제에 대한 개요가 특정한 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은, 본 명세서에서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.
본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자가 본 명세서에서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.
본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 컴포넌트, 엔진 및 데이터 저장소들 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 정황에서 예시된 것이다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원들로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 방법으로서,
    하나 이상의 프로세서에 의해, 객체를 묘사하는 비디오 스트림을 수신하는 단계;
    상기 비디오 스트림의 복수의 프레임들의 시퀀셜 프리젠테이션 동안, 그래픽 표현(graphical representation)의 프리젠테이션을 위한 설정된 기간(set period of time)을 포함하는 타이밍 방식(timing scheme)의 선택을 나타내는 입력을 수신하는 단계; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 객체에 관련한 그래픽 표현을 렌더링하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 객체는 적어도 얼굴의 부분을 포함하고,
    상기 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 단계;
    상기 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 단계;
    상기 입력의 그래픽 표현 ―상기 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 단계; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨(presented)― 을 렌더링하는 단계
    를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 입력을 수신하는 단계는:
    상기 비디오 스트림의 프레임에서 이미지 캡처 디바이스까지의 상기 객체의 제1 상대적 거리(relative distance)를 결정하는 단계;
    상기 객체의 상기 제1 상대적 거리에 기초하여 상기 그래픽 표현의 크기 특성(size characteristic)을 결정하는 단계; 및
    상기 비디오 스트림의 후속 프레임에서 상기 제1 상대적 거리로부터 제2 상대적 거리로의 상기 객체의 이동(movement)에 기초하여 상기 그래픽 표현의 상기 크기 특성을 스케일링(scaling)하는 단계
    를 포함하는 방법.
  4. 제3항에 있어서, 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 단계는:
    상기 제1 상대적 거리에서 상기 그래픽 표현에 대한 제1 라인 가중치(line weight)를 식별하는 단계;
    상기 그래픽 표현 상의 적어도 하나의 지점의 제1 상대적 위치 및 상기 객체에 묘사된 2개 이상의 랜드마크(landmark)를 결정하는 단계;
    상기 제2 상대적 거리에서 상기 2개 이상의 랜드마크 사이의 거리 변화를 결정하는 단계; 및
    상기 2개 이상의 랜드마크 사이의 상기 거리 변화에 기초하여 상기 그래픽 표현에 대한 상기 제1 라인 가중치를 수정하여 상기 그래픽 표현에 대한 제2 라인 가중치를 생성하는 단계
    를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 객체 앞에 위치하는 그래픽 평면(graphics plane)을 생성하는 단계;
    상기 그래픽 평면 상의 하나 이상의 지점을 상기 객체에 묘사된 하나 이상의 랜드마크에 링크하는 단계; 및
    상기 하나 이상의 랜드마크의 이동을 추적하고, 상기 하나 이상의 랜드마크의 이동을 상기 그래픽 평면의 이동과 정합(matching)시키는 단계
    를 더 포함하는 방법.
  6. 제5항에 있어서, 상기 그래픽 평면은, 상기 그래픽 평면 상의 좌표들에 링크된 그래픽 표현이 상기 객체에 관해 2개 이상의 3차원 위치들을 포함하도록 윤곽선이 형성되는(contoured), 방법.
  7. 제5항에 있어서, 상기 그래픽 평면은 투명하고, 상기 객체로부터 외측으로 연장되며, 상기 그래픽 평면 주위에 분포된 좌표들의 세트를 가지고,
    상기 입력이 상기 객체로부터 외측으로 연장된다고 결정하는 단계;
    상기 입력의 위치에 대응하는 상기 좌표들의 세트 중의 하나 이상의 좌표를 결정하는 단계;
    상기 입력을 상기 그래픽 평면 상의 상기 하나 이상의 좌표에 링크하는 단계; 및
    상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 그래픽 평면 상에 상기 객체로부터 외측으로 연장되는 상기 그래픽 표현을 렌더링하는 단계
    를 더 포함하는 방법.
  8. 제7항에 있어서, 상기 그래픽 평면은 상기 객체에 관하여 제1의 3차원 위치에 위치하는 제1 그래픽 평면이고, 상기 그래픽 표현은 제1 그래픽 표현이며,
    상기 객체에 관하여 제2의 3차원 위치에서 제2 그래픽 평면을 생성하는 단계;
    상기 비디오 스트림의 프레임 내에 위치하는 제2 입력을 결정하는 단계;
    상기 제2 입력을 상기 제2 그래픽 평면 상의 하나 이상의 좌표에 링크하는 단계;
    상기 제2 그래픽 평면 상의 상기 하나 이상의 좌표에서 상기 제2 입력의 제2 그래픽 표현을 생성하는 단계; 및
    상기 제1 그래픽 평면 상에 상기 제1 그래픽 표현을 렌더링하고 상기 제2 그래픽 평면 상에 상기 제2 그래픽 표현을 렌더링하는 단계
    를 더 포함하는 방법.
  9. 제1항에 있어서,
    제1 후속 프레임 내의 제1 장소에서 상기 제1 후속 프레임의 상기 객체 상의 하나 이상의 위치를 식별하는 단계;
    상기 제1 장소에서 상기 객체 상의 상기 하나 이상의 위치에 상기 그래픽 표현을 렌더링하는 단계;
    제2 후속 프레임 내의 제2 장소에서 상기 제2 후속 프레임의 상기 객체 상의 하나 이상의 위치를 식별하는 단계; 및
    상기 제2 장소에서 상기 객체 상의 상기 하나 이상의 위치에 상기 그래픽 표현을 렌더링하는 단계
    에 의해, 상기 객체 상의 상기 하나 이상의 위치를 추적하여 상기 그래픽 표현을 지속적인 그래픽 표현(persistent graphical representation)으로서 렌더링하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    프로세서-판독가능한 저장 디바이스 내에 상기 그래픽 표현을 저장하는 단계;
    애플리케이션을 개시하는 것에 응답하여, 새로운 비디오 스트림 내에서 상기 객체를 검출하는 단계; 및
    상기 새로운 비디오 스트림 내에서 상기 객체를 검출하는 것에 응답하여, 상기 새로운 비디오 스트림의 프레임들의 세트 내에서 상기 그래픽 표현을 렌더링하는 단계
    를 더 포함하는 방법.
  11. 제1항에 있어서, 터치(touch)의 압력에 민감하도록 구성된 터치 스크린 디바이스가 상기 입력을 제공하고, 상기 입력을 수신하는 단계는:
    상기 입력의 터치 압력을 결정하는 단계;
    상기 터치 압력과 연관된 엣지의 선명도(edge sharpness), 라인 컬러(line color), 또는 컬러 강도(color intensity) 중 적어도 하나를 식별하는 단계; 및
    상기 엣지의 선명도, 라인 컬러, 또는 컬러 강도 중 적어도 하나를 상기 입력으로부터 생성된 그래픽 표현에 할당하는 단계
    를 더 포함하는 방법.
  12. 제1항에 있어서,
    특정된 최소 스케일을 검색하는 단계;
    상기 비디오 스트림의 적어도 하나의 프레임에 묘사된 객체의 크기가 상기 특정된 최소 스케일보다 작은 것으로 결정하는 단계; 및
    상기 객체의 크기가 상기 특정된 최소 스케일에 대응할 때까지 사용자에게 상기 객체를 이미지 캡처 디바이스에 더 가깝게 위치시킬 것을 알려주는 메시지를 상기 비디오 스트림의 프레임의 상단(top)에 오버레이하는 단계
    를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 객체에 의해 점유된 상기 비디오 스트림의 프레임의 양을 결정하는 단계;
    상기 객체에 의해 점유된 프레임의 양에 기초하여 이미지 캡처 디바이스까지의 상기 객체의 상대적 거리를 결정하는 단계; 및
    상기 객체의 상기 상대적 거리에 기초하여 상기 그래픽 표현의 크기를 스케일링하는 단계
    를 더 포함하는 방법.
  14. 제1항에 있어서,
    상기 이벤트는 사용자에 의해 선택되고, 객체 랜드마크가 상기 프레임들의 세트의 제1 프레임에 나타나는 제1 방식으로부터 상기 객체 랜드마크가 상기 프레임들의 세트의 제2 프레임에 나타나는 제2 방식으로의 변경을 포함하는, 방법.
  15. 제1항에 있어서, 상기 그래픽 표현을 렌더링하는 단계는 상기 타이밍 방식에 따라 상기 그래픽 표현의 프리젠테이션을 야기하는 단계를 포함하는, 방법.
  16. 시스템으로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 결합되어, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 프로세서 실행가능한 명령어들을 저장하는 비일시적인 프로세서-판독가능한 저장 매체
    를 포함하고, 상기 동작들은:
    객체를 묘사하는 비디오 스트림을 수신하는 동작;
    상기 비디오 스트림의 복수의 프레임들의 시퀀셜 프리젠테이션 동안, 그래픽 표현의 프리젠테이션을 위한 설정된 기간을 포함하는 타이밍 방식의 선택을 나타내는 입력을 수신하는 동작; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 객체에 관련한 그래픽 표현을 렌더링하는 동작
    을 포함하는 시스템.
  17. 제16항에 있어서, 상기 객체는 적어도 얼굴의 부분을 포함하고, 상기 동작들은:
    상기 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 동작;
    상기 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 동작;
    상기 입력의 그래픽 표현 ―상기 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 동작; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨― 을 렌더링하는 동작
    을 더 포함하는 시스템.
  18. 제16항에 있어서, 상기 입력을 수신하는 동작은:
    상기 비디오 스트림의 프레임에서 이미지 캡처 디바이스까지의 상기 객체의 제1 상대적 거리를 결정하는 동작;
    상기 객체의 상기 제1 상대적 거리에 기초하여 상기 그래픽 표현의 크기 특성을 결정하는 동작; 및
    상기 비디오 스트림의 후속 프레임에서 상기 제1 상대적 거리로부터 제2 상대적 거리로의 상기 객체의 이동에 기초하여 상기 그래픽 표현의 상기 크기 특성을 스케일링하는 동작
    을 포함하는 시스템.
  19. 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하는 프로세서 실행가능한 명령어들을 저장하는 비일시적인 프로세서-판독가능한 저장 매체로서, 상기 동작들은:
    객체를 묘사하는 비디오 스트림을 수신하는 동작;
    상기 비디오 스트림의 복수의 프레임들의 시퀀셜 프리젠테이션 동안, 그래픽 표현의 프리젠테이션을 위한 설정된 기간을 포함하는 타이밍 방식의 선택을 나타내는 입력을 수신하는 동작; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 객체에 관련한 그래픽 표현을 렌더링하는 동작
    을 포함하는 비일시적인 프로세서-판독가능한 저장 매체.
  20. 제19항에 있어서, 상기 객체는 적어도 얼굴의 부분을 포함하고,
    상기 입력에 대응하는 상기 얼굴 부분 상의 하나 이상의 위치를 식별하는 동작;
    상기 입력을 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크하는 동작;
    상기 입력의 그래픽 표현 ―상기 입력의 상기 그래픽 표현은 상기 얼굴 부분 상의 상기 하나 이상의 위치에 링크됨― 을 생성하는 동작; 및
    이벤트 검출에 응답하여 그리고 상기 타이밍 방식에 기초하여, 상기 비디오 스트림의 하나 이상의 후속 프레임 내에서 상기 얼굴 부분 상에 상기 그래픽 표현 ―상기 그래픽 표현은 상기 하나 이상의 위치에서 상기 얼굴 부분 상에 프리젠팅됨― 을 렌더링하는 동작
    을 더 포함하는 비일시적인 프로세서-판독가능한 저장 매체.
KR1020207020708A 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅 KR102173620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207031142A KR102329583B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/213,186 US10609324B2 (en) 2016-07-18 2016-07-18 Real time painting of a video stream
US15/213,186 2016-07-18
PCT/US2017/042636 WO2018017592A1 (en) 2016-07-18 2017-07-18 Real time painting of a video stream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004216A Division KR102137041B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031142A Division KR102329583B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Publications (2)

Publication Number Publication Date
KR20200090936A true KR20200090936A (ko) 2020-07-29
KR102173620B1 KR102173620B1 (ko) 2020-11-03

Family

ID=59631851

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197004216A KR102137041B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅
KR1020207020708A KR102173620B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅
KR1020207031142A KR102329583B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197004216A KR102137041B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207031142A KR102329583B1 (ko) 2016-07-18 2017-07-18 비디오 스트림의 실시간 페인팅

Country Status (5)

Country Link
US (4) US10609324B2 (ko)
EP (2) EP3485649A1 (ko)
KR (3) KR102137041B1 (ko)
CN (2) CN114143570A (ko)
WO (1) WO2018017592A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
US10854180B2 (en) 2015-09-29 2020-12-01 Amper Music, Inc. Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US10339410B1 (en) * 2016-01-13 2019-07-02 Snap Inc. Color extraction of a video stream
US10609324B2 (en) 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
US10965964B2 (en) 2018-02-20 2021-03-30 Logitech Europe S.A. System and methods for integrated multistreaming of media with graphical overlays
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10484736B2 (en) 2018-03-12 2019-11-19 General Workings Inc. Systems and methods for a marketplace of interactive live streaming multimedia overlays
US10924796B2 (en) * 2018-04-10 2021-02-16 Logitech Europe S.A. System and methods for interactive filters in live streaming media
EP3914911A1 (en) * 2019-01-22 2021-12-01 Imabiotech Method for evaluating molecular changes related to a molecule effect in a biological sample
JP7277187B2 (ja) * 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN111355998B (zh) * 2019-07-23 2022-04-05 杭州海康威视数字技术股份有限公司 视频处理方法及装置
US11024275B2 (en) 2019-10-15 2021-06-01 Shutterstock, Inc. Method of digitally performing a music composition using virtual musical instruments having performance logic executing within a virtual musical instrument (VMI) library management system
US10964299B1 (en) 2019-10-15 2021-03-30 Shutterstock, Inc. Method of and system for automatically generating digital performances of music compositions using notes selected from virtual musical instruments based on the music-theoretic states of the music compositions
US11037538B2 (en) 2019-10-15 2021-06-15 Shutterstock, Inc. Method of and system for automated musical arrangement and musical instrument performance style transformation supported within an automated music performance system
CN112862657B (zh) * 2019-11-28 2024-05-10 阿里巴巴集团控股有限公司 图像处理方法、装置、电子设备及计算机存储介质
TW202231071A (zh) * 2021-01-20 2022-08-01 圓剛科技股份有限公司 直播串流的多媒體處理系統及直播串流的多媒體處理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202114A1 (en) * 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
US20110304607A1 (en) * 2010-06-09 2011-12-15 Nintendo Co., Ltd. Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
US20160127681A1 (en) * 2014-10-31 2016-05-05 Microsoft Technology Licensing, Llc Modifying Video Call Data
US20160196665A1 (en) * 2013-07-30 2016-07-07 Holition Limited Locating and Augmenting Object Features in Images

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
DE59708043D1 (de) 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US6226015B1 (en) * 1998-02-25 2001-05-01 Intel Corporation Method of automatically producing sketches and cartoon images from movies
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US7307642B2 (en) * 2001-06-28 2007-12-11 Ideaworks 3D Ltd. Graphics compression
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US7721308B2 (en) * 2005-07-01 2010-05-18 Microsoft Corproation Synchronization aspects of interactive multimedia presentation management
WO2007023494A2 (en) 2005-08-22 2007-03-01 Triplay Communications Ltd. Messaging system and method
WO2007036838A1 (en) * 2005-09-30 2007-04-05 Philips Intellectual Property & Standards Gmbh Face annotation in streaming video
KR101240261B1 (ko) * 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
JP2007310577A (ja) * 2006-05-17 2007-11-29 Toshiba Corp 描画データ抽出装置、方法、およびプログラム
US8373799B2 (en) * 2006-12-29 2013-02-12 Nokia Corporation Visual effects for video calls
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
JP4350773B2 (ja) * 2007-07-25 2009-10-21 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
WO2010111582A1 (en) * 2009-03-27 2010-09-30 Bailey Scott J Interactive media player system
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
CN102055912B (zh) * 2009-10-29 2014-10-29 北京中星微电子有限公司 一种视频应用系统、视频特效处理系统和方法
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
JP2012113460A (ja) * 2010-11-24 2012-06-14 Sony Corp 情報処理装置および方法、並びにプログラム
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
WO2013106984A1 (en) * 2012-01-16 2013-07-25 Google Inc. Learning painting styles for painterly rendering
US10349001B1 (en) * 2012-10-11 2019-07-09 SportSight LLC Venue based event capture organizational and distribution system and method
US9524282B2 (en) * 2013-02-07 2016-12-20 Cherif Algreatly Data augmentation with real-time annotations
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
US9436304B1 (en) * 2013-11-01 2016-09-06 Google Inc. Computer with unified touch surface for input
US9454840B2 (en) * 2013-12-13 2016-09-27 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9792716B2 (en) * 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
US20160191958A1 (en) * 2014-12-26 2016-06-30 Krush Technologies, Llc Systems and methods of providing contextual features for digital communication
US9922439B2 (en) * 2014-07-25 2018-03-20 Samsung Electronics Co., Ltd. Displaying method, animation image generating method, and electronic device configured to execute the same
CN105447823B (zh) * 2014-08-07 2019-07-26 联想(北京)有限公司 一种图像处理方法及一种电子设备
US9298884B1 (en) * 2014-12-17 2016-03-29 Vitaax Llc Remote instruction and monitoring of health care
CN105763829A (zh) * 2014-12-18 2016-07-13 联想(北京)有限公司 一种图像处理方法及电子设备
US10609324B2 (en) 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202114A1 (en) * 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
US20110304607A1 (en) * 2010-06-09 2011-12-15 Nintendo Co., Ltd. Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
US20160196665A1 (en) * 2013-07-30 2016-07-07 Holition Limited Locating and Augmenting Object Features in Images
US20160127681A1 (en) * 2014-10-31 2016-05-05 Microsoft Technology Licensing, Llc Modifying Video Call Data

Also Published As

Publication number Publication date
US20180018079A1 (en) 2018-01-18
US20230362327A1 (en) 2023-11-09
CN114143570A (zh) 2022-03-04
EP4117296A1 (en) 2023-01-11
KR102329583B1 (ko) 2021-11-22
KR20190028767A (ko) 2019-03-19
WO2018017592A1 (en) 2018-01-25
US10609324B2 (en) 2020-03-31
CN109716781B (zh) 2021-12-21
US11212482B2 (en) 2021-12-28
US20200186747A1 (en) 2020-06-11
US20220078370A1 (en) 2022-03-10
KR102137041B1 (ko) 2020-07-23
EP3485649A1 (en) 2019-05-22
CN109716781A (zh) 2019-05-03
KR20200125764A (ko) 2020-11-04
US11750770B2 (en) 2023-09-05
KR102173620B1 (ko) 2020-11-03

Similar Documents

Publication Publication Date Title
KR102137041B1 (ko) 비디오 스트림의 실시간 페인팅
US10984569B2 (en) Avatar based ideogram generation
US11532133B2 (en) Audio responsive augmented reality
US10896346B1 (en) Image segmentation for object modeling
US11468544B2 (en) Eye texture inpainting
US11551425B2 (en) Modifying multiple objects within a video stream
US11450085B2 (en) Binarization of a video stream

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant