KR102656497B1 - 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화 - Google Patents

멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화 Download PDF

Info

Publication number
KR102656497B1
KR102656497B1 KR1020227044742A KR20227044742A KR102656497B1 KR 102656497 B1 KR102656497 B1 KR 102656497B1 KR 1020227044742 A KR1020227044742 A KR 1020227044742A KR 20227044742 A KR20227044742 A KR 20227044742A KR 102656497 B1 KR102656497 B1 KR 102656497B1
Authority
KR
South Korea
Prior art keywords
editable
videos
text
user
list
Prior art date
Application number
KR1020227044742A
Other languages
English (en)
Other versions
KR20230026344A (ko
Inventor
제레미 보스
빅터 샤브로프
아이반 바바닌
알렉산더 마쉬라보프
로만 골로보코프
Original Assignee
스냅 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 아이엔씨 filed Critical 스냅 아이엔씨
Priority to KR1020247011326A priority Critical patent/KR20240052065A/ko
Publication of KR20230026344A publication Critical patent/KR20230026344A/ko
Application granted granted Critical
Publication of KR102656497B1 publication Critical patent/KR102656497B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Graphics (AREA)

Abstract

멀티미디어 메시징 애플리케이션(MMA)의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템이 제공된다. 일 예시적인 실시예에서, 시스템은 프로세서 및 프로세서 실행 가능 코드들을 저장하는 메모리를 포함하며, 프로세서는 최근 메시지들의 맥락을 결정하기 위해 MMA에서 사용자의 최근 메시지들을 분석하고; 맥락에 기초하여, 맞춤형 텍스트 메시지를 결정하고; 맥락에 기초하여, 수정 가능한 비디오들을 저장하도록 구성된 데이터베이스로부터 관련 수정 가능한 비디오들의 리스트를 선택하며, 수정 가능한 비디오들은 미리 설정된 텍스트 메시지들과 연관되고; 관련 수정 가능한 비디오들에서의 미리 설정된 텍스트 메시지들을 맞춤형 메시지로 대체하고; 사용자에 의해 보고 선택하기 위해 관련 수정 가능한 비디오들의 리스트를 렌더링하도록 구성되며, 렌더링하는 것은 관련 수정 가능한 비디오들에서 맞춤형 텍스트 메시지를 디스플레이하는 것을 포함한다.

Description

멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화
본 개시는 일반적으로 멀티미디어 메시징 애플리케이션들(MMAs)에 관한 것으로, 보다 상세하게는, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하는 것에 관한 것이다.
스티커들 및 이모티콘과 같은 공유 미디어는 MMA들에서 표준 옵션이 되었다. 현재, 메신저들의 일부는 이미지들 및 짧은 비디오들을 발생시키고 통신 채팅을 통해 다른 사용자들에게 송신하기 위한 옵션을 사용자들에게 제공한다. 이들 짧은 비디오들은 미리 발생되고 데이터베이스에 저장되고 요구에 따라 MMA들에 제공될 수 있다.
실시예들은 첨부 도면들의 도면들에서 제한이 아닌 예로서 도시되며, 여기서 비슷한 참조들은 유사한 요소들을 표시한다.
도 1은 MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템 및 방법이 구현될 수 있는 예시적인 환경을 도시하는 블록도이다.
도 2는 MMA들의 수정 가능한 비디오들에서의 텍스트 메시지들을 위한 방법을 구현하기 위한 컴퓨팅 디바이스의 예시적인 실시예를 도시하는 블록도이다.
도 3은 개시의 일부 예시적인 실시예들에 따라, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템을 도시하는 블록도이다.
도 4는 예시적인 실시예에 따라, 맞춤형 텍스트 메시지를 갖는 개인화된 비디오를 발생시키는 프로세스를 도시하는 개략도이다.
도 5a 및 도 5b는 일부 예시적인 실시예들에 따라, MMA의 사용자 인터페이스의 예시적인 스크린들을 도시한다.
도 6은 일부 예시적인 실시예들에 따라, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법을 도시하는 흐름도이다.
도 7은 MMA들의 수정 가능한 비디오들의 사운드트랙들을 맞춤화하기 위한 방법들을 구현하기 위해 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
실시예들의 이하의 상세한 설명은 첨부 도면들에 대한 참조들을 포함하며, 이들은 상세한 설명의 일부를 형성한다. 이러한 부분에 설명되는 접근법들은 청구항들에 대한 선행 기술이 아니고 이러한 부분의 포함에 의해 선행 기술로 인정되지 않는다. 도면들은 예시적인 실시예들에 따라 예시들을 도시한다. 또한 본원에 "예들"로 지칭되는 이들 예시적인 실시예들은 통상의 기술자들이 본 발명 대상을 실시할 수 있게 하기에 충분히 상세하게 설명된다. 실시예들이 조합될 수 있거나, 다른 실시예들이 이용될 수 있거나, 구조, 논리, 및 동작 변경들은 청구된 것의 범위로부터 벗어나지 않고 이루어질 수 있다. 따라서, 이하의 상세한 설명은 제한적인 의미로 취해지지 않아야 하고, 범위는 첨부된 청구항들 및 그들의 균등물들에 의해 정의된다.
본원에 제공된 개시는 MMA에서 사용되는 릴들에서 텍스트 메시지들을 맞춤화하는 것에 관한 것이다. 또한 본원에서 수정 가능한 비디오로 지칭되는 릴은 단편 영화 또는 비디오 클립으로 정의될 수 있다. MMA는 스마트폰, 태블릿, 랩톱 등과 같은, 개인 컴퓨팅 디바이스(PCD) 상에 실행될 수 있는 애플리케이션이다. MMA는 PCD들의 사용자들이 메시지들 및 릴들을 교환할 수 있는 통신 채팅들을 가능하게 할 수 있다.
릴들은 MMA의 개발자에 의해 발생되고 데이터베이스에 저장될 수 있다. 데이터베이스는 컴퓨팅 클라우드에 상주할 수 있다. MMA를 사용하는 동안, 사용자는 예를 들어, "최근", "특색", "인사들", "사랑", "행복", "속상", "축하" 등과 같은 다양한 카테고리들 하에 릴들을 볼 수 있다. "최근" 카테고리는 사용자에게 개인화되고 사용자에 의해 다른 사용자들과 최근에 공유된 릴들, 가장 공유된 릴들, 인기있는 릴들, 사용자가 아직 보지 못한 새로운 릴들, 또는 그의 임의의 조합들을 포함할 수 있다. 일 실시예에서, "최근" 카테고리 내의 릴들의 수는 미리 결정된 수로 제한될 수 있다. 최근에 공유된 릴들의 수가 미리 결정된 수 미만이면, "최근" 카테고리의 나머지 위치들은 "특색" 카테고리로부터의 릴들로 채워질 수 있다.
MMA는 또한 텍스트 메시지를 타이핑하기 위한 사용자 옵션을 포함할 수 있다. 텍스트 메시지를 수신할 시에, MMA는 데이터베이스에서 텍스트 메시지에 관련된 릴들을 검색할 수 있다. 그 다음, MMA는 텍스트 메시지에 관련된 릴들의 리스트를 검토를 위해 사용자에게 제공할 수 있다.
일부 예시적인 실시예들에서, 사용자는 카테고리들 또는 검색 결과들로부터 릴을 선택하고 통신 채팅을 통해 선택된 릴을 송신할 수 있다. 선택된 릴은 프레임들을 포함할 수 있고 프레임들의 일부는 얼굴 이미지에 대해 지정되는 영역을 포함할 수 있다. 얼굴 이미지는 또한 셀피로 지칭될 수 있다. MMA는 사용자가 PCD의 카메라 애플리케이션 또는 사용자에 의해 제공된 사진을 사용하여 셀피를 발생시키는 것을 허용할 수 있다. 셀피는 프레임 내의 영역 내로 삽입될 수 있다. 프레임은 얼굴 표정을 표현하는 얼굴 파라미터들의 세트를 포함할 수 있다. 프레임 내로 삽입되기 전에, 셀피는 얼굴 표정을 채택할 수 있다. 릴이 재생될 때, 프레임들 내의 셀피는 릴의 프레임들에 걸쳐 얼굴 표정들의 변화들에 따라 얼굴 움직임들을 수행할 수 있다.
선택된 릴은 미리 발생된 텍스트 메시지를 포함할 수 있다. 통신 채팅을 통해 선택된 릴을 송신하기 전에, 사용자는 텍스트 메시지 및 텍스트 메시지의 애니메이션의 스타일을 수정할 수 있다.
일부 실시예들에서, MMA는 사용자의 최근 메시지들 및 감정 상태의 맥락을 결정하기 위해 통신 채팅에서 사용자의 최근 메시지들을 분석할 수 있다. 맥락 및 감정 상태는 머신 러닝 기술들 중 하나(예를 들어, 특별히 트레이닝된 인공 신경 네트워크)로 결정될 수 있다. MMA는 또한 사용자의 맥락 및 감정 상태에 기초하여 맞춤형 텍스트 메시지를 발생시킬 수 있다.
사용자가 텍스트 메시지를 타이핑하기 위한 옵션을 입력했던 것을 결정할 시에, MMA는 맥락 및 감정 상태에 관련되는 릴들의 리스트를 제공할 수 있다. MMA는 또한 텍스트 메시지를 입력하기 위한 필드를 맥락 및 감정 상태에 대응하는 하나 이상의 키워드로 미리 채울 수 있다. 일부 실시예들에서, MMA는 텍스트 메시지를 입력하기 위한 필드를 맞춤형 텍스트 메시지로 미리 채울 수 있다.
사용자가 관련 릴들의 리스트들로부터 릴들을 선택할 때, MMA는 선택된 릴에서 맞춤형 메시지 및 맞춤형 메시지의 스타일을 수정하기 위한 옵션을 제공할 수 있다. MMA는 통신 채팅 및 감정 상태의 맥락에 기초하여 맞춤형 메시지를 수정할 수 있다. MMA는 또한 사용자의 통신 채팅 및 감정 상태의 맥락에 기초하여 맞춤형 메시지의 스타일을 수정할 수 있다. 예를 들어, 사용자의 감정 상태가 "속상한" 경우, 맞춤형 메시지의 문자들은 냉동된 얼음으로 묘사될 수 있다. 다른 예에서, 사용자가 "화난" 경우, 맞춤형 메시지의 문자들은 불타는 불꽃들로 묘사될 수 있다.
MMA는 통계 데이터를 수집할 수 있다. 통계 데이터는 "맥락 -> 맞춤형 텍스트 메시지 -> 릴들의 제한된 리스트 -> 선택된 릴 또는 어떠한 릴도 사용자에 의해 선택되지 않는다는 표시"라는 기록들을 포함할 수 있다. 통계 데이터는 사용자의 통신 채팅 및 감정 상태의 맥락 및 테마에 기초하여 관련 릴들을 검색하기 위한 알고리즘을 조정하기 위해 사용될 수 있다.
도 1은 MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템 및 방법이 실시될 수 있는 예시적인 환경(100)을 도시한다. 환경(100)은 PCD(105), 사용자(102), PCD(110), 사용자(104), 네트워크(120), 및 메시징 서버 시스템(MSS)(130)을 포함할 수 있다. PCD(105) 및 PCD(110)는 이동 전화, 스마트폰, 또는 태블릿 컴퓨터와 같은 이동 디바이스를 지칭할 수 있다. 그러나, 추가 실시예들에서, PCD(105) 및 PCD(110)는 개인용 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스, 텔레비전 디바이스, 멀티미디어 디바이스, 개인 정보 단말기, 게임 콘솔, 엔터테인먼트 시스템, 인포테인먼트 시스템, 차량 컴퓨터, 또는 임의의 다른 컴퓨팅 디바이스를 지칭할 수 있다.
PCD(105) 및 PCD(110)는 네트워크(120)를 통해 MSS(130)에 통신 연결될 수 있다. MSS(130)은 클라우드 기반 컴퓨팅 자원(들)으로서 구현될 수 있다. MSS(130)은 원격 위치에서 이용 가능하고 네트워크(예를 들어, 인터넷)를 통해 이용 가능한 컴퓨팅 자원(들)(하드웨어 및 소프트웨어)을 포함할 수 있다. 클라우드 기반 컴퓨팅 자원(들)은 다수의 사용자에 의해 공유되고 요구에 기초하여 동적으로 재할당될 수 있다. 클라우드 기반 컴퓨팅 자원들은 네트워크 스위치들 또는 라우터들과 같이 위치할 수 있는 컴퓨터 서버들의 집합을 포함하는 하나 이상의 서버 팜/클러스터를 포함할 수 있다.
네트워크(120)는 예를 들어, 인터넷, 인트라넷, 근거리 네트워크(LAN), 개인 영역 네트워크(PAN), 광역 네트워크(WAN), 가상 개인 네트워크(VPN), 휴대 전화 네트워크들(예를 들어, 이동 통신 세계화 시스템(GSM) 통신 네트워크 등을 포함하는 임의의 유선, 무선, 또는 광 네트워크들을 포함할 수 있다.
개시의 일부 실시예들에서, PCD(105) 및 PCD(110)는 사용자(102)와 사용자(104) 사이의 통신 채팅을 가능하게 하도록 구성된 MMA(160)를 포함할 수 있다. 사용자(102) 및 사용자(104)는 통신 채팅 동안 텍스트 메시지 및 비디오들을 교환할 수 있다. 비디오들은 개인화된 비디오들을 포함할 수 있다. 개인화된 비디오들은 PCD(105) 또는 PCD(110)에 저장된 릴들에 기초하여 발생될 수 있다. 일부 실시예들에서, 릴들은 MSS(130)에 저장되고 요구에 따라 MMA(160)를 통해 PCD(105) 또는 PCD(110)로 다운로드될 수 있다.
MSS(130)는 릴들을 저장하기 위한 릴 데이터베이스(145)를 포함할 수 있다. 릴들은 애니메이션 비디오들 또는 라이브 액션 비디오들에 기초하여 발생될 수 있다. 릴들은 PCD(105) 또는 PCD(110)로 다운로드될 수 있다. MSS(130)는 비디오 템플릿들에 대한 인기 메트릭들을 결정하기 위해 릴들의 다운로드들의 통계들을 저장하기 위한 통계 로그(150)를 포함할 수 있다. 인기 메트릭들은 사용자의 나이, 사용자의 성별, 지리적 영역 등에 기초하여 카테고리들로 분할될 수 있다. 통계 로그(150)는 또한 릴들을 PCD(105) 및 PCD(110)의 사용자들에 의해 MMA(160)를 통해 공유하기 위한 통계들을 저장할 수 있다.
MSS(130)는 또한 사용자 프로필들(135)을 저장하도록 구성될 수 있다. 사용자 프로필들(135)은 사용자(102)의 얼굴의 이미지들, 사용자(104)의 얼굴의 이미지들, 및 다른 사람들의 얼굴들의 이미지들을 포함할 수 있다. 얼굴들의 이미지들은 요구에 따라 그리고 허가들에 기초하여 PCD(105) 또는 PCD(110)로 다운로드될 수 있다. 추가적으로, 사용자(102)의 얼굴의 이미지들은 PCD(105)를 사용하여 발생되고 PCD(105)의 로컬 메모리에 저장될 수 있다. 얼굴들의 이미지들은 PCD(105)에 저장된 다른 이미지들에 기초하여 발생될 수 있다. 얼굴들의 이미지들은 릴들에 기초하여 개인화된 비디오들을 발생시키기 위해 PCD(105)에 의해 더 사용될 수 있다. 유사하게, PCD(110)는 사용자(104)의 얼굴의 이미지들을 발생시키기 위해 사용될 수 있다. 사용자(104)의 얼굴의 이미지들은 릴들로부터, PCD(110) 상에 개인화된 비디오들을 발생시키기 위해 사용될 수 있다.
추가 실시예들에서, 사용자(102)의 얼굴의 이미지들 및 사용자(104)의 얼굴의 이미지들 둘 모두는 PCD(105) 또는 PCD(110) 상에 개인화된 비디오들을 발생시키기 위해 사용될 수 있다.
일부 실시예들에서, 릴은 미리 설정된 디폴트 텍스트 메시지를 포함할 수 있다. 릴은 릴에 기초하여 발생되는 개인화된 비디오에서 미리 설정된 디폴트 텍스트 메시지의 애니메이션에 대한 미리 설정된 텍스트 파라미터들을 더 포함할 수 있다. PCD(105) 및 PCD(110)는 미리 설정된 텍스트 파라미터들에 기초하여 애니메이션되는 미리 설정된 텍스트 메시지를 특징화하는 개인화된 비디오를 재생하도록 구성될 수 있다. 개인화된 비디오의 재생 동안, MMA(160)는 미리 설정된 디폴트 텍스트 메시지를 변경하는 옵션 및 개인화된 비디오에 텍스트 메시지를 디스플레이하기 위한 파라미터들을 제공할 수 있다. PCD(105)는 개인화된 비디오가 재생되는 동안 개인화된 비디오에서 미리 설정된 디폴트 텍스트 메시지를 동적으로 변경할 수 있다. 그 다음, 사용자(105)는 변경된 텍스트 메시지를 갖는 개인화된 비디오를 MMA(160)를 통해 PCD(110)의 사용자(104)에게 송신할 수 있다.
도 2는 MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법들을 구현하기 위한 PCD(105)(또는 PCD(110))의 예시적인 실시예를 도시하는 블록도이다. 도 2에 도시된 예에서, PCD(105)는 하드웨어 구성요소들 및 소프트웨어 구성요소들 둘 다를 포함한다. 특히, PCD(105)는 디지털 이미지들을 취득하기 위해 카메라(205) 또는 임의의 다른 이미지 캡처링 디바이스 또는 스캐너를 포함한다. PCD(105)는 프로세서 모듈(210) 및 소프트웨어 구성요소들 및 프로세서 판독가능(머신 판독가능) 명령어들 또는 코드들을 저장하기 위한 메모리 스토리지(215)를 더 포함할 수 있으며, 이는 프로세서 모듈(210)에 의해 수행될 때, PCD(105)로 하여금 본원에 설명된 바와 같이 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법들의 적어도 일부 단계들을 수행하게 한다. PCD(105)는 그래픽 디스플레이 시스템(230) 및 통신 모듈(240)을 포함할 수 있다. 다른 실시예들에서, PCD(105)는 추가적인 또는 상이한 구성요소들을 포함할 수 있다. 더욱이, PCD(105)는 도 2에 도시된 것들과 유사하거나 동등한 기능들을 수행하는 더 적은 구성요소들을 포함할 수 있다.
PCD(105)는 MMA(160)를 더 포함할 수 있다. MMA(160)는 메모리 스토리지(215)에 저장된 소프트웨어 구성요소들 및 프로세서 판독가능(머신 판독가능) 명령어들 또는 코드들로서 구현될 수 있으며, 이는 프로세서 모듈(210)에 의해 수행될 때, PCD(105)로 하여금 본원에 설명된 바와 같이 통신 채팅들을 제공하고, 개인화된 비디오들을 발생시키고, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법들의 적어도 일부 단계들을 수행하게 한다. MMA(160)의 사용자 인터페이스는 그래픽 디스플레이 시스템(230)을 통해 제공될 수 있다. 통신 채팅들은 통신 모듈(240) 및 네트워크(120)를 통해 MMA(160)에 의해 가능하게 될 수 있다. 통신 모듈(240)은 GSM 모듈, WiFi 모듈, BluetoothTM 모듈 등을 포함할 수 있다.
도 3은 개시의 일부 예시적인 실시예들에 따라, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템(300)의 블록도이다. 시스템(300)은 맥락 결정 모듈(305), 릴 검색 모듈(310), 및 개인화된 비디오 발생 모듈(315)을 포함할 수 있다. 시스템(300)은 MMA(160) 내에 통합될 수 있다.
맥락 결정 모듈(305)은 사용자의 최근 메시지들 및 감정 상태의 맥락을 결정하기 위해 MMA(160)에서 사용자의 최근 메시지들을 분석할 수 있다. 맥락 결정 모듈(305)은 사용자의 최근 메시지들 및 감정 상태에 관련된 맞춤형 텍스트 메시지를 결정할 수 있다.
릴 검색 모듈(310)은 최근 메시지들, 텍스트 메시지, 또는 사용자에 의해 타이핑된 검색 질의의 맥락에 기초하여 릴 데이터베이스(145) 내의 관련 릴들에 대한 검색을 수행할 수 있다. 릴들은 배우 또는 다수의 배우를 특징화하는 미리 생성된 기록된 비디오들일 수 있다. 릴들은 2차원(2D) 비디오들 또는 3차원(3D) 장면들을 포함할 수 있다. 릴들은 각각의 프레임에서 배우의 얼굴(또한 타깃 얼굴로 지칭됨) 및 배경을 세그먼트화하고 배우의 얼굴(타깃 얼굴) 대신에 소스 얼굴의 추가 삽입에 사용될 수 있는 파라미터들의 세트를 식별하기 위해 전처리될 수 있다. 파라미터들의 세트는 얼굴 텍스처, 얼굴 표정 파라미터들, 얼굴 컬러, 얼굴 정체성 파라미터들, 얼굴의 위치, 및 각도 등을 포함할 수 있다. 파라미터들의 세트는 또한 실사 방식으로 수행되는 배우의 얼굴의 대체와 같은, 배우의 얼굴 상에 수행될 수 있는 조작들 및 동작들의 리스트를 포함할 수 있다. 릴들 각각은 디폴트 사운드트랙, 디폴트 텍스트 메시지, 텍스트 애니메이션의 디폴트 스타일, 및 디폴트 헤어스타일을 포함할 수 있다.
릴 검색 모듈(310)은 MMA(160)의 사용자 인터페이스를 통해, 검색 스트링, 및 관련 릴들의 리스트를 디스플레이할 수 있다. 검색 스트링은 맥락과 연관된 키워드들을 포함할 수 있다. 일부 실시예들에서, 검색 스트링은 맥락에 기초하여 맞춤형 텍스트 메시지를 포함할 수 있다. 관련 릴들은 맞춤형 텍스트 메시지에 기초하여 릴 데이터베이스(145)로부터 선택될 수 있다. 예를 들어, 관련 릴들의 리스트는 맞춤형 텍스트 메시지에 의미상 가까운 디폴트 텍스트 메시지들을 갖는 릴들을 포함할 수 있다. 디폴트 텍스트 메시지들과 맞춤형 텍스트 메시지 사이의 거리들은 하나 이상의 의미론적 유사성 측정에 기초하여 결정될 수 있다. 관련 릴들의 리스트를 디스플레이하기 전에, 관련 릴들 내의 디폴트 텍스트 메시지들은 맞춤형 텍스트 메시지에 의해 대체될 수 있다.
릴 검색 모듈(310)은 검색 스트링에서 맞춤형 텍스트 메시지를 수정하는 옵션을 사용자에게 제공할 수 있다. 사용자가 검색 스트링에서 맞춤형 텍스트 메시지를 변경했던 것을 결정할 시에, 릴 검색 모듈(310)은 사용자에게 디스플레이되는 관련 릴들의 리스트를 업데이트하기 위해 릴 데이터베이스(145)에서 다른 검색을 수행할 수 있다.
사용자가 최근 메시지들의 맥락에 기초하여 결정되는 맞춤형 텍스트 메시지를 수정할 때마다, 릴 검색 모듈(310)은 통계 로그(150) 내로, 맥락, 맞춤형 텍스트 메시지, 및 수정된 맞춤형 텍스트 메시지에 관한 정보를 저장할 수 있다. 통계 로그(150)로부터의 정보는 맥락 및 맞춤형 텍스트 메시지를 결정하기 위한 알고리즘을 업데이트하기 위해 사용될 수 있다. 일부 실시예들에서, 맞춤형 텍스트 메시지는 통계 로그(150) 내의 이력 데이터에 기초하여 머신 러닝 모델을 사용하여 결정될 수 있다. 머신 러닝 모델은 인공 신경 네트워크, 결정 트리들, 서포트 벡터 머신, 회귀 분석 등에 기초할 수 있다.
일부 실시예들에서, 관련 릴들의 리스트를 디스플레이하기 전에, 관련 릴들 내의 텍스트 애니메이션의 디폴트 스타일은 맞춤형 스타일 텍스트 애니메이션에 의해 대체될 수 있다. 텍스트 애니메이션의 맞춤형 스타일은 사용자의 최근 메시지들 및 감정 상태의 맥락에 기초하여, 텍스트 애니메이션들의 스타일들의 라이브러리로부터 선택될 수 있다. 예를 들어, 사용자의 감정 상태가 "속상한" 경우, 맞춤형 메시지의 문자들은 냉동된 얼음으로 묘사될 수 있다. 다른 예에서, 사용자가 "화난" 경우, 맞춤형 메시지의 문자들은 불타는 불꽃들로 묘사될 수 있다.
일부 실시예들에서, 관련 릴들의 리스트를 디스플레이하기 전에, 디폴트 헤어스타일은 맞춤형 헤어스타일에 의해 대체될 수 있다. 맞춤형 헤어스타일은 사용자의 최근 메시지들 및 감정 상태의 맥락에 기초하여 헤어스타일들의 라이브러리로부터 선택될 수 있다. 예를 들어, 사용자의 감정 상태가 "화난" 경우, 사용자는 곤두선 헤어를 갖는 릴로 묘사되고 적색으로 페인팅될 수 있다. 맞춤형 헤어스타일은 사용자 셀피에서 헤어의 텍스처 및 컬러를 변경함으로써 획득될 수 있다. 변경은 컬링 헤어 또는 스트레이트닝 헤어를 포함할 수 있다. 변경들은 또한 헤어가 너무 길면 헤어를 짧게 하는 것, 헤어가 너무 짧으면 헤어를 길게 하는 것, 또는 헤어의 볼륨을 증가시키는 것을 포함할 수 있다. 변경은 또한 셀피에서의 헤어의 컬러와 상이한 컬러로 헤어를 페인팅하는 것을 포함할 수 있다.
일부 실시예들에서, 관련 릴들의 리스트를 디스플레이하기 전에, MMA는 맞춤형 사운드트랙을 릴들에 추가할 수 있다. 맞춤형 사운드트랙은 사용자의 최근 메시지들 및 감정 상태의 맥락에 기초하여 사운드트랙들의 라이브러리로부터 선택될 수 있다.
사용자가 관련 릴들의 리스트로부터 릴을 선택했던 것을 결정할 시에, MMA(160)는 통신 채팅을 통해 선택된 릴을 공유하는 옵션을 사용자에게 제공할 수 있다. MMA(160)는 맥락, 맞춤형 텍스트 메시지, 관련 릴들의 리스트, 및 선택된 릴들에 관한 정보를 통계 로그(150) 내로 저장할 수 있다.
선택된 릴을 공유하기 전에, MMA(160)는 맞춤형 텍스트 메시지, 텍스트 애니메이션의 맞춤형 스타일, 맞춤형 헤어스타일, 및 맞춤형 사운드트랙을 수정하는 옵션을 사용자에게 제공할 수 있다. 사용자는 텍스트 애니메이션의 스타일들의 라이브러리로부터 텍스트 애니메이션의 다른 스타일을 선택할 수 있다. 사용자는 사운드트랙들의 라이브러리로부터 다른 사운드트랙을 선택할 수 있다. 사용자는 헤어스타일들의 라이브러리로부터 다른 헤어스타일을 선택할 수 있다.
사용자가 릴을 공유하기 전에 텍스트 애니메이션의 맞춤형 스타일을 수정했다는 결정 시에, MMA(160)는 맥락, 감정 상태, 텍스트 애니메이션의 맞춤형 스타일, 및 텍스트 애니메이션의 수정된 스타일에 관한 정보를 통계 로그(150) 내로 저장할 수 있다. 통계 로그(150)로부터의 정보는 사용자의 감정 상태를 결정하기 위한 알고리즘 및 텍스트 애니메이션의 스타일들의 라이브러리로부터 텍스트 애니메이션의 맞춤형 스타일을 선택하기 위한 알고리즘의 조정에 사용될 수 있다.
사용자가 릴을 공유하기 전에 맞춤형 헤어스타일을 수정했다는 결정 시에, MMA(160)는 맥락, 감정 상태, 맞춤형 헤어스타일, 및 수정된 헤어스타일에 관한 정보를 통계 로그(150) 내로 저장할 수 있다. 통계 로그(150)로부터의 정보는 사용자의 감정 상태를 결정하기 위한 알고리즘 및 헤어스타일들의 라이브러리로부터 맞춤형 헤어스타일을 선택하기 위한 알고리즘의 조정에 사용될 수 있다.
사용자가 릴을 공유하기 전에 맞춤형 사운드트랙을 변경했다는 결정 시에, MMA(160)는 맥락, 맞춤형 메시지, 맞춤형 사운드트랙, 및 수정된 사운드트랙에 관한 정보를 통계 로그(150) 내로 저장할 수 있다. 통계 로그(150)로부터의 정보는 라이브러리로부터 맞춤형 사운드트랙을 선택하기 위한 알고리즘의 조정에 사용될 수 있다.
개인화된 비디오 발생 모듈(315)은 소스 얼굴의 이미지에 기초하여 릴로부터 개인화된 비디오를 발생시킬 수 있다. 모듈(315)은 배우의 얼굴의 얼굴 표정을 유지하면서 릴 내의 배우의 얼굴을 사용자의 셀피로 대체할 수 있다. 모듈(315)은 배우의 얼굴 텍스처, 얼굴 컬러, 및 얼굴 정체성을 셀피의 얼굴 텍스처, 얼굴 컬러, 및 얼굴 정체성으로 대체할 수 있다. 개인화된 비디오 발생 모듈(315)은 사용자에게 디스플레이될 관련 릴들을 발생시키기 위해 릴 검색 모듈(310)에 의해 사용될 수 있다.
도 4는 일부 예시적인 실시예들에 따라, 개인화된 비디오 발생 모듈(315)에 의해 맞춤형 텍스트 메시지를 갖는 개인화된 비디오를 발생시키는 프로세스(400)를 도시하는 개략도이다. 모듈(315)은 사용자 얼굴 이미지(셀피)(405), 릴(410), 맞춤형 헤어스타일(406), 맞춤형 텍스트(407), 텍스트 애니메이션의 맞춤형 스타일(408), 및 맞춤형 사운드트랙(409)을 수신할 수 있다. 릴(410)은 프레임들(420)의 시퀀스를 포함할 수 있다. 릴(410)은 프레임들(420) 각각에 대해, 얼굴 영역 파라미터들, 얼굴 랜드마크 파라미터들, 피부 마스크, 눈 파라미터들, 입 부위 이미지, 머리 파라미터들, 애니메이션된 객체 이미지들, 미리 설정된 디폴트 텍스트, 미리 설정된 텍스트 파라미터들, 및 디폴트 헤어스타일을 더 포함할 수 있다.
셀피(405)는 PCD(105)에 의해 캡처되거나 PCD(105)의 카메라 롤로부터 선택될 수 있다. 프레임들(420)의 시퀀스는 라이브 액션 비디오 또는 애니메이션된 비디오에 기초하여 발생될 수 있다. 얼굴 영역 파라미터들은 프레임 이미지들 내의 얼굴 영역(415)(얼굴 이미지에 대해 지정된 영역)의 위치의 좌표들을 포함할 수 있다. 얼굴 랜드마크 파라미터들은 페이스싱크(facesync) 배우의 얼굴을 특징화하는 라이브 액션 비디오에 기초하여 발생될 수 있다. 얼굴 랜드마크 파라미터들은 얼굴의 타원 주위의 지점들, 입술들 및 코 주위의 지점들, 및 눈썹들 및 눈꺼플들 주위의 지점들과 같은, 페이스싱크 배우의 얼굴 상의 얼굴 랜드마크들의 좌표들을 포함할 수 있다. 눈 파라미터들은 페이스싱크 배우의 공막에서 홍채의 위치의 좌표들을 포함할 수 있다. 입 부위 이미지는 페이스싱크 배우의 얼굴의 입 부위의 이미지를 포함할 수 있다. 피부 마스크는 배우의 신체 또는 신체의 2D/3D 애니메이션의 피부 영역을 특징화하는 라이브 비디오에 기초하여 발생될 수 있다. 피부 마스크는 배우의 신체의 피부 영역을 정의할 수 있다. 예시적인 실시예에서, 피부 마스크 및 얼굴 랜드마크 파라미터들은 상이한 배우들(본원에 배우 및 페이스싱크 배우로 각각 지칭됨)을 캡처하는 2개의 상이한 라이브 액션 비디오에 기초하여 발생될 수 있다. 다수의 배우가 필요하지 않고, 일부 실시예들에서, 하나의 배우만이 사용될 수 있다는 점이 주목되어야 한다.
미리 설정된 텍스트 파라미터들은 릴에서 텍스트의 애니메이션의 스타일을 정의할 수 있다. 미리 설정된 텍스트 파라미터들은 텍스트에 적용되는 시각 효과들을 설명할 수 있다. 시각 효과들은 이하 중 하나 이상을 포함할 수 있다: 모양의 문자 애니메이션, 경로를 따라 텍스트를 디스플레이하는 것, 텍스트의 카피들을 디스플레이하는 것, 텍스트의 압축, 텍스트의 슬라이싱, 텍스트의 방향성 모양, 랜덤화된 문자 모양, 텍스트의 왜곡 및 스케일링(scaling), 텍스트의 그라디언트 필, 섀도우 및 글로우를 텍스트에 추가하는 것, 방향성 글로우를 텍스트에 추가하는 것, 텍스트의 플래시 모양, 투시 섀도우를 텍스트에 추가하는 것, 동적 글로우를 텍스트에 적용하는 것, 텍스트의 왜곡된 섀도우 또는 윤곽을 디스플레이하는 것, 텍스트를 윤곽화하는 것, 채색된 폰트 에셋들을 텍스트에 적용하는 것 등.
모듈(315)은 사용자 얼굴 이미지(405)에 기초하여, 사용자 데이터(435)를 결정할 수 있다. 사용자 데이터는 사용자 얼굴 랜드마크, 사용자 얼굴 마스크, 및 사용자 컬러 데이터를 포함할 수 있다. 모듈(315)은 사용자 데이터(435) 및 프레임들(420)에 기초하여, 개인화된 비디오(440)의 프레임들(445)을 발생시킬 수 있다. 개인화된 비디오(440)는 사용자의 얼굴 또는 다수의 사용자의 얼굴들을 특징화하는 시청각 미디어(예를 들어, 비디오, 애니메이션, 또는 임의의 다른 유형의 미디어)의 형태로 발생될 수 있다.
개인화된 비디오(440)의 발생은 프레임들(420)의 프레임 이미지들을 수정하는 것을 포함할 수 있다. 프레임 이미지들의 수정은 출력 얼굴(465)을 획득하기 위해 셀피(405)를 수정하는 것 및 출력 얼굴을 프레임들(420)의 얼굴 영역(415) 내에 삽입하는 것을 포함할 수 있다. 출력 얼굴(465)은 얼굴 랜드마크 파라미터들에 대응하는 얼굴 표정을 채택하는 셀피(405)이다. 셀피(405)는 프레임 이미지에 대응하는 얼굴 랜드마크 파라미터들에 기초하여 수정될 수 있다. 모듈(315)은 맞춤형 사운드트랙(409)을 개인화된 비디오(440)에 더 추가할 수 있다. 셀피(405)의 헤어 이미지는 맞춤형 헤어스타일(406)에 따라 수정될 수 있다.
모듈(315)은 프레임들(420) 내의 미리 설정된 텍스트 파라미터들을 텍스트 애니메이션의 맞춤형 스타일(408)에 대응하는 텍스트 파라미터들로 수정할 수 있다. 텍스트 파라미터들은 프레임 이미지들에서 맞춤형 텍스트(407)를 렌더링하는 것을 정의한다. 텍스트 파라미터들은 맞춤형 텍스트의 스케일, 개인화된 비디오(440)의 프레임들(445) 내의 맞춤형 텍스트(407)의 위치, 맞춤형 텍스트(407)의 회전, 맞춤형 텍스트(407)의 컬러, 맞춤형 텍스트(407)의 라인들의 수, 맞춤형 텍스트(407)의 최대 길이 등을 포함할 수 있다. 모듈(315)은 텍스트 파라미터들에 기초하여 스타일링되는 맞춤형 텍스트(407)를 렌더링할 수 있다. 개인화된 비디오(440)가 PCD(105)의 스크린 상에 재생될 때, 맞춤형 텍스트(407)는 개인화된 비디오(440) 내의 프레임들(445)에 걸쳐 맞춤형 텍스트(407)의 스타일의 변경들에 따라 애니메이션되는 것으로 나타날 것이다.
도 5a 및 도 5b는 일부 예시적인 실시예들에 따라, MMA(160)의 사용자 인터페이스의 예시적인 스크린들을 도시한다. 도 5a는 텍스트 메시지로 미리 채워진 검색 스트링(515) 및 검색 스트링(515)에서 텍스트 메시지에 관련된 릴들의 리스트(520)를 갖는 사용자 인터페이스(510)를 도시한다. 텍스트 메시지는 통신 채팅에서의 사용자의 최근 메시지들에 기초하여 MMA(160)에 의해 제안될 수 있다. 사용자는 검색 스트링(515)에서 텍스트 메시지를 수정할 수 있다. MMA는 수정된 텍스트 메시지에 기초하여 리스트(520)를 업데이트할 수 있다.
도 5b는 선택된 릴(535)을 갖는 사용자 인터페이스(530)를 도시한다. 사용자는 키보드(545)를 사용하여 새로운 텍스트 메시지를 타이핑하거나 키보드(545)의 음성 인식 옵션을 사용하여 음성 메시지를 텍스트 메시지로 변환함으로써 릴(535)에서 텍스트 메시지(540)를 수정할 수 있다. 사용자는 릴(540)을 송신 버튼(550)을 통해 통신 채팅에 송신할 수 있다.
도 6은 일부 예시적인 실시예들에 따라, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법(600)을 도시하는 흐름도이다. 방법(600)은 PCD(105)에 의해 수행될 수 있다.
방법(600)은 최근 메시지들의 맥락을 결정하기 위해 MMA에서 사용자의 최근 메시지들을 분석하는 단계를 갖는 블록(605)에서 시작할 수 있다. 방법(600)은 최근 메시지들에 기초하여, 사용자의 감정 상태를 결정하는 단계를 포함할 수 있다.
블록(610)에서, 방법(600)은 맥락에 기초하여, 맞춤형 텍스트 메시지를 결정하는 단계를 포함할 수 있다. 맞춤형 텍스트 메시지는 통계 로그로부터의 이력 데이터에 기초하여 머신 러닝 모델에 의해 결정될 수 있다. 통계 로그는 맥락 및 맞춤형 텍스트 메시지들에 대한 정보에 관한 이력 데이터를 저장할 수 있다. 방법(600)은 맥락에 기초하여, 라이브러리로부터 맞춤형 사운드트랙을 선택하는 단계를 포함할 수 있다. 방법(600)은 감정 상태에 기초하여, 텍스트 애니메이션들의 스타일들의 리스트로부터 텍스트 애니메이션의 스타일을 선택하는 단계를 포함할 수 있다. 방법(600)은 감정 상태에 기초하여, 헤어스타일들의 리스트로부터 헤어스타일을 선택하는 단계를 포함할 수 있다. 방법은 또한 헤어스타일을 헤어의 이미지에 적용함으로써 셀피를 수정하는 단계를 포함할 수 있다. 블록(615)에서, 방법(600)은 맥락에 기초하여, 데이터베이스로부터 관련 수정 가능한 비디오들의 리스트를 선택하는 단계를 포함할 수 있다. 데이터베이스는 수정 가능한 비디오들을 저장하도록 구성되고, 수정 가능한 비디오들은 미리 설정된 텍스트 메시지들, 텍스트 애니메이션의 미리 설정된 스타일들, 및 미리 설정된 사운드트랙들과 연관된다. 일부 실시예들에서, 관련 수정 가능한 비디오들의 리스트는 데이터베이스에서, 맞춤형 텍스트 메시지에 의미상 가까운 미리 설정된 텍스트 메시지들을 갖는 수정 가능한 비디오들을 검색함으로써 결정될 수 있다.
블록(620)에서, 방법(600)은 관련 수정 가능한 비디오들에서의 미리 설정된 텍스트 메시지들을 맞춤형 메시지로 대체하는 단계를 포함한다. 관련 수정 가능한 비디오들에서의 텍스트 애니메이션의 미리 설정된 스타일은 블록(610)에서 선택된 텍스트 애니메이션의 스타일로 대체될 수 있다. 관련 수정 가능한 비디오들에서의 미리 설정된 사운드트랙들은 선택된 사운드트랙으로 대체될 수 있다.
블록(625)에서, 방법(600)은 사용자에 의해 보고 선택하기 위해 관련 수정 가능한 비디오들의 리스트를 렌더링하는 단계를 포함한다. 사용자의 맞춤형 텍스트 메시지 및 수정된 셀피는 관련 수정 가능한 비디오들에서 디스플레이된다. 방법(600)은 데이터베이스에서 관련 수정 가능한 비디오들을 검색하기 위한 검색 스트링을 입력하는 옵션을 사용자에게 제공하는 단계를 더 포함할 수 있다. 검색 스트링은 맞춤형 텍스트 메시지로 미리 채워질 수 있다. 사용자가 검색 스트링에서 맞춤형 텍스트 메시지를 수정했다는 표시를 수신할 시에, 방법(600)은 수정된 맞춤형 텍스트 메시지에 기초하여, 관련 수정 가능한 비디오들의 리스트를 업데이트하는 단계를 포함할 수 있다.
사용자가 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신할 시에, 방법(600)은 맥락, 맞춤형 텍스트 메시지, 관련 수정 가능한 비디오들의 리스트, 및 선택된 수정 가능한 비디오에 관한 정보를 통계 로그 내로 저장할 수 있다.
사용자가 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신할 시에, 방법(600)은 선택된 수정 가능한 비디오에서 텍스트 애니메이션의 스타일 및 맞춤형 사운드트랙을 수정하는 옵션들을 사용자에게 제공하는 단계를 포함할 수 있다. 방법(600)은 사용자가 선택된 수정 가능한 비디오에서 텍스트 애니메이션의 선택된 스타일을 수정했다는 표시를 수신하는 단계, 및 표시에 응답하여, 맥락 및 텍스트 애니메이션의 수정된 선택된 스타일에 관한 정보를 통계 로그 내로 저장하는 단계를 포함할 수 있다. 방법(600)은 통계 로그 내의 이력 데이터에 기초하여, 텍스트 애니메이션들의 스타일들의 리스트로부터 텍스트 애니메이션의 스타일을 선택하기 위한 알고리즘을 조정할 수 있다.
도 7은 본원에 설명된 방법들을 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 시스템(700)을 예시한다. 컴퓨팅 시스템(700)은 MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위해 PCD들(105 및 110), MSS(130), MMA(160), 및 시스템(300)과 같은 맥락들에서 구현될 수 있다.
도 7에 도시된 바와 같이, 컴퓨팅 시스템(700)의 하드웨어 구성요소들은 하나 이상의 프로세서(710) 및 메모리(720)를 포함할 수 있다. 메모리(720)는 프로세서(710)에 의한 실행을 위해 명령어들 및 데이터를 부분적으로 저장한다. 메모리(720)는 시스템(700)이 동작 중일 때 실행가능 코드를 저장할 수 있다. 시스템(700)은 선택적인 대량 저장 디바이스(730), 선택적인 휴대용 저장 매체 드라이브(들)(740), 하나 이상의 선택적인 출력 디바이스(750), 하나 이상의 선택적인 입력 디바이스(760), 선택적인 네트워크 인터페이스(770), 및 하나 이상의 선택적인 주변 디바이스(780)를 더 포함할 수 있다. 컴퓨팅 시스템(700)은 또한 하나 이상의 소프트웨어 구성요소(795)(예를 들어, 본원에 설명된 바와 같이 개인화된 비디오들을 제공하기 위한 방법을 구현할 수 있는 것들)을 포함할 수 있다.
도 7에 도시된 구성요소들은 단일 버스(790)를 통해 연결된 것으로 도시된다. 구성요소들은 하나 이상의 데이터 전송 수단 또는 데이터 네트워크를 통해 연결될 수 있다. 프로세서(710) 및 메모리(720)는 로컬 마이크로프로세서 버스를 통해 연결될 수 있고, 대량 저장 디바이스(730), 주변 디바이스(들)(780), 휴대용 저장 디바이스(740), 및 네트워크 인터페이스(770)는 하나 이상의 입력/출력(I/O) 버스를 통해 연결될 수 있다.
자기 디스크 드라이브, 고체 상태 디스크 드라이브, 또는 광 디스크 드라이브로 구현될 수 있는 대량 저장 디바이스(730)는 프로세서(710)에 의한 사용을 위해 데이터 및 명령어들을 저장하기 위한 비휘발성 저장 디바이스이다. 대량 저장 디바이스(730)는 본원에 설명된 실시예들을 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 구성요소들(795))를 저장할 수 있다.
휴대용 저장 매체 드라이브(들)(740)는 컴퓨팅 시스템(700)으로 그리고 컴퓨팅 시스템으로부터 데이터 및 코드를 입력하고 출력하기 위해, 콤팩트 디스크(CD) 또는 디지털 비디오 디스크(DVD)와 같은, 휴대용 비휘발성 저장 매체와 함께 동작한다. 본원에 설명된 실시예들을 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 구성요소들(795))은 그러한 휴대용 매체 상에 저장되고 휴대용 저장 매체 드라이브(들)(740)를 통해 컴퓨팅 시스템(700)에 입력될 수 있다.
선택적인 입력 디바이스들(760)은 사용자 인터페이스의 일부를 제공한다. 입력 디바이스들(760)은 영숫자 및 다른 정보를 입력하기 위한, 키보드와 같은 영숫자 키패드, 또는 마우스, 트랙볼, 스타일러스, 또는 커서 방향 키들과 같은, 포인팅 디바이스를 포함할 수 있다. 입력 디바이스들(760)은 또한 카메라 또는 스캐너를 포함할 수 있다. 추가적으로, 도 7에 도시된 바와 같은 시스템(700)은 선택적인 출력 디바이스들(750)을 포함한다. 적절한 출력 디바이스들은 스피커들, 프린터들, 네트워크 인터페이스들, 및 모니터들을 포함한다.
네트워크 인터페이스(770)는 특히, 예를 들어, 인터넷, 인트라넷, LAN, WAN, 휴대 전화 네트워크들, 블루투스 라디오, 및 IEEE 802.11 기반 무선 주파수 네트워크를 포함하는 하나 이상의 유선, 무선, 또는 광 네트워크와 같은 하나 이상의 통신 네트워크을 통해 외부 디바이스들, 외부 컴퓨팅 디바이스들, 서버들, 및 네트워킹된 시스템들과 통신하기 위해 이용될 수 있다. 네트워크 인터페이스(770)는 정보를 송신하고 수신할 수 있는 이더넷 카드, 광 송수신기, 무선 주파수 송수신기, 또는 임의의 다른 유형의 디바이스와 같은, 네트워크 인터페이스 카드일 수 있다. 선택적인 주변장치들(780)은 추가적인 기능성을 컴퓨터 시스템에 추가하기 위해 임의의 유형의 컴퓨터 지원 디바이스를 포함할 수 있다.
컴퓨팅 시스템(700)에 포함된 구성요소들은 컴퓨터 구성요소들의 넓은 카테고리를 나타내는 것으로 의도된다. 따라서, 컴퓨팅 시스템(700)은 서버, 개인용 컴퓨터, 핸드헬드 컴퓨팅 디바이스, 전화, 이동 컴퓨팅 디바이스, 워크스테이션, 미니컴퓨터, 메인프레임 컴퓨터, 네트워크 노드, 또는 임의의 다른 컴퓨팅 디바이스일 수 있다. 컴퓨팅 시스템(700)은 또한 상이한 버스 구성들, 네트워킹된 플랫폼들, 멀티프로세서 플랫폼들 등을 포함할 수 있다. 유닉스, 리눅스, 윈도우즈, 매킨토시 OS, 팜 OS, 및 다른 적절한 운영 시스템들을 포함하는 다양한 운영 시스템들(OS)이 사용될 수 있다.
전술된 기능들의 일부는 저장 매체들(예를 들어, 컴퓨터 판독가능 매체 또는 프로세서 판독가능 매체) 상에 저장되는 명령어들로 구성될 수 있다. 명령어들은 프로세서에 의해 검색되고 실행될 수 있다. 저장 매체들의 일부 예들은 메모리 디바이스들, 테이프들, 디스크들 등이다. 명령어들은 본 개시에 따라 동작하도록 프로세서에 명령하기 위해 프로세서에 의해 실행될 때 동작적이다. 통상의 기술자들은 명령어들, 프로세서(들), 및 저장 매체들에 익숙하다.
본원에 설명된 처리를 수행하는 데 적절한 임의의 하드웨어 플랫폼은 본 개시와의 사용에 적절할 가치가 있다. 본원에 사용된 바와 같은 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 저장 매체들"라는 용어들은 실행을 위해 명령어들을 프로세서에 제공하는 것에 참여하는 임의의 매체 또는 매체들을 지칭한다. 그러한 매체들은 비휘발성 매체들, 휘발성 매체들, 및 전송 매체들을 포함하지만, 이들에 제한되지 않는, 많은 형태들을 취할 수 있다. 비휘발성 매체들은 예를 들어, 고정 디스크와 같은 광 또는 자기 디스크들을 포함한다. 휘발성 매체들은 시스템 랜덤 액세스 메모리(RAM)와 같은, 동적 메모리를 포함한다. 전송 매체들은 버스의 일 실시예를 포함하는 와이어들을 포함하여, 특히, 동축 케이블들, 구리 와이어, 및 광섬유들을 포함한다. 전송 매체들은 또한 무선 주파수(RF) 및 적외선(IR) 데이터 통신들 동안 발생되는 것들과 같은, 광 파들 또는 음향의 형태를 취할 수 있다. 공통적인 형태들의 컴퓨터 판독가능 매체들은 예를 들어, 플로피 디스크, 유연성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD 판독 전용 메모리(ROM) 디스크, DVD, 임의의 다른 광 매체, 마크들 또는 구멍들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, EEPROM, 임의의 다른 메모리 칩 또는 카트리지, 반송파, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터 판독가능 매체들은 실행을 위해 하나 이상의 명령어의 하나 이상의 시퀀스를 프로세서에 운반하는 것에 수반될 수 있다. 버스는 데이터를 시스템 RAM으로 운반하며, 이로부터 프로세서는 명령어들을 검색하고 실행한다. 시스템 프로세서에 의해 수신되는 명령어들은 선택적으로 프로세서에 의한 실행 전 또는 후에 고정 디스크 상에 저장될 수 있다.
따라서, MMA들의 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법들 및 시스템들이 설명되었다. 실시예들이 특정 예시적인 실시예들을 참조하여 설명되었지만, 다양한 수정들 및 변경들이 본 출원의 더 넓은 사상 및 범위로부터 벗어나지 않고 이들 예시적인 실시예들에 이루어질 수 있는 것은 분명할 것이다. 따라서, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 시스템으로서, 상기 시스템은 적어도 하나의 프로세서 및 프로세서 실행 가능 코드들을 저장하는 메모리를 포함하며, 상기 메모리에는 멀티미디어 메시징 애플리케이션(MMA)이 포함되고, 상기 시스템은 상기 멀티미디어 메시징 애플리케이션에 통합되며, 상기 시스템은 맥락 결정 모듈, 릴 검색 모듈, 개인화된 비디오 발생 모듈을 포함하고,
    상기 적어도 하나의 프로세서는 상기 프로세서 실행 가능 코드들을 실행할 시에 이하의 동작들, 즉
    상기 맥락 결정 모듈에 의해 최근 메시지들의 맥락을 결정하기 위해 멀티미디어 메시징 애플리케이션에서 사용자의 최근 메시지들을 분석하는 것;
    상기 맥락 결정 모듈에 의해 상기 맥락에 기초하여, 맞춤형 텍스트 메시지를 결정하는 것;
    상기 릴 검색 모듈에 의해 상기 맥락에 기초하여, 수정 가능한 비디오들을 저장하도록 구성된 데이터베이스로부터 관련 수정 가능한 비디오들의 리스트를 선택하는 동작으로서, 상기 수정 가능한 비디오들은 미리 설정된 텍스트 메시지들과 연관되는 동작;
    상기 릴 검색 모듈에 의해 상기 관련 수정 가능한 비디오들에서의 미리 설정된 텍스트 메시지들을 상기 맞춤형 텍스트 메시지로 대체하는 것; 및
    상기 개인화된 비디오 발생 모듈에 의해 상기 사용자에 의해 보고 선택하기 위해 상기 관련 수정 가능한 비디오들의 리스트를 렌더링하는 동작을 구현하도록 구성되며, 상기 렌더링하는 동작은 상기 관련 수정 가능한 비디오들에서 상기 맞춤형 텍스트 메시지를 디스플레이하는 것을 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 데이터베이스에서 상기 관련 수정 가능한 비디오들을 검색하기 위한 검색 스트링을 입력하는 옵션을 상기 사용자에게 제공하는 것; 및
    상기 검색 스트링을 상기 맞춤형 텍스트 메시지로 미리 채우는 것을 더 포함하는, 시스템.
  3. 제2항에 있어서,
    상기 사용자가 상기 검색 스트링에서 상기 맞춤형 텍스트 메시지를 수정했다는 표시를 수신하는 것; 및
    상기 표시에 응답하여, 상기 수정된 맞춤형 텍스트 메시지에 기초하여, 상기 관련 수정 가능한 비디오들의 리스트를 업데이트하는 것을 더 포함하는, 시스템.
  4. 제1항에 있어서,
    상기 사용자가 상기 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신하는 것; 및
    상기 맥락, 상기 맞춤형 텍스트 메시지, 상기 관련 수정 가능한 비디오들의 리스트, 및 상기 선택된 수정 가능한 비디오에 관한 정보를 통계 로그로 저장하는 것을 더 포함하는, 시스템.
  5. 제4항에 있어서, 상기 맞춤형 텍스트 메시지는 상기 통계 로그로부터의 이력 데이터에 기초하여 머신 러닝 모델에 의해 결정되는, 시스템.
  6. 제1항에 있어서,
    상기 최근 메시지들에 기초하여, 상기 사용자의 감정 상태를 결정하는 것;
    상기 감정 상태에 기초하여, 텍스트 애니메이션들의 스타일들의 리스트로부터 텍스트 애니메이션의 스타일을 선택하는 것; 및
    상기 관련 수정 가능한 비디오들에서의 텍스트 애니메이션의 미리 설정된 스타일을 상기 텍스트 애니메이션의 선택된 스타일로 대체하는 것을 더 포함하며, 상기 관련 수정 가능한 비디오들은 상기 텍스트 애니메이션의 미리 설정된 스타일과 연관되는, 시스템.
  7. 제6항에 있어서,
    상기 사용자가 상기 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신하는 것; 및
    상기 선택된 수정 가능한 비디오에서 상기 텍스트 애니메이션의 선택된 스타일을 수정하는 옵션을 상기 사용자에게 제공하는 것을 더 포함하는, 시스템.
  8. 제7항에 있어서,
    상기 사용자가 상기 선택된 수정 가능한 비디오에서 상기 텍스트 애니메이션의 선택된 스타일을 수정했다는 표시를 수신하는 것;
    상기 맥락 및 상기 텍스트 애니메이션의 수정된 선택된 스타일에 관한 정보를 통계 로그로 저장하는 것; 및
    상기 통계 로그 내의 이력 데이터에 기초하여, 상기 텍스트 애니메이션들의 스타일들의 리스트로부터 상기 텍스트 애니메이션의 스타일을 선택하기 위한 알고리즘을 조정하는 것을 더 포함하는, 시스템.
  9. 제1항에 있어서,
    상기 맞춤형 텍스트 메시지에 기초하여, 사운드트랙들의 라이브러리로부터 사운드트랙을 선택하는 것; 및
    상기 관련 수정 가능한 비디오들에서의 미리 설정된 사운드트랙들을 상기 선택된 사운드트랙으로 대체하는 것을 더 포함하며, 상기 관련 수정 가능한 비디오들은 상기 미리 설정된 사운드트랙들과 연관되는, 시스템.
  10. 제1항에 있어서,
    상기 최근 메시지들에 기초하여, 상기 사용자의 감정 상태를 결정하는 것;
    상기 감정 상태에 기초하여, 헤어스타일들의 리스트로부터 헤어스타일을 선택하는 것; 및
    상기 사용자의 셀피를 수정하기 위해 상기 헤어스타일을 상기 사용자의 상기 셀피 내의 헤어의 이미지에 적용하는 것을 더 포함하고, 상기 렌더링하는 것은 상기 관련 수정 가능한 비디오들에서 상기 사용자의 수정된 셀피를 디스플레이하는 것을 포함하는, 시스템.
  11. 멀티미디어 메시징 애플리케이션에 통합되며, 맥락 결정 모듈, 릴 검색 모듈, 개인화된 비디오 발생 모듈을 포함하는 시스템에서 수정 가능한 비디오들에서 텍스트 메시지들을 맞춤화하기 위한 방법으로서, 상기 방법은,
    상기 맥락 결정 모듈에서 최근 메시지들의 맥락을 결정하기 위해 멀티미디어 메시징 애플리케이션에서 사용자의 최근 메시지들을 분석하는 단계;
    상기 맥락 결정 모듈에서 상기 맥락에 기초하여, 맞춤형 텍스트 메시지를 결정하는 단계;
    상기 릴 검색 모듈에서 상기 맥락에 기초하여, 수정 가능한 비디오들을 저장하도록 구성된 데이터베이스로부터 관련 수정 가능한 비디오들의 리스트를 선택하는 단계로서, 상기 수정 가능한 비디오들은 미리 설정된 텍스트 메시지들과 연관되는 단계;
    상기 릴 검색 모듈에서 상기 관련 수정 가능한 비디오들에서의 미리 설정된 텍스트 메시지들을 상기 맞춤형 텍스트 메시지로 대체하는 단계; 및
    상기 개인화된 비디오 발생 모듈에서 상기 사용자에 의해 보고 선택하기 위해 상기 관련 수정 가능한 비디오들의 리스트를 렌더링하는 단계를 포함하며, 상기 렌더링하는 단계는 상기 관련 수정 가능한 비디오들에서 상기 맞춤형 텍스트 메시지를 디스플레이하는 단계를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 데이터베이스에서 상기 관련 수정 가능한 비디오들을 검색하기 위한 검색 스트링을 입력하는 옵션을 상기 사용자에게 제공하는 단계; 및
    상기 검색 스트링을 상기 맞춤형 텍스트 메시지로 미리 채우는 단계를 더 포함하는, 방법.
  13. 제12항에 있어서,
    상기 사용자가 상기 검색 스트링에서 상기 맞춤형 텍스트 메시지를 수정했다는 표시를 수신하는 단계; 및
    상기 표시에 응답하여, 상기 수정된 맞춤형 텍스트 메시지에 기초하여, 상기 관련 수정 가능한 비디오들의 리스트를 업데이트하는 단계를 더 포함하는, 방법.
  14. 제11항에 있어서,
    상기 사용자가 상기 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신하는 단계; 및
    상기 맥락, 상기 맞춤형 텍스트 메시지, 상기 관련 수정 가능한 비디오들의 리스트, 및 상기 선택된 수정 가능한 비디오에 관한 정보를 통계 로그로 저장하는 단계를 더 포함하는, 방법.
  15. 제14항에 있어서, 상기 맞춤형 텍스트 메시지는 상기 통계 로그의 이력 데이터에 기초하여 머신 러닝 모델에 의해 결정되는, 방법.
  16. 제11항에 있어서,
    상기 최근 메시지들에 기초하여, 상기 사용자의 감정 상태를 결정하는 단계;
    상기 감정 상태에 기초하여, 텍스트 애니메이션들의 스타일들의 리스트로부터 텍스트 애니메이션의 스타일을 선택하는 단계; 및
    상기 관련 수정 가능한 비디오들에서의 텍스트 애니메이션의 미리 설정된 스타일을 상기 텍스트 애니메이션의 선택된 스타일로 대체하는 단계를 더 포함하며, 상기 관련 수정 가능한 비디오들은 상기 텍스트 애니메이션의 미리 설정된 스타일과 연관되는, 방법.
  17. 제16항에 있어서,
    상기 사용자가 상기 수정 가능한 비디오들의 리스트로부터 수정 가능한 비디오를 선택했다는 표시를 수신하는 단계; 및
    상기 선택된 수정 가능한 비디오에서 상기 텍스트 애니메이션의 선택된 스타일을 수정하는 옵션을 상기 사용자에게 제공하는 단계를 더 포함하는, 방법.
  18. 제17항에 있어서,
    상기 사용자가 상기 선택된 수정 가능한 비디오에서 상기 텍스트 애니메이션의 선택된 스타일을 수정했다는 표시를 수신하는 단계;
    상기 맥락 및 상기 텍스트 애니메이션의 수정된 선택된 스타일에 관한 정보를 통계 로그로 저장하는 단계; 및
    상기 통계 로그 내의 이력 데이터에 기초하여, 상기 텍스트 애니메이션들의 스타일들의 리스트로부터 상기 텍스트 애니메이션의 스타일을 선택하기 위한 알고리즘을 조정하는 단계를 더 포함하는, 방법.
  19. 제11항에 있어서,
    상기 맞춤형 텍스트 메시지에 기초하여, 사운드트랙들의 라이브러리로부터 사운드트랙을 선택하는 단계;
    상기 관련 수정 가능한 비디오들에서의 미리 설정된 사운드트랙들을 상기 선택된 사운드트랙으로 대체하는 단계로서, 상기 관련 수정 가능한 비디오들은 상기 미리 설정된 사운드트랙들과 연관되는 단계;
    상기 최근 메시지들에 기초하여, 상기 사용자의 감정 상태를 결정하는 단계;
    상기 감정 상태에 기초하여, 헤어스타일들의 리스트로부터 헤어스타일을 선택하는 단계; 및
    상기 사용자의 셀피를 수정하기 위해 상기 헤어스타일을 상기 사용자의 상기 셀피 내의 헤어의 이미지에 적용하는 단계를 더 포함하고, 상기 렌더링하는 단계는 상기 관련 수정 가능한 비디오들에서 상기 사용자의 수정된 셀피를 디스플레이하는 단계를 포함하는, 방법.
  20. 명령어들을 저장하는 비일시적 프로세서 판독가능 매체로서, 상기 비일시적 프로세서 판독가능 매체에는 멀티미디어 메시징 애플리케이션(MMA)이 포함되고, 시스템은 상기 멀티미디어 메시징 애플리케이션에 통합되며, 상기 시스템은 맥락 결정 모듈, 릴 검색 모듈, 개인화된 비디오 발생 모듈을 포함하고, 상기 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 수정 가능한 비디오들에서 메시지들을 맞춤화하기 위한 텍스트 방법을 구현하게 하며, 상기 방법은,
    상기 맥락 결정 모듈에서 최근 메시지들의 맥락을 결정하기 위해 멀티미디어 메시징 애플리케이션에서 사용자의 최근 메시지들을 분석하는 단계;
    상기 맥락 결정 모듈에서 상기 맥락에 기초하여, 맞춤형 텍스트 메시지를 결정하는 단계;
    상기 릴 검색 모듈에서 상기 맥락에 기초하여, 수정 가능한 비디오들을 저장하도록 구성된 데이터베이스로부터 관련 수정 가능한 비디오들의 리스트를 선택하는 단계로서, 상기 수정 가능한 비디오들은 미리 설정된 텍스트 메시지들과 연관되는 단계;
    상기 릴 검색 모듈에서 상기 관련 수정 가능한 비디오들에서의 미리 설정된 텍스트 메시지들을 상기 맞춤형 텍스트 메시지로 대체하는 단계; 및
    상기 개인화된 비디오 발생 모듈에서 상기 사용자에 의해 보고 선택하기 위해 상기 관련 수정 가능한 비디오들의 리스트를 렌더링하는 단계를 포함하며, 상기 렌더링하는 단계는 상기 관련 수정 가능한 비디오들에서 상기 맞춤형 텍스트 메시지를 디스플레이하는 단계를 포함하는, 비일시적 프로세서 판독가능 매체.
KR1020227044742A 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화 KR102656497B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247011326A KR20240052065A (ko) 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/878,868 US11212383B2 (en) 2020-05-20 2020-05-20 Customizing text messages in modifiable videos of multimedia messaging application
US16/878,868 2020-05-20
PCT/US2021/028559 WO2021236287A1 (en) 2020-05-20 2021-04-22 Customizing text messages in modifiable videos of multimedia messaging application

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247011326A Division KR20240052065A (ko) 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화

Publications (2)

Publication Number Publication Date
KR20230026344A KR20230026344A (ko) 2023-02-24
KR102656497B1 true KR102656497B1 (ko) 2024-04-12

Family

ID=75954257

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247011326A KR20240052065A (ko) 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화
KR1020227044742A KR102656497B1 (ko) 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247011326A KR20240052065A (ko) 2020-05-20 2021-04-22 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화

Country Status (5)

Country Link
US (3) US11212383B2 (ko)
EP (1) EP4154548A1 (ko)
KR (2) KR20240052065A (ko)
CN (1) CN115606191A (ko)
WO (1) WO2021236287A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
US11924153B2 (en) * 2020-12-31 2024-03-05 Snap Inc. Messaging user interface element with reminders
CN112866798B (zh) * 2020-12-31 2023-05-05 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334067A1 (en) * 2012-12-21 2015-11-19 Gnotech Llc Messaging providing graphical and audible features
US20170193280A1 (en) * 2015-09-22 2017-07-06 Tenor, Inc. Automated effects generation for animated content
US20170286366A1 (en) * 2016-03-31 2017-10-05 Google Inc. Smart variable expressive text or graphics for electronic communications
US20180268595A1 (en) * 2017-03-20 2018-09-20 Google Llc Generating cartoon images from photos

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801327B1 (ko) * 2011-07-29 2017-11-27 삼성전자주식회사 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8868590B1 (en) * 2011-11-17 2014-10-21 Sri International Method and system utilizing a personalized user model to develop a search request
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US20140085334A1 (en) * 2012-09-26 2014-03-27 Apple Inc. Transparent Texting
CN112102824A (zh) * 2014-06-06 2020-12-18 谷歌有限责任公司 基于环境的主动聊天信息系统
US10212111B2 (en) 2014-09-12 2019-02-19 Google Llc System and interface that facilitate selecting videos to share in a messaging application
WO2016189350A1 (en) * 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US20170147202A1 (en) * 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US11783524B2 (en) * 2016-02-10 2023-10-10 Nitin Vats Producing realistic talking face with expression using images text and voice
US9832308B1 (en) * 2016-05-12 2017-11-28 Google Inc. Caller preview data and call messages based on caller preview data
US10257127B2 (en) * 2016-08-09 2019-04-09 Microsoft Technology Licensing, Llc Email personalization
US10528801B2 (en) * 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
KR20180095197A (ko) * 2017-02-17 2018-08-27 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180103547A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 제어방법
US10706271B2 (en) * 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
US11113719B2 (en) * 2018-09-17 2021-09-07 International Business Machines Corporation Content demotion
US11308677B2 (en) * 2019-01-18 2022-04-19 Snap Inc. Generating personalized videos with customized text messages
US11202131B2 (en) * 2019-03-10 2021-12-14 Vidubly Ltd Maintaining original volume changes of a character in revoiced media stream
US10940396B2 (en) * 2019-03-20 2021-03-09 Electronic Arts Inc. Example chat message toxicity assessment process
US11594255B2 (en) * 2019-04-18 2023-02-28 Kristin Fahy Systems and methods for automated generation of video
CN110968204A (zh) 2019-09-29 2020-04-07 上海萌家网络科技有限公司 一种输入法及其系统
US11295497B2 (en) * 2019-11-25 2022-04-05 International Business Machines Corporation Dynamic subtitle enhancement
US20210224319A1 (en) * 2019-12-28 2021-07-22 Ben Avi Ingel Artificially generating audio data from textual information and rhythm information
US11593984B2 (en) * 2020-02-07 2023-02-28 Apple Inc. Using text for avatar animation
US10943371B1 (en) * 2020-03-31 2021-03-09 Snap Inc. Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334067A1 (en) * 2012-12-21 2015-11-19 Gnotech Llc Messaging providing graphical and audible features
US20170193280A1 (en) * 2015-09-22 2017-07-06 Tenor, Inc. Automated effects generation for animated content
US20170286366A1 (en) * 2016-03-31 2017-10-05 Google Inc. Smart variable expressive text or graphics for electronic communications
US20180268595A1 (en) * 2017-03-20 2018-09-20 Google Llc Generating cartoon images from photos

Also Published As

Publication number Publication date
US11212383B2 (en) 2021-12-28
US11895260B2 (en) 2024-02-06
US20210368039A1 (en) 2021-11-25
KR20240052065A (ko) 2024-04-22
EP4154548A1 (en) 2023-03-29
US20240089364A1 (en) 2024-03-14
KR20230026344A (ko) 2023-02-24
US20220070291A1 (en) 2022-03-03
CN115606191A (zh) 2023-01-13
WO2021236287A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
KR102656497B1 (ko) 멀티미디어 메시징 애플리케이션의 수정 가능한 비디오들에서의 텍스트 메시지들의 맞춤화
JP2022525272A (ja) 選択的な動きの描画を伴う画像表示
US11393134B2 (en) Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
US11842433B2 (en) Generating personalized videos with customized text messages
WO2020150693A1 (en) Systems and methods for generating personalized videos with customized text messages
US20230259556A1 (en) Searching and ranking personalized videos
US20230154084A1 (en) Messaging system with augmented reality makeup
US20220328070A1 (en) Method and Apparatus for Generating Video
KR20230019821A (ko) 멀티미디어 메시징 애플리케이션에서의 수정 가능한 동영상 검색 및 순위 지정

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right