KR20190088503A - 이미지 변경자들의 스마트 캐러셀 - Google Patents

이미지 변경자들의 스마트 캐러셀 Download PDF

Info

Publication number
KR20190088503A
KR20190088503A KR1020197017974A KR20197017974A KR20190088503A KR 20190088503 A KR20190088503 A KR 20190088503A KR 1020197017974 A KR1020197017974 A KR 1020197017974A KR 20197017974 A KR20197017974 A KR 20197017974A KR 20190088503 A KR20190088503 A KR 20190088503A
Authority
KR
South Korea
Prior art keywords
media
modifier
image
content item
carousel
Prior art date
Application number
KR1020197017974A
Other languages
English (en)
Other versions
KR102263125B1 (ko
Inventor
사미르 아메드
파나즈 아즈무데
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20190088503A publication Critical patent/KR20190088503A/ko
Application granted granted Critical
Publication of KR102263125B1 publication Critical patent/KR102263125B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H04N21/4349—Demultiplexing of additional data and video streams by extracting from data carousels, e.g. extraction of software modules from a DVB carousel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시내용의 실시예들은 일반적으로 사용자 인터페이스들 내의 사용자 선택가능한 피처들의 자동화된 조직화 및 프리젠테이션을 위한 기술에 관한 것이다. 제한으로서가 아니라, 더 구체적으로, 본 개시내용은 미디어 콘텐츠 항목들을 디스플레이하는 사용자 인터페이스들 내의 필터들을 프리젠팅하고 액세스하기 위한 시스템들 및 방법들을 다룬다.

Description

이미지 변경자들의 스마트 캐러셀
우선권 주장
본 출원은, 그 전체 내용이 참조로 본 명세서에 포함되는, 2016년 11월 22일 출원된 미국 가특허 출원 제62/425,500호의 우선권을 주장하는 2017년 6월 19일 출원된 미국 특허 출원 제15/626,418호의 우선권을 주장한다.
기술분야
본 개시내용의 실시예들은 일반적으로 사용자 인터페이스들 내의 사용자 선택가능한 피처들의 자동화된 조직 및 프리젠테이션을 위한 기술들에 관한 것이다. 제한으로서가 아니라, 더 구체적으로는, 본 개시내용은, 미디어 콘텐츠 항목들을 디스플레이하는 사용자 인터페이스들 내의 필터들을 프리젠팅하고 액세스하기 위한 시스템들 및 방법들을 다룬다.
전자 메시징, 특히 인스턴트 메시징의 인기는 계속 커지고 있다. 메시징 애플리케이션 및 디바이스는, 텍스트, 이미지, 사운드 녹음, 또는 비디오 녹화 등의 다양한 매체를 이용하여 복수의 사용자 사이에서 통신을 제공할 수 있다. 예를 들어, 화상 채팅은, 2명 이상의 개인이 소프트웨어 애플리케이션, 디바이스, 및 네트워크의 조합을 이용하여 사진 이미지 및/또는 비디오를 통신하는 것을 허용한다.
전자 메시징에 사용되는 많은 디바이스들은 스마트폰, 태블릿, 및 다른 웨어러블과 같은 휴대용 통신 디바이스들로서 구현된다. 이러한 디바이스들은 최신 컴퓨터 모니터에 비해 비교적 작은 화면 크기에 의해 제약될 수 있다. 애플리케이션 개발자들은 제한된 화면 공간 내에서 애플리케이션 피처들에 대한 충분한 액세스를 제공하는 것과 시각적으로 즐거운 경험을 조화시킨 사용자 인터페이스들을 설계하려고 한다. 따라서, 본 기술분야에서는 사용자 인터페이스들 내에서 사용자 선택가능한 피처들의 조직화 및 프리젠테이션을 향상시킬 필요성이 여전히 존재한다.
첨부된 도면들 중 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안된다.
도 1은 일부 예시적인 실시예들에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른 이미지 캡처 시스템을 나타내는 도면이다.
도 3은 예시적인 실시예들에 따른, 이미지 캡처 시스템에 관한 추가의 상세들을 나타내는 블록도이다.
도 4는 다양한 예시적인 실시예들에 따른 메시징 서버 시스템의 데이터베이스 내에 저장될 수 있는 데이터를 나타내는 개략도이다.
도 5는 일부 예시적인 실시예들에 따라 복수의 이미지 변경자 세트로부터의 이미지 변경자를 사용자 인터페이스 내에 프리젠팅하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 7은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 8은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 9는 몇몇 실시예들에 따른 동작 중인 이미지 캡처 디바이스에 의해 이용되는 예시적인 기본 점수 배열을 나타내는 테이블이다.
도 10은 몇몇 실시예들에서 동작 중인 이미지 캡처 디바이스에 의해 이용되는 예시적인 디폴트 점수 배열을 나타내는 테이블(1000)이다.
도 11은 일부 예시적인 실시예들에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시한 사용자 인터페이스 도면이다.
도 12는 일부 예시적인 실시예에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 나타내는 블록도이다.
도 13은 예시적인 실시예에 따라, 머신으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 개략적 표현을 제시하는 블록도이다.
본 명세서에서 제공된 서두는 단지 편의를 위한 것이며 사용된 용어들의 범위 또는 의미에 반드시 영향을 주는 것은 아니다.
이하의 설명은 본 개시내용의 예시적인 실시예들을 구현하는 시스템, 방법, 기술, 명령어 시퀀스, 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서, 설명의 목적을 위해, 많은 구체적인 상세사항이 본 발명의 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 널리 공지된 명령어 인스턴스, 프로토콜, 구조 및 기술은 반드시 상세하게 도시되지는 않는다.
본 개시내용의 실시예들은 전자 메시징 및 이미징 소프트웨어 및 시스템의 기능의 향상에 관한 것이다. 제한이 아닌 일부 실시예들에서, 본 개시내용은 컴퓨팅 디바이스들에 대한 이미지 변경자들(본 명세서에서 필터들 또는 미디어 오버레이들로도 지칭됨)의 우선순위화된 전달을 위한 기술들을 다루며, 우선순위화된 전달은 때로는 컴퓨팅 디바이스들이 입수할 수 있는 이미지 변경자들의 서브세트의 전달을 제한함으로써 컴퓨팅 디바이스들 상의 공간을 보존한다. 우선순위화된 전달은 또한 때로는 더 자주 사용되도록 의도된 이미지 변경자들의 서브세트를 컴퓨팅 디바이스들에 전달함으로써 사용자 경험을 향상시킨다. 제한이 아닌 일부 실시예들에서, 본 개시내용은 컴퓨팅 디바이스들의 사용자 인터페이스들 내에서의 이미지 변경자들의 최적화된 프리젠테이션을 위한 기술을 다루며, 최적화된 프리젠테이션은 때로는 더 자주 사용되도록 의도된 이미지 변경자들의 프리젠테이션에 의해 컴퓨팅 디바이스들을 이용한 사용자 경험을 향상시킨다.
무엇보다도, 본 개시내용의 실시예들은 컴퓨팅 디바이스에서 사용하기 위한 이미지 변경자들의 우선순위화된 전달 및 조직화된 프리젠테이션을 가능하게 한다. 예를 들어, 이미지 변경자들은 이미지 캡처 디바이스(예를 들어, 디지털 카메라)에 의해 생성된 미디어 콘텐츠(예를 들어, 이미지 및/또는 비디오)와 함께 디스플레이될 수 있다. 일부 실시예들에서, 사용자가 카메라 뷰(예를 들어, 이미지 캡처 디바이스의 시야를 캡처하는 이미지) 상의 사용자 인터페이스 내에서 스와이프하여 이미지 변경자(예를 들어, 이미지 필터, 디지털 렌즈, 미디어 오버레이, 또는 애드온 그래픽 요소들의 세트)를 활성화할 때, 제1 이미지 변경자가 식별되고 사용자에게 프리젠팅된다.
제1 이미지 변경자는 이미지 변경자 세트 내에서의 순위지정(ranking)에 따라, 그리고 이미지 변경자 세트의 순위지정에 따라 선택될 수 있다. 제1 이미지 변경자는 지정된 변경자 범주 내의 다른 이미지 변경자들 사이의 순위지정에 따라, 다른 범주들의 다른 이미지 변경자들에 걸친 순위지정에 따라, 또는 이들의 조합에 따라 식별될 수 있다. 이미지 변경자 세트 내의 나머지 이미지 변경자들은 또한 변경자 캐러셀 내의 프리젠테이션을 위해 식별될 수 있다. 이러한 실시예들에서, 사용자 상호작용은 사용자에 의한 이미지 변경자 선택의 제1 차원의 해석이다. 예를 들어, 전방 카메라의 시야에 걸쳐 스와이프하면, "지오필터(GEOFILTER)"의 변경자 범주(예를 들어, 필터 범주)가 반환될 수 있다. 지정된 변경자 범주의 반환은 복수의 범주(예를 들어, 필터 범주, 렌즈 범주, 그래픽 요소 범주)의 순서화, 범주들 중 적어도 하나 내의 이미지 변경자들의 순서화, 또는 이들의 조합에 추가로 기초할 수 있다. 미디어 캐러셀과의 제2 사용자 상호작용은 사용자에 의한 이미지 변경자 선택의 제2 차원의 해석일 수 있다.
일부 실시예들에서, 사용자 인터페이스 내의 이미지 변경자들의 프리젠테이션은 사용자에 의해 정의될 수 있다. 사용자는 이미지 변경자를 선택하여 이미지 변경자 세트 또는 변경자 범주에 추가할 수 있다. 사용자는 범주(예를 들어, 이름 또는 디스크립션)에 관련된 세부사항들을 입력할 수 있고 순서화된 이미지 변경자 목록을 입력할 수 있다. 이미지 변경자를 목록에 추가한 후, 사용자는 이미지 변경자를 변경하거나 이동시켜, 사용자 인터페이스 내의 이미지 변경자들의 프리젠테이션에서 이미지 변경자가 나타나는 순서를 변경할 수 있다.
일부 실시예들에서, 사용자 인터페이스 내의 이미지 변경자들의 프리젠테이션은 기계 학습에 의해 정의될 수 있다. 컴퓨팅 디바이스는 이미지 변경자가 하나의 변경자 범주 또는 다른 범주에 속하는지를 학습할 수 있다. 컴퓨팅 디바이스는 범주(예를 들어, 이름 또는 디스크립션)에 관련된 이미지 변경자의 관련성 및 우선순위, 및 그것의 대응하는 이미지 변경자 목록의 순서화를 평가하기 위해 순위지정 접근법을 사용할 수 있다. 이미지 변경자를 목록에 추가한 후, 컴퓨팅 디바이스는 이미지 변경자를 변경하거나 이동시켜, 사용자 인터페이스 내의 이미지 변경자들의 프리젠테이션에 이미지 변경자가 나타나는 순서를 변경할 수 있다. 컴퓨팅 디바이스는 예를 들어 관련성이 낮거나 우선순위가 낮은 이미지 변경자들을 저장소로부터 삭제하여, 사용자 생성 콘텐츠에 이용가능한 저장소를 늘릴 수 있다. 컴퓨팅 디바이스 또는 서버는 예를 들어 관련성이 높거나 우선순위가 높은 이미지 변경자들 또는 이미지 변경자 세트들의 네트워크에 걸친 전달을 우선순위화하여, 특정 이미지 변경자들을 선택할 때 사용자 인터페이스의 응답성을 향상시킬 수 있다.
A. 소셜 메시징 클라이언트-서버 아키텍처
도 1은, 일 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 예를 들어, 네트워크 시스템(100)은 클라이언트들이 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신신호의 전송 및 수신, 지오로케이션의 결정 등) 및 양태(예를 들어, 통신 데이터의 전송, 통신 세션의 표시의 수신 및 전송 등)에 관련될 수 있다. 여기서는 클라이언트-서버 아키텍처로 예시되었지만, 다른 실시예들은 피어-투-피어 또는 분산 네트워크 환경 등의 다른 네트워크 아키텍처를 포함할 수 있다.
도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련된 컴퓨터 및 인터넷 관련 분야의 통상의 기술자에 의해 이해되는 바와 같이, 도 1에 도시된 각각의 컴포넌트 또는 엔진은, 명령어들을 실행하고, 하드웨어-구현된 컴포넌트 또는 엔진을 형성하며, 명령어들의 실행시, 특정한 세트의 기능들을 실행하도록 구성된 특별 목적 머신으로 작용하기 위한 한 세트의 실행가능한 소프트웨어 명령어들 및 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제에 대한 이해를 전달하는 것과 밀접하지 않은 다양한 기능 컴포넌트들 및 엔진은 도 1에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가적인 기능을 용이화하기 위해, 도 1에 나타낸 것 등의 추가적인 기능 컴포넌트 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1에 도시된 다양한 기능 컴포넌트들 및 엔진들은 단일의 서버 컴퓨터 또는 클라이언트 디바이스 상에 존재하거나, 다양한 배열로 수 개의 서버 컴퓨터들 또는 클라이언트 디바이스들에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처로서 도시되어 있지만, 본 발명의 주제는 결코 이러한 아키텍처로 제한되지 않는다.
도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(들)(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(들)(122)을 실행하는 제3자 서버들(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터 요청을 수신하는 인터페이스 컴포넌트들(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 컴포넌트(140)는 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 컴포넌트(140)는, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.
클라이언트 디바이스들(110)은, 다양한 모바일 컴퓨팅 디바이스들 중 임의의 것 및 모바일-특유의 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE)를 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱들"이라고도 함)을 실행할 수 있다. 또한, 일부 예시적인 실시예에서, 클라이언트 디바이스들(110)은, 이미지 캡처 시스템(160)의 컴포넌트들이 이미지 캡처 시스템(160)의 동작들에 관한 특정한 세트의 기능들을 수행하게끔 클라이언트 디바이스(110)를 구성하도록 이미지 캡처 시스템(160)의 전부 또는 일부를 형성한다. 이미지 캡처 시스템(160)의 일례는 도 2와 관련하여 추가로 설명된다. 이미지 캡처 시스템(160)의 다른 예는 도 3과 관련하여 추가로 설명된다.
일례에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(들)(112)을 실행하고 있다. 클라이언트 애플리케이션(들)(112)은, 사용자(106)에게 정보를 프리젠팅하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 또한, 일부 예에서, 클라이언트 디바이스(110)는 이미지 캡처 시스템(160)의 기능을 실행하여 비디오 스트림의 캡처 동안에 비디오 스트림의 이미지들을 세그먼트화하고, (예를 들어, 비디오 스트림의 세그먼트화된 이미지들에 기초하여 수정된 이미지 데이터와 함께) 비디오 스트림을 전송한다.
클라이언트 디바이스들(110) 각각은, 적어도 디스플레이, 및 소셜 메시징 시스템(130), 다른 클라이언트 디바이스들, 및 제3자 서버들(120)에 액세스하기 위한 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스들(110)은, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용형 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전제품, 게임 콘솔, 셋톱박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되는 것은 아니다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스들(110)과 상호작용하는 기타의 수단일 수 있다. 일부 실시예들에서, 사용자(106)는 클라이언트 디바이스들(110)을 통해 소셜 메시징 시스템(130)과 상호작용한다. 사용자(106)는 네트워킹된 환경의 일부가 아닐 수 있지만, 클라이언트 디바이스들(110)에 연관될 수 있다.
도 1에 도시된 바와 같이, 데이터 계층(128)은 정보 저장소들 또는 데이터베이스들(134)로의 액세스를 용이화하는 데이터베이스 서버들(132)을 갖는다. 데이터베이스들(134)은, 멤버 프로파일 데이터, 소셜 그래프 데이터[예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계], 이미지 수정 선호도 데이터, 및 액세스가능성 데이터, 및 기타의 사용자 데이터 등의 데이터를 저장하는 저장 디바이스이다.
개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.
애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 컴포넌트(150)를 포함하며, 애플리케이션 로직 컴포넌트(150)는, 인터페이스 컴포넌트들(140)과 연계하여, 데이터 계층(128)내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 컴포넌트(150)는, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피처들과 연관된 기능을 구현하는 데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 컴포넌트(150)로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스들(110)의 사용자가 텍스트와 사진 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 클라이언트 디바이스들(110)은 (예를 들어, 제한된 또는 무제한의) 명시된 기간 동안 소셜 메시징 애플리케이션으로부터의 메시지를 액세스하고 볼 수 있다. 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 지정된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스가능할 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스가능하지 않을 수 있다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 컴포넌트(150)에서 별개로 구현될 수 있다.
소셜 메시징 시스템(130)은, 클라이언트 디바이스(110)에 대한 캡처된 데이터를 위한 이미지 변경자들의 전달을 우선순위화할 수 있는 이미지 캡처 시스템(160)의 적어도 일부를 포함할 수 있다. 이미지 캡처 시스템(160)은 클라이언트 디바이스(110)의 사용자에 의한 이미지 변경자들의 사용을 추가로 식별하고 추적할 수 있다. 유사하게, 클라이언트 디바이스(110)는, 전술된 바와 같이, 이미지 캡처 시스템(160)의 일부를 포함한다. 다른 예들에서, 클라이언트 디바이스(110)는 전체 이미지 캡처 시스템(160)을 포함할 수 있다. 클라이언트 디바이스(110)가 이미지 캡처 시스템(160)의 일부(또는 전부)를 포함하는 경우, 클라이언트 디바이스(110)는 단독으로 또는 소셜 메시징 시스템(130)과 협력하여 작용하여, 본 명세서에 설명된 이미지 캡처 시스템(160)의 기능을 제공할 수 있다.
일부 실시예들에서, 소셜 메시징 시스템(130)은, 콘텐츠(예를 들어, 비디오 클립 또는 이미지)가 시청 시간 또는 시청 완료와 같은 삭제 트리거 이벤트 후에 삭제되는 단기 통신을 가능케 하는 단기 메시지 시스템(ephemeral message system)일 수 있다. 이러한 실시예에서, 디바이스는, 단기 메시지를 생성하는 것, 송신하는 것, 수신하는 것, 또는 그것의 양태들을 디스플레이하는 것 중의 임의의 컨텍스트 내에서 본 명세서에서 설명된 다양한 컴포넌트들을 이용한다. 예를 들어, 이미지 캡처 시스템(160)을 구현하는 디바이스는, 미디어 콘텐츠 항목을 캡처하거나 다르게 수신할 수 있다. 디바이스는 단기 메시지를 위한 콘텐츠의 생성의 일부로서 하나 이상의 이미지 변경자로 미디어 콘텐츠 항목을 변경할 수 있다.
B. 이미지 캡처 시스템
도 2에서, 다양한 실시예들에서, 도 1의 이미지 캡처 시스템(160)은 독립형 시스템으로서 구현되거나 클라이언트 디바이스(110)와 연계하여 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 이미지 캡처 시스템(160)은, 수신기 컴포넌트(210), 컨텍스트 컴포넌트(220), 식별 컴포넌트(230), 순서화 컴포넌트(240), 센서 컴포넌트(250), 인터페이스 컴포넌트(260), 및 프리젠테이션 컴포넌트(270)를 포함하는 것으로 도시되어 있다. 컴포넌트들(210 내지 270)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 컴포넌트들(210 내지 270)의 각각의 컴포넌트는 단일 컴포넌트로서 구현되거나, 다른 컴포넌트들 내에 결합되거나, 또는 복수의 컴포넌트들로 추가로 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 컴포넌트들도 역시 포함될 수 있지만, 도시되지는 않는다.
도 3은 예시적인 실시예들에 따른 이미지 캡처 시스템(160)에 관한 추가 세부사항들을 나타내는 블록도이다. 구체적으로, 이미지 캡처 시스템(160)은 메시징 클라이언트 애플리케이션(300)을 포함하는 것으로 도시되어 있고, 그것은 결국 다수의 일부 서브시스템, 즉 단기 타이머 시스템(302), 컬렉션 관리 시스템(304), 및 주석 시스템(annotation system)(306)을 구현한다.
단기 타이머 시스템(302)은 메시징 클라이언트 애플리케이션(300)과 소셜 메시징 시스템(130)에 의해 허용되는 콘텐츠에 대한 임시 액세스를 시행할 책임이 있는 하드웨어 및/또는 소프트웨어 요소를 포함한다. 이를 위해, 단기 타이머 시스템(302)은 메시지 또는 메시지들의 컬렉션(예를 들어, 스냅챗(SNAPCHAT) 스토리)에 연관된 지속기간 및 디스플레이 파라미터들에 기초하는 다수의 타이머를 포함하고, 메시징 클라이언트 애플리케이션(300)을 통해 메시지들 및 연관된 콘텐츠를 선택적으로 디스플레이하고 그에 대한 액세스를 가능하게 한다.
컬렉션 관리 시스템(304)은 미디어 컬렉션들(예를 들어, 텍스트, 이미지 비디오 및 오디오 데이터의 컬렉션들)을 관리할 책임이 있는 하드웨어 및/또는 소프트웨어 요소를 포함한다. 일부 예들에서, 콘텐츠(예를 들어, 이미지, 비디오, 텍스트 및 오디오를 포함하는 메시지들)의 컬렉션은 "이벤트 갤러리" 또는 "이벤트 스토리"로 조직화될 수 있다. 그러한 컬렉션은 콘텐츠가 관련되어 있는 이벤트의 지속시간과 같은 특정 기간 동안 이용가능하게 될 수 있다. 예를 들어, 음악 콘서트에 관련된 콘텐츠는 그 음악 콘서트의 지속시간 동안 "스토리"로서 이용가능하게 될 수 있다. 컬렉션 관리 시스템(304)은 또한 메시징 클라이언트 애플리케이션 (300)의 사용자 인터페이스에 특정 컬렉션의 존재의 통지를 제공하는 아이콘을 게재할 책임이 있을 수 있다.
컬렉션 관리 시스템(304)은 컬렉션 관리자가 콘텐츠의 특정 컬렉션을 관리하고 큐레이션할 수 있는 큐레이션 인터페이스(308)를 더 포함한다. 예를 들어, 큐레이션 인터페이스(308)는 이벤트 오거나이저가 특정 이벤트에 관련된 콘텐츠의 컬렉션을 큐레이션(예를 들어, 부적절한 콘텐츠 또는 중복 메시지들을 삭제)할 수 있게 한다. 추가로, 컬렉션 관리 시스템(304)은 머신 비전(또는 이미지 인식 기술) 및 콘텐츠 규칙들을 이용하여, 콘텐츠 컬렉션을 자동으로 큐레이션한다. 특정 실시예들에서, 사용자 생성 콘텐츠를 컬렉션에 포함시키는 것에 대해, 사용자에게 보상이 지불될 수 있다. 이러한 경우들에서, 큐레이션 인터페이스(308)는 사용자들의 콘텐츠의 사용에 대해 그러한 사용자들에게 자동으로 지불하도록 동작한다.
주석 시스템(306)은 사용자가 메시지에 연관된 미디어 콘텐츠에 주석을 달거나 그것을 다르게 수정 또는 편집할 수 있게 하는 다양한 기능들을 제공하는 하드웨어 및/또는 소프트웨어 요소들을 포함한다. 예를 들어, 주석 시스템(306)은 소셜 메시징 시스템(130)에 의해 처리된 메시지들에 대한 이미지 변경자들의 생성 및 게재와 관련된 기능들을 제공한다. 주석 시스템(306)은 예를 들어 클라이언트 디바이스(110)의 지오로케이션에 기초하여, 메시징 클라이언트 애플리케이션(300)에 이미지 변경자(예를 들어, 스냅챗 필터)를 동작 가능하게 공급한다. 다른 예에서, 주석 시스템(306)은 클라이언트 디바이스(110)의 사용자의 소셜 네트워크 정보와 같은 다른 정보에 기초하여, 메시징 클라이언트 애플리케이션(300)에 이미지 변경자를 동작 가능하게 공급한다. 실시예들에서, 주석 시스템(306)은 이미지 변경자가 범주, 지정 사용 요건들, 로케이션 제한, 스폰서쉽 등을 정의하는 규칙 세트인지와 같은 미리 결정된 기준에 기초하여 메시징 클라이언트 애플리케이션(300)에 대한 이미지 변경자들의 컬렉션을 동작 가능하게 공급하고 조직화한다.
일반적으로, 이미지 변경자는 오디오 및 시각적 콘텐츠, 및 시각적 효과들을 포함할 수 있다. 오디오 및 시각적 콘텐츠의 예들은 사진, 텍스트, 로고, 애니메이션 및 음향 효과들을 포함한다. 시각적 효과의 예는 색상 오버레이를 포함한다. 오디오 및 시각적 콘텐츠 또는 시각적 효과들은 클라이언트 디바이스(110)에서 미디어 콘텐츠 항목(예를 들어, 이미지 또는 비디오)에 적용될 수 있다. 예를 들어, 이미지 변경자는 클라이언트 디바이스(110)에 의해 생성된 사진/전자 이미지의 최상위에 오버레이될 수 있는 텍스트를 포함한다. 다른 예에서, 이미지 변경자는 로케이션 오버레이(location overlay)(예를 들어, 베니스 비치)의 식별, 라이브 이벤트의 이름, 또는 판매자 이름 오버레이(예를 들어, 비치 커피 하우스)를 포함한다. 다른 예에서, 주석 시스템(306)은 클라이언트 디바이스(110)의 지오로케이션을 이용하여, 클라이언트 디바이스(110)의 지오로케이션에 있는 판매자의 이름을 포함하는 이미지 변경자를 식별한다. 이미지 변경자는 판매자에 연관된 다른 표시를 포함할 수 있다. 이미지 변경자들은 데이터베이스(134) 내에 저장될 수 있고 데이터베이스 서버들(132)을 통해 액세스될 수 있다.
하나의 예시적인 실시예에서, 주석 시스템(306)은 게재자들이 맵 상의 지오로케이션을 선택하고 선택된 지오로케이션에 연관된 콘텐츠를 업로드할 수 있게 하는 게재 플랫폼을 제공한다. 게재자는 또한 특정 이미지 변경자가 메시징 클라이언트 애플리케이션(300)의 사용자들에게 제공되어야 하는 상황을 지정할 수 있다. 주석 시스템(306)은 업로드된 콘텐츠를 포함하고 업로드된 콘텐츠를 선택된 지오로케이션에 연관시키는 이미지 변경자를 생성한다.
다른 예시적인 실시예에서, 주석 시스템(306)은 판매자들이 입찰 프로세스를 통해 지오로케이션에 연관된 특정 이미지 변경자를 선택할 수 있게 하는 게재 플랫폼을 제공한다. 예를 들어, 주석 시스템(306)은 최고 입찰 판매자의 이미지 변경자를 미리 정의된 시간량 동안 대응하는 지오로케이션에 연관시킨다.
도 4는 특정한 예시적인 실시예들에 따라, 소셜 메시징 시스템(130)의 데이터베이스(들)(134) 내에 저장될 수 있는 데이터(400)를 나타내는 개략도(400)이다. 데이터베이스(들)(134)의 콘텐츠는 다수의 테이블을 포함하는 것으로 도시되어 있지만, 그것은 다른 유형의 데이터 구조들로(예를 들어, 객체 지향 데이터베이스로서) 저장될 수 있음을 알 것이다.
이 예에서, 데이터베이스(들)(134)는 메시지 테이블(414) 내에 저장되는 메시지 데이터를 포함한다. 엔티티 테이블(402)은 엔티티 그래프(404)를 포함하여 엔티티 데이터를 저장한다. 레코드들이 엔티티 테이블(402) 내에 유지되는 엔티티들은 개인들, 기업체들, 조직들, 객체들, 장소들, 이벤트들 등을 포함할 수 있다. 유형에 무관하게, 소셜 메시징 시스템(130)이 그에 대한 데이터를 저장하는 임의의 엔티티는 인식된 엔티티일 수 있다. 각각의 엔티티에는 고유 식별자는 물론, 엔티티 유형 식별자(도시되지 않음)가 제공된다.
엔티티 그래프(404)는 엔티티들 사이의 관계들 및 연관들에 관한 정보를 추가로 저장한다. 그러한 관계들은 단순히 예로서 소셜 기반, 전문직(예를 들어, 통상의 기업 또는 조직에서의 업무) 관심 기반 또는 활동 기반일 수 있다.
데이터베이스(들)(134)는 또한 이미지 변경자들(필터들이라고도 알려짐)의 예시적인 형태로 주석 데이터를 주석 테이블(412)에 저장한다. 데이터가 주석 테이블(412) 내에 저장되는 필터들은 비디오들[그를 위한 데이터가 비디오 테이블(410) 내에 저장됨] 및/또는 이미지들[그를 위한 데이터가 이미지 테이블(408) 내에 저장됨]에 연관되고 적용된다. 일례에서, 필터들은 수신자 사용자에게의 프리젠테이션 동안 이미지 또는 비디오 상에 오버레이되어 디스플레이되는 미디어 오버레이들이다. 필터들은 송신 사용자가 메시지를 구성하고 있을 때 메시징 클라이언트 애플리케이션(300)에 의해 송신 사용자에게 프리젠팅되는 필터들의 갤러리로부터의 필터들의 목록을 우선순위화하는 것을 포함하여 조직화될 수 있다.
필터들은 다양한 유형일 수 있다. 다른 유형의 필터들은 지리적 로케이션에 기초하여 송신 사용자에게 프리젠팅될 수 있는 지오로케이션 필터들(지오필터들로도 알려져 있음)을 포함한다. 예를 들어, 이웃 또는 특수 로케이션에 특정한 지오로케이션 필터는 클라이언트 디바이스(110)의 GPS 유닛에 의해 결정된 지오로케이션 정보에 기초하여 메시징 클라이언트 애플리케이션(300)에 의해 사용자 인터페이스 내에 프리젠팅될 수 있다. 다른 유형의 필터는 메시지 생성 프로세스 동안 클라이언트 디바이스(110)에 의해 수집된 다른 입력들 또는 정보에 기초하여 메시징 클라이언트 애플리케이션(300)에 의해 송신 사용자에게 선택적으로 프리젠팅될 수 있는 데이터 필터이다. 데이터 필터들의 예들은 특정 로케이션에서의 현재 온도, 송신 사용자가 이동하고 있는 현재 속도, 클라이언트 디바이스(110)에 대한 배터리 수명, 또는 현재 시간을 포함한다.
이미지 테이블(408)에 저장될 수 있는 다른 주석 데이터는 소위 "렌즈" 데이터이다. "렌즈"는 이미지 또는 비디오에 추가될 수 있는 실시간 특수 효과 및 음향일 수 있다.
위에서 언급된 바와 같이, 비디오 테이블(410)은 일 실시예에서 메시지 테이블(414) 내에 레코드들이 유지되는 메시지들에 연관되는 비디오 데이터를 저장한다. 마찬가지로, 이미지 테이블(408)은 메시지들에 연관된 이미지 데이터를 저장하고, 그러한 메시지들을 위한 메시지 데이터는 엔티티 테이블(402) 내에 저장되는 한다. 엔티티 테이블(402)은 주석 테이블(412)로부터의 다양한 주석들을 이미지 테이블(408) 및 비디오 테이블(410) 내에 저장된 다양한 이미지들 및 비디오들에 연관시킬 수 있다.
스토리 테이블(406)은 컬렉션(스냅챗 스토리 또는 갤러리)로 컴파일된 메시지들 및 연관된 이미지, 비디오 또는 오디오 데이터의 컬렉션들에 관한 데이터를 저장한다. 특정 컬렉션의 생성은 특정 사용자[예를 들어, 엔티티 테이블(402)에서 레코드가 유지되는 각각의 사용자]에 의해 시작될 수 있다. 사용자는 그 사용자에 의해 생성되고 송신/브로드캐스트된 콘텐츠의 컬렉션의 형태로 "개인 스토리"를 생성할 수 있다. 이를 위해, 메시징 클라이언트 애플리케이션(300)의 사용자 인터페이스는 송신 사용자가 자신의 개인 스토리에 특정 콘텐츠를 추가할 수 있도록 하기 위해 사용자 선택가능한 아이콘을 포함할 수 있다.
컬렉션은 또한 수동으로, 자동으로, 또는 수동 및 자동 기술의 조합을 이용하여 생성된, 복수의 사용자로부터의 콘텐츠의 컬렉션인 "라이브 스토리"를 구성할 수 있다. 예를 들어, "라이브 스토리"는 다양한 로케이션들 및 이벤트들로부터 사용자가 제출한 콘텐츠의 큐레이션된 스트림을 구성할 수 있다. 로케이션 서비스들을 인에이블시켰고 특정 시간에 공통 로케이션 이벤트에 있는 클라이언트 디바이스들을 갖는 사용자들은, 예를 들어 특정 라이브 스토리에 콘텐츠를 기여하기 위해 메시징 클라이언트 애플리케이션(300)의 사용자 인터페이스를 통해 옵션을 제시받을 수 있다. 라이브 스토리는 사용자의 로케이션에 기초하여 메시징 클라이언트 애플리케이션(300)에 의해 사용자에게 식별될 수 있다. 최종 결과는 커뮤니티 관점에서 말하는 "라이브 스토리"이다.
다른 유형의 콘텐츠 컬렉션은 특정 지리적 로케이션(예를 들어, 대학 또는 대학교 캠퍼스) 내에 위치되는 클라이언트 디바이스(110)를 갖는 사용자가 특정 컬렉션에 기여할 수 있게 하는 "로케이션 스토리(location story)"로서 알려져 있다. 일부 실시예들에서, 로케이션 스토리에 대한 기여는 최종 사용자가 특정 조직 또는 다른 엔티티에 속하는 것(예를 들어, 대학 캠퍼스의 학생인 것)을 검증하기 위해 2급 인증을 필요로 할 수 있다.
본 개시내용의 실시예들은 단문 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(MMS) 텍스트 및 이메일과 같은 전자 메시지들/통신들 내에서 사용하기 위해 커스터마이징된 이미지들을 생성 및 프리젠팅할 수 있다. 커스터마이징된 이미지들은 또한 스냅챗 스토리, 스냅챗 필터, 및 본 명세서에 논의된 단기 메시징 기능과 함께 이용될 수 있다.
C. 동적 필터 캐러셀
도 5는 다양한 예시적인 실시예들에 따라, 복수의 이미지 변경자 세트로부터 사용자 인터페이스 내에 이미지 변경자를 프리젠팅하기 위한 예시적인 방법(500)을 나타내는 흐름도이다. 일부 실시예들에서, 이미지 캡처 시스템(160)은 변경자 캐러셀을 사용하여 사용자 인터페이스 내에 하나 이상의 이미지 변경자를 프리젠팅한다. 이미지 캡처 시스템(160)은 미디어 캐러셀 내의 이미지 변경자들의 위치를 최적화하는 것에 응답하여 변경자 캐러셀을 통해 이미지 변경자들의 사용을 최대화할 수 있다. 이미지 캡처 시스템(160)은 컴퓨팅 디바이스와의 사용자 상호작용들로부터 수집된 정보, 사용자 상호작용에 독립하여 컴퓨팅 디바이스에 의해 감지 또는 수신되는 정보, 컴퓨팅 디바이스에서 프리젠팅되는 시야 내의 양태들 또는 묘사들, 로케이션, 및 이미지 변경자 그룹 내에서의 순서 및 이미지 변경자 그룹들 사이의 순서, 또는 변경자 캐러셀 내의 그것들의 조합들을 결정하려는 시도에서의 임의의 다른 적절한 정보를 사용할 수 있다. 이러한 실시예들에서, 이미지 캡처 시스템(160)은 미디어 콘텐츠 항목에 관한 사용자의 원하는 목적을 예상하여 적절한 이미지 변경자들을 드러내고 순서화하려고 시도한다. 방법(500)의 동작들은 이미지 캡처 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 설명의 목적으로 이와 같이 설명된다.
동작(510)에서, 이미지 캡처 시스템(160)은 미디어 콘텐츠 항목을 수신한다. 이미지 캡처 시스템(160)은 다양한 소스들로부터 다양한 미디어 콘텐츠 항목들을 수신할 수 있다. 이러한 맥락에서 "미디어 콘텐츠 항목"은 임의의 유형의 전자 미디어를 임의의 포맷으로 포함할 수 있다. 예를 들어, 미디어 콘텐츠 항목은 JPG 포맷의 이미지, PNG 포맷의 이미지, FLV 포맷의 비디오, AVI 포맷의 비디오 등을 포함할 수 있다. 일부 예시적인 실시예들에서, 미디어 콘텐츠 항목은 이미지 캡처 디바이스를 이용하여 이미지 캡처 시스템(160)에 의해 캡처된다. 추가적으로 또는 대안적으로, 미디어 콘텐츠 항목은 다른 시스템 또는 디바이스로부터 수신될 수 있다. 도 1에서, 예를 들어, 방법(500)의 기능을 수행하는 클라이언트 디바이스(110)는 네트워크(104)를 통해 소셜 메시징 시스템(130), 제3자 서버(들)(120), 또는 다른 시스템으로부터 미디어 콘텐츠 항목을 수신할 수 있다.
도 6에 도시된 바와 같이, 초기에 지면의 일부를 묘사하는 이미지 캡처 디바이스(160)의 이미지, 비디오 스트림, 또는 실시간 시야가 제시된다.
동작(520)에서, 이미지 캡처 시스템(160)은 미디어 콘텐츠 항목을 디스플레이하는 이미지 캡처 시스템(160)에 연관된 디스플레이 디바이스의 사용자 인터페이스와의 사용자 상호작용을 수신한다. 일부 경우들에서, 사용자 상호작용은 하나 이상의 미리 결정된 제스처를 나타낸다. 제스처들의 일부 예들은 탭, 더블 탭, 플릭(flick), 드래그, 핀치, 터치 및 홀드이다. 사용자 상호작용은 또한 이미지 캡처 디바이스의 시야의 한 구역, 한 영역 또는 일부분을 나타낼 수 있다. 일부 실시예들에서, 사용자 상호작용은 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체(예를 들어, 인물의 얼굴)를 나타낸다. 일부 경우들에서, 사용자 상호작용의 위치는 관심 객체, 요소, 시각적 피처, 물리적 객체, 경관의 양태, 또는 컴퓨팅 디바이스 상에 디스플레이된 사용자 인터페이스 내에 프리젠팅되는 이미지 캡처 디바이스의 이미지, 비디오 스트림, 또는 실시간 시야 내에 묘사되는 실세계의 주위 양태에 대응한다.
일부 실시예들에서, 이미지 캡처 시스템(160)은 수신된 미디어 콘텐츠 항목의 디스플레이와 함께 렌더링되는 사용자 인터페이스에 대한 사용자 상호작용을 수신할 수 있다. 사용자 인터페이스는 사용자 인터페이스 요소들의 세트를 추가로 포함할 수 있다. 인터페이스 요소들의 세트는 아이콘들, 버튼들, 로고들, 또는 다른 그래픽 표현들의 세트를 포함할 수 있다. 각각의 인터페이스 요소는 별개의 사용자 기능들에 연관될 수 있다. 예를 들어, 사용자 인터페이스는 플래시 표시자, 홈 아이콘, 카메라 선택 아이콘, 이미지 캡처 아이콘, 히스토리 아이콘, 채팅 아이콘, 스토리 아이콘, 및 임의의 다른 적절한 아이콘 또는 그래픽 표현을 포함하는 사용자 인터페이스 요소들을 포함할 수 있다. 사용자 인터페이스 요소들은 이미지 캡처 디바이스(160)의 하나 이상의 컴포넌트가 다양한 기능을 수행하게 하도록 선택가능하다. 예를 들어, 플래시 표시자는 이미지의 캡처에 근접하여 플래시 방전을 가능하게 하거나 플래시 방전을 방지하도록 선택가능할 수 있다. 홈 아이콘은 이미지 캡처 시스템(160)으로 하여금 메뉴, 계정 양태들, 또는 사용자 인터페이스 디스플레이 및 사용자 인터페이스 요소들(예를 들어, 선택가능한 아이콘들)의 임의의 다른 적절한 조합을 디스플레이하게 하도록 선택가능할 수 있다.
일부 실시예들에서, 이미지 캡처 시스템(160)은 수신된 미디어 콘텐츠 항목의 디스플레이와 함께 렌더링된 변경자 캐러셀에 대해 제1 사용자 인터페이스를 수신할 수 있다. 변경자 캐러셀은 사용자 인터페이스 요소 세트를 포함할 수 있다. 인터페이스 요소 세트는 아이콘들, 버튼들, 로고들, 또는 다른 그래픽 표현들의 세트를 포함할 수 있다. 각각의 인터페이스 요소는 별개의 이미지 변경자들 또는 이미지 변경자 세트에 연관될 수 있다.
사용자 인터페이스에 대한 사용자 상호작용을 수신하는 것에 응답하여, 일부 실시예들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 사용자 상호작용의 특성들에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정할 수 있다. 사용자 상호작용의 특성들은 상호작용 자체의 양태들일 수 있다. 일부 경우들에서, 사용자 상호작용의 특성들은 사용자 상호작용 시에 결정된 정보이다. 특성들은 또한 사용자 상호작용의 수신과 동시에 캡처되거나 결정되거나 감지된, 컴퓨팅 디바이스 또는 이미지 캡처 디바이스에 연관된 정보일 수 있다.
일부 경우들에서, 식별된 변경자 컨텍스트는 미디어 콘텐츠 항목에 대한 사용자의 의도를 결정하는 것으로 이해될 수 있다. 이미지 캡처 시스템(160)의 컴포넌트들은 변경자 범주(예를 들어, 필터 범주, 렌즈 범주, 애드-온 그래픽 요소 세트의 범주)를 식별할 수 있다. 일부 경우들에서, 변경자 컨텍스트를 결정하기 위해, 이미지 캡처 시스템(160)의 컴포넌트들은 하나 이상의 하위 동작을 수행한다. 일부 실시예들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 하나 이상의 컨텍스트 표시자를 식별한다. 컨텍스트 표시자를 결정한 후에, 이미지 캡처 시스템(160)은 선택, 선택의 위치, 및 하나 이상의 컨텍스트 표시자에 기초하여 변경자 컨텍스트를 결정한다.
일부 경우들에서, 컨텍스트 표시자는 사용자 인터페이스 정보, 디바이스 정보, 또는 변경자 사용의 제안된 컨텍스트를 나타내는 다른 정보일 수 있다. 일부 실시예들에서, 컨텍스트 표시자는 컴퓨팅 디바이스의 지오로케이션; 하루 중 시간; 날씨 데이터의 세트; 시야 내에 묘사된 얼굴; 시야 내에 묘사된 복수의 얼굴; 시야 내에 묘사된 미리 결정된 인물들의 세트의 지정된 인물; 자연적 피처 추적 식별; 엔티티, 이벤트 또는 제품을 식별하는 표현 심볼; 스폰서쉽; 컴퓨팅 디바이스의 배향; 컴퓨팅 디바이스의 이동; 시야 내에 묘사된 객체 유형; 지정된 변경자에 적용된 잠금해제 코드; 컴퓨팅 디바이스에 대한 이미지 캡처 디바이스 위치; 변경자 인기도 점수; 및 이것들의 조합들 중 임의의 하나 이상을 포함할 수 있다.
이미지 캡처 시스템(160)의 컴포넌트들이 시야 내의 관심 객체를 결정하고 식별하는 실시예들에서, 이미지 캡처 시스템(160)은 사용자 상호작용, 사용자 인터페이스 내에서의 상호작용의 특성들, 및 관심 객체의 식별에 기초하여 변경자 컨텍스트를 결정한다. 이미지 캡처 시스템(160)이 복수의 관심 객체를 결정하고 식별하는 경우, 이미지 캡처 시스템(160)은 사용자 상호작용, 상호작용의 특성들, 및 복수의 관심 객체 중 적어도 하나의 식별에 기초하여 변경자 컨텍스트를 결정한다.
일부 경우들에서, 도 6 및 도 7에 도시된 바와 같이, 동작(520)에서 수신된 사용자 상호작용은 우선순위화된 이미지 변경자 목록을 디스플레이하는 모션을 나타낸다. 도 7에서, 사용자 상호작용은 사용자 인터페이스에 대해 왼쪽으로의 스와이프, 플릭, 드래그, 또는 다른 모션 표시에 의해 이루어진다.
다시 도 5를 참조하면, 동작(530)에서, 이미지 캡처 시스템(160)은 사용자 상호작용 및 복수의 이미지 변경자 세트의 순서에 기초하여 이미지 변경자들/미디어 오버레이들/필터들 등의 적어도 하나의 세트를 식별한다. 이미지 캡처 시스템(160)의 컴포넌트들은 다수의 세트로부터 적어도 하나의 이미지 변경자 세트를 식별하기 위해 하나 이상의 결정을 내린다. 이미지 캡처 시스템(160)은 상기 복수의 이미지 변경자 세트 각각 사이의 순서를 생성하기 위해, 복수의 이미지 변경자 세트 각각의 이미지 변경자들의 이용가능성, 관련성, 우선순위 및 성능을 고려할 수 있다. 이미지 캡처 시스템(160)의 컴포넌트들은 위에 언급된 이용가능성, 관련성, 우선순위 및 성능과 같은 이미지 변경자의 양태들을 정량화하는 다양한 기준을 사용하여 오프라인으로 또는 실시간으로 순서를 생성할 수 있다.
메시징 클라이언트 애플리케이션(300)이 [예를 들어, 주석 시스템(306)의 게재 피처들을 통해] 이용할 수 있는 이미지 변경자들의 개수의 증가와 함께, 이미지 변경자들이 미리 순서화되거나 미리 분류될 수 있으므로, 이미지 캡처 시스템(160)의 컴포넌트는 개별 이미지 변경자들 또는 이미지 변경자 그룹들을 클라이언트 디바이스들에 전달하는 것을 최적화할 수 있다. 이미지 변경자들의 최적화된 전달은 클라이언트 디바이스들의 응답성을 향상시키는 것은 물론, 디바이스 저장소를 관리할 수 있다.
이미지 변경자(필터 또는 미디어 오버레이로 지칭됨)는 이미지 필터, 디지털 렌즈, 애드-온 그래픽 요소들의 세트, 또는 이미지 캡처 디바이스의 이미지, 비디오 스트림, 또는 실시간 또는 라이브 시야의 적어도 일부분에 적용될 수 있는 임의의 다른 적절한 시각적 효과 또는 변경을 포함할 수 있다. 이미지 변경자는 또한 이미지 변경자의 아이콘 또는 다른 시각적 표현을 포함할 수 있다.
이미지 변경자 세트는 임의의 개수의 이미지 변경자를 포함할 수 있다. 세트 내의 이미지 변경자들은 하나 이상의 미리 결정된 기준에 따라 순서화되거나 순위지정되거나 우선순위화되거나 다르게 조직화될 수 있다. 복수의 이미지 변경자 세트 내의 각각의 이미지 변경자 세트는 하나 이상의 미리 결정된 기준에 따라 순서화되거나 순위지정되거나 우선순위화되거나 다르게 조직화될 수 있다. 각각의 이미지 변경자 세트는 임의의 수의 별개의 이미지 변경자, 임의의 수의 관련된 이미지 변경자, 또는 임의의 수의 다양한 이미지 변경자를 포함할 수 있다. 이미지 변경자들은 유형, 범주, 용도 등에 따라 각각의 세트 내에 조직화되거나 우선순위화되거나 다른 배열을 가질 수 있다.
일부 경우들에서, 이미지 캡처 시스템(160)은 위에서 논의된 식별된 변경자 컨텍스트(예를 들어, 식별된 렌즈, 변경자, 또는 필터 범주 또는 활성자 유형)를 이미지 변경자 세트 내의 하나 이상의 이미지 변경자에 연관된 범주와 비교하거나 대조함으로써 이미지 변경자 세트를 식별한다. 일부 경우들에서, 이미지 캡처 시스템(160)은 이미지 변경자 세트를, 공통 변경자 범주를 갖는 이미지 변경자 세트 또는 관련된 변경자 범주 세트로서 식별한다. 일부 실시예들에서, 이미지 캡처 시스템(160)은 이미지 변경자 세트를 동적으로 생성하여, 변경자 컨텍스트에 기초하여 하나 이상의 이미지 변경자를 개별적으로 식별하는 것에 기초하여 이미지 변경자 세트를 구성한다.
일부 실시예들에서, 각각의 이미지 변경자는 적어도 하나의 범주에 연관된다. 범주들은 변경자 컨텍스트들일 수 있거나, 적어도 하나의 변경자 컨텍스트에 연관된 범주 레이블일 수 있다. 일부 경우들에서, 범주들은 지정된 세트에 포함된 이미지 변경자들에 공통인 디스크립션 식별자들이다. 예를 들어, 범주들은 얼굴 변경자들, 분위기 변경자들, 지면 변경자들, 얼굴 교환 변경자들, 감정 변경자들, 의상 변경자들, 또는 이미지 변경자의 임의의 다른 적절한 범주적 조직화 및 디스크립션을 포함할 수 있다. 이미지 변경자 세트에 포함시키기 위해 새로운 이미지 변경자들이 이미지 캡처 시스템(160)에 추가되는 경우, 이미지 변경자는 이미지 캡처 시스템(160)에 의해 수신(다운로드)된다. 이미지 변경자는 이미지 변경자의 식별을 트리거하는 적어도 하나의 컨텍스트 표시자를 나타내는 적어도 하나의 필터 범주에 연관된다. 일부 경우들에서, 컨텍스트 표시자가 변경자 컨텍스트일 수 있다.
일부 실시예들에서, 범주들은 제1 범주 및 제2 범주를 포함할 수 있다. 제1 범주는 범주에 연관된 1차 컨텍스트 표시자를 나타낸다. 제2 범주는 범주에 연관된 2차 컨텍스트 표시자를 나타낸다. 이미지 변경자 세트는 제1 범주 및 제2 범주 중 하나 이상을 검출할 때 식별되고 선택될 수 있다.
동작(530)에서, 이미지 캡처 시스템(160)은 식별된 이미지 변경자 세트에 대한 이미지 변경자들의 순서화에 기초하여, 식별된 이미지 변경자 세트 내에서 적어도 하나의 이미지 변경자를 식별한다. 다시, 이미지 캡처 시스템(160)의 컴포넌트들은 식별된 이미지 변경자 세트 내의 이미지 변경자들의 이용가능성, 관련성, 우선순위 및 성능을 고려하여 적어도 하나의 이미지 변경자를 식별하기 위해 하나 이상의 결정을 내릴 수 있다.
식별된 이미지 변경자 세트 내의 각각의 이미지 변경자는 순위지정, 점수지정, 또는 다른 평가에 따라 조직화되거나, 우선순위화되거나, 다르게 배열될 수 있다. 일부 실시예들에서, 이미지 캡처 시스템(160)은 이미지 변경자가 몇 번 사용되는지, 이미지 변경자가 몇 번 무시되는지, 이미지 변경자가 언제 사용되는지, 이미지 변경자가 언제 무시되는지, 사용 컨텍스트, 이미지 변경자가 사용될 수 있거나 사용될 수 없는 로케이션, 사용자 프로파일 정보, 사용자의 소셜 연결의 그래프 등을 고려하는 순서화 알고리즘을 구현한다.
이미지 캡처 시스템(160)의 컴포넌트들은 하나 이상의 범주 내의 식별된 이미지 변경자 세트 내의 최고 순위 이미지 변경자를, 식별된 적어도 하나의 이미지 변경자로서 선택할 수 있다. 일부 실시예들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 복수의 순서화를 만족시키는 이미지 변경자들을 선택할 수 있다. 이미지 변경자들의 특정 범주들은 날짜, 시간, 로케이션 등에 기초하여 다른 것들보다 높게 우선순위화될 수 있다. 특정 양태들에서, 후원되는 콘텐츠는 다른 레벨들의 콘텐츠보다 높게 우선순위화될 수 있다.
이미지 변경자 세트를 식별하는 것에 응답하여, 일부 실시예들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 변경자 컨텍스트에 기초하여, 설정된 필터들에 대한 순서를 결정할 수 있다. 이미지 변경자는 1차 변경자 범주, 및 하나 이상의 2차 변경자 범주를 가질 수 있다. 1차 변경자 범주는 변경자의 변경자 범주이며, 하나 이상의 2차 변경자 범주는 변경자가 호환가능할 수 있는 변경자 범주들을 나타낸다. 1차 변경자 범주는 2차 변경자 범주들에 관련될 수 있고, 그에 의해 1차 변경자 범주는 1차 변경자 범주와 호환가능한 하나 이상의 2차 변경자 범주를 나타내게 된다. 이러한 경우들에서, 변경자 컨텍스트에 일치하는 1차 범주를 갖는 변경자들이 먼저 순서화된다. 예를 들어, 셀카, 대기, 지면, 로고, 및 뮤럴(mural)을 포함하는 변경자 범주들과 함께, 각각의 범주는 지정된 범주와 호환가능한 하나 이상의 다른 범주를 정의할 수 있다. 또한, 범주들의 상관관계는 변경자들의 순서를 드러내기 위해 사용될 수 있다.
일부 실시예들에서, 변경자 범주 그룹 내의 이미지 변경자들은 규칙들의 세트에 따라 순서화된다. 규칙들의 세트는 우선순위 결정, 스폰서쉽 결정 및 잠금해제 결정을 포함할 수 있다. 우선순위 결정은 각각의 변경자에 할당된 우선순위 값을 사용하여 결정될 수 있다. 예를 들어, 스폰서쉽 결정은 변경자에게 가장 높은 우선순위를 나타내는 우선순위 값 0을 할당할 수 있고, 그에 의해, 후원되는 변경자가 순서 내에 제일 먼저 나타난다. 잠금해제 결정은 제2 우선순위 값을 받을 수 있으며, 그에 의해, 변경자를 잠금해제하기 위한 코드를 스캔하거나 입력한 후, 잠금해제된 변경자가 변경자 세트 내에 포함되도록 드러난 경우, 잠금해제된 변경자는 후원된 변경자보다는 뒤에 있지만 후원되거나 잠금해제되지 않은 다른 변경자들보다는 앞에 있는 위치에 프리젠팅된다. 일부 경우들에서, 지오로케이션은 변경자를 잠금해제하기 위해 이용된다. 이러한 경우들에서, 지오로케이션 변경자는 잠금해제된 변경자로서 취급될 수 있다. 예시적인 규칙 세트에 대해 설명되었지만, 로고들, 지오로케이션, 날씨, 복수의 객체, 및 다른 적절한 규칙들에 대한 규칙과 같은 임의의 수 또는 관계의 규칙들이 사용될 수 있다는 것을 이해해야 한다.
일부 경우들에서, 이미지 캡처 시스템(160)은 복수의 이미지 변경자 세트(예를 들어, 별개의 변경자 범주에 연관된 각각의 이미지 변경자 세트)를 드러내고(즉, 프리젠팅하고/디스플레이하고) 순서화한다. 이미지 캡처 시스템(160)은 이미지 변경자 세트마다 미리 결정된 개수까지의 이미지 변경자들을 드러낼 수 있다. 예를 들어, 상이한 변경자 범주에 각각 연관된 3개의 이미지 변경자 세트가 드러나는 경우, 제1 이미지 변경자 세트는 X개의 이미지 변경자를 포함할 수 있고, 제2 이미지 변경자 세트는 Y개의 이미지 변경자를 포함할 수 있고, 제3 이미지 변경자 세트는 Z개의 이미지 변경자를 포함할 수 있다. 일부 경우들에서, X, Y 및 Z는 동일한 숫자이다. 변경자 범주가 더 적은 수의 이미지 변경자를 포함하는 경우, 2개 이상의 이미지 변경자 세트가 동일한 수의 이미지 변경자를 포함할 수 있는 한편, 제3 이미지 변경자 세트는 더 적은 수의 이미지 변경자를 포함한다.
이미지 캡처 시스템(160)이 제1 이미지 변경자 세트 및 제2 이미지 변경자 세트를 식별하는 실시예들에서, 이미지 캡처 디바이스(160)는 제1 이미지 변경자 세트 및 제2 이미지 변경자 세트에 대한 순서를 결정한다. 일부 경우들에서, 순서는 제2 이미지 변경자 세트의 이미지 변경자들에 대한, 제1 이미지 변경자 세트의 이미지 변경자들의 배치를 결정한다. 일부 실시예들에서, 순서는 각각의 세트 내의 이미지 변경자들에 대한 순서를 결정한다. 이러한 경우들에서, 이미지 변경자 세트 내의 이미지 변경자들은 변경자 컨텍스트에 기초하여 재정렬되거나 재배치될 수 있다.
일부 경우들에서, 이미지 변경자들은 하나보다 많은 변경자 범주에 연관될 수 있다. 2개 이상의 변경자 범주가 단일 이미지 한정자로 하여금 이미지 캡처 시스템(160)에 의해 드러난 2개 이상의 이미지 변경자 세트에 포함되도록 하는 경우, 이미지 캡처 시스템(160)은 변경자 컨텍스트에 기초하여 하나 이상의 이미지 변경자 세트로부터 이미지 변경자를 제거할 수 있다.
동작(540)에서, 프리젠테이션 컴포넌트(270)는 미디어 콘텐츠 항목 및 식별된 이미지 변경자의 표현을 생성한다. 미디어 콘텐츠 항목 및 식별된 이미지 변경자의 생성된 표현은 2개의 소스 또는 2개의 소스의 오버레이의 병합을 포함할 수 있다. 도 8에 도시된 바와 같이, 사용자의 디바이스의 고도를 나타내는 이미지 변경자(802)는 거리의 뷰와 함께 디스플레이된다.
일부 예시적인 실시예들에서, 표현은 변경자 캐러셀을 포함한다. 변경자 캐러셀은 하나 이상의 시각적 요소를 포함하고, 그를 통한 사용자 상호작용은 하나 이상의 이미지 변경자를 선택한다(550). 변경자 캐러셀은 식별된 이미지 변경자 세트 내의 나머지 이미지 변경자들의 복수의 아이콘 또는 다른 시각적 표현을 포함할 수 있다.
변경자 캐러셀은 사용자가 지정된 또는 요구되는 이미지 변경자를 식별하고 선택하는(550) 것을 가능하게 하는 검색 기능과 함께 사용자 인터페이스 내에 프리젠팅될(540) 수 있다. 일부 경우들에서, 검색 기능은 변경자 캐러셀 내에 그리고 변경자 아이콘들 사이에 배치된 검색 아이콘을 사용하여 인에이블될 수 있다. 검색 아이콘은 물음표, 또는 검색 기능의 다른 그래픽 표현과 같은 검색 기능의 표시를 묘사한다. 일부 경우들에서, 검색 아이콘은 아래에 더 상세하게 설명되는, 변경자 아이콘들에 대해 지정된 순서에 따라 변경자 캐러셀 내에 위치된다. 일부 실시예들에서, 검색 아이콘은 변경자 캐러셀에 포함되고 지정된 순서에 따라 프리젠팅되는 변경자 아이콘 세트의 끝에 프리젠팅된다. 일부 경우들에서, 검색 아이콘은 순서화된 변경자 아이콘 세트의 앞 또는 시작부에 위치된다. 예시적인 실시예들에서, 검색 아이콘은 변경자 캐러셀의 외부에 프리젠팅된다. 예를 들어, 일부 경우들에서, 변경자 캐러셀은 이미지 캡처 요소의 오른편에 프리젠팅되고, 변경자 아이콘은 선택되고 난 후에 이미지 캡처 요소 내부에 위치된다. 그러한 경우들에서, 검색 아이콘은 이미지 캡처 요소의 왼편에 프리젠팅될 수 있다. 일부 예시적인 실시예들에서, 검색 아이콘은 이미지 캡처 요소에 근접하게 프리젠팅된다. 일부 경우들에서, 검색 아이콘은 이미지 캡처 요소로부터 멀리 떨어져서 프리젠팅되고, 그에 의해 순서화된 아이콘 세트 내의 선택된 변경자 아이콘 전에 발생한 적어도 하나의 변경자 아이콘은, 순서화된 변경자 아이콘 세트 내의 선택된 변경자 아이콘 후에 발생한 변경자 아이콘들에 반대되는 이미지 캡처 요소의 측에서 이미지 캡처 요소에 근접하여 프리젠팅되게 된다. 일부 경우들에서, 검색 아이콘은 변경자 캐러셀 내에 프리젠팅된 변경자 아이콘들과 떨어진 평면에 프리젠팅된다. 예를 들어, 변경자 캐러셀의 변경자 아이콘들이 이미지 캡처 요소를 포함하는 평면의 수평선에 프리젠팅될 때, 검색 아이콘은 이미지 캡처 요소의 위 또는 아래에 프리젠팅될 수 있다.
일부 실시예들에서, 변경자 캐러셀은 사용자 인터페이스 내의 변경자 세트에 대한 변경자 아이콘들을 포함할 수 있다. 변경자 아이콘들은 사용자 인터페이스 내의 선택가능한 사용자 인터페이스 요소들로서 프리젠팅된다. 일부 실시예들에서, 변경자 아이콘들은 사용자 인터페이스 내에 포함된 이미지 캡처 디바이스의 시야 외부의 사용자 인터페이스 부분에 위치된다. 일부 경우들에서, 변경자 아이콘들은 이미지 캡처 디바이스의 시야의 일부분 내에 위치된다. 도 8에 도시된 바와 같이, 변경자 캐러셀(804)은 이미지 캡처 요소에 근접하여 프리젠팅된 복수의 변경자 아이콘을 포함한다.
도 8에 도시된 바와 같이, 일부 실시예들에서, 미디어 캐러셀(804)의 선택 또는 조작은, 하나 이상의 변경자 아이콘이 제1 위치로부터 벗어나서 제2 위치로 이동되게 한다. 이미지 캡처 시스템(160)이 복수의 이미지 변경자(예를 들어, 제1 이미지 변경자 및 제2 이미지 변경자)를 식별하고 순서화하는 실시예들에서, 이미지 캡처 시스템(160)은 제1 및 제2 이미지 변경자에 대한 변경자 아이콘들을 포함하는 식별된 이미지 변경자 세트로부터의 이미지 변경자들의 적어도 일부와 함께 미디어 캐러셀(804)의 디스플레이를 야기한다. 이미지 캡처 시스템(160)이 복수의 이미지 변경자 세트(예를 들어, 제1 이미지 변경자 세트 및 제2 이미지 변경자 세트)를 식별하고 순서화하는 실시예들에서, 이미지 캡처 시스템(160)은 복수의 이미지 변경자 세트의 적어도 일부와 함께 미디어 캐러셀(804)의 디스플레이를 야기한다. 예를 들어, 이미지 캡처 시스템(160)이 제1 이미지 변경자 세트 및 제2 이미지 변경자 세트를 식별하는 실시예들에서, 이미지 캡처 시스템(160)은 미디어 캐러셀(804) 내에서 제1 변경자 아이콘 세트, 및 제2 변경자 아이콘 세트의 적어도 일부의 프리젠테이션을 야기한다. 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 이미지 변경자 세트의 이미지 변경자에 대응한다. 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 이미지 변경자 세트의 이미지 변경자에 대응한다. 일부 실시예들에서, 제1 변경자 아이콘 세트와 제2 변경자 아이콘 세트의 조합은 결정된 순서에 따라 프리젠팅된다. 일부 경우들에서, 순서는 각각의 이미지 변경자 세트 내에 이미지 변경자들을 위치시키기 위한 조직화 및 프리젠테이션 체계를 정의한다.
동작(560)에서, 이미지 캡처 시스템(160)의 컴포넌트들은 단계(550)에서의 미디어 오버레이/이미지 변경자의 선택에 의해 나타내어진 변경자 아이콘에 연관된 이미지 변경자를 적용한다. 시스템(160)은 복수의 미디어 오버레이/이미지 변경자를 수신하여(550), 동일한 미디어 콘텐츠 항목에 동시에 적용할 수 있다(560).
일부 실시예들에서, 이미지 캡처 시스템(160)은 제2 사용자 상호작용을 이용하여 제1 관심 객체에 연관된 제1 객체 범주 및 제2 관심 객체 식별자에 연관된 제2 객체 범주를 결정한다. 제1 관심 객체는 적어도 부분적으로 변경자 범주를 결정하기 위해 이용될 수 있다. 이미지 캡처 시스템(160)은 변경자 범주가 제2 객체 범주에 대응한다고 결정한다. 이 경우, 선택되는 변경자는 디스플레이를 위해 변경자들을 식별하는 데에 사용된 관심 객체와는 다른, 시야 내에 묘사된 관심 객체에 대응한다. 변경자 범주가 제2 객체 범주에 대응한다고 결정하면, 이미지 캡처 시스템(160)은 이미지 캡처 디바이스의 시야 내에 식별된 제2 관심 객체를 나타내는 표현 그래픽(예를 들어, 메쉬)을 생성한다.
일부 경우들에서, 사용자 인터페이스는 상이한 디스플레이 영역들로 분할된다. 디스플레이 영역들은 디스플레이 영역에 대해 적절한 지정된 상호작용 동작들에 대응할 수 있다. 예를 들어, 사용자 인터페이스의 일부분은 변경자 세트 또는 변경자 세트의 일부분이 디스플레이된 후에 렌즈들, 변경자들, 또는 필터들과의 상호작용으로 제한될 수 있다. 사용자 인터페이스의 일부분은 이미지 캡처, 디스플레이, 재생 및 다른 적절한 동작 모드 사이에서 동작 모드들을 변경하도록 구성될 수 있다. 일부 경우들에서, 지정된 사용자 상호작용들은 사용자 인터페이스의 임의의 영역에서 허용될 수 있다. 예를 들어, 일부 경우들에서, 사용자 인터페이스 내의 더블 탭은 컴퓨팅 디바이스로 하여금 이미지 캡처 입력을 전환하게 할 수 있다(예를 들어, 이미지 캡처 디바이스를 앞뒤로 전환). 추가 예로서, 싱글 탭은 스틸 이미지를 캡처할 수 있는 한편, 지속적인 터치는 비디오를 캡처할 수 있다. 추가의 예는 탭을 포함하며, 이는 이미지 캡처 디바이스가 탭된 로케이션 상의 시야에 초점을 맞추게 한다.
제2 사용자 상호작용을 이용한 이미지 변경자의 선택 후에, 후속 사용자 상호작용은 하나 이상의 추가 동작을 수행할 수 있다. 일부 실시예들에서, 후속 선택은 전방 이미지 캡처 디바이스로부터 후방 이미지 캡처 디바이스로의 변경을 야기한다. 변경자 캐러셀은 방법(500)에서 결정된 대로 변경자 캐러셀 내에 프리젠팅되는 변경자들을 유지할 수 있다. 변경된 이미지 캡처 모드의 식별자 이미지 변경자는 정상적으로 동작할 수 있거나 미리 동작가능할 수 있다. 본 개시내용의 실시예들은 이전에 디스플레이된 미디어 오버레이/이미지 변경자 캐러셀을 임의의 다른 후속 수신된 미디어 콘텐츠 항목들과 함께 디스플레이할 수 있다. 예를 들어, 전방 이미지로부터 후방 이미지로 캐러셀을 유지하는 것과 마찬가지로, 시스템은 제1 미디어 콘텐츠 항목(예를 들어, 스틸 이미지 또는 기록된 비디오)과 함께 캐러셀을 디스플레이할 수 있고, 제2 미디어 콘텐츠 항목이 수신될 때(예를 들어, 사용자가 갤러리로부터 상이한 이미지들을 선택할 때) 동일한 미디어 오버레이 캐러셀을 계속하여 디스플레이할 수 있다.
후속 선택이 변경자 컨텍스트의 변화를 야기하거나 결합된 컨텍스트를 나타내는 경우, 변경자 컨텍스트는 후속 선택들이 다르게 동작하게 할 수 있다. 예를 들어, 얼굴 및 대기 렌즈(예를 들어, 얼굴과 대기 둘 다, 또는 얼굴 주위의 분위기의 변경을 야기하는 것)가 동작 중이고 후속 선택이 정면 이미지 캡처 디바이스로부터 후면 이미지 캡처 디바이스로의 변경을 야기하는 경우, 시야는 이전에 선택된 변경자(예를 들어, 렌즈, 필터 또는 애드-온 그래픽 요소들의 세트)의 활성 뷰를 표현하도록 변경될 수 있다. 예를 들어, 사용자가 시야 내에 묘사된 얼굴을 변경하는, 흡연 중인 노인의 오버레이를 생성하는 변경자를 선택한 경우, 후속 선택은 카메라 뷰를 정면 이미지 캡처 디바이스로부터 후면 이미지 캡처 디바이스로 변경할 수 있다. 카메라 뷰의 변경 시에, 현재 동작하는 이미지 캡처 디바이스의 시야가 흡연 중인 노인의 컨텍스트로 프리젠팅되어, 제1 인물 시점으로서 작용한다. 이러한 경우들에서, 변경자 캐러셀은 후속 선택 이전에 변경되지 않은 상태로 남아있을 수 있다.
특정 실시예들에서, 변경자 아이콘의 선택(예를 들어, 탭)은 변경자 캐러셀(804) 내의 변경자 아이콘을 제1 위치(이미지 캡처 요소로부터 이격되어 위치됨)로부터 제2 위치로 이동시킬 수 있다. 제2 위치는 이미지 캡처 요소에 근접할 수 있거나 이미지 캡처 요소 내에 위치될 수 있다. 일부 경우들에서, 변경자 아이콘들은 변경자 아이콘이 이미지 캡처 요소의 내부에 위치될 수 있도록 크기가 정해진다. 변경자 아이콘들이 이미지 캡처 아이콘을 포함하고 하나 이상의 방향으로 이미지 캡처 요소로부터 멀리 연장되는 평면에 정렬되는 것으로 도시되어 있지만, 상이한 프리젠테이션들이 또한 사용될 수 있음을 이해해야 한다. 예를 들어, 변경자 아이콘들은 이미지 캡처 요소 주위에 위치되고, 그로부터 반경 방향 외측으로 연장될 수 있다. 또 다른 예로서, 변경자 아이콘들은 이미지 캡처 요소의 위 또는 아래의 이동가능한 라인에 프리젠팅될 수 있다.
D. 순위지정 및 조직화
본 개시내용의 실시예들은 컴퓨팅 디바이스의 사용자 인터페이스 내에 디스플레이된 변경자 캐러셀 내에서의 이미지 변경자들의 위치들의 순서화를 통해 이미지 변경자들의 사용자를 최대화할 수 있다. 변경자 캐러셀은 변경자 아이콘들 또는 이미지 변경자들의 다른 시각적 표현들을 디스플레이할 수 있다. 이미지 변경자들은 유형, 이용가능성, 우선순위, 용도, 순위지정, 점수지정 등에 따라 변경자 캐러셀 내에서 조직화될 수 있다. 일부 실시예들에서, 이미지 캡처 시스템(160)은 섹션 내 순서화(intra-section ordering), 섹션 간 순서화(inter-section ordering), 및 횡단 순서화(cross-section ordering)를 사용하여 변경자 아이콘들의 프리젠테이션을 최적화한다.
본 명세서에서 사용되는 섹션 내 순서화는 특정한 이미지 변경자 섹션 또는 그룹핑 내에서 이미지 변경자들의 순서를 변경하는 것을 의미한다. 변경은 섹션 내의 하나 이상의 이미지 변경자의 위치 변경을 포함할 수 있다. 본 명세서에서 사용되는 섹션 간 순서화는 전체 섹션 또는 그룹의 순서를 변경하는 것을 의미한다. 변경은 복수의 섹션의 순서 내에서의 하나 이상의 섹션의 위치 변경을 포함할 수 있다. 예를 들어, 이미지 변경자들의 전체 섹션이 변경자 캐러셀 내의 한 위치로부터 다른 위치로 이동된다. 본 명세서에서 사용되는 횡단 순서화는 하나의 섹션 내에서의 이미지 변경자의 순서 및 다른 섹션 내에서의 이미지 변경자의 순서를 변경하는 것을 의미한다. 변경은 단일 이미지 변경자를 그것의 초기 섹션으로부터 벗어나서 다른 섹션 내의 위치에 이동시키는 위치 변경을 포함할 수 있다.
일부 실시예들에서, 이미지 캡처 시스템(160)은 섹션 내, 섹션 간, 및 횡단 순서화를 다루기 위한 포인트별 순위지정 승인(pointwise ranking approve)을 구현한다. 따라서, 이미지 캡처 시스템(160)은 점수지정된 요소들(즉, 이미지 변경자들 및 섹션들/그룹들)의 임의의 세트들을 병합 및 분류할 수 있다. 이미지 캡처 시스템(160)은 클라이언트 디바이스(110)가 이미지 변경자들을 이용할 수 있게 하는 캐시 서브시스템 내의 이미지 변경자들의 병합 및 순서화를 제공하는 프리캐시 서브시스템을 포함할 수 있다. 연관된 우선순위 {f1: 90, f2: 80, f3: 30}를 갖는 이미지 변경자들의 시나리오를 고려하여, 순서화는 다른 소스로부터 수신된 데이터 {f4: 50}와 병합되어, 순서화된 목록 {f1: 90, f2: 80, f4: 50, f3: 30}을 정렬하고 생성할 수 있다. 포인트별 방식은 디버그하기 쉬운 점수(easy to debug score)를 제공한다(예를 들어, 하나의 이미지 변경자가 왜 다른 변경자 위에 보이는가? 이 이미지 변경자가 왜 최초로 보이는가? 그것의 점수가 0.9인 반면에, 다른 것의 점수는 0.8이기 때문에). 포인트별 방식은 또한 필요한 경우, 특정한 연역적인 "엄선한" 커스텀 점수들(specific a-priori "hand-picked" custom scores)을 허용한다. 이것은 설계/파트너쉽 등에 의해 요청될 때와 같이, 이미지 변경자를 특정 위치에 명시적으로 강제하는 시나리오를 가능하게 할 수 있다.
일부 실시예들에서, 이미지 캡처 시스템(160)은 쌍별 순위지정 방법들(pairwise ranking methodologies)을 구현한다. 이것은 클라이언트로 하여금, 나중에 전달될 이미지 변경자들에 대해서까지도, 모든 쌍별 비교를 계산하거나 캐시할 것을 요구할 수 있다. 그러나, 쌍별 순위지정은 이미지 변경자들을 순서화하기 위한 단일 차원에 구속되지 않으며, 이는 복수의 차원을 사용할 수 있다.
섹션 내 순위 평가들을 구현하기 위해, 이미지 캡처 시스템(160)은 단일 선택 사용 순위지정 목록들에 대해 구축된 변경된 역순위 평균(mean reciprocal rank)(MMR)을 사용할 수 있다. 일반적으로, 역순위 평균은 정확성의 확률에 의해 순서화된 질의들의 샘플에 대한 가능한 응답 목록을 생성하는 임의의 프로세스를 평가하기 위한 통계적 척도이다. 질의 응답의 역순위는 제1의 정확한 정답의 순위의 역수(multiplicative inverse)이다. 역순위 평균은 질의들의 샘플 Q에 대한 결과들의 역순위들의 평균이다:
Figure pct00001
MRR은 주어진 k개 초과의 이용가능한 필터의 최상위 k개에서의 이용을 허용하는 이진 신호를 고려하도록 변경될 수 있다. 이러한 목표는 최적화 기준으로 매우 잘 맵핑된다. 특정 이벤트가 선택될 수 있고, 임의의 개선이 있는지 여부를 결정하기 위해 복수의 값(예를 들어, k = 2 또는 k = 3)이 추적된다. 추가로, k개 초과의 필터가 스와이프된 시나리오들에서의 MRR은 우선순위화될 수 있다. 주어진 이용가능한 4개 또는 40개의 필터 중 상위 k개에서의 사용은 추가의 추적을 제한할 수 있다.
섹션 간 순위 평가들을 구현하기 위해, 이미지 캡처 시스템(160)은 섹션 내 시나리오와 섹션 간 시나리오 사이의 핵심적인 차이들을 고려할 수 있다. 섹션 내 시나리오와 섹션 간 시나리오 사이의 핵심적인 차이들은 섹션 간 순서화가 약 20x 일일 신호(daily signal)(~15M 대 ~300M)를 갖는다는 사실을 포함하며, 이는 개선에서의 큰 이득을 위한 더 분명한 기회를 제공한다. 다른 것은 일부 사용자가 섹션 순서화에 대한 예상을 이미 갖고 있는 경우를 포함할 수 있다. 마지막으로, 사용자가 복수의 이미지 변경자를 적용하는 것이 기술적으로 가능하다. 이러한 상황에서, 이미지 캡처 시스템(160)은 세션을 더티(dirty)로 표시하거나, 세션 내에서 각각의 애플리케이션을 개별적으로 취급할 수 있다.
섹션들 {s1, s2, s3, s4, s5}의 순서가 주어지고 미디어 콘텐츠 항목에 넣을 1개 또는 0개의 이미지 변경자를 선택하는 사용자에 의한 상호작용을 수신하면, 이미지 캡처 시스템(160)은 순서를 평가할 수 있다. 첫째, 이미지 캡처 시스템(160)은 스와이프(전환)를 위해 전역적 필터 사용을 최대화할 수 있다. 둘째, MRR은 섹션 간 순위지정 시나리오와는 달리, (예를 들어, 비디오 및 모션에 대해) 통상적으로 변경자 캐러셀 내에서 고정된 수의 섹션이 제한되는 경우에 적용될 수 있다. 셋째, MAP(mean average position)는 상이한 섹션들로부터 복수의 필터를 적용하는 것이 가능한 경우에 적용될 수 있다. 이미지 캡처 시스템(160)은 전체 변경자 캐러셀에 걸쳐 평균 정밀도를 계산할 수 있다.
횡단 순위 평가들을 구현하기 위해, 이미지 캡처 시스템(160)은 섹션 내 순위지정 시나리오에 대해 동형 문제(isomorphic problem)로 단순화하고 유사한 방식으로 평가될 수 있다.
이미지 캡처 시스템(160)은 이하의 메트릭들을 이용하여, 상이한 차원들에서 이미지 변경자들의 순위를 지정할 수 있다:
촬영된/송신된 스냅의 총 수(전체 앱 참여를 추적).
변경자 캐러셀 내로의 스와이프의 총 수(캐러셀 인지에 대한 영향을 추적).
스와이프의 총 수(이미지 변경자들에 대한 사용자 액세스를 추적/확인). 이미지 캡처 디바이스(160)는 사용자가 선택 또는 애플리케이션 이벤트에 도달하기 위해 취하는 스와이프들의 시퀀스를 추적할 수 있다. 이미지 캡처 디바이스(160)는 어떤 순서로, 어떤 이미지 변경자들이 보여진 반면, 어떤 이미지 변경자들이 보여지지 않았는지를 결정할 수 있다.
적용된(즉, 사용된) 이미지 변경자들의 총 수(전체 캐러셀 참여에 대한 영향을 추적하고 범주에 의해 분류).
전체 필터 변환율(미디어 콘텐츠 항목에 대한 캐러셀의 전역적 관련성을 추적, 필터를 선택/필터 위로 스와이프).
후원되는 광고 노출 횟수들(impressions)(스와이프/사용/뷰)(금전화할 수 있는 메트릭에 대한 잠재적인 영향을 추적).
후원되는 범위[고유성(Uniques)](브랜드 인지도 도구로서의 이미지 변경자들에 대한 잠재적인 영향을 추적).
이미지 캡처 시스템(160)은 변경자 캐러셀 내의 이미지 변경자의 순서에 연관된 클라이언트 디바이스(110)에 대한 개념을 제공하는 이미지 변경자에 대한 점수를 결정할 수 있다. 이미지 캡처 시스템(160)은 사용(송신/게시) 및 스와이프(필터/지오필터/방향/시퀀스) 메트릭을 업데이트하여, 순서에 연관된 'filter_score' 를 가질 수 있다. 상이한 시간들에서의 사용자들은 잠재적으로 상이한 점수들을 가질 것이므로, 이미지 캡처 시스템(160)은 스와이프에 대한 점수들을 로그하여 복수의 상이한 소스에 대해 사후 참여해야만 하는 것을 방지할 수 있다.
일부 실시예들에서, 이미지 캡처 시스템(160)은 예를 들어 0과 10,000 사이의 "순서 키 공간"을 생성한다. 각각의 이미지 변경자는 키 공간 내의 임의의 숫자에 맵핑될 수 있다. 또한, 각각의 이미지 변경자는 키 공간 내의 위치와 상관된 기본 "필터 범주" 점수와 결합된 상대적 "점수"를 할당받을 수 있다.
도 9는 몇몇 실시예들에서의 예시적인 기본 점수 배열을 나타내는 테이블(900)이다. 미디어 콘텐츠 항목들을 디스플레이하는 사용자 인터페이스에 대한 사용자 상호작용을 수신하면, 이미지 캡처 시스템(160)은 점수에 의해 이미지 변경자들을 분류하고, 선택된 필터들을 변경자 캐러셀에 로딩할 수 있다. 이미지 변경자가 동적으로 그리고 사용자 상호작용 이후에 변경자 캐러셀에 로딩되는 경우, 이미지 캡처 시스템(160)은 세션을 "더티"로 표시하여, 특정 이미지 변경자들의 추가의 순위 변경들을 제한할 수 있다.
도 10은 몇몇 실시예에서의 예시적인 디폴트 점수 배열을 나타내는 테이블(1000)이다. 다양한 실시예들에서, 이미지 캡처 시스템(160)은 규칙 세트를 적용하거나 기계 학습을 구현하여, 각각의 이미지 변경자의 총 점수를 어떻게 변경할지를 결정할 수 있다. 이미지 캡처 시스템(160)은 섹션 내 순위들에 대한 변경자 캐러셀에서의 동적 변경을 제공하는 상이한 상대적 점수들을 결정할 수 있다. 이미지 캡처 시스템(160)은 섹션 간 순위들에 대한 변경자 캐러셀에서의 동적 변경을 제공하는 상이한 기본 점수들을 결정할 수 있다. 이미지 캡처 시스템(160)은 횡단 순위들에 대한 변경자 캐러셀에서의 동적 변경들을 제공하는 기존 범주로서 상이한 범주를 할당할 수 있거나 상이한 기본 점수를 할당할 수 있다.
이미지 캡처 시스템(160)은 예를 들어 이미지 변경자의 기본 점수를 0으로부터 3000으로 이동시키는 필터 유형 기본 점수 오버라이드들을 지정하는 명령어들을 소셜 메시징 시스템(130)으로부터 수신할 수 있다. 이미지 캡처 시스템(160)은 개별 필터 점수들을 지정하는 명령어들을 소셜 메시징 시스템(130)으로부터 수신할 수 있다(즉, 얼굴 평활화 필터는 -1의 점수를 가져서, 그것의 집계 점수가 7999로 되고, 최종 시각적 필터는 왼쪽으로부터 오른쪽으로 순서화됨). 따라서, 클라이언트 디바이스에 의해 유지되는 디폴트 키 공간은 소셜 메시징 시스템(130)을 통해 동적으로 오버라이드가능할 수 있다.
일부 실시예들에서, 하나 이상의 변경자 세트에 포함된 이미지 변경자들의 식별 및 순서화는 사용자 의도를 1차 순서화 메커니즘으로서 사용하고, 변경자 세트의 끝에 첨부된 추가 이미지 변경자들을 포함한다. 예를 들어, 사용자의 의도는 1차 순서화 특성일 수 있다. 이러한 예에서, 이미지 캡처 디바이스의 시야 내의 하늘의 선택을 수신하면, 이미지 캡처 시스템(160)은 변경자 캐러셀 내에서 하늘에 대한 변경자들을 우선 선택하고 순서화하게 된다. 1차 순서화 특성에 따라 드러난 필터들은 1차 의도 변경자들 X1 - Xn일 수 있다. 이미지 캡처 시스템(160)은 1차 의도 변경자들 X1 - Xn의 순서화된 목록의 끝에 추가 변경자들을 첨부한다. 예를 들어, 로고를 선택하면, 이미지 캡처 시스템(160)은 로고는 물론 월드 변경자들에 연관된 변경자들을 드러내게 된다. 월드 변경자들은 이미지 캡처 시스템(160) 내에서 다른 변경자들의 발견가능성을 증가시키고 일관된 사용자 인터페이스 경험을 제공하기 위해 드러날 수 있다.
이러한 실시예들에서, 먼저 사용자 의도의 표시를 사용하여 이미지 변경자 세트 및 이미지 변경자들의 순서가 결정되어, 위에서 설명된 1차 의도 변경자들을 드러내고 우선순위화할 수 있다. 일부 경우들에서, 1차 의도 변경자들은 동작들(430 및 440)에 대해 기술된 것과 유사하거나 동일한 방식으로 드러나고 순서화될 수 있다. 이미지 캡처 시스템(160)은 이미지 변경자들을 순서화함에 있어서, 이미지 변경자 세트가 특정 지오로케이션에 연관된 이미지 변경자를 포함하는지를 결정할 수 있고, 지오로케이션 변경자를 제1 위치에 배치할 수 있다. 이미지 변경자 세트가 후원되는 변경자를 또한 포함하는 경우, 후원되는 변경자가 제2 위치에 배치될 수 있다. 이미지 변경자 세트의 나머지 이미지 변경자들은 후원되는 변경자 이후에 나타나는 위치에 배치될 수 있다. 나머지 이미지 변경자들은 최신의 것이 처음에 오는 것과 같은 순위지정 알고리즘, 인기도 기반 순서화 알고리즘, 특성 기반 순서화 알고리즘, 또는 임의의 다른 적절한 순위지정 또는 순서화 체계를 사용하여 순서화될 수 있다. 이미지 변경자 세트 내의 최종 이미지 변경자 이후에, 이미지 캡처 시스템(160)은 하나 이상의 월드 변경자를 첨부할 수 있다. 월드 변경자들은 위에서 설명된 것과 같은 변경자들을 순서화하기 위한 것과 동일한 또는 유사한 규칙들을 사용하여 순서화될 수 있다. 일부 경우들에서, 로고, 또는 다른 명시적으로 식별된 마크 또는 표현 상에서의 선택에 의해 트리거되는 이미지 변경자들은, 이미지 변경자들이 지오로케이션 요소를 충족시키는 첨부된 월드 변경자들의 그룹에 포함될 수 있다.
E. 우선순위화된 필터 전달
다양한 실시예들에서, 소셜 메시징 시스템(130)은 이미지 캡처 시스템(160)에의 이미지 변경자들의 전달을 우선순위화할 수 있고, 그에 의해 관련성/성능에 기초하여 전달을 최적화한다. 소셜 메시징 시스템(130)은 동일한 지오펜스 내의 모든 사용자가 동일한 이미지 변경자 세트에 액세스할 것을 보장할 수 있다.
F. 모듈, 컴포넌트, 및 로직
소정 실시예들은, 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 컴포넌트들은 하드웨어 컴포넌트들을 구성할 수 있다. "하드웨어 컴포넌트"는, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하드웨어 컴포넌트(예를 들어, 적어도 하나의 하드웨어 프로세서, 프로세서, 또는 프로세서 그룹)은, 본 명세서에서 설명된 소정의 동작들을 수행하도록 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성된다.
일부 실시예들에서, 하드웨어 컴포넌트는, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현된다. 예를 들어, 하드웨어 컴포넌트는 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, 범용 프로세서 또는 다른 프로그램가능 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 컴포넌트를 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.
따라서, "하드웨어 컴포넌트"라는 구문은, 소정 방식으로 동작하거나 본 명세서에서 설명된 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나[예를 들어, 물리결선된(hardwired)], 또는 일시적으로 구성된(예를 들어, 프로그램된) 유형 엔티티(tangible entity)를 포괄하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 컴포넌트"란 하드웨어 컴포넌트를 말한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려할 때, 하드웨어 컴포넌트들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서(예를 들어, 상이한 하드웨어 컴포넌트들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다. 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 한 시점에서는 특정한 하드웨어 컴포넌트를 구성하고 상이한 시점에서 상이한 하드웨어 컴포넌트를 구성할 수 있다.
하드웨어 컴포넌트는 다른 하드웨어 컴포넌트들에 정보를 제공하고 이로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 컴포넌트가 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 컴포넌트들 사이에서(예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 컴포넌트들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 컴포넌트들 사이의 통신은, 예를 들어, 복수의 하드웨어 컴포넌트들이 액세스하는 메모리 구조 내의 정보의 저장 및 회수를 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장한다. 그 다음, 또 다른 하드웨어 컴포넌트는, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 컴포넌트는 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.
본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록(예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 프로세서들에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 본 명세서에서 설명된 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 컴포넌트들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 컴포넌트"란 프로세서를 이용하여 구현된 하드웨어 컴포넌트를 말한다.
유사하게, 본 명세서에서 설명된 방법들은 적어도 부분적으로 프로세서-구현될 수 있고, 여기서, 특정한 프로세서 또는 프로세서들은 하드웨어의 한 예이다. 예를 들어, 방법의 동작들 중 적어도 일부분은 프로세서 또는 프로세서-구현된 컴포넌트에 의해 수행될 수 있다. 게다가, 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어(software as a service)"(SaaS)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부분은, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷) 및 적절한 인터페이스[예를 들어, 애플리케이션 프로그램 인터페이스(API)]를 통해 액세스가능하다.
특정 동작들의 수행은, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치된, 프로세서들 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 단일의 지리적 로케이션에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치한다. 다른 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 다수의 지리적 로케이션에 걸쳐 분산된다.
G. 애플리케이션들
도 11은, 일부 실시예에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 기타의 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(1100)를 나타낸다. 한 실시예에서, 모바일 디바이스(1100)는 사용자(1102)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(1102)는 모바일 디바이스(1100)를 물리적으로 터치(1104)할 수 있고, 터치(1104)에 응답하여, 모바일 디바이스(1100)는, 터치 로케이션, 터치 힘, 또는 제스쳐 모션과 같은 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(1100)는 애플리케이션을 론칭하거나 모바일 디바이스(1100)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(1106)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예에서, 홈 스크린(1106)은, 배터리 수명, 접속성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(1102)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(1102)는 모바일 디바이스(1100)의 애플리케이션과 상호작용한다. 예를 들어, 홈 스크린(1106)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.
모바일 디바이스(1100)는, 도 11에 도시된 바와 같이, 촬영 디바이스(1108)를 포함한다. 촬영 디바이스는, 비디오 스트림 또는 하나 이상의 연속적인 이미지를 캡처할 수 있는 모바일 디바이스(1100)에 결합된 카메라 또는 기타 임의의 디바이스일 수 있다. 촬영 디바이스(1108)는 이미지 캡처 시스템(160) 또는 선택가능한 사용자 인터페이스 요소에 의해 트리거되어 비디오 스트림 또는 일련의 프레임들의 캡처를 개시하고 비디오 스트림 또는 일련의 이미지들을 본 개시내용에서 설명된 하나 이상의 방법에 따라 처리하기 위해 이미지 캡처 시스템(160)에 전달할 수 있다.
네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, "앱들"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(1100) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(1100)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치확인 앱, 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(1100)는, 일부 실시예에 따라, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(1110)을 포함한다. 이 예에서, 소셜 메시징 앱(1110)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 소셜 메시징 애플리케이션은 사용자 및 소셜 메시징 애플리케이션에 의해 생성된 단기 미디어 갤러리를 포함한다. 이러한 갤러리는, 사용자에 의해 게시되고 사용자의 연락처(예를 들어, "친구")가 볼 수 있는 비디오 또는 사진으로 구성될 수 있다. 대안으로서, 공개 갤러리는, 애플리케이션의 임의의 사용자로부터의(및 모든 사용자에 의해 액세스가능한) 미디어로 구성된 소셜 메시징 애플리케이션의 관리자에 의해 생성될 수 있다. 역시 또 다른 실시예에서, 소셜 메시징 애플리케이션은, 소셜 메시징 애플리케이션의 플랫폼 상의 발행자에 의해 생성되고 임의의 사용자에 의해 액세스될 수 있는 기사 및 기타의 콘텐츠로 구성된 "잡지" 피처를 포함할 수 있다. 이들 환경들 또는 플랫폼들 중 임의의 것이 본 발명의 개념을 구현하는 데 이용될 수 있다.
일부 실시예들에서, 단기 메시지 시스템은, 시청 시간 또는 시청 완료 등의 삭제 트리거 이벤트에 후속하여 삭제되는 단기 비디오 클립 또는 이미지를 갖는 메시지를 포함할 수 있다. 이러한 실시예에서, 이미지 캡처 시스템(160)을 구현하는 디바이스는, 단기 비디오 클립이 디바이스에 의해 캡처되고 단기 비디오 클립을 단기 메시지 시스템을 이용하여 또 다른 디바이스에 전송할 때, 단기 비디오 클립 내의 얼굴을 식별, 추적, 추출 및 그 표현을 생성할 수 있다.
H. 소프트웨어 아키텍처
도 12는 전술된 디바이스들 상에 설치될 수 있는 소프트웨어의 아키텍처(1202)를 나타내는 블록도(1200)이다. 도 12는 소프트웨어 아키텍처의 비제한적 예일 뿐이고, 본 명세서에서 설명된 기능을 용이화하기 위해 많은 다른 아키텍처가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1202)는, 프로세서(1310), 메모리(1330), 및 I/O 컴포넌트(1350)를 포함하는 도 13의 머신(1300) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍처에서, 소프트웨어(1202)는 각각의 계층이 특정한 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1202)는, 운영 체제(1204), 라이브러리(1206), 프레임워크(1208), 및 애플리케이션(1210) 등의 계층들을 포함한다. 동작상, 애플리케이션(1210)은, 일부 실시예에 따라, 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 호출(1212)을 기동하고, API 호출(1212)에 응답하여 메시지(1214)를 수신한다.
다양한 구현에서, 운영 체제(1204)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1204)는, 예를 들어, 커널(1220), 서비스(1222) 및 드라이버(1224)를 포함한다. 커널(1220)은 일부 실시예에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1220)은, 다른 기능성들 중에서, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스(1222)는 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예에 따라, 드라이버(1224)는 기저 하드웨어를 제어하거나 이와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버(1224)는, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.
일부 실시예들에서, 라이브러리(1206)는 애플리케이션(1210)에 의해 이용되는 로우 레벨 공통 인프라스트럭처를 제공한다. 라이브러리(1206)는, 메모리 할당 함수, 문자열 조작 함수, 수학 함수 등의 함수를 제공할 수 있는 시스템 라이브러리(1230)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리(1206)는, 미디어 라이브러리[예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포멧의 프리젠테이션과 조작을 지원하는 라이브러리들] 그래픽 라이브러리[예를 들어, 그래픽 콘텐츠를 디스플레이 상에서 2차원(2D) 및 3차원(3D)으로 렌더링하는 데 이용되는 OpenGL 프레임워크], 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1232)를 포함할 수 있다. 라이브러리(1206)는 또한, 많은 다른 API를 애플리케이션(1210)에 제공하는 광범위한 다른 라이브러리(1234)를 포함할 수 있다.
프레임워크(1208)는 일부 실시예에 따라 애플리케이션(1210)에 의해 이용될 수 있는 하이 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크(1208)는, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 자원 관리, 하이-레벨 위치확인 서비스 등을 제공한다. 프레임워크(1208)는 애플리케이션(1210)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼 특유일 수 있다.
한 예시적인 실시예에서, 애플리케이션(1210)은, 홈 애플리케이션(1250), 연락처 애플리케이션(1252), 브라우저 애플리케이션(1254), 북 리더 애플리케이션(1256), 로케이션 애플리케이션(1258), 미디어 애플리케이션(1260), 메시징 애플리케이션(1262), 게임 애플리케이션(1264), 및 제3자 애플리케이션(1266) 등의 광범위한 애플리케이션을 포함한다. 일부 실시예에 따르면, 애플리케이션(1210)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션(1210)을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1266)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(software development kit)(SDK)를 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® PHONE, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1266)은 본 명세서에서 설명된 기능을 용이화하기 위해 운영 체제(1204)에 의해 제공되는 API 호출(1212)을 기동할 수 있다.
I. 예시적인 머신 아키텍처 및 머신-판독가능한 매체
도 13은, 머신-판독가능한 매체(예를 들어, 비-일시적 프로세서-판독가능한 저장 매체 또는 프로세서-판독가능한 저장 디바이스)로부터 명령어들(예를 들어, 프로세서-실행가능한 명령어들)을 판독하여 본 명세서에서 논의된 방법론들 중 임의의 것을 수행할 수 있는, 일부 실시예에 따른 머신(1300)의 컴포넌트들을 나타내는 블록도이다. 구체적으로, 도 13은 예시적인 형태의 컴퓨터 시스템으로 된 머신(1300)의 개략적 표현을 도시하며, 머신 내부에서, 머신(1300)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령어들(1316)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)이 실행될 수 있다. 대안적인 실시예에서, 머신(1300)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1300)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1300)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋톱박스(STB), PDA(personal digital assistant), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1300)에 의해 취해질 동작들을 명시하는 명령어들(1316)을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 또한, 단 하나의 머신(1300)이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하기 위해 명령어들(1316)을 개별적으로 또는 공동으로 실행하는 머신들의 집합체(1300)를 포함하는 것으로 간주되어야 한다.
다양한 실시예에서, 머신(1300)은, 버스(1302)를 통해 서로 통신하도록 구성될 수 있는 프로세서(1310), 메모리(1330), 및 I/O 컴포넌트(1350)를 포함한다. 한 예시적인 실시예에서, 프로세서(1310)[예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(Digital Signal Processor)(DSP), 주문형 집적 회로(Application Specific Integrated Circuit)(ASIC), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합]는, 예를 들어, 명령어(1316)를 실행할 수 있는 프로세서(1312) 및 프로세서(1314)를 포함한다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서("코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 13은 복수의 프로세서를 도시하지만, 머신(1300)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
일부 실시예에 따르면, 메모리(1330)는, 버스(1302)를 통해 프로세서(1310)가 액세스할 수 있는, 메인 메모리(1332), 정적 메모리(1334), 및 저장 유닛(1336)을 포함한다. 저장 유닛(1336)은, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 것을 구현하는 명령어들(1316)이 저장되는 머신-판독가능한 저장 매체(1338)를 포함할 수 있다. 명령어들(1316)은 또한, 머신(1300)에 의한 그 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1332) 내에, 정적 메모리(1334) 내에, 프로세서들(1310) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에 존재할 수 있다. 따라서, 다양한 실시예에서, 메인 메모리(1332), 정적 메모리(1334), 및 프로세서들(1310)은 머신-판독가능한 매체(1338)로서 간주된다.
본 명세서에서 사용될 때, "메모리"라는 용어는, 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신-판독가능한 매체(1338)를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하지만 이것으로 제한되지 않는 것으로 간주된다. 머신-판독가능한 매체(1338)가 예시적인 실시예에서 단일 저장 매체인 것으로 도시되어 있지만, "머신-판독가능한 매체"라는 용어는 명령어(1316)를 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 또한, 명령어들이, 머신(1300)의 프로세서들[예를 들어, 프로세서들(1310)]에 의해 실행될 때, 머신(1300)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 것을 수행하게 하도록, 머신[예를 들어, 머신(1300)]에 의한 실행을 위한 명령어[예를 들어, 명령어(1316)]를 저장할 수 있는 임의의 매체 또는 복수의 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 매체"란, 단일의 저장 장치 또는 디바이스 뿐만 아니라, 복수의 저장 장치 또는 디바이스를 포함하는 "클라우드-기반" 저장 시스템 또는 저장 네트워크를 말한다. "머신-판독가능한 매체"라는 용어는, 그에 따라, 솔리드-스테이트 메모리(예를 들어, 플래시 메모리), 광학 매체, 자기 매체, 기타의 비휘발성 메모리[예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EPROM)], 또는 이들의 임의의 적절한 조합의 형태로 된 데이터 저장소를 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 구체적으로 비합법적인 신호들을 그 자체로서 배제한다.
I/O 컴포넌트들(1350)은, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하며, 정보를 교환하고, 측정치를 캡처하는 등을 수행하는 다양한 컴포넌트를 포함한다. 일반적으로, I/O 컴포넌트들(1350)은 도 13에 도시되지 않은 많은 다른 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트들(1350)은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트(1350)는 출력 컴포넌트(1352) 및 입력 컴포넌트(1354)를 포함한다. 출력 컴포넌트들(1352)은, 시각적 컴포넌트[예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube) 등의 디스플레이], 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터), 기타의 신호 생성기 등을 포함한다. 입력 컴포넌트들(1354)은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 사진-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 기타의 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버튼, 터치 또는 터치 제스쳐의 로케이션 및 힘을 제공하는 터치 스크린, 또는 기타의 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.
일부 추가의 예시적인 실시예에서, I/O 컴포넌트들(1350)은, 특히, 바이오메트릭 컴포넌트(1356), 모션 컴포넌트(1358), 환경 컴포넌트(1360), 또는 위치 컴포넌트(1362)를 포함한다. 예를 들어, 바이오메트릭 컴포넌트(1356)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 입 제스쳐)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함한다. 모션 컴포넌트(1358)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트(1360)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 노이즈를 검출하는 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 가스 센서 컴포넌트(예를 들어, 머신 후각 검출 센서, 안전을 위해 위험한 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함한다. 위치 컴포넌트(1362)는, 로케이션 센서 컴포넌트[예를 들어, GPS(Global Positioning System) 수신기 컴포넌트], 고도 센서 컴포넌트(예를 들어, 고도가 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함한다.
통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트들(1350)은, 머신(1300)을 각각 결합(1382) 및 결합(1372)을 통해 네트워크(1380) 또는 디바이스(1370)에 결합하도록 동작가능한 통신 컴포넌트(1364)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1364)는 네트워크 인터페이스 컴포넌트 또는 네트워크(1380)와 인터페이스하기에 적절한 또 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트(1364)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스(1370)는, 또 다른 머신 또는 임의의 다양한 주변 디바이스[예를 들어, USB(Universal Serial Bus)를 통해 결합된 주변 디바이스]일 수 있다.
게다가, 일부 실시예들에서, 통신 컴포넌트(1364)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함한다. 예를 들어, 통신 컴포넌트(1364)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트[예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서], 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함한다. 또한, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 로케이션, WI-FI® 신호 삼각측량을 통한 로케이션, 특정한 로케이션을 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 로케이션 등의 다양한 정보가 통신 컴포넌트(1364)를 통해 도출될 수 있다.
J. 전송 매체
다양한 예시적인 실시예에서, 네트워크(1380)의 부분들은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(Metropolitan Area Network)(MAN), 인터넷, 인터넷의 일부, PSTN(public switched telephone network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1380) 또는 네트워크(1380)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1382)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1382)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 4G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.
예시적인 실시예에서, 명령어들(1316)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1364)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 프로토콜들 중 임의의 하나[예를 들어, 하이퍼텍스트 전송 프로토콜(HTTP)]를 이용하여 네트워크(1380)를 통해 전송되거나 수신된다. 유사하게, 다른 예시적인 실시예에서, 명령어들(1316)은 디바이스(1370)에 대한 결합(1372)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신된다. "전송 매체"라는 용어는, 머신(1300)에 의한 실행을 위한 명령어(1316)를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 용이화하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주되어야 한다.
또한, 머신-판독가능한 매체(1338)는 전파 신호를 구현하지 않는다는 점에서 비-일시적이다(즉, 어떠한 일시적 신호도 갖지 않는다). 그러나, 머신-판독가능한 매체(1338)를 "비-일시적"이라고 하는 것은 매체가 이동할 수 없음을 의미하는 것으로 해석되어서는 안 되고; 매체는 한 물리적 로케이션으로부터 또 다른 로케이션으로 이동될 수 있는 것으로 간주되어야 한다. 추가로, 머신-판독가능한 매체(1338)는 유형이므로, 매체는 머신-판독가능한 디바이스로 간주될 수 있다.
K. 용어
본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트들, 동작들 또는 구조들을 구현할 수 있다. 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.
본 발명의 주제에 대한 개요가 특정한 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은, 본 명세서에서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.
본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자가 본 명세서에서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.
본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 컴포넌트, 엔진 및 데이터 저장소들 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 정황에서 예시된 것이다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원들로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 시스템으로서,
    프로세서;
    상기 프로세서에 결합되는 사용자 인터페이스 - 상기 사용자 인터페이스는 입력 디바이스 및 디스플레이 스크린을 포함함 -; 및
    상기 프로세서에 결합되고, 명령어들을 저장하는 메모리
    를 포함하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 시스템으로 하여금:
    미디어 콘텐츠 항목을 수신하는 동작;
    상기 사용자 인터페이스의 상기 입력 디바이스를 통해 사용자로부터 상기 미디어 콘텐츠 항목과의 상호작용을 수신하는 동작;
    상기 미디어 콘텐츠 항목과의 상호작용에 기초하여, 미디어 오버레이 세트(a set of media overlays)를 식별하는 동작 - 각각의 개별 미디어 오버레이는 개별 미디어 콘텐츠 항목에 대해 범주 식별자 및 상기 범주 식별자와 호환가능한 하나 이상의 범주의 목록을 포함하고, 상기 미디어 오버레이 세트 내의 모든 미디어 오버레이는 호환가능한 범주 식별자들을 가짐 -; 및
    상기 사용자 인터페이스의 상기 디스플레이 스크린을 통해, 상기 미디어 오버레이 세트로부터의 미디어 오버레이들의 캐러셀(carousel)을 프리젠팅하는 동작
    을 포함하는 동작들을 수행하게 하는 시스템.
  2. 제1항에 있어서, 상기 미디어 오버레이 세트를 식별하는 동작은, 상기 미디어 콘텐츠 항목과의 상호작용에 기초하여 변경자 컨텍스트를 결정하는 동작을 포함하고, 상기 변경자 컨텍스트는 상기 미디어 콘텐츠 항목을 변경하는 것과 관련하여 상기 사용자의 의도의 결정과 연관되는 시스템.
  3. 제2항에 있어서, 상기 변경자 컨텍스트를 결정하는 동작은, 상기 시스템의 지오로케이션, 하루 중 시간, 날씨 데이터의 세트, 상기 미디어 콘텐츠 항목 내에 묘사된 얼굴, 상기 미디어 콘텐츠 항목 내에 묘사된 미리 결정된 인물 세트의 인물, 자연적 피처 추적 식별(natural feature tracking identification), 엔티티를 식별하는 표현 심볼, 이벤트를 식별하는 표현 심볼, 제품을 식별하는 표현 심볼, 스폰서쉽, 상기 시스템의 배향, 상기 시스템의 이동, 상기 미디어 콘텐츠 항목 내에 묘사된 객체 유형, 지정된 변경자에 적용된 잠금해제 코드, 상기 시스템에 대한 이미지 캡처 디바이스 위치, 변경자 인기도 점수 중 하나 이상을 포함하는 컨텍스트 표시자에 기초하는 시스템.
  4. 제2항에 있어서, 상기 변경자 컨텍스트는, 렌즈, 이미지 변경자, 필터 범주, 및 활성자 유형 중 하나 이상을 포함하는 시스템.
  5. 제2항에 있어서, 상기 변경자 컨텍스트와 일치하는 범주 식별자를 갖는 상기 미디어 오버레이 세트 내의 미디어 오버레이들은 상기 변경자 컨텍스트와 일치하는 범주 식별자를 갖지 않는 상기 미디어 오버레이 세트 내의 미디어 오버레이들 앞에 순서화되는 시스템.
  6. 제2항에 있어서, 상기 미디어 오버레이 세트 내의 미디어 오버레이들은 규칙 세트에 기초하여 순서화되고, 상기 규칙 세트는 우선순위 결정, 스폰서쉽 결정 및 잠금해제 결정 중 하나 이상을 포함하는 시스템.
  7. 제2항에 있어서, 상기 미디어 오버레이 세트를 식별하는 동작은, 상기 변경자 컨텍스트에 기초하여, 복수의 범주 식별자를 갖는 상기 미디어 오버레이 세트로부터의 미디어 오버레이를 제외하는 동작을 포함하는 시스템.
  8. 제1항에 있어서, 상기 미디어 오버레이들의 캐러셀은 우선순위화된 목록으로 프리젠팅되고, 상기 미디어 오버레이들의 캐러셀 내의 각각의 개별 미디어 오버레이는 상기 개별 미디어 오버레이의 하나 이상의 개별 특성에 기초하여 순서화되고, 상기 개별 특성들은 이용가능성, 관련성, 우선순위, 및 성능 중 하나 이상을 포함하는 시스템.
  9. 제8항에 있어서, 상기 미디어 오버레이들의 캐러셀 내의 각각의 개별 미디어 오버레이는, 상기 개별 미디어 오버레이가 사용되는 횟수, 미디어 오버레이가 무시되는 횟수, 이미지 변경자가 사용되는 때, 미디어 오버레이가 무시되는 시간, 사용 컨텍스트, 미디어 오버레이가 사용될 수 있는 로케이션, 미디어 오버레이가 사용될 수 없는 로케이션, 사용자 프로파일 정보, 및 사용자에 대한 소셜 연결 정보 중 하나 이상에 기초하여 추가로 순서화되는 시스템.
  10. 제1항에 있어서, 상기 범주 식별자들은, 얼굴 변경자, 분위기 변경자, 지면 변경자, 얼굴 교환 변경자, 감정 변경자, 및 의상 변경자 중 하나 이상을 포함하는 시스템.
  11. 제1항에 있어서, 상기 시스템은 미디어 오버레이들의 복수의 캐러셀을 식별하고 프리젠팅하며, 미디어 오버레이들의 각각의 캐러셀은 상이한 범주에 연관되는 시스템.
  12. 제1항에 있어서, 상기 미디어 오버레이 세트 내의 미디어 오버레이는 복수의 범주 식별자에 연관되는 시스템.
  13. 제1항에 있어서, 상기 미디어 오버레이들의 캐러셀을 프리젠팅하는 동작은 상기 디스플레이 스크린 상에서 상기 캐러셀 내의 각각의 개별 미디어 오버레이에 대한 개별 선택가능한 시각적 표현을 프리젠팅하는 동작을 포함하는 시스템.
  14. 제13항에 있어서, 상기 메모리는 상기 시스템으로 하여금:
    상기 사용자 인터페이스의 상기 입력 디바이스를 통해, 상기 미디어 오버레이들의 캐러셀로부터 미디어 오버레이에 대한 시각적 표현의 선택을 수신하는 동작; 및
    선택된 미디어 오버레이를 상기 미디어 콘텐츠 항목에 적용하는 동작
    을 포함하는 동작들을 수행하게 하는 명령어들을 추가로 저장하는 시스템.
  15. 제14항에 있어서, 상기 메모리는 상기 시스템으로 하여금:
    상기 사용자 인터페이스의 상기 입력 디바이스를 통해, 상기 미디어 오버레이들의 캐러셀로부터의 제2 미디어 오버레이에 대한 제2 시각적 표현의 선택을 수신하는 동작; 및
    제1 선택된 미디어 오버레이 및 제2 선택된 미디어 오버레이 둘 다가 동시에 상기 미디어 콘텐츠 항목에 적용되도록, 상기 제2 선택된 미디어 오버레이를 상기 미디어 콘텐츠 항목에 적용하는 동작
    을 포함하는 동작들을 수행하게 하는 명령어들을 추가로 저장하는 시스템.
  16. 제13항에 있어서, 상기 캐러셀 내의 상기 미디어 오버레이들의 상기 시각 표현들의 개별 위치들은 상기 사용자 인터페이스의 상기 입력 디바이스를 통한 입력에 응답하여 변경가능한 시스템.
  17. 제1항에 있어서, 상기 시스템은 제2 미디어 콘텐츠 항목을 수신하고, 상기 디스플레이 스크린 상에 상기 미디어 오버레이들의 캐러셀과 함께 상기 제2 미디어 콘텐츠 항목을 디스플레이하는 시스템.
  18. 제1항에 있어서, 상기 미디어 오버레이들의 캐러셀은, 포인트별 순위지정(pointwise ranking), 쌍별 순위지정(pairwise ranking), 및 역순위 평균(mean reciprocal ranking) 중 하나 이상을 사용하여 순위지정되는 시스템.
  19. 컴퓨터에 의해 구현되는 방법으로서,
    컴퓨터 시스템에 의해, 미디어 콘텐츠 항목을 수신하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 컴퓨터 시스템에 결합된 사용자 인터페이스의 입력 디바이스를 통해 사용자로부터 상기 미디어 콘텐츠 항목과의 상호작용을 수신하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 미디어 콘텐츠 항목과의 상호작용에 기초하여, 미디어 오버레이 세트를 식별하는 단계 - 각각의 개별 미디어 오버레이는 개별 미디어 콘텐츠 항목에 대해 범주 식별자 및 상기 범주 식별자와 호환가능한 하나 이상의 범주의 목록을 포함하고, 상기 미디어 오버레이 세트 내의 모든 미디어 오버레이는 호환가능한 범주 식별자들을 가짐 -; 및
    상기 컴퓨터 시스템에 의해, 상기 사용자 인터페이스의 디스플레이 스크린을 통해, 상기 미디어 오버레이 세트로부터의 미디어 오버레이들의 캐러셀을 프리젠팅하는 단계
    를 포함하는, 컴퓨터에 의해 구현되는 방법.
  20. 명령어들을 저장하는 비-일시적 컴퓨터-판독가능한 매체로서,
    상기 명령어들은, 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금:
    미디어 콘텐츠 항목을 수신하는 동작;
    상기 컴퓨터 시스템에 결합된 사용자 인터페이스의 입력 디바이스를 통해 사용자로부터 상기 미디어 콘텐츠 항목과의 상호작용을 수신하는 동작;
    상기 미디어 콘텐츠 항목과의 상호작용에 기초하여, 미디어 오버레이 세트를 식별하는 동작 - 각각의 개별 미디어 오버레이는 개별 미디어 콘텐츠 항목에 대해 범주 식별자 및 상기 범주 식별자와 호환가능한 하나 이상의 범주의 목록을 포함하고, 상기 미디어 오버레이 세트 내의 모든 미디어 오버레이는 호환가능한 범주 식별자들을 가짐 -; 및
    상기 사용자 인터페이스의 디스플레이 스크린을 통해, 상기 미디어 오버레이 세트로부터의 미디어 오버레이들의 캐러셀을 프리젠팅하는 동작
    을 포함하는 동작들을 수행하게 하는, 비-일시적 컴퓨터-판독가능한 매체.
KR1020197017974A 2016-11-22 2017-11-21 이미지 변경자들의 스마트 캐러셀 KR102263125B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662425500P 2016-11-22 2016-11-22
US62/425,500 2016-11-22
US15/626,418 US11635872B2 (en) 2016-11-22 2017-06-19 Smart carousel of image modifiers
US15/626,418 2017-06-19
PCT/US2017/062830 WO2018098171A1 (en) 2016-11-22 2017-11-21 Smart carousel of image modifiers

Publications (2)

Publication Number Publication Date
KR20190088503A true KR20190088503A (ko) 2019-07-26
KR102263125B1 KR102263125B1 (ko) 2021-06-10

Family

ID=62146938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017974A KR102263125B1 (ko) 2016-11-22 2017-11-21 이미지 변경자들의 스마트 캐러셀

Country Status (3)

Country Link
US (2) US11635872B2 (ko)
KR (1) KR102263125B1 (ko)
WO (1) WO2018098171A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635872B2 (en) 2016-11-22 2023-04-25 Snap Inc. Smart carousel of image modifiers
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
CN108259315A (zh) * 2017-01-16 2018-07-06 广州市动景计算机科技有限公司 在线图片分享方法、设备、客户端及电子设备
US10482327B1 (en) * 2017-01-18 2019-11-19 Snap Inc. Media overlay selection system
US10382372B1 (en) * 2017-04-27 2019-08-13 Snap Inc. Processing media content based on original context
US10581953B1 (en) * 2017-05-31 2020-03-03 Snap Inc. Real-time content integration based on machine learned selections
US11323398B1 (en) * 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
US10628676B2 (en) * 2017-08-25 2020-04-21 Tiny Pixels Technologies Inc. Content delivery system and method for automated video overlay insertion
CN108845733B (zh) * 2018-05-31 2021-02-09 Oppo广东移动通信有限公司 屏幕截图方法、装置、终端及存储介质
US10984399B2 (en) * 2018-07-31 2021-04-20 Snap Inc. Dynamically configurable social media platform
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
WO2020132541A1 (en) 2018-12-20 2020-06-25 Snap Inc. Virtual surface modification
US11340758B1 (en) * 2018-12-27 2022-05-24 Meta Platforms, Inc. Systems and methods for distributing content
US20200310601A1 (en) * 2019-03-29 2020-10-01 Snap Inc. Dynamic media selection menu
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
CN114270870B (zh) * 2019-08-14 2024-07-09 三星电子株式会社 沉浸式显示系统及其方法
US11232646B2 (en) * 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
WO2021056240A1 (zh) * 2019-09-25 2021-04-01 京东方科技集团股份有限公司 显示终端图像显示方法与装置、电子设备、存储介质
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11695718B2 (en) 2019-12-31 2023-07-04 Snap Inc. Post-capture processing in a messaging system
US11164353B2 (en) 2019-12-31 2021-11-02 Snap Inc. Layering of post-capture processing in a messaging system
US11750546B2 (en) * 2019-12-31 2023-09-05 Snap Inc. Providing post-capture media overlays for post-capture processing in a messaging system
US11237702B2 (en) 2019-12-31 2022-02-01 Snap Inc. Carousel interface for post-capture processing in a messaging system
US20210304449A1 (en) * 2020-03-26 2021-09-30 Snap Inc. Machine learning-based modification of image content
US11604562B2 (en) 2020-06-10 2023-03-14 Snap Inc. Interface carousel for use with image processing software development kit
US11698822B2 (en) * 2020-06-10 2023-07-11 Snap Inc. Software development kit for image processing
USD947886S1 (en) * 2020-09-28 2022-04-05 Snap Inc. Display screen or portion thereof with a graphical user interface
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105489A1 (en) * 2010-10-28 2012-05-03 Marshall Monroe Method and Apparatus for Organizing and Delivering Digital Media Content and Interactive Elements
KR20150084967A (ko) * 2012-11-14 2015-07-22 페이스북, 인크. 컨텐츠 아이템 시리즈의 스크롤
US20160085863A1 (en) * 2014-09-23 2016-03-24 Snapchat, Inc. User interface to augment an image
US20160292926A1 (en) * 2012-08-22 2016-10-06 Snaps Media Inc. Augmented reality virtual content platform apparatuses, methods and systems

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526034A (en) * 1990-09-28 1996-06-11 Ictv, Inc. Interactive home information system with signal assignment
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US8028250B2 (en) * 2004-08-31 2011-09-27 Microsoft Corporation User interface having a carousel view for representing structured data
WO2007023494A2 (en) 2005-08-22 2007-03-01 Triplay Communications Ltd. Messaging system and method
US20070186177A1 (en) * 2006-02-03 2007-08-09 Yahoo! Inc. Content navigation interfaces and associated methods
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US10719149B2 (en) * 2009-03-18 2020-07-21 Touchtunes Music Corporation Digital jukebox device with improved user interfaces, and associated methods
US20110113384A1 (en) * 2009-11-12 2011-05-12 Gotcher Michael C Media System Having Three Dimensional Navigation via Dynamic Carousel
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
US9443227B2 (en) 2010-02-16 2016-09-13 Tigertext, Inc. Messaging system apparatuses circuits and methods of operation thereof
AU2011202182B1 (en) * 2011-05-11 2011-10-13 Frequency Ip Holdings, Llc Creation and presentation of selective digital content feeds
US8799817B2 (en) * 2011-05-25 2014-08-05 Samsung Electronics Co., Ltd. Carousel user interface
US9990394B2 (en) * 2011-05-26 2018-06-05 Thomson Licensing Visual search and recommendation user interface and apparatus
CN103874993A (zh) * 2011-10-11 2014-06-18 汤姆逊许可公司 用于将媒体资产分类的方法以及用户界面
EP2801016A1 (en) * 2011-10-11 2014-11-12 Serge Media Inc. System and methods for content-search carousel for mobile-computing devices
CN102769775A (zh) * 2012-06-12 2012-11-07 严幸华 覆盖图像提供系统、服务器和方法
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
US8752113B1 (en) * 2013-03-15 2014-06-10 Wowza Media Systems, LLC Insertion of graphic overlays into a stream
US10394410B2 (en) * 2013-05-09 2019-08-27 Amazon Technologies, Inc. Mobile device interfaces
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US10410321B2 (en) * 2014-01-07 2019-09-10 MN Netherlands C.V. Dynamic updating of a composite image
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
US9886461B1 (en) * 2014-07-11 2018-02-06 Google Llc Indexing mobile onscreen content
US20160196584A1 (en) * 2015-01-06 2016-07-07 Facebook, Inc. Techniques for context sensitive overlays
KR102318610B1 (ko) * 2015-01-30 2021-10-28 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스의 디스플레이 방법
US20160358229A1 (en) * 2015-06-05 2016-12-08 Facebook, Inc. Selecting Content for Presentation to Social Networking System Users Based On User Engagement with Content
US10430867B2 (en) * 2015-08-07 2019-10-01 SelfieStyler, Inc. Virtual garment carousel
US10664157B2 (en) * 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US11635872B2 (en) 2016-11-22 2023-04-25 Snap Inc. Smart carousel of image modifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105489A1 (en) * 2010-10-28 2012-05-03 Marshall Monroe Method and Apparatus for Organizing and Delivering Digital Media Content and Interactive Elements
US20160292926A1 (en) * 2012-08-22 2016-10-06 Snaps Media Inc. Augmented reality virtual content platform apparatuses, methods and systems
KR20150084967A (ko) * 2012-11-14 2015-07-22 페이스북, 인크. 컨텐츠 아이템 시리즈의 스크롤
US20160085863A1 (en) * 2014-09-23 2016-03-24 Snapchat, Inc. User interface to augment an image

Also Published As

Publication number Publication date
US20230185428A1 (en) 2023-06-15
US11635872B2 (en) 2023-04-25
WO2018098171A1 (en) 2018-05-31
KR102263125B1 (ko) 2021-06-10
US20180143748A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
KR102263125B1 (ko) 이미지 변경자들의 스마트 캐러셀
KR102586855B1 (ko) 제1 사용자 인터페이스 콘텐츠를 제2 사용자 인터페이스 내로 조합하기
US11741136B2 (en) Geolocation-based pictographs
KR102219304B1 (ko) 이미지 변경자들의 선택적 식별 및 순서화
KR102248095B1 (ko) 컨텍스트에 따른 맞춤화된 미디어 콘텐츠의 생성 및 선택
KR102390183B1 (ko) 전자 메시징 애플리케이션에서의 그룹 스토리들
KR20230029946A (ko) 이미지들에 대한 여행 기반 증강 현실 콘텐츠
KR20230110658A (ko) 미디어 아이템 부착 시스템
US12051131B2 (en) Presenting shortcuts based on a scan operation within a messaging system
KR20220160089A (ko) 메시징 애플리케이션에서의 증강 현실 콘텐츠의 디스플레이
KR20220160084A (ko) 튜토리얼 콘텐츠와 함께 증강 현실 콘텐츠를 디스플레이
KR20220155601A (ko) 검출된 객체들에 대한 증강 현실 콘텐츠의 음성 기반 선택
KR20230031323A (ko) 리뷰들을 위한 여행 기반 증강 현실 콘텐츠
US20240073166A1 (en) Combining individual functions into shortcuts within a messaging system
KR20230019968A (ko) 메시지 인터페이스 확장 시스템
KR20240027047A (ko) 카메라에 적용가능한 기능들을 제시하기 위한 사용자 인터페이스
US11818088B2 (en) Messaging system for review data
US20240320875A1 (en) Presenting shortcuts based on a scan operation within a messaging system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)