KR102257909B1 - 이미지 변경자들의 선택적 식별 및 순서화 - Google Patents

Abstract

비디오 스트림 내에서의 변경된 객체들의 프리젠테이션을 위한 시스템들, 디바이스들, 매체들 및 방법들이 제시된다. 시스템들 및 방법들은 컴퓨팅 디바이스의 사용자 인터페이스에서의 선택을 수신하고, 선택 및 사용자 인터페이스 내에서의 위치에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정한다. 시스템들 및 방법들은 변경자 컨텍스트에 기초하여 적어도 하나의 변경자 세트를 식별한다. 시스템들 및 방법들은 변경자 컨텍스트에 기초하여 변경자 세트에 대한 순서를 결정하고, 사용자 인터페이스 내의 변경자 세트에 대한 변경자 아이콘들의 프리젠테이션을 야기한다.

Description

이미지 변경자들의 선택적 식별 및 순서화{SELECTIVE IDENTIFICATION AND ORDER OF IMAGE MODIFIERS}

관련 출원들

본 출원은, 그 전체 내용이 참조로 본 명세서에 포함되는 2016년 11월 7일 출원된 미국 가출원 제62/418,586호 "이미지 변경자들의 선택적 식별 및 순서화(SELECTIVE IDENTIFICATION AND ORDER OF IMAGE MODIFIERS)"의 우선권을 주장한다.

기술 분야

본 개시내용의 실시예는 일반적으로 이미지 캡처 변경자들(image capture modifiers)의 자동 식별 및 프리젠테이션에 관한 것이다. 제한으로서가 아니라, 더 구체적으로는, 본 개시내용은, 이미지 캡처 디바이스의 시야 내의 이미지들의 이미지 분석, 및 사용자 인터페이스 내에서의 선택들의 상호작용 분석에 기초하여 이미지 변경자들(image modifiers)을 식별하기 위한 시스템들 및 방법들을 다룬다.

통신 애플리케이션 및 디바이스는, 텍스트, 이미지, 사운드 녹음, 및 비디오 녹화 등의 다양한 매체를 이용하여 복수의 사용자 사이에서 통신을 제공할 수 있다. 예를 들어, 화상 회의는, 2명 이상의 개인이 소프트웨어 애플리케이션, 통신 디바이스, 및 통신 네트워크의 조합을 이용하여 서로 통신하는 것을 허용한다. 통신 디바이스는 또한, 비디오 스트림을 녹화하여 통신 네트워크를 통해 메시지로서 전송할 수 있다.

2개의 디바이스 사이의 양방향 비디오 통신을 제공하기 위해 통신 애플리케이션들 및 디바이스들이 존재하지만, 통신 세션의 계류 동안 비디오 스트림 내에서 이미지들을 변경하는 것과 같이, 비디오 스트리밍에 쟁점들이 존재할 수 있다. 통신 디바이스들은 동작들을 수행하기 위해 디바이스의 물리적 조작을 사용한다. 예를 들어, 디바이스들은 일반적으로 디바이스의 배향을 변경하거나 터치스크린과 같은 입력 디바이스를 조작함으로써 동작된다. 따라서, 본 기술분야에서는 비디오 스트림이 캡처되고 있는 동안, 디바이스들 간의 비디오 통신을 개선하고 실시간으로 비디오 스트림을 변경하는 기술이 여전히 필요하다.

첨부된 도면들 중 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안된다.
도 1은 일부 예시적인 실시예들에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른 이미지 캡처 시스템을 나타내는 도면이다.
도 3은 일부 예시적인 실시예들에 따른, 이미지 변경자 세트를 식별하고 순서화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 4는 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 5는 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 6은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 7은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 8은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 9는 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 10은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 11은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 12는 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 13은 일부 예시적인 실시예들에 따른 동작 중인 이미지 캡처 시스템을 묘사하는 사용자 인터페이스 다이어그램이다.
도 14는 일부 예시적인 실시예들에 따른, 이미지 변경자 세트를 식별하고 순서화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 15는 일부 예시적인 실시예들에 따른, 이미지 변경자 세트를 식별하고 순서화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 16은 일부 예시적인 실시예들에 따른, 이미지 변경자 세트를 식별하고 순서화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 17은 일부 예시적인 실시예들에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시한 사용자 인터페이스 다이어그램이다.
도 18은 일부 예시적인 실시예들에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 나타내는 블록도이다.
도 19는 예시적인 실시예에 따른 머신으로 하여금 본 명세서에서 논의된 방법들 중 임의의 것을 수행하게 하기 위한 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 개략적 표현을 도시하는 블록도이다.
본 명세서에서 제공된 서두는 단지 편의를 위한 것이며 사용된 용어들의 범위 또는 의미에 반드시 영향을 주는 것은 아니다.

본 개시내용의 실시예들은 일반적으로 이미지 캡처 변경자들의 자동 식별 및 프리젠테이션에 관한 것이다. 제한으로서가 아니라, 더 구체적으로는, 본 개시내용은, 이미지 캡처 디바이스의 시야 내의 이미지들의 이미지 분석, 및 사용자 인터페이스 내에서의 선택들의 상호작용 분석에 기초하여 이미지 변경자들을 식별하기 위한 시스템들 및 방법들을 다룬다. 이하의 설명은 본 개시내용의 실시예들을 나타내는 시스템, 방법, 기술, 명령어 시퀀스, 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서, 많은 구체적인 상세사항이 본 발명의 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 널리 공지된 명령어 인스턴스, 프로토콜, 구조 및 기술은 상세하게 도시되지 않는다.

일부 실시예들에서, 사용자가 사용자 인터페이스 내의 카메라 뷰(예를 들어, 이미지 캡처 디바이스의 실시간 또는 라이브 시야) 상에서 탭하여, 이미지 변경자[예를 들어, 이미지 필터, 디지털 렌즈, 애드온 그래픽 요소들(add on graphical elements)의 세트]를 활성화할 때, 초기에 활성화된 변경자들 사이에서 변경자 범주에 의해 그룹화 또는 순서가 결정된다. 그러한 실시예들에서, 이것은 사용자의 의도(intent)의 해석이다. 예를 들어, 전방 카메라의 시야 내의 얼굴 상에서 탭하면, "셀카(SELFIE)"의 변경자 범주(예를 들어, 필터 범주)가 반환될 수 있다. 일부 그러한 실시예들에서, 탭의 식별된 타겟이 얼굴인 것에 기초하여, 지정된 변경자 범주의 반환이 결정된다.

새로운 변경자 범주(예를 들어, 필터 범주, 렌즈 범주, 그래픽 요소 범주)를 추가할 때, 일부 실시예들에서, 사용자는 이미지 변경자들의 프리젠테이션 내에서 1차 변경자 범주와 함께 나타나야만 하는 다른 범주들을 정의한다. 사용자는 이미지 변경자 또는 변경자 범주를 추가하기 위해 사용자 인터페이스 요소를 선택한다. 사용자는 범주와 관련된 세부사항들을 입력하고, 하나 이상의 2차 디스플레이 범주를 선택할 수 있다. 2차 디스플레이 범주들은 순서화된 목록으로서 입력될 수 있다. 범주를 목록에 추가한 후, 사용자는 프리젠테이션 이미지 변경자들(예를 들어, 필터들, 렌즈들, 또는 애드-온 그래픽 요소들의 세트들) 내에서 범주들이 나타나는 순서를 변경하기 위해 범주를 변경 또는 이동시킬 수 있다.

일부 예시적인 실시예에서, 변경자들을 활성화하기 위해, 사용자는 사용자 인터페이스를 디스플레이하는 애플리케이션에 들어간다. 사용자 인터페이스가 디스플레이되면, 탭, 클릭 또는 다른 선택사항; 이미지 파라미터들; 이미지 캡처 디바이스의 시야의 콘텐츠; 컴퓨팅 디바이스의 배치, 배향 또는 위치를 나타내는 센서 데이터; 및 임의의 다른 적절한 데이터 중 하나 이상에 기초하여 사용자 의도가 결정된다. 선택된 변경자 범주의 변경자들은 변경자들(예를 들어, 필터들, 렌즈들, 또는 그래픽 요소들의 세트들)의 순서화된 목록 내에 우선 순서화된다. 일부 실시예들에서, 1차 또는 주요 변경자 범주는 어느 다른 범주들이 어느 순서로 디스플레이되어야 하는지를 정의한다.

본 개시내용의 다양한 실시예들은 비디오 스트림이 캡처(예를 들어, 실시간으로 비디오 스트림을 수정)되고 있는 동안 디바이스에 의해 또 다른 디바이스에 전송되는 이미지 또는 비디오 스트림을 변경하기 위한 디바이스들 및 디바이스의 하나 이상의 프로세서에 의한 명령어들에 관한 것이다. 이미지 내의 또는 비디오 스트림에 걸친 및 비디오 스트림을 포함하는 이미지들의 세트를 통해 관심 객체 및 영역을 식별하고 추적하는 이미지 캡처 시스템이 설명된다. 다양한 예시적인 실시예들에서, 이미지 캡처 시스템은 추정 또는 식별된 사용자 의도, 및 이미지 캡처 디바이스의 시야 내에 묘사된 객체들, 장면들 또는 특성들의 조합에 적절한 변경자들을 식별한다. 일부 경우들에서, 이미지 캡처 시스템[예를 들어, 이하에 설명되는 이미지 캡처 시스템(160)]은 실세계 환경으로부터 캡처된 데이터에 기초하여 비디오 스트림 내의 시각적 요소들을 생성하고 변경한다.

도 1은, 일 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 예를 들어, 네트워크 시스템(100)은 클라이언트들이 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신신호의 전송 및 수신, 지오로케이션의 결정 등) 및 양태(예를 들어, 통신 데이터의 전송, 통신 세션의 표시의 수신 및 전송 등)에 관련될 수 있다. 여기서는 클라이언트-서버 아키텍처로 예시되었지만, 다른 실시예들은 피어-투-피어 또는 분산 네트워크 환경 등의 다른 네트워크 아키텍처를 포함할 수 있다.

도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련된 컴퓨터 및 인터넷 관련 분야의 통상의 기술자에 의해 이해되는 바와 같이, 도 1에 도시된 각각의 컴포넌트 또는 엔진은, 명령어들을 실행하고, 하드웨어-구현된 컴포넌트 또는 엔진을 형성하며, 명령어들의 실행시, 특정한 세트의 기능들을 실행하도록 구성된 특별 목적 머신으로 작용하기 위한 한 세트의 실행가능한 소프트웨어 명령어들 및 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제에 대한 이해를 전달하는 것과 밀접하지 않은 다양한 기능 컴포넌트들 및 엔진은 도 1에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가적인 기능을 용이화하기 위해, 도 1에 나타낸 것 등의 추가적인 기능 컴포넌트 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1에 도시된 다양한 기능 컴포넌트들 및 엔진들은 단일의 서버 컴퓨터 또는 클라이언트 디바이스 상에 존재하거나, 다양한 배열로 수 개의 서버 컴퓨터들 또는 클라이언트 디바이스들에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처로서 도시되어 있지만, 본 발명의 주제는 결코 이러한 아키텍처로 제한되지 않는다.

도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(들)(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(들)(122)을 실행하는 제3자 서버들(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터 요청을 수신하는 인터페이스 컴포넌트들(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 컴포넌트(140)는 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 컴포넌트(140)는, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.

클라이언트 디바이스들(110)은, 다양한 모바일 컴퓨팅 디바이스들 중 임의의 것 및 모바일-특유의 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE)를 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱"이라고도 함)을 실행할 수 있다. 또한, 일부 예시적인 실시예에서, 클라이언트 디바이스들(110)은, 이미지 캡처 시스템(160)의 컴포넌트들이 이미지 캡처 시스템(160)의 동작들에 관한 특정한 세트의 기능들을 수행하게끔 클라이언트 디바이스(110)를 구성하도록 이미지 캡처 시스템(160)의 전부 또는 일부를 형성한다.

일례에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(들)(112)을 실행하고 있다. 클라이언트 애플리케이션(들)(112)은, 사용자(106)에게 정보를 프리젠팅하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 또한, 일부 예에서, 클라이언트 디바이스(110)는 이미지 캡처 시스템(160)의 기능을 실행하여 비디오 스트림의 캡처 동안에 비디오 스트림의 이미지들을 세그먼트화하고, (예를 들어, 비디오 스트림의 세그먼트화된 이미지들에 기초하여 수정된 이미지 데이터와 함께) 비디오 스트림을 전송한다.

클라이언트 디바이스들(110) 각각은, 적어도 디스플레이, 및 소셜 메시징 시스템(130), 다른 클라이언트 디바이스들, 및 제3자 서버들(120)에 액세스하기 위한 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스들(110)은, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용형 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전제품, 게임 콘솔, 셋톱박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되는 것은 아니다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스들(110)과 상호작용하는 기타의 수단일 수 있다. 일부 실시예들에서, 사용자(106)는 클라이언트 디바이스들(110)을 통해 소셜 메시징 시스템(130)과 상호작용한다. 사용자(106)는 네트워킹된 환경의 일부가 아닐 수 있지만, 클라이언트 디바이스들(110)에 연관될 수 있다.

도 1에 도시된 바와 같이, 데이터 계층(128)은 정보 저장소들 또는 데이터베이스들(134)로의 액세스를 용이화하는 데이터베이스 서버들(132)을 갖는다. 데이터베이스들(134)은, 멤버 프로파일 데이터, 소셜 그래프 데이터[예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계], 이미지 수정 선호도 데이터, 및 액세스가능성 데이터, 및 기타의 사용자 데이터 등의 데이터를 저장하는 저장 디바이스이다.

개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.

애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 컴포넌트(150)를 포함하며, 애플리케이션 로직 컴포넌트(150)는, 인터페이스 컴포넌트들(140)과 연계하여, 데이터 계층(128)내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 컴포넌트(150)는, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피처들과 연관된 기능을 구현하는 데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 컴포넌트(150)로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스들(110)의 사용자가 텍스트와 사진 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 클라이언트 디바이스들(110)은 (예를 들어, 제한된 또는 무제한의) 명시된 기간 동안 소셜 메시징 애플리케이션으로부터의 메시지를 액세스하고 볼 수 있다. 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 지정된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스가능할 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스가능하지 않을 수 있다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 컴포넌트(150)에서 별개로 구현될 수 있다.

도 1에 나타낸 바와 같이, 소셜 메시징 시스템(130)은, 비디오 스트림의 변경을 위해 변경자들의 식별 및 선택을 위한 사용자 의도를 식별할 수 있는 이미지 캡처 시스템(160)의 적어도 일부를 포함할 수 있다. 이미지 캡처 시스템(160)은 클라이언트 디바이스(110)에 의한 비디오 데이터의 캡처 동안 비디오 데이터를 추가로 식별, 추적, 및 변경할 수 있다. 유사하게, 클라이언트 디바이스(110)는, 전술된 바와 같이, 이미지 캡처 시스템(160)의 일부를 포함한다. 다른 예들에서, 클라이언트 디바이스(110)는 전체 이미지 캡처 시스템(160)을 포함할 수 있다. 클라이언트 디바이스(110)가 이미지 캡처 시스템(160)의 일부(또는 전부)를 포함하는 경우, 클라이언트 디바이스(110)는 단독으로 또는 소셜 메시징 시스템(130)과 협력하여 작용하여, 본 명세서에 설명된 이미지 캡처 시스템(160)의 기능을 제공할 수 있다.

일부 실시예들에서, 소셜 메시징 시스템(130)은, 콘텐츠(예를 들어, 비디오 클립 또는 이미지)가 시청 시간 또는 시청 완료와 같은 삭제 트리거 이벤트 후에 삭제되는 단기 통신을 가능케 하는 단기 메시지 시스템(ephemeral message system)일 수 있다. 이러한 실시예에서, 디바이스는, 단기 메시지를 생성하는 것, 송신하는 것, 수신하는 것, 또는 그것의 양태들을 디스플레이하는 것 중의 임의의 컨텍스트 내에서 본 명세서에서 설명된 다양한 컴포넌트들을 이용한다. 예를 들어, 이미지 캡처 시스템(160)을 구현하는 디바이스는, 얼굴의 피부를 나타내는 픽셀, 대기 중에 떠 있는 증강 현실 객체, 객체 상에 중첩된 설계들 또는 패턴들, 또는 비디오 클립에 묘사된 객체들에 대한 임의의 다른 적절한 변경과 같은 관심 객체를 식별하고, 추적하고, 변경할 수 있다. 디바이스는, 단기 메시지에 대한 콘텐츠의 생성의 일부로서 비디오 클립을 캡처한 후에 이미지 처리없이 비디오 클립의 캡처 동안 관심 객체들을 변경할 수 있다.

도 2에서, 다양한 실시예에서, 이미지 캡처 시스템(160)은 독립형 시스템으로서 구현되거나 클라이언트 디바이스(110)와 연계하여 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 이미지 캡처 시스템(160)은, 수신기 컴포넌트(210), 컨텍스트 컴포넌트(220), 식별 컴포넌트(230), 순서화 컴포넌트(240), 센서 컴포넌트(250), 상호작용 컴포넌트(260), 및 프리젠테이션 컴포넌트(270)를 포함하는 것으로 도시되어 있다. 컴포넌트들(210 내지 270)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 컴포넌트들(210 내지 270)의 각각의 컴포넌트는 단일 컴포넌트로서 구현되거나, 다른 컴포넌트들 내에 결합되거나, 또는 복수의 컴포넌트들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 컴포넌트들도 역시 포함될 수 있지만, 도시되지는 않는다.

도 3은 변경자 컨텍스트를 결정하고 사용자 인터페이스 내에 변경자들의 순서화된 세트를 제공하기 위한 예시적인 방법(300)을 나타내는 흐름도를 도시한다. 일부 실시예들에서, 변경자 컨텍스트는 선택의 다양한 특성, 이미지 캡처 디바이스의 시야, 및 컴퓨팅 디바이스에 연관된 속성들, 특성들 또는 물리적 파라미터들로부터 사용자 의도를 결정하는 것과 함께 결정된다. 이미지 캡처 시스템(160)은 컴퓨팅 디바이스와의 사용자 상호작용들로부터 수집된 정보, 사용자 상호작용에 독립하여 컴퓨팅 디바이스에 의해 감지 또는 수신되는 정보, 컴퓨팅 디바이스에서 프리젠팅되는 시야 내의 양태들 또는 묘사들, 및 컴퓨팅 디바이스의 사용자에게 프리젠팅되는 이미지 캡처 디바이스, 사용자 인터페이스 및 변경자들의 의도된 사용을 결정하려는 시도에서의 임의의 다른 적절한 정보를 사용할 수 있다. 이러한 실시예들에서, 이미지 캡처 시스템(160)은 사용자의 의도된 목적에 대해 적절한 변경자들을 드러내고 순서화하려고 시도한다. 방법(300)의 동작들은 이미지 캡처 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 설명의 목적으로 이와 같이 설명된다.

동작(310)에서, 수신기 컴포넌트(210)는 컴퓨팅 디바이스의 사용자 인터페이스에서의 선택을 수신한다. 선택은 사용자 인터페이스 내의 위치를 나타낸다. 사용자 인터페이스는 컴퓨팅 디바이스와 통신하는 이미지 캡처 디바이스의 시야를 포함한다. 선택은 이미지 캡처 디바이스의 시야를 벗어나는 사용자 인터페이스의 구역을 나타낼 수 있다. 일부 경우들에서, 사용자 인터페이스에서의 선택은 이미지 캡처 디바이스의 시야의 구역, 영역 또는 일부분을 나타낼 수 있다. 일부 실시예들에서, 선택은 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체(예를 들어, 인물의 얼굴)를 나타낸다. 선택의 위치는 관심 객체, 요소, 시각적 피처, 물리적 객체, 경관의 양태, 또는 컴퓨팅 디바이스 상에 디스플레이된 사용자 인터페이스 내에 프리젠팅되는 이미지 캡처 디바이스의 이미지, 비디오 스트림, 또는 실시간 시야 내에 묘사하는 실세계의 주위 양태에 대응할 수 있다.

일부 실시예들에서, 사용자 인터페이스는 사용자 인터페이스 요소들의 세트를 추가로 포함한다. 인터페이스 요소들의 세트는 별개의 사용자 기능들에 연관된 아이콘들, 버튼들, 로고들, 또는 다른 그래픽 표현들의 세트를 포함할 수 있다. 예를 들어, 사용자 인터페이스는 플래시 표시자, 홈 아이콘, 카메라 선택 아이콘, 이미지 캡처 아이콘, 히스토리 아이콘, 채팅 아이콘, 스토리 아이콘, 및 임의의 다른 적절한 아이콘 또는 그래픽 표현을 포함하는 사용자 인터페이스 요소들을 포함할 수 있다. 사용자 인터페이스 요소들은 이미지 캡처 디바이스 및 컴퓨팅 디바이스 중 하나 이상이 하나 이상의 기능을 수행하게 하도록 선택가능하다. 예를 들어, 플래시 표시자는 이미지의 캡처에 근접하여 플래시 방전을 가능하게 하거나 플래시 방전을 방지하도록 선택가능할 수 있다. 홈 아이콘은 컴퓨팅 디바이스로 하여금 메뉴, 계정 양태들, 또는 사용자 인터페이스 디스플레이 및 사용자 인터페이스 요소들(예를 들어, 선택가능한 아이콘들)의 임의의 다른 적절한 조합을 디스플레이하게 하도록 선택가능할 수 있다.

도 4-9에 도시된 것과 같은 일부 경우들에서, 동작(310)에서 수신된 선택은 사용자 인터페이스 내에 묘사된 이미지 캡처 디바이스의 시야 내의 위치를 나타낸다. 도 4에 도시된 바와 같이, 이미지 캡처 디바이스의 이미지(400), 비디오 스트림, 또는 실시간 시야가 초기에 프리젠팅된다. 도 4에서, 얼굴(402)은 이미지 캡처 디바이스의 이미지(400), 비디오 스트림, 또는 실시간 시야 내에 묘사된다. 동작의 일부 단계들에서, 그래픽 사용자 인터페이스는 관심 객체 상에 오버레이되는 메쉬(404), 시야의 적어도 일부분에 적용가능한 효과들을 변경 또는 필터링하는 것에 연관된 변경자 아이콘들(406), 및 이미지 또는 비디오 캡처 동작을 개시하도록 선택가능한 이미지 캡처 요소를 묘사할 수 있는 실시간 시야를 포함한다. 도 5에서, 선택(500)은 얼굴(402)에 대한 것이고, 여기서 선택(500)은 모바일 컴퓨팅 디바이스 상에 디스플레이된 사용자 인터페이스 내에서 얼굴을 묘사하는 픽셀들의 일부분을 탭하거나 다르게 나타낸 것이다. 도 6에 도시된 바와 같이, 주변 경관(602)의 일부분(예를 들어, 사용자의 눈높이 이상의 대기, 분위기, 또는 경관의 일부분)을 묘사하는 이미지 캡처 디바이스의 이미지(600), 비디오 스트림, 또는 실시간 시야가 초기에 프리젠팅된다. 동작의 일부 스테이지들에서, 실시간 시야를 묘사하는 그래픽 사용자 인터페이스는, 선택 시에 시야의 적어도 일부분에 적용가능한 변경 또는 필터링 효과에 연관된 하나 이상의 변경자 아이콘(604), 및 이미지 또는 비디오 캡처 동작들을 개시하도록 선택가능한 이미지 캡처 요소(606)를 포함할 수 있다. 도 7에서, 선택(700)은 주변 경관(602)에 대한 것이다. 도 8에 도시된 바와 같이, 지면(802)의 일부분을 묘사하는 이미지 캡처 디바이스의 이미지(800), 비디오 스트림, 또는 실시간 시야가 초기에 프리젠팅된다. 도 9에서, 선택(900)은 모바일 컴퓨팅 디바이스[예를 들어, 클라이언트 디바이스(110)] 상에 디스플레이되는 사용자 인터페이스 내의 지면(802)을 묘사하는 픽셀들의 일부분의 선택(900), 탭, 또는 다른 표시에 의해 나타내어진 시야 내에 묘사된 지면(802)에 대한 것이다. 동작의 일부 스테이지들에서, 선택 (900)을 수신한 후, 지면(802)을 묘사하는 그래픽 사용자 인터페이스는 변경자 아이콘들(902) 중 하나 이상, 및 이미지 캡처 요소(904)를 묘사할 수 있다. 이러한 실시예들에서, 이미지 캡처 시스템(160)은 도 5, 7 및 9에 도시된 것과 같은 선택된 관심 객체를 위한 매쉬(404)를 생성하여, 관심 객체 상에 오버레이로서 메쉬(404)를 디스플레이한다. 메쉬(404)에 대하여 설명되지만, 이미지 캡처 시스템(160)은 아웃라인; 빛나는 아웃라인; 강조표시된 영역; 관심 객체 또는 다른 검출가능한 시각적 피처들에 근접하거나 그에 중첩되거나 그에 오버레이되는 빛나는 입자들 또는 스프라이트들의 모음; 그래픽 요소들(예를 들어, 이모지들 또는 스티커들)의 그룹; 또는 표면, 객체 또는 다른 시각적 피처가 활성이거나 활성으로 될 수 있음을 나타내는 임의의 다른 적절한 표시와 같은 임의의 적절한 방법에 의해, 관심 객체를 식별하거나, 강조표시하거나, 나타낼 수 있다.

이러한 경우들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 선택이 이미지 캡처 디바이스의 시야 내에 있음을 식별하고, 시야 내에서 선택의 위치에 기초하여 하나 이상의 결정을 내릴 수 있다. 결정들은 시야 내에 묘사된 하나 이상의 객체의 특성들, 시야 내에 묘사된 객체 또는 인물의 식별, 시야 내에 묘사된 객체의 유형, 시야 내에 묘사된 경관 유형, 날씨 이벤트, 로고, 또는 시야 내의 객체들, 엔티티들 또는 양태들에 관련된 임의의 다른 적절한 정보를 포함할 수 있다. 이러한 결정들의 예들 및 실시예들은 이하에서 더 상세히 설명되지만, 설명된 결정은 포괄적인 것이 아니며, 다른 적절한 또는 유사한 결정이 이미지 캡처 시스템(160)에 의해 내려질 수 있다.

사용자 인터페이스 내에 묘사된 관심 객체 또는 관심 영역의 선택에 대하여 설명되었지만, 이미지 캡처 시스템(160)은 사용자로부터의 입력 없이 자동으로 관심 객체를 식별하거나 다르게 선택할 수 있다는 것을 이해해야 한다. 도 10-12에 도시된 바와 같이, 이미지 캡처 시스템(160)은 하나 이상의 잠재적 관심 객체(1002)를 포함하는 이미지 캡처 디바이스의 이미지(1000), 비디오 스트림, 또는 실시간 시야의 프리젠테이션을 수신하거나 캡처하거나 야기한다. 예를 들어, 도 10에 도시된 바와 같이, 용기(1004) 및 로고(1006)가 이미지 캡처 디바이스의 실시간 시야 내에 프리젠팅된다. 이하에서 더 상세히 설명되는 바와 같이, 이미지 캡처 시스템(160)은 도 11에 도시된 바와 같이 로고(1006)를 관심 객체(1002)로서 식별한다. 이미지 캡처 시스템(160)은 이미지 캡처 디바이스(160)에 대해 이용가능한 변경자들 중의 연관된 이미지 변경자의 존재에 기초하여 로고(1006)를 식별할 수 있다. 이미지 캡처 시스템(160)은 도 11에 도시된 바와 같이, 로고(1006) 상에 오버레이되는 메쉬(1100)를 생성한다. 아래에 더 상세하게 설명되는 바와 같이, 로고(1006)를 관심 객체(1002)로서 식별하는 것에 응답하여, 이미지 캡처 시스템(160)은 변경자 세트를 드러내거나 식별하고, 로고에 연관된 변경자 세트에 대해 적어도 하나의 변경자 아이콘의 프리젠테이션을 야기한다.

일부 예시적인 실시예들에서, 식별 컴포넌트(230)는 선택의 수신 시에 개시된 동작들의 세트로 결정들을 수행한다. 식별 컴포넌트(230)는 이미지 캡처 디바이스의 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정할 수 있다. 관심 객체의 특성들은 형상 인식 동작들, 에지 검출, 얼굴 인식, 에지 매칭, 이미지 세그먼트화, 블롭 분석, 기울기 매칭, 계조 매칭, 또는 임의의 다른 적절한 객체 검출 방법에 의해 결정될 수 있다.

관심 객체의 하나 이상의 특성을 결정한 후에, 또는 결정하는 것과 동시에, 식별 컴포넌트(230)는 관심 객체, 또는 복수의 관심 객체가 시야 내에 묘사된 경우에서는 각각의 관심 객체에 대한 식별을 결정한다. 식별은 관심 객체의 하나 이상의 특성의 결정에 기초할 수 있다. 관심 객체가 개인이고 특성들이 얼굴 인식 동작들을 통해 결정되는 경우들에서, 식별 컴포넌트(230)는 얼굴을 식별하는 것, 및 시야 내에 묘사된 개인을 식별하는 것 중 하나 이상으로서 관심 객체의 신원을 결정한다.

일부 예시적인 실시예들에서, 동작(310)에서의 선택을 수신하는 것에 응답하여, 프리젠테이션 컴포넌트(270)는 사용자 인터페이스 내의 선택, 및 선택에 기초하여 시야 내에서 식별된 관심 객체의 위치들 중 하나 이상을 나타내는 표현 그래픽을 생성한다. 일부 경우들에서, 표현 그래픽은 관심 객체 상에 오버레이된 메쉬를 포함한다. 예를 들어, 관심 객체가 얼굴인 경우, 프리젠테이션 컴포넌트(270)는 소정 기간 동안 얼굴에 메쉬를 오버레이할 수 있다. 관심 객체가 하늘인 경우, 프리젠테이션 컴포넌트(270)는 이미지 캡처 디바이스의 시야 내에 보이는 하늘의 적어도 일부분에 메쉬를 오버레이할 수 있다. 또한, 관심 객체가 바닥인 경우, 프리젠테이션 컴포넌트(270)는 바닥의 적어도 일부분 위에 메쉬를 오버레이할 수 있다. 일부 실시예들에서, 상호작용 컴포넌트(260)는 관심 객체의 선택을 나타내기 위해 메쉬 오버레이를 사용한다. 다른 실시예들에서, 상호작용 컴포넌트(260) 및 프리젠테이션 컴포넌트(270)는 특정 객체 선택의 다른 표시들(예를 들어, 특정 객체 선택을 강조표시하기 위해 특정 객체 선택에 연관된 컬러를 변경 또는 이미지를 교대)을 사용한다. 또 다른 실시예들에서, 프리젠테이션 컴포넌트(270)는 어느 객체들이 시야 내에서 선택가능한지를 나타내는 표시자들의 디스플레이를 생성하고 야기한다.

선택 시에, 각각의 타겟, 선택된 영역, 또는 픽셀 위치는 활성화 시에 컨텍스트-특정 메쉬를 디스플레이할 수 있다. 활성화 후, 프리젠테이션 컴포넌트(270)는 아래에 더 상세하게 설명되는 적어도 하나의 변경자 세트를 로드한다. 일부 경우들에서, 변경자들은 변경자 캐러셀(modifier carousel)이라고 지칭되는 형식화된 프리젠테이션으로 프리젠팅된다. 일부 경우들에서, 변경자 캐러셀 사용자 인터페이스 요소들이 나타날 때, 타겟 객체에 대해 메쉬가 디스플레이된다. 일부 실시예들에서, 메쉬가 정면 카메라로부터 후면 카메라로의 후속 메쉬 스위칭인 경우, 메쉬는 디스플레이되지 않는다. 일부 경우들에서, 변경자(예를 들어, 렌즈, 필터, 또는 애드-온 그래픽 요소들의 세트)가 활성인 동안 동일한 활성자 타겟 상에서 두 번째 탭할 때, 후속 메쉬는 디스플레이되지 않는다. 일부 실시예들에서, 스크린의 적어도 일부분에서의 선택들은 선택적 또는 수동적 포커스를 가능하게 하는 포커스 아이콘(예를 들어, 포커스 레티클)의 디스플레이를 야기한다. 일부 경우들에서, 사용자가 이전 메쉬의 활성화 및 프리젠테이션에 연관된 범주와는 다른 변경자 범주 또는 클래스를 갖는 변경자(예를 들어, 렌즈, 필터, 또는 애드-온 그래픽 요소들의 세트)를 나타내는 사용자 인터페이스 상에서 선택을 하거나 다르게 탭할 때, 후속 메쉬가 디스플레이된다. 예를 들어, 분위기 변경자가 활성이고 얼굴의 선택이 수신되는 경우, 메쉬(예를 들어, 후속 메쉬)는 얼굴의 오버레이로서 프리젠팅된다. 다른 예를 들면, 도 5, 7, 9, 및 11-12는 도 5에서 선택된 얼굴에 오버레이되는 메쉬의 생성 및 프리젠테이션, 도 7에서 선택된 주변 경관, 도 8에서 선택된 지면, 및 도 10에서 식별된 로고를 각각 도시한다. 도 4-7, 9 및 12는 변경자 캐러셀의 초기 프리젠테이션을 또한 도시한다. 일부 실시예들에서, 변경자(예를 들어, 렌즈들, 필터들, 또는 애드-온 그래픽 요소들의 세트들)를 식별하고 변경자 캐러셀을 채우는 데 사용되는 동작들은 변경자 캐러셀의 디스플레이 전에 수행되고 메쉬의 디스플레이 이전에 수행될 수 있다.

일부 경우들에서, 선택은 프리젠테이션 컴포넌트(270)가 식별된 타겟 위의 애니메이트된 오버레이로서의 메쉬 또는 다른 표시자의 프리젠테이션, 및 포커스 애니메이션의 프리젠테이션을 야기하도록 유발하거나 트리거한다. 포커스 애니메이션은 이미지 캡처 디바이스가 선택에 의해 나타내어진 타겟 또는 타겟 구역에 초점을 맞추도록 하는 이미지 캡처 디바이스의 포커싱 동작을 표현할 수 있다.

일부 예시적인 실시예들에서, 변경자 캐러셀은 사용자가 지정된 또는 요구되는 변경자를 식별할 수 있게 하는 검색 기능을 포함한다. 일부 경우들에서, 검색 기능은 변경자 캐러셀 내에, 그리고 변경자 아이콘들 사이에 배치된 검색 아이콘을 사용하여 인에이블될 수 있다. 검색 아이콘은 물음표, 또는 검색 기능의 다른 그래픽 표현과 같은 검색 기능의 표시를 묘사한다. 일부 경우들에서, 검색 아이콘은 아래에 더 상세하게 설명되는, 변경자 아이콘들에 대해 지정된 순서에 따라 변경자 캐러셀 내에 위치된다. 검색 아이콘은 변경자 캐러셀에 포함되고 지정된 순서에 따라 프리젠팅되는 변경자 아이콘 세트의 끝에 프리젠팅된다. 일부 경우들에서, 검색 아이콘은 순서화된 변경자 아이콘 세트의 앞 또는 시작부에 위치된다.

예시적인 실시예들에서, 검색 아이콘은 변경자 캐러셀의 외부에 프리젠팅된다. 예를 들어, 일부 경우들에서, 변경자 캐러셀은 이미지 캡처 요소의 오른편에 프리젠팅되고, 변경자 아이콘은 선택되고 난 후에 이미지 캡처 요소 내부에 위치된다. 그러한 경우들에서, 검색 아이콘은 이미지 캡처 요소의 왼편에 프리젠팅될 수 있다. 일부 예시적인 실시예들에서, 검색 아이콘은 이미지 캡처 요소에 근접하게 프리젠팅된다. 일부 경우들에서, 검색 아이콘은 이미지 캡처 요소로부터 멀리 떨어져서 프리젠팅되고, 그에 의해 아이콘들의 순서화된 세트 내의 선택된 변경자 아이콘 전에 발생한 적어도 하나의 변경자 아이콘은, 변경자 아이콘들의 순서화된 세트 내의 선택된 변경자 아이콘 후에 발생한 변경자 아이콘들에 반대되는 이미지 캡처 요소의 측에서 이미지 캡처 요소에 근접하여 프리젠팅된다. 일부 경우들에서, 검색 아이콘은 변경자 캐러셀 내에 프리젠팅된 변경자 아이콘들과 떨어진 평면에 프리젠팅된다. 예를 들어, 변경자 캐러셀의 변경자 아이콘들이 이미지 캡처 요소를 포함하는 평면의 수평선에 프리젠팅될 때, 검색 아이콘은 이미지 캡처 요소의 위 또는 아래에 프리젠팅될 수 있다.

다시 도 3을 참조하면, 동작(320)에서, 사용자 인터페이스에서의 선택의 수신에 응답하여, 컨텍스트 컴포넌트(220)는 사용자 인터페이스 내의 선택 및 위치에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정한다. 일부 경우들에서, 변경자 컨텍스트는 선택의 타겟에 기초하여 사용자의 의도를 결정하는 것으로 이해될 수 있다. 선택에 의해 복수의 타겟이 나타내어질 수 있는 경우, 컨텍스트 컴포넌트(220)는 선택의 하나 이상의 특성에 의해 변경자 컨텍스트를 결정할 수 있다. 선택의 특성들은 선택 자체의 양태들일 수 있다. 일부 경우들에서, 선택의 특성들은 선택 시에 결정된 정보이다. 특성들은 또한 선택의 수신과 동시에 캡처되거나 결정되거나 감지된, 컴퓨팅 디바이스 또는 이미지 캡처 디바이스에 연관된 정보일 수 있다.

아래에 더 상세하게 설명되는 바와 같이, 선택의 타겟이 명확한 경우(예를 들어, 잠재적인 관심 객체에 근접한 선택), 식별 컴포넌트(230)는 변경자 범주(예를 들어, 필터 범주, 렌즈 범주, 또는 애드-온 그래픽 요소들의 세트에 대한 범주), 또는 타겟에 대한 활성자 유형을 식별한다. 예를 들어, 선택이 얼굴을 나타내는 경우, 이미지 캡처 시스템(160)의 컴포넌트들은 변경자 범주 또는 활성자 유형으로서 "얼굴"을 식별할 수 있다. 활성자 유형들은 지정된 변경자, 자연적 피처 추적(natural feature tracking)(NFT), 얼굴, 표면, 대기, 또는 임의의 다른 적절한 활성자 유형에 대해 입력된 코드를 포함할 수 있다. 일부 실시예들에서, 사용자 의도를 결정하기 위해, 이미지 캡처 시스템의 컴포넌트들은 먼저 타겟과 일치하는 변경자 범주를 사용하고, 다음으로 다른 규칙들, 특성들, 또는 범주들을 내림차순으로 사용한다.

일부 경우들에서, 변경자 컨텍스트를 결정하기 위해, 컨텍스트 컴포넌트(220)는 하나 이상의 하위동작을 수행한다. 일부 실시예들에서, 이미지 캡처 시스템(160)의 컴포넌트들은 하나 이상의 컨텍스트 표시자를 식별한다. 컨텍스트 표시자들은 해당 선택에 관한 정보를 제공하는, 초기 선택을 둘러싼 신호들, 양태들, 속성들, 또는 특성들로 이해될 수 있다. 일부 실시예들에서, 컨텍스트 표시자는 클라이언트 디바이스(110)의 컨텍스트에 관련될 수 있다. 클라이언트 디바이스(110)의 컨텍스트는 선택 시의 클라이언트 디바이스(110)의 위치 또는 사용을 나타낼 수 있다. 일부 경우들에서, 이러한 디바이스 관련 컨텍스트 표시자들은 컴퓨팅 디바이스[예를 들어, 클라이언트 디바이스(110)]의 지오로케이션; 일중 시각; 날씨 데이터의 세트; 또는 클라이언트 디바이스(110)를 사용하는 시간, 장소 또는 다른 컨텍스트에 관련된 임의의 다른 적절한 정보 중 임의의 하나 이상을 포함할 수 있다. 컨텍스트 표시자들은 클라이언트 디바이스(110)의 사용 유형에 관련될 수 있다. 일부 실시예들에서, 사용 유형 컨텍스트 표시자들은 시야 내에 묘사된 얼굴; 시야 내에 묘사된 복수의 얼굴; 시야 내에 묘사된 미리 결정된 인물들의 세트의 지정된 인물; 자연적 피처 추적 식별; 엔티티, 이벤트 또는 제품을 식별하는 표현 심볼; 스폰서쉽; 컴퓨팅 디바이스의 배향; 컴퓨팅 디바이스의 이동; 시야 내에 묘사된 객체 유형; 지정된 변경자에 적용된 잠금해제 코드; 컴퓨팅 디바이스에 대한 이미지 캡처 디바이스 위치; 변경자 인기도 점수; 및 이들의 조합을 포함할 수 있다. 컨텍스트 표시자들은 또한 클라이언트 디바이스(110) 컨텍스트 및 사용 컨텍스트들의 조합들을 포함할 수 있다.

컨텍스트 표시자들을 결정한 후, 컨텍스트 컴포넌트(220)는 선택, 선택의 위치들, 및 하나 이상의 컨텍스트 표시자 중 하나 이상에 기초하여 변경자 컨텍스트를 결정한다. 위에서 논의된 바와 같이, 컨텍스트 표시자는 사용자 인터페이스 정보, 디바이스 정보, 또는 변경자 사용의 제안된 컨텍스트를 나타내는 다른 정보 일 수 있다. 컨텍스트 컴포넌트(220)는 선택, 선택의 위치, 및 컨텍스트 표시자들을 사용하여, 선택, 위치, 및 컨텍스트 표시자들 각각에 연관된 키워드들을 식별함으로써 변경자 컨텍스트를 결정하고, 그 키워드들을 변경자 컨텍스트 세트에 연관된 키워드 세트와 비교할 수 있다. 변경자 컨텍스트들은 이미지 캡처 디바이스에 의해 캡처되고 클라이언트 디바이스(110)의 디스플레이 상에 프리젠팅되는 이미지, 비디오 스트림, 또는 실시간 시야에 적용될 필터들 또는 다른 변경자들에 할당된 범주들의 세트일 수 있다.

이미지 캡처 시스템(160)의 컴포넌트들이 시야 내에서 관심 객체들을 결정하고 식별하는 실시예들에서, 컨텍스트 컴포넌트(220)는 선택[예를 들어, 동작(310)에서 수신된 선택], 사용자 인터페이스 내의 선택의 위치, 및 관심 객체의 식별에 기초하여 변경자 컨텍스트를 결정한다. 컨텍스트 컴포넌트(220)가 복수의 관심 객체를 결정하고 식별하는 경우, 컨텍스트 컴포넌트(220)는 선택, 선택의 위치, 및 복수의 관심 객체 중의 적어도 하나의 관심 객체의 식별들에 기초하여 변경자 컨텍스트를 결정할 수 있다. 예를 들어, 컨텍스트 컴포넌트(220)는 복수의 관심 객체 전부 또는 그 일부에 적용가능한 변경자 컨텍스트로서 변경자 컨텍스트를 결정한다. 복수의 관심 객체가 이미지 캡처 디바이스의 시야 내에 묘사된 인물들 또는 얼굴들인 경우, 컨텍스트 컴포넌트(220)는 얼굴들에 대한 변경자 컨텍스트를 선택할 수 있다. 상이한 유형의 관심 객체들이 식별되는 경우, 컨텍스트 컴포넌트(220)는 복수의 관심 객체의 대다수에 연관된 변경자 컨텍스트를 선택할 수 있다. 컨텍스트 컴포넌트(220)는 또한 복수의 관심 객체에 포함된 복수의 상이한 유형의 관심 객체에 공통인 테마 또는 속성에 연관된 변경자 컨텍스트를 선택할 수 있다.

동작(330)에서, 식별 컴포넌트(230)는 변경자 컨텍스트에 기초하여 적어도 하나의 변경자 세트를 식별한다. 일부 실시예들에서, 변경자는 이미지 필터, 디지털 렌즈, 애드-온 그래픽 요소들의 세트, 또는 이미지 캡처 디바이스의 이미지, 비디오 스트림, 또는 실시간 또는 라이브 시야의 적어도 일부분에 적용될 수 있는 임의의 다른 적절한 시각적 효과 또는 변경이다. 이미지 캡처 디바이스의 이미지, 비디오 스트림, 또는 시야는 이미지 캡처 시스템(160)에 의해 프리젠팅되는 사용자 인터페이스 내에 프리젠팅된다. 일부 실시예들에서, 아래에서 더 상세하게 설명되는 바와 같이, 적어도 하나의 변경자 세트 중의 변경자를 선택한 후, 이미지 캡처 디바이스의 이미지, 비디오 스트림 또는 시야는, 이미지, 비디오 스트림 또는 시야가 프리젠팅되고 캡처되기 전에 또는 그것이 프리젠팅되고 캡처되는 동안, 이미지, 비디오 스트림 또는 시야 내에 변경자, 또는 변경자의 시각적 또는 오디오 효과를 포함시키도록 변경될 수 있다. 변경자 세트는 이미지 캡처 디바이스를 위한 하나 이상의 변경자, 및 변경자 세트의 각각의 변경자에 대한 변경자 아이콘을 포함한다. 표 1 및 표 2는 선택에 이용가능한 변경자 유형들의 예를 보여준다. 각각의 변경자 유형 또는 변경자 세트는 복수의 별개의 변경자를 포함할 수 있다. 표 1 및 표 2는 또한 범주 정보(예를 들어, 렌즈 모드, 렌즈 유형, 콘텐츠) 및 컨텍스트 표시자들(예를 들어, 카메라 유형, 활성화 유형, 런칭 유형, 초기화 유형, 및 카메라 교환)을 제공한다.

일부 경우들에서, 식별 컴포넌트(230)는 변경자 컨텍스트(예를 들어, 식별된 렌즈, 변경자, 또는 필터 범주 또는 활성자 유형)를 변경자 세트 내의 하나 이상의 변경자에 연관된 변경자 범주와 비교하거나 매칭시킴으로써 변경자 세트(예를 들어, 단일 변경자 세트 또는 복수의 변경자 세트)를 식별한다. 일부 경우들에서, 식별 컴포넌트(230)는 변경자 세트를, 공통 변경자 범주를 갖는 변경자 세트 또는 관련된 변경자 범주 세트로서 식별한다. 일부 실시예들에서, 식별 컴포넌트(230)는 변경자 세트를 개별적으로 식별하여, 변경자 컨텍스트에 기초하여 하나 이상의 변경자를 개별적으로 식별하는 것에 기초하여 변경자 세트를 구성한다.

일부 실시예들에서, 각각의 변경자는 적어도 하나의 변경자 범주에 연관된다. 필터 또는 변경자 범주들은 변경자 컨텍스트들일 수 있거나, 적어도 하나의 변경자 컨텍스트에 연관된 범주 레이블일 수 있다. 일부 경우들에서, 변경자 범주들은 지정된 세트에 포함된 변경자들에 공통인 설명 식별자들이다. 예를 들어, 변경자 범주들은 얼굴 변경자들, 분위기 변경자들, 지면 변경자들, 얼굴 교환 변경자들, 감정 변경자들, 의상 변경자들, 또는 변경자의 임의의 다른 적절한 범주적 조직화 및 설명을 포함할 수 있다. 변경자 세트에 포함시키기 위해 새로운 변경자들이 이미지 캡처 시스템(160)에 추가되는 경우, 변경자는 수신기 컴포넌트(210)에 의해 수신된다. 변경자는 변경자의 식별을 트리거하는 적어도 하나의 컨텍스트 표시자를 나타내는 적어도 하나의 변경자 범주에 연관된다. 적어도 하나의 컨텍스트 표시자는 관심 객체 및 센서 데이터 중 하나 이상일 수 있다. 일부 경우들에서, 컨텍스트 표시자가 변경자 컨텍스트일 수 있다. 컨텍스트 표시자가 변경자 컨텍스트가 아닌 실시예들에서, 컨텍스트 표시자는 적어도 부분적으로 변경자 컨텍스트를 결정하거나 도출하기 위해 사용될 수 있다.

일부 실시예들에서, 지정된 변경자에 대한 변경자 범주들은 제1 변경자 범주 및 제2 변경자 범주를 포함할 수 있다. 제1 변경자 범주는 변경자에 연관된 1차 컨텍스트 표시자를 나타낸다. 제2 변경자 범주는 변경자에 연관된 2차 컨텍스트 표시자를 나타낸다. 변경자는 제1 변경자 범주 및 제2 변경자 범주 중 하나 이상을 검출할 때 식별되고 디스플레이될 수 있다.

동작(340)에서, 변경자 세트(예를 들어, 단일 변경자 세트 또는 복수의 변경자 세트)를 식별한 것에 응답하여, 순서화 컴포넌트(240)는 변경자 컨텍스트에 기초하여 변경자 세트에 대한 순서를 결정한다. 일부 실시예들에서, 변경자들(예를 들어, 필터들, 렌즈들, 또는 애드-온 그래픽 요소들의 세트)은 1차 변경자 범주, 및 하나 이상의 2차 변경자 범주를 갖는다. 1차 변경자 범주는 변경자의 변경자 범주이다. 하나 이상의 2차 변경자 범주는 변경자가 변경자 범주들과 호환가능할 수 있는 그 변경자 범주들을 나타낸다. 1차 변경자 범주는 2차 변경자 범주들에 관련될 수 있고, 그에 의해 1차 변경자 범주는 제1 변경자 범주와 호환가능한 하나 이상의 2차 변경자 범주를 나타내게 된다. 이러한 경우들에서, 변경자 세트 중에서 변경자 컨텍스트에 일치하는 1차 범주를 갖는 변경자들이 변경자 캐러셀 내에 먼저 디스플레이된다. 예를 들어, 셀카(selfie), 대기(air), 지면(ground), 로고(logo), 및 뮤럴(mural)을 포함하는 변경자 범주들로, 각각의 범주는 지정된 범주와 호환가능한 하나 이상의 다른 범주를 정의할 수 있다. 또한, 범주들의 상관관계는 변경자들의 순서를 드러내기 위해 사용될 수 있다. 표 3에 보여진 바와 같이, 개별 범주들은 순서를 생성하기 위해 사용되는 2차 범주들의 순서화된 목록을 포함할 수 있다.

표 3의 예에 보여진 바와 같이, 선택이 얼굴의 변경자 컨텍스트(예를 들어, 셀카의 변경자 범주)를 나타낼 때, 식별 컴포넌트(230) 또는 순서화 컴포넌트(240)는 셀카, 지면, 및 대기의 범주들에 연관된 변경자들을 선택할 수 있다. 변경자들의 선택 후에, 순서화 컴포넌트(240)는 셀카의 1차 변경자 범주에 연관된 변경자들이 먼저 배치되고, 지면 또는 대기의 1차 변경자 범주를 갖는 변경자들이 나중에 배치될 수 있도록, 변경자 세트의 변경자들에 대한 순서를 생성할 수 있다. 또한, 2차 범주들의 순서화된 목록(예를 들어, 표 3에 보여짐)에 연관된 순서에 포함된 변경자들은 지리적 영역의 공개적 이용가능성에 기초한 포함에 종속될 수 있다.

일부 경우들에서, 표 3에 보여진 바와 같이, 2차 범주들 및 그들 각자의 순서들은 표 4에 보여진 바와 같이 각각의 변경자 범주에 대해 수정될 수 있다.

일부 실시예들에서, 하나 이상의 변경자 세트에 포함된 변경자들의 식별 및 순서화는 사용자 의도를 1차 순서화 메커니즘으로서 사용하고, 변경자 세트의 끝에 첨부된 추가 변경자들을 포함한다. 예를 들어, 사용자의 의도는 1차 순서화 특성일 수 있다. 이러한 예에서, 이미지 캡처 디바이스의 시야 내의 하늘의 선택을 수신하면, 이미지 캡처 시스템(160)은 변경자 캐러셀 내에서 하늘에 대한 변경자들을 우선 선택하고 순서화하게 된다. 1차 순서화 특성에 따라 드러난 필터들은 1차 의도 변경자들 X₁ - X_n일 수 있다. 이미지 캡처 시스템(160)은 1차 의도 변경자들 X₁ - X_n의 순서화된 목록의 끝에 추가 변경자들을 첨부한다. 예를 들어, 로고를 선택하면, 이미지 캡처 시스템(160)은 로고에 연관된 변경자들은 물론 월드 변경자들을 드러내게 된다. 월드 변경자들은 이미지 캡처 시스템(160) 내에서 다른 변경자들의 발견가능성을 증가시키고 일관된 사용자 인터페이스 경험을 제공하기 위해 드러날 수 있다.

이러한 실시예들에서, 먼저 사용자 의도의 표시를 사용하여 변경자 세트 및 변경자들의 순서가 결정되어, 위에서 설명된 1차 의도 변경자들을 드러내고 우선순위화할 수 있다. 일부 경우들에서, 1차 의도 변경자들은 동작들(330 및 340)에 대해 기술된 것과 유사하거나 동일한 방식으로 드러나고 순서화될 수 있다. 이미지 캡처 시스템(160)은 변경자들을 순서화함에 있어서, 변경자 세트가 특정 지오로케이션에 연관된 변경자를 포함하는지를 결정할 수 있고, 지오로케이션 변경자를 제1 위치에 배치할 수 있다. 변경자 세트가 후원 변경자를 또한 포함하는 경우, 후원 변경자가 제2 위치에 배치될 수 있다. 변경자 세트의 나머지 변경자들은 후원 변경자 이후에 나타나는 위치에 배치될 수 있다. 나머지 변경자들은 최신의 것이 처음에 오는 것과 같은 랭킹 알고리즘, 인기도 기반 순서화 알고리즘, 특성 기반 순서화 알고리즘, 또는 임의의 다른 적절한 랭킹 또는 순서화 체계를 사용하여 순서화될 수 있다. 변경자 세트 내의 최종 변경자 이후에, 이미지 캡처 시스템(160)은 하나 이상의 월드 변경자를 첨부할 수 있다. 월드 변경자들은 위에서 설명된 것과 같은 변경자들을 순서화하기 위한 것과 동일한 또는 유사한 규칙들을 사용하여 순서화될 수 있다. 일부 경우들에서, 로고, 또는 다른 명시적으로 식별된 마크 또는 표현 상에서의 선택에 의해 트리거되는 NFT 변경자들은, NFT 변경자가 지오로케이션 요소를 충족시키는 첨부된 월드 변경자들의 그룹에 포함될 수 있다.

동작(350)에서, 변경자 세트를 그룹으로서 또는 개별적으로 식별하고 변경자들에 대한 순서를 결정하는 것에 응답하여, 프리젠테이션 컴포넌트(270)는 사용자 인터페이스 내의 변경자 세트에 대한 변경자 아이콘들의 프리젠테이션을 야기한다. 변경자 아이콘들은 사용자 인터페이스 내의 선택가능한 사용자 인터페이스 요소들로서 프리젠팅된다. 일부 실시예들에서, 변경자 아이콘들은 사용자 인터페이스 내에 포함된 이미지 캡처 디바이스의 시야 외부의 사용자 인터페이스 부분에 위치된다. 일부 경우들에서, 변경자 아이콘들은 이미지 캡처 디바이스의 시야의 일부분 내에 위치된다. 도 4-7, 9, 및 12에서, 변경자 아이콘들은 이미지 캡처 요소에 근접하여 프리젠팅될 수 있다. 예를 들어, 도 4 및 도 5는 관심 객체로 결정된 얼굴 아래에서 이미지 캡처 요소(408)에 근접하여 프리젠팅되는 변경자 아이콘들(406)의 세트를 보여준다. 도 6 및 도 7은 시야 내의 주변 경관 아래에서 이미지 캡처 요소(604)에 근접하여 프리젠팅되는 변경자 아이콘들(606)의 세트를 보여준다. 도 9는 시야 내에 묘사된 지면(802) 및 이미지 캡처 요소(904)에 근접한 변경자 아이콘들(902)의 세트를 보여준다. 도 12는 시야 내의 관심 객체로 결정된 로고 아래에서 이미지 캡처 요소(1204)에 근접하여 프리젠팅되는 변경자 아이콘들(1202)의 세트를 보여준다.

도 13에 도시된 바와 같이, 일부 실시예들에서, 변경자 아이콘(1300)의 선택 또는 조작은, 변경자 아이콘(1300)이 제1 위치(1302)로부터 벗어나서 제2 위치(1304)로 이동되게 한다. 예를 들어, 변경자 아이콘(1300)의 선택(예를 들어, 탭)은 변경자 아이콘(1300)을 제1 위치(1302)(이미지 캡처 요소로부터 이격되어 위치됨)로부터 제2 위치(1304)로 이동시킬 수 있다. 제2 위치(1304)는 이미지 캡처 요소(1306)에 근접할 수 있거나 이미지 캡처 요소(1306) 내에 위치될 수 있다. 일부 경우들에서, 변경자 아이콘들은 변경자 아이콘(1300)이 이미지 캡처 요소(1306)의 내부에 위치될 수 있도록 크기가 정해진다. 변경자 아이콘들이 이미지 캡처 요소(1306)를 포함하고 하나 이상의 방향으로 이미지 캡처 요소(1306)로부터 멀리 연장되는 평면에 정렬되는 것으로 도시되어 있지만, 상이한 프리젠테이션들이 또한 사용될 수 있음을 이해해야 한다. 예를 들어, 변경자 아이콘들은 이미지 캡처 요소(1306) 주위에 위치되고, 그로부터 반경 방향 외측으로 연장될 수 있다. 또 다른 예로서, 변경자 아이콘들은 이미지 캡처 요소의 위 또는 아래의 이동가능한 라인에 프리젠팅될 수 있다.

일부 실시예들에서, 변경자 범주 그룹 내의 변경자들 또는 변경자 아이콘들은 규칙들의 세트에 따라 순서화된다. 규칙들의 세트는 우선순위 결정, 스폰서쉽 결정 및 잠금해제 결정을 포함할 수 있다. 우선순위 결정은 각각의 변경자에 할당된 우선순위 값을 사용하여 결정될 수 있다. 예를 들어, 스폰서쉽 결정은 변경자에게 가장 높은 우선순위를 나타내는 우선순위 값 0을 할당할 수 있고, 그에 의해, 후원되는 변경자가 순서 내에 제일 먼저 나타난다. 잠금해제 결정은 제2 우선순위 값을 받을 수 있으며, 그에 의해, 변경자를 잠금해제하기 위한 코드를 스캔하거나 입력한 후, 잠금해제된 변경자가 변경자 세트 내에 포함되도록 드러난 경우, 잠금해제된 변경자는 후원된 변경자보다는 뒤에 있지만 후원되거나 잠금해제되지 않은 다른 변경자들보다는 앞에 있는 위치에 프리젠팅된다. 일부 경우들에서, 지오로케이션은 변경자를 잠금해제하기 위해 이용된다. 이러한 경우들에서, 지오로케이션 변경자는 잠금해제된 변경자로서 취급될 수 있다. 규칙들의 예시적인 세트에 대해 설명되었지만, 로고들, 지오로케이션, 날씨, 복수의 객체, 및 다른 적절한 규칙들에 대한 규칙과 같은 임의의 수 또는 관계의 규칙들이 사용될 수 있다는 것을 이해해야 한다.

도 14는 본 개시내용의 실시예들에 따라, 변경자 컨텍스트를 결정하고, 사용자 인터페이스 내에서 변경자들의 순서화된 세트를 제공하기 위한 예시적인 방법(1400)을 나타내는 흐름도를 도시한다. 방법(1400)의 동작들은 이미지 캡처 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 설명의 목적으로 그와 같이 설명된다. 일부 실시예들에서, 방법(1400)의 동작들은 방법(300)의 하나 이상의 동작을 포함하거나, 방법(300) 내의 동작들로서 수행되거나, 또는 방법(300)의 하나 이상의 동작의 하위동작들로서 수행된다. 예를 들어, 방법(300)은 복수의 변경자 세트를 식별할 수 있다. 이러한 실시예들에서, 동작(330)에 의해 식별된 변경자 세트는 제1 변경자 세트 및 제2 변경자 세트를 포함할 수 있고, 방법(1400)은 아래에서 설명되는 바와 같이 복수의 변경자 세트를 식별하고 순서화할 수 있다.

동작(1410)에서, 식별 컴포넌트(230)는 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체 세트에 대한 식별들의 세트를 결정한다. 일부 실시예들에서, 각각의 식별은 관심 객체 세트의 관심 객체에 대응한다. 식별 컴포넌트(230)는 동작(310)에 대하여 위에서 설명된 것과 유사하거나 동일한 방식으로 식별 세트를 결정할 수 있다. 예를 들어, 식별 컴포넌트(230)는 시야 내의 관심 객체들의 특성들을 결정할 수 있다. 각각의 관심 객체의 특성들에 기초하여, 식별 컴포넌트(230)는 식별을 결정할 수 있다. 각각의 관심 객체의 식별들은 관심 객체 세트에 대한 식별 세트로서 함께 그룹화될 수 있다.

동작(1420)에서, 식별 컴포넌트(230)는 변경자 컨텍스트, 및 식별 세트의 적어도 하나의 식별에 기초하여 제1 변경자 세트를 식별한다. 일부 실시예들에서, 제1 변경자 세트는 제1 호환가능성 값을 갖는다. 제1 호환가능성 값은 관심 객체 세트의 적어도 하나의 관심 객체에 대한 제1 변경자 세트의 호환가능성을 나타낸다. 제1 변경자 세트는 동작(330)에 대하여 위에서 설명된 것과 유사하거나 동일한 방식으로 식별될 수 있다.

동작(1430)에서, 식별 컴포넌트(230)는 변경자 컨텍스트, 및 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별한다. 일부 실시예들에서, 제2 식별자 세트는 제2 호환가능성 값을 갖는다. 제2 호환가능성 값은 관심 객체 세트의 적어도 하나의 관심 객체에 대한 제2 변경자 세트의 호환가능성을 나타낼 수 있다. 제2 변경자 세트는 동작(330)에 대하여 위에서 설명된 것과 유사하거나 동일한 방식으로 식별될 수 있다.

일부 경우들에서, 제2 변경자 세트는 제3 호환가능성 값을 갖는다. 제3 호환가능성 값은 제1 변경자 세트와 호환가능한 것으로 결정된 적어도 하나의 관심 객체와의, 제2 변경자 세트의 호환가능성을 나타낼 수 있다. 제3 호환가능성 값은 제1 호환가능성 값보다 작을 수 있다.

동작(1440)에서, 순서화 컴포넌트(240)는 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정한다. 일부 실시예들에서, 순서는 변경자 컨텍스트, 및 관심 객체 세트의 식별들의 적어도 일부에 기초하여 결정될 수 있다. 순서화 컴포넌트(240)는 동작(340)과 관련하여 위에서 설명된 것과 유사하거나 동일한 방식으로 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정할 수 있다. 일부 실시예들에서, 순서화 컴포넌트(240)는 변경자들의 각각의 세트(예를 들어, 제1 변경자 세트 및 제2 변경자 세트)에 대한 프리젠테이션 순서를 결정한다. 다음으로, 순서화 컴포넌트(240)는 각각의 변경자 세트에 연관된 호환가능성 값들에 기초하여, 먼저 프리젠팅될 변경자 세트를 선택할 수 있다. 또한, 순서화 컴포넌트(240)는 각각의 변경자 세트에 연관된 변경자의 범주 또는 유형과, 변경될 관심 객체들의 관계에 기초하여 먼저 프리젠팅될 변경자 세트를 선택할 수 있다. 일부 실시예들에서, 순서화 컴포넌트(240)는 제1 변경자 세트 또는 제2 변경자 세트에 연관된 것인 변경자의 상태에 관계없이, 개별 변경자들을 순서화함으로써 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정한다.

식별 컴포넌트(230)가 제1 변경자 세트 및 제2 변경자 세트를 식별하는 실시예들에서, 순서화 컴포넌트(240)는 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정한다. 순서는 변경자 컨텍스트, 및 관심 객체 세트의 식별들의 적어도 일부에 기초하여 결정될 수 있다. 일부 경우들에서, 순서는 제2 변경자 세트의 변경자들에 대한, 제1 변경자 세트의 변경자들의 배치를 결정한다. 일부 실시예들에서, 순서는 각각의 세트 내의 변경자들의 순서를 결정한다. 이러한 경우들에서, 변경자 세트 내의 변경자들은 변경자 컨텍스트, 및 관심 객체들의 식별들에 기초하여 재순서화되거나 재위치될 수 있다.

위에서 설명된 바와 같이, 일부 경우들에서, 식별 컴포넌트(230)는 복수의 변경자 세트(예를 들어, 별개의 변경자 범주에 연관된 각각의 변경자 세트)를 드러내고, 순서화 컴포넌트(240)는 그것들을 순서화한다. 순서화 컴포넌트(240)는 변경자 세트마다 미리 결정된 개수까지의 변경자들을 드러낼 수 있다. 예를 들어, 상이한 변경자 범주에 각각 연관된 3개의 변경자 세트가 드러나는 경우, 제1 변경자 세트는 X개의 변경자를 포함할 수 있고, 제2 변경자 세트는 Y개의 변경자를 포함할 수 있고, 제3 변경자 세트는 Z개의 변경자를 포함할 수 있다. 일부 경우들에서, X, Y 및 Z는 동일한 숫자이다. 변경자 범주가 더 적은 수의 변경자를 포함하는 경우, 2개 이상의 변경자 세트가 동일한 수의 변경자를 포함할 수 있는 한편, 제3 변경자 세트는 더 적은 수의 변경자를 포함한다.

일부 경우들에서, 변경자는 하나보다 많은 변경자 범주에 연관될 수 있다. 2개 이상의 변경자 범주가, 단일 변경자가 식별 컴포넌트(230) 또는 순서화 컴포넌트(240)에 의해 드러나는 2개 이상의 변경자 세트에 포함되게 하는 경우, 이미지 캡처 시스템(160)의 컴포넌트들은 변경자 컨텍스트에 기초하여 하나 이상의 변경자세트로부터 변경자를 제거할 수 있다. 일부 경우들에서, 변경자들의 제거는 임시적일 수 있고, 변경자들 또는 변경자 아이콘들의 중복을 방지하기 위해 변경자들의 지정된 세트(예를 들어, 제1 변경자 세트 또는 제2 변경자 세트)에 적용될 수 있다. 일부 실시예들에서, 2개의 범주를 갖는 변경자에 대한 변경자 아이콘은 제1 변경자 세트와 제2 변경자 세트 사이의 접점에 배치될 수 있다. 다음으로, 2개의 범주가 있는 변경자 아이콘은 2개의 변경자 세트에 대한 합일점으로서 기능하거나 변경자의 중복 프리젠테이션을 배제할 수 있다.

동작(1450)에서, 프리젠테이션 컴포넌트(270)는 제1 변경자 아이콘 세트의 적어도 일부의 프리젠테이션을 야기한다. 또한, 프리젠테이션 컴포넌트(270)는 제2 변경자 아이콘 세트의 적어도 일부의 프리젠테이션을 야기할 수 있다. 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 변경자 세트의 변경자에 대응할 수 있다. 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 변경자 세트의 변경자에 대응할 수 있다. 프리젠테이션 컴포넌트(270)는 동작(350)에 대하여 앞에서 설명된 것과 유사하거나 동일한 방식으로 변경자 아이콘들의 일부의 프리젠테이션을 야기할 수 있다.

일부 실시예들에서, 이미지 캡처 시스템(160)이 제1 변경자 세트 및 제2 변경자 세트를 식별하는 경우, 프리젠테이션 컴포넌트(270)는 제1 변경자 아이콘 세트, 및 제2 변경자 아이콘 세트의 적어도 일부의 프리젠테이션을 야기한다. 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 변경자 세트의 변경자에 대응한다. 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 변경자 세트의 변경자에 대응한다. 일부 실시예들에서, 제1 변경자 아이콘 세트와 제2 변경자 아이콘 세트의 조합은 위에서 설명된 바와 같이 결정된 순서에 따라 프리젠팅된다. 일부 경우들에서, 순서는 각각의 변경자 세트 내에 변경자들을 위치시키기 위한 조직화 및 프리젠테이션 체계를 정의한다.

도 15는 본 개시내용의 실시예들에 따라, 변경자 컨텍스트를 결정하고, 사용자 인터페이스 내에서 변경자들의 순서화된 세트를 제공하기 위한 예시적인 방법(1500)을 나타내는 흐름도를 도시한다. 방법(1500)의 동작들은 이미지 캡처 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 설명의 목적으로 그와 같이 설명된다. 일부 실시예들에서, 방법(1500)의 동작들은 방법들(300 또는 1400)의 하나 이상의 동작을 포함하거나, 방법들(300 또는 1400) 내의 동작들로서 수행되거나, 또는 방법들(300 또는 1400)의 하나 이상의 동작의 하위동작들로서 수행된다. 예를 들어, 방법(300)은 복수의 변경자 세트를 식별할 수 있다. 이러한 실시예들에서, 동작(310)의 선택은 그래픽 사용자 인터페이스 내의 제1 선택이다.

동작(1510)에서, 상호작용 컴포넌트(260)는 제2 선택을 수신한다. 제2 선택은 사용자 인터페이스 내에 프리젠팅된 변경자 아이콘의 선택을 포함한다. 제2 선택은 동작들(350 또는 1450)에 대해 위에서 설명된 바와 같이 변경자들 또는 변경자 아이콘들의 디스플레이 후에 수신될 수 있다. 상호작용 컴포넌트(260)는 사용자 인터페이스 상호작용으로서 제2 선택을 수신할 수 있다. 예를 들어, 상호작용 컴포넌트(260)는 그래픽 사용자 인터페이스의 일부분, 픽셀 위치, 좌표들, 또는 그래픽 사용자 인터페이스 상에 디스플레이되는 변경자 아이콘들 중 하나의 일부의 다른 표현을 선택하는, 탭과 같은 터치스크린 상호작용, 또는 마우스 클릭과 같은 디바이스 상호작용을 식별할 수 있다.

동작(1520)에서, 식별 컴포넌트(230)는 변경자 아이콘에 의해 표현되는 변경자에 연관된 변경자 범주를 결정한다. 식별 컴포넌트(230)는 동작들(320 또는 330)에 대해 위에서 설명된 것과 유사하거나 동일한 방식으로 변경자 범주를 결정할 수 있다. 변경자 범주는 테이블, 메타데이터 파일, 또는 변경자 아이콘에 연관된 다른 데이터 구조에 포함될 수 있다. 일부 실시예들에서, 변경자 아이콘을 선택하면, 식별 컴포넌트(230)는 변경자 범주, 유형, 또는 변경자 아이콘에 연관된 다른 정보를 식별하기 위해 하나 이상의 룩업 동작을 수행한다.

동작(1530)에서, 식별 컴포넌트(230)는 관심 객체에 연관된 객체 범주를 결정한다. 객체 범주는 적어도 부분적으로 변경자 컨텍스트를 결정하는 데 사용될 수 있다. 식별 컴포넌트(230)는 관심 객체의 특성들 또는 관심 객체에 대한 식별자를 알려진 객체 범주들과 비교함으로써 객체 범주를 결정할 수 있다. 예를 들어, 식별 컴포넌트(230)는 특성들 또는 식별자를 관심 객체에 연관된 키워드들로서 사용할 수 있다. 그러면, 식별 컴포넌트(230)는 관심 객체의 키워드들을, 이미지 캡처 시스템(160)에 연관된 데이터베이스 내의 알려진 객체 범주들에 연관된 키워드들과 비교할 수 있다. 식별 컴포넌트(230)는 관심 객체에 대한 키워드들과 일치하는 하나 이상의 키워드를 포함하거나 그것에 연관된 객체 범주를 선택할 수 있다. 일부 실시예들에서, 식별 컴포넌트(230)는 동작(310)에서 수신된 선택에 기초하여 객체 범주를 결정한다. 이러한 실시예들에서, 선택의 위치는 객체 범주를 나타낼 수 있다. 예를 들어, 선택이 얼굴, 경관, 또는 표면에 근접한 경우, 식별 컴포넌트(230)는 얼굴, 대기(예를 들어, 경관), 또는 지면(예를 들어, 표면)에 대한 객체 범주를 각각 선택할 수 있다.

동작(1540)에서, 식별 컴포넌트(230)는 변경자 범주가 객체 범주에 대응한다고 결정한다. 일부 실시예들에서, 식별 컴포넌트(230)는 변경자 범주 및 객체 범주 각각에 연관된 키워드들을 비교함으로써 변경자 범주가 객체 범주에 대응한다고 결정한다. 식별 컴포넌트(230)는 또한 변경자들을 객체 범주들에 연관시키는 룩업 테이블 또는 다른 데이터 구조에 질의할 수 있다. 객체 범주가 데이터 구조 내의 변경자 또는 변경자 범주에 할당되는 경우, 식별 컴포넌트(230)는 변경자 범주와 객체 범주 간의 대응을 결정할 수 있다. 지정된 예시적인 실시예들에 대해 설명되었지만, 식별 컴포넌트(230)는 임의의 적절한 방식으로 대응을 결정할 수 있음을 이해해야 한다.

동작(1550)에서, 프리젠테이션 컴포넌트(270)는 제2 선택에 의해 나타내어진 변경자 아이콘에 연관된 변경자를 적용한다. 프리젠테이션 컴포넌트(270)는, 식별 컴포넌트(230)가 변경자 범주가 객체 범주에 대응하는 것으로 결정하는 것에 응답하여 변경자를 적용할 수 있다. 일부 실시예들에서, 프리젠테이션 컴포넌트(270)는 컴포넌트들을 변경, 편집, 정정, 제거하거나, 컴포넌트들을 추가하거나, 관심 객체에 연관된 이미지 또는 비디오 스트림 중 적어도 하나의 양태를 다르게 변경함으로써 변경자를 적용한다. 예를 들어, 관심 객체가 얼굴인 경우, 프리젠테이션 컴포넌트(270)는 비디오 스트림이 이미지 캡처 시스템(160)에 의해 캡처되고 있을 때 이미지 또는 실시간 비디오 스트림 내의 얼굴의 묘사를 변경할 수 있다(예를 들어, 고양이 귀 및 코를 적용).

도 16은 본 개시내용의 실시예들에 따라, 변경자 컨텍스트를 결정하고, 사용자 인터페이스 내에서 변경자들의 순서화된 세트를 제공하기 위한 예시적인 방법(1600)을 나타내는 흐름도를 도시한다. 방법(1600)의 동작들은 이미지 캡처 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 설명의 목적으로 그와 같이 설명된다. 일부 실시예들에서, 방법(1600)의 동작들은 방법들(300, 1400 또는 1500)의 하나 이상의 동작을 포함하거나, 방법들(300, 1400 또는 1500) 내의 동작들로서 수행되거나, 또는 방법들(300, 1400 또는 1500)의 하나 이상의 동작의 하위동작들로서 수행된다. 예를 들어, 방법(300)은 복수의 변경자 세트를 식별할 수 있다. 이러한 실시예들에서, 동작(310)의 선택은 그래픽 사용자 인터페이스 내의 제1 선택이다.

동작(1610)에서, 상호작용 컴포넌트(260)는 사용자 인터페이스 내에 프리젠팅된 변경자 아이콘의 제2 선택을 수신한다. 상호작용 컴포넌트(260)는 동작(1510)에 대하여 위에서 설명된 것과 유사하거나 동일한 방식으로 변경자 아이콘의 제2 선택을 수신할 수 있다. 선택은 그래픽 사용자 인터페이스, 클라이언트 디바이스(110)의 입력 컴포넌트, 시각적 큐, 오디오 큐, 또는 임의의 다른 적절한 선택 방법 중 하나 이상과의 사용자 상호작용의 형태로 수신될 수 있다.

동작(1620)에서, 식별 컴포넌트(230)는 변경자 아이콘에 의해 표현되는 변경자에 연관된 변경자 범주를 결정한다. 일부 실시예들에서, 식별 컴포넌트(230)는 동작(1520)에 대하여 위에서 설명된 것과 유사하거나 동일한 방식으로 변경자 범주를 결정한다. 예를 들어, 식별 컴포넌트(230)는 상호작용 컴포넌트(260)가 제2 선택의 수신 시에 변경자 범주를 식별 컴포넌트(230)에 전달한 것에 기초하여 변경자 범주를 결정할 수 있다. 식별 컴포넌트(230)는 또한 변경자 아이콘에 대한 변경자 범주를 질의, 검색, 또는 다르게 룩업하기 위해, 변경 아이콘에 연관된 하나 이상의 데이터 구조에 액세스할 수 있다.

동작(1630)에서, 식별 컴포넌트(230)는 제1 관심 객체에 연관된 제1 관심 객체 범주를 결정한다. 식별 컴포넌트(230)는 또한 제2 관심 객체에 연관된 제2 객체 범주를 결정한다. 제1 관심 객체는 적어도 부분적으로, 변경자 컨텍스트를 결정하기 위해 사용될 수 있다. 제1 객체 범주는 제1 관심 객체에 대해 동작(1530)에 대해 위에서 설명된 것과 유사하거나 동일한 방식으로 결정될 수 있다.

동작(1640)에서, 식별 컴포넌트(230)는 변경자 범주가 제2 객체 범주에 대응한다고 결정한다. 이러한 경우에서, 식별 컴포넌트(230)는 선택된 변경자가 변경자 아이콘들에 연관된 변경자들을 식별하기 위해 사용되는 관심 객체와 다른, 시야에 묘사된 관심 객체에 대응한다고 결정한다. 일부 실시예들에서, 식별 컴포넌트(230)는 변경자 범주에 대한 키워드들이 제1 객체 범주에 연관된 키워드들과 일치하지 않는다고 결정한다. 식별 컴포넌트(230)는 또한 변경자 아이콘 또는 변경자 범주에 연관된 데이터 구조에 질의함으로써 변경자 범주가 제2 객체 범주에 대응한다고 결정할 수 있다. 식별 컴포넌트(230)는 데이터 구조 내에서, 제2 객체 범주가 변경자 범주에 연관되거나 할당됨을 식별할 수 있다. 이러한 실시예들에서, 제1 객체 범주는 변경자 범주에 연관되지 않을 수 있다.

동작(1650)에서, 프리젠테이션 컴포넌트(270)는 표현 그래픽을 생성한다. 일부 실시예들에서, 표현 그래픽은 선택에 의해 이미지 캡처 디바이스의 시야 내에서 식별된 제2 관심 객체를 나타낸다. 표현 그래픽은 제2 관심 객체에 오버레이된 메쉬를 포함할 수 있다. 예를 들어, 제1 관심 객체가 얼굴이고, 얼굴에 대해 메쉬가 미리 생성되어 디스플레이되는 경우, 제2 관심 객체는 얼굴 근처에 묘사된 영역(예를 들어, 대기 또는 하늘)일 수 있다. 영역에 대한 변경자 범주가 얼굴에 대한 변경자 범주와 다르다고 결정하면, 프리젠테이션 컴포넌트(270)는 도 7에 도시된 것과 유사한 방식으로 메쉬를 생성하여 프리젠팅할 수 있다. 메쉬는 동작(310), 또는 도 5, 7 및 9에 대해 위에서 설명된 것과 유사하거나 동일한 방식으로 생성될 수 있다.

일부 경우들에서, 사용자 인터페이스는 상이한 디스플레이 영역들로 분할된다. 디스플레이 영역들은 디스플레이 영역에 대해 적절한 지정된 상호작용 동작들에 대응할 수 있다. 예를 들어, 사용자 인터페이스의 일부분은 변경자 세트 또는 변경자 세트의 일부분이 디스플레이된 후에 렌즈들, 변경자들, 또는 필터들과의 상호작용으로 제한될 수 있다. 사용자 인터페이스의 일부분은 이미지 캡처, 디스플레이, 재생 및 다른 적절한 동작 모드 사이에서 동작 모드들을 변경하도록 구성될 수 있다. 일부 경우들에서, 지정된 사용자 상호작용들은 사용자 인터페이스의 임의의 영역에서 허용될 수 있다. 예를 들어, 일부 경우들에서, 사용자 인터페이스 내의 더블 탭은 컴퓨팅 디바이스로 하여금 이미지 캡처 입력을 전환하게 할 수 있다(예를 들어, 이미지 캡처 디바이스를 앞뒤로 전환). 추가 예로서, 싱글 탭은 스틸 이미지를 캡처할 수 있는 한편, 지속적인 터치는 비디오를 캡처할 수 있다. 추가의 예는 탭을 포함하며, 이는 이미지 캡처 디바이스가 탭된 위치 상의 시야에 초점을 맞추게 한다.

변경자의 선택 후에, 후속 선택인 제2 선택은 하나 이상의 동작을 수행할 수 있다. 일부 실시예들에서, 전방 이미지 캡처 디바이스로부터 후방 이미지 캡처 디바이스로의 변경을 야기하는 후속 선택은, 방법들(300, 1400, 1500, 또는 1600)에서 결정된 대로 변경자 캐러셀 내에 프리젠팅되는 변경자들을 유지할 수 있다. 변경된 이미지 캡처 모드의 변경자는 정상으로서 동작할 수 있거나 미리 동작가능할 수 있다.

후속 선택이 변경자 컨텍스트의 변화를 야기하거나 결합된 컨텍스트를 나타내는 경우, 변경자 컨텍스트는 후속 선택들이 다르게 동작하게 할 수 있다. 예를 들어, 표 1-4에 나타난 것과 같은 얼굴 및 대기 렌즈(예를 들어, 얼굴과 대기 둘 다, 또는 얼굴 주위의 분위기를 변경하는 것)가 동작 중이고 후속 선택이 정면 이미지 캡처 디바이스로부터 후면 이미지 캡처 디바이스로의 변경을 야기하는 경우, 시야는 이전에 선택된 변경자(예를 들어, 렌즈, 필터 또는 애드-온 그래픽 요소들의 세트)의 활성 뷰를 표현하도록 변경될 수 있다. 예를 들어, 사용자가 시야 내에 묘사된 얼굴을 변경하는, 흡연 중인 노인의 오버레이를 생성하는 변경자를 선택한 경우, 후속 선택은 카메라 뷰를 정면 이미지 캡처 디바이스로부터 후면 이미지 캡처 디바이스로 변경할 수 있다. 카메라 뷰의 변경 시에, 현재 동작하는 이미지 캡처 디바이스의 시야가 흡연 중인 노인의 컨텍스트로 프리젠팅되어, 제1 인물 시점으로서 작용한다. 이러한 경우들에서, 변경자 캐러셀은 후속 선택 이전에 변경되지 않은 상태로 남아있을 수 있다.

이하의 번호가 매겨진 예들은 실시예들이다.

1. 방법으로서, 컴퓨팅 디바이스의 사용자 인터페이스에서의 선택을 수신하는 단계 - 사용자 인터페이스는 컴퓨팅 디바이스와 통신하는 이미지 캡처 디바이스의 시야를 포함하고, 선택은 사용자 인터페이스 내에서의 위치를 나타냄 - ; 선택 및 사용자 인터페이스 내에서의 위치에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정하는 단계; 변경자 컨텍스트에 기초하여 적어도 하나의 이미지 변경자 세트를 식별하는 단계 - 이미지 변경자 세트는 이미지 캡처 디바이스에 대한 하나 이상의 이미지 변경자, 및 이미지 변경자 세트의 각각의 이미지 변경자에 대한 변경자 아이콘을 포함함 - ; 변경자 컨텍스트에 기초하여 이미지 변경자 세트에 대한 순서를 결정하는 단계; 및 사용자 인터페이스 내에서 이미지 변경자 세트에 대한 변경자 아이콘들의 프리젠테이션을 야기하는 단계를 포함하는 방법.

2. 예 1의 방법으로서, 선택을 수신하는 것에 응답하여, 사용자 인터페이스 내에서의 선택의 위치, 및 선택에 의해 이미지 캡처 디바이스의 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽을 생성하는 단계 - 표현 그래픽은 관심 객체에 오버레이된 메쉬를 포함함 - ; 및 선택, 선택의 위치, 및 선택에 의해 식별된 관심 객체에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는 방법.

3. 예 1 또는 예 2의 방법으로서, 선택은 사용자 인터페이스 내에 묘사된 이미지 캡처 디바이스의 시야 내에서의 위치를 나타내고, 방법은: 이미지 캡처 디바이스의 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계; 시야 내에 묘사된 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 식별들은 하나 이상의 특성에 기초함 - ; 및 선택, 사용자 인터페이스 내에서의 선택의 위치, 및 하나 이상의 관심 객체에 대한 식별들에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는 방법.

4. 예 1 내지 예 3 중 임의의 하나 이상의 방법으로서, 하나 이상의 컨텍스트 표시자를 식별하는 단계; 및 선택, 선택의 위치, 및 하나 이상의 컨텍스트 표시자에 기초하여, 변경자 컨텍스트를 결정하는 단계를 더 포함하는 방법.

5. 예 1 내지 예 4 중 임의의 하나 이상의 방법으로서, 하나 이상의 컨텍스트 표시자는, 컴퓨팅 디바이스의 지오로케이션; 일중 시각; 날씨 데이터의 세트; 시야 내에 묘사된 얼굴; 시야 내에 묘사된 복수의 얼굴; 시야 내에 묘사된 미리 결정된 인물들의 세트의 특정 인물; 자연적 피처 추적 식별; 엔티티, 이벤트 또는 제품을 식별하는 표현 심볼; 스폰서쉽; 컴퓨팅 디바이스의 배향; 컴퓨팅 디바이스의 이동; 시야 내에 묘사된 객체 유형; 지정된 변경자에 적용된 잠금해제 코드; 컴퓨팅 디바이스에 대한 이미지 캡처 디바이스 위치; 변경자 인기도 점수; 및 이것들의 조합들로 이루어진 그룹으로부터 선택되는, 방법.

6. 예 1 내지 예 5 중 임의의 하나 이상의 방법으로서, 변경자 세트는 제1 변경자 세트이고, 방법은: 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 관심 객체 세트의 관심 객체에 대응함 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제1 변경자 세트를 식별하는 단계 - 제1 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 제2 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ; 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정하는 단계 - 순서는 변경자 컨텍스트, 및 관심 객체 세트의 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및 제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 변경자 세트의 변경자에 대응하고, 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 변경자 세트의 변경자에 대응함 - 를 더 포함하는 방법.

7. 예 1 내지 예 6 중 임의의 하나 이상의 방법으로서, 제2 변경자 세트는 제1 변경자 세트와 호환가능한 것으로 결정된 적어도 하나의 관심 객체와의, 제2 변경자 세트의 호환가능성을 나타내는 제3 호환가능성 값을 갖고, 제3 호환가능성 값은 제1 호환가능성 값보다 작은, 방법.

8. 예 1 내지 예 7 중 임의의 하나 이상의 방법으로서, 적어도 하나의 변경자 세트의 각각의 변경자는 적어도 하나의 변경자 범주에 연관되고, 방법은: 적어도 하나의 변경자 세트에 포함하기 위한 변경자를 수신하는 단계를 더 포함하고, 변경자는 적어도 하나의 변경자 범주에 연관되고, 적어도 하나의 변경자 범주는 변경자의 식별을 트리거하는 적어도 하나의 컨텍스트 표시자를 나타내고, 적어도 하나의 컨텍스트 표시자는 관심 객체 및 센서 데이터 중 하나 이상인, 방법.

9. 예 1 내지 예 8 중 임의의 하나 이상의 방법으로서, 적어도 하나의 변경자 범주는 제1 변경자 범주 및 제2 변경자 범주를 포함하고, 제1 변경자 범주는 변경자에 연관된 1차 컨텍스트 표시자를 나타내고, 제2 변경자 범주는 변경자에 연관된 2차 컨텍스트 표시자를 나타내며, 변경자는 제1 변경자 범주 및 제2 변경자 범주 중 하나 이상의 검출 시에 식별되고 디스플레이되는, 방법.

10. 예 1 내지 예 9 중 임의의 하나 이상의 방법으로서, 사용자 인터페이스에서의 선택은 제1 선택이고, 방법은: 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계; 변경자 아이콘에 의해 표현되는 변경자에 연관된 변경자 범주를 결정하는 단계; 적어도 부분적으로 변경자 컨텍스트를 결정하기 위해 사용되는 관심 객체에 연관된 객체 범주를 결정하는 단계; 변경자 범주가 객체 범주에 대응한다고 결정하는 단계; 및 제2 선택에 의해 나타내어진 변경자 아이콘에 연관된 변경자를 적용하는 단계를 더 포함하는 방법.

11. 예 1 내지 예 10 중 임의의 하나 이상의 방법으로서, 사용자 인터페이스에서의 선택은 제1 선택이고, 방법은: 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계; 변경자 아이콘에 의해 표현되는 변경자에 연관된 변경자 범주를 결정하는 단계; 제1 관심 객체에 연관된 제1 객체 범주 및 제2 관심 객체에 연관된 제2 객체 범주를 결정하는 단계 - 제1 관심 객체는 적어도 부분적으로 변경자 컨텍스트를 결정하기 위해 사용됨 - ; 변경자 범주가 제2 객체 범주에 대응한다고 결정하는 단계; 및 선택에 의해 이미지 캡처 디바이스의 시야 내에서 식별된 제2 관심 객체를 나타내는 표현 그래픽을 생성하는 단계 - 표현 그래픽은 제2 관심 객체에 오버레이된 메쉬를 포함함 - 를 더 포함하는, 방법.

12. 디바이스로서, 하나 이상의 프로세서; 및 하나 이상의 프로세서에 결합되고, 프로세서-실행가능한 명령어들을 저장하는 프로세서-판독가능한 저장 디바이스를 포함하고, 프로세서-실행가능한 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금: 컴퓨팅 디바이스의 사용자 인터페이스에서의 선택을 수신하는 단계 - 사용자 인터페이스는 컴퓨팅 디바이스와 통신하는 이미지 캡처 디바이스의 시야를 포함하고, 선택은 사용자 인터페이스 내에서의 위치를 나타냄 - ; 선택 및 사용자 인터페이스 내에서의 위치에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정하는 단계; 변경자 컨텍스트에 기초하여 적어도 하나의 변경자 세트를 식별하는 단계 - 변경자 세트는 이미지 캡처 디바이스의 하나 이상의 변경자, 및 변경자 세트의 각각의 변경자에 대한 변경자 아이콘을 포함함 - ; 변경자 컨텍스트에 기초하여 변경자 세트에 대한 순서를 결정하는 단계; 및 사용자 인터페이스 내에서 변경자 세트에 대한 변경자 아이콘들의 프리젠테이션을 야기하는 단계를 포함하는 동작들을 수행하게 하는, 디바이스.

13. 예 12의 디바이스로서, 동작들은: 선택을 수신하는 것에 응답하여, 사용자 인터페이스 내에서의 선택의 위치, 및 선택에 의해 이미지 캡처 디바이스의 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽을 생성하는 단계 - 표현 그래픽은 관심 객체에 오버레이된 메쉬를 포함함 - ; 및 선택, 선택의 위치, 및 선택에 의해 식별된 관심 객체에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는, 디바이스.

14. 예 12 또는 예 13의 디바이스로서, 선택은 사용자 인터페이스 내에 묘사된 이미지 캡처 디바이스의 시야 내에서의 위치를 나타내고, 동작들은: 이미지 캡처 디바이스의 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계; 시야 내에 묘사된 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 식별들은 하나 이상의 특성에 기초함 - ; 및 선택, 사용자 인터페이스 내에서의 선택의 위치, 및 하나 이상의 관심 객체에 대한 식별들에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는, 디바이스.

15. 예 12 내지 예 14 중 임의의 하나 이상의 디바이스로서, 변경자 세트는 제1 변경자 세트이고, 동작들은: 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 관심 객체 세트의 관심 객체에 대응함 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제1 변경자 세트를 식별하는 단계 - 제1 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 제2 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ; 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정하는 단계 - 순서는 변경자 컨텍스트, 및 관심 객체 세트의 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및 제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 변경자 세트의 변경자에 대응하고, 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 변경자 세트의 변경자에 대응함 - 를 더 포함하는, 디바이스.

16. 프로세서-실행가능한 명령어들을 저장하는 프로세서-판독가능한 저장 디바이스로서, 프로세서-실행가능한 명령어들은, 머신의 하나 이상의 프로세서에 의해 실행될 때, 머신으로 하여금: 컴퓨팅 디바이스의 사용자 인터페이스에서의 선택을 수신하는 단계 - 사용자 인터페이스는 컴퓨팅 디바이스와 통신하는 이미지 캡처 디바이스의 시야를 포함하고, 선택은 사용자 인터페이스 내에서의 위치를 나타냄 - ; 선택 및 사용자 인터페이스 내에서의 위치에 적어도 부분적으로 기초하여 변경자 컨텍스트를 결정하는 단계; 변경자 컨텍스트에 기초하여 적어도 하나의 변경자세트를 식별하는 단계 - 변경자 세트는 이미지 캡처 디바이스의 하나 이상의 변경자, 및 변경자 세트의 각각의 변경자에 대한 변경자 아이콘을 포함함 - ; 변경자 컨텍스트에 기초하여 변경자 세트에 대한 순서를 결정하는 단계; 및 사용자 인터페이스 내에서 변경자 세트에 대한 변경자 아이콘들의 프리젠테이션을 야기하는 단계를 포함하는 동작들을 수행하게 하는, 프로세서-판독가능한 저장 디바이스.

17. 예 16의 프로세서-판독가능한 저장 디바이스로서, 동작들은: 선택을 수신하는 것에 응답하여, 사용자 인터페이스 내에서의 선택의 위치, 및 선택에 의해 이미지 캡처 디바이스의 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽을 생성하는 단계 - 표현 그래픽은 관심 객체에 오버레이된 메쉬를 포함함 - ; 및 선택, 선택의 위치, 및 선택에 의해 식별된 관심 객체에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는, 프로세서-판독가능한 저장 디바이스.

18. 예 16 또는 예 17의 프로세서-판독가능한 저장 디바이스로서, 선택은 사용자 인터페이스 내에 묘사된 이미지 캡처 디바이스의 시야 내에서의 위치를 나타내고, 동작들은: 이미지 캡처 디바이스의 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계; 시야 내에 묘사된 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 식별들은 하나 이상의 특성에 기초함 - ; 및 선택, 사용자 인터페이스 내에서의 선택의 위치, 및 하나 이상의 관심 객체에 대한 식별들에 기초하여 변경자 컨텍스트를 결정하는 단계를 더 포함하는, 프로세서-판독가능한 저장 디바이스.

19. 예 16 내지 예 18 중 임의의 하나 이상의 프로세서-판독가능한 저장 디바이스로서, 변경자 세트는 제1 변경자 세트이고, 동작들은: 이미지 캡처 디바이스의 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 관심 객체 세트의 관심 객체에 대응함 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제1 변경자 세트를 식별하는 단계 - 제1 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ; 변경자 컨텍스트 및 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 제2 변경자 세트는 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ; 제1 변경자 세트 및 제2 변경자 세트에 대한 순서를 결정하는 단계 - 순서는 변경자 컨텍스트, 및 관심 객체 세트의 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및 제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 제1 변경자 세트의 변경자에 대응하고, 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 제2 변경자 세트의 변경자에 대응함 - 를 더 포함하는, 프로세서-판독가능한 저장 디바이스.

20. 예 16 내지 예 19 중 임의의 하나 이상의 프로세서-판독가능한 저장 디바이스로서, 사용자 인터페이스에서의 선택은 제1 선택이고, 동작들은: 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계; 변경자 아이콘에 의해 표현되는 변경자에 연관된 변경자 범주를 결정하는 단계; 적어도 부분적으로 변경자 컨텍스트를 결정하기 위해 사용되는 관심 객체에 연관된 객체 범주를 결정하는 단계; 변경자 범주가 객체 범주에 대응한다고 결정하는 단계; 및 제2 선택에 의해 나타내어진 변경자 아이콘에 연관된 변경자를 적용하는 단계를 더 포함하는, 프로세서-판독가능한 저장 디바이스.

21. 머신의 하나 이상의 프로세서에 의해 실행될 때, 머신으로 하여금 제1항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 지니는 머신-판독가능한 매체.

모듈, 컴포넌트, 및 로직

소정 실시예들은, 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 컴포넌트들은 하드웨어 컴포넌트들을 구성할 수 있다. "하드웨어 컴포넌트"는, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하드웨어 컴포넌트(예를 들어, 적어도 하나의 하드웨어 프로세서, 프로세서, 또는 프로세서 그룹)은, 본 명세서에서 설명된 소정의 동작들을 수행하도록 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성된다.

일부 실시예들에서, 하드웨어 컴포넌트는, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현된다. 예를 들어, 하드웨어 컴포넌트는 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는, 범용 프로세서 또는 다른 프로그램가능 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 컴포넌트를 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.

따라서, "하드웨어 컴포넌트"라는 구문은, 소정 방식으로 동작하거나 본 명세서에서 설명된 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나[예를 들어, 물리결선된(hardwired)], 또는 일시적으로 구성된(예를 들어, 프로그램된) 유형 엔티티(tangible entity)를 포괄하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 컴포넌트"란 하드웨어 컴포넌트를 말한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려할 때, 하드웨어 컴포넌트들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서(예를 들어, 상이한 하드웨어 컴포넌트들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다. 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 한 시점에서는 특정한 하드웨어 컴포넌트를 구성하고 상이한 시점에서 상이한 하드웨어 컴포넌트를 구성할 수 있다.

하드웨어 컴포넌트는 다른 하드웨어 컴포넌트들에 정보를 제공하고 이로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 컴포넌트가 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 컴포넌트들 사이에서(예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 컴포넌트들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 컴포넌트들 사이의 통신은, 예를 들어, 복수의 하드웨어 컴포넌트들이 액세스하는 메모리 구조 내의 정보의 저장 및 회수를 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장한다. 그 다음, 또 다른 하드웨어 컴포넌트는, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 컴포넌트는 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.

본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록(예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 프로세서들에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 본 명세서에서 설명된 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 컴포넌트들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 컴포넌트"란 프로세서를 이용하여 구현된 하드웨어 컴포넌트를 말한다.

유사하게, 본 명세서에서 설명된 방법들은 적어도 부분적으로 프로세서-구현될 수 있고, 여기서, 특정한 프로세서 또는 프로세서들은 하드웨어의 한 예이다. 예를 들어, 방법의 동작들 중 적어도 일부분은 프로세서 또는 프로세서-구현된 컴포넌트에 의해 수행될 수 있다. 게다가, 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어(software as a service)"(SaaS)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부분은, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷) 및 적절한 인터페이스[예를 들어, 애플리케이션 프로그램 인터페이스(API)]를 통해 액세스가능하다.

특정 동작들의 수행은, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치된, 프로세서들 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 단일의 지리적 위치에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치한다. 다른 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 컴포넌트들은 다수의 지리적 위치에 걸쳐 분산된다.

애플리케이션들

도 17은, 일부 실시예들에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 기타의 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(1700)를 나타낸다. 한 실시예에서, 모바일 디바이스(1700)는 사용자(1702)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(1702)는 모바일 디바이스(1700)를 물리적으로 터치(1704)할 수 있고, 터치(1704)에 응답하여, 모바일 디바이스(1700)는, 터치 위치, 터치 힘, 또는 제스쳐 모션과 같은 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(1700)는 애플리케이션을 론칭하거나 모바일 디바이스(1700)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(1706)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예에서, 홈 스크린(1706)은, 배터리 수명, 접속성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(1702)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(1702)는 모바일 디바이스(1700)의 애플리케이션과 상호작용한다. 예를 들어, 홈 스크린(1706)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.

모바일 디바이스(1700)는, 도 15에 도시된 바와 같이, 촬영 디바이스(1708)를 포함한다. 촬영 디바이스는, 비디오 스트림 또는 하나 이상의 연속적인 이미지를 캡처할 수 있는 모바일 디바이스(1700)에 결합된 카메라 또는 기타 임의의 디바이스일 수 있다. 촬영 디바이스(1708)는 이미지 캡처 시스템(160) 또는 선택가능한 사용자 인터페이스 요소에 의해 트리거되어 비디오 스트림 또는 일련의 프레임들의 캡처를 개시하고 비디오 스트림 또는 일련의 이미지들을 본 개시내용에서 설명된 하나 이상의 방법에 따라 처리하기 위해 이미지 캡처 시스템(160)에 전달할 수 있다.

네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, "앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(1700) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(1700)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치확인 앱, 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(1700)는, 일부 실시예들에 따라, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(1710)을 포함한다. 이 예에서, 소셜 메시징 애플리케이션1710)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 소셜 메시징 애플리케이션은 사용자 및 소셜 메시징 애플리케이션에 의해 생성된 단기 미디어 갤러리를 포함한다. 이러한 갤러리는, 사용자에 의해 게시되고 사용자의 연락처(예를 들어, "친구")가 볼 수 있는 비디오 또는 사진으로 구성될 수 있다. 대안으로서, 공개 갤러리는, 애플리케이션의 임의의 사용자로부터의(및 모든 사용자에 의해 액세스가능한) 미디어로 구성된 소셜 메시징 애플리케이션의 관리자에 의해 생성될 수 있다. 역시 또 다른 실시예에서, 소셜 메시징 애플리케이션은, 소셜 메시징 애플리케이션의 플랫폼 상의 발행자에 의해 생성되고 임의의 사용자에 의해 액세스될 수 있는 기사 및 기타의 콘텐츠로 구성된 "잡지" 피처를 포함할 수 있다. 이들 환경들 또는 플랫폼들 중 임의의 것이 본 발명의 개념을 구현하는 데 이용될 수 있다.

일부 실시예들에서, 단기 메시지 시스템은, 시청 시간 또는 시청 완료 등의 삭제 트리거 이벤트에 후속하여 삭제되는 단기 비디오 클립 또는 이미지를 갖는 메시지를 포함할 수 있다. 이러한 실시예에서, 이미지 캡처 시스템(160)을 구현하는 디바이스는, 단기 비디오 클립이 디바이스에 의해 캡처되고 단기 비디오 클립을 단기 메시지 시스템을 이용하여 또 다른 디바이스에 전송할 때, 단기 비디오 클립 내의 얼굴을 식별, 추적, 추출 및 그 표현을 생성할 수 있다.

소프트웨어 아키텍처

도 18은 전술된 디바이스들 상에 설치될 수 있는 소프트웨어의 아키텍처(1802)를 나타내는 블록도(1800)이다. 도 18은 소프트웨어 아키텍처의 비제한적 예일 뿐이고, 본 명세서에서 설명된 기능을 용이화하기 위해 많은 다른 아키텍처가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1802)는, 프로세서(1910), 메모리(1930), 및 I/O 컴포넌트(1950)를 포함하는 도 19의 머신(1900) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍처에서, 소프트웨어(1802)는 각각의 계층이 특정한 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1802)는, 운영 체제(1804), 라이브러리(1806), 프레임워크(1808), 및 애플리케이션(1810) 등의 계층들을 포함한다. 동작상, 애플리케이션(1810)은, 일부 실시예들에 따라, 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 호출(1812)을 기동하고, API 호출(1812)에 응답하여 메시지(1814)를 수신한다.

다양한 구현에서, 운영 체제(1804)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1804)는, 예를 들어, 커널(1820), 서비스(1822) 및 드라이버(1824)를 포함한다. 커널(1820)은 일부 실시예들에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1820)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스(1822)는 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예들에 따라, 드라이버(1824)는 기저 하드웨어를 제어하거나 이와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버(1824)는, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.

일부 실시예들에서, 라이브러리(1806)는 애플리케이션(1810)에 의해 이용되는 로우 레벨 공통 인프라스트럭처를 제공한다. 라이브러리(1806)는, 메모리 할당 함수, 문자열 조작 함수, 수학 함수 등의 함수를 제공할 수 있는 시스템 라이브러리(1830)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리(1806)는, 미디어 라이브러리[예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포멧의 프리젠테이션과 조작을 지원하는 라이브러리들] 그래픽 라이브러리[예를 들어, 그래픽 콘텐츠를 디스플레이 상에서 2차원(2D) 및 3차원(3D)으로 렌더링하는 데 이용되는 OpenGL 프레임워크], 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1832)를 포함할 수 있다. 라이브러리(1806)는 또한, 많은 다른 API를 애플리케이션(1810)에 제공하는 광범위한 다른 라이브러리(1834)를 포함할 수 있다.

프레임워크(1808)는 일부 실시예들에 따라 애플리케이션(1810)에 의해 이용될 수 있는 하이 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크(1808)는, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 자원 관리, 하이-레벨 위치확인 서비스 등을 제공한다. 프레임워크(1808)는 애플리케이션(1810)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼 특유일 수 있다.

한 예시적인 실시예에서, 애플리케이션(1810)은, 홈 애플리케이션(1850), 연락처 애플리케이션(1852), 브라우저 애플리케이션(1854), 북 리더 애플리케이션(1856), 위치파악 애플리케이션(1858), 미디어 애플리케이션(1860), 메시징 애플리케이션(1862), 게임 애플리케이션(1864), 및 제3자 애플리케이션(1866) 등의 광범위한 애플리케이션을 포함한다. 일부 실시예들에 따르면, 애플리케이션(1810)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션(1810)을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1866)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(software development kit)(SDK)를 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® PHONE, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1866)은 본 명세서에서 설명된 기능을 용이화하기 위해 운영 체제(1804)에 의해 제공되는 API 호출(1812)을 기동할 수 있다.

예시적인 머신 아키텍처 및 머신-판독가능한 매체

도 19는, 머신-판독가능한 저장 매체(예를 들어, 프로세서-판독가능한 저장 매체 또는 프로세서-판독가능한 저장 디바이스)로부터 명령어들(예를 들어, 프로세서-실행가능한 명령어들)을 판독하여 본 명세서에서 논의된 방법론들 중 임의의 것을 수행할 수 있는, 일부 실시예들에 따른 머신(1900)의 컴포넌트들을 나타내는 블록도이다. 구체적으로, 도 19는 예시적인 형태의 컴퓨터 시스템으로 된 머신(1900)의 개략적 표현을 도시하며, 머신 내부에서, 머신(1900)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령어들(1916)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)이 실행될 수 있다. 대안적인 실시예에서, 머신(1900)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1900)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1900)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋톱박스(STB), PDA(personal digital assistant), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1900)에 의해 취해질 동작들을 명시하는 명령어들(1916)을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 또한, 단 하나의 머신(1900)이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하기 위해 명령어들(1916)을 개별적으로 또는 공동으로 실행하는 머신들의 집합체(1900)를 포함하는 것으로 간주되어야 한다.

다양한 실시예에서, 머신(1900)은, 버스(1902)를 통해 서로 통신하도록 구성될 수 있는 프로세서(1910), 메모리(1930), 및 I/O 컴포넌트(1950)를 포함한다. 한 예시적인 실시예에서, 프로세서(1910)[예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP; Digital Signal Processor), 주문형 집적 회로(ASIC; Application Specific Integrated Circuit), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합]는, 예를 들어, 명령어(1916)를 실행할 수 있는 프로세서(1912) 및 프로세서(1914)를 포함한다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서("코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 19는 복수의 프로세서를 도시하지만, 머신(1900)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

일부 실시예들에 따르면, 메모리(1930)는, 버스(1902)를 통해 프로세서(1910)가 액세스할 수 있는, 메인 메모리(1932), 정적 메모리(1934), 및 저장 유닛(1936)을 포함한다. 저장 유닛(1936)은, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 것을 구현하는 명령어들(1916)이 저장되는 머신-판독가능한 저장 매체(1938)를 포함할 수 있다. 명령어들(1916)은 또한, 머신(1900)에 의한 그 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1932) 내에, 정적 메모리(1934) 내에, 프로세서들(1910) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에 존재할 수 있다. 따라서, 다양한 실시예에서, 메인 메모리(1932), 정적 메모리(1934), 및 프로세서들(1910)은 머신-판독가능한 매체(1938)로서 간주된다.

본 명세서에서 사용될 때, "메모리"라는 용어는, 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신-판독가능한 저장 매체(1938)를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하지만 이것으로 제한되지 않는 것으로 간주된다. 머신-판독가능한 저장 매체(1938)가 예시적인 실시예에서 단일 저장 매체인 것으로 도시되어 있지만, "머신-판독가능한 저장 매체"라는 용어는 명령어(1916)를 저장할 수 있는 단일 저장 매체 또는 복수의 저장 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "머신-판독가능한 저장 매체"라는 용어는 또한, 명령어들이, 머신(1900)의 프로세서들[예를 들어, 프로세서들(1910)]에 의해 실행될 때, 머신(1900)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 것을 수행하게 하도록, 머신[예를 들어, 머신(1900)]에 의한 실행을 위한 명령어[예를 들어, 명령어(1916)]를 저장할 수 있는 임의의 저장 매체 또는 복수의 저장 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 저장 매체"란, 단일의 저장 장치 또는 디바이스 뿐만 아니라, 복수의 저장 장치 또는 디바이스를 포함하는 "클라우드-기반" 저장 시스템 또는 저장 네트워크를 말한다. "머신-판독가능한 저장 매체"라는 용어는, 그에 따라, 솔리드-스테이트 메모리(예를 들어, 플래시 메모리), 광학 매체, 자기 매체, 기타의 비휘발성 메모리[예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EPROM)], 또는 이들의 임의의 적절한 조합의 형태로 된 데이터 저장소를 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다. "머신-판독가능한 저장 매체"라는 용어는 머신-판독가능한 저장 신호들을 포함할 수 있다.

I/O 컴포넌트들(1950)은, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하며, 정보를 교환하고, 측정치를 캡처하는 등을 수행하는 다양한 컴포넌트를 포함한다. 일반적으로, I/O 컴포넌트들(1950)은 도 17에 도시되지 않은 많은 다른 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트들(1950)은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트(1950)는 출력 컴포넌트(1952) 및 입력 컴포넌트(1954)를 포함한다. 출력 컴포넌트들(1952)은, 시각적 컴포넌트[예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube) 등의 디스플레이], 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터), 기타의 신호 생성기 등을 포함한다. 입력 컴포넌트들(1954)은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 사진-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 기타의 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버튼, 터치 또는 터치 제스쳐의 위치 및 힘을 제공하는 터치 스크린, 또는 기타의 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.

일부 추가의 예시적인 실시예에서, I/O 컴포넌트들(1950)은, 특히, 바이오메트릭 컴포넌트(1956), 모션 컴포넌트(1958), 환경 컴포넌트(1960), 또는 위치 컴포넌트(1962)를 포함한다. 예를 들어, 바이오메트릭 컴포넌트(1956)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 입 제스쳐)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함한다. 모션 컴포넌트(1958)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트(1960)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 노이즈를 검출하는 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 가스 센서 컴포넌트(예를 들어, 머신 후각 검출 센서, 안전을 위해 위험한 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함한다. 위치 컴포넌트(1962)는, 위치 센서 컴포넌트[예를 들어, GPS(Global Positioning System) 수신기 컴포넌트], 고도 센서 컴포넌트(예를 들어, 고도가 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함한다.

통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트들(1950)은, 머신(1900)을 각각 결합(1982) 및 결합(1972)을 통해 네트워크(1980) 또는 디바이스(1970)에 결합하도록 동작가능한 통신 컴포넌트(1964)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1964)는 네트워크 인터페이스 컴포넌트 또는 네트워크(1980)와 인터페이스하기에 적절한 또 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트(1964)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스(1970)는, 또 다른 머신 또는 임의의 다양한 주변 디바이스[예를 들어, USB(Universal Serial Bus)를 통해 결합된 주변 디바이스]일 수 있다.

게다가, 일부 실시예들에서, 통신 컴포넌트(1964)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함한다. 예를 들어, 통신 컴포넌트(1964)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트[예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서], 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함한다. 또한, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 위치, WI-FI® 신호 삼각측량을 통한 위치, 특정한 위치를 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 위치 등의 다양한 정보가 통신 컴포넌트(1964)를 통해 도출될 수 있다.

전송 매체

다양한 예시적인 실시예에서, 네트워크(1980)의 부분들은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(MAN; Metropolitan Area Network), 인터넷, 인터넷의 일부, PSTN(public switched telephone network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1980) 또는 네트워크(1980)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1982)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1982)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.

예시적인 실시예에서, 명령어들(1916)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1964)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 프로토콜들 중 임의의 하나[예를 들어, 하이퍼텍스트 전송 프로토콜(HTTP)]를 이용하여 네트워크(1980)를 통해 전송되거나 수신된다. 유사하게, 다른 예시적인 실시예에서, 명령어들(1916)은 디바이스(1970)에 대한 결합(1972)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신된다. "전송 매체"라는 용어는, 머신(1900)에 의한 실행을 위한 명령어(1916)를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 용이화하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주되어야 한다. 전송 매체는 머신-판독가능한 매체의 일 실시예일 수 있다.

또한, 머신-판독가능한 저장 매체(1938)는 전파 신호를 구현할 수 있다. 그러나, 머신-판독가능한 저장 매체(1938)를 "비-일시적"이라고 하는 것은 저장 매체가 이동할 수 없음을 의미하는 것으로 해석되어서는 안 되고; 저장 매체는 한 물리적 위치로부터 또 다른 위치로 이동될 수 있는 것으로 간주되어야 한다. 추가로, 머신-판독가능한 저장 매체(1938)는 유형이므로, 저장 매체는 머신-판독가능한 디바이스로 간주될 수 있다.

용어

본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트들, 동작들 또는 구조들을 구현할 수 있다. 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.

본 발명의 주제에 대한 개요가 특정한 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은, 본 명세서에서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.

본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자가 본 명세서에서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.

본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 컴포넌트, 엔진 및 데이터 저장소들 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 정황에서 예시된 것이다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원들로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

1. 방법으로서,
   연관된 이미지 변경자에 기초하여 사용자 인터페이스 내에 묘사된 관심 객체를 자동으로 선택하는 단계 - 상기 사용자 인터페이스는 이미지 캡처 디바이스의 시야를 포함하고, 상기 선택은 상기 사용자 인터페이스 내에서의 위치를 나타냄 -;
   상기 선택된 객체의 하나 이상의 특징 및 상기 사용자 인터페이스 내에서의 상기 위치에 기초하여 변경자 컨텍스트(modifier context)를 결정하는 단계 - 상기 선택의 상기 하나 이상의 특징은 상기 자동 선택을 수신함과 동시에 컴퓨팅 디바이스에 의해 검출된 센서 데이터를 포함함 - ;
   상기 변경자 컨텍스트에 기초하여 이미지 변경자 세트를 식별하는 단계 - 상기 이미지 변경자 세트는 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 변경자 아이콘 및 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 적어도 하나의 변경자 범주를 포함함 - ;
   상기 이미지 변경자 세트에 포함시키기 위한 이미지 변경자를 수신하는 단계 - 상기 이미지 변경자는 변경자 범주에 연관되고, 상기 변경자 범주는 상기 이미지 변경자의 식별을 트리거하는 컨텍스트 표시자를 나타내고, 상기 컨텍스트 표시자는 관심 객체 및 센서 데이터 중 하나 이상임 - ;
   상기 변경자 컨텍스트에 기초하여 상기 이미지 변경자 세트에 대한 순서를 결정하는 단계; 및
   상기 사용자 인터페이스 내에서 상기 이미지 변경자 세트에 대한 상기 변경자 아이콘들의 프리젠테이션을 야기하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   상기 자동 선택에 응답하여, 상기 사용자 인터페이스 내에서의 상기 선택의 위치, 및 상기 자동 선택에 의해 상기 이미지 캡처 디바이스의 상기 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽(representation graphic)을 생성하는 단계 - 상기 표현 그래픽은 상기 관심 객체에 오버레이된 메쉬를 포함함 - ; 및
   상기 선택, 상기 자동 선택의 상기 위치, 및 상기 자동 선택에 의해 식별된 상기 관심 객체에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
   를 더 포함하는, 방법.
3. 제1항에 있어서,
   상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계;
   상기 시야 내에 묘사된 상기 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 상기 식별들은 상기 하나 이상의 특성에 기초함 - ; 및
   상기 선택, 상기 사용자 인터페이스 내에서의 상기 자동 선택의 상기 위치, 및 상기 하나 이상의 관심 객체에 대한 상기 식별들에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
   를 더 포함하는, 방법.
4. 제1항에 있어서,
   하나 이상의 컨텍스트 표시자를 식별하는 단계; 및
   상기 자동 선택, 상기 자동 선택의 상기 위치, 및 상기 하나 이상의 컨텍스트 표시자에 기초하여, 상기 변경자 컨텍스트를 결정하는 단계
   를 더 포함하는, 방법.
5. 제4항에 있어서, 상기 하나 이상의 컨텍스트 표시자는, 상기 컴퓨팅 디바이스의 지오로케이션; 일중 시각; 날씨 데이터의 세트; 상기 시야 내에 묘사된 얼굴; 상기 시야 내에 묘사된 복수의 얼굴; 상기 시야 내에 묘사된 미리 결정된 인물들의 세트의 지정된 인물; 자연적 피처 추적 식별(natural feature tracking identification); 엔티티, 이벤트 또는 제품을 식별하는 표현 심볼; 스폰서쉽; 상기 컴퓨팅 디바이스의 배향; 상기 컴퓨팅 디바이스의 이동; 상기 시야 내에 묘사된 객체 유형; 지정된 변경자에 적용된 잠금해제 코드; 상기 컴퓨팅 디바이스에 대한 이미지 캡처 디바이스 위치; 변경자 인기도 점수; 및 이것들의 조합들로 이루어진 그룹으로부터 선택되는, 방법.
6. 제1항에 있어서, 상기 변경자 세트는 제1 변경자 세트이고, 상기 방법은:
   상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 상기 관심 객체 세트의 관심 객체에 대응함 - ;
   상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 상기 제1 변경자 세트를 식별하는 단계 - 상기 제1 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ;
   상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 상기 제2 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ;
   상기 제1 변경자 세트 및 상기 제2 변경자 세트에 대한 순서를 결정하는 단계 - 상기 순서는 상기 변경자 컨텍스트, 및 상기 관심 객체 세트의 상기 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및
   제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 상기 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제1 변경자 세트의 변경자에 대응하고, 상기 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제2 변경자 세트의 변경자에 대응함 -
   를 더 포함하는, 방법.
7. 제6항에 있어서, 상기 제2 변경자 세트는 상기 제1 변경자 세트와 호환가능한 것으로 결정된 적어도 하나의 관심 객체와의, 상기 제2 변경자 세트의 호환가능성을 나타내는 제3 호환가능성 값을 갖고, 상기 제3 호환가능성 값은 상기 제1 호환가능성 값보다 작은, 방법.
8. 제1항에 있어서, 상기 적어도 하나의 변경자 범주는 제1 변경자 범주 및 제2 변경자 범주를 포함하고, 상기 제1 변경자 범주는 상기 변경자에 연관된 1차 컨텍스트 표시자를 나타내고, 상기 제2 변경자 범주는 상기 변경자에 연관된 2차 컨텍스트 표시자를 나타내며, 상기 수신된 이미지 변경자는 상기 제1 변경자 범주 및 상기 제2 변경자 범주 중 하나 이상의 검출 시에 식별되고 디스플레이되는, 방법.
9. 제1항에 있어서, 상기 사용자 인터페이스에서의 선택은 제1 선택이고, 상기 방법은:
   상기 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계;
   상기 변경자 아이콘에 의해 표현되는 상기 수신된 이미지 변경자에 연관된 변경자 범주를 결정하는 단계;
   적어도 부분적으로 상기 변경자 컨텍스트를 결정하기 위해 사용되는 관심 객체에 연관된 객체 범주를 결정하는 단계;
   상기 변경자 범주가 상기 객체 범주에 대응한다고 결정하는 단계; 및
   상기 제2 선택에 의해 나타내어진 상기 변경자 아이콘에 연관된 상기 변경자를 적용하는 단계
   를 더 포함하는, 방법.
10. 제9항에 있어서,
    상기 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계;
    상기 변경자 아이콘에 의해 표현되는 상기 변경자에 연관된 변경자 범주를 결정하는 단계;
    제1 관심 객체에 연관된 제1 객체 범주 및 제2 관심 객체에 연관된 제2 객체 범주를 결정하는 단계 - 상기 제1 관심 객체는 적어도 부분적으로 상기 변경자 컨텍스트를 결정하기 위해 사용됨 - ;
    상기 변경자 범주가 상기 제2 객체 범주에 대응한다고 결정하는 단계; 및
    자동 선택에 의해 상기 이미지 캡처 디바이스의 상기 시야 내에서 식별된 상기 제2 관심 객체를 나타내는 표현 그래픽을 생성하는 단계 - 상기 표현 그래픽은 상기 제2 관심 객체에 오버레이된 메쉬를 포함함 -
    를 더 포함하는, 방법.
11. 디바이스로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 결합되고, 프로세서-실행가능한 명령어들을 저장하는 프로세서-판독가능한 저장 디바이스
    를 포함하고, 상기 프로세서-실행가능한 명령어들은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    연관된 이미지 변경자에 기초하여 사용자 인터페이스 내에 묘사된 관심 객체를 자동으로 선택하는 단계 - 상기 사용자 인터페이스는 이미지 캡처 디바이스의 시야를 포함하고, 상기 선택은 상기 사용자 인터페이스 내에서의 위치를 나타냄 -;
    상기 선택된 객체의 하나 이상의 특징 및 상기 사용자 인터페이스 내에서의 상기 위치에 기초하여 변경자 컨텍스트를 결정하는 단계 - 상기 선택의 상기 하나 이상의 특징은 상기 자동 선택을 수신함과 동시에 컴퓨팅 디바이스에 의해 검출된 센서 데이터를 포함함 - ;
    상기 변경자 컨텍스트에 기초하여 이미지 변경자 세트를 식별하는 단계 - 상기 이미지 변경자 세트는 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 변경자 아이콘 및 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 적어도 하나의 변경자 범주를 포함함 - ;
    상기 이미지 변경자 세트에 포함시키기 위한 이미지 변경자를 수신하는 단계 - 상기 이미지 변경자는 변경자 범주에 연관되고, 상기 변경자 범주는 상기 이미지 변경자의 식별을 트리거하는 컨텍스트 표시자를 나타내고, 상기 컨텍스트 표시자는 관심 객체 및 센서 데이터 중 하나 이상임 - ;
    상기 변경자 컨텍스트에 기초하여 상기 이미지 변경자 세트에 대한 순서를 결정하는 단계; 및
    상기 사용자 인터페이스 내에서 상기 이미지 변경자 세트에 대한 상기 변경자 아이콘들의 프리젠테이션을 야기하는 단계
    를 포함하는 동작들을 수행하게 하는, 디바이스.
12. 제11항에 있어서, 상기 동작들은:
    상기 자동 선택에 응답하여, 상기 사용자 인터페이스 내에서의 상기 선택의 위치, 및 상기 선택에 의해 상기 이미지 캡처 디바이스의 상기 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽을 생성하는 단계 - 상기 표현 그래픽은 상기 관심 객체에 오버레이된 메쉬를 포함함 - ; 및
    상기 선택, 상기 자동 선택의 상기 위치, 및 상기 자동 선택에 의해 식별된 상기 관심 객체에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
    를 더 포함하는, 디바이스.
13. 제11항에 있어서, 상기 동작들은:
    상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계;
    상기 시야 내에 묘사된 상기 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 상기 식별들은 상기 하나 이상의 특성에 기초함 - ; 및
    상기 선택, 상기 사용자 인터페이스 내에서의 상기 선택의 상기 위치, 및 상기 하나 이상의 관심 객체에 대한 상기 식별들에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
    를 더 포함하는, 디바이스.
14. 제11항에 있어서, 상기 변경자 세트는 제1 변경자 세트이고, 상기 동작들은:
    상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 상기 관심 객체 세트의 관심 객체에 대응함 - ;
    상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 상기 제1 변경자 세트를 식별하는 단계 - 상기 제1 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ;
    상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 상기 제2 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ;
    상기 제1 변경자 세트 및 상기 제2 변경자 세트에 대한 순서를 결정하는 단계 - 상기 순서는 상기 변경자 컨텍스트, 및 상기 관심 객체 세트의 상기 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및
    제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 상기 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제1 변경자 세트의 변경자에 대응하고, 상기 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제2 변경자 세트의 변경자에 대응함 -
    를 더 포함하는, 디바이스.
15. 프로세서-실행가능한 명령어들을 저장하는 프로세서-판독가능한 저장 디바이스로서,
    상기 프로세서-실행가능한 명령어들은, 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금:
    연관된 이미지 변경자에 기초하여 사용자 인터페이스 내에 묘사된 관심 객체를 자동으로 선택하는 단계 - 상기 사용자 인터페이스는 이미지 캡처 디바이스의 시야를 포함하고, 상기 선택은 상기 사용자 인터페이스 내에서의 위치를 나타냄 -;
    상기 선택된 객체의 하나 이상의 특징 및 상기 사용자 인터페이스 내에서의 상기 위치에 기초하여 변경자 컨텍스트를 결정하는 단계 - 상기 선택의 상기 하나 이상의 특징은 상기 자동 선택을 수신함과 동시에 컴퓨팅 디바이스에 의해 검출된 센서 데이터를 포함함 - ;
    상기 변경자 컨텍스트에 기초하여 이미지 변경자 세트를 식별하는 단계 - 상기 이미지 변경자 세트는 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 변경자 아이콘 및 상기 이미지 변경자 세트의 각각의 이미지 변경자에 대한 적어도 하나의 변경자 범주를 포함함 - ;
    상기 이미지 변경자 세트에 포함시키기 위한 이미지 변경자를 수신하는 단계 - 상기 이미지 변경자는 변경자 범주에 연관되고, 상기 변경자 범주는 상기 이미지 변경자의 식별을 트리거하는 컨텍스트 표시자를 나타내고, 상기 컨텍스트 표시자는 관심 객체 및 센서 데이터 중 하나 이상임 -;
    상기 변경자 컨텍스트에 기초하여 상기 이미지 변경자 세트에 대한 순서를 결정하는 단계; 및
    상기 사용자 인터페이스 내에서 상기 이미지 변경자 세트에 대한 상기 변경자 아이콘들의 프리젠테이션을 야기하는 단계
    를 포함하는 동작들을 수행하게 하는, 프로세서-판독가능한 저장 디바이스.
16. 제15항에 있어서, 상기 동작들은:
    상기 자동 선택에 응답하여, 상기 사용자 인터페이스 내에서의 상기 선택의 위치, 및 상기 자동 선택에 의해 상기 이미지 캡처 디바이스의 상기 시야 내에서 식별된 관심 객체 중 하나 이상을 나타내는 표현 그래픽을 생성하는 단계 - 상기 표현 그래픽은 상기 관심 객체에 오버레이된 메쉬를 포함함 - ; 및
    상기 선택, 상기 자동 선택의 상기 위치, 및 상기 선택에 의해 식별된 상기 관심 객체에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
    를 더 포함하는, 프로세서-판독가능한 저장 디바이스.
17. 제15항에 있어서, 상기 동작들은:
    상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 하나 이상의 관심 객체의 하나 이상의 특성을 결정하는 단계;
    상기 시야 내에 묘사된 상기 하나 이상의 관심 객체의 각각의 관심 객체에 대한 식별을 결정하는 단계 - 상기 식별들은 상기 하나 이상의 특성에 기초함 - ; 및
    상기 자동 선택, 상기 사용자 인터페이스 내에서의 상기 선택의 상기 위치, 및 상기 하나 이상의 관심 객체에 대한 상기 식별들에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
    를 더 포함하는, 프로세서-판독가능한 저장 디바이스.
18. 제15항에 있어서, 상기 변경자 세트는 제1 변경자 세트이고, 상기 동작들은:
    상기 이미지 캡처 디바이스의 상기 시야 내에 묘사된 관심 객체 세트에 대한 식별 세트를 결정하는 단계 - 각각의 식별은 상기 관심 객체 세트의 관심 객체에 대응함 - ;
    상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 상기 제1 변경자 세트를 식별하는 단계 - 상기 제1 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제1 변경자 세트의 호환가능성을 나타내는 제1 호환가능성 값을 가짐 - ;
    상기 변경자 컨텍스트 및 상기 식별 세트의 적어도 하나의 식별에 기초하여 제2 변경자 세트를 식별하는 단계 - 상기 제2 변경자 세트는 상기 관심 객체 세트의 관심 객체들 중 적어도 하나에 대한 상기 제2 변경자 세트의 호환가능성을 나타내는 제2 호환가능성 값을 가짐 - ;
    상기 제1 변경자 세트 및 상기 제2 변경자 세트에 대한 순서를 결정하는 단계 - 상기 순서는 상기 변경자 컨텍스트, 및 상기 관심 객체 세트의 상기 식별들의 적어도 일부분에 기초하여 결정됨 - ; 및
    제1 변경자 아이콘 세트의 적어도 일부분 및 제2 변경자 아이콘 세트의 적어도 일부분의 프리젠테이션을 야기하는 단계 - 상기 제1 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제1 변경자 세트의 변경자에 대응하고, 상기 제2 변경자 아이콘 세트의 각각의 변경자 아이콘은 상기 제2 변경자 세트의 변경자에 대응함 -
    를 더 포함하는, 프로세서-판독가능한 저장 디바이스.
19. 제16항에 있어서, 상기 동작들은:
    상기 사용자 인터페이스 내에 프리젠팅되는 변경자 아이콘의 제2 선택을 수신하는 단계;
    상기 변경자 아이콘에 의해 표현되는 상기 변경자에 연관된 변경자 범주를 결정하는 단계;
    적어도 부분적으로 상기 변경자 컨텍스트를 결정하기 위해 사용되는 관심 객체에 연관된 객체 범주를 결정하는 단계;
    상기 변경자 범주가 상기 객체 범주에 대응한다고 결정하는 단계; 및
    상기 제2 선택에 의해 나타내어진 상기 변경자 아이콘에 연관된 상기 변경자를 적용하는 단계
    를 더 포함하는, 프로세서-판독가능한 저장 디바이스.
20. 제16항에 있어서, 상기 동작들은,
    하나 이상의 컨텍스트 표시자를 식별하는 단계; 및
    상기 자동 선택, 상기 자동 선택의 위치, 및 상기 하나 이상의 컨텍스트 표시자에 기초하여 상기 변경자 컨텍스트를 결정하는 단계
    를 더 포함하는, 프로세서-판독가능한 저장 디바이스.

Images