KR102039505B1 - 국지적 증강 현실 지속적 스티커 객체 - Google Patents

국지적 증강 현실 지속적 스티커 객체 Download PDF

Info

Publication number
KR102039505B1
KR102039505B1 KR1020177035782A KR20177035782A KR102039505B1 KR 102039505 B1 KR102039505 B1 KR 102039505B1 KR 1020177035782 A KR1020177035782 A KR 1020177035782A KR 20177035782 A KR20177035782 A KR 20177035782A KR 102039505 B1 KR102039505 B1 KR 102039505B1
Authority
KR
South Korea
Prior art keywords
image
target
images
tracking
local
Prior art date
Application number
KR1020177035782A
Other languages
English (en)
Other versions
KR20180006951A (ko
Inventor
지아 리
린지에 뤄
라울 부펜드라 셰스
닝 쉬
젠차오 양
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Priority to KR1020197031843A priority Critical patent/KR102511326B1/ko
Publication of KR20180006951A publication Critical patent/KR20180006951A/ko
Application granted granted Critical
Publication of KR102039505B1 publication Critical patent/KR102039505B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

AR 객체의 국지적 증강 현실(AR; augmented reality) 추적이 개시된다. 한 예시적인 실시예에서, 디바이스는 일련의 비디오 이미지 프레임들을 포착한다. 비디오 이미지 프레임들의 제1 이미지의 제1 부분을 AR 스티커 객체 및 타겟과 연관시키는 사용자 입력이 디바이스에서 수신된다. 제1 타겟 템플릿이 생성되어 비디오 이미지 프레임들의 프레임들에 걸쳐 타겟을 추적한다. 일부 실시예들에서, 타겟이 경계 영역 외부에 있다는 결정에 기초하여 전역적 추적이 이용된다. 전역적 추적은, 타겟이 경계 영역 외부에 있다는 결정에 후속하여 포착된 비디오 이미지 프레임들에서 움직임을 추적하기 위해 전역적 추적 템플릿을 이용하는 것을 포함한다. 타겟이 경계 영역 내에 있다고 전역적 추적이 결정하면, 디바이스의 출력 디스플레이 상에서의 AR 스티커 객체의 프리젠테이션과 함께 국지적 추적이 재개된다.

Description

국지적 증강 현실 지속적 스티커 객체
우선권 주장
본 특허 출원은 2016년 1월 29일자로 출원된 미국 특허 출원 제15/010,847호에 대한 우선권의 이득을 청구하며, 이는 그 전체내용이 본 명세서에 참조로 통합된다.
증강 현실이란, 컴퓨터로 생성된 강화를 이용하여 실시간 또는 준 실시간 방식으로 이미지 내에 새로운 정보를 추가하는 것을 말한다. 예를 들어, 디바이스의 디스플레이 상에 출력된 벽의 비디오 이미지는, 벽에 존재하지 않지만 증강 현실 시스템에 의해 벽 상에 있는 것처럼 보이도록 생성되는 디스플레이 상세사항으로 강화될 수 있다. 이러한 시스템은, 이미지 포착 디바이스에 의해 결정된 관점에서 최종 이미지를 매끄럽게 프리젠팅하려는 방식으로 포착된 장면에 추가될 증강 현실 정보와 통합되고 정합되는 이미지 포착 정보의 복합 혼합을 이용한다.
첨부된 도면의 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안 된다.
도 1은 일부 예시적인 실시예들에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 실시예들에 따른 증강 현실 시스템의 양태를 나타낸다.
도 3a는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3b는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3c는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3d는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3e는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3f는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3g는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3h는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 3i는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 4는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적을 위한 방법을 설명한다.
도 5a는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 5b는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 5c는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 5d는 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 6은 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적을 위한 방법을 설명한다.
도 7은 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적의 양태를 나타낸다.
도 8은 일부 예시적인 실시예들에 따른 증강 현실 시스템에 이용될 수 있는 디바이스의 양태를 나타낸다.
도 9는 일부 예시적인 실시예에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시하는 사용자 인터페이스도이다.
도 10은 일부 예시적인 실시예들과 연관하여 증강 현실 시스템에서 이용될 수 있는 예시적인 디바이스를 나타낸다.
도 11은 일부 예시적인 실시예들에 따른 증강 현실 객체의 국지적 추적을 위한 프로세서-구현된 모듈들을 포함하는 디바이스의 예시적인 구현을 나타낸다.
도 12는 일부 예시적인 실시예들에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 나타내는 블록도이다.
도 13은 예시적인 실시예에 따른 머신으로 하여금 본 명세서에서 논의된 방법들 중 임의의 것을 수행하게 하기 위해 명령어 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 개략도를 도시하는 블록도이다.
이하의 내용은 국지적 증강 현실 이미지 처리 및 이미지-기반 추적에 관한 것이다. 일부 특정한 실시예들은, 이미지가 디바이스에 의해 포착되고 디바이스의 디스플레이 상에 프리젠팅될 때 국지적 모델링의 이용을 설명한다. 이것은 이전에 생성된 환경 모델없이 이루어질 수 있다. 실시예들은 증강 현실(AR) 객체가 비디오 프레임의 타겟 부분에 부착될 수 있게 한다. 그 다음, 디바이스는, 현재 포착중이고 디바이스의 디스플레이 상에 프리젠팅 중인 이미지 내에 타겟과 AR 객체가 존재하지 않을 때 디바이스의 비디오 프레임 데이터로부터 타겟이 국지적으로 추적되도록, AR 객체를 국지적으로 추적한다. 일부 실시예들에서, 타겟 및 AR 객체가 비디오 이미지의 안팎으로 이동함에 따라, AR 추적은 타겟 추적으로부터 전체 이미지 내의 움직임의 전역적 추적으로 전환할 수 있다. 추가의 상세사항들 및 다양한 실시예들이 이하에서 설명된다.
이하의 설명은 본 발명의 실시예들을 나타내는 시스템, 디바이스 및 방법을 포함한다. 이하의 설명에서, 설명의 목적을 위해, 많은 구체적인 상세사항이 본 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항없이도 실시될 수 있다는 것이 명백할 것이다.
본 명세서에서 설명되는 바와 같이, AR이란, 이미지를 포착하고, 이들 이미지들을 추가 정보로 강화시킨 다음, 강화된 이미지를 디스플레이 상에 프리젠팅하는 시스템 및 디바이스를 말한다. 이것은, 예를 들어, 사용자가 전화기를 붙잡은 채로 장면의 비디오 스트림을 포착하고, 전화기의 출력 디스플레이가 추가 정보와 함께 사용자에게 보여지도록 장면을 프리젠팅하는 것을 가능하게 한다. 이 정보는, 마치 장면 내에 존재하는 것처럼 프리젠팅되는 가상 객체들을 포함할 수 있다. 이러한 가상 객체들의 양태는, 환경을 포착하는 이미지 센서의 관점에서 볼 때 또 다른 실제 객체 또는 가상 객체가 그 가상 객체의 앞을 지나가면 그 가상 객체가 가려지도록 처리된다. 이러한 가상 객체들은 또한, 실제 객체와 가상 객체 양쪽 모두가 시간에 따라 이동할 때 및 환경을 포착하는 이미지 센서의 관점이 변할 때, 실제 객체와의 관계를 유지하도록 처리된다.
디바이스의 실제 로케이션을 추적하는 한 가지 방식은, 환경의 매우 정확한 모델과 함께 시작하여 모델을 디바이스로부터의 이미지 데이터와 비교하는 것이다. 이러한 시스템은, 포착 중인 환경 또는 장면을 기술하는 이전에 생성된 AR 데이터베이스와, 포착 중인 정보를 모델 및 AR 데이터베이스로부터의 데이터와 정렬하기 위한 시스템 양쪽 모두를 이용할 수 있다. 데이터베이스로부터의 데이터에 액세스하고 이러한 정렬을 수행하는 것은, 특히 더 작은 모바일 또는 착용형 디바이스에 대해, 자원 집약적인 프로세스이다. 본 명세서에서 설명된 실시예들은 이러한 복잡한 환경 모델없이 AR 이미지를 프리젠팅하기 위한 시스템을 포함한다. 대신에, 본 명세서에서 설명된 다양한 실시예에서, 디바이스에 의해 포착된 초기 비디오 이미지는 사용자 입력에 의해 장면 내에 배치된 AR 객체의 추적을 초기화하는데 이용된다. 이러한 시스템은 추가적인 시스템없이 디바이스들 사이의 AR 정보의 복합적 공유를 가능하게 하지 않지만, 본 명세서에서 설명된 AR 실시예들은 자원이 제한되어 있는 디바이스들에서 간단한 AR 기능을 가능하게 한다. 실시예들은, 디바이스의 사용자에 의해 장면에 추가된 AR 객체를 이용한 AR 비디오의 녹화를 가능하게 하면서, 포착된 이미지가 AR 객체가 부착되어 있는 타겟에 대해 전후로 움직일 때 AR 객체들이 환경 내에서 지속적으로 유지된다. 얼굴 마스크, 이모티콘, 화살표, 텍스트, 2차원 또는 3차원 애니메이션 AR 객체, 또는 다른 이러한 AR 객체 등의 다양한 유형의 AR 객체가 본 명세서에서 설명된 다양한 실시예와 함께 이용될 수 있다.
예를 들어, 한 실시예에서, 스마트 폰의 사용자는 AR 모드에 진입할 수 있고, 이것은 비디오 이미지 프레임의 포착을 시작한다. 프레임들이 포착되면, 이들은 전화기의 터치 스크린 컴포넌트에 디스플레이된다. 인터페이스는, 사용자 입력에 의해 스크린 상에 디스플레이된 비디오 이미지의 일부분 상에 배치되는 AR 화살표 객체의 선택을 가능하게 한다. 이 배치는, AR 화살표 객체를, 객체, 사람 또는 현재 디스플레이된 이미지의 임의의 다른 요소일 수 있는 타겟과 연관시킨다. 타겟이, 타겟의 이동 또는 카메라의 이동으로 인해 비디오 이미지 내에서 움직일 때, 객체의 국지적 추적은, AR 출력 이미지가 디바이스 상에 디스플레이되게 하되, AR 객체를 타겟에 관해 안정된 위치에 유지시킨다. 타겟 및 연관된 AR 객체가 이미지 프레임 외부로 이동함에 따라, 추적은, 이미지의 전역적 템플릿을 이용하여 디스플레이된 이미지 내에 더 이상 완전히 있지 않은 타겟의 위치를 추정한다. 객체가 카메라에 의해 포착중인 이미지 내에 재진입하면, 전역적 추적이 다시 타겟의 국지적 추적과 병합되고, AR 객체가 다시 출력 디스플레이에 프리젠팅된다.
도 1은, 한 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 이러한 네트워크 시스템은, 본 명세서에서 설명된 국지적 AR을 구현하기 위한 모듈용 뿐만 아니라, 본 명세서에서는 AR 객체라고 언급되는 지속적 스티커 객체의 국지적 AR 추적을 이용하여 클라이언트 디바이스에 의해 녹화된 AR 비디오를 전달하기 위한 메시징 시스템용의 데이터 등의 정보를 전달하는데 이용될 수 있다. 일부 실시예들에서, 네트워크 시스템(100)은, 클라이언트들이 삭제 트리거를 갖는 메시지를 이용하여 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 단기 메시징 시스템(ephemeral messaging system)일 수 있다. 추가로, 일부 실시예들에서, 본 명세서에서 설명되는 국지적 AR 추적은 메시지 시스템에서 전달될 수 있는 다른 유형의 데이터 및 시스템과 통합될 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신의 전송 및 수신, 지리위치의 결정 등) 및 양태에 관련될 수 있다. 네트워크 시스템(100)은 본 명세서에서는 클라이언트-서버 아키텍처를 갖는 것으로 도시되어 있지만, 다른 실시예들은, 피어-투-피어 또는 분산형 네트워크 환경 등의 다른 네트워크 아키텍처들을 포함할 수 있다.
도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련 컴퓨터 및 인터넷 관련 분야의 통상의 기술자라면 이해하는 바와 같이, 도 1에 도시된 각각의 모듈 또는 엔진은 실행가능한 소프트웨어 명령어 세트 및 명령어를 실행하기 위한 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제를 전달하는 것과 밀접하지 않은 다양한 기능 모듈 및 엔진 은도 1에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가 기능을 가능하게 하기 위해, 도 1에 나타낸 것 등의, 추가 기능 모듈 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1에 도시된 다양한 기능 모듈들 및 엔진들은 단일 서버 컴퓨터상에 존재할 수 있거나, 다양한 배치로 여러 서버 컴퓨터들에 걸쳐 분산될 수 있다. 또한, 비록 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처를 갖는 것으로 도시되어 있지만, 본 명세서에서 설명된 주제는 결코 이러한 아키텍처로 제한되지 않는다.
도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(122)을 실행하는 제3자 서버(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터 요청을 수신하는, 인터페이스 모듈(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 모듈(140)은 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 모듈(140)은, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.
클라이언트 디바이스(110)는, 다양한 모바일 컴퓨팅 디바이스 및 모바일-특유의 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE) 중 임의의 것을 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱"이라고도 함)을 실행할 수 있다. 한 예에서, 클라이언트 디바이스(110)는 본 명세서에서 설명된 다양한 실시예를 구현하는 AR 시스템(들)(160)을 포함하는 클라이언트 애플리케이션(112)을 실행한다. 클라이언트 애플리케이션(112)은, 사용자(106)에게 정보를 프리젠팅하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 클라이언트 디바이스들(110) 각각은 소셜 메시징 시스템(130)에 액세스하기 위해 적어도 디스플레이 및 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용형 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 운전자 헤드장착 디스플레이(HUD)를 갖춘 자동차 컴퓨팅 디바이스, 스마트폰, 태블릿, 울트라북, 넷북, 랩톱, 데스크톱, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전 제품 시스템, 게임 콘솔, 셋톱 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되지 않는다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스(110)와 상호작용하는 기타의 수단일 수 있다. 일부 실시예들에서, 사용자(106)는 클라이언트 디바이스(110)를 통해 소셜 메시징 시스템(130)과 상호작용한다.
도 1에 도시된 바와 같이, 데이터 계층(128)은 정보 스토리지 저장소 또는 데이터베이스(134)로의 액세스를 가능하게 하는 하나 이상의 데이터베이스 서버(132)를 갖는다. 데이터베이스(134)는 클라이언트 디바이스(110)에 의해 생성되어 소셜 메시징 시스템(130)에 전송되는 외부 영역의 이미지 세트; 건물을 포함하는 이미지들로부터 생성된 파사드 데이터 세트; 이미지와 파사드 데이터를 지리위치들에 정합시키는 맵 데이터; 및 기타의 이러한 데이터 등의, 데이터를 저장하는 저장 디바이스이다. 한 실시예에서, 데이터베이스(134)는, 증강 현실(AR) 시스템(160) 모듈을 실행하는 클라이언트 디바이스(110)에 의해 생성된 이미지를 저장하고, 본 명세서에서 설명된 실시예들을 이용하여 추적된 AR 객체를 포함하는 비디오를 저장한다. 그 다음, 이들 비디오 클립들은 소셜 메시징 시스템(130)에 의해 다양한 방식으로 상이한 디바이스들 사이에서 전달될 수 있다. 또한, 일부 실시예들에서, 데이터베이스(134)는, 소정 AR 객체들은 일부 클라이언트 디바이스(110)에서만 이용가능할 수 있고, 또 일부 AR 객체들은 소정 시간에 또는 주어진 소정 디바이스나 시스템 상태에서 특정한 클라이언트 디바이스(110)에서만 이용가능할 수 있도록, 다양한 시스템 트리거들에 기초하여 상이한 클라이언트 디바이스들(110)에 전달될 수 있는 상이한 AR 객체들을 저장할 수 있다. 데이터베이스(134)는 또한, 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계), 및 기타의 사용자 데이터 등의 데이터를 저장한다.
개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.
애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 모듈(150)을 포함하며, 애플리케이션 로직 모듈(150)은, 인터페이스 모듈(140)과 연계하여, 데이터 계층(128) 내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 모듈(150)은, AR 시스템(160)의 양태들을 포함한, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피쳐들과 연관된 기능을 구현하는데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 모듈들(150) 중 하나 이상으로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스(110)의 사용자가 텍스트와 사진 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 소셜 메시징 애플리케이션은 또한, 사진 및 비디오를 가상 객체와 통합하는 AR 디스플레이 및 콘텐츠를 제공하기 위한 메커니즘을 포함할 수도 있다. 클라이언트 디바이스(110)는 AR 디스플레이를 제공할 수 있고, 또한 사용자가 명시된 기간(예를 들어, 제한된 또는 무제한적인) 동안 소셜 메시징 애플리케이션으로부터의 메시지에 액세스하여 볼 수 있게 할 수 있다. 한 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 지정된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스될 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 유사하게, AR 콘텐츠는 미리 정의된 지속기간 동안 제공될 수 있다. 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 모듈(150)에서 별개로 구현될 수 있다. 전술된 바와 같이, AR 시스템(160)의 양태들은 소셜 메시징 시스템(130) 상에서 구현될 수 있지만, 본 명세서에서 설명되는 국지적 AR 추적이란, 이미지를 포착하고 AR 객체를 국지적으로 포착된 이미지에 오버레이 또는 필터로서 적용하는 클라이언트 디바이스(110)에서 수행되는 AR 시스템(160)의 요소들 또는 모듈들을 말한다. AR 시스템(160)의 서버-구현된 양태들은 이용가능한 AR 객체를 수정하거나, AR 비디오 통신을 구현할 수 있지만, 본 명세서에서 설명된 AR 이미지를 생성하는 처리를 포함하지 않을 수 있다.
도 1에 나타낸 바와 같이, 소셜 메시징 시스템(130) 또는 클라이언트 애플리케이션(112)은 AR 이미지를 생성하는 기능을 제공하는 AR 시스템(160)을 포함한다. 일부 실시예들에서, AR 시스템(160)은 클라이언트 디바이스(110) 상의 독립형 시스템으로서 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 다른 실시예들에서, 클라이언트 디바이스(110)는 AR 시스템(160)의 일부를 포함한다(예를 들어, AR 시스템(160)의 일부는 독립적으로 또는 클라이언트 애플리케이션(112)에 포함될 수 있다). 클라이언트 디바이스(110)가 AR 시스템(160)의 일부를 포함하는 실시예들에서, 클라이언트 디바이스(110)는, 특정한 애플리케이션 서버에 포함되거나 소셜 메시징 시스템(130)에 포함된 AR 시스템(160)의 부분과 연계하여 또는 단독으로 작동할 수 있다.
도 2는 AR 시스템의 양태들을 나타낸다. 전술된 바와 같이, AR 시스템은 이미지 센서에 의해 포착된 장면 내에 가상 객체를 통합한다. 도 2는 카메라 디바이스(209)의 이미지 센서(211)에 의해 포착된 이미지 데이터(240)를 포함하는 AR 장면(202)을 도시한다. 이미지 데이터(240)는 장면에 분포된 공간 내의 물리적 객체들에 관한 정보를 포함한다. AR 장면(202)을 생성하기 위하여, 이미지 데이터(240)로부터 생성된 장면은 가상 객체 데이터를 추가하도록 수정된다.
도 3a 내지 도 3i는 클라이언트 디바이스(110) 등의 디바이스에 의해 포착된 일련의 비디오 이미지 프레임들로부터 샘플 이미지들로 간주될 수 있는 이미지들의 시퀀스를 이용하는 실시예의 양태들을 나타낸다. 이미지들은 디바이스의 이미지 센서에 의해 포착되고 디바이스의 하나 이상의 프로세서를 이용하여 처리되어 국지적으로 타겟을 추적하고 비디오 이미지 프레임들의 적어도 일부에 대해 타겟에 관해 프리젠팅된 AR 객체를 갖는 출력 이미지를 프리젠팅한다. 도 3a 내지 도 3i에 기술된 예시된 양태들은 출력 디스플레이 상에 디스플레이될 AR 객체를 포함하지 않는다. 대신에, 도 3a 내지 도 3i는 일련의 이미지에서의 타겟(312)의 추적을 나타낸다. 타겟(312)은 도 3a의 제1 이미지(310) 상에 AR 객체(미도시)를 배치하는 사용자 입력에 의해 식별될 수 있다. 타겟(312)은 대안으로서, 타겟(312)이 디바이스의 AR 시스템에 의해 식별되게 하는 기타 임의의 사용자 입력 또는 선택에 의해 식별될 수 있다.
타겟(312)이 전술된 바와 같이 식별된 후에, 도 3b는 제1 이미지(310)의 제1 부분(316)으로부터 생성된 제1 타겟 템플릿(314)을 나타낸다. 다양한 실시예에서, AR 객체가 타겟(312)과 연관되어 있는 제1 이미지(310)의 다양한 부분이 이용될 수 있다. 이 부분들은 사용자에 의해 특별히 선택될 수 있거나, AR 객체의 특성에 기초하거나, 또는 디바이스에 의해 동적으로 결정될 수 있다. 예를 들어, 마스크 오버레이 AR 객체는 타겟 얼굴(target face)로서 식별된 이미지의 부분인 타겟 영역을 가질 수 있다. 화살표 AR 객체는 화살표의 머리 끝 부분에 설정된 이미지의 부분인 타겟 영역을 가질 수 있다. 일부 실시예들에서, 사용자 인터페이스는 타겟 영역으로서 설정될 영역을 사용자에게 보여줄 수 있다. 다른 실시예들에서, 타겟 영역은, 타겟 영역이 선택될 때 입력/출력 컴포넌트에 보여지지 않고 사용자에게 암시될 수 있다. 도 3b의 실시예에서, 타겟(312)과 연관된 제1 부분(316)은 AR 비디오 장면 내의 사람의 머리이다. 제1 타겟 템플릿(314)은 타겟(312) 주변의 다양한 샘플 지점에서 샘플링된 색상 값들의 집합이다. 다양한 실시예들에서, 샘플 값들 및 샘플들의 패턴은 상이한 실시예들에 대해 상이한 방식들로 결정될 수 있다. 도 3b 및 다른 도면들이 이격된 샘플 지점들의 격자를 도시하고 있지만, 템플릿은, 복잡도가 높은 영역들에서의 더 조밀한 샘플링을 포함한, 타겟 영역의 핵심 피쳐들에 기초하여 선택된 샘플 지점들로 형성될 수 있다.
도 3c의 후속하는 제2 이미지(320)에서, 타겟(312)은 비디오 이미지의 프레임에서 이동되었다. AR 모델은 제1 타겟 템플릿(314)으로부터의 초기 템플릿 샘플들에 기초하여 시작되는 계산된 변화(324)를 포함한다. 일부 실시예들에서, 계산된 변화(324)는 제1 타겟 템플릿(314)의 값에 가장 근접한 정합 패턴을 결정함으로써 타겟(312)을 식별한다. 프레임 내에서 이동하는 타겟(312)에 대해 비디오 프레임들이 포착됨에 따라, 이러한 정합은, 타겟(312) 및 타겟(312)에 관해 일정한 상대 위치를 유지하는 AR 객체(미도시)의 추적을 허용한다.
디바이스가 타겟(312)을 포함하는 장면의 이미지들을 계속 포착함에 따라, 타겟(312)은 도 3d에 도시된 바와 같이 프레임의 가장자리로 이동할 수 있다. 일부 실시예들에서, 경계(332)가 식별될 수 있다. 경계(332)는 이미지의 가장자리로부터의 설정된 수의 픽셀이거나, 타겟(312)이 프레임 외부로 이동하고 있다는 것을 식별하기 위해 시스템에 의해 설정된 임의의 패턴일 수 있다. 도 3e의 예시된 제3 이미지(330)에서, 타겟(312)은 제3 이미지(330)의 우측 가장자리로부터 벗어나 있다. 타겟(312)과 연관된 영역이 이미지 센서에 의해 포착된 영역 외부로 이동함에 따라, 정합하는 계산된 변화(334)의 일부만을 볼 수 있다. 일단 이용가능한 계산된 변경(334)이 임계량 아래로 떨어지면, 도 3f에 도시된 바와 같이, 전역적 추적 템플릿(338)이 개시될 수 있다. 예를 들어, 제1 타겟 템플릿(314)으로부터의 샘플링 지점들의 절반 미만이 특정한 프레임에 대한 계산된 변경(334)과 연관된다면, 전역적 추적 템플릿(338)이 개시될 수 있다. 다른 실시예들에서, 제1 타겟 템플릿(314)의 중심 샘플이 식별될 수 있고, 이 중심 지점과 연관된 계산된 변화(334)가 경계(332) 외부에 있을 때, 시스템은 전역적 추적을 시작할 수 있다. 일부 실시예들에서, 타겟(312) 추적과 전역적 추적 양쪽 모두가 소정의 중간 경계에 대해 발생할 수 있도록, 복수의 경계(332)가 존재할 수 있다. 이러한 실시예들에서, 하나 이상의 경계(332)는 이미지 프레임의 가장자리 외부에 있을 수 있고, 이 외부 경계(332)에 관한 타겟(312) 위치는 전역적 추적 템플릿(338)에 의해 식별된 움직임에 기초하여 추정된다. 모델은, 제3 이미지(330)에 의해 포착된 프레임 외부의 지점들 뿐만 아니라 계산된 변화(334)로서 도시된 제3 이미지(330) 내에 여전히 있는 지점들과 연관된 템플릿 위치들을 이용하여 타겟(312)의 위치를 계속 추적할 수 있다. 다른 실시예들에서, 여전히 프레임 내에 있는 제3 타겟 템플릿(314)으로부터의 지점들과 연관된 지점들(예를 들어, 계산된 변화(334))만이 제1 타겟(312) 위치결정을 추정하기 위해 시스템에 의해 추적된다.
도 3f는 제4 이미지(340)의 완전히 프레임 외부의 타겟(312)을 나타낸다. 전역적 추적(348)을 이용하여 추가 이미지들이 포착됨에 따라, 전역적 추적(348)을 이용하여 처리된 전체 장면에서의 변화가 카메라의 움직임을 추정하는데 이용된다. 타겟(312)이 프레임을 떠나기 이전의 타겟(312)의 움직임에 관련된 추가적인 처리는 현재 포착된 이미지에 관한 타겟(312)의 현재 위치를 추정하는데 이용될 수 있다. 일부 실시예들에서, 타겟(312)은 제한된 움직임을 가질 수 있거나, 시스템은, 타겟(312)이 본 명세서에서 설명된 처리 및 추적 수단에 의해 포착되지 않는 방식으로 움직이는 경우 타겟 추적을 잃었다는 것을 나타내는 에러를 나타낼 수 있다.
도 3g에서, 타겟(312)은 제5 이미지(350)에서 프레임에 이제 막 재진입을 시작하고 있다. 전체 제5 이미지(350)의 전역적 추적(358)은 카메라의 움직임을 모델링하는데 이용된다. 일부 실시예들에서, 타겟 추적 모듈은 또한, 제1 타겟 템플릿(314)으로부터의 데이터 및 이전 이미지들로부터의 계산된 변화들(예를 들어, 324, 334)을 이용하여 타겟(312)의 부분들에 대한 제5 이미지(350)를 처리할 수 있다. 임의의 지점에서, 도 3h에 나타낸 바와 같이, 타겟(312)은 프레임에 재진입하여, 제1 타겟 템플릿(314) 및 후속 계산된 변경들이 타겟(312)의 추적을 재취득하는데 이용될 수 있게 할 수 있다. 제6 이미지(360)에서, 계산된 변화(364)는 타겟(312)을 식별하기에 충분하다. 타겟(312)이 식별됨에 따라, AR 객체(미도시)는 또한, 타겟(312)의 일부 또는 전부와 함께 디바이스의 출력 디스플레이 상에 프리젠팅될 것이다. 타겟(312)이 프레임의 경계(332) 내외로 이동함에 따라, 제6 이미지(360) 등의 특정한 이미지의 처리는, 전체 제6 이미지(360)를 분석하는 전역적 추적(358)과 타겟(312)만을 추적하는 제1 타겟 템플릿(314)으로부터 도출된 계산된 변화를 이용한 타겟팅된 추적 사이에서 전후로 달라질 수 있다. 도 3i는 타겟(312)이 경계 영역 내로 돌아오고 전역적 추적이 일시정지된 제7 이미지(370)를 나타낸다. 제1 타겟 템플릿(314)으로부터 도출된 계산된 변화(374)는, AR 동작이 종료되거나 타겟(312)이 프레임의 가장자리로 다시 이동할 때까지 타겟(312)을 추적하는데 이용된다. 일부 실시예들에서, 계산된 변화를 이용한 타겟 추적과 전역적 추적 양쪽 모두가 동시에 발생할 수 있다. 일부 실시예들에서, 전역적 추적(358)은, 이미지 프레임들이 포착될 때 전체 장면의 AR 모델을 구축하지만, 필요한 경우 이미지 프레임 외부의 타겟을 추적하는 추가 처리가 수반된다.
도 4는 AR 객체들의 지속적인 국지적 추적을 위한 방법(400)을 설명한다. 방법(400)은 연관된 카메라 및 출력 디스플레이를 갖는 본 명세서에서 설명된 임의의 클라이언트 디바이스에 의해 수행될 수 있다. 전술된 바와 같이, 이것은 단일 통합 디바이스이거나, 국지적 무선 통신을 이용하여 접속된 쌍방향 착용 디바이스 또는 카메라를 갖춘 클라이언트 디바이스일 수도 있다.
일부 실시예들에서, 디바이스는, 통합된 디스플레이, 및 예를 들어 터치 스크린일 수도 있는 디스플레이에 결합된 입력 컴포넌트를 포함하는 방법(400)을 구현한다. 이 디바이스는 또한, 디스플레이 및 입력 컴포넌트에 결합된 메모리 및 장면의 이미지를 포착하기 위한 이미지 센서를 포함한다. 이 디바이스는, 디스플레이, 이미지 센서, 입력 컴포넌트 및 메모리에 결합된 하나 이상의 프로세서를 더 포함하고, 하나 이상의 프로세서는, 이미지 센서에 의해 포착된 비디오 이미지 프레임들을 처리하고 장면 내의 타겟에 "붙어 있거나" 타겟과 연관되어 있는 AR 스티커 객체의 국지적 AR 추적을 이용하여 국지적 AR 이미지를 출력하도록 구성된다.
이 방법(400)은 동작 402에서 비디오 이미지 프레임들의 제1 이미지의 제1 부분을 AR 스티커 객체 및 타겟과 연관시키는 사용자 입력을 처리하는 단계를 포함한다. 이것은, 예를 들어, 터치 스크린을 이용한 AR 객체의 사용자 선택, 및 터치 스크린을 이용하여 이미지 내의 타겟 옆으로의 AR 객체의 배치를 포함할 수 있다.
동작 404는, 사용자 입력 및 제1 이미지의 제1 부분에 기초하여, 타겟과 연관된 제1 타겟 템플릿을 생성하는 단계를 포함한다. 한 실시예에서, 사용자가 터치 스크린을 이용하여 AR 객체를 배치하면, 스크린 상의 이미지가 타겟 템플릿 패턴을 이용하여 처리되어 사용자 터치 스크린 입력에 기초하여 제1 타겟 템플릿을 생성한다. 동작 406에서, 이 패턴 및 색상 값들은, 임의의 다른 이미지 값들과 함께, 비디오 이미지 프레임들의 프레임들에 걸쳐 타겟을 추적하는데 이용된다. 이 추적은, 제1 타겟 템플릿을 이용하여 제1 이미지의 제1 부분에서의 변화를 계산함으로써 제1 이미지에 후속하는 일부 또는 모든 이미지에 대해 수행된다. 일부 실시예들에서, 포착되어 디바이스 디스플레이 상에 디스플레이된 비디오의 각각의 프레임에 대한 변화를 계산하는 것이 아니라, 프레임들의 일부만이 분석될 수 있고, 다른 프레임들은, 다양한 이미지 처리 기술을 이용해 디바이스에 의해 포착된 이미지 데이터 내에 AR 객체를 매끄럽게 삽입하는 방식으로 AR 객체를 추가하도록 처리된다.
동작 408에서, 동작 406으로부터의 타겟의 추적이, 타겟이 경계 영역 외부에 있다고 결정하면, 전역적 추적이 시작된다. 타겟 추적은 이미지 내의 타겟을 이용하여 개시되기 때문에, 장면 중의 적어도 제1 복수의 이미지가 타겟 추적을 이용하여 포착된다. 전역적 추적은, 타겟 추적을 위해 포착된 부분과는 상이한 이미지 프레임의 부분으로부터 데이터 패턴을 포착하는 전역적 추적 템플릿을 이용하는 것을 포함한다. 전역적 추적은, 타겟 추적보다 이미지 프레임의 더 큰 부분을 추적하는 것으로 간주될 수 있고, 프레임 내의 타겟의 움직임을 추적하는 타겟 추적에 비해, 움직임에 대해 전체 프레임을 추적한다. 타겟이 경계 영역 외부에 있다는 결정에 후속하여 포착된 이미지에 대해 전역적 추적이 시작된다. 전술된 바와 같이, 일부 실시예들에서, 이것은, 전역적 추적 및 타겟 추적이 동시에 발생할 수 있는 복수의 경계를 갖는 시스템, 또는 타겟 추적 및 전역적 추적 사이에서 전후로 전환되는 하나의 경계를 갖는 시스템을 포함할 수 있다. 장면의 상이한 부분에서 복수의 AR 객체가 이용되는 일부 실시예들에서, 전역적 추적은 임의의 주어진 시간에 포착된 이미지 외부에 있을 수 있는 상이한 AR 객체들을 추적하기 위해 지속적으로 수행될 수 있으며, 이미지 내의 AR 객체에 대한 타겟은 이미지 외부의 AR 객체의 위치를 추정하기 위해 전역적 추적이 이용되는 때와 도이에 추적된다.
AR 객체가 연관된 전역적 추적과 함께 동작 408에서 이미지 외부로 이동한 후, 동작 410에서, 타겟이 비디오 프레임 외부로부터 비디오 프레임 내부로 다시 이동하면, 시스템은 경계 영역 내에서 타겟의 추적을 재개한다. 객체가 다시 프레임 내로 이동하면, 디바이스는 또한, 타겟 추적에 기초하여 디스플레이 상에서의 AR 객체 디스플레이를 재개한다.
도 5a는, 건물, 나무, 사람, 및 경로의 실제 객체 데이터를 포함하는 AR 장면(500)을 도시한다. 도 5에 나타낸 AR 장면(500)은, 임의의 특정한 시간에 디바이스의 이미지 센서에 의해 포착된 것 이외의 요소들 및 사용자 입력에 의해 AR 장면(500) 내에 배치된 AR 객체(들)를 포함하는 환경을 나타낸다. 도 5a에 나타낸 바와 같이, 이미지(510)는 디바이스의 단일 이미지 프레임에 의해 포착된 AR 장면(500)의 일부이다. AR 시스템의 동작 동안 이전의 사용자 또는 시스템 입력들은 국지적 AR 객체(512) 및 국지적 AR 객체(514)를 AR 장면(500)에 배치했다.
국지적 AR 객체(512)는 타겟(590)과 연관되며, 이미지(510) 내에서 볼 수 있다. 이미지(510)는 실제 객체 데이터 및 국지적 AR 객체(512)와 함께 국지적 디바이스 상에 디스플레이된 이미지이다. 디바이스 사용자가 이미지 센서를 이동시킴에 따라, 도 5b에서, 디바이스에 의해 포착된 이미지(520)가 변한다. 이미지(520)는 국지적 AR 객체(512) 또는 국지적 AR 객체(514)를 포함하지 않지만, 이미지(520) 내에 AR 객체가 없을 때 발생하는 전역적 추적이 이용되어 국지적 AR 객체(514) 및 국지적 AR 객체(512) 양쪽 모두의 위치를 추적한다. 국지적 AR 객체(514)는 AR 장면(500) 내에서 정적이기 때문에, 이 객체에 대한 추적은 간단하고, 포착된 AR 장면(500)의 일부가, 이미지(510)로부터, 이미지(520)로, 도 5c의 이미지(530)로 이동함에 따라, 이미지(520) 및 기타의 중간 이미지 등의 이미지들에서 식별된 움직임에 기초할 수 있다.
이들은 예시적인 이미지들이며, 카메라 위치의 움직임을 추적하기 위해 추가 이미지들이 처리된다는 것은 명백할 것이다. 도 5c에서, 국지적 AR 객체(514)는 이미지(530) 내에 있고, 국지적 AR 객체(514)가 AR 장면(500)의 벽에 "스티커"로서 배치되었을 때 생성된 추적 템플릿으로부터의 정보를 이용하여 국지적으로 추적된다. 타겟(590)이 이동함에 따라, 국지적 움직임 추정 및 타겟(590)에 대한 템플릿과의 정합의 조합이 이용되어 도 5d에 도시된 이미지(540)에서 타겟(590)을 식별하고 국지적 AR 객체(512)를 움직이는 타겟(590)에 관해 상대적으로 위치하도록 정확하게 디스플레이할 수 있다. 일부 실시예들에서, 예를 들어, 배경(예를 들어, 국지적 AR 객체(514)와 연관된 타겟인 벽)에 관한 이미지 센서는 안정적일 수 있고, 타겟(590) 등의 타겟 객체는 이미지 센서의 시야를 통해 움직일 수 있다. 이러한 실시예에서, AR 시스템은 카메라의 시야를 통한 타겟의 움직임에 기초하여 타겟의 전역적 추적으로부터 국지적 추적으로 전환할 수 있고, 타겟이 카메라의 시야를 떠날 때 AR 시스템은 전역적 추적으로 다시 전환할 수 있다. 따라서, 다양한 유형의 추적은, 카메라의 움직임으로 인한 비디오 프레임 내의 타겟의 움직임으로 기인한, 카메라의 움직임 없이 객체의 움직임으로 기인한, 또는 양쪽 모두에 기인한, 비디오 프레임 내의 타겟의 움직임에 기초하여 수정될 수 있다.
도 6은 국지적 AR 추적을 위한 방법(600)을 설명한다. 다양한 실시예에서, 본 명세서에서 설명된 방법(600) 및 기타 임의의 방법은 디바이스에 의해 수행될 수 있고, 하드웨어 또는 펌웨어로서 구현되거나, 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 디바이스로 하여금 방법(600)을 수행하게 하는 비일시적 컴퓨터 판독가능한 매체 내의 명령어들로서 구체화될 수 있다. 클라이언트 디바이스(110), 안경(51), 모바일 디바이스들(800 또는 900), 또는 머신(1300) 등의 임의의 디바이스는, 방법(600) 또는 본 명세서에서 설명된 기타 임의의 방법을 구현할 수 있다.
방법(600)은, 디바이스의 이미지 센서 및 하나 이상의 프로세서를 이용하여 장면의 제1 복수의 이미지를 포착하는 동작 602에서 시작한다. 다양한 실시예에서, 이 이미지 포착은, AR 시스템이 디바이스 상에서 동작하기 시작할 때 자동으로 시작되거나, AR 시스템(160) 등의 AR 시스템의 인터페이스에서의 사용자 선택에 의해 개시될 수 있다. 이러한 AR 시스템 동작은 동작 604에서 디바이스의 디스플레이 상에 복수의 이미지를 디스플레이하는 단계를 포함한다. 동작 606은, 디바이스의 입력 컴포넌트에서, AR 스티커 객체의 제1 사용자 선택을 수신하는 단계를 포함한다. 동작 608은, 디바이스의 입력 컴포넌트에서, 디바이스의 디스플레이 상에 디스플레이된 복수의 이미지 중 제1 이미지에 대해 AR 스티커 객체를 배치하는 제2 사용자 선택을 수신하는 단계를 포함한다. 동작 606에서 일단 디바이스에서 AR 객체가 선택되고 동작 608에서 장면 내에 배치되고 나면, 디바이스의 프로세서는 이들 입력들을 자동으로 이용하여 데이터에 통합된 AR 객체를 갖는 포착된 이미지 데이터를 포함하는 이미지를 생성 및 출력하기 시작하고 AR 이미지로서 출력한다. 따라서, 동작 610에서, 디바이스는, 하나 이상의 프로세서를 이용하여, 제1 복수의 이미지 중 하나 이상의 이미지를 처리해 장면의 국지적 AR 모델을 생성한다. 장면의 이 국지적 AR 모델은, 동작 608의 입력에 의해 이미지 상에 배치된 AR 객체와 연관된 이미지의 일부에 대한 타겟 템플릿을 포함한다. 일단 이 AR 모델이 생성되고 나면, 동작 612는, AR 스티커 객체의 국지적 추적 및 디바이스의 디스플레이 상에서 AR 이미지들과 함께 AR 스티커 객체의 프리젠테이션을 위해 장면의 국지적 AR 모델에 AR 스티커 객체를 실제로 추가하기 위한 프로세스들을 포함한다. 일부 실시예들에서, AR 모델(예를 들어, 타겟 템플릿)이 처리되고 식별되면, 순차적 이미지 프레임 내에서 이동함에 따라, 추가 AR 스티커 객체가 추가될 수 있다. 디바이스에 의해 포착된 장면의 제2 복수의 이미지에서, 장면의 국지적 AR 모델에 추가 AR 스티커 객체를 추가한 후 장면의 국지적 AR 모델을 이용한 복수의 AR 이미지가 생성되고 디바이스 디스플레이 상에 출력되어, 복수의 AR 스티커들이 디바이스에 의해 포착된 프레임 내에 있을 때 이들을 보여준다.
실시예들은, 복수의 AR 이미지 중 제1 AR 이미지 ―제1 AR 이미지는 AR 스티커 객체를 포함함― 를 디스플레이하는 단계; 복수의 AR 이미지 중 제1 AR 이미지를 디스플레이한 후에, AR 스티커 객체와 연관된 장면의 부분으로부터 멀어지는 이미지 센서의 제1 움직임에 기초하여, 복수의 AR 이미지 중 제2 AR 이미지 ―제2 AR 이미지는 AR 스티커 객체를 포함하지 않음― 를 디스플레이하는 단계; 및 AR 스티커 객체와 연관된 장면의 부분을 향한 이미지 센서의 제2 움직임에 기초하여, 복수의 AR 이미지 중 제2 AR 이미지를 디스플레이 한 후 복수의 AR 이미지 중 제3 AR 이미지 ―제3 AR 이미지는 AR 스티커 객체를 포함함― 를 디스플레이하는 단계를 포함할 수 있다.
다른 실시예들은, 복수의 AR 이미지 중 제1 AR 이미지 ―제1 AR 이미지는 AR 스티커 객체를 포함함― 를 디스플레이하는 단계; AR 타겟 객체가 이미지 센서의 시야 외부로 움직이게 하는 장면 내에서의 제1 변화에 기초하여, 복수의 AR 이미지 중 제1 AR 이미지를 디스플레이 한 후에, 복수의 AR 이미지 중 제2 AR 이미지 ―제2 AR 이미지는 AR 스티커 객체를 포함하지 않음― 를 디스플레이하는 단계; 및 AR 타겟 객체가 이미지 센서의 시야 내로 움직이게 하는 장면 내에서의 제2 변화에 기초하여, 복수의 AR 이미지 중 제2 AR 이미지를 디스플레이 한 후 복수의 AR 이미지 중 제3 AR 이미지 ―제3 AR 이미지는 AR 스티커 객체를 포함함― 를 디스플레이하는 단계를 포함할 수 있다.
AR 모델은 초기 이미지에 후속 이미지들을 처리하여 타겟이 경계 영역 외부에 있다고 결정함으로써 동작할 수 있다. 타겟이 경계 영역 외부에 있다는 결정에 기초하여, 프리젠팅된 AR 이미지 내에서 보이지 않는 타겟 객체에 대한 연관된 움직임을 결정하기 위해 전역적 이미지 지점 세트를 샘플링하는 것이 이용될 수 있다. 타겟 객체가 이미지 센서에 의해 포착된 가시 영역 내로 다시 움직일 때, 실시예들은, 최종 이미지에 대한 연관된 움직임 및 최종 이미지에 대한 전역적 이미지 지점 세트의 샘플링에 기초하여 제3 복수의 이미지 중 최종 이미지에 대해, 타겟이 경계 내에 있다고 결정함으로써 동작할 수 있다. 타겟이 경계 내에 있다는 결정에 기초하여, 타겟의 국지적 추적이 제3 복수의 이미지 내에서 재개될 수 있다.
도 7은 이미지(710)로부터 이미지(720)로의 천이의 AR 모델에서 이용되는 추적 변환(701)을 동반한 타겟 추적 템플릿의 양태를 나타낸다. 도 7에서, 템플릿(712)은 초기 이미지(710)에서 타겟 주변의 각각의 샘플 지점에서 샘플링된 색상들의 모음이다. 이것은 다음과 같이 설명될 수 있다:
Figure 112017123626664-pct00001
본 명세서에서, Ji는 AR 스티커 객체와 연관된 타겟 템플릿이고, 타겟 템플릿은, 타겟과 연관된 복수의 샘플 지점 Si에서 샘플링된 색상 값 세트 및 제1 복수의 이미지 중 하나 이상의 이미지의 초기 AR 모델 이미지 I0(이미지 710) 내의 타겟 영역을 포함한다.
그 다음, 변환 T(n)은 샘플 지점들을 비디오의 후속 프레임 내의 상이한 로케이션들로 변환한다. 템플릿(712)은 새로운 프레임으로 업데이트되어 외관 변화를 반영할 수 있다. 수학식 2에서, 초기 이미지 이후에 수신된 제2 복수의 이미지 In 내의 타겟과 연관된 AR 스티커 객체를 추적하는 함수 In은 다음과 같이 표현될 수 있다 :
Figure 112017123626664-pct00002
본 명세서에서, T(n)은 하나 이상의 프로세서에 의해 분석된 제2 복수의 이미지의 순차적 이미지들 사이에서의 타겟의 움직임을 기술하는 변환이다. 소정 실시예들에서, AR 모델은 새로운 프레임에 대한 업데이트된 변환 T(n + 1)을 얻기 위해 에너지를 최소화하는 국지적 추적을 포함할 수 있다. 이것은 이미지 센서에 의해 포착된 각각의 프레임에 대해 수행될 필요는 없고, 변환된 템플릿(722) 및 모든 이미지 In에 대한 유사한 템플릿들을 포함하는 템플릿(712)으로부터 시작되는 템플릿들을 이용한 추적을 허용하는 것과 관련된 프레임 세트에 대해 수행된다. 이것은, 다음과 같은 반복적 비선형 최적화에 따라 제2 복수의 이미지 각각에 대한 업데이트된 타겟 템플릿을 결정하기 위해 국지적 추적 에너지를 계산하는 것으로 간주될 수 있다 :
Figure 112017123626664-pct00003
이것은 비선형 최적화 문제이다. T(n)은 T(n + 1)에 대한 초기 추정치로서 이용될 수 있다. 확실성(robustness)을 향상시키기 위해, 다음과 같은 수학식들을 이용하여 대략적 수준으로부터 정밀한 수준으로 해결하기 위해 이전 이미지들의 피라미드 뿐만 아니라 수학식 2로부터의 업데이트된 템플릿이 역시 이용될 수 있다:
Figure 112017123626664-pct00004
Figure 112017123626664-pct00005
이들은 제2 복수의 이미지의 각각의 이미지와 연관된 템플릿을 결정하는데 이용된다. 추적된 타겟이 경계를 벗어나면, 전역적 추적이 트리거된다. 일부 실시예들에서, 이러한 경계 외부 상태는, 타겟에 대한 픽셀 마진(margin)을 결정하고, 타겟의 중심이 픽셀 마진 내부로부터 픽셀 마진 외부로 이동하였는지를 결정하고, 타겟의 중심이 픽셀 마진 외부로 이동했다는 결정에 기초하여 제2 복수의 이미지에 후속하는 제3 복수의 이미지에 대한 장면의 전역적 움직임 추적을 개시함으로써 검출된다. 일부 실시예들에서, 이러한 경계 외부 상태는, 타겟 변환된 템플릿의 중심이 처리된 이미지의 가장자리 또는 경계로부터의 임계 픽셀 수 이내에서 마진에 진입할 때 검출된다.
일부 실시예들에서, 전역적 추적은, 이미지 센서에 의해 생성된 표준 크기의 이미지 프레임 내의 고정된 세트의 지점들 {gi}를 샘플링함으로써 생성된 전역적 템플릿을 이용하여 동작한다. 그 다음 프로세서는 다음을 최소화하는 상대 변환 △T를 푸는데 이용된다:
Figure 112017123626664-pct00006
확실성을 위해, 일부 실시예들은, 다음과 같은 수학식에 따라 대략적 수준에서 정밀한 수준으로 피라미드 상에서 이전 이미지들을 해결하여 :
Figure 112017123626664-pct00007
타겟 변환을 생성하고, 본 명세서에서, 타겟은,
Figure 112017123626664-pct00008
암시된 변환 T(n + 1)이 타겟이 이미지 내로 되돌아 왔음을 나타낼 때, 국지적 추적이 재개된다. 이것은, 타겟의 중심이 경계로부터 적어도 임계 수의 픽셀에서 이미지의 중심 영역에 진입할 때 검출된다. 다양한 실시예에서, 이 프로세스는 전술된 바와 같이 움직이는 타겟을 수용하도록 강화될 수 있다. 유사하게, 일부 실시예들에서, 하나의 디바이스를 이용하여 복수의 타겟을 동시에 추적할 수 있도록 수정이 이루어질 수 있다.
또한, 전술된 바와 같이, 템플릿(712) 등의 타겟 템플릿에 대한 다양한 패턴은 사용자에 의해 선택된 AR 객체에 기초하여 설정될 수 있다. 타겟을 추적하고 디바이스 상의 AR 이미지 출력 내에 AR 객체를 정확하게 배치하기 위해 디바이스에 의해 계산된 후속하는 변형된 템플릿(들)(722)은 유사하게 사용자 선택에 기초하여 수정될 수 있다.
다양한 실시예에서, AR 객체들은 다양한 방식으로 수정된 2차원 객체를 포함한 다양한 유형의 객체일 수 있다. 예를 들어, 일부 실시예들에서, 도 5a 내지 도 5d의 국지적 AR 객체(514)로 도시된 바와 같이, 파사드(facade)로부터의 파사드 데이터를 정합시켜 파사드 표면과 정합하는 2차원 AR 객체를 생성하도록 계산이 수행될 수 있다. 일부 실시예들에서, AR 객체는 단순히, AR 객체의 초기 배치에 의한 위치와 연관된 2차원 형상일 수 있다. 카메라가 움직임에 따라, 이러한 2차원 스티커 객체를 어떤 각도로부터 보는지에 관계없이, 스티커 객체는 AR 이미지에서 항상 동일한 형상으로 보일 것이다. 마찬가지로, 소정 실시예들에서는 이모티콘(emoji) 스티커 객체가 이용될 수 있다. 이러한 실시예들에서, 사용자는 간단한 인터페이스에 액세스하여 그래픽적으로 이모티콘을 선택하고 이미지에 이모티콘을 배치하여, AR 시스템이 이모티콘 스티커 객체를 이미지 내의 또 다른 객체나 설정된 로케이션과 연관시키게 할 수 있다. AR 객체(예를 들어, 국지적 AR 객체(512))가, 책, 또는 사람 위의 공간 등의, 움직이는 객체에 부착된다면, AR 객체는 부착된 객체에 관한 상대 위치 또는 부착된 객체 위의 설정된 공간인 상대 위치를 유지할 수 있다.
일부 이러한 실시예들에서, AR 스티커 객체는 건물 또는 다른 이러한 객체에 부착될 수 있다. AR 뷰의 관점이 변함에 따라, AR 객체의 관점이 변화되어 AR 객체가 타겟 실제 객체에 "부착된" 2차원 객체의 외관을 유지한다.
다른 실시예들에서, AR 객체는, AR 객체가 한 측에 면을 갖는 구일 수 있도록 하는, 3D 객체일 수 있다. 또 다른 이러한 AR 객체는, 이모티콘, 얼굴, 동물 또는 기타의 객체의 임의의 이러한 3D 버전일 수 있다. 한 실시예에서, AR 객체는 다양한 패턴의 컬러 조명(colored light)으로 덮인 3D 나무일 수 있다. 임의의 이러한 AR 객체는 또한 애니메이션을 포함할 수 있다. 예를 들어, 나무에 있는 조명들은 상이한 패턴들로 번쩍이고 깜빡일 수 있다. 일부 실시예들에서, 시스템은 이러한 3D AR 객체의 연관된 2차원 "스티커" 버전을 생성하고 배치할 수 있다. 따라서, 본 명세서에서 설명되는 바와 같이, AR 객체는, 다양한 얼굴, 이모티콘, 동물, 맞춤형 사용자 제작 객체, 또는 기타 임의의 이러한 가능한 AR 객체를 포함할 수 있다. 이러한 AR 객체는, 연관된 애니메이션, 사운드, 변형, 및 기타 임의의 이러한 AR 객체 기능을 가질 수 있다. 이것은, 연관된 애니메이션, 사운드, 또는 기타 특성을 갖는 AR 스티커를 이용하여 간단한 비디오 클립의 생성을 가능하게 할 수 있다.
도 8은 AR 시스템에 이용될 수 있는 예시적인 모바일 디바이스(800)를 나타낸다. 이러한 한 실시예에서, 디바이스 디스플레이 영역(890)은 여기에서 설명된 바와 같이 AR 이미지를 프리젠팅할 수 있다. 본 명세서에서 설명된 임의의 시스템 동작에 대한 입력 및 조정은, 사용자(894)에 의한 디바이스 디스플레이 영역(890) 내의 터치 스크린 입력(892)을 이용하여 수행될 수 있다.
도 9는, 일부 실시예들에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 기타의 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(900)를 나타낸다. 한 실시예에서, 모바일 디바이스(900)는 사용자(902)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(902)는 모바일 디바이스(900)를 물리적으로 터치(904)할 수 있고, 터치(904)에 응답하여, 모바일 디바이스(900)는, 터치 로케이션, 터치 힘, 또는 제스처 모션 등의 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(900)는 애플리케이션을 론칭하거나 모바일 디바이스(900)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(906)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예들에서, 홈 스크린(906)은, 배터리 수명, 접속성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(902)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(902)는 모바일 디바이스(900)의 애플리케이션들과 상호작용한다. 예를 들어, 홈 스크린(906)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.
네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, ("앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(900) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(900)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치확인 앱(location app), 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(900)는, 일부 실시예와 일치하는, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(908)을 포함한다. 이 예에서, 소셜 메시징 앱(908)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다.
소정 실시예들은, 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 모듈은, 소프트웨어 모듈(예를 들어, 머신-판독가능한 매체 상에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. "하드웨어 모듈"은, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예를 들어, 프로세서 또는 프로세서 그룹)는, 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에서 설명된 소정의 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
일부 실시예들에서, 하드웨어 모듈은, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 모듈은 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능한 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은, 범용 프로세서 또는 기타의 프로그램가능한 프로세서에 의해 실행가능한 소프트웨어를 포함할 수 있다. 일단 이러한 소프트웨어에 의해 일단 구성되고 나면, 하드웨어 모듈은 구성된 기능을 수행하도록 고유하게 맞춤화된 특정한 머신(또는 머신의 특정한 컴포넌트)가 되고 더 이상 범용 프로세서가 아니다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 모듈을 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.
따라서, "하드웨어 모듈"이라는 구문은, 소정 방식으로 동작하거나 본 명세서에서 설명된 소정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 물리결선된(hardwired)) 또는 일시적으로 구성된(예를 들어, 프로그램된) 유형 엔티티(tangible entity)를 포괄하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 모듈"이란 하드웨어 모듈을 말한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그램된) 실시예들을 고려할 때, 하드웨어 모듈들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 모듈이 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 모듈들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다 . 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 소정의 한 시점에서 특정한 하드웨어 모듈을 구성하고 상이한 한 시점에서 상이한 하드웨어 모듈을 구성한다.
하드웨어 모듈은 다른 하드웨어 모듈에 정보를 제공하고 다른 하드웨어 모듈로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 모듈이 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 모듈들 사이에서 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 모듈들 사이의 통신은, 예를 들어, 복수의 하드웨어 모듈들이 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장할 수 있다. 그 다음, 또 다른 하드웨어 모듈은, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 모듈은 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.
본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 본 명세서에서 설명된 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 모듈들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 모듈"이란 하나 이상의 프로세서를 이용하여 구현된 하드웨어 모듈을 말한다.
유사하게, 본 명세서에서 설명된 방법들은 하드웨어의 한 예인 특정한 프로세서 또는 프로세서들에 의해 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는, 하나 이상의 프로세서 또는 프로세서-구현된 모듈에 의해 수행될 수 있다. 게다가, 하나 이상의 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어"(SaaS; software as a service)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷)를 통해 및 하나 이상의 적절한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 예를 들어, 일부 실시예들에서, 디바이스(예를 들어, 스마트폰)는 디바이스에 대한 제1 위치 추정치를 결정하고 디바이스의 이미지 센서에 의해 환경의 제1 이미지를 포착한다.
상기 도면들과 연계하여 설명된 모듈, 방법, 애플리케이션 등은, 일부 실시예들에서, 머신 및 연관된 소프트웨어 아키텍처의 정황에서 구현된다. 이하의 섹션은 개시된 실시예들에서 이용하기에 적합한 대표적인 소프트웨어 아키텍처(들) 및 머신(예를 들어, 하드웨어) 아키텍처(들)을 설명한다.
소프트웨어 아키텍처는 하드웨어 아키텍처와 연계하여 이용되어 특정한 목적에 맞게 조정된 디바이스 및 머신을 생성한다. 예를 들어 특정한 소프트웨어 아키텍처와 결합된 특정한 하드웨어 아키텍처는, 모바일 전화, 태블릿 디바이스 등의 모바일 디바이스를 생성할 것이다. 약간 상이한 하드웨어 및 소프트웨어 아키텍처는 "사물 인터넷"에서 이용하기 위한 스마트 디바이스를 생성할 수 있지만, 역시 또 다른 조합은 클라우드 컴퓨팅 아키텍처 내에서 이용하기 위한 서버 컴퓨터를 생성한다. 본 기술분야의 통상의 기술자라면 본 명세서에 포함된 개시내용과 상이한 정황에서 본 발명 주제를 구현하는 방법을 용이하게 이해할 수 있으므로, 이러한 소프트웨어 및 하드웨어 아키텍처의 모든 조합이 본 명세서에 제시되지는 않는다.
도 10은 안경(31)의 정면 사시도로 나타낸 소정 실시예의 양태를 도시한다. 일부 실시예들에서 안경(31)은 유선 또는 무선(예를 들어, Bluetooth® 또는 WiFi® 통신을 이용하여 클라이언트 디바이스(110)와 연관하여 및 이와 결합되어 동작하는 클라이언트 동반 디바이스(client companion device)일 수 있다. 다른 실시예에서, 안경(31)은 이미지 데이터를 포착하고 데이터를 처리하여 본 명세서에서 설명된 바와 같이 국지적 AR 객체 추적을 이용하여 AR 객체를 추가하는 독립형 클라이언트 디바이스(110)로서 동작할 수 있다. 안경(31)은, 임의의 적절한 형상 기억 합금을 포함한, 플라스틱 또는 금속 등의 임의의 적절한 재료로 형성된 프레임(32)을 포함할 수 있다. 프레임(32)은, 제1 또는 좌측 렌즈, 디스플레이, 또는 광학 요소 홀더(36)를 포함할 수 있는 전면 부분(33); 브리지(38)에 의해 접속된 제2 또는 우측 렌즈, 디스플레이, 또는 광학 요소 홀더(37)를 가질 수 있다. 전면 부분(33)는 좌측 단부(end portion, 41) 및 우측 단부(42)를 추가로 포함한다. 제1 또는 좌측 광학 요소(44) 및 제2 또는 우측 광학 요소(43)는, 각각의 좌측 및 우측 광학 요소 홀더(36 및 37) 내에 제공될 수 있다. 광학 요소들(43 및 44) 각각은, 렌즈, 디스플레이, 디스플레이 어셈블리, 또는 이들의 조합일 수 있다. 본 명세서에서 개시된 디스플레이 어셈블리들 중 임의의 것이 안경(31)에 제공될 수 있다.
프레임(32)은, 힌지(미도시) 등의 임의의 적절한 수단에 의해 전면 부분(33)의 각각의 좌측 및 우측 단부(41 및 42)에 결합된 좌측 아암 또는 템플 부분(temple piece, 46) 및 우측 아암 또는 템플 부분(47)을 포함하여, 전면 부분(33)에 결합되거나, 전면 부분(33)과 일체가 되도록 전면 부분(33)에 견고하게 또는 고정적으로 고정된다. 템플 부분들(46, 47) 각각은, 전면 부분(33)의 각각의 단부(41 또는 42)에 결합되는 제1 부분(51) 및 사용자의 귀에 결합하기 위한 만곡 부분 또는 아치 부분 등의 임의의 적절한 제2 부분(52)을 포함할 수 있다. 한 실시예에서, 전면 부분(33)은 통합된 또는 일체형 구조를 갖도록 단일 재료로 형성될 수 있다.
안경(31)은, 프레임(32)에 의해 장착되도록 하는 임의의 적절한 유형일 수 있거나, 한 실시예에서는, 템플 부분(46 및 47) 중 하나에 적어도 부분적으로 배치될 수 있게 하는 임의의 적절한 크기 및 형상일 수 있는, 컴퓨터(61) 등의 컴퓨팅 디바이스를 포함할 수 있다. 한 실시예에서, 도 10에 나타낸 바와 같이, 컴퓨터(61)는 템플 부분(46, 47) 중 하나의 크기 및 형상과 유사한 크기 및 형상을 가지므로, 구조물 내에 완전히는 아니더라도 거의 완전히 배치되고 이러한 템플 부분(46 및 47) 내에 국한된다. 한 실시예에서, 컴퓨터(61)는 템플 부분들(46 및 47) 양쪽 모두에 배치될 수 있다. 컴퓨터(61)는, 메모리, 무선 통신 회로, 및 전원을 갖는 하나 이상의 프로세서를 포함할 수 있다. 소정 실시예에서, 컴퓨터(61)는, 저전력 회로, 고속 회로, 및 디스플레이 프로세서를 포함한다. 다양한 다른 실시예는, 이들 요소들을 상이한 구성들로 포함하거나 상이한 방식들로 함께 통합할 수 있다.
컴퓨터(61)는 배터리(62) 또는 다른 적절한 휴대형 전원을 추가로 포함한다. 한 실시예에서, 배터리(62)는 템플 부분들(46 또는 47) 중 하나에 배치된다. 도 11에 도시된 안경(31)에서, 배터리(62)는 좌측 템플 부분(46)에 배치되고, 접속(74)을 이용하여 우측 템플 부분(47)에 배치된 컴퓨터(61)의 나머지에 전기적으로 결합되는 것으로 도시되어 있다. 하나 이상의 입력 및 출력 디바이스는, 프레임(32)의 외부로부터 액세스가능한 배터리(62)를 충전하기에 적합한 커넥터 또는 포트(미도시), 무선 수신기, 전송기, 또는 트랜시버(미도시), 또는 이들 디바이스들의 조합을 포함할 수 있다.
안경(31)은 카메라(69)를 포함한다. 2개의 카메라가 도시되어 있지만, 다른 실시예들은 단일의 또는 추가적인(즉, 2개보다 많은) 카메라의 이용을 고려한다. 다양한 실시예에서, 안경(31)은 카메라(69) 외에도 임의의 수의 입력 센서 또는 주변 디바이스를 포함할 수 있다. 전면 부분(33)에는, 안경(31)이 사용자의 얼굴에 장착될 때 사용자로부터 전방 또는 외측을 향하는 외향면, 전방면 또는 외측면(66), 및 안경(31)이 사용자의 얼굴에 장착될 때 사용자의 얼굴을 향하는 내향면, 후방면, 또는 뒤쪽 또는 내측면(67)이 제공된다. 이러한 센서들은, 전면 부분(33)의 내측면(67) 또는 사용자 쪽으로 향하는 프레임(32) 상의 기타의 곳에 장착되거나 제공될 수 있는 카메라 등의 내측을 향하는 비디오 센서 또는 디지털 촬영 모듈, 및 전면 부분(33)의 외측면(66) 또는 사용자로부터 전방을 향하는 프레임(32) 상의 기타의 곳에 장착되거나 제공될 수 있는 카메라(69) 등의 외측을 향하는 비디오 센서 또는 디지털 촬영 모듈을 포함할 수 있다. 이러한 센서, 주변 디바이스, 또는 주변기기들은, 바이오메트릭 센서, 위치확인 센서, 또는 기타 임의의 이러한 센서를 추가로 포함할 수 있다. 추가적인 실시예들에서, 유사한 요소들이, 바이저로서, 헬멧 또는 고글 기반 시스템 내에, 차량 HUD 디스플레이 내에, 또는 기타 임의의 이러한 디바이스 내에 제공될 수 있다.
도 11는 AR 시스템(160)의 한 실시예의 블록도(1100)이다. AR 시스템(160)은, 통신 모듈(1110), 프리젠테이션 모듈(1120), 구성 모듈(1130), 정렬 모듈(1140), AR 객체/가상 항목 모듈(1150), 분석 및 타겟 추적 모듈(1160), 및 전역적 추적 모듈(1170)을 포함하는 것으로 도시되어 있다. 모듈들(1110-1170)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. AR 시스템(160)의 모듈들의 각각의 모듈은 단일 모듈로서 구현되거나, 다른 모듈들 내에 결합되거나, 또는 복수의 모듈들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 모듈들도 역시 포함될 수 있지만, 도시되지는 않는다.
통신 모듈(1110)은 다양한 통신 기능을 제공한다. 예를 들어, 통신 모듈(1110)은 사용자 디바이스로부터 이미지의 이미지 데이터를 수신, 액세스 또는 기타의 방식으로 획득한다. 특정한 예에서, 통신 모듈(1110)은, 스마트 폰의 카메라 센서로부터 실질적으로 실시간 이미지 데이터(예를 들어, 스마트 폰의 카메라 센서에 의해 포착된 순차적 프레임들의 세트 또는 준연속적인 프레임들의 스트림)를 수신한다. 통신 모듈(1110)은, 데이터베이스 서버(132), 클라이언트 디바이스(110), 및 제3자 서버(120)와 네트워크 통신을 교환한다. 통신 모듈(1110)에 의해 회수된 정보는, 본 명세서에 설명된 기능을 가능하게 하기 위해 사용자와 연관된 데이터(예를 들어, 온라인 계정으로부터의 멤버 프로파일 데이터 또는 소셜 네트워크 서비스 데이터) 또는 기타의 데이터를 포함한다.
프리젠테이션 모듈(1120)은, 사용자에게 대화식으로 정보를 프리젠팅하고 사용자로부터 정보를 수신하도록 동작가능한 다양한 프리젠테이션 및 사용자 인터페이스 기능을 제공한다. 예를 들어, 프리젠테이션 모듈(1120)은, AR 객체의 사용자 선택 및 AR 객체를 타겟과 연관시키는 비디오 프레임들의 스트림의 이미지 내의 AR 객체들의 배치를 관리하는데 이용된다. 그 다음, 프리젠테이션 모듈(1120)은, 전역적 및 타겟 추적 모듈들(1170 및 1160)로부터 추적 정보를 수신하여, AR 객체들이 디바이스의 디스플레이에서 연관된 타겟에 관해 디스플레이되게 하면서, 카메라에 의해 포착된 후속 이미지들을 적절하게 프리젠팅한다. 전술된 바와 같이, 이들 이미지들은, 이미지들이 포착되고, 가상 객체를 추가하도록 처리되고, 가능한 한 빨리 가상 객체와 함께 디스플레이될 때 실시간 또는 준 실시간으로 프리젠팅될 수 있다. 프리젠테이션 모듈(1120)은 또한, 사용자 인터페이스, 선택가능한 AR 객체, 또는 사용자 인터페이스를 위한 임의의 이러한 정보를 프리젠팅하는데 이용가능하다. 다양한 실시예에서, 프리젠테이션 모듈(1120)은 정보를 프리젠팅하거나 추가 정보의 프리젠테이션을 야기한다(예를 들어, 스크린 상에 시각적으로 정보를 디스플레이하거나, 음향 출력, 햅틱 피드백에 의해). 대화식으로 정보를 프리젠팅하는 프로세스는 특정한 디바이스와 사용자 사이에서의 정보의 교환을 포함하도록 의도되어 있다. 사용자는, 영숫자, 포인트 기반(예를 들어, 커서), 촉각적, 또는 기타의 입력(예를 들어, 터치 스크린, 촉각 센서, 광 센서, 적외선 센서, 바이오메트릭 센서, 마이크로폰, 자이로스코프, 가속도계, 또는 기타의 센서) 등의 많은 가능한 방식으로 사용자 인터페이스와 상호작용하기 위한 입력을 제공할 수 있다. 프리젠테이션 모듈(1120)은 본 명세서에서 설명된 기능을 가능하게 하기 위해 많은 다른 사용자 인터페이스를 제공한다. 용어 "프리젠팅(presenting)" 및 "디스플레이함(displaying)"은, 본 명세서에서 사용될 때, 전달된 정보 또는 명령어들에 기초하여 프리젠테이션을 수행하도록 동작가능한 특정한 디바이스에 정보 또는 명령어를 전달하는 것을 포함한다. 이것은, 스크린 상에 출력하는 것과 사용자의 눈에 이미지를 투사하는 것 양쪽 모두를 포함할 수 있다.
구성 모듈(1130)은 시스템 옵션의 사용자 선택을 수락하고 관리하는데 이용될 수 있다. 이것은, AR을 가능하게하고 소정 유형의 AR 정보가 사용자 입력 또는 입력-기반 트리거에 기초하여 제공되거나 트리거되도록 요청하는 것을 포함한, 다양한 AR 선택을 선택하는 옵션을 포함할 수 있다. 예를 들어, 구성 모듈(1130)은, 비디오 클립의 녹화, 통신, 이미지 및 카메라 설정, 또는 AR 시스템(160)에 적절한 기타 임의의 이러한 디바이스 설정에 관련된 소정 유형의 설정들에 관한 정보를 자동으로 프리젠팅하기 위해 사용자에 의해 제공되는 설정을 포함할 수 있다 . 구성 모듈(1130)은 또한, 방향 입력 트리거가 통신 모듈(1110)을 통해 수신될 때 AR 이미지에서 방향 정보를 자동으로 제공하는 사용자 설정을 수락할 수 있다. 다른 실시예들에서, 이미지-기반 위치확인 또는 AR 이미지를 구현하기 위한 기타 임의의 트리거가 구성 모듈(1130)에 의해 관리될 수 있다. 예를 들어, 구성 모듈(1130)은, 시스템이 AR 이미지의 디스플레이를 위한 트리거와 같은 분석을 포함할 때 사용자 디바이스(예를 들어, 클라이언트 디바이스(110))로부터 수신된 이미지의 이미지 데이터로부터 후보 형상 피쳐 또는 후보 윤곽 특성을 추출하고 분석한다. 구성 모듈(1130)은 추출된 후보 형상 피쳐와 연관된 다양한 규칙 또는 기준의 만족을 결정한다. 구성 모듈(1130)은 추출된 후보 형상 피쳐를 맞춤형 그래픽 또는 다른 기준 이미지의 기준 형상 피쳐와 비교한다. 구성 모듈(1130)은 이미지의 이미지 데이터로부터 후보 형상 피쳐를 추출하고 후속해서 AR 이미지의 디스플레이를 트리거하기 위해 다양한 방식 및 기술을 채용할 수 있다.
정렬 모듈(1140)은 이미지 센서에 의해 포착된 이미지 데이터와 이미지 내에 배치된 가상 객체의 정렬을 결정하고 검증하기 위한 이미지 처리 기능을 제공한다. 이것은 모듈들(1160 및 1170)에 의해 동시에 추적되고 있는 복수의 AR 객체의 관리를 포함하거나, 합리적인 오차로 국지적 AR 객체 추적을 허용하기 위해 카메라 또는 타겟 객체의 움직임이 임계값을 초과하는 때를 결정하는 것을 포함할 수 있다. 예를 들어, 비디오 이미지의 프레임들에서 측정되는 흐릿함 값(blur value)은, AR 객체의 전역적 추적이 불충분하게 정밀하다는 것을 결정하기 위해 측정될 수 있다. 이러한 측정 또는 임계값 비교는 사용자에게 경고를 프리젠팅할 수 있으며, 진행중인 AR 출력의 후속 프레임들에서 하나 이상의 AR 객체의 프리젠테이션을 자동으로 디스에이블할 수 있다. 일부 실시예들에서, 정렬 모듈(1140)은, 본 명세서에서 설명되고 모듈들(1160 및 1170)에 의해 추적되는 다양한 템플릿을 포함한 환경의 컴퓨터 모델을 액세스하거나 생성할 수 있고, 컴퓨터 모델을 이용하여 환경의 컴퓨터 모델에 기초해 가상 항목을 이미지 내에 삽입할 수 있다. 일부 실시예들에서, 정렬 모듈(1140)은 임계값 또는 규칙 체크를 수행하여 AR 이미지에 디스플레이된 가상 항목이 소정의 품질 메트릭을 충족하는지를 체크하여 수용가능한 사용자 경험을 제공할 수 있다. 이것은, 가상 객체가 이미지 내의 객체들에 관해 예상치 못한 방식으로 움직이지 않는지, 이미지 센서에 의해 포착된 이미지들이 AR 기능 또는 기타의 이러한 메트릭을 가능하게 하기에 시간 경과에 따라 충분히 안정적인지를 검증하는 것을 포함할 수 있다. 일부 실시예들에서, 정렬 모듈(1140)은 이미지 데이터로부터 공간적 속성을 추출한다. 다양한 실시예에서, 공간적 속성은, 위치, 배향, 스케일, 또는 이미지 내의 객체들의 다른 공간적 양태 중 적어도 하나를 포함한다. 정렬 모듈(1140)은 공간적 속성(예를 들어, 특정한 배향)에 기초하여 이미지 객체들의 정렬을 결정한다. 한 예에서, 정렬 모듈(1140)은 공간적 속성에 기초하여 위치 및 배향을 포함하는 정렬을 결정하고 정렬에 따라 변환된 이미지를 생성할 수 있다.
AR 객체/가상 항목 모듈(1150)은 가상 항목과 연관된 이미지를 생성하는 기능을 제공한다. 일부 실시예들에서, 이것은, 가상 위치 마커, 가상 방향 화살표, 또는 가상 항목 또는 객체에 관련된 그래픽 정보를 포함할 수 있다. 일부 실시예들에서, 이것은 모바일 가상 객체를 비디오 내에 삽입하기 위한 그래픽 정보를 포함할 수 있다(예를 들어, 가상 동물, 로봇, 공룡, 비디오 디스플레이 등). 일부 실시예들에서, 각각의 가상 객체에 대해, 프리젠테이션 규칙이 AR 객체/가상 항목 모듈(1150)에 저장될 수 있고, 가상 객체가 충분한 출력 품질로 이미지 데이터 내에 삽입될 수 있는지를 검증하기 위해 다른 모듈들에 의해 이용될 수 있다.
타겟 추적 모듈(1160)은 본 명세서에서 설명된 바와 같이 사용자 입력들에 의해 식별된 특정한 타겟들과 연관된 이미지 센서로부터의 데이터 분석을 제공한다. 타겟 추적 모듈(1160)은 이미지들의 시퀀스 내에 존재하는 타겟들을 추적할 수 있고, 타겟이 존재하지 않는 이미지들을 검색하여 타겟이 예상치 못한 이미지 내로 이동했는지를 결정할 수 있다. 이러한 동작들은, 이미지의 주요 지점들을 식별하고 타겟 데이터와 이미지의 부분들을 정합시켜 정합을 식별하는 이미지 처리 동작을 포함할 수 있다. 추가로, 타겟이 이미지 프레임 외부에 있을 때 시간에 따라 변할 수 있는 경우, 타겟 추적 모듈(1160)은 타겟에서의 예상된 변화에 기초하여 타겟 정합에 대한 기준을 수정할 수 있다. 예를 들어, 타겟이 얼굴이면, 타겟 추적 모듈은 타겟 얼굴의 다른 관점들에 대한 이미지를 처리할 수 있다(예를 들어, 초기 타겟 뷰가 직접 얼굴 내에 존재하는 프로파일 이미지).
타겟 추적 모듈(1160)에 의한 이러한 추적은 또한, 전역적 추적 모듈(1170)로부터의 정보에 의해 수정될 수 있다. 예를 들어, 전역적 추적 모듈(1170)이 이미지 프레임이 타겟의 위치로부터 멀리 이동했다는 것을 식별하는 경우, 타겟 추적 모듈(1160)에 의해 수행되는 추적은, 특히 타겟이 정지된 것으로 예상된다면, 제한되거나 중단될 수 있다. 이미지 프레임이 타겟의 가장자리가 이미지 내로 들어올 수 있는 영역 내로 이동했다는 것을 전역적 추적 모듈(1170)이 식별할 때, 타겟 추적 모듈(1160)은 이미지의 분석을 증가시켜 타겟 또는 타겟의 일부를 식별할 수 있다.
전역적 추적 모듈(1170)은 본 명세서에서 설명된 바와 같이 특정한 타겟과 무관한 이미지의 요소들을 처리하고, 또한 장면 배경 및 카메라 이동에 관련된 움직임 정보를 다른 모듈들에 제공할 수 있다. 일부 실시예들에서, 전역적 추적 모듈(1170)로부터의 처리는 장면의 AR 모델을 생성하는데 이용될 수 있다. 이것은, 예를 들어, 포착 중인 장면의 국지적 모델을 생성하기 위해 비디오 프레임들로부터의 정보를 저장하는 전역적 추적 템플릿을 이용함으로써 이루어질 수 있다. 일부 실시예들에서, 이 정보는 이미지 포착 동작들 사이에서 저장되고 재사용될 수 있다. 다른 실시예들에서, 디바이스가 AR 모드를 빠져 나올 때마다 이 정보가 삭제되어, AR 모드에 진입하고 카메라 디바이스가 데이터를 포착하기 시작할 때 전역적 추적 템플릿 및 AR 모델이 데이터없이 시작된다.
도 12는 전술된 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어(1202)의 아키텍처를 나타내는 블록도(1200)이다. 도 12는 소프트웨어 아키텍처의 비제한적 예일 뿐이고, 본 명세서에서 설명된 기능을 가능하게 하기 위해 많은 다른 아키텍처가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1202)는, 프로세서(1310), 메모리(1330), 및 입력/출력(I/O) 컴포넌트(1350)를 포함하는 도 13의 머신(1300) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍처에서, 소프트웨어(1202)는 각각의 계층이 특정한 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1202)는, 운영 체제(1204), 라이브러리들(1206), 프레임워크들(1208), 및 애플리케이션들(1210) 등의 계층들을 포함한다. 동작상, 애플리케이션들(1210)은, 일부 실시예에 따라, 소프트웨어 스택을 통해 API 호출들(1212)을 기동하고, API 호출들(1212)에 응답하여 메시지(1214)를 수신한다. 한 예에서, AR 시스템(160)은 애플리케이션들(1210)로서 동작한다.
다양한 구현에서, 운영 체제(1204)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1204)는 예를 들어 커널(1220), 서비스들(1222) 및 드라이버들(1224)을 포함한다. 커널(1220)은 일부 실시예들에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 작용한다. 예를 들어, 커널(1220)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케쥴링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(1222)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예들에 따라, 드라이버들(1224)은 기저 하드웨어를 제어하거나 이와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버들(1224)은, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.
일부 실시예에서, 라이브러리들(1206)은 애플리케이션들(1210)에 의해 이용되는 하위-레벨 공통 인프라스트럭쳐를 제공한다. 라이브러리들(1206)은, 메모리 할당 기능, 문자열 조작 기능, 수학 기능 등의 기능을 제공할 수 있는 시스템 라이브러리(1230)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리들(1206)은, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포멧의 프리젠테이션과 조작을 지원하는 라이브러리들) 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 2차원 및 3차원으로 디스플레이에 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1232)를 포함할 수 있다. 라이브러리들(1206)은 또한, 많은 다른 API를 애플리케이션들(1210)에 제공하는 광범위한 다른 라이브러리(1234)를 포함할 수 있다.
프레임워크들(1208)은 일부 실시예에 따라 애플리케이션들(1210)에 의해 이용될 수 있는 상위-레벨 공통 인프라스트럭쳐를 제공한다. 예를 들어, 프레임워크들(1208)은, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 자원 관리, 하이-레벨 위치확인 서비스 등을 제공한다. 프레임워크들(1208)은 애플리케이션들(1210)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 있으며, 그 중 일부는 특정한 운영 체제(1204) 또는 플랫폼 특유일 수 있다.
한 예시적인 실시예에서, 애플리케이션들(1210)은, 홈 애플리케이션(1250), 연락처 애플리케이션(1252), 브라우저 애플리케이션(1254), 북 리더 애플리케이션(1256), 로케이션 애플리케이션(1258), 미디어 애플리케이션(1260), 메시징 애플리케이션(1262), 게임 애플리케이션(1264), 및 제3자 애플리케이션(1266) 등의 광범위한 다른 애플리케이션들을 포함한다. 일부 실시예들에 따르면, 애플리케이션들(1210)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션들(1210) 중 하나 이상을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1266)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 킷(SDK)을 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 운영 체제 등의 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1266)은 본 명세서에서 설명된 기능을 가능하게 하기 위해 운영 체제(1204)에 의해 제공되는 API 호출들(1212)을 기동할 수 있다.
AR 애플리케이션(1267)은, 국지적 AR 객체 배치, 출력 디스플레이 상의 프리젠테이션, 및 AR 비디오 녹화를 포함한, 본 명세서에서 설명된 임의의 시스템 또는 방법을 구현할 수 있다. 또한, 일부 실시예들에서, 메시징 애플리케이션(1262) 및 AR 애플리케이션(1267)은, 단기 메시징 애플리케이션의 일부로서 함께 동작할 수 있다. 이러한 단기 메시징 애플리케이션은, 이미지를 생성하고, 사용자가 AR 요소를 이미지에 추가하고, 이미지 및/또는 AR 데이터의 일부 또는 전부를 또 다른 시스템 사용자에게 전달하는 것을 허용하도록 동작할 수 있다. 삭제 트리거가 충족된 후에, 전송된 데이터는 수신 사용자의 시스템으로부터 삭제되고, 이미지 및/또는 AR 데이터는 또한, 이미지 및/또는 AR 데이터를 포함하는 단기 메시지의 통신에 관여된 임의의 서버로부터 삭제되도록 동기화될 수 있다. 일부 실시예들에서, 수신 사용자의 디바이스로부터 데이터를 삭제하기 위한 트리거는 AR 이미지가 얼마나 오랫동안 디스플레이되는지를 나타내는 타이머일 수 있다. 다른 실시예들에서, 단기 메시징 시스템은, 삭제를 위한 날짜 및 시간 트리거, 또는 수신 사용자가 데이터에 액세스한 횟수와 연관된 삭제를 설정할 수 있다.
예를 들어, 한 실시예에서, 사용자는 본 명세서에서 설명된 바와 같이 국지적 AR 추적을 이용하여 포착된 AR 객체를 포함하는 비디오 클립을 전송할 수 있다. 사용자는 AR 데이터를 포함하는 이러한 메시지에 대해 단기 또는 비단기 상태를 선택할 수 있어서, 데이터를 포함하는 비단기 메시지는 수신 사용자로부터 AR 데이터를 삭제하기 위한 선택을 기다리고, 메시지의 일부인 AR 데이터는 통신 서버에 무기한으로 저장될 수 있다.
도 13은, 머신-판독가능한 매체(예를 들어, 머신-판독가능한 스토리지 매체)로부터 명령어들을 판독하여 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예에 따른 머신(1300)의 컴포넌트들을 나타내는 블록도이다. 구체적으로는, 도 13은 예시적인 형태의 컴퓨터 시스템으로 된 머신(1300)의 개략도를 도시하며, 머신 내부에서, 머신(1300)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어(1316)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)가 실행될 수 있다. 추가로, 또는 대안으로서, 명령어는 도 1, 도 11 등의 임의의 모듈을 구현할 수 있다. 명령어들은, 일반적인 비프로그램된 머신을, 설명되고 예시된 기능들을 설명된 방식으로 수행하도록 프로그램된 특정한 머신으로 변환한다. 대안적인 실시예들에서, 머신(1300)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1300)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1300)은, 서버 컴퓨터, 클라이언트 컴퓨터, PC, 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋탑 박스(STB), PDA, 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1300)에 의해 취해질 동작들을 명시하는 명령어들(1316)을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되지 않는다. 또한, 단 하나의 머신(1300)이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1316)을 개별적으로 또는 공동으로 실행하는 머신들(1300)의 집합체를 포함하는 것으로 간주되어야 한다.
머신(1300)은, 버스(1302) 등을 통해 서로 통신하도록 구성될 수 있는, 프로세서(1310), 메모리/스토리지(1330) 및 I/O 컴포넌트들(1350)을 포함할 수 있다. 한 예시적인 실시예에서, 프로세서(1310)(예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP; Digital Signal Processor), ASIC, 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어(1316)를 실행할 수 있는 프로세서(1312) 및 프로세서(1314)를 포함할 수 있다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서(때때로 "코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 13은 복수의 프로세서를 도시하지만, 머신(1300)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
메모리/스토리지(1330)는, 메인 메모리(1332), 정적 메모리(1334), 또는 기타의 메모리 스토리지, 및 스토리지 유닛(1336)을 포함할 수 있고, 이들 모두는 버스(1302) 등을 통해 프로세서(1310)에 액세스가능하다. 스토리지 유닛(1336), 정적 메모리(1334), 및 메인 메모리(1332)는, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1316)을 저장한다. 명령어들(1316)은 또한, 머신(1300)에 의한 그 실행 동안에, 완전히 또는 부분적으로, 메인 메모리(1332) 내에, 정적 메모리(1334) 내에, 스토리지 유닛(1336) 내에, 프로세서들(1310) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합으로 존재할 수 있다. 따라서, 메인 메모리(1332), 정적 메모리(1334), 스토리지 유닛(1336), 및 프로세서(1310)의 메모리는 머신-판독가능한 매체의 예이다.
본 명세서에서 사용될 때, 용어 "머신-판독가능한 매체"란, 명령어 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체, 자기 매체, 캐시 메모리, 다른 유형의 스토리지(예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM)), 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. "머신-판독가능한 매체"라는 용어는, 명령어(1316)를 저장할 수 있는 단일의 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 또한, 명령어들이, 머신(1300)의 하나 이상의 프로세서들(예를 들어, 프로세서들(1310))에 의해 실행될 때, 머신(1300)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 하나 이상을 수행하게 하도록, 머신(예를 들어, 머신(1300))에 의한 실행을 위한 명령어(예를 들어, 명령어(1316))를 저장할 수 있는 임의의 매체 또는 복수의 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 매체"란, 단일 스토리지 장치 또는 디바이스뿐만 아니라, 복수의 스토리지 장치 또는 디바이스를 포함하는 "클라우드-기반" 스토리지 시스템 또는 스토리지 네트워크를 말한다. "머신-판독가능한 매체"라는 용어는 신호 그 자체를 제외한다.
I/O 컴포넌트들(1350)은, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하고, 정보를 교환하며, 측정치를 포착하는 등을 수행하는 다양한 컴포넌트를 포함할 수 있다. 특정한 머신에 포함되는 구체적인 I/O 컴포넌트들(1350)은 머신의 유형에 의존할 것이다. 예를 들어, 모바일 전화 등의 휴대형 머신은 터치 입력 디바이스 또는 기타의 이러한 입력 메커니즘을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 이러한 터치 입력 디바이스를 포함하지 않을 것이다. I/O 컴포넌트들(1350)은 도 13에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트들(1350)은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트들(1350)은 출력 컴포넌트들(1352) 및 입력 컴포넌트들(1354)을 포함한다. 출력 컴포넌트들(1352)은, 시각적 컴포넌트(에를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube) 등의 디스플레이), 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터, 저항 메커니즘), 기타의 신호 생성기 등을 포함할 수 있다. 입력 컴포넌트들(1354)은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 움직임 센서 또는 다른 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버튼, 터치 또는 터치 제스처의 로케이션 및 힘을 제공하는 터치 스크린, 또는 기타의 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.
추가의 예시적인 실시예들에서, I/O 컴포넌트들(1350)은, 특히, 바이오메트릭 컴포넌트(1356), 움직임 컴포넌트(1358), 환경 컴포넌트(1360), 또는 위치 컴포넌트(1362)를 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트(1356)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 눈 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함할 수 있다. 움직임 컴포넌트(1358)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함할 수 있다. 환경 컴포넌트(1360)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 객체를 검출하는 적외선 센서), 가스 센서 컴포넌트(예를 들어, 머신 후각 검출 센서, 안전을 위해 위험한 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함할 수 있다. 위치 컴포넌트(1362)는, 위치확인 센서 컴포넌트(예를 들어, GPS(Global Positioning System) 수신기 컴포넌트), 고도 센서 컴포넌트(고도계 또는 고도가 도출될 수 있는 기압을 검출하는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함할 수 있다.
통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트들(1350)은, 머신(1300)을 각각 결합(1382) 및 결합(1372)을 통해 네트워크(1380) 또는 디바이스들(1370)에 결합하도록 동작가능한 통신 컴포넌트(1364)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1364)는, 네트워크 인터페이스 컴포넌트, 또는 네트워크(1380)와 인터페이스하기에 적절한 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트(1364)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스들(1370)은, 또 다른 머신 또는 임의의 다양한 주변 디바이스(예를 들어, USB를 통해 결합된 주변 디바이스)일 수 있다.
게다가, 통신 컴포넌트(1364)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1364)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트(예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바 코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서), 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 로케이션, WI-FI® 신호 삼각측량을 통한 로케이션, 특정한 로케이션을 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 로케이션 등의 다양한 정보가 통신 컴포넌트(1364)를 통해 도출될 수 있다.
다양한 예시적인 실시예에서, 네트워크(1380)의 하나 이상의 부분은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(MAN; Metropolitan Area Network), 인터넷, 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1380) 또는 네트워크(1380)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1382)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1382)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.
명령어들(1316)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1364)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 전송 프로토콜들 중 임의의 하나(예를 들어, HTTP)를 이용하여 네트워크(1380)를 통해 전송되거나 수신될 수 있다. 유사하게, 명령어들(1316)은 디바이스들(1370)에 대한 결합(1372)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신될 수 있다. "전송 매체"라는 용어는, 머신(1300)에 의한 실행을 위한 명령어(1316)를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 가능하게 하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주된다.
본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트들, 동작들 또는 구조들을 구현할 수 있다. 하나 이상의 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들 중 하나 이상은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.
본 발명의 주제에 대한 개요가 특정한 예시적인 실시예를 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다.
본 발명의 주제의 이러한 실시예들은, 본 명세서에서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.
본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자가 본 명세서에서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.
본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 모듈, 엔진 및 데이터 저장소들 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 정황에서 예시된 것이다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원들로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 국지적 증강 현실(AR; augmented reality) 추적을 위한 방법으로서,
    디바이스의 이미지 센서 및 하나 이상의 프로세서를 이용하여, 장면의 제1 복수의 이미지를 포착하는 단계;
    상기 제1 복수의 이미지를 상기 디바이스의 디스플레이 상에 디스플레이하는 단계;
    상기 디바이스의 입력 컴포넌트에서, AR 스티커 객체(sticker object)의 제1 사용자 선택을 수신하는 단계;
    상기 디바이스의 상기 입력 컴포넌트에서, 상기 디바이스의 디스플레이 상에 디스플레이된 상기 제1 복수의 이미지 중 제1 이미지에 대해 상기 AR 스티커 객체를 배치하는 제2 사용자 선택을 수신하는 단계;
    상기 하나 이상의 프로세서를 이용하여, 상기 제1 복수의 이미지 중 하나 이상의 이미지를 처리해 상기 장면의 국지적 AR 모델을 생성하는 단계; 및
    상기 AR 스티커 객체의 국지적 추적을 위해 및 상기 디바이스의 상기 디스플레이 상에서 AR 이미지들과 함께 상기 AR 스티커 객체의 프리젠테이션을 위해, 상기 장면의 상기 국지적 AR 모델에 상기 AR 스티커 객체를 추가하는 단계
    를 포함하고,
    상기 제1 복수의 이미지 중 상기 하나 이상의 이미지를 처리해 상기 장면의 국지적 AR 모델을 생성하는 단계는,
    상기 AR 스티커 객체의 상기 배치에 기초하여, 상기 제1 복수의 이미지 중 상기 제1 이미지 내의 타겟을 식별하는 단계; 및
    상기 이미지 센서에 의해 포착된 후속 이미지들 내의 상기 타겟의 움직임을 추적하는 단계
    를 포함하고,
    상기 제1 복수의 이미지 중 하나 이상의 이미지를 처리해 상기 장면의 국지적 AR 모델을 생성하는 단계는,
    상기 후속 이미지들 중 제2 이미지를 처리하여 상기 타겟이 경계 영역 외부에 있다고 결정하는 단계; 및
    상기 타겟이 상기 경계 영역 외부에 있다는 상기 결정에 기초하여, 상기 타겟이 상기 경계 영역 외부에 있다는 상기 결정 이후에 상기 이미지 센서에 의해 포착된 제3 복수의 이미지에 대해 :
    상기 제3 복수의 이미지의 각각의 이미지에 대해, 전역적 이미지 지점들의 세트를 샘플링하는 단계; 및
    연관된 움직임을 결정하는 단계
    를 더 포함하는, 방법.
  2. 제1항에 있어서,
    상기 이미지 센서를 이용하여, 상기 장면의 제2 복수의 이미지를 포착하는 단계; 및
    상기 하나 이상의 프로세서를 이용하여, 상기 장면의 상기 국지적 AR 모델로의 상기 AR 스티커 객체의 추가에 후속하여 상기 장면의 상기 국지적 AR 모델을 이용하여 제2 복수의 AR 이미지를 생성하는 단계
    를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 복수의 AR 이미지 중 제1 AR 이미지 ―상기 제1 AR 이미지는 상기 AR 스티커 객체를 포함함― 를 디스플레이하는 단계;
    상기 AR 스티커 객체와 연관된 상기 장면의 부분으로부터 멀어지는 상기 이미지 센서의 제1 움직임에 기초하여, 상기 복수의 AR 이미지 중 상기 제1 AR 이미지의 디스플레이에 후속하여 상기 복수의 AR 이미지 중 제2 AR 이미지 ―상기 제2 AR 이미지는 상기 AR 스티커 객체를 포함하지 않음― 를 디스플레이하는 단계; 및
    상기 AR 스티커 객체와 연관된 상기 장면의 상기 부분을 향하는 상기 이미지 센서의 제2 움직임에 기초하여, 상기 복수의 AR 이미지 중 상기 제2 AR 이미지의 디스플레이에 후속하여 상기 복수의 AR 이미지 중 제3 AR 이미지 ―상기 제3 AR 이미지는 상기 AR 스티커 객체를 포함함― 를 디스플레이하는 단계
    를 더 포함하는 방법.
  4. 제2항에 있어서,
    상기 복수의 AR 이미지 중 제1 AR 이미지 ―상기 제1 AR 이미지는 상기 AR 스티커 객체를 포함함― 를 디스플레이하는 단계;
    AR 타겟 객체가 상기 이미지 센서의 시야 외부로 이동하게 하는 상기 장면에서의 제1 변화에 기초하여, 상기 복수의 AR 이미지 중 상기 제1 AR 이미지의 디스플레이에 후속하여 상기 복수의 AR 이미지 중 제2 AR 이미지 ―상기 제2 AR 이미지는 상기 AR 스티커 객체를 포함하지 않음― 를 디스플레이하는 단계; 및
    상기 AR 타겟 객체가 상기 이미지 센서의 시야 내로 이동하게 하는 상기 장면에서의 제2 변화에 기초하여, 상기 복수의 AR 이미지 중 상기 제2 AR 이미지의 디스플레이에 후속하여 상기 복수의 AR 이미지 중 제3 AR 이미지 ―상기 제3 AR 이미지는 상기 AR 스티커 객체를 포함함― 를 디스플레이하는 단계
    를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 국지적 AR 모델은 상기 AR 스티커 객체의 배치에 응답하여 생성되는, 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 제3 복수의 이미지 중 최종 이미지에 대해, 상기 제3 복수의 이미지의 상기 최종 이미지에 대한 상기 연관된 움직임 및 상기 최종 이미지에 대한 상기 전역적 이미지 지점들의 세트의 샘플링에 기초하여, 상기 타겟이 상기 경계 내에 있다고 결정하는 단계; 및
    상기 타겟이 상기 경계 내에 있다는 상기 결정에 기초하여, 상기 제3 복수의 이미지에 후속하는 제4 복수의 이미지 내의 상기 타겟을 추적하는 단계
    를 더 포함하는 방법.
  9. 제1항에 있어서, 상기 AR 스티커 객체의 국지적 추적을 위해 상기 장면의 상기 국지적 AR 모델에 상기 AR 스티커 객체를 추가하는 단계는,
    Figure 112017123626664-pct00009
    로 기술되는 상기 AR 스티커 객체와 연관된 타겟 템플릿을 식별하는 단계를 포함하고,
    Ji는 상기 AR 스티커 객체와 연관된 상기 타겟 템플릿이고, 상기 타겟 템플릿은, 타겟과 연관된 복수의 샘플 지점 Si에서 샘플링된 색상 값 세트 및 상기 제1 복수의 이미지 중 상기 하나 이상의 이미지의 초기 AR 모델 이미지 I0 내의 타겟 영역을 포함하는, 방법.
  10. 제9항에 있어서,
    Figure 112017123626664-pct00010
    이 되도록 상기 초기 AR 모델 이미지 이후에 수신된 제2 복수의 이미지 In을 처리 ― T(n)은 상기 하나 이상의 프로세서에 의해 분석된 상기 제2 복수의 이미지의 순차적 이미지들 사이에서의 상기 타겟의 움직임을 기술하는 변환임― 함으로써 ; 및
    Figure 112017123626664-pct00011
    ; 및
    Figure 112017123626664-pct00012
    이 상기 제2 복수의 이미지의 각각의 이미지와 연관된 업데이트된 타겟 템플릿을 결정하는데 이용되도록 하는 반복적 비선형 최적화
    Figure 112017123626664-pct00013
    에 따라 상기 제2 복수의 이미지의 각각의 이미지에 대한 상기 업데이트된 타겟 템플릿을 결정하기 위해 국지적 추적 에너지를 계산함으로써,
    상기 AR 스티커 객체를 추적하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서,
    상기 타겟에 대한 픽셀 마진을 결정하는 단계;
    상기 타겟의 중심이 상기 픽셀 마진 내부로부터 상기 픽셀 마진 외부로 이동한 때를 결정하는 단계; 및
    상기 타겟의 중심이 상기 픽셀 마진 외부로 이동했다는 상기 결정에 기초하여 상기 제2 복수의 이미지에 후속하는 제3 복수의 이미지에 대한 상기 장면의 전역적 움직임 추적을 개시하는 단계
    를 더 포함하는 방법.
  12. 제11항에 있어서, 상기 타겟의 상기 중심은 트리거 이미지(trigger image)의 가장자리로부터 설정된 픽셀 수 내로 이동하는 상기 타겟 템플릿의 중심 픽셀에 의해 식별되고, 상기 설정된 픽셀 수는 상기 픽셀 마진과 연관되는, 방법.
  13. 제12항에 있어서, 상기 전역적 움직임 추적은,
    상기 전역적 움직임 추적의 상기 개시에 후속하여 상기 제3 복수의 이미지의 각각의 이미지 내에서 고정된 지점들의 세트 g를 샘플링하는 단계; 및
    변환 △T를 계산하여
    Figure 112017123626664-pct00014
    에 대한 최소값을 추정하는 단계
    를 포함하는, 방법.
  14. 제13항에 있어서, 상기 최소 값이
    Figure 112017123626664-pct00015
    를 이용해 추정되어 타겟 변환을 생성하고,
    Figure 112017123626664-pct00016
    인, 방법.
  15. 디바이스로서,
    디스플레이;
    상기 디스플레이에 결합된 입력 컴포넌트;
    상기 디스플레이 및 상기 입력 컴포넌트에 결합된 메모리;
    이미지 센서; 및
    상기 디스플레이, 상기 이미지 센서, 상기 입력 컴포넌트, 및 상기 메모리에 결합된 하나 이상의 프로세서
    를 포함하고, 상기 하나 이상의 프로세서는,
    상기 이미지 센서에 의해 포착된 비디오 이미지 프레임들을 처리하고,
    상기 비디오 이미지 프레임들의 제1 이미지의 제1 부분을 AR 스티커 객체 및 타겟과 연관시키는 사용자 입력을 처리하는 것;
    상기 사용자 입력 및 상기 제1 이미지의 상기 제1 부분에 기초하여, 상기 타겟과 연관된 제1 타겟 템플릿을 생성하는 것;
    상기 제1 타겟 템플릿을 이용하여 상기 제1 이미지의 상기 제1 부분에서의 변화들을 계산함으로써 상기 제1 이미지에 후속하는 비디오 이미지 프레임들의 프레임들에 걸쳐 상기 타겟을 추적하는 것;
    상기 타겟이 경계 영역 외부에 있다는 결정에 기초하여 전역적 추적 ―상기 전역적 추적은, 상기 타겟이 상기 경계 영역 외부에 있다는 상기 결정에 후속하여 포착되는 상기 비디오 이미지 프레임들에서 움직임을 추적하기 위한 전역적 추적 템플릿을 이용하는 것을 포함함― 을 개시하는 것; 및
    상기 타겟이 상기 경계 영역 내에 있다고 상기 전역적 추적이 결정할 때 상기 타겟의 추적을 재개하고, 상기 타겟의 상기 추적에 기초하여 상기 디스플레이 상에 상기 AR 스티커 객체를 디스플레이하는 것에 의한
    상기 AR 스티커 객체의 국지적 AR 추적을 이용해 국지적 AR 이미지들을 출력하도록 구성된, 디바이스.
  16. 제15항에 있어서, 상기 제1 타겟 템플릿을 이용하여 상기 제1 이미지의 상기 제1 부분에서의 변화들을 계산함으로써 상기 제1 이미지에 후속하는 비디오 이미지 프레임들의 프레임들에 걸쳐 상기 타겟을 추적하는 것은;
    Figure 112019024538882-pct00017
    로 기술되는 상기 AR 스티커 객체와 연관된 제1 타겟 템플릿을 식별하는 것을 포함하고,
    Ji는 상기 AR 스티커 객체와 연관된 상기 제1 타겟 템플릿이고, 상기 제1 타겟 템플릿은, 상기 타겟과 연관된 복수의 샘플 지점 Si에서 샘플링된 색상 값 세트 및 상기 제1 이미지의 상기 제1 부분의 초기 AR 모델 이미지 I0 내의 타겟 영역을 포함하는, 디바이스.
  17. 제16항에 있어서,
    Figure 112017123626664-pct00018
    이 되도록 상기 초기 AR 모델 이미지 이후에 수신된 제2 복수의 이미지 In을 처리 ―T(n)은 상기 하나 이상의 프로세서에 의해 분석된 상기 제2 복수의 이미지의 순차적 이미지들 사이에서의 상기 타겟의 움직임을 기술하는 변환임― 함으로써; 및
    Figure 112017123626664-pct00019
    ; 및
    Figure 112017123626664-pct00020
    이 상기 제2 복수의 이미지의 각각의 이미지와 연관된 업데이트된 타겟 템플릿을 결정하는데 이용되도록 하는 반복적 비선형 최적화
    Figure 112017123626664-pct00021
    에 따라 상기 제2 복수의 이미지의 각각의 이미지에 대한 상기 업데이트된 타겟 템플릿을 결정하기 위해 국지적 추적 에너지를 계산함으로써,
    상기 AR 스티커 객체를 추적하는 것을 더 포함하는, 디바이스.
  18. 디바이스의 하나 이상의 프로세서에 의해 수행될 때 상기 디바이스로 하여금 방법을 수행하게 하는 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서,
    상기 방법은 :
    이미지 센서에 의해 포착된 비디오 이미지 프레임들의 제1 이미지의 제1 부분을 AR 스티커 객체 및 타겟과 연관시키는 사용자 입력을 처리하는 단계;
    상기 사용자 입력 및 상기 제1 이미지의 상기 제1 부분에 기초하여, 상기 타겟과 연관된 제1 타겟 템플릿을 생성하는 단계;
    상기 제1 타겟 템플릿을 이용하여 상기 제1 이미지의 상기 제1 부분에서의 변화들을 계산함으로써 상기 제1 이미지에 후속하는 비디오 이미지 프레임들의 프레임들에 걸쳐 상기 타겟을 추적하는 단계;
    상기 타겟이 경계 영역 외부에 있다는 결정에 기초하여 전역적 추적 ―상기 전역적 추적은, 상기 타겟이 상기 경계 영역 외부에 있다는 상기 결정에 후속하여 포착되는 상기 비디오 이미지 프레임들에서 움직임을 추적하기 위한 전역적 추적 템플릿을 이용하는 것을 포함함― 을 개시하는 단계; 및
    상기 타겟이 상기 경계 영역 내에 있다고 상기 전역적 추적이 결정할 때 상기 타겟 추적을 재개하는 단계
    를 포함하는, 비일시적인 컴퓨터 판독가능한 매체.
  19. 삭제
  20. 제18항에 있어서, 상기 제1 타겟 템플릿을 이용하여 상기 제1 이미지의 상기 제1 부분에서의 변화들을 계산함으로써 상기 제1 이미지에 후속하는 비디오 이미지 프레임들의 프레임들에 걸쳐 상기 타겟을 추적하는 단계는;
    Figure 112019024538882-pct00022
    로 기술되는 상기 AR 스티커 객체와 연관된 제1 타겟 템플릿을 식별 ― Ji는 상기 AR 스티커 객체와 연관된 상기 제1 타겟 템플릿이고, 상기 제1 타겟 템플릿은, 상기 타겟과 연관된 복수의 샘플 지점 Si에서 샘플링된 색상 값 세트 및 상기 제1 이미지의 상기 제1 부분의 초기 AR 모델 이미지 I0 내의 타겟 영역을 포함함―하는 단계;
    Figure 112019024538882-pct00023
    이 되도록 상기 초기 AR 모델 이미지 이후에 수신된 제2 복수의 이미지 In을 처리함으로써 상기 AR 스티커 객체를 추적 ―T(n)은 상기 하나 이상의 프로세서에 의해 분석된 상기 제2 복수의 이미지의 순차적 이미지들 사이에서의 상기 타겟의 움직임을 기술하는 변환임― 하는 단계; 및
    Figure 112019024538882-pct00024
    ; 및
    Figure 112019024538882-pct00025
    이 상기 제2 복수의 이미지의 각각의 이미지와 연관된 업데이트된 타겟 템플릿을 결정하는데 이용되도록 하는 반복적 비선형 최적화
    Figure 112019024538882-pct00026
    에 따라 상기 제2 복수의 이미지의 각각의 이미지에 대한 상기 업데이트된 타겟 템플릿을 결정하기 위해 국지적 추적 에너지를 계산하는 단계
    를 포함하는, 비일시적인 컴퓨터 판독가능한 매체.
KR1020177035782A 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체 KR102039505B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020197031843A KR102511326B1 (ko) 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/010,847 2016-01-29
US15/010,847 US10055895B2 (en) 2016-01-29 2016-01-29 Local augmented reality persistent sticker objects
PCT/US2017/015330 WO2017132506A1 (en) 2016-01-29 2017-01-27 Local augmented reality persistent sticker objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197031843A Division KR102511326B1 (ko) 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체

Publications (2)

Publication Number Publication Date
KR20180006951A KR20180006951A (ko) 2018-01-19
KR102039505B1 true KR102039505B1 (ko) 2019-11-01

Family

ID=57985102

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197031843A KR102511326B1 (ko) 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체
KR1020177035782A KR102039505B1 (ko) 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197031843A KR102511326B1 (ko) 2016-01-29 2017-01-27 국지적 증강 현실 지속적 스티커 객체

Country Status (5)

Country Link
US (4) US10055895B2 (ko)
EP (3) EP4325432A2 (ko)
KR (2) KR102511326B1 (ko)
CN (1) CN107851319B (ko)
WO (1) WO2017132506A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125520A (ko) * 2016-01-29 2019-11-06 스냅 인코포레이티드 국지적 증강 현실 지속적 스티커 객체

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
KR20230054766A (ko) 2015-03-18 2023-04-25 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10749734B2 (en) 2015-07-07 2020-08-18 International Business Machines Corporation Management of events and moving objects
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
KR101800109B1 (ko) * 2016-02-16 2017-11-22 엔에이치엔엔터테인먼트 주식회사 Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
KR102476897B1 (ko) * 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10599319B2 (en) * 2017-03-13 2020-03-24 Microsoft Technology Licensing, Llc Drag and drop insertion control object
US10600322B2 (en) 2017-06-21 2020-03-24 International Business Machines Corporation Management of mobile objects
US10504368B2 (en) * 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects
JP7065383B2 (ja) * 2017-06-30 2022-05-12 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
DE102017216953A1 (de) * 2017-09-25 2019-03-28 Siemens Healthcare Gmbh Anzeige eines mit einem realen Objekt verknüpften virtuellen Objekts in einer Augmented-Reality-Anzeigevorrichtung
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
WO2019094618A1 (en) 2017-11-08 2019-05-16 Signall Technologies Zrt Computer vision based sign language interpreter
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
WO2019104681A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 拍摄方法和装置
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
CN110225238B (zh) * 2018-03-01 2021-06-01 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒介质
CN108965791B (zh) * 2018-04-04 2021-08-24 广州高新兴机器人有限公司 一种通过机器人ar摄像头与物联网设备交互方法及系统
CN112105981B (zh) * 2018-05-01 2022-12-02 斯纳普公司 自动发送图像捕获眼镜
US10803322B2 (en) * 2018-05-21 2020-10-13 Cfkk, Llc Networks of sensors collaboratively chronicling events of interest
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US11527044B2 (en) * 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
US11157694B2 (en) 2018-08-14 2021-10-26 Snap Inc. Content suggestion system
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
EP3803797A4 (en) * 2018-09-03 2021-08-18 Samsung Electronics Co., Ltd. METHODS AND SYSTEMS FOR PERFORMING MODIFICATION OPERATIONS ON A MEDIA
US11526854B2 (en) 2018-09-28 2022-12-13 Epicor Software Corporation Systems and methods for augmented reality and for transferring sessions between devices
US10375009B1 (en) * 2018-10-11 2019-08-06 Richard Fishman Augmented reality based social network with time limited posting
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US10803669B1 (en) 2018-12-11 2020-10-13 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
US10848335B1 (en) * 2018-12-11 2020-11-24 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
CN113330484A (zh) 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
KR102543695B1 (ko) * 2019-01-18 2023-06-16 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
CN109948611B (zh) * 2019-03-14 2022-07-08 腾讯科技（深圳）有限公司 一种信息区域确定的方法、信息展示的方法及装置
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11019011B1 (en) 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
WO2020248697A1 (zh) * 2019-06-10 2020-12-17 海信视像科技股份有限公司 显示设备及视频通讯数据处理方法
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
CN110308793B (zh) * 2019-07-04 2023-03-14 北京百度网讯科技有限公司 增强现实ar表情生成方法、装置及存储介质
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US10699124B1 (en) * 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
CN114391160A (zh) 2019-09-09 2022-04-22 斯纳普公司 根据立体相机的手部姿势估计
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US11176746B2 (en) * 2019-11-08 2021-11-16 Msg Entertainment Group, Llc Modulated display AR tracking systems and methods
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
CN113129331B (zh) * 2019-12-31 2024-01-30 中移(成都)信息通信科技有限公司 目标移动轨迹检测方法、装置、设备及计算机存储介质
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质
CN116114258A (zh) 2020-08-13 2023-05-12 斯纳普公司 用于位姿驱动的虚拟效果的用户界面
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11354872B2 (en) 2020-11-11 2022-06-07 Snap Inc. Using portrait images in augmented reality components
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
EP4272406A1 (en) 2020-12-29 2023-11-08 Snap Inc. Body ui for augmented reality components
KR20230127311A (ko) * 2020-12-31 2023-08-31 스냅 인코포레이티드 안경류 디바이스 상에서의 증강 현실 콘텐츠의 기록
KR20230127316A (ko) 2020-12-31 2023-08-31 스냅 인코포레이티드 증강 현실 콘텐츠의 포착-후 편집
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
US20220335694A1 (en) * 2021-04-20 2022-10-20 Qualcomm Incorporated Anchoring a scene description to a user environment for streaming immersive media content
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US11620797B2 (en) * 2021-08-05 2023-04-04 Bank Of America Corporation Electronic user interface with augmented detail display for resource location
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US20230138677A1 (en) * 2021-10-29 2023-05-04 Snap Inc. Customized animation from video
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105475A1 (en) * 2010-11-02 2012-05-03 Google Inc. Range of Focus in an Augmented Reality Application
JP2015515036A (ja) * 2012-02-06 2015-05-21 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
JP2015531114A (ja) * 2012-07-26 2015-10-29 クアルコム，インコーポレイテッド 拡張の継続性の維持

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US20060005447A1 (en) * 2003-09-12 2006-01-12 Vitronics Inc. Processor aided firing of small arms
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
WO2007023494A2 (en) 2005-08-22 2007-03-01 Triplay Communications Ltd. Messaging system and method
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US20090012788A1 (en) 2007-07-03 2009-01-08 Jason Andre Gilbert Sign language translation system
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US10375287B2 (en) 2009-10-21 2019-08-06 Disney Enterprises, Inc. Object trail-based analysis and control of video
US20140171036A1 (en) 2009-11-18 2014-06-19 Gwendolyn Simmons Method of communication
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US20120165475A1 (en) 2010-12-23 2012-06-28 Bridgestone Corporation Rubber composition for golf balls
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US20150370320A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
US9230160B1 (en) 2012-08-27 2016-01-05 Amazon Technologies, Inc. Method, medium, and system for online ordering using sign language
EP2893706B1 (en) * 2012-09-04 2020-01-08 Synamedia Limited Augmented reality for video system
US8989410B2 (en) 2012-10-22 2015-03-24 Google Inc. Compact bone conduction audio transducer
CN103049761B (zh) 2013-01-21 2016-08-03 中国地质大学（武汉） 基于手语手套的手语识别方法及系统
US20140233800A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Method of tracking object and electronic device supporting the same
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9558756B2 (en) 2013-10-29 2017-01-31 At&T Intellectual Property I, L.P. Method and system for adjusting user speech in a communication session
JP2015095147A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20150185829A1 (en) * 2013-12-27 2015-07-02 Datangle, Inc. Method and apparatus for providing hand gesture-based interaction with augmented reality applications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
JP6525545B2 (ja) * 2014-10-22 2019-06-05 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9811732B2 (en) * 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking
US10109219B2 (en) 2015-04-16 2018-10-23 Robert Bosch Gmbh System and method for automated sign language recognition
US20160353239A1 (en) * 2015-05-28 2016-12-01 Friday Labs Limited Apparatus and system for an electronic lock, and methods of use and manufacture thereof
US9773192B2 (en) * 2015-06-07 2017-09-26 Apple Inc. Fast template-based tracking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US20170124762A1 (en) * 2015-10-28 2017-05-04 Xerox Corporation Virtual reality method and system for text manipulation
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US20170199855A1 (en) * 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
JP2017174300A (ja) 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置、情報処理方法およびプログラム
US9965467B2 (en) 2016-03-28 2018-05-08 Avaya Inc. Sign language communication with communication devices
US10628664B2 (en) 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10446059B2 (en) 2016-12-07 2019-10-15 Thomas William Pryor Hand motion interpretation and communication apparatus
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
WO2019094618A1 (en) 2017-11-08 2019-05-16 Signall Technologies Zrt Computer vision based sign language interpreter
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10962809B1 (en) 2018-01-10 2021-03-30 Snap Inc. Eyewear device with finger activated touch sensor
US11092998B1 (en) 2018-01-12 2021-08-17 Snap Inc. Eyewear device with fingerprint sensor for user input
US11227626B1 (en) 2018-05-21 2022-01-18 Snap Inc. Audio response messages
US10996846B2 (en) 2018-09-28 2021-05-04 Snap Inc. Neural network system for gesture, wear, activity, or carry detection on a wearable or mobile device
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
CN114391160A (zh) 2019-09-09 2022-04-22 斯纳普公司 根据立体相机的手部姿势估计
US11169600B1 (en) 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
US11087728B1 (en) 2019-12-21 2021-08-10 Snap Inc. Computer vision and mapping for audio applications
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US20210405761A1 (en) 2020-06-29 2021-12-30 Ilteris Canberk Augmented reality experiences with object manipulation
US20210407203A1 (en) 2020-06-29 2021-12-30 Ilteris Canberk Augmented reality experiences using speech and text captions
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
KR20230117236A (ko) 2020-12-16 2023-08-07 스냅 인코포레이티드 수화-음성 번역을 포함하는 아이웨어
KR20230124732A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 가상 및 그래픽 엘리먼트들을 제어하기 위한 미세 손제스처들
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
EP4320502A1 (en) 2021-04-08 2024-02-14 Snap, Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势
EP4342196A1 (en) 2021-05-19 2024-03-27 Snap, Inc. Beacons for localization and content delivery to wearable devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105475A1 (en) * 2010-11-02 2012-05-03 Google Inc. Range of Focus in an Augmented Reality Application
JP2015515036A (ja) * 2012-02-06 2015-05-21 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
JP2015531114A (ja) * 2012-07-26 2015-10-29 クアルコム，インコーポレイテッド 拡張の継続性の維持

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125520A (ko) * 2016-01-29 2019-11-06 스냅 인코포레이티드 국지적 증강 현실 지속적 스티커 객체
US11308706B2 (en) 2016-01-29 2022-04-19 Snap Inc. Local augmented reality persistent sticker objects
KR102511326B1 (ko) * 2016-01-29 2023-03-20 스냅 인코포레이티드 국지적 증강 현실 지속적 스티커 객체
US11727660B2 (en) 2016-01-29 2023-08-15 Snap Inc. Local augmented reality persistent sticker objects

Also Published As

Publication number Publication date
US10055895B2 (en) 2018-08-21
CN107851319B (zh) 2021-10-26
US10748347B1 (en) 2020-08-18
US11308706B2 (en) 2022-04-19
EP3408831B1 (en) 2021-03-17
US20200410773A1 (en) 2020-12-31
KR102511326B1 (ko) 2023-03-20
EP3408831A1 (en) 2018-12-05
EP3839889A1 (en) 2021-06-23
US20220358738A1 (en) 2022-11-10
US20170221272A1 (en) 2017-08-03
KR20190125520A (ko) 2019-11-06
CN107851319A (zh) 2018-03-27
EP4325432A2 (en) 2024-02-21
US11727660B2 (en) 2023-08-15
EP3839889B1 (en) 2024-02-14
KR20180006951A (ko) 2018-01-19
WO2017132506A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
KR102039505B1 (ko) 국지적 증강 현실 지속적 스티커 객체
US11769307B2 (en) Image based tracking in augmented reality systems
US10997783B2 (en) Image and point cloud based tracking and in augmented reality systems
KR102515040B1 (ko) 컨텍스트 기반 증강 현실 통신

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant