KR101433305B1 - 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑 - Google Patents

증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑 Download PDF

Info

Publication number
KR101433305B1
KR101433305B1 KR1020137001167A KR20137001167A KR101433305B1 KR 101433305 B1 KR101433305 B1 KR 101433305B1 KR 1020137001167 A KR1020137001167 A KR 1020137001167A KR 20137001167 A KR20137001167 A KR 20137001167A KR 101433305 B1 KR101433305 B1 KR 101433305B1
Authority
KR
South Korea
Prior art keywords
mobile device
presentation
media content
content item
dimensional feature
Prior art date
Application number
KR1020137001167A
Other languages
English (en)
Other versions
KR20130029800A (ko
Inventor
앤 카트린 코네르츠
버지니아 워커 키팅
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130029800A publication Critical patent/KR20130029800A/ko
Application granted granted Critical
Publication of KR101433305B1 publication Critical patent/KR101433305B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

증강 현실 환경 내에서 미디어 콘텐츠의 전개를 용이하게 하기 위한 방법들, 장치들 및 시스템들이 제공된다. 적어도 하나의 구현에서, 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하는 단계, 및 모바일 디바이스에서 수신된 사용자 입력에 응답하여 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 3 차원 특징의 적어도 일부분에 부착하는 단계를 포함하는 방법이 제공된다.

Description

증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑{MOBILE DEVICE BASED CONTENT MAPPING FOR AUGMENTED REALITY ENVIRONMENT}
본원에 개시된 요지는 전자 디바이스들에 관한 것이며, 보다 상세하게는, 모바일 전자 디바이스들에 대한 증강 현실 환경들에서 및/또는 증강 현실 환경들과 사용하기 위한 방법들, 장치들 및 시스템들에 관한 것이다.
모바일 컴퓨팅 디바이스들(모바일 디바이스들)은 무선 통신 시스템들을 통해 다양한 정보에 대한 액세스를 사용자들에게 제공한다. 일 예로서, 예를 들면, GPS(global positioning system) 또는 다른 유사한 GNSS(Global Navigation Satellite System)를 포함하는 위성/지상 기반 포지셔닝 시스템들과 같은 포지셔닝 시스템들, 무선 셀룰러 네트워크들 및/또는 Wi-Fi 또는 WiMAX와 같은 무선 로컬 영역 네트워크들은 지리적 포지셔닝 정보를 획득하기 위해 모바일 디바이스들에 의해 사용될 수 있다. 또 다른 예로서, 무선 셀룰러 네트워크들 및/또는 Wi-Fi 또는 WiMAX와 같은 무선 로컬 영역 네트워크들과 사용하기 위해 인에이블되는 모바일 디바이스들은 인터넷의 방대한 정보 자원들에 대한 액세스를 사용자들에게 제공한다. 모바일 디바이스들은 또한, 컴퓨터 생성 그래픽 콘텐츠와 합병되거나 컴퓨터 생성 그래픽 콘텐츠에 의해 증강되는 물리적 실세계 환경의 실시간 뷰를 제공하는 증강 현실 환경들을 사용자들이 탐사하게 할 수 있다. 예를 들면, 모바일 디바이스 보드 상에 상주하는 카메라는, 모바일 디바이스의 카메라 뷰에서 포착된 관심 포인트들에 관한 보충 정보를 사용자에게 제공하기 위해 그래픽 디스플레이와 협력하여 사용될 수 있다. 그러한 보충 정보는 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체들과 겹치는 정보 계층을 형성할 수 있다.
모바일 컴퓨팅 상황에서, 증강 현실 환경 내의 미디어 콘텐츠의 전개에 관한 구현들이 개시된다. 적어도 하나의 구현에서, 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하는 단계, 및 모바일 디바이스에서 수신된 사용자 입력에 응답하여 3 차원 특징 중 적어도 일부에 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 부착하는 단계를 포함하는 방법이 제공된다.
비제한적이고 포괄적이지 않은 양상들이 다음의 도면들을 참조하여 설명되며, 도면에서 달리 지정되지 않는다면, 동일한 참조 번호들은 다양한 도면에 전체에 걸쳐 동일한 부분들을 지칭한다.
도 1은 일 구현에 따른 예시적인 네트워크 환경의 간략한 블록도.
도 2는 일 구현에 따른 예시적인 모바일 디바이스의 간략한 블록도.
도 3은 일 구현에 따른, 증강 현실 환경을 정의하고 그 증강 현실 환경 내에서 미디어 콘텐츠를 전개하기 위한 예시적인 프로세스를 예시한 흐름도.
도 4 내지 도 9는 다양한 구현들에 따른 예시적인 증강 현실 환경의 그래픽 사용자 인터페이스들을 도시한 도면들.
모바일 컴퓨팅 상황에서 증강 현실 환경들에 관한 구현들이 개시된다. 모바일 디바이스를 통해 액세스 가능한 증강 현실 저작 툴들(authoring tools)은 모바일 디바이스 사용자가 증강 현실 환경을 정의하고, 그 증강 현실 환경 내에서 사진들 또는 다른 그래픽 엘리먼트들을 포함하는 이미지들, 비디오들, 애니메이션들, 텍스트 및 오디와 같은 미디어 콘텐츠를 전개하는 것을 가능하게 한다. 특정 모바일 디바이스 사용자에 의해 전개되는 미디어 콘텐츠는, 다른 모바일 디바이스 사용자들 각각의 모바일 디바이스들을 통해 증강 현실 환경을 탐사하는 다른 모바일 디바이스 사용자들에 의해 액세스될 수 있다.
모바일 디바이스의 카메라 뷰에서 포착되는 빌딩 구조물들 또는 관심 있는 다른 적절한 물체들과 같은 실세계 물체들의 3 차원 특징들은, 예를 들면, 3 차원 특징들의 전자 표현들을 획득하기 위해 물체 인식 기술들의 적용에 의해 추출될 수 있다. 그러한 전자 표현들은 3 차원 특징들의 카메라 뷰로부터 획득된 그들의 연관된 디스크립터들을 갖는 다수의(키) 포인트들을 포함할 수 있다. 게다가, 전자 표현들은 또한, 예를 들면, CAD(computer aided design) 모델들을 포함하는 기존의 특징 라이브러리 및/또는 그러한 실세계 물체들의 광학 스캔들로부터 획득될 수 있다. 증강 현실 환경들을 지원하는 정보 계층들은 추출된 3 차원 특징들의 그러한 전자 표현들에 부착될 수 있는 하나 이상의 프리젠테이션 영역들 및/또는 활성화 영역들의 적용을 통해 모바일 디바이스 사용자에 의해 정의될 수 있다.
미디어 콘텐츠 아이템에 대한 프리젠데이션 영역은, 미디어 콘텐츠 아이템이 증강 현실 환경 내에서 제공되는 로케이션(예를 들면, 위치 및/또는 방위)을 정의할 목적으로 사용자에 의해 그 증강 현실 환경으로 전개될 수 있다. 미디어 콘텐츠 아이템에 대한 활성화 영역은, 연관된 프리젠데이션 영역에서 미디어 콘텐츠 아이템의 프리젠테이션이 사용자 입력 및/또는 추정된 모바일 디바이스 위치 및/또는 방위에 응답하여 인에이블 및/또는 개시될 수 있는 방법 및/또는 시기에 대한 조건들을 정의할 목적으로 사용자에 의해 증강 현실 환경 내에서 전개될 수 있다. 이들 및 다른 양상들은 다음에 기록된 기재 및 연관된 도면들을 참조하여 더욱 상세히 설명될 것이다.
도 1은 일 구현에 따른 예시적인 네트워크 환경(100)의 간략한 블록도이다. 네트워크 환경(100)은, 예를 들면, 모바일 디바이스들(120 및 130)과 같은 임의의 수의 모바일 디바이스들을 포함할 수 있다. 모바일 디바이스들(120 및 130)은 네트워크(140)를 통해 서버 시스템(100)과 무선으로 통신할 수 있다. 모바일 디바이스들(120 및 130)은 몇몇의 예를 거명하자면 셀룰러 폰, 스마트 폰, 개인 휴대 정보 단말기, 로우 듀티 사이클 통신 디바이스, 랩톱 컴퓨터, 휴대용 미디어 플레이어 디바이스, 개인용 내비게이션 디바이스, 및 디지털 카메라를 포함하는 휴대용 전자 디바이스를 포함하는 임의의 적절한 모바일 컴퓨팅 플랫폼을 포함할 수 있다. 또한, 일부 구현들에서, 모바일 디바이스들(120 및 130)은, 하나 이상의 렌즈들을 통해 볼 수 있는 실세계 물체들에 걸쳐 증강 현실 정보 계층들과 같은 그래픽 콘텐츠를 디스플레이하기 위한 하나 이상의 렌즈들을 포함하는 착용 가능한 증강 현실 안경류(예를 들면, 안경)를 포함할 수 있다. 네트워크 환경(100)은, 네트워크(140)를 통해 서버 시스템(110)과 또한 통신할 수 있는 컴퓨팅 플랫폼(122)과 같은 비이동성 컴퓨팅 플랫폼들을 또한 포함할 수 있다. 적어도 일부 구현들에서, 모바일 디바이스는, 예를 들면, 네트워크(140)를 활용하지 않고 유선 또는 무선 통신에 의해 컴퓨팅 플랫폼(122)과 도킹(docking)함으로써 통신하도록 적응될 수 있다.
네트워크(140)는 광역 네트워크(예를 들면, 인터넷), 로컬 영역 네트워크(예를 들면, 인트라넷) 및/또는 개인 영역 네트워크 중 하나 이상을 포함할 수 있다. 예를 들면, 모바일 디바이스들(120 및 130)은 CDMA, GSM 또는 WCDMA와 같은 셀룰러 통신 프로토콜들 및/또는 WiFi 또는 WiMAX와 같은 무선 로컬 영역 네트워크(WLAN) 프로토콜들을 포함하는 임의의 적절한 통신 프로토콜을 통해 서버 시스템(110)과 무선으로 통신할 수 있다. 따라서, 네트워크(140)는 그러한 구현들에서 하나 이상의 무선 트랜시버들을 포함할 수 있다. 네트워크(140)의 무선 트랜시버들은 또한 모바일 디바이스 위치를 추정하기 위한 포지셔닝 정보를 획득하기 위해 모바일 디바이스들(120 및 130)에 의해 활용될 수 있다.
일부 구현들에서, 삼각 측량(trilateration) 기반 접근법은 지리적 위치를 추정하기 위해 모바일 디바이스에 의해 활용될 수 있다. 예를 들면, CDMA에서 AFLT(Advanced Forward Link Trilateration) 또는 GSM에서 EOTD(Enhanced Observed Time Difference) 또는 WCDMA에서 OTDOA(Observed Time Difference of Arrival)를 포함하는 기술들이 사용되고, 이것은 몇몇의 전송기 장착 기지국들 각각으로부터 전송된 무선 신호들의 상대적인 도착 시간들을 모바일 디바이스에서 측정한다. 또 다른 예로서, 모바일 디바이스는, MAC(Media Access Control) 어드레스 또는 무선 트랜시버와 연관된 다른 적절한 식별자를 획득하고, MAC 어드레스 또는 식별자와 그 무선 트랜시버의 알려진 지리적 위치를 상관시킴으로써 그의 위치를 추정할 수 있다.
모바일 디바이스들(120 및 130)은 또한 모바일 디바이스 위치를 추정하기 위해 포지셔닝 시스템(150)으로부터 무선 포지셔닝 신호들을 획득할 수 있다. 예를 들면, 포지셔닝 시스템(150)은 SPS(Satellite Positioning System) 및/또는 지상 기반 포지셔닝 시스템을 포함할 수 있다. 위성 포지셔닝 시스템은, 예를 들면, GPS(Global Positioning System), 갈릴레오(Galileo), GLONASS, NAVSTAR, GNSS, 이들 시스템들의 조합으로부터 위성들을 사용하는 시스템, 또는 미래에 개발될 임의의 SPS를 포함할 수 있다. 본원에 사용된 바와 같이, SPS는 또한 의사 위성 시스템들(pseudolite systems)을 포함하는 것으로 이해될 것이다. 그러나, 본원에 제공된 특정 포지셔닝 기술들이 단지 예시적인 포지셔닝 기술들이고, 청구 요지가 이러한 면에서 제한되지 않는다는 것이 이해되어야 한다.
서버 시스템(110)은 하나 이상의 서버들 및/또는 다른 적절한 컴퓨팅 플랫폼들을 포함할 수 있다. 따라서, 서버 시스템(110)은 데이터베이스(114) 및 명령들(116)이 그 안에 저장되는 저장 매체들(112)을 포함할 수 있다. 서버 시스템(110)은 명령들(116)을 실행하고 및/또는 데이터베이스(114)에서 데이터의 저장 및 리트리블(retrieval)을 용이하게 하기 위한 예시적인 프로세서(118)와 같은 하나 이상의 프로세서들을 포함할 수 있다. 서버 시스템(110)은 모바일 디바이스들(120 및 130) 및 컴퓨팅 플랫폼(122)을 포함하는 네트워크(140)의 클라이언트들과의 통신을 용이하게 하기 위한 통신 인터페이스(160)를 더 포함할 수 있다.
개시된 구현들의 이해를 돕기 위해, 명령들(116)은 특정 동작들을 수행하기 위한 하나 이상의 모듈들에 관련하여 여러번 설명될 수 있다. 일 예로서, 명령들(116)은 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체들의 특징들을 추출하기 위한 특징 추출 모듈(162)을 포함할 수 있다. 또 다른 예로서, 명령들(116)은 증강 현실 환경 내에서 미디어 콘텐츠의 전개를 관리하기 위한 콘텐츠 관리 모듈(164)을 포함할 수 있다. 콘텐츠 관리 모듈(164)은 사용자(예를 들면, 인간 사용자)가 예를 들면, 모바일 디바이스(예를 들면, 모바일 디바이스(120)) 또는 다른 적절한 컴퓨팅 플랫폼(예를 들면, 컴퓨팅 플랫폼(122))을 통해 콘텐츠 관리 모듈과 상호 작용하는 것을 가능하게 하기 위한 다수의 툴들을 포함할 수 있다. 적어도 일부 구현들에서, 콘텐츠 관리 모듈(164)은 사용자가 증강 현실 환경 내에서 미디어 콘텐츠를 전개하는 것을 가능하게 하기 위한 콘텐츠 전개 툴(166); 사용자가 증강 현실 환경 내의 하나 이상의 로케이션들에서 전개된 하나 이상의 미디어 콘텐츠 아이템들을 포함하는 투어(tour)를 생성하는 것을 가능하게 하기 위한 투어 생성 툴(168); 및 사용자가 그 사용자에 의해 전개된 미디어 콘텐츠에 대한 다른 사용자들의 액세스 권한들을 관리하는 것을 가능하게 하기 위한 권한 관리 툴(170)을 포함할 수 있다. 그러한 툴들은 모바일 디바이스 또는 다른 적절한 컴퓨팅 플랫폼의 입력 또는 출력 디바이스들을 통해 사용자에게 액세스 가능할 수 있다. 예를 들면, 모바일 디바이스의 그래픽 디스플레이에서 제공되는 그래픽 사용자 인터페이스(GUI)는 사용자가 툴들(166, 168 및 170) 중 하나 이상을 사용함으로써 하나 이상의 미디어 콘텐츠 아이템을 포함하는 증강 현실 환경을 정의하는 것을 가능하게 할 수 있다.
데이터베이스(114)는 예시적인 연관된 아이템(176)과 같은 하나 이상의 연관된 아이템들을 포함하여 다양한 데이터를 포함할 수 있다. 연관된 아이템(176)은, 예를 들면, 프리젠데이션 영역 정의부(180), 활성화 영역 정의부(182), 투어 정의부(184), 메타데이터(186), 및 추출된 특징 정의부(174)를 포함하여, 예를 들면, 적어도 하나의 콘텐츠 아이템(178) 및 다른 연관된 데이터 엘리먼트들을 포함할 수 있다. 데이터베이스(114)는 또한 예시적인 기존의 전자 표현(194)과 같이 실세계 3차원 특징들의 하나 이상의 기존의 전자 표현들을 갖는 특징 라이브러리(192)를 포함할 수 있다. 그러한 기존의 전자 표현들은, 예를 들면, 실세계 특징들에 대한 광학 및/또는 사운드 파 스캐닝 기술들의 적용에 의해, 또는 실세계 특징들의 CAD(computer aided design) 모델들의 개발을 통해 생성될 수 있다.
프리젠테이션 영역 정의부(180)는 실세계 물체의 추출된 특징(예를 들면, 추출된 특징 정의부(174)에 의해 표현됨)에 대해 로케이션을 정의할 수 있고, 거기서 미디어 콘텐츠(예를 들면, 미디어 콘텐츠 아이템(178))는 증강 현실 환경 내에서 제공될 수 있다. 프리젠데이션 영역 정의부(180)는 콘텐츠 전개 툴(166)을 통해 사용자에 의해 정의될 수 있다.
활성화 영역 정의부(182)는 프리젠데이션 영역(예를 들면, 프리젠데이션 영역 정의부(180)에 의해 정의됨)에서 미디어 콘텐츠의 프리젠테이션이 사용자 입력 및/또는 모바일 디바이스의 추정된 위치 및/또는 방위에 응답하여 인에이블 및/또는 개시될 수 있는 방법 및/또는 시기를 정의할 수 있다. 활성화 영역 정의부(182)는 콘텐츠 전개 툴(166)을 통해 사용자에 의해 정의될 수 있다. 예를 들면, 사용자는, 연관된 미디어 콘텐츠 아이템(예를 들면, 미디어 콘텐츠 아이템(178))에 대한 활성화 영역을 정의하는 활성화 영역 정의부(182)를 생성하기 위해 콘텐츠 전개 툴(166)을 활용할 수 있다.
투어 정의부(184)는 하나 이상의 연관된 미디어 콘텐츠 아이템들을 포함하는 증강 현실 환경 내에서 유도된 투어를 정의할 수 있다. 사용자는 투어 정의부(184)를 생성하기 위해 투어 생성 툴(168)을 활용할 수 있다. 투어 정의부(184)는 증강 현실 환경 내에서 전개된 임의의 적절한 수의 미디어 콘텐츠 아이템들의 그룹을 정의할 수 있다. 다른 사용자들은 모바일 디바이스의 카메라 뷰를 통해 증강 현실 환경 내에서 탐사함으로써 연관된 미디어 콘텐츠 아이템들의 유도된 투어를 액세스할 수 있다. 따라서, 데이터베이스(114)가 임의의 적절한 수의 연관된 미디어 콘텐츠 아이템들을 포함할 수 있고, 미디어 콘텐츠 아이템(178)이 투어 정의부(184)에 의해 정의된 바와 같은 정해진 투어와 연관된 복수의 미디어 콘텐츠 아이템들 중 하나를 포함할 수 있다는 것이 인식될 것이다.
메타데이터(186)는 연관된 미디어 콘텐츠 아이템(178)과 같은 전개된 미디어 콘텐츠 아이템들을 액세스하기 위한 사용자들의 권한들을 정의하는 권한 정의부(188)를 포함할 수 있다. 일부 구현들에서, 사용자는 연관된 미디어 콘텐츠 아이템(178)에 대한 권한 정의부(188)를 생성하기 위해 권한 관리 툴(170)을 사용할 수 있다. 비제한적인 예로서, 사용자는 선택된 사용자들이 특정 미디어 콘텐츠 아이템을 액세스하는 것을 배제할 수 있거나, 사용자는 선택된 사용자들이 증강 현실 환경 내에서 특정 미디어 콘텐츠 아이템을 액세스하기 위한 권한을 승인할 수 있다.
메타데이터(186)는 또한 미디어 콘텐츠 아이템(178)과 연관된 디바이스 상태 데이터(190)를 포함할 수 있다. 디바이스 상태 데이터(190)는, 모바일 디바이스가 연관된 미디어 콘텐츠 아이템을 포착하는 동안에, 예를 들면, 모바일 디바이스의 위치 및/또는 방위를 표시할 수 있다. 일부 구현들에서, 모바일 디바이스의 위치는 기준 데이텀(datum)에 대해 측정된 하나 이상의 위도, 경도 및/또는 고도 값들로서 표현될 수 있다. 마찬가지로, 모바일 디바이스의 방위는 기준 데이텀에 대해 측정된 하나 이상의 회전(roll), 상하 이동(pitch) 및/또는 편향(yaw) 값들에 의해 표현될 수 있다. 그러한 방위 값들에 관련하여 기준 데이텀은, 예를 들면, 모바일 디바이스의 카메라의 가시선의 축으로서 정의될 수 있다. 그러한 디바이스 상태 데이터는, 도 2를 참조하여 더욱 상세히 설명될 바와 같이, 모바일 디바이스에서 획득된 하나 이상의 포지셔닝 신호들 및/또는 관성 센서 측정치들에 기초할 수 있다.
도 2는 일 구현에 따른 예시적인 모바일 디바이스(200)의 간략한 블록도이다. 모바일 디바이스(200)는 적어도 일부 구현들에 대해 도 1의 모바일 디바이스들(120 및 130)의 비제한적인 예와 같이 기능할 수 있다. 따라서, 모바일 디바이스(200)는, 예를 들면, 도 1의 서버 시스템(110), 모바일 디바이스들(120, 130) 및/또는 컴퓨팅 플랫폼(122)과 같은 다른 컴퓨팅 플랫폼들과의 통신을 용이하게 하기 위한 통신 인터페이스(228)를 포함할 수 있다. 따라서, 통신 인터페이스(228)는 예시적인 네트워크(140)를 포함하는 통신 네트워크들과의 무선 통신을 가능하게 할 수 있다. 모바일 디바이스(200)는 또한, 예를 들면, 예시적인 포지셔닝 시스템(150)과 같은 포지셔닝 시스템으로부터 포지셔닝 신호들을 수신하기 위한 수신기(230)를 포함할 수 있다.
모바일 디바이스(200)는 사용자 입력들을 수신하기 위한 입력 디바이스들(218)을 포함할 수 있다. 예컨대, 입력 디바이스들(218)은, 예를 들면, 하나 이상의 물리적 버튼들, 키보드들, 제어기들, 마이크로폰들, 포인팅 디바이스들 및/또는 터치-감지 표면들을 포함할 수 있다. 모바일 디바이스(200)는 정보를 사용자에게 제공하기 위한 출력 디바이스들(221)을 포함할 수 있다. 일 예로서, 출력 디바이스들(221)은 그래픽 사용자 인터페이스(224)를 제공하기 위한 그래픽 디스플레이(222)를 포함할 수 있다. 그래픽 디스플레이(222)는 액정 디스플레이(LCD), 음극선관(CRT) 디스플레이, 후방 프로젝션 디스플레이 등을 포함하는 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 적어도 일부 구현들에서, 그래픽 디스플레이(222)는, 예를 들면, 하나 이상의 터치 제스처들을 통해 사용자 입력을 수신할 수 있는 터치-감지 그래픽 디스플레이(예를 들면, 터치 스크린)를 포함할 수 있다. 터치-감지 그래픽 디스플레이는, 예를 들면, 용량성 감지, 저항성 감지 및/또는 광학 감지 기술들을 포함하여 디스플레이 표면에서 또는 근처에서 사용자 입력을 검출하기 위한 임의의 적절한 감지 기술을 활용할 수 있다. 그러한 터치-감지 구현들에서, 그래픽 디스플레이(222)는 사용자 입력을 수신하기 위한 입력 디바이스 및 그래픽 콘텐츠를 제공하기 위한 출력 디바이스 양자로서 기능할 수 있다. 출력 디바이스들(221)은 또한 일부 구현들에서 오디오 콘텐츠를 제공하기 위한 오디오 스피커(226)를 포함할 수 있다.
적어도 일부 구현들에서, 그래픽 사용자 인터페이스(GUI)(224)는 그래픽 디스플레이(222)에서 제공될 수 있다. GUI(224)는 카메라(220)를 통해 획득된 카메라 뷰(234) 및 정보 계층(236) 중 하나 이상을 포함할 수 있다. 정보 계층(236)은 렌더링된 미디어 콘텐츠 아이템(238)과 같은 하나 이상의 렌더링된 미디어 콘텐츠 아이템들 및 그래픽 제어 엘리먼트(240)와 같은 하나 이상의 그래픽 제어 엘리먼트들을 포함할 수 있다. 비제한적인 예로서, 렌더링된 미디어 콘텐츠 아이템(238)은 다른 적절한 그래픽 콘텐츠 또는 그의 일부분 중에서도 이미지, 비디오, 애니메이션과 같은 렌더링된 상태의 미디어 콘텐츠 아이템(178)에 대응할 수 있다. 그래픽 제어 엘리먼트(240)는 사용자가 모바일 디바이스의 기능을 제어하기 위한 사용자 입력을 제공하는 것을 가능하게 하기 위한 하나 이상의 그래픽 엘리먼트들을 포함할 수 있다.
모바일 디바이스(200)는 모바일 디바이스 보드 상에서 관성 센서 측정치들을 획득하기 위한 하나 이상의 관성 센서들(232)을 포함할 수 있다. 적어도 일부 구현들에서, 관성 센서들(232)은 하나 이상의 가속도계들, 자이로스코프들(gyroscopes), 또는 모바일 디바이스의 관성 상태를 측정하기 위한 다른 적절한 디바이스들을 포함할 수 있다. 일부 구현들에서, 모바일 디바이스의 관성 상태는 모바일 디바이스의 위치 및/또는 방위의 표시를 제공하기 위해 데카르트(cartesian) 및/또는 극 좌표 시스템들 내의 다수의 축들을 따라 관성 센서들(232)에 의해 측정될 수 있다.
관성 센서들(232)로부터 획득된 관성 센서 측정치가 모바일 디바이스 위치 및/또는 방위의 그러한 추정들을 획득하도록 프로세싱(예를 들면, 시간에 걸쳐 통합됨)될 수 있다는 것이 인식될 것이다. 상술된 바와 같이, 모바일 디바이스의 위치는 하나 이상의 위도, 경도 및/또는 고도 값들로서 표현될 수 있고, 모바일 디바이스의 방위는 기준 데이텀에 대해 측정된 하나 이상의 회전, 상하 이동 및/또는 편향 값들에 의해 표현될 수 있다. 모바일 디바이스(200)는 그래픽 디스플레이(222)에서 제공될 수 있는 카메라 뷰(234)를 획득하기 위한 카메라(220)를 포함할 수 있다. 카메라(220)는, 일부 구현들에서, 광을 포커싱하기 위한 하나 이상의 렌즈들 및/또는 광을 이미지 및/또는 비디오 데이터를 나타내는 디지털 신호들로 변환하기 위한 하나 이상의 광 감지 엘리먼트들을 포함하는 다수의 광학 엘리먼트들을 갖는 디지털 카메라를 포함할 수 있다. 비제한적인 예로서, 광 감지 엘리먼트는 광학 픽업(optical pickup), 전하-결합 디바이스 및/또는 광을 디지털 신호들로 변환하기 위한 광전자 디바이스를 포함할 수 있다. 카메라의 하나 이상의 광 감지 엘리먼트들로부터 획득된 디지털 신호들은 카메라 뷰(234)로서 그래픽 디스플레이(222)에서 프로세싱 및/또는 렌더링될 수 있다. 또한, 일부 구현들에서, 카메라(220)를 통해 획득된 카메라 뷰는 이미지 및/또는 비디오 콘텐츠로서 저장 매체들에 저장될 수 있다. 예를 들면, 카메라(220)로부터 획득된 디지털 신호들은 인코딩되어, jpeg, mpeg 또는 다른 적절한 포맷으로서 저장 매체들(210)에 저장될 수 있다. 카메라 뷰를 나타내는 그러한 디지털 신호들은 저장 및/또는 프로세싱을 위해 다른 컴퓨팅 플랫폼들로 전송될 수 있다. 예를 들면, 모바일 디바이스에서 획득된 카메라 뷰는 통신 네트워크를 통해 또는 또 다른 컴퓨팅 플랫폼과 도킹함으로써 서버 시스템 또는 다른 적절한 컴퓨팅 플랫폼으로 전송될 수 있다.
모바일 디바이스(200)는 또한 데이터베이스(212) 및 명령들(214)이 그 안에 저장된 저장 매체들(210)을 포함할 수 있다. 모바일 디바이스(200)는 명령들(214)을 실행하고 및/또는 데이터베이스(212)에서 데이터의 저장 및 리트리블을 용이하게 하기 위한 예시적인 프로세서(216)와 같은 하나 이상의 프로세서들을 포함할 수 있다. 데이터베이스(212)는 도 1의 데이터베이스(114)를 참조하여 이전에 설명된 데이터 엘리먼트들 중 일부 또는 모두를 포함하는 다양한 데이터를 포함할 수 있다. 예를 들면, 데이터베이스(212)는 다른 데이터 중에서 연관된 콘텐츠 아이템(176) 및 특징 라이브러리(192) 중 하나 이상을 모바일 디바이스(200)에서 로컬적으로 보유할 수 있다. 그러한 데이터가 또한, 예를 들면, 도 1의 서버 시스템(110)과 같은 서버 시스템에서 원격으로 보유될 수 있고, 여기서 데이터는 무선 네트워크를 통해 모바일 디바이스에 의해 액세스될 수 있다는 것이 인지될 것이다.
명령들(214)은 마찬가지로 도 1의 상술된 명령들(116)의 모듈들 및 툴들 중 하나 이상을 포함할 수 있다. 예를 들면, 명령들(214)은 모바일 디바이스(200)에서 로컬적으로 보유되는 상술된 특징 추출 모듈(162) 및 콘텐츠 관리 모듈(164)을 포함할 수 있다. 명령들(214)은 또한 그래픽 디스플레이(222)에서 GUI(224)의 렌더링 및/또는 프리젠테이션을 용이하게 하기 위한 렌더링 모듈(254)을 포함할 수 있다. 명령들은 수신기(230)를 통해 획득된 포지셔닝 신호들 및/또는 관성 센서들(232)을 통해 획득된 관성 센서 측정치들을 프로세싱하기 위한 디바이스 상태 모듈(256)을 또한 포함할 수 있다. 예를 들면, 디바이스 상태 모듈(256)은 그러한 포지셔닝 신호들 및/또는 관성 센서 측정치들에 적어도 부분적으로 기초하여 모바일 디바이스(200)의 위치 및/또는 방위를 추정하도록 적응될 수 있다. 모바일 디바이스(200)의 추정된 위치 및/또는 방위는, 예를 들면, 디바이스 상태 데이터(190)를 참조하여 상술된 바와 같이 데이터베이스(212)에 저장될 수 있다. 적어도 일부 구현들에서, 디바이스 상태 모듈(256)은 모바일 디바이스에서 미디어 콘텐츠 아이템의 포착에 응답하여 모바일 디바이스에 대한 디바이스 상태 데이터를 획득하도록 적응될 수 있다. 예를 들면, 카메라(220)를 통해 모바일 디바이스(200)에서 포착된 이미지는 이미지가 포착된 시간에서 또는 근사 시간에서 디바이스 상태 모듈(256)이 모바일 디바이스의 위치 및/또는 방위를 추정하게 할 수 있다. 디바이스 상태 모듈(256)은 또한, 예를 들면, 데이터베이스(212) 또는 데이터베이스(114)에서 디바이스 상태 데이터와 그 미디어 콘텐츠 아이템(예를 들면, 메타데이터로서)을 연관시키도록 적응될 수 있다.
또한, 적어도 일부 구현들에서, 카메라(220)를 통해 획득된 카메라 뷰를 나타내는 디지털 신호들은 정적 이미지 또는 동적 비디오로서 포착될 수 있다. 그러한 디지털 신호들은 카메라 뷰 내에서 포착된 실세계 특징들의 전자 표현(예를 들면, 모델)을 획득하기 위해 특징 추출 모듈(162)에 의해 프로세싱될 수 있다. 실세계 특징들의 그러한 전자 표현들은 추출된 특정 정의부(174)로서 데이터베이스(212) 및/또는 데이터베이스(114)에 저장될 수 있고, 여기서 그러한 전자 표현은, 예를 들면, 미디어 콘텐츠 아이템(178)과 같은 하나 이상의 미디어 콘텐츠 아이템들과 연관될 수 있다.
도 2의 예시적인 모바일 디바이스(200)의 적어도 일부 엘리먼트들은 도 1의 컴퓨팅 플랫폼(122)과 같은 다른 이동 또는 비이동식 컴퓨팅 플랫폼들에서 제공될 수 있어서, 그러한 컴퓨팅 플랫폼들이 본원에 기재된 동작들, 프로세스들 및 방법들 중 하나 이상을 수행하는 것을 가능하게 한다는 것이 인식될 것이다. 예를 들면, 도 1의 컴퓨팅 플랫폼(122)은 명령들(214)을 포함하는 저장 매체들(210) 및/또는 데이터베이스(212)와 같은 저장 매체들, 프로세서(216)와 같은 하나 이상의 프로세서들, 하나 이상의 입력 및 출력 디바이스들 및 통신 인터페이스(218)와 같은 통신 인터페이스를 포함할 수 있다. 따라서, 예를 들면, 도 3을 참조하여 본원에 기재된 동작들, 프로세스들 및 방법들 중 하나 이상이 반드시 모바일 디바이스들로 제한되지는 않는다.
도 3은 일 구현에 따른, 증강 현실 환경을 정의하고 그 증강 현실 환경 내에서 미디어 콘텐츠를 전개하기 위한 예시적인 프로세스(300)를 예시한 흐름도이다. 일 예로서, 프로세스(300)는 모바일 디바이스에서 로컬적으로 및/또는 서버 시스템 또는 다른 적절한 컴퓨팅 플랫폼에서 원격으로 하나 이상의 프로세서들이 명령들을 실행함으로써 수행될 수 있다. 따라서, 프로세스(300)의 다양한 동작들은, 예를 들면, 서버 시스템(110)의 저장 매체들(112) 및/또는 모바일 디바이스(200)의 저장 매체들(210)과 같이 하나 이상의 컴퓨팅 플랫폼들의 저장 매체들에 보유된 실행 가능 명령들에 의해 표현될 수 있다.
간략하게, 증강 현실 환경 내에서 미디어 콘텐츠를 전개하기 위한 프로세스(300)는 다음의 동작들: 동작(310)에서 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하는 것; 동작(320)에서 예를 들면, 모바일 디바이스에서 미디어 콘텐츠 아이템을 포착함으로써 및/또는 저장 매체들로부터 기존의 미디어 콘텐츠 아이템을 리트리브함으로써 미디어 콘텐츠 아이템을 획득하는 것; 동작(330)에서 3 차원 특징에 대해 미디어 콘텐츠 아이템에 대한 프리젠데이션 영역을 정의하는 것; 동작(340)에서 3 차원 특징에 대해 미디어 콘텐츠 아이템에 대한 활성화 영역을 정의하는 것; 및 동작(350)에서 사용자 입력 및/또는 활성화 영역에 대한 추정된 모바일 디바이스 위치에 응답하여 프리젠데이션 영역에서 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블 및/또는 개시하는 것 중 하나 이상을 포함할 수 있다.
동작(310)을 참조하면, 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징이 추출될 수 있다. 실세계 물체들은, 예를 들면, 인공 물체들(예를 들면, 빌딩 구조물들, 다리들, 도로들 등) 및/또는 자연 물체들(예를 들면, 산들, 나무들, 강들 등)을 포함하는 관심 있는 임의의 적절한 물체를 포함할 수 있다. 예를 들면, 또한 도 4를 참조하면, 일 구현에 따른 예시적인 증강 현실 환경의 카메라 뷰(400)를 포함하는 GUI가 도시된다. 도 4에서, 실세계 물체(예를 들면, 빌딩 구조물)의 예시적인 3 차원 특징(410)이 카메라 뷰(400)에 포착된다.
적어도 일부 구현들에서, 동작(310)에서 수행되는 특징 추출 프로세스는 모바일 디바이스의 카메라 뷰에서 포착된 실세계 3 차원 특징에 물체 인식 기술을 적용하는 것을 포함할 수 있다. 예를 들면, 그러한 물체 인식 기술들은 실세계 3 차원 특징의 전자 표현(예를 들면, 키포인트들 및 디스크립터들, 라인들 등)을 생성하기 위해 모바일 디바이스에서 획득된 샘플 카메라 뷰 상에 특징 추출 모듈(162)에 의해 모바일 디바이스에서 또는 원격으로 서버 시스템 또는 다른 적절한 컴퓨팅 플랫폼에서 적용될 수 있다. 그러한 물체 인식 기술들은 적어도 일부 구현들에서 표준 및/또는 잘 알려진 물체 인식 기술들을 포함할 수 있다. 키포인트들 및 디스크립터들을 생성하기 위한 그러한 물체 인식 기술들의 비제한적인 예들은 다른 것들 중에서도 SIFT(scale-invariant feature transform), 펀즈(ferns) 및 SURF(speeded up robust features)를 포함한다. 청구 요지가 본원에 기재된 예시적인 물체 인식 기술로 제한되지 않는다는 것이 인식될 것이다.
샘플 카메라 뷰로부터 생성된 것과 비교되는 실세계 3 차원 특징의 기준 전자 표현은 그 3 차원 특징의 기존의 전자 표현(예를 들면, 모델, 키포인트들 및 디스크립터들)을 포함할 수 있거나, 전자 표현은 그 3 차원 특징의 애드 혹 전자 표현으로서 카메라 뷰로부터 생성될 수 있다. 또한, 실세계 특징들은 2차원 및/또는 3 차원 표면들을 포함할 수 있다. 일 예로서, 2 차원 실세계 특징들에 대한 모델은 모바일 디바이스의 단일 카메라 뷰에서 포착된 실세계 특징들의 키포인트들 및 검출기들, 라인들, 형상들 또는 다른 시각적 엘리먼트들로부터 적어도 부분적으로 생성될 수 있다. 또 다른 예로서, 3 차원 실세계 특징들에 대한 모델은 실세계 특징에 대해 상이한 위치들 및/또는 방위들에서 획득된 2 개 이상의 카메라 뷰들로부터 적어도 부분적으로 생성될 수 있다. 예를 들면, 다수의 상이한 각도들, 방위들 등에서 특정 특징을 포착하는 다수의 카메라 뷰들을 나타내는 복수의 2 차원 이미지들은 (예를 들면, 삼각 측량 방법들을 통해) 그 특징의 3 차원 전자 표현을 구성하는데 사용될 수 있다. 또 다른 예로서, 실세계 특징들의 기존의 3 차원 전자 표현들은, 예를 들면, 그러한 특징들에 스캐닝 기술들을 적용함으로써 생성될 수 있다. 비제한적인 예로서, 광학(또는 레이저) 또는 사운드 파 스캐닝 기술들이 빌딩들, 도시들 또는 풍경들과 같은 실세계 물체들에 적용되어 그러한 실세계 물체들의 기존의 3 차원 전자 표현을 생성할 수 있다. 또 다른 예로서, 실세계 물체들의 기존의 3 차원 전자 표현들은 CAD(computer aided design) 모델들로부터 생성될 수 있다. 실세계 물체들의 기존의 전자 표현들은 모바일 디바이스 및/또는 서버 시스템에서의 저장 매체들(예를 들면, 특징 라이브러리(192)의 부분으로서)에 보유될 수 있고, 그 전자 표현은 특징 추출 모듈(162)에 의해 액세스될 수 있다.
비제한적인 예로서, 기존의 전자 표현(예를 들면, 기존의 전자 표현(194))은 실세계 물체의 3 차원 특징을 나타내는 임의의 적절한 수의 데이터 엘리먼트들(예를 들면, 2 또는 3 차원 공간의 공간 좌표들, 다차원 디스크립터 벡터들)을 포함하는 데이터 세트를 포함할 수 있다. 포지셔닝 신호들 및/또는 관성 센서 측정치들로부터 획득되는 바와 같은 모바일 디바이스 상태 정보(예를 들면, 디바이스 상태 데이터(190))는, 예를 들면, 추정된 모바일 디바이스 위치 및/또는 방위에 기초하여 특징 라이브러리로부터 잠재적으로 관련 기존의 전자 표현들을 위치 확인 및 리트리브하기 위해 특징 추출 모듈에 의해 또한 사용될 수 있다. 특징 추출 모듈은 3 차원 특징을 매칭 또는 포함하는 특정 기존의 전자 표현을 찾기 위해 관련 기존의 전자 표현들의 도메인을 탐색할 수 있다. 따라서, 모바일 디바이스의 카메라 뷰에서 포착된 3 차원 특징을 매칭, 표현 또는 포함하는 특정 기존의 전자 표현은 물체 인식 접근법들을 통해 및/또는 모바일 디바이스의 디바이스 위치 및/또는 방위를 참조함으로써 식별될 수 있다. 데이터베이스로부터 획득된 기존의 전자 표현은, 예를 들면, 미디어 콘텐츠 아이템(178)과 연관될 추출된 특정 정의부(174)로서 활용될 수 있다.
그러나, 3 차원 특징의 기존의 전자 표현이 여전히 존재하지 않거나 특징 추출 모듈에 의해 여전히 액세스 가능하지 않은 다른 예들에서, 3 차원 특징을 포착하는 하나 이상의 카메라 뷰들의 전자 표현(예를 들면, 이미지 파일 또는 비디오 파일)은 그 3 차원 특징의 애드 혹 전자 표현을 생성하기 위해 특징 추출 모듈에 의해 활용될 수 있다. 다시, 이러한 애드 혹 전자 표현은 그러한 실세계 특징들의 2 차원 모델들 또는 3 차원 모델들을 포함할 수 있다. 일 예로서, 실세계 특징들의 2 차원 모델은, 증강 현실 환경을 저작하는데 사용되는 모바일 디바이스의 카메라 뷰에서 포착된 실세계 특징들의 코너들, 라인들, 형상들 또는 다른 시각적 엘리먼트들로부터 적어도 부분적으로 생성될 수 있다. 또 다른 예로서, 실세계 특징들의 3 차원 모델은, 증강 현실 환경을 저작하는데 사용되는 모바일 디바이스에 의해 그러한 실세계 특징들에 대해 상이한 위치들에서 획득된 2 개 이상의 카메라 뷰들로부터 적어도 부분적으로 생성될 수 있다.
애드 혹 전자 표현들은 특징 추출 모듈에 의해 특징 라이브러리에 부가될 수 있고, 3 차원 표현이 포착된 카메라 뷰와 연관된 디바이스 상태 데이터(예를 들면, 모바일 디바이스 위치 및/또는 방위)를 또한 표시할 수 있다. 이러한 시나리오 하에서, 애드 혹 전자 표현은 그 3 차원 특징의 기존의 전자 표현을 사용하는 대신에 또는 이에 부가하여 추출된 특징 정의부(174)로서 특징 추출 모듈에 의해 활용될 수 있다.
기존의 전자 표현 또는 애드 혹 전자 표현으로부터 획득되든지 아니든지, 추출된 특징 정의부는, 동작(320)을 참조하여 설명될 바와 같이, 증강 현실 환경 내에서 전개되는 미디어 콘텐츠 아이템과 연관될 수 있다. 추출된 특징 정의부는, 동작(350)을 참조하여 설명될 바와 같이, 미디어 콘텐츠 아이템들을 제공할 목적으로 물체 인식을 (예를 들면, 다른 모바일 디바이스들의) 다른 카메라 뷰들에 적용하는 동안에 특징 추출 모듈에 의해 나중에 참조될 수 있다.
(320)에서, 미디어 콘텐츠 아이템은 모바일 디바이스에서 미디어 콘텐츠 아이템을 포착함으로써 및/또는 저장 매체들로부터 미디어 콘텐츠 아이템을 리트리브함으로써 획득될 수 있다. 적어도 일부 구현들에서, 동작(320)은 콘텐츠 전개 툴(166)을 통해 수신된 사용자 입력(예를 들면, 사용자 선택)에 응답하여 콘텐츠 관리 모듈(164)에 의해 수행될 수 있다. 상술된 바와 같이, 미디어 콘텐츠 아이템은 오디오 콘텐츠(예를 들면, 사운드 기록) 및/또는 시각 콘텐츠(예를 들면, 다른 그래픽 콘텐츠 중에서도 이미지, 그래픽 엘리먼트, 비디오, 애니메이션, 텍스트 콘텐츠, 3 차원 그래픽 콘텐츠 등)을 포함할 수 있다. 일 예로서, 이미지 또는 비디오 콘텐츠는 모바일 디바이스의 카메라(예를 들면, 카메라(220))를 통해 포착될 수 있다. 또 다른 예로서, 텍스트 콘텐츠는 텍스트 콘텐츠를 포착하기에 적절한 모바일 디바이스의 입력 디바이스(예를 들면, 키보드)를 통해 포착될 수 있다. 또 다른 예로서, 오디오 콘텐츠는 오디오 콘텐츠를 포착하는데 적절한 모바일 디바이스의 입력 디바이스(예를 들면, 마이크로폰)를 통해 포착될 수 있다.
대안적으로 또는 부가적으로, 미디어 콘텐츠 아이템들은 모바일 디바이스의 보드 상에 상주하는 저장 매체들(예를 들면, 데이터베이스(212))로부터 또는 서버 시스템과 같은 또 다른 컴퓨팅 플랫폼에서 상주하는 저장 매체들(예를 들면, 데이터베이스(114))로부터 획득될 수 있다. 적어도 일부 구현들에서, 그래픽 디스플레이를 통해 모바일 디바이스에서 제공되는 GUI는, (예를 들면, 카메라, 마이크로폰, 또는 다른 입력 디바이스를 통해) 그 미디어 콘텐츠 아이템을 포착함으로써 및/또는 미디어 콘텐츠 아이템이 보유된 저장 매체들로부터 그 미디어 콘텐츠 아이템을 리트리브함으로써 사용자가 미디어 콘텐츠 아이템을 획득하는 것을 가능하게 하기 위한 하나 이상의 그래픽 제어 엘리먼트들을 포함할 수 있다. 또한, 도 4를 참조하면, 예를 들면, 사용자가 3 차원 특징(410)과 같은 실세계 물체에 모바일 디바이스의 카메라를 포인팅함에 따라 카메라 뷰(400)가 실시간으로 모바일 디바이스의 그래픽 디스플레이를 통해 제공될 수 있는 예시적인 GUI가 도시된다. 그러나, 적어도 일부 구현들에서, 카메라 뷰(400)는 이미지 또는 다른 적절한 데이터 포맷으로서 저장될 수 있고, 여기서 카메라 뷰는 또 다른 적절한 컴퓨팅 플랫폼을 통해 사용자에 의해 나중에 참조 또는 리트리브될 수 있다. 따라서, 모바일 디바이스에서 이전에 포착된 카메라 뷰(예를 들면, 카메라 뷰(400))는, 카메라 뷰가 그 카메라 뷰에서 포착된 실세계 물체의 실시간 뷰를 나타내지 않을지라도, 증강 현실 환경들의 저작을 가능하게 할 목적으로 비이동식 컴퓨팅 플랫폼(예를 들면, 컴퓨팅 플랫폼(122))에서 나중에 제공될 수 있다. 적어도 일부 구현들에서, 그래픽 제어 엘리먼트(420)(예를 들면, 선택 가능한 그래픽 버튼 또는 아이콘)은 사용자가 원하는 미디어 콘텐츠 아이템을 획득하는 것을 가능하게 하기 위한 GUI에서 제공될 수 있다.
(330)에서, 동작(320)에서 획득된 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역은 동작(310)에서 추출된 3 차원 특징에 대해 정의될 수 있다. 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역은, 미디어 콘텐츠 아이템이 증강 현실 환경 내에서 제공되는 로케이션을 정의할 목적으로 사용자에 의해 그 증강 현실 환경으로 전개될 수 있다. 예를 들면, 또한 도 5를 참조하면, 프리젠테이션 영역(510)이 3 차원 특징(410)에 대해 사용자에 의해 정의되는 예시적인 GUI가 도시된다. 적어도 일부 구현들에서, 동작(330)은 콘텐츠 전개 툴(166)을 통해 수신된 사용자 입력(예를 들면, 사용자 선택)에 응답하여 콘텐츠 관리 모듈(164)에 의해 수행될 수 있다. 콘텐츠 전개 툴(166)은, 추출된 3 차원 특징(예를 들면, 추출된 특징 정의부(174)로서 전자적으로 표현됨)에 대해 프리젠테이션 영역을 정의하는 프리젠테이션 영역 정의부(180)를 생성하기 위해 모바일 디바이스 사용자 또는 또 다른 컴퓨팅 플랫폼의 사용자에 의해 사용될 수 있다.
적어도 일부 구현들에서, 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역은, 프리젠테이션 영역을 3 차원 특징의 적어도 일부분에 부착함으로써 및/또는 3 차원 특징에 대해 부착된 프리젠테이션 영역의 위치 및/또는 방위를 변경함으로써 3 차원 특징에 대해 정의될 수 있다. 적어도 일부 구현들에서, 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역은 모바일 디바이스(예를 들면, 모바일 디바이스(120)) 또는 다른 적절한 컴퓨팅 플랫폼(예를 들면, 컴퓨팅 플랫폼(122))에서 수신된 사용자 입력에 응답하여 3 차원 특징의 적어도 일부분에 부착될 수 있다. 그러한 사용자 입력은, 예를 들면, 사용자가 물리적 버튼을 누름으로써 또는 모바일 디바이스의 터치-감지 그래픽 디스플레이에서 제공되는 그래픽 버튼 또는 아이콘을 누름으로써 사용자 입력 디바이스를 통해 모바일 디바이스에서 수신될 수 있다. 비제한적인 예로서, 사용자는 프리젠테이션 영역을 조작, 이동 및/또는 재크기 설정함으로써 3 차원 특징에 대해 프리젠테이션 영역의 배치를 정의하기 위해 모바일 디바이스의 터치-감지 그래픽 디스플레이를 통해 제공되는 GUI에서 터치 제스처들을 활용할 수 있다. 또 다른 예로서, 다시 도 5를 참조하면, 그래픽 제어 엘리먼트(420)는, 예를 들면, 3 차원 특징(410)에 대한 프리젠테이션 영역(510)의 부착을 개시하기 위해 사용자에 의해 선택될 수 있다.
적어도 일부 구현들에서, 프리젠테이션 영역은, 미디어 콘텐츠 아이템이 증강 현실 환경 내에서 제공될 수 있는 프리젠테이션 표면을 포함할 수 있다. 예를 들면, 도 5의 프리젠테이션 영역(510)은 정의된 프리젠테이션 표면을 포함하여, 이것은 3 차원 특징의 빌딩 구조물의 출입구를 실질적으로 채운다. 그러한 구현들에서, 프리젠테이션 영역은, 예를 들면, 동작(310)에서 획득된 3 차원 특징의 전자 표현의 적어도 일부분과 프리젠테이션 영역의 프리젠테이션 표면을 연관시킴으로써 3 차원 특징의 적어도 일부분에 부착될 수 있다.
예를 들면, 사용자는 터치-스크린 인터페이스 또는 다른 적절한 입력 디바이스에서 수신된 하나 이상의 사용자 입력들을 통해 3 차원 특징에 대해 프리젠테이션 영역을 조작함으로써, 예를 들면, (520)에서 표시된 바와 같이, 3 차원 특징의 포인트 또는 에지와 프리젠테이션 영역의 포인트 또는 에지를 연관시킬 수 있다. 여기서, 위에 논의된 특정 구현들에서, 그러한 3 차원 특징은 그러한 터치-스크린 인터페이스를 통해 제공된 카메라 뷰에 보여진 실세계 물체를 기술할 수 있다. 비제한적인 예로서, 사용자는 프리젠테이션 영역의 포인트(예를 들면, 코너, 중심 포인트 등) 또는 에지를 선택하고, 3차원 특징(예를 들면, 물체 인식 기술들의 적용을 통해 인식됨)의 포인트 또는 에지를 선택하여, 프리젠테이션 영역의 포인트 또는 에지와 3 차원 특징의 포인트 또는 에지를 연관시킬 수 있다. 또 다른 예로서, 사용자는 프리젠테이션 영역의 포인트 또는 에지를 선택하고, 프리젠테이션 영역의 선택된 포인트 또는 에지를 3 차원 특징의 포인트 또는 에지로 드래그(drag)하여, 프리젠테이션 영역의 선택된 포인트 또는 에지와 3 차원 특징의 포인트 또는 에지를 연관시킬 수 있다.
일부 구현들에서, 사용자는 3 차원 특징과 연관될 수 있는 프리젠테이션 영역의 포인트들, 에지들 또는 다른 현저한 특징들을 표시 또는 강조하는 하나 이상의 아이콘들을 소환하기 위해 프리젠테이션 영역을 선택(예를 들면, 터치-스크린 인터페이스 위를 누름)하고, 임계 시간 기간 동안 프리젠테이션 영역을 유지할 수 있다. 마찬가지로, 일부 구현들에서, 사용자는 프리젠테이션 영역과 연관될 수 있는 3 차원 특징의 포인트들, 에지들 또는 다른 현저한 특징들을 표시 또는 강조하는 하나 이상의 아이콘들을 소환하기 위해 3 차원 특징을 누르고, 임계 시간 기간 동안 3 차원 특징을 유지할 수 있다. 예를 들면, 콘텐츠 관리 모듈은 프리젠테이션 영역의 그러한 포인트들, 에지들 또는 다른 현저한 특징들 및/또는 3 차원 특징을 강조하도록 적응될 수 있어서, 사용자의 이득을 위하여 사용자가 그러한 강조된 특징들로부터 선택하는 것을 가능하게 한다. 사용자가 프리젠테이션 영역을 3 차원 특징에 부착하는 것에 응답하여, 콘텐츠 관리 모듈은 프리젠테이션 영역이 3 차원 특징의 전자 표현에 대해 정의되는 방법을 반영하기 위해 그 프리젠테이션 영역에 대한 프리젠테이션 영역 정의부를 업데이트하도록 적응될 수 있다. 그러한 예들이 비제한적이고, 프리젠테이션 영역을 카메라 뷰로부터 추출된 3 차원 특징들에 부착하기 위해 다른 적절한 접근법들이 활용될 수 있다는 것이 인식될 것이다.
일부 구현들에서, 부착된 프리젠테이션 영역은 하나 이상의 부가적인 사용자 입력들에 응답하여 3 차원 특징에 대해 프리젠테이션 영역의 병진 운동(translation), 재배향 또는 재크기 설정을 통해 사용자에 의해 편집될 수 있다. 그러한 부가적인 사용자 입력들은, 예를 들면, 모바일 디바이스의 터치-감지 그래픽 디스플레이를 통해 수신된 하나 이상의 터치 제스처들을 포함할 수 있다. 예를 들면, 또한 도 6을 참조하면, 프리젠테이션 영역(430)이 벡터(620)에 의해 표시된 터치 제스처에 응답하여 3 차원 특징(410)에 대해 상이한 위치(610)로 병진 운동될 수 있는 예시적인 GUI가 도시된다. 그러한 터치 제스처들은, 예를 들면, 드래그 또는 드롭 동작으로서 프리젠테이션 영역에서 수신될 수 있다. 다른 예들에서, 프리젠테이션 영역은 프리젠테이션 영역의 회전을 나타내는 부가적인 사용자 입력들에 응답하여 3 차원 특징에 대해 회전될 수 있다.
적어도 일부 구현들에서, 터치 제스처들 또는 다른 적절한 사용자 입력들은, 3 차원 특징에 대해 프리젠테이션 영역의 병진 운동, 회전 및/또는 재크기 설정에 의해 프리젠테이션 영역을 사용자가 편집하는 것을 가능하게 하는 정보 계층(630)에서 수신될 수 있다. 정보 계층(630)은 임의의 적절한 수의 그래픽 제어 엘리먼트들을 포함하는 메뉴를 포함할 수 있다. 일 예로서, 그래픽 제어 엘리먼트들(632 및 634)은 그의 현재 위치로 또는 그로부터 멀리 프리젠테이션 영역을 병진 운동하도록 사용자에 의해 선택될 수 있다. 또 다른 예로서, 그래픽 제어 엘리먼트(636)는 제 1 회전 축을 중심으로 프리젠테이션 영역을 회전시키도록 선택될 수 있고 및/또는 그래픽 제어 엘리먼트(638)는 제 1 축과 상이한 제 2 회전 축을 중심으로 프리젠테이션 영역을 회전시키도록 선택될 수 있다. 이러한 방식으로, 사용자는 3 차원 공간에서 프리젠테이션 영역의 위치 및/또는 방위를 변경할 수 있다.
적어도 일부 구현들에서, 정보 계층(630)과 같은 정보 계층은 사용자가 터치-제스처 또는 다른 적절한 사용자 입력을 통해 프리젠테이션 영역을 선택하거나 프리젠테이션 영역 위를 누르는 것에 응답하여 사용자에게 디스플레이될 수 있다. 예로서, 사용자는 프리젠테이션 영역에 대한 편집 모드에 진입할 수 있어서, 이로써 정보 계층(630)과 같은 정보 계층은 사용자가 프리젠테이션 영역에서 터치 입력을 누리고 임계 시간 기간(예를 들면, 1.0 초 또는 다른 적절한 시간 기간) 동안 유지하는 것에 응답하여 디스플레이될 수 있다.
또한 도 7을 참조하면, 프리젠테이션 영역(430)이 벡터(710)에 의해 표시된 바와 같은 부가적인 사용자 입력들에 응답하여 3 차원 특징(410)에 대해 재크기 설정될 수 있는 예시적인 GUI가 도시된다. 부착된 프리젠테이션 표면을 편집하기 위한 그러한 부가적인 사용자 입력들은 터치-감지 그래픽 디스플레이 또는 다른 적절한 사용자 입력 디바이스를 통해서와 같이, 모바일 디바이스의 사용자 입력 디바이스를 통해 수신될 수 있다. 예를 들면, 사용자는 프리젠테이션 영역이 모바일 디바이스의 터치-감지 그래픽 디스플레이 상에서 렌더링되는 로케이션에서 프리젠테이션 영역을 터치하고, 그의 위치 및/또는 방위를 변경하기 위해 프리젠테이션 영역의 적어도 일부분을 상이한 위치로 드래그함으로써 프리젠테이션 영역을 편집할 수 있다.
사용자가 프리젠테이션 영역의 병진 운동, 회전 또는 재크기 설정 중 어느 하나에 의해 프리젠테이션 영역을 편집하는 것에 응답하여, 콘텐츠 관리 모듈은 프리젠테이션 영역이 3 차원 특징의 전자 표현에 대해 정의되는 방법에서의 변화들을 반영하기 위해 그 프리젠테이션 영역에 대한 프리젠테이션 영역 정의부를 업데이트하도록 적응될 수 있다. 비제한적인 예로서, 프리젠테이션 영역이 3 차원 특징의 좌표 시스템에 대해 측정된 하나 이상의 포인트들에 의해 정의되는 경우에, 사용자에 의한 그러한 편집은 하나 이상의 포인트들이 하나 이상의 사용자 입력들에 의해 표시된 양만큼 3 차원 특징의 좌표 시스템에 대해 오프셋되게 할 수 있다. 프리젠테이션 영역 정의부의 업데이팅은, 프리젠테이션 영역이 사용자가 원하는 위치 및/또는 방위에서 렌더링되도록 그러한 편집에 응답하여 콘텐츠 관리 모듈(164)에 의해 수행될 수 있다.
일부 구현들에서, 콘텐츠 전개 툴(166)은 프리젠테이션 영역들을 3 차원 특징들에 부착하기 위한 부분적으로 자동화된 프로세스를 사용할 수 있다. 예를 들면, 콘텐츠 관리 툴은 실세계 물체들에서 수평 및 수직 특징들, 에지들, 코너들 등과 같은 특정 특징들을 인식하고, 그러한 실세계 물체들에 관련하여 프리젠테이션 표면을 배치하는 방법을 제안할 수 있다. 이어서, 사용자는 (예를 들면, 공간 조망을 부가하기 위해) 3 차원 특징에 대해 프리젠테이션 표면의 위치 및/또는 방위를 편집함으로써 프리젠테이션 표면의 초기 배치를 조절할 수 있다. 이어서, 사용자는, 예를 들면, GUI의 그래픽 제어 엘리먼트를 선택하거나, 터치-감지 그래픽 디스플레이에서 특정 터치 제스처(예를 들면, 더블 탭)를 활용하거나, 사용자 입력 디바이스를 통해 부가적인 입력을 제출함으로써 부가적인 사용자 입력에 응답하여 3 차원 특징에 대해 적소에 프리젠테이션 표면을 로킹(lock)할 수 있다. 이러한 방식으로, 증강 현실 환경 내에서 전개되는 미디어 콘텐츠는 증강 현실 환경에 존재하는 실세계 물체들의 특정 3 차원 특징들을 적합하게 하도록 맞춤화될 수 있다.
일부 구현들에서, 프리젠테이션 영역은 복수의 프리젠테이션 표면들을 정의하는 3 차원 볼륨을 포함할 수 있다. 그러한 3 차원 볼륨들은, 예를 들면, 증강 현실 환경에서 그래픽 엘리먼트들 또는 애니메이션들의 3 차원 표현으로서 그러한 그래픽 엘리먼트들 또는 애니메이션들 등을 제공하는데 활용될 수 있다. 예를 들면, 프리젠테이션 영역은 미디어 콘텐츠가 제공될 때 규칙적인 3 차원 형상들(예를 들면, 구들, 정육면체들 등) 또는 불규칙적인 3 차원 형상들(예를 들면, 휴머노이드 또는 동물 캐릭터들, 가구, 차량들 등)을 포함할 수 있다. 3 차원 볼륨을 포함하는 프리젠테이션 영역들의 위치 및 방위가 프리젠테이션 표면들을 참조하여 이전에 설명된 것과 유사한 방식으로 변경될 수 있다는 것이 인식될 것이다.
(340)에서, 동작(320)에서 획득된 미디어 콘텐츠 아이템에 대한 활성화 영역은 동작(310)에서 추출된 3 차원 특징에 대해 정의될 수 있다. 미디어 콘텐츠 아이템에 대한 활성화 영역은, 프리젠테이션 영역에서 미디어 콘텐츠 아이템의 프리젠테이션이 사용자 입력 및/또는 추정된 모바일 디바이스 위치에 응답하여 인에이블 및/또는 개시될 수 있는 방법을 정의할 목적으로 사용자에 의해 증강 현실 환경 내에서 전개될 수 있다.
예를 들면, 또한 도 8을 참조하면, 활성화 영역(810)이 프리젠테이션 영역(430)과 적어도 부분적으로 중첩하도록 활성화 영역(810)이 3 차원 특징(410)에 대해 정의될 수 있는 예시적인 GUI가 도시된다. 활성화 영역(810)은 이러한 특정 예에서 선택 가능한 그래픽 버튼 또는 아이콘으로서 도시된다. 모바일 디바이스 사용자는, 예를 들면, 활성화 영역(810)을 선택함으로써 프리젠테이션 영역(430)에서 미디어 콘텐츠 아이템의 프리젠테이션을 개시하기 위해 하나 이상의 사용자 입력들을 활용할 수 있다. 이러한 특정 예에서, 활성화 영역(810)은, 프리젠테이션 표면들을 참조하여 이전에 설명된 바와 같이, 3 차원 특징(410)의 전자 표현과 연관될 수 있는 활성화 표면을 포함한다.
또 다른 예로서, 활성화 영역(820)은, 모바일 디바이스 사용자가 활성화 영역(820) 내에서 모바일 디바이스를 물리적으로 이동시킴으로써 프리젠테이션 표면에서 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블 및/또는 개시할 수 있도록 3 차원 특징(410)에 대해 정의된다. 예를 들면, 활성화 영역(820)은 모바일 디바이스가 부가적인 사용자 입력을 요구하지 않고 활성화 영역(820) 내에 진입할 때 프리젠테이션 영역(430)에서 미디어 콘텐츠 아이템의 프리젠테이션을 개시하도록 정의될 수 있다. 다른 예들에서, 활성화 영역(820)은 모바일 디바이스가 활성화 영역(820) 내에 진입할 때 프리젠테이션 영역(430)에서 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블하도록 정의될 수 있다. 일단 미디어 콘텐츠의 프리젠테이션이 인에이블되면, 사용자는, 예를 들면, 활성화 영역(810)과 같은 또 다른 활성화 영역에서 또는 모바일 디바이스의 임의의 적절한 입력 디바이스에서 사용자 입력을 제공함으로써 미디어 콘텐츠 아이템의 프리젠테이션을 개시하도록 프롬프트될 수 있다.
적어도 일부 구현들에서, 활성화 영역은 프리젠테이션 영역을 정의하기 위한 동작(330)에서 상술된 프로세스와 유사한 프로세스를 사용하여 정의될 수 있다. 예를 들면, 미디어 콘텐츠 아이템에 대한 활성화 영역은, 활성화 영역을 3 차원 특징의 적어도 일부분에 부착함으로써 및/또는 3 차원 특징에 대해 부착된 활성화 영역의 위치 및/또는 방위를 편집함으로써 3 차원 특징에 대해 정의될 수 있다. 사용자에 의한 활성화 영역의 부착 및/또는 편집에 응답하여, 콘텐츠 관리 모듈은 활성화 영역이 3 차원 특징의 전자 표현에 대해 정의되는 방법을 반영하기 위해 그 활성화 영역에 대한 활성화 영역 정의부를 업데이트하도록 적응될 수 있다.
적어도 일부 구현들에서, 활성화 영역은 증강 현실 환경 내에 존재할 수 있는 활성화 표면을 포함할 수 있다. 그러한 구현들에서, 활성화 영역은, 예를 들면, 동작(310)에서 획득된 3 차원 특징의 전자 표현의 적어도 일부분과 활성화 영역의 활성화 표면을 연관시킴으로써 3 차원 특징의 적어도 일부분에 부착될 수 있다. 사용자는 또한 동작(330)에서 프리젠테이션 표면들의 편집을 참조하여 이전에 설명된 바와 같이 부착된 활성화 영역의 위치 및/또는 방위를 변경할 수 있다.
동작들(310, 320, 330 및 340)이 모바일 디바이스 상황에서 설명되었지만, 그러한 동작들 중 하나 이상이 모바일 디바이스로부터 분리된 컴퓨팅 플랫폼(예를 들면, 컴퓨팅 플랫폼(122))에서 수행될 수 있다는 것이 인식될 것이다. 그러한 구현들에서, 모바일 디바이스 사용자는 동작들(310-340) 중 하나 이상을 수행하기 위해 모바일 디바이스에서 획득된 카메라 뷰를 상이한 컴퓨팅 플랫폼으로 업로딩할 수 있다. 이러한 방식으로, 증강 현실 환경의 저작이 반드시 모바일 디바이스에서 수행되는 동작들로 제한되지는 않지만, 다른 컴퓨팅 플랫폼들에서 적어도 부분적으로 수행될 수 있다.
(350)에서, 동작(330)에서 정의된 프리젠테이션 영역에서의 미디어 콘텐츠 아이템의 프리젠테이션은 사용자 입력 및/또는 동작(340)에서 정의된 활성화 영역에 대한 추정된 모바일 디바이스 위치에 응답하여 인에이블 및/또는 개시될 수 있다. 정해진 사용자에 대한 미디어 콘텐츠의 프리젠테이션이 그 미디어 콘텐츠 아이템과 연관된 액세스 권한들에 따라 컨디셔닝될 수 있다는 것이 인식될 것이다. 동작(340)을 참조하여 이전에 설명된 바와 같이, 활성화 영역들은 모바일 디바이스가 사용자에 의해 활성화 영역 내에서 휴대될 때 미디어 콘텐츠의 프리젠테이션을 인에이블하도록 정의될 수 있다. 대안적으로, 활성화 영역들은 모바일 디바이스가 사용자에 의해 활성화 영역 내에서 휴대될 때 부가적인 사용자 입력을 요구하지 않고 미디어 콘텐츠의 프리젠테이션을 개시하도록 정의될 수 있다.
또한, 동작(350)에 관련하여, 증강 현실 환경 내에서 전개되는 프리젠테이션 표면들 및/또는 활성화 표면들은 카메라 뷰에서 포착된 3 차원 특징의 인식 시에 모바일 디바이스의 그 카메라 뷰에서 제공될 수 있다. 예를 들면, 추출된 특징 정의부는, 그 추출된 특징 정의부와 연관된 하나 이상의 미디어 콘텐츠 아이템들, 프리젠테이션 영역들 및/또는 활성화 영역들을 모바일 디바이스에서 제공할 목적으로, 물체 인식 기술들을 그 모바일 디바이스에서 획득된 특정 카메라 뷰에 적용하는 동안에 특징 추출 모듈에 의해 참조될 수 있다.
그러한 물체 인식 기술들은 어떠한 추출된 특징 정의부가 샘플 카메라 뷰에 존재하는지를 식별하기 위해 샘플 카메라 뷰와 하나 이상의 추출된 특징 정의부들의 비교를 또한 수반할 수 있다. 그러한 물체 인식 기술들은 통상적으로 샘플 카메라 뷰에서의 3 차원 특징 및 추출된 특징 정의부 사이의 관점 차이를 정정하기 위해 기본적인 공간 변환, 예를 들면, 호모그래피, 아핀(affine) 또는 다른 것들의 결정을 포함하다. 정해진 카메라 뷰에 대한 관련 추출된 특징 정의부의 식별 시에, 콘텐츠 관리 모듈은 데이터베이스가 모바일 디바이스에서 로컬적으로 위치되거나 서버 시스템 또는 다른 컴퓨팅 자원에 원격으로 위치되든지 아니든지 그러한 데이터베이스로부터 연관된 프리젠테이션 영역, 활성화 영역, 미디어 콘텐츠 아이템 및 그 추출된 특징 정의부에 대한 다른 정보를 리트리브할 수 있다.
적어도 일부 구현들에서, 활성화 영역 정의부(182)는, 모바일 디바이스가 활성화 영역에 진입하는 경우에 연관된 미디어 콘텐츠 아이템(178)의 프리젠테이션이 개시 또는 인에이블될 수 있는 활성화 영역을 정의할 수 있다. 예를 들면, 활성화 영역은, 모바일 디바이스의 상태에 의해 표시된 바와 같이, 사용자가 물리적 실세계 환경 내의 특정 영역 내에서 모바일 디바이스를 휴대하는 것에 응답하여 미디어 콘텐츠의 프리젠테이션이 개시되는 그 특정 영역을 정의할 수 있다. 예를 들면, 정해진 활성화 영역에 대해 정해진 모바일 디바이스의 위치 및/또는 방위가 모바일 디바이스 보드 상에서 획득된 관성 센서 측정치들 및/또는 포지셔닝 신호들로부터 획득될 수 있어서, 이로써 미디어 콘텐츠의 프리젠테이션이 모바일 디바이스의 상태에 의해 표시된 위치 및/또는 방위에 응답하여 개시될 수 있다는 것이 인식될 것이다.
미디어 콘텐츠 아이템의 프리젠테이션이 개시되는 경우에, 활성화 영역과 연관된 미디어 콘텐츠 아이템은 부가적인 사용자 입력을 요구하지 않고 연관된 프리젠테이션 영역에서 제공될 수 있다. 이와 반대로, 미디어 콘텐츠 아이템의 프리젠테이션이 인에이블되는 경우에, 활성화 영역과 연관된 미디어 콘텐츠 아이템은 터치-감지 그래픽 디스플레이에서 수신된 터치 제스처 또는 다른 적절한 사용자 입력 디바이스를 통해 수신된 사용자 입력으로서 수신된 부가적인 사용자 입력에 응답하여, 예를 들면, GUI의 그래픽 제어 엘리먼트에 제공될 수 있다.
프로세스(300)의 일부 구현들에서, 활성화 영역들은 증강 현실 환경으로부터 생략될 수 있다. 예를 들면, 도 9는 3 차원 특징(410)에 의해 정의된 특정 출입구에 진입하도록 고객들을 유도하기 위한 사인의 그래픽 표현(예를 들면, 이미지)을 제공하는 프리젠테이션 영역(910) 및 카메라 뷰(400)를 포함하는 예시적인 GUI를 도시한다. 따라서, 이러한 특정 구현에서, 프리젠테이션 영역(910)은 연관된 활성화 영역을 참조하지 않고 미디어 콘텐츠 아이템을 제공할 수 있다. 이러한 방식으로, 사용자는 모바일 디바이스의 카메라를 실세계 물체들을 향하게 하고 GUI의 정보 계층에 제공된 그래픽 콘텐츠를 관찰함으로써 증강 현실 환경을 탐사할 수 있다. 예를 들면, 제 2 모바일 디바이스에서의 미디어 콘텐츠 아이템의 프리젠테이션은, 제 2 모바일 디바이스의 카메라 뷰가 3 차원 특징에 부착된 프리젠테이션 영역을 포착함에 따라 인에이블 또는 개시될 수 있다.
일부 구현들에서, 모바일 디바이스에 로컬적으로 상주하거나 서버 시스템에 원격으로 상주하는 콘텐츠 관리 모듈은 모바일 디바이스의 위치 및/또는 방위의 업데이트들을 수신할 수 있다. 그러한 구현들에서, 모바일 디바이스의 위치가 연관된 미디어 콘텐츠가 모바일 디바이스를 통해 사용자에 의해 액세스될 수 있는 활성화 영역 내에 있는 것으로 식별되는 경우에, 모바일 디바이스에서 통지가 개시될 수 있다. 그러한 통지는 모바일 디바이스의 보드 상의 촉각 피드백 디바이스를 통한 모바일 디바이스의 진동, 모바일 디바이스의 오디오 출력 디바이스에 의해 생성되는 사운드 및/또는 모바일 디바이스의 그래픽 디스플레이 또는 발광 엘리먼트를 통해 제공되는 시각적 표시자를 포함할 수 있다. 이러한 방식으로, 사용자는 모바일 디바이스를 통해 사용자에 의한 탐사를 위해 이용 가능한 인근의 증강 현실 환경의 존재에 관하여 통지받을 수 있다.
위의 구현들에서, 사용자에게는 모바일 디바이스의 카메라를 통해 획득된 카메라 뷰(예를 들면, 실시간 카메라 뷰)와 함께 그래픽 디스플레이의 GUI 내의 정보 계층이 제공될 수 있다. 정해진 카메라 뷰에 대해 제공되는 정보 계층은, 카메라 뷰에서 포착된 실세계 물체들의 전자 표현들과 연관된 프리젠테이션 및/또는 활성화 영역들에 의해 정의될 수 있다. 마찬가지로, 그러한 구현들은 연관된 투어 정의부에 의해 정의되는 임의의 적절한 수의 프리젠테이션 및/또는 활성화 영역들을 포함하는 유도된 투어들에 적용될 수 있다. 그러한 투어 정의부들은, 예를 들면, 동일한 모바일 디바이스 또는 다른 컴퓨팅 플랫폼을 통해 또는 2 개 이상의 별개의 모바일 디바이스들 및/또는 다른 컴퓨팅 플랫폼들을 통해 하나 이상의 사용자들에 의해 저작될 수 있다.
예를 들면, 사용자는 증강 현실 환경 내에 전개될 하나 이상의 미디어 콘텐츠 아이템들(예를 들면, 미디어 콘텐츠 아이템(178))과 투어 정의부(예를 들면, 투어 정의부(184))를 연관시킴으로써 투어 생성 툴(168)을 통해 유도된 투어를 저작할 수 있다. 하나 이상의 다른 사용자들은 또한 하나 이상의 다른 미디어 콘텐츠 아이템들과 투어 정의부(예를 들면, 투어 정의부(184))를 연관시키기 위해 투어 생성 툴(168)을 사용함으로써 유도된 투어의 저작에 기여할 수 있다. 이와 같이, 2 개 이상의 사용자들은 일부 구현들에서 공통 유도된 투어의 저작에 기여할 수 있다. 또한, 일부 구현들에서, 사용자는 하나 이상의 다른 사용자들이 특정 유도된 투어를 저작하도록 협력하는 것을 포함 또는 배제시키기 위해 정해진 투어에 대한 권한 정의부(예를 들면, 권한 정의부(188))를 정의하도록 권한 관리 툴(170)을 활용할 수 있다. 예를 들면, 사용자는 하나 이상의 다른 사용자들이 하나 이상의 다른 사용자들에 대한 허가를 승인하면서 정해진 유도된 투어의 생성 시에 협력하는 것을 배제시킬 수 있다.
그러한 유도된 투어들은, 투어를 생성한 사용자에 의해 또는 연관된 권한 정의부(예를 들면, 권한 정의부(188))를 통해 그 사용자에 의해 액세스가 승인된 다른 사용자들에 의해 모바일 디바이스의 GUI를 통해 증강 현실 환경에서 탐사될 수 있다. 예를 들면, 제 2 사용자가 정해진 투어의 프리젠테이션 및/또는 활성화 영역들이 제 1 사용자에 의해 부착된 실세계 물체들로 모바일 디바이스의 카메라 뷰를 향하게 하는 경우에, 제 2 사용자에게는 정해진 투어와 연관된 하나 이상의 미디어 콘텐츠 아이템들이 제공될 수 있다.
적어도 일부 구현들에서, 투어 정의부는 2 개 이상의 연관된 미디어 콘텐츠 아이템들의 사용자 정의 정렬된 리스트를 포함할 수 있다. 그러한 구현들에서, 미디어 콘텐츠 아이템들은 정렬된 리스트에 의해 정의된 순서로 유도된 투어 상에 제공될 수 있다. 예를 들면, 유도된 투어의 사용을 통해 증강 현실 환경을 탐사하는 사용자는, 미디어 콘텐츠 아이템들이 투어 정의부의 정렬된 리스트에 의해 정의된 순서로 제공되는 임의의 적절한 수의 실세계 로케이션들을 방문하도록 모바일 디바이스의 GUI를 통해 프롬프트될 수 있다. 또한, 사용자가, 예를 들면, 도 9의 프리젠테이션 영역(910)을 참조하여 이전에 설명된 바와 같이 시각 식별자들로서 그러한 미디어 콘텐츠 아이템들 중 적어도 일부를 전개할 수 있다는 것이 인식될 것이다. 그러한 시각적 식별자들은 투어 정의부에 의해 정의된 특정 투어 루트를 따라 사용자들을 향하게 하기 위한 사인들 또는 다른 적절한 식별자들로서 기능할 수 있다. 이러한 방식으로, 모바일 디바이스 사용자들은 그들 각각의 모바일 디바이스들의 카메라 뷰를 보충하는 정보 계층을 형성하는 그래픽 콘텐츠의 도움으로 그들의 둘러싸는 실세계 환경을 탐사할 수 있다.
본원에 기재된 위치 결정 기술들은 WWAN(wireless wide area network), WLAN(wireless local area network), WPAN(wireless personal area network) 등과 같은 다양한 무선 통신 네트워크들과 관련하여 구현될 수 있다. 용어 "네트워크" 및 "시스템"은 종종 상호 교환 가능하게 사용된다. WWAN은 CDMA(Code Division Multiple Access) 네트워크, TDMA(Time Division Multiple Access) 네트워크, FDMA(Frequency Division Multiple Access) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA(Single-Carrier Frequency Division Multiple Access) 네트워크 등일 수 있다. CDMA 네트워크는 cdma2000, W-CDMA(Wideband-CDMA) 등과 같은 하나 이상의 RAT들(radio access technologies)을 구현할 수 있다. cdma2000은 IS-95, IS-2000, 및 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM(Global System for Mobile Communications), D-AMPS(Digital Advanced Mobile Phone System), 또는 몇몇 다른 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "제 3 세대 파트너쉽 프로젝트"(3GPP)란 명칭의 컨소시엄으로부터의 문서들에 기술된다. cdma2000은 "제 3 세대 파트너쉽 프로젝트 2"(3GPP2)란 명칭의 컨소시엄으로부터의 문서들에 기술된다. 3GPP 및 3GPP2 문서들은 공개적으로 이용 가능하다. WLAN은 IEEE 802.11x 네트워크일 수 있고, WPAN은 Bluetooth 네트워크, IEEE 802.15x 또는 몇몇의 다른 형태의 네트워크일 수 있다. 상기 기술들은 또한 WWAN, WLAN 및/또는 WPAN의 임의의 조합과 관련하여 구현될 수 있다.
본원에 기재된 방법들은 특정한 애플리케이션에 의존하여 상이한 방법들로 및 상이한 구성들로 구현될 수 있다. 예를 들어, 이러한 방법들은 소프트웨어와 함께, 하드웨어, 펌웨어 및/또는 이들의 조합들로 구현될 수 있다. 하드웨어 구현에서, 예를 들어, 프로세싱 유닛은 하나 이상의 ASIC들(application specific integrated circuits), DSP들(digital signal processors), DSPD들(digital signal processing devices), PLD들(programmable logic devices), FPGA들(field programmable gate arrays), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 기재된 기능들을 수행하도록 설계된 다른 디바이스 유닛들 및/또는 이들의 조합 내에서 구현될 수 있다.
본원에 기재된 저장 매체들은 1차, 2차 및/또는 3차 저장 매체들을 포함할 수 있다. 1차 저장 매체들은, 예를 들면, 랜덤 액세스 메모리 및/또는 판독-전용 메모리와 같은 메모리를 포함할 수 있다. 2차 저장 매체들은 자기 또는 고체 상태 하드 드라이브와 같은 대량 저장소를 포함할 수 있다. 3차 저장 매체들은 자기 또는 광학 디스크, 자기 테이프, 고체 상태 저장 디바이스 등과 같은 제거 가능한 저장 매체들을 포함할 수 있다. 특정 구현들에서, 저장 매체들 또는 이들의 부분들은 동작 가능하게 프로세서와 같은 컴퓨팅 플랫폼의 다른 컴포넌트들에 수용되거나, 그렇지 않다면 이에 연결하도록 구성 가능할 수 있다.
적어도 일부 구현들에서, 본원에 기재된 저장 매체들의 하나 이상의 부분들은 저장 매체들의 특정한 상태에 의해 표현되는 바와 같이 데이터 및/또는 정보를 나타내는 신호들을 저장할 수 있다. 예를 들어, 데이터 및/또는 정보를 나타내는 전자 신호는 이진 정보(예를 들어, 1들 또는 0들)로서 데이터 및/또는 정보를 나타내도록 저장 매체들의 이러한 부분들의 상태에 영향을 주거나 변화시킴으로써 저장 매체들(예를 들어, 메모리)의 부분에 "저장"될 수 있다. 이와 같이, 특정한 구현에서, 데이터 및/또는 정보를 나타내는 신호를 저장하기 위한 저장 매체들의 부분의 상태의 이러한 변화는 상이한 상태 또는 사태(thing)로 저장 매체들의 변형(transformation)을 구성한다.
앞선 상세한 설명에서, 청구 요지의 철저한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시되었다. 그러나, 청구 요지가 이러한 특정 세부 사항들 없이도 실시될 수 있다는 것이 당업자에 의해 이해될 것이다. 다른 경우들에서, 당업자에 의해 알려진 방법들 및 장치들이 청구 요지를 모호하게 하지 않기 위해 상세히 설명되지는 않는다.
앞선 상세한 설명의 일부 부분들은 특수 장치 또는 특수 목적 컴퓨팅 디바이스 또는 플랫폼의 메모리 내에 저장되는 이진 디지털 전자 신호들을 통한 동작들의 기호 표현들 또는 알고리즘들의 견지에서 제시되었다. 이러한 특정한 명세서의 맥락에서, 용어 특정한 장치 등은 범용 컴퓨터가 프로그램 소프트웨어로부터의 명령들에 따라 특정한 기능들을 수행하도록 프로그래밍되면, 이 범용 컴퓨터를 포함한다. 알고리즘적(Algorithmic) 설명들 또는 기호적 표현들은 당업자들에게 그들의 연구물의 실체를 전달하기 위해 신호 프로세싱 또는 관련 분야의 당업자들에 의해 이용되는 기법들의 예들이다. 알고리즘은 여기서 그리고 일반적으로, 일관성있는(self-consistent) 동작들의 시퀀스 또는 원하는 결과를 야기하는 유사한 신호 프로세싱으로 간주된다. 이런 맥락에서, 동작들 또는 프로세싱은 물리적 퀀티티들(quantities)의 물리적 조작을 수반한다. 통상적으로, 필수적이진 않지만, 이러한 퀀티티들은 정보를 나타내는 전자 신호들로서 저장, 전달, 조합, 비교 또는 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호들의 형태를 취할 수 있다. 이것은 주로 공통적인 사용을 이유로, 편리한 시간에, 비트들, 데이터, 값들, 엘리먼트들, 심볼들, 문자들, 기간들, 숫자들, 번호들, 정보 등과 같은 이러한 신호를 지칭하는 것으로 판명되었다. 그러나, 이들 또는 유사한 용어들 모두는 적절한 물리적 퀀티티들과 연관되고 단순히 편리한 라벨들이라는 것이 이해되어야 한다.
달리 구체적으로 언급되지 않으면, 다음의 논의로부터 자명한 바와 같이, 이러한 명세서 전체에 걸쳐서, "프로세싱", "컴퓨팅", "계산", "식별", "결정", "설정", "획득" 등과 같은 용어들을 활용하는 논의들은 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스와 같은 특정한 장치들의 동작들 또는 프로세스들을 지칭한다는 것이 인지된다. 그러므로, 이러한 명세서의 맥락에서, 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스는 메모리들, 레지스터들 또는 다른 정보 저장 디바이스들, 전송 디바이스들, 또는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 디스플레이 디바이스들 내의 물리적 전자 또는 자기 퀀티티들로서 통상적으로 표현되는 신호들을 조작 또는 변형할 수 있다. 이러한 특정 특허 출원의 맥락에서, 용어 "특정 장치"는, 일단 특정 장치가 프로그램 소프트웨어로부터의 명령들에 따라 특정 기능들을 수행하도록 프로그래밍되면 범용 컴퓨터를 포함할 수 있다.
본 명세서 전체에 걸쳐 "일 예", "예", "특정 예들" 또는 "예시적인 구현"에 대한 참조는, 특징 및/또는 예와 관련하여 기재된 특정 특징, 구조 또는 특성이 청구 요지의 적어도 하나의 특징 및/또는 예에 포함될 수 있다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 장소들에서의 구절 "일 예에서", "예", "특정 예들에서" 또는 "일부 구현들에서" 또는 다른 유사한 구절들의 출현은 반드시 동일한 특징, 예 및/또는 제한을 모두 지칭하는 것은 아니다. 또한, 특정 특징들, 구조들 또는 특성들은 하나 이상의 예들 및/또는 특징들로 조합될 수 있다.
예시적인 특징들인 것으로 현재 고려되는 것이 예시 및 기재되었지만, 다양한 다른 수정들이 이루어질 수 있고, 등가물들은 청구된 요지로부터 벗어남 없이 교체될 수 있다는 것이 당업자들에 의해 이해될 것이다. 부가적으로, 본원에 기재된 중심 개념으로부터 벗어남 없이 청구된 요지의 교시들에 특정한 상황을 적응시키도록 다수의 수정들이 이루어질 수 있다. 그러므로, 청구된 요지는 개시된 특정한 예들로 제한되지 않고, 이러한 청구된 요지는 첨부된 청구항들 및 그의 등가물들의 범위 내에 있는 모든 양상들을 또한 포함할 수 있다는 것이 의도된다.

Claims (23)

  1. 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하는 단계; 및
    상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여, 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 단계를 포함하고,
    상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 단계는, 상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여, 상기 프리젠테이션 영역의 포인트 또는 에지를 선택하고 상기 3 차원 특징의 포인트 또는 에지를 선택하여 상기 프리젠테이션 영역의 상기 포인트 또는 에지와 상기 3 차원 특징의 상기 포인트 또는 에지를 연관시키는 것을 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 3 차원 특징을 추출하는 단계는 상기 3 차원 특징의 전자 표현(electronic representation)을 획득하기 위해 물체 인식을 상기 3 차원 특징에 적용하는 단계를 포함하고,
    상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 단계는 상기 프리젠테이션 영역의 프리젠테이션 표면과 상기 3 차원 특징의 전자 표현을 연관시키는 단계를 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 프리젠테이션 표면에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 개시하는 단계를 더 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 모바일 디바이스에서 수신된 하나 이상의 부가적인 사용자 입력들에 응답하여 상기 3 차원 특징에 대해 상기 부착된 프리젠테이션 표면의 위치 및 방위(orientation) 중 적어도 하나를 변경하는 단계를 더 포함하는,
    방법.
  5. 제 4 항에 있어서,
    상기 모바일 디바이스의 터치-감지 그래픽 디스플레이에서 상기 카메라 뷰를 제공하는 단계; 및
    상기 카메라 뷰가 상기 터치-감지 그래픽 디스플레이에서 제공되는 동안에, 상기 3 차원 특징에 대해 상기 부착된 프리젠테이션 표면의 위치 및 방위 중 적어도 하나를 적어도 부분적으로 정의하기 위해, 상기 터치-감지 그래픽 디스플레이를 통해 상기 하나 이상의 부가적인 사용자 입력들을 수신하는 단계를 더 포함하는,
    방법.
  6. 제 1 항에 있어서,
    상기 부착된 프리젠테이션 표면과 상기 미디어 콘텐츠 아이템을 연관시키는 단계를 더 포함하는,
    방법.
  7. 제 1 항에 있어서,
    상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여 미디어 콘텐츠 아이템에 대한 활성화 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 단계; 및
    상기 부착된 활성화 영역에서 수신된 사용자 선택에 응답하여 제 2 모바일 디바이스를 통해 상기 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블하는 단계를 더 포함하는,
    방법.
  8. 제 1 항에 있어서,
    상기 추출된 3 차원 특징에 대해 상기 미디어 콘텐츠 아이템에 대한 활성화 영역을 정의하는 단계;
    상기 미디어 콘텐츠 아이템과 활성화 영역을 연관시키는 단계; 및
    상기 모바일 디바이스가 상기 활성화 영역 내에 진입하는 것에 응답하여 상기 모바일 디바이스에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 개시하는 단계를 더 포함하는,
    방법.
  9. 제 1 항에 있어서,
    상기 실세계 물체의 3 차원 특징을 추출하는 단계는 통신 네트워크를 통해 상기 모바일 디바이스로부터 서버 시스템에서 상기 포착된 카메라 뷰를 수신하는 단계를 포함하고,
    상기 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 단계는, 상기 통신 네트워크를 통해 상기 모바일 디바이스로부터 상기 서버 시스템에서 상기 사용자 입력을 수신하는 단계 및 상기 서버 시스템에서 상기 사용자 입력을 수신하는 것에 응답하여 상기 부착 단계를 개시하는 단계를 포함하는,
    방법.
  10. 제 9 항에 있어서,
    상기 통신 네트워크를 통해 상기 모바일 디바이스로부터 서버 시스템에서 상기 모바일 디바이스의 후속 카메라 뷰를 수신하는 단계 ― 상기 후속 카메라 뷰는 상기 프리젠테이션 영역을 포착함 ― ; 및
    상기 모바일 디바이스의 후속 카메라 뷰에서 포착된 상기 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 위해 상기 통신 네트워크를 통해 상기 서버 시스템으로부터 상기 모바일 디바이스로 상기 미디어 콘텐츠 아이템의 전송을 개시함으로써 상기 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블하는 단계를 더 포함하는,
    방법.
  11. 제 1 항에 있어서,
    제 2 모바일 디바이스의 카메라 뷰가 상기 3 차원 특징에 부착된 상기 프리젠테이션 영역을 포착함에 따라, 상기 제 2 모바일 디바이스에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블하는 단계를 더 포함하는,
    방법.
  12. 제 11 항에 있어서,
    상기 제 2 모바일 디바이스에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 인에이블하는 단계는,
    통신 네트워크를 통해 상기 제 2 모바일 디바이스로부터 서버 시스템에서 상기 제 2 모바일 디바이스의 카메라 뷰를 수신하는 단계; 및
    상기 제 2 모바일 디바이스의 카메라 뷰에서 포착된 상기 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 위해, 상기 통신 네트워크를 통해 상기 서버 시스템으로부터 상기 제 2 모바일 디바이스로, 상기 제 2 모바일 디바이스의 카메라 뷰에서 상기 프리젠테이션 영역의 로케이션을 정의하는 프리젠테이션 영역 정의부 및 상기 미디어 콘텐츠 아이템의 전송을 개시하는 단계를 포함하는,
    방법.
  13. 모바일 디바이스를 포함하는 장치로서,
    상기 모바일 디바이스는,
    사용자 입력을 수신하기 위한 사용자 입력 디바이스;
    카메라 뷰를 포착하기 위한 카메라;
    적어도 상기 카메라에 의해 포착된 상기 카메라 뷰를 제공하기 위한 그래픽 디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하기 위한 명령들; 및
    상기 사용자 입력 디바이스를 통해 상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하기 위한 명령들로 프로그래밍되고,
    상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 것은, 상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여, 상기 프리젠테이션 영역의 포인트 또는 에지를 선택하고 상기 3 차원 특징의 포인트 또는 에지를 선택하여 상기 프리젠테이션 영역의 상기 포인트 또는 에지와 상기 3 차원 특징의 상기 포인트 또는 에지를 연관시키는 것을 포함하는,
    장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 3 차원 특징의 전자 표현을 획득하기 위해 물체 인식을 상기 3 차원 특징에 적용함으로써 상기 3 차원 특징을 추출하기 위한 명령들; 및
    상기 프리젠테이션 영역의 프리젠테이션 표면과 상기 3 차원 특징의 전자 표현을 연관시킴으로써 상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하기 위한 명령들로 추가로 프로그래밍되는,
    장치.
  15. 제 13 항에 있어서,
    상기 프로세서는,
    상기 그래픽 디스플레이를 통해 상기 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 개시하기 위한 명령들로 추가로 프로그래밍되는,
    장치.
  16. 제 13 항에 있어서,
    상기 프로세서는,
    상기 사용자 입력 디바이스에서 수신된 하나 이상의 부가적인 사용자 입력들에 응답하여 상기 3 차원 특징에 대해 상기 부착된 프리젠테이션 표면의 위치 및 방위 중 적어도 하나를 변경하기 위한 명령들로 추가로 프로그래밍되는,
    장치.
  17. 저장 매체를 포함하는 장치로서,
    상기 저장 매체는,
    무선 통신 네트워크를 통해 모바일 디바이스로부터 카메라 뷰를 획득하고,
    상기 카메라 뷰에서 포착된 하나 이상의 실세계 물체의 3 차원 특징을 추출하고,
    상기 무선 통신 네트워크를 통해 상기 모바일 디바이스로부터 수신된 사용자 입력에 응답하여 미디어 콘텐츠에 대한 프리젠테이션 영역을 상기 추출된 3 차원 특징의 적어도 일부분에 부착하고,
    상기 부착된 프리젠테이션 영역과 미디어 콘텐츠 아이템을 연관시키고,
    상기 무선 통신 네트워크를 통해 상기 미디어 콘텐츠를 또 다른 모바일 디바이스로 전송함으로써 상기 부착된 프리젠테이션 영역에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 개시하도록 컴퓨팅 플랫폼에 의해 실행 가능한 명령들을 그 안에 저장하고,
    상기 프리젠테이션 영역을 상기 추출된 3 차원 특징의 적어도 일부분에 부착하는 것은, 상기 모바일 디바이스로부터 수신된 사용자 입력에 응답하여, 상기 프리젠테이션 영역의 포인트 또는 에지를 선택하고 상기 추출된 3 차원 특징의 포인트 또는 에지를 선택하여 상기 프리젠테이션 영역의 상기 포인트 또는 에지와 상기 추출된 3 차원 특징의 상기 포인트 또는 에지를 연관시키는 것을 포함하는,
    장치.
  18. 제 17 항에 있어서,
    상기 저장 매체는,
    상기 무선 통신 네트워크를 통해 상기 모바일 디바이스로부터 수신된 하나 이상의 부가적인 사용자 입력들에 응답하여 상기 3 차원 특징에 대해 상기 부착된 프리젠테이션 표면의 위치 및 방위 중 적어도 하나를 변경하도록 상기 컴퓨팅 플랫폼에 의해 실행 가능한 명령들을 그 안에 추가로 저장하는,
    장치.
  19. 제 17 항에 있어서,
    상기 저장 매체는,
    상기 3 차원 특징의 전자 표현을 획득하기 위해 물체 인식을 상기 3 차원 특징에 적용함으로써 상기 3 차원 특징을 추출하고,
    상기 프리젠테이션 영역의 프리젠테이션 표면과 상기 3 차원 특징의 전자 표현을 연관시킴으로써 상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하도록 상기 컴퓨팅 플랫폼에 의해 실행 가능한 명령들을 그 안에 추가로 저장하는,
    장치.
  20. 모바일 디바이스의 카메라 뷰에서 포착된 실세계 물체의 3 차원 특징을 추출하기 위한 수단; 및
    상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여 미디어 콘텐츠 아이템에 대한 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하기 위한 수단을 포함하고,
    상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하는 것은, 상기 모바일 디바이스에서 수신된 사용자 입력에 응답하여, 상기 프리젠테이션 영역의 포인트 또는 에지를 선택하고 상기 3 차원 특징의 포인트 또는 에지를 선택하여 상기 프리젠테이션 영역의 상기 포인트 또는 에지와 상기 3 차원 특징의 상기 포인트 또는 에지를 연관시키는 것을 포함하는,
    장치.
  21. 제 20 항에 있어서,
    상기 모바일 디바이스에서 수신된 하나 이상의 부가적인 사용자 입력들에 응답하여 상기 3 차원 특징에 대해 상기 부착된 프리젠테이션 표면의 위치 및 방위 중 적어도 하나를 변경하기 위한 수단을 더 포함하는,
    장치.
  22. 제 20 항에 있어서,
    상기 모바일 디바이스의 그래픽 디스플레이를 통해 상기 프리젠테이션 표면에서 상기 미디어 콘텐츠 아이템의 프리젠테이션을 개시하기 위한 수단을 더 포함하는,
    장치.
  23. 제 20 항에 있어서,
    상기 3 차원 특징을 추출하기 위한 수단은 상기 3 차원 특징의 전자 표현을 획득하기 위해 물체 인식을 상기 3 차원 특징에 적용하기 위한 수단을 포함하고,
    상기 프리젠테이션 영역을 상기 3 차원 특징의 적어도 일부분에 부착하기 위한 수단은 상기 프리젠테이션 영역의 프리젠테이션 표면과 상기 3 차원 특징의 전자 표현을 연관시키기 위한 수단을 포함하는,
    장치.
KR1020137001167A 2010-06-17 2011-06-17 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑 KR101433305B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/818,014 US20110310227A1 (en) 2010-06-17 2010-06-17 Mobile device based content mapping for augmented reality environment
US12/818,014 2010-06-17
PCT/US2011/040969 WO2011160076A2 (en) 2010-06-17 2011-06-17 Mobile device based content mapping for augmented reality environment

Publications (2)

Publication Number Publication Date
KR20130029800A KR20130029800A (ko) 2013-03-25
KR101433305B1 true KR101433305B1 (ko) 2014-08-22

Family

ID=44627433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001167A KR101433305B1 (ko) 2010-06-17 2011-06-17 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑

Country Status (13)

Country Link
US (1) US20110310227A1 (ko)
EP (1) EP2583254B1 (ko)
JP (2) JP5766795B2 (ko)
KR (1) KR101433305B1 (ko)
CN (1) CN103814397A (ko)
DK (1) DK2583254T3 (ko)
ES (1) ES2791823T3 (ko)
HU (1) HUE049025T2 (ko)
IN (1) IN2013CN00115A (ko)
PL (1) PL2583254T3 (ko)
PT (1) PT2583254T (ko)
SI (1) SI2583254T1 (ko)
WO (1) WO2011160076A2 (ko)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
KR101397712B1 (ko) * 2010-07-27 2014-06-27 주식회사 팬택 증강 현실 객체 인식 가이드 제공 장치 및 방법
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8793357B2 (en) * 2011-04-02 2014-07-29 Open Invention Network, Llc System and method for persisting mobile agents within a mobile region of interest
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
WO2013023705A1 (en) * 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
JP5765256B2 (ja) * 2012-02-01 2015-08-19 コニカミノルタ株式会社 文書管理装置、エアタグ情報管理システムおよびプログラム
WO2013116901A1 (en) * 2012-02-08 2013-08-15 Fairweather Corporation Pty Ltd. Computing device for facilitating discounting and promotions using augmented reality
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
JP2015520889A (ja) * 2012-05-31 2015-07-23 インテル コーポレイション 拡張現実サービスを提供するための方法、サーバ及びコンピュータ読み取り可能な記録媒体
US9135735B2 (en) * 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
US9514570B2 (en) 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
WO2014100688A2 (en) * 2012-12-20 2014-06-26 Accenture Global Services Limited Context based augmented reality
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9361716B1 (en) * 2013-03-15 2016-06-07 Ca, Inc. System and method for increasing the system awareness of IT operations personnel with augmented reality
KR20140129513A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 전자 문서의 정보 제공 방법 및 이를 지원하는 전자 장치
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR102158843B1 (ko) 2013-08-05 2020-10-23 삼성전자주식회사 모바일 디바이스를 이용한 사용자 입력 방법 및 모바일 디바이스
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US9106887B1 (en) 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US10930038B2 (en) * 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US9619940B1 (en) 2014-06-10 2017-04-11 Ripple Inc Spatial filtering trace location
US9646418B1 (en) * 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10475239B1 (en) * 2015-04-14 2019-11-12 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) * 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
CN107924495A (zh) * 2015-09-02 2018-04-17 因温特奥股份公司 使用移动装置维护建筑物内的运输设备
US11699266B2 (en) 2015-09-02 2023-07-11 Interdigital Ce Patent Holdings, Sas Method, apparatus and system for facilitating navigation in an extended scene
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10120437B2 (en) 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US11468111B2 (en) 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
EP3577632A4 (en) 2017-03-09 2020-07-22 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR IMPROVING THE EXTENDED REALITY EXPERIENCE ON USER DEVICES BASED ON INTERNAL CONTENT
KR102000960B1 (ko) * 2017-03-20 2019-07-18 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
IT201700058961A1 (it) 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
US11175516B1 (en) 2018-02-27 2021-11-16 Snap Inc. Object recognition for improving interfaces on an eyewear device and other wearable and mobile devices
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10922895B2 (en) 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment
US10349059B1 (en) 2018-07-17 2019-07-09 Wowza Media Systems, LLC Adjusting encoding frame size based on available network bandwidth
KR102181499B1 (ko) * 2019-03-14 2020-11-23 주식회사 듀코젠 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
US10963140B2 (en) * 2019-04-12 2021-03-30 John William Marr Augmented reality experience creation via tapping virtual surfaces in augmented reality
US11430168B2 (en) * 2019-08-16 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for rigging 3D scanned human models
JP2022549439A (ja) * 2019-09-25 2022-11-25 ヌードル テクノロジー インコーポレイテッド 無線機を使用して信号をキャプチャすることによって現実を拡張すること
US11195020B1 (en) * 2019-10-29 2021-12-07 Facebook Technologies, Llc Systems and methods for maintaining virtual spaces
EP4070150A4 (en) * 2019-12-06 2023-12-06 Magic Leap, Inc. DYNAMIC BROWSER STAGE
US11137976B1 (en) 2020-09-11 2021-10-05 Google Llc Immersive audio tours
WO2023034009A1 (en) * 2021-09-01 2023-03-09 Snap Inc. Handcrafted augmented reality experiences
US11880942B2 (en) * 2021-12-07 2024-01-23 Verizon Patent And Licensing Inc. Systems and methods for using a location-based field of view associated with a virtual location marker

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (ko) * 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
US20090079700A1 (en) * 2007-09-24 2009-03-26 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4253567B2 (ja) * 2003-03-28 2009-04-15 オリンパス株式会社 データオーサリング処理装置
JP4589343B2 (ja) * 2004-02-13 2010-12-01 エンビジョンアイティー・エルエルシー 公共サービスメッセージの放送システム及び方法
FR2887057B1 (fr) * 2005-06-08 2007-12-21 Decopole Sa Procede et systeme d'elaboration de caracteristiques geometriques d'une image encodee numeriquement
US7577522B2 (en) * 2005-12-05 2009-08-18 Outland Research, Llc Spatially associated personal reminder system and method
US20080221989A1 (en) * 2007-03-09 2008-09-11 Samsung Electronics Co., Ltd. Method and system for providing sponsored content on an electronic device
US7636574B2 (en) * 2006-05-19 2009-12-22 Alcatel-Lucent Auctioning of message delivery opportunities in a location-based services system
US7784461B2 (en) * 2006-09-26 2010-08-31 Nellcor Puritan Bennett Llc Three-dimensional waveform display for a breathing assistance system
US20090161963A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US8745657B2 (en) * 2008-02-13 2014-06-03 Innovid Inc. Inserting interactive objects into video content
US8314779B2 (en) * 2009-02-23 2012-11-20 Solomon Systech Limited Method and apparatus for operating a touch panel
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US9118428B2 (en) * 2009-11-04 2015-08-25 At&T Intellectual Property I, L.P. Geographic advertising using a scalable wireless geocast protocol
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677502B1 (ko) * 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
US20090079700A1 (en) * 2007-09-24 2009-03-26 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G. Takacs, et al. Outdoors augmented reality on mobile phone using loxel-based visual feature organization. Proc. of the 1st ACM int'l conf. on Multimedia information retrieval. Oct. 2008, pp.427-434. *
G. Takacs, et al. Outdoors augmented reality on mobile phone using loxel-based visual feature organization. Proc. of the 1st ACM int'l conf. on Multimedia information retrieval. Oct. 2008, pp.427-434.*
N. Henze, et al. Designing a CD augmentation for mobile phones. CHI'10 Extended Abstracts on Human Factors in Computing Systems. ACM. Apr. 2010, pp.3979-3984. *
N. Henze, et al. Designing a CD augmentation for mobile phones. CHI'10 Extended Abstracts on Human Factors in Computing Systems. ACM. Apr. 2010, pp.3979-3984.*

Also Published As

Publication number Publication date
JP2015144007A (ja) 2015-08-06
SI2583254T1 (sl) 2020-07-31
KR20130029800A (ko) 2013-03-25
ES2791823T3 (es) 2020-11-06
US20110310227A1 (en) 2011-12-22
DK2583254T3 (da) 2020-04-14
JP5766795B2 (ja) 2015-08-19
IN2013CN00115A (ko) 2015-07-03
JP2013538377A (ja) 2013-10-10
HUE049025T2 (hu) 2020-08-28
CN103814397A (zh) 2014-05-21
WO2011160076A3 (en) 2013-06-27
PT2583254T (pt) 2020-05-15
EP2583254B1 (en) 2020-02-12
WO2011160076A2 (en) 2011-12-22
PL2583254T3 (pl) 2020-07-27
EP2583254A2 (en) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
EP3616035B1 (en) Augmented reality interface for interacting with displayed maps
CA2799443C (en) Method and apparatus for presenting location-based content
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
EP2671188B1 (en) Context aware augmentation interactions
US8890896B1 (en) Image recognition in an augmented reality application
US11922588B2 (en) Cooperative augmented reality map interface
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US20150040074A1 (en) Methods and systems for enabling creation of augmented reality content
US20110145718A1 (en) Method and apparatus for presenting a first-person world view of content
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
CN104335268A (zh) 用于为地图视图改变提供三维过渡动画的方法、系统和装置
US10931926B2 (en) Method and apparatus for information display, and display device
Brondi et al. Mobile augmented reality for cultural dissemination
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
KR102204721B1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
Lue et al. 3D whiteboard: collaborative sketching with 3D-tracked smart phones
Nowostawski et al. A Virtual Spatiotemporal Annotation System: The Virtual Stickies Mobile Augmented Reality Study
Alce et al. VENTURI-immersiVe ENhancemenT of User-woRld Interactions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 6