KR101617111B1 - 무선 통신 디바이스들에 대한 핸즈-프리 증강 현실 - Google Patents

무선 통신 디바이스들에 대한 핸즈-프리 증강 현실 Download PDF

Info

Publication number
KR101617111B1
KR101617111B1 KR1020147015244A KR20147015244A KR101617111B1 KR 101617111 B1 KR101617111 B1 KR 101617111B1 KR 1020147015244 A KR1020147015244 A KR 1020147015244A KR 20147015244 A KR20147015244 A KR 20147015244A KR 101617111 B1 KR101617111 B1 KR 101617111B1
Authority
KR
South Korea
Prior art keywords
content
single image
scene
image
wcd
Prior art date
Application number
KR1020147015244A
Other languages
English (en)
Other versions
KR20140088903A (ko
Inventor
바박 포루탄푸어
루벤 엠 벨라르데
데이비드 엘 베드너
브라이언 리 모메이어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140088903A publication Critical patent/KR20140088903A/ko
Application granted granted Critical
Publication of KR101617111B1 publication Critical patent/KR101617111B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 개시는 무선 통신 디바이스 (WCD) 상에 핸즈-프리 증강 현실을 제공하는 기술들에 관한 것이다. 그 기술들에 따르면, WCD 내의 어플리케이션 프로세서는 증강 현실 (AR) 어플리케이션을 실행하여 복수의 이미지 프레임들을 수신하고, 복수의 이미지 프레임들을, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함하는 단일 화상으로 변환한다. 그 후, AR 어플리케이션을 실행하는 WCD 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하고, 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하며, WCD 상으로의 사용자로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다. 이러한 방식으로, 사용자는 WCD 의 디스플레이 상에서 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 관측하여, 단일 화상에 표현된 장면에 관하여 더 많이 학습할 수도 있다.

Description

무선 통신 디바이스들에 대한 핸즈-프리 증강 현실{HANDS-FREE AUGMENTED REALITY FOR WIRELESS COMMUNICATION DEVICES}
본 출원은 2011년 11월 8일자로 출원된 미국 가출원번호 제61/557,265호의 이익을 주장하며, 그 전체 내용들은 본 명세서에 참조로 통합된다.
본 개시는 무선 통신 디바이스들에 관한 것으로서, 더 상세하게는, 무선 통신 디바이스들 상의 증강 현실 어플리케이션들에 관한 것이다.
무선 통신 디바이스(WCD)들은 모바일 전화기들, 무선 통신 카드들을 갖는 휴대용 컴퓨터들, 개인 디지털 보조기(PDA)들, 휴대용 미디어 플레이어들, 휴대용 게이밍 디바이스들, 또는 소위 "스마트" 폰들 및 "스마트" 패드들 또는 태블릿들을 포함하여 무선 통신 능력들을 갖는 다른 디바이스들을 포함한다. WCD들은 통상적으로 한정된 배터리 리소스들에 의해 전력공급된다. 따라서, WCD들 및 WCD들 상에서 구동하는 어플리케이션들을 설계할 경우 개선된 배터리 수명 및 배터리 수명 보존이 최고의 관심사이다. 하지만, 배터리 수명에 대한 관심사는 WCD들 상에서 구동하는 어플리케이션들에 있어서의 증가된 피처들에 대한 수요들에 의해 상쇄된다.
일 예로서, 증강 현실 (AR) 어플리케이션들이 WCD들 상에서 점점더 인기있게 되고 있다. AR 어플리케이션은, WCD 내의 카메라에 의해 캡처되는 실시간 비디오에 표현된 장면에 대한 정보를 수집함으로써 WCD 에서 동작한다. AR 어플리케이션은 실시간 비디오를 AR 서버로 전송한다. 그 후, AR 어플리케이션은 실시간 비디오에 표현된 장면에 대한 AR 콘텐츠를 AR 서버로부터 수신하고, AR 콘텐츠를, 사용자로의 디스플레이를 위해 실시간 비디오 상으로 오버레이한다. AR 콘텐츠는, 실시간 비디오의 장면에 포함되는 비즈니스들, 랜드마크들, 교통, 사람들, 오브젝트들 등에 관한 정보를 포함할 수도 있다.
AR 어플리케이션이 WCD 에서 실행하고 있을 경우, 상기 단계들은 실시간 비디오의 각각의 장면에 대한 AR 콘텐츠를 WCD 의 사용자에게 프리젠테이션하도록 발생할 수도 있다. 예를 들어, WCD 의 사용자는 도시 거리를 따라 단일 방향으로 비디오를 촬영하고 그 장면에 대한 정보를 수신할 수도 있다. 사용자가 WCD 를 시프팅하거나 틸팅 (tilt) 하거나 또는 패닝 (pan) 할 경우, WCD 내의 카메라는, 예를 들어, 동일 거리를 따라 상이한 방향으로 상이한 장면을 표현하는 실시간 비디오를 캡처할 것이고, 새로운 장면에 대한 정보를 수신하기 위해 상기 단계들이 반복될 것이다.
일반적으로, 본 개시는 무선 통신 디바이스 (WCD) 상에 핸즈-프리 증강 현실을 제공하는 기술들에 관한 것이다. 그 기술들에 따르면, WCD 내의 어플리케이션 프로세서는 증강 현실 (AR) 어플리케이션을 실행하여 복수의 이미지 프레임들을 수신하고, 복수의 이미지 프레임들을, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함하는 단일 화상으로 변환한다. 이미지 프레임들을 단일 화상으로 변환한 후, AR 어플리케이션을 실행하는 WCD 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하고, 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하며, WCD 상으로의 사용자로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다. 이러한 방식으로, 사용자는 WCD 의 디스플레이 상에서 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 관측하여, 예를 들어, 장면이 캡처된 이후 반드시 WCD 를 그 장면에 지속적으로 지향시킬 필요없이, 단일 화상에 표현된 장면에 관하여 더 많이 학습할 수도 있다. 예를 들어, AR 콘텐츠는, 단일 화상의 장면에 포함되는 비즈니스들, 랜드마크들, 교통, 사람들, 오브젝트들 등에 관한 정보를 포함할 수도 있다.
일 예에 있어서, 본 개시는 WCD 로 증강 현실 어플리케이션을 실행하는 방법에 관한 것이고, 그 방법은 WCD 의 프로세서로, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하는 단계, 및 복수의 이미지 프레임들을 단일 화상으로 변환하는 단계를 포함하며, 여기서, 단일 화상은, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함한다. 그 방법은 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 단계, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하는 단계, 및 WCD 상으로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱하는 단계를 더 포함한다.
다른 예에 있어서, 본 개시는 증강 현실 어플리케이션을 실행하는 WCD 에 관한 것이고, 그 WCD 는 이미지 데이터를 저장하기 위한 메모리; 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하고, 복수의 이미지 프레임들을 단일 화상으로 변환하는 것으로서, 그 단일 화상은, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함하는, 상기 단일 화상으로 변환하고, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하고, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하며, 그리고 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱하도록, 구성된 프로세서; 및 오버레이된 AR 콘텐츠를 갖는 단일 화상을 WCD 의 사용자에게 프리젠테이션하기 위한 디스플레이를 포함한다.
추가의 예에 있어서, 본 개시는 증강 현실 어플리케이션을 실행하는 WCD 에 관한 것이고, 그 WCD 는, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하는 수단, 및 복수의 이미지 프레임들을 단일 화상으로 변환하는 수단을 포함하며, 여기서, 단일 화상은, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함한다. WCD 는 또한, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 수단, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하는 수단, 및 WCD 상으로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱하는 수단을 포함한다.
다른 예에 있어서, 본 개시는 증강 현실 어플리케이션을 실행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 관한 것이고, 그 명령들은 WCD 에서 실행될 경우 하나 이상의 프로그램가능 프로세서들로 하여금, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하게 하고, 복수의 이미지 프레임들을 단일 화상으로 변환하게 하는 것으로서, 그 단일 화상은, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함하는, 상기 단일 화상으로 변환하게 하고, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하게 하고, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하게 하며, 그리고 WCD 상으로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱하게 한다.
본 개시의 하나 이상의 예들의 상세들은 첨부 도면들 및 하기의 설명에 기재된다. 다른 특징들, 목적들, 및 이점들은 그 설명 및 도면들로부터, 그리고 청구항들로부터 명백할 것이다.
도 1 은 개시된 기술들의 일 예에 따른 핸즈-프리 증강 현실을 제공할 수 있는 무선 통신 디바이스 (WCD) 를 도시한 블록 다이어그램이다.
도 2 는 종래 기술들에 따른 증강 현실 어플리케이션을 실행하는 예시적인 WCD 를 도시한 개념 다이어그램이다.
도 3 은 개시된 기술들의 일 예에 따른 핸즈-프리 증강 현실 어플리케이션을 실행하는 WCD 에 의해 생성되는 오버레이된 AR 콘텐츠를 갖는 장면을 표현한 단일 화상을 도시한 개념 다이어그램이다.
도 4 는 장면을 표현하는 단일 화상 상에 AR 콘텐츠를 오버레이하기 위해 WCD 로 핸즈-프리 증강 현실 어플리케이션을 실행하는 예시적인 기술을 도시한 플로우차트이다.
도 5 는 WCD 로의 사용자 입력에 기초하여 AR 콘텐츠 세팅들에 따른 핸즈-프리 증강 현실 어플리케이션을 실행하는 예시적인 기술을 도시한 플로우차트이다.
도 1 은 개시된 기술들에 따른 핸즈-프리 증강 현실을 제공할 수 있는 무선 통신 디바이스 (WCD) (10) 를 도시한 블록 다이어그램이다. 그 기술들은, 사용자가 장면에 대한 증강 현실 (AR) 콘텐츠를 수신 및 검토하기 위해 장면에 포인팅된 카메라 (20) 를 갖는 WCD 를 계속 잡고 있을 필요가 없기 때문에 "핸즈-프리" 로 간주될 수도 있다. 대신, 그 기술들은, 사용자로 하여금, 장면이 캡처된 이후 WCD (10) 를 그 장면에 지속적으로 지향시키지 않고, 장면에 대한 AR 콘텐츠를 검토하기 위해 편안하게 WCD (10) 를 사용자의 무릎에 두거나 WCD (10) 를 테이블 상에 위치시킬 수 있게 한다.
WCD (10) 는 모바일 전화기를 포함한 모바일 디바이스, 무선 통신 카드를 갖는 휴대용 컴퓨터, 개인 디지털 보조기(PDA), 휴대용 미디어 플레이어, 휴대용 게이밍 디바이스, 또는 소위 "스마트" 폰 및 "스마트" 패드 또는 태블릿 컴퓨터를 포함하여 무선 통신 능력들을 갖는 다른 디바이스일 수도 있다. 도 1 에 도시된 바와 같이, WCD (10) 는 어플리케이션 프로세서 (12), 증강 현실 (AR) 어플리케이션 (14), 디스플레이 프로세서 (16), 디스플레이 (18), 카메라 (20), 하나 이상의 센서들 (22), 메모리 (24), 송신기/수신기 (TX/RX) (26), 및 배터리 (28), 즉, 배터리 기반 전력 공급부를 포함한다.
일반적으로, 어플리케이션 프로세서 (12) 는, AR 어플리케이션 (14) 을 포함한 다양한 어플리케이션들이 WCD (10) 상에서 구동할 수도 있는 환경을 제공한다. 부가의 예시적인 어플리케이션들은 텍스팅 어플리케이션들, 이메일 어플리케이션들, 비디오 게임 어플리케이션들, 비디오 또는 화상 슬라이드쇼 어플리케이션들, 프리젠테이션 어플리케이션들, 비디오 컨퍼런싱 어플리케이션들 등을 포함한다. 어플리케이션 프로세서 (12) 는 이들 어플리케이션들에 의한 사용을 위한 데이터를 메모리 (24), 카메라 (20), 및/또는 센서들 (22) 로부터 수신할 수도 있다. 카메라 (20) 는 스틸 화상들 및/또는 비디오를 캡처할 수 있는 이미지 센서를 포함할 수도 있다. 센서들 (22) 은 콤파스 센서, 글로벌 포지셔닝 신호 (GPS) 센서, 또는 WCD (10) 에 내장된 다른 타입의 위치 결정 센서를 포함할 수도 있다. 어플리케이션 데이터를 WCD (10) 상에 프리젠테이션하기 위해, 디스플레이 프로세서 (16) 는 디스플레이 (18) 상으로의 프리젠테이션을 위해 어플리케이션 프로세서 (12) 로부터의 이미지 데이터를 프로세싱한다. 일부 경우들에 있어서, WCD (10) 는 또한 비디오 인코더, 비디오 디코더, 및/또는 "코덱" 으로서 공지된 비디오 인코더와 디코더의 조합을 포함할 수도 있다.
본 개시의 기술들에 따르면, WCD (10) 내의 어플리케이션 프로세서 (12) 는 증강 현실 (AR) 어플리케이션 (14) 을 실행하여, 장면의 상이한 부분들을 표현하는 복수의 이미지 프레임들을 수신하고, 복수의 이미지 프레임들을, 복수의 이미지 프레임들을 포함하는 단일 화상으로 변환한다. 복수의 이미지 프레임들 모두 또는 그 부분들은 장면을 표현하는 단일 화상을 형성하기 위해 함께 스티칭될 수도 있다. 이미지 프레임들을 단일 화상으로 변환한 후, 어플리케이션 프로세서 (12) 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하고, 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하며, WCD (12) 상으로의 사용자로의 디스플레이를 위해 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다. 이러한 방식으로, 사용자는 WCD (10) 의 디스플레이 (18) 상에서 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 관측하여, 예를 들어, 단일 화상에 캡처된 장면을 향해 배향되지 않지만, 단일 화상에 표현된 장면에 관하여 더 많이 학습할 수도 있다.
AR 어플리케이션 (14) 은, 어플리케이션 프로세서 (12) 에 의해 실행될 경우, 단일 화상에 표현된 장면에 관한 정보를 WCD (10) 의 사용자에게 제공한다. 단일 화상에 표현된 장면은 거리들, 빌딩들, 차량들, 공원들, 물줄기들 등을 포함한 옥외 영역들을 포함할 수도 있다. 장면은 또한 사무 빌딩들 및 쇼핑 몰들의 내부를 포함한 옥내 영역들을 포함할 수도 있다. 부가적으로, 장면은 사람들을 포함할 수도 있다. 장면 타입들의 상기 리스트는 예시적이며, AR 콘텐츠가 AR 어플리케이션 (14) 을 통해 제공될 수도 있는 장면 타입들의 완전한 리스트를 제공하지는 않는다.
장면에 대해 제공된 AR 콘텐츠는, 식당 및 바들에 대한 운영 시간들, 메뉴들 및 스페셜들, 식료품 상점 및 소매 상점에서의 판매들, 다가오는 이벤트들, 및/또는 비즈니스들의 고객 평가와 같은 비즈니스들에 관한 정보를 장면 내에 포함할 수도 있다. AR 콘텐츠는 또한, 대중 교통 시간표들, 공원 정보, 유적지들 및 이벤트들, 관광객 정보, 및/또는 경찰서 및 긴급 서비스들의 위치들과 같이 장면에 포함된 도시 또는 이웃에 관한 정보를 포함할 수도 있다. 부가적으로, AR 콘텐츠는 장면에 포함된 외국어 표지들의 번역을 포함할 수도 있다. AR 콘텐츠는, 사람이 소셜 네트워킹 컴퍼니를 통해 사용자에 접속되는지 여부 및 그 방법과 같이, 장면에 포함된 사람들의 식별을 더 포함할 수도 있다. AR 콘텐츠는 또한 온도, 일기 예보, 및/또는 오염 및 알레르겐 수준과 같은 환경 정보를 포함할 수도 있다. AR 콘텐츠의 타입들의 상기 리스트는 예시적이며, AR 어플리케이션 (14) 을 통해 장면에 관해 제공될 수도 있는 정보의 타입들의 완전한 리스트를 제공하지는 않는다.
종래에 실행된 AR 어플리케이션들은 사용자로 하여금 WCD 를 계속 잡고 있게 하고 WCD 에 포함된 카메라로 단일 방향에서 장면의 실시간 비디오를 촬영하도록 요구한다. 사용자가 WCD 를 잡고 있고 실시간 비디오를 촬영하는 동안, 사용자는 "프리뷰" 윈도우에서 WCD 상에 디스플레이된 실시간 비디오 상에 오버레이된 AR 콘텐츠를 시청할 수 있다. 일단 사용자가 그 팔을 드롭시키고 실시간 비디오 촬영을 중지하면, 장면 및 AR 콘텐츠는 더 이상 사용자가 시청하도록 이용가능하지 않는다. 종래에 실행된 AR 어플리케이션의 일 예가 도 2 에 도시된다.
종래의 기술들은 사용자에게 자기 의식적이게 할 수도 있으며, 실시간 비디오를 촬영하고 AR 비디오 상으로 AR 콘텐츠를 시청하기 위해 WCD 를 계속 잡고 있어야 하는 것으로부터 팔의 피로 또는 소위 "고릴라 팔" 을 야기할 수 있다. 핸즈-프리 증강 현실을 제공하기 위한 하나의 솔루션은, 사용자에 의해 착용된 고글들 또는 안경들 상에 장면에 대한 AR 콘텐츠를 오버레이하는 가상 현실 (VR) 고글들을 착용하도록 한 것이었다. 이들 고글들은 "괴상한 (geeky) 것" 으로 여겨질 수도 있으며, 사용자로 하여금 WCD 를 잡고 있는 것보다 훨씬 더 자기 의식적이게 할 수도 있다. 부가적으로, VR 고글들은 통상 고가이다. 이들 종래의 기술들 양자는, 사용자로 하여금 자기 의식적이게 하고 또한 AR 어플리케이션들을 사용할 가능성이 적게 할 수도 있기 때문에 바람직하지 않다.
본 개시의 기술들은 사전에 촬영되거나 레코딩된 이미지 프레임들을, 장면을 표현하는 단일 화상으로 변환하고, 장면에 대한 AR 콘텐츠를 단일 화상 상으로 오버레이함으로써 이들 문제들을 회피시킨다. 이는 사용자로 하여금 장면을 향해 배향되어야 할 필요없이 언제라도 어느 위치에서든 장면에 대한 AR 콘텐츠를 시청하게 한다. 이러한 방식으로, 그 기술들은 고글들 또는 다른 외부 디바이스들에 대한 필요없이 핸즈-프리 증강 현실을 WCD (10) 에 제공한다.
더 상세하게, 본 개시의 기술들에 따르면, 어플리케이션 프로세서 (12) 는 AR 어플리케이션 (14) 을 실행하여, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신한다. 이미지 프레임들은 장면의 비디오 데이터의 복수의 스틸 화상들 또는 복수의 비디오 프레임들일 수도 있다. 일부 경우들에 있어서, 이미지 프레임들은 WCD (10) 외부의 저장 디바이스로부터 수신될 수도 있다. 다른 경우들에 있어서, 이미지 프레임들은 WCD (10) 에 포함된 카메라 (20) 에 의해 캡처될 수도 있다.
WCD 에 포함된 비디오 카메라를 계속 구동시키도록 사용자에게 요구하고 실시간 비디오 상에 오버레이된 AR 콘텐츠를 WCD 의 프리뷰 윈도우에서 시청하는 종래의 기술들과는 달리, 그 기술들은 사용자로 하여금 장면의 다중의 스틸 화상들 또는 수초의 비디오 데이터를 취하게 한다. 일부 예들에 있어서, 이미지 프레임들은, 파노라마 방식으로 장면에 걸쳐 WCD (10) 에 포함된 카메라 (20) 를 스위핑하여 복수의 비디오 프레임들을 포함하는 수초의 비디오 또는 복수의 스틸 화상들을 캡처함으로써 캡처될 수도 있다. 그 후, 캡처된 이미지 프레임들은 AR 어플리케이션 (14) 에 의한 사용을 위해 어플리케이션 프로세서 (12) 로 직접 전송되거나, 또는 이미지 프레임들은 메모리 (24) 에 저장되고, 추후, AR 어플리케이션 (14) 에 의한 사용을 위해 어플리케이션 프로세서 (12) 에 의해 취출될 수도 있다.
그 후, 어플리케이션 프로세서 (12) 는 다중의 스틸 화상들 또는 수초의 비디오 데이터로부터의 복수의 이미지 프레임들을, 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함하는 단일 화상으로 변환한다. 일부 예들에 있어서, WCD (10) 내의 어플리케이션 프로세서 (12) 는 복수의 이미지 프레임들을 함께 스티칭함으로써 단일 화상을 형성할 수도 있다. 어플리케이션 프로세서 (12) 는, 파노라마 장면들을 스티칭하기 위해 종래에 사용된 방식들과 같은 다양한 종래의 방식들 중 임의의 방식으로 스티칭을 수행할 수도 있다. 다른 예들에 있어서, WCD (10) 내의 어플리케이션 프로세서 (12) 는 TX/RX (26) 를 통해 원격 서버로 이미지 프레임들을 전송할 수도 있다. 이 예에 있어서, 어플리케이션 프로세서 (12) 는 원격 서버에게, 복수의 이미지 프레임들을 함께 스티칭하여 단일 화상을 형성할 것과 원격 서버로부터 단일 화상을 역으로 수신할 것을 지시한다. 단일 화상은 다중의 방향들에서 도시 거리, 유적지, 이웃 등을 표현할 수도 있다. 이러한 방식으로, 단일 화상은 장면의 파노라마 표현을 포함할 수도 있다.
예로서, 사용자는 WCD (10) 에 포함된 카메라 (20) 를 소정 위치로부터 180도 또는 360도 만큼 회전시킴으로써 장면을 파노라마 방식으로 촬영할 수도 있다. 비디오 데이터의 경우, 사용자는 장면에 걸쳐 WCD (10) 의 카메라 (20) 를 단순히 스위핑하여 초당 대략 30 프레임들을 촬영할 수도 있다. 스틸 화상들의 경우, 사용자는 전체 장면에 걸쳐, WCD (10) 의 카메라 (20) 로 스틸 화상을 취하고, 카메라 (20) 를 적은 각도로 이동시켜 다음 스틸 화상을 취하고, 그 후, 카메라 (20) 를 다시 이동시켜 다른 스틸 화상을 취하는 등등을 행할 수도 있다. 어느 경우든, 어플리케이션 프로세서 (12) 또는 원격 서버는 캡처된 이미지 프레임들을 함께 스티칭하여 단일 파노라마 화상을 생성할 수도 있다. 다중의 스틸 화상들로부터 단일 화상을 생성하기 위해, 어플리케이션 프로세서 (12) 또는 원격 서버는, 다중의 스틸 화상들을 함께 피팅하고 화상들 간의 리던던트 정보를 제거하여 이음매없는 단일 화상을 형성하도록 구성될 수도 있다. 다중의 비디오 프레임들, 즉, 수초의 비디오 데이터로부터 단일 화상을 생성하기 위해, 어플리케이션 프로세서 (12) 또는 원격 서버는, 비디오 프레임들을 일시적으로 다운 샘플링하고 비디오 프레임들 간의 리던던트 정보를 제거하여 이음매없는 단일 화상을 형성할 수도 있다.
생성된 단일 화상은, 예를 들어, 6000 × 1280 픽셀들의 사이즈를 갖는 매우 큰 이미지일 수도 있다. 일부 경우들에 있어서, WCD (10) 의 사용자 또는 WCD (10) 의 어플리케이션 프로세서 (12) 는 WCD (10) 에서 이미지 프레임들을 함께 스티칭함으로써 또는 원격 서버에서 함께 스티칭될 이미지 프레임들을 전송함으로써 단일 화상을 생성할지 여부를 선험적으로 판정할 수도 있다. 단일 화상이 WCD (10) 에서 생성될지 또는 원격 서버에서 생성될지는 WCD (10) 에서의 메모리의 양, 배터리 수명, 및 프로세싱 강도, WCD (10) 에서 이용가능한 현재 데이터 레이트, 및 데이터의 메가바이트 (MB) 당 비용에 의존할 수도 있다. 어플리케이션 프로세서 (12) 는, 예를 들어, WCD (10) 의 프로세싱 전력을 원격 서버의 프로세싱 전력과 비교할 수도 있다. 어플리케이션 프로세서 (12) 는 또한, 복수의 이미지 프레임들에 대한 단일 화상을 원격 서버로 전송하는데 얼마나 많은 전력이 필요한지를 결정하기 위해 신호 강도를 관측하고, 복수의 이미지 프레임들에 대한 단일 화상을 원격 서버로 전송하기 위해 MB 당 비용을 관측할 수도 있다. 부가적으로, 어플리케이션 프로세서 (12) 는 WCD (10) 의 잔류 배터리 수명을 결정하기 위해 WCD (10) 내의 배터리 (28) 를 관측할 수도 있다.
이들 팩터들은 각각의 WCD 및 각각의 사용자에 대해 변할 것이다. 예를 들어, WCD (10) 가 무제한 데이터 및 양호한 신호 강도를 갖는 고속 전화기이면, 어플리케이션 프로세서 (12) 는 이미지 프레임들을 국부적으로 함께 스티칭하여 단일 화상을 형성할 것이다. 한편, WCD (10) 가 낮은 피처 폰이면, 어플리케이션 프로세서 (12) 는, WCD (10) 와 연관된 데이터 플랜이 너무 고가이지 않다면, 이미지 프레임들을 스티칭을 위해 원격 서버로 전송하여 단일 화상을 생성할 것이다. 그 경우, 어플리케이션 프로세서 (12) 가 복수의 이미지 프레임들을 원격 서버로 전송하고 그 후 서버로부터 스티칭된 단일 화상을 수신하기에 엄청난 비용일 수도 있다. 부가적으로, WCD (10) 의 배터리 (28) 가 풀 (full) 전력을 갖는다면, 어플리케이션 프로세서 (12) 는 이미지 프레임들을 스티칭을 위해 원격 서버로 전송하여 단일 화상을 생성하고 원격 서버로부터 역으로 단일 화상을 수신할 수도 있다. 하지만, WCD (10) 내 배터리 (28) 의 전력 레벨이 낮으면, 어플리케이션 프로세서 (12) 는 대신 이미지 프레임들을 국부적으로 스티칭하여 단일 화상을 생성할 수도 있다.
이미지 프레임들을 단일 화상으로 변환한 후, AR 어플리케이션 (14) 을 실행하는 어플리케이션 프로세서 (12) 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청한다. 어플리케이션 프로세서 (12) 는 단일 화상을 AR 데이터베이스 서버로 전송함으로써 장면에 대한 AR 콘텐츠를 요청한다. 다른 경우들에 있어서, 어플리케이션 프로세서 (12) 는 복수의 이미지 프레임들 중 하나 이상을 AR 데이터베이스 서버로 전송함으로써 장면에 대한 AR 콘텐츠를 요청할 수도 있다. 통상적으로, AR 데이터베이스 서버는, 어플리케이션 프로세서 (12) 가 단일 화상을 TX/RX (26) 를 통해 AR 데이터베이스 서버로 전송하도록 WCD (10) 에 대한 원격 서버를 포함한다. 제 1 원격 서버가 단일 화상을 생성할 경우, AR 데이터베이스는 동일한 제 1 원격 서버에 또는 상이한 제 2 원격 서버에 저장될 수도 있다. 다른 예들에 있어서, AR 데이터베이스는 WCD (10) 에 저장될 수도 있다.
본 개시에 있어서, 그 기술들은, 단일 화상이 WCD (10) 로부터 AR 데이터베이스 서버로 전송되어 단일 화상에 표현된 장면과 연관된 AR 콘텐츠를 요청하는 경우에 따라 주로 설명된다. 하지만, 그 기술들은 또한, 복수의 이미지 프레임들, 예를 들어, 다중의 스틸 화상들 또는 다중의 비디오 프레임들이 AR 데이터베이스 서버로 직접 전송되어 이미지 프레임들 각각에 대한 AR 콘텐츠를 요청하는 경우에 적용될 수도 있음을 이해해야 한다. AR 콘텐츠가 수신된 후, 어플리케이션 프로세서 (12) 는 이미지 프레임들 각각에 대한 AR 콘텐츠를 단일 화상에 적용할 수도 있다.
어떻게 AR 콘텐츠가 장면에 대해 요청되는지에 무관하게, WCD (10) 는 단일 화상에 표현된 전체 장면에 대한 AR 콘텐츠를 수신할 수도 있다. 어플리케이션 프로세서 (12) 는 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다. 일부 예들에 있어서, 디스플레이 프로세서 (16) 는 어플리케이션 프로세서 (12) 와 함께 동작하여 AR 콘텐츠의 프로세싱 또는 렌더링을 수행할 수도 있다. 그 후, 디스플레이 프로세서 (16) 는 WCD (10) 의 디스플레이 (18) 상에 사용자로의 프리젠테이션을 위해 오버레이된 AR 콘텐츠를 갖는 단일 화상을 준비한다. 이러한 방식으로, WCD (10) 의 사용자는 디스플레이 (18) 상에서 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 관측하여, 예를 들어, 이미지에서 캡처된 장면을 향해 배향되지 않거나 앉아 있지만 주위 영역에 관하여 더 많이 학습할 수도 있다.
AR 콘텐츠는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 표현하는 텍스트 및/또는 그래픽스를 포함할 수도 있다. AR 콘텐츠는 또한, 단일 화상에 대응하는 텍스트 및/또는 그래픽스에 대한 포지션 정보를 포함할 수도 있다. 예를 들어, AR 콘텐츠는, 단일 화상에 캡처된 장소에서의 이벤트를 기술하는 텍스트를 포함할 수도 있다. AR 콘텐츠는 또한, 텍스트를 위치시킬 단일 화상 내 장소의 포지션 정보, 예를 들어, (x, y) 픽셀 포지션을 포함할 것이다.
통상적으로, AR 데이터베이스 서버는 오직 단일 화상에 대응하는 포지션 정보를 갖는 AR 콘텐츠만을 어플리케이션 프로세서 (12) 에 역으로 전송할 것이다. 예를 들어, AR 콘텐츠의 각각의 아이템은, AR 콘텐츠를 표현하는 텍스트 및/또는 그래픽스를, 단일 화상에 걸친 정확한 포지션에 위치시키기 위해 관련 좌표들을 포함한다. 이는, AR 콘텐츠를 단일 화상에 걸쳐 포지셔닝하고 오버레이된 AR 콘텐츠를 갖는 거대한 단일 화상을 WCD (10) 로 역으로 전송하는 AR 데이터베이스 서버보다 더 적은 시간 및 전력을 소비한다. 하지만, 일부 예들에 있어서, AR 데이터베이스 서버는 오버레이된 AR 콘텐츠를 갖는 전체 단일 화상을 WCD (10) 로 역으로 전송할 수도 있다. 그 경우, 어플리케이션 프로세서 (12) 및/또는 디스플레이 프로세서 (16) 는 디스플레이 (18) 상으로의 프리젠테이션을 위해 오버레이된 AR 콘텐츠를 갖는 수신된 단일 화상을 프로세싱 또는 렌더링한다.
단일 화상과 함께, 어플리케이션 프로세서 (12) 는 또한, 이미지 프레임들 및/또는 단일 화상의 생성과 연관된 위치 및/또는 원근 정보를 AR 데이터베이스 서버로 전송할 수도 있다. 이러한 방식으로, 어플리케이션 프로세서 (12) 는, 오브젝트들이 캡쳐되었을 때의 사용자에 대한 오브젝트들의 포지션에 적어도 부분적으로 기초하여 단일 화상에 표현된 장면이 포함된 오브젝트들에 대한 AR 콘텐츠를 수신할 수도 있다. 어플리케이션 프로세서 (12) 는 콤파스 센서, GPS 센서 등과 같은 하나 이상의 센서들 (22) 로부터 위치 및/또는 원근 정보를 수신할 수도 있다. 어플리케이션 프로세서 (12) 는, 각각이 장면의 부분을 표현하고 또한 함께 스티칭되어 단일 화상을 형성하는 복수의 이미지 프레임들에 대한 위치 및/또는 원근 정보를 수신할 수도 있다. 이러한 방식으로, 단일 화상에 표현된 장면의 상이한 부분들은 상이한 위치 및/또는 원근 정보를 가질 수도 있다. 일부 경우들에 있어서, 어플리케이션 프로세서 (12) 는 또한, 단일 화상에 표현된 장면과 그 장면의 이전 화상들 간의 차이를 나타내는 장면에 대한 AR 콘텐츠를 수신하기 위해, 이미지 프레임들 및/또는 단일 화상의 생성과 연관된 시간 및 일자 정보를 AR 데이터베이스 서버로 전송할 수도 있다.
본 개시에서 설명된 핸즈-프리 AR 기술들은 종래의 AR 기술들보다 단일 화상에서 캡처된 장면의 훨씬 더 강인한 뷰를 허용한다. 종래의 AR 기술들에 있어서, 사용자는 WCD 를 잡고 있고 실시간 비디오를 촬영하면서 순시 AR 콘텐츠를 기대하고 있다. 이는, 실시간 비디오 상에 오버레이될 용이하게 결정된 AR 콘텐츠의 단지 제한된 양만을 허용한다. 부가적으로, 종래의 기술들에 있어서, 사용자는 WCD 내 카메라를 이동 또는 스위핑하고 있어서 장면의 뷰가 계속 변하고 있게 할 수도 있다. 취출하는데 더 오래 걸리는 AR 콘텐츠는 WCD 가 AR 콘텐츠를 수신할 때까지 쓸모없을 수도 있다. 예를 들어, WCD 가 특정 랜드마크에 대한 AR 콘텐츠를 수신할 경우, 사용자는, 그 특정 랜드마크가 실시간 비디오에 의해 캡처된 장면에 더 이상 포함되지 않고 AR 콘텐츠가 필요하지 않도록 실시간 비디오의 방향을 변경하였을 수도 있다.
본 개시의 기술들에 따르면, 사용자는 사용자가 좋아할 만큼 오래 동안 장면의 정적 단일 화상과 어울리거나 일치할 수 있다. 따라서, 사용자는 디스플레이를 위해 취출 및 프로세싱될 단일 화상에 표현된 장면과 연관된 AR 콘텐츠 모두를 더 오래 대기하고자 할 의향이 더 있을 수도 있다. 더 오랜 대기 시간에 대한 트레이드오프는, 예를 들어, 웹사이트들 및 비디오로의 링크들을 포함하여 AR 콘텐츠의 더 큰 양의 및 더 높은 레벨의 상세일 수도 있다. 사용자는 또한 장면의 단일 화상에 걸쳐 그리고 그 단일 화상 내에서 네비게이션할 수도 있다. 예를 들어, 그 기술들은 사용자로 하여금 오버레이된 AR 콘텐츠를 갖는 단일 화상을 디스플레이 (18) 상에서 시청할 경우 패닝, 틸팅, 스크롤링 및 줌잉 동작들과 같은 이미지 동작들을 수행할 수 있게 한다. 이러한 방식으로, 사용자가 단일 화상 내에 캡처된 특정 영역 또는 빌딩으로 패닝 및 줌잉함에 따라, 그 영역 내의 부가적인 AR 콘텐츠가 드러날 수도 있다.
더 특정한 예로서, 사용자 입력에 응답하여, 어플리케이션 프로세서 (12) 및/또는 디스플레이 프로세서 (16) 는 단일 화상에 대해 예를 들어, 패닝, 틸팅, 스크롤링 및 줌잉 동작들과 같은 하나 이상의 이미지 동작들을 수행하여, 단일 화상에서 표현된 장면의 새로운 뷰를 생성할 수도 있다. 이미지 동작들을 수행한 이후, 어플리케이션 프로세서 (12) 및/또는 디스플레이 프로세서 (16) 는 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나에 의해 단일 화상에서 새로운 뷰를 오버레이하도록 AR 콘텐츠를 업데이트할 수도 있다. 일부 경우들에 있어서, AR 콘텐츠를 업데이트하는 것은 단일 화상에 표현된 장면에 대한 부가적인 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 것을 포함할 수도 있다.
일부 경우들에 있어서, 어플리케이션 프로세서 (12) 는, 단일 화상을 생성하는데 사용되는 복수의 이미지 프레임들 각각에 대해 GPS 판독치와 같은 위치 정보 및 콤파스 판독치와 같은 원근 정보를 수신할 수도 있다. 이러한 방식으로, WCD (10) 의 사용자가 단일 화상에 표현된 장면의 특정 부분에 집중할 경우, 어플리케이션 프로세서 (12) 는 장면의 특정 부분을 표현했던 이미지 프레임에 대해 수신된 위치 및/또는 원근 정보에 기초하여 부가적인 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청할 수도 있다. 더 상세하게, 장면의 부분에 대한 AR 콘텐츠는 AR 데이터베이스 서버에 의해 인식되었던 장면의 부분에서의 가시적인 오브젝트들에 기초한 정보, 및 이미지 프레임들을 캡처할 경우 사용자가 서 있었던 곳에 대한 시각적인 오브젝트들의 포지션에 기초한 정보를 포함할 것이다. 예를 들어, 사용자가 소정의 빌딩 상에서 줌인하면, 그 빌딩에 대한 AR 콘텐츠는 빌딩의 외부 상에서 인식되는 식당 이름, 빌딩 자체의 이름들, 및 빌딩의 상대적인 포지션에 기초한 빌딩에 포함된 다른 비즈니스와 연관된 메뉴를 포함할 수도 있다.
어플리케이션 프로세서 (12) 는 사용자 입력에 기초하여 AR 콘텐츠 세팅들을 결정할 수도 있다. AR 콘텐츠 세팅들은 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 하나 이상의 타입들, AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 양, 및 AR 데이터베이스 서버로부터 AR 콘텐츠를 수신하는 시간을 포함할 수도 있다. 그 후, 어플리케이션 프로세서 (12) 는 AR 콘텐츠 세팅들에 따라 AR 데이터베이스 서버로부터, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 수신할 수도 있다. 예로서, 사용자는 그 영역에서 식당을 신속하게 선택하기 위해 사용자 평가를 갖지만 웹사이트 링크들이 없는 식당 정보만을 수신하도록 선택할 수도 있다. AR 콘텐츠 세팅들이 변할 경우, 어플리케이션 프로세서 (12) 및/또는 디스플레이 프로세서 (16) 는 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나에 의해 단일 화상을 오버레이하도록 AR 콘텐츠를 업데이트할 수도 있다.
일부 경우들에 있어서, AR 콘텐츠는 점진적으로 수신될 수도 있다. 취출하기 더 용이한 AR 콘텐츠의 일부 타입들은 단일 화상에 걸친 즉각적인 디스플레이를 위해 어플리케이션 프로세서 (12) 에 의해 프로세싱될 수도 있다. 부가적인 AR 콘텐츠가 취출되고 어플리케이션 프로세서 (12) 로 역으로 전송됨에 따라, 부가적인 AR 콘텐츠는 단일 화상에 걸쳐 프로세싱 및 디스플레이된다. 이러한 방식으로, 사용자는 단일 화상에 표현된 장면에 관하여 학습하기 시작하기 위해 일부 AR 콘텐츠를 즉시 수신하기 시작하면서 나머지 AR 콘텐츠는 점진적으로 취출, 프로세싱, 및 디스플레이될 수도 있다. 사용자는, 사용자가 장면에 관하여 충분한 정보를 갖는 임의의 시간에 진행하는 AR 콘텐츠를 중지할 수도 있다. 부가적으로, 그 기술들은 단일 화상을 생성하는데 사용된 이미지 프레임들의 적어도 일부로 하여금 적어도 일부 AR 콘텐츠를 수신하기 위해 AR 데이터베이스 서버에 실시간으로 스트리밍되게 할 수도 있다. 이 경우, WCD (10) 는 단일 화상을 생성하는데 사용된 수초의 실시간 비디오 데이터를 오버레이하기 위해 일부 AR 콘텐츠를 수신할 수도 있다.
일부 경우들에 있어서, 단일 화상을 생성하는데 사용된 이미지 프레임들은 불완전하거나 열악한 품질일 수도 있다. 일부 예들에 있어서, 어플리케이션 프로세서 (12) 는 부가적인 더 높은 해상도의 이미지 프레임들에 대한 AR 데이터베이스 서버로부터의 요청들을 WCD (10) 로부터 수신할 수도 있다. 이는, 예를 들어 Gabor 필터를 사용하여 단일 화상을 필터링하여 텍스트를 찾고 그 후 광학 문자 인식 (OCR) 을 사용하여 텍스트를 판독함으로써 단일 화상에 포함된 텍스트를 식별할 경우에 발생할 수도 있다. 식별된 텍스트가 판독가능하지 않으면, AR 데이터베이스 서버는, 텍스트를 포함한 장면의 부분의 고 해상도 화상에 대한 요청을 어플리케이션 프로세서 (12) 로 전송할 수도 있다.
다른 예들에 있어서, 어플리케이션 프로세서 (12) 는, 이미지 저장부들의 웹사이트들을 포함한 외부 저장 디바이스들로부터 취출된 부가적인 이미지 프레임들을 사용하여 단일 화상의 품질을 개선하도록 AR 데이터베이스 서버 또는 다른 원격 서버에게 지시할 수도 있다. 예를 들어, AR 데이터베이스 서버 또는 다른 원격 서버는 단일 화상에 표현된 장면의 부가적인 공개적으로 입수가능한 이미지들을 어플리케이션 프로세서 (12) 로 전송할 수도 있다. 부가적인 이미지 프레임들은 단일 화상의 사이즈 및/또는 단일 화상의 품질을 증가시키는데 사용될 수도 있다. 예로서, 사용자가 단일 화상의 에지를 지나서 스크롤링 또는 패닝할 경우, 그 기술들은 장면의 에지에서 위치 및/또는 원근 정보, 예를 들어, GPS 및/또는 콤파스 판독치들에 기초하여 부가적인 이미지 프레임들을 취출할 수도 있다.
그 기술들은 또한, 부가적인 이미지 프레임들을 사용하여, 단일 화상에 표현된 장면과 그 장면의 이전 화상들 간의 차이들을 나타내는 비교 정보를 생성할 수도 있다. 예를 들어, AR 데이터베이스 서버 또는 다른 원격 서버는 공개적으로 입수가능한 웹사이트들로부터 취출된 동일 장면의 이전 화상들에 대해 현재 단일 화상에서 표현된 장면의 랜드마크들 및 빌딩들을 비교할 수도 있다. 이 경우, 어플리케이션 프로세서 (12) 는 그 비교 정보를 수신하여, 어느 빌딩들 및 빌딩들 내의 랜드마크들 또는 비즈니스가 새로운지를 나타낼 수도 있다. 예로서, 비교 정보는 마지막 6개월 내 또는 기타 다른 선택된 시간 프레임 내에서 그 영역에서의 새로운 식당들을 나타내는데 사용될 수도 있다.
본 개시의 핸즈-프리 AR 기술들은 수개의 이점들을 제공할 수도 있다. 예를 들어, WCD (10) 의 사용자는 AR 어플리케이션을 사용하여 특정 장면, 예를 들어, 이웃 또는 역사적인 랜드마크에 관해 더 많이 학습하는 관광객으로서 자신을 보는 사람들을 갖거나 또는 자기 의식적이게 하지 않을 것이다. 부가적으로, 그 기술들은, 수개의 스틸 화상들 또는 수초의 비디오를 캡처하기 위해 오직 1회만 WCD 를 잡고 있을 필요가 있기 때문에 더 적은 팔의 피로를 제공한다. 그 후, 사용자는 단일 화상에 표현된 장면을 향해 계속 배향되어야 할 필요없이 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 시청 및 받아들이도록 앉을 수도 있다.
어플리케이션 프로세서 (12) 가 WCD (10) 에 포함된 카메라 (20) 로부터 복수의 이미지 프레임들을 수신한 경우, 그 기술들은, 카메라 (20) 가 실시간 비디오 데이터를 계속 캡처하는 것 및 AR 데이터베이스 서버와 데이터를 전방 및 후방으로 스트리밍하여 그 영역에 관한 모든 AR 콘텐츠를 수신하는 것에 대하여 단지 수초의 비디오 데이터만을 캡처할 필요가 있기 때문에 더 적은 전력을 사용하여 이미지 프레임들을 캡처할 수도 있다. 부가적으로, 그 기술들은, 단일 화상에 표현된 장면에 포함된 오브젝트들이, 사용자가 그 오브젝트의 실시간 비디오를 캡처할 때마다 동일 오브젝트를 계속 인식하는 것에 대하여 단지 1회만 식별 및 분석될 필요가 있기 때문에 더 적은 전력을 사용하여 AR 데이터베이스 서버와 통신한다.
도 1 에 도시된 WCD (10) 의 컴포넌트들은 단지 예시적이다. 다른 예들에 있어서, WCD (10) 는 더 많거나, 더 적거나, 및/또는 상이한 컴포넌트들을 포함할 수도 있다. WCD (10) 의 컴포넌트들은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(DSP)들, 주문형 집적회로(ASIC)들, 필드 프로그램가능 게이트 어레이(FPGA)들, 별도의 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 회로 중 임의의 회로로서 구현될 수도 있다. WCD (10) 내 디스플레이 (18) 는 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 하나의 디바이스를 포함할 수도 있다.
WCD (10) 내 메모리 (24) 는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 플래시 메모리 등을 포함하지만 이에 한정되지 않는 매우 다양한 휘발성 또는 비휘발성 메모리 중 임의의 메모리를 포함할 수도 있다. 메모리 (24) 는 미디어 데이터뿐 아니라 다른 종류들의 데이터를 저장하기 위한 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 메모리 (24) 는 부가적으로, 본 개시에서 설명된 기술들을 수행하는 부분으로서 어플리케이션 프로세서 (12) 에 의해 실행되는 명령들 및 프로그램 코드를 저장한다.
WCD (10) 는 코드 분할 다중 액세스 (CDMA), 주파수 분할 다중 액세스 (FDMA), 시분할 다중 액세스 (TDMA), 또는 직교 주파수 분할 멀티플렉싱 (OFDM) 과 같은 하나 이상의 무선 통신 기술들을 지원하도록 설계된 통신 시스템 내에서 동작할 수도 있다. 상기 무선 통신 기술들은 다양한 무선 액세스 기술들 중 임의의 기술에 따라 전달될 수도 있다. 예를 들어, CDMA 는 cdma2000 또는 광대역 CDMA (WCDMA) 표준들에 따라 전달될 수도 있다. TDMA 는 모바일 통신용 글로벌 시스템 (GSM) 표준에 따라 전달될 수도 있다. 유니버셜 모바일 통신 시스템 (UMTS) 표준은 OFDM 에 대한 롱 텀 에볼루션 (LTE) 을 사용하는 GSM 또는 WCDMA 동작을 허용한다. 부가적으로, cdma2000 1x EV-DO 와 같은 고속 데이터 레이트 (HDR) 기술들이 사용될 수도 있다.
WCD (10) 의 통신 시스템은, 복수의 모바일 무선 또는 WiFi (예를 들어, IEEE 802.11x) 네트워크들을 지원하는 하나 이상의 기지국들 (도시 안됨) 을 포함할 수도 있다. 통신 서비스 제공자는, 기지국을 네트워크 허브로서 사용하여 이들 네트워크들 중 하나 이상을 중심적으로 동작시키고 관리할 수도 있다.
도 2 는 종래 기술들에 따른 증강 현실 어플리케이션을 실행하는 예시적인 WCD (30) 를 도시한 개념 다이어그램이다. 종래에 실행된 AR 어플리케이션들은, 도 2 에 도시된 바와 같이, 사용자로 하여금 WCD (30) 를 계속 잡고 있게 하고 WCD (30) 에 포함된 카메라로 장면의 실시간 비디오를 촬영하도록 요구한다. 그 후, 실시간 비디오는 AR 데이터베이스 서버에 계속 스트리밍하고, WCD (30) 는 실시간 비디오에 표현된 장면과 연관된 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신한다. WCD (30) 의 사용자는 WCD 를 잡고 있고 실시간 비디오를 촬영하면서 순시 AR 콘텐츠를 기대하고 있다. 이는, 용이하게 결정된 AR 콘텐츠의 오직 제한된 양만이 실시간 비디오 상에 오버레이되게 한다.
도 2 에 도시된 예에 있어서, 사용자는 WCD (30) 를 잡고 있고, 빌딩들, 대중 교통, 및 사람들을 포함한 도시 거리 장면의 실시간 비디오를 촬영한다. WCD (30) 는 실시간 비디오를 AR 데이터베이스 서버로 전송하여 실시간 비디오에서 장면에 대한 AR 콘텐츠를 요청한다. 그 후, WCD (30) 는 사용자로의 AR 콘텐츠 정보 (32, 34 및 36) 를 라이브 비디오를 통해 수신 및 디스플레이한다. 도 2 의 예에 있어서, AR 콘텐츠 (32) 는 온도 및 꽃가루 수준과 같은 환경 정보 및 사용자에 대한 메시징 정보를 포함한다. AR 콘텐츠 (34) 는 거리 장면에 포함된 버스와 연관된 대중 교통 스케줄링 정보를 포함한다. 부가적으로, AR 콘텐츠 (36) 는 거리 장면에 포함된 빌딩들 중 하나에 위치된 식당, 소매 상점, 또는 관광 오퍼레이터와 같은 비즈니스를 위한 판매 광고를 포함한다.
종래의 기술들은 다량의 전력을 사용하여, AR 데이터베이스 서버에 의해 재식별될 동일 오브젝트들의 실시간 비디오를 연속적으로 촬영하고 그 이미지들을 연속적으로 전송한다. 예를 들어, WCD (30) 는 거리 장면에 포함된 빌딩들의 실시간 비디오를 AR 데이터베이스 서버에 스트리밍할 수도 있고, 빌딩들 중 하나에 위치된 비즈니스에서의 판매를 광고하는 동일 AR 콘텐츠 (36) 를 연속적으로 수신할 수도 있다.
부가적으로, WCD (30) 의 사용자는 WCD (30) 내 카메라를 이동시키거나 스위핑할 수도 있거나, 또는 장면에 원래 포함된 오브젝트들은 거리 장면의 뷰가 계속 변하고 있도록 장면으로부터 이동할 수도 있다. 취출하는데 더 오래 걸리는 AR 콘텐츠는 WCD (30) 가 AR 콘텐츠를 수신할 때까지 쓸모없을 수도 있다. 예를 들어, WCD (30) 가 실시간 비디오에 원래 포함된 버스와 연관된 대중 교통 스케줄링 정보를 포함한 AR 콘텐츠 (34) 를 수신할 때까지, 버스 자체는 실시간 비디오에 표현된 장면으로부터 배제되었을 수도 있다. 그 경우, WCD (30) 는, 실시간 비디오에 캡처된 현재 거리 장면에 포함된 오브젝트와 연관되지 않기 때문에 수신된 AR 콘텐츠 (34) 를 사용하지 않을 수도 있다. 다른 경우들에 있어서, WCD (30) 는 포지션 정보에 따라 실시간 비디오를 통해 AR 콘텐츠 (34) 를 프로세싱 및 디스플레이할 수도 있지만, AR 콘텐츠 (34) 는, 버스가 실시간 비디오의 동일 포지션에 더 이상 위치되지 않기 때문에 아웃-오브-콘텍스트일 것이다.
추가로, WCD (10) 에서 AR 어플리케이션들을 종래 실행하는 기술들은, 실시간 비디오 데이터로부터 AR 콘텐츠를 촬영 및 수신하기 위해 WCD (30) 를 잡고 있을 경우 사용자 자신을 의식하게 할 수도 있다. WCD (30) 를 계속 잡고 있는 것은 또한 팔의 피로 또는 "고릴라 팔" 을 야기할 수 있다. 하나의 기존의 핸즈-프리 증강 현실 솔루션은, 사용자에 의해 착용된 고글들 또는 안경들 상에 AR 콘텐츠를 오버레이하는 가상 현실 (VR) 고글들을 통해 사용자에게 핸즈-프리 AR 을 제공한다. VR 고글들은, 디스플레이 스크린들을 수용하여 수용가능한 사용자 경험을 제공하기 위해 과도-사이징되고 부피가 클 수도 있다. 따라서, VR 고글들은 "괴상한 것" 으로 여겨질 수도 있으며, 사용자들로 하여금 WCD 를 잡고 있는 것보다 훨씬 더 자기 의식적이게 할 수도 있다. 부가적으로, VR 고글들은 고가이다.
일반적으로, 종래의 기술들은 사용자들로 하여금 자기 의식적이게 느끼게 하고 또한 AR 어플리케이션들을 사용할 가능성을 적게 할 수도 있다. 본 개시에서 설명된 핸즈-프리 기술들은 AR 어플리케이션을 사용하는 것의 피곤하게 하고 서투른 부분들을 제거하고, AR 어플리케이션들이 배터리 수명을 보존하면서 WCD들 상에서 더 유비쿼터스가 되는 것을 도울 수도 있다.
도 3 은 개시된 기술들에 따른 핸즈-프리 증강 현실 어플리케이션을 실행하는 WCD 에 의해 생성되는 오버레이된 AR 콘텐츠 (42, 44 및 46) 를 갖는 단일 화상 (40) 을 도시한 개념 다이어그램이다. 단일 화상 (40) 은, 전체 장면을 단일 화상 (40) 에 표현하기 위해 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 함께 스티칭함으로써 형성된다. 이미지 프레임들이 단일 화상 (40) 으로 변환된 후, WCD 는 단일 화상 (40) 에 표현된 장면에 대한 AR 콘텐츠 (42, 44 및 46) 를 AR 데이터베이스 서버로부터 수신하고, 사용자로의 디스플레이를 위해 단일 화상 (40) 을 오버레이하도록 AR 콘텐츠 (42, 44 및 46) 를 프로세싱한다. 이러한 방식으로, 사용자는 WCD (10) 상에서 오버레이된 AR 콘텐츠 (42, 44 및 46) 를 갖는 단일 화상 (40) 을 편안하게 관측하여, 예를 들어, 단일 화상에 캡처된 장면을 향해 배향되지 않지만, 단일 화상 (40) 에 표현된 장면에 관하여 더 많이 학습할 수도 있다.
도 3 의 예에 있어서, 단일 화상 (40) 은 공원 및 빌딩들을 포함한 전체 이웃의 파노라마 화상을 표현한다. 단일 화상 (40) 은 장면의 비디오 데이터의 다중의 스틸 화상들로부터 또는 다중의 비디오 프레임들로부터 형성될 수도 있다. 예로서, WCD 의 사용자는 소정 위치로부터 180도 또는 360도 회전시킴으로써 장면의 다중의 스틸 화상들을 취하거나 수초의 비디오 데이터를 레코딩할 수도 있다. 이 경우, 단일 화상 (40) 은 캡처된 스틸 화상들 또는 비디오 프레임들을 함께 스티칭함으로써 생성된 단일의 파노라마 이미지일 수도 있다.
단일 화상 (40) 은, 예를 들어, 6000 × 1280 픽셀들의 사이즈를 갖는 매우 큰 이미지일 수도 있다. 따라서, 단일 화상 (40) 은, WCD 의 카메라에 의해 통상 획득되는 개별 스틸 화상 또는 비디오 프레임의 포맷보다 더 큰, 일부 경우들에 있어서는, 실질적으로 더 큰 포맷을 가질 수도 있다. 일부 예들에 있어서, 단일 화상 (40) 은 개별 스틸 화상 또는 비디오 프레임에 비해 폭 방향과 같은 단일 차원에서 더 클 수도 있지만, 높이 차원과 같은 다른 차원에서는 동일한 사이즈를 유지할 수도 있으며, 그 역도 성립한다. 예를 들어, 큰 파노라마 이미지는 개별 화상 또는 비디오 프레임보다 훨씬 더 큰 폭을 갖거나 그와 동일한 높이를 가질 수도 있다. 다른 예들에 있어서, 단일 화상 (40) 은 폭 및 높이 양자에서 더 클 수도 있다. 일부 예들에 있어서, 단일 화상 (40) 은 적어도 하나의 차원에서 개별 화상 또는 비디오 프레임보다 실질적으로 더 클 수도 있으며, 예를 들어, 1.5배 더 크거나, 2배 더 크거나, 3배 더 크거나, 4배 더 크거나, 또는 훨씬 더 클 수도 있다.
단일 화상 (40) 에 표현된 장면과 연관된 AR 콘텐츠 (42, 44 및 46) 는 AR 데이터베이스 서버로부터 취출된다. 도 3 에 도시된 바와 같이, AR 콘텐츠 (42, 44 및 46) 는, 단일 화상 (40) 에 표현된 장면을 기술하기 위한 텍스트 및/또는 그래픽스, 및 단일 화상 (40) 에 대응하는 텍스트 및/또는 그래픽스에 대한 포지션 정보를 포함한다. 예를 들어, AR 콘텐츠 (42) 는, 단일 화상 (40) 에 포함된 빌딩들 중 하나에 있어서의 비즈니스에서의 판매를 나타내는 텍스트를 포함할 수도 있다. 이 경우, AR 데이터베이스 서버로부터 수신된 AR 콘텐츠 (42) 는 또한, 텍스트를 위치시킬 단일 화상 (40) 에 있어서의 비즈니스의 포지션 정보, 예를 들어, (x, y) 픽셀 포지션을 포함한다.
다른 예로서, AR 콘텐츠 (44) 는 또한, 단일 화상 (40) 에 포함된 공원에 위치된 비즈니스 및 판매 또는 가격 인하에 관한 정보를 포함한다. 다시, AR 콘텐츠 (44) 는 AR 콘텐츠 (44) 에 대한 텍스트를 단일 화상 (40) 에 표현된 비즈니스 근방에 위치시키기 위해 단일 화상 (40) 에 대응하는 포지션 정보를 포함한다. 부가적으로, AR 콘텐츠 (46) 는, 단일 화상 (40) 에 포함된 공원 내의 박물관이 개장했는지 또는 폐장했는지와 같은 랜드마크 정보를 포함한다. AR 콘텐츠 (46) 는 또한, 단일 화상 (40) 에 표현된 박물관에 대한 포지션 정보를 포함한다. 일부 경우들에 있어서, AR 콘텐츠 (46) 는 박물관에 대한 더 특정한 운영 시간들을 제공하거나 박물관에 대한 웹사이트로의 링크를 제공할 수도 있다. AR 콘텐츠 (42, 44 및 46) 는, 단일 화상 (40) 상에 오버레이될 수도 있는 AR 콘텐츠의 단지 몇몇 예들을 제공한다. 다른 경우들에 있어서, 다수의 다른 타입들 및 양들의 AR 콘텐츠가 단일 화상 (40) 에 걸친 디스플레이를 위해 수신 및 프로세싱될 수도 있다.
본 개시에서 설명된 핸즈-프리 AR 기술들은, 종래의 AR 기술들을 이용하여 실시간 비디오에 캡처된 장면에 대해 가능한 것보다 단일 화상 (40) 에서 표현된 장면의 훨씬 더 강인한 뷰를 허용한다. 본 개시의 기술들에 따르면, 사용자는 사용자가 좋아할 만큼 오래 동안 장면의 정적 단일 화상 (40) 과 어울릴 수 있다. 따라서, 사용자는 디스플레이를 위해 취출 및 프로세싱될 단일 화상 (40) 과 연관된 AR 콘텐츠 모두를 더 오래 대기하고자 할 의향이 더 있을 수도 있다. 더 오랜 대기 시간에 대한 트레이드오프는, 예를 들어, 웹사이트들 및 비디오로의 링크들을 포함하여 AR 콘텐츠의 더 큰 양의 및 더 높은 레벨의 상세일 수도 있다.
사용자는 장면의 단일 화상 (40) 에 걸쳐 그리고 그 단일 화상 내에서 네비게이션할 수도 있다. 예를 들어, 그 기술들은 사용자로 하여금 단일 화상 (40) 에 표현된 장면의 새로운 뷰를 생성하기 위해 단일 화상 (40) 을 시청할 경우 패닝, 틸팅, 스크롤링 및 줌잉 동작들과 같은 이미지 동작들을 수행할 수 있게 한다. 이미지 동작들을 수행한 이후, WCD 는 단일 화상 (40) 으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나에 의해 단일 화상에서 새로운 뷰를 오버레이하도록 AR 콘텐츠를 업데이트할 수도 있다. 이는, 줌잉, 패닝, 또는 스크롤링 동작 전에 볼 수 없었던 단일 화상 (40) 의 부분을 오버레이하기 위해 AR 콘텐츠를 부가하는 것, 및/또는 줌잉, 패닝 또는 스크롤링 동작 이후에 더 이상 볼 수 없는 단일 화상 (40) 의 부분에 대한 AR 콘텐츠를 제거하는 것을 포함할 수도 있다. 일부 경우들에 있어서, AR 콘텐츠를 업데이트하는 것은 단일 화상 (40) 에 표현된 장면에 대한 부가적인 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 것을 포함할 수도 있다. 다른 경우들에 있어서, AR 콘텐츠를 업데이트하는 것은, AR 데이터베이스 서버로부터 단일 화상 (40) 에 표현된 장면에 대해 이전에 수신되었지만 단일 화상 (40) 의 디스플레이된 부분에서 볼 수 없는 부가적인 AR 콘텐츠를 프리젠테이션하는 것을 포함할 수도 있다.
일부 경우들에 있어서, WCD 는, 단일 화상 (40) 을 생성하는데 사용되는 복수의 이미지 프레임들 각각에 대해 GPS 판독치와 같은 위치 정보 및 콤파스 판독치와 같은 원근 정보를 수신할 수도 있다. 이러한 방식으로, WCD (10) 의 사용자가 단일 화상 (40) 에 표현된 장면의 특정 부분으로 이동할 경우, 장면의 특정 부분을 표현했던 이미지 프레임에 대해 수신된 위치 및/또는 원근 정보에 기초하여, 부가적인 AR 콘텐츠가 AR 데이터베이스 서버로부터 요청될 수도 있다. 더 상세하게, 장면의 부분에 대한 AR 콘텐츠는 AR 데이터베이스 서버에 의해 인식되었던 장면의 부분에서의 가시적인 오브젝트들에 기초한 정보, 및 장면의 부분을 표현했던 이미지 프레임을 캡처할 경우 사용자가 서 있었던 곳에 대한 시각적인 오브젝트들의 포지션에 기초한 정보를 포함할 것이다.
그 기술들은 또한 사용자로 하여금 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 하나 이상의 타입들, AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 양, 및 AR 데이터베이스 서버로부터 AR 콘텐츠를 수신하는 시간을 포함한 AR 콘텐츠 세팅들을 나타내게 할 수도 있다. 그 후, WCD 는 AR 콘텐츠 세팅들에 따라 AR 데이터베이스 서버로부터, 단일 화상 (40) 에 표현된 장면에 대한 AR 콘텐츠를 수신할 수도 있다. AR 콘텐츠 세팅들이 변할 경우, WCD 는 단일 화상 (40) 으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나에 의해 단일 화상 (40) 을 오버레이하도록 AR 콘텐츠를 업데이트할 수도 있다.
예를 들어, 장면에 대해 선택된 AR 콘텐츠의 타입들은 이름, 시간 및 메뉴와 같은 식당 정보, 숙박 및 관심 포인트 식별을 포함한 방문자 정보, 소매 판매 정보, 콘서트 및 스포츠 이벤트들을 포함한 이벤트 정보, 사람 인식, 경찰서, 소방서 및 병원의 위치들과 같은 긴급 서비스 정보, 버스 및 열차 스케줄, 방향 등과 같은 대중 교통 정보 중 하나 이상을 포함할 수도 있다.
사용자가 오버레이한 단일 화상 (40) 을 보길 선호하는 AR 콘텐츠의 양은 데이터의 저장 사이즈, 예를 들어, 킬로바이트 (kB) 또는 메가바이트 (MB), 가용 데이터의 퍼센티지, 디스플레이의 스크린 사이즈의 퍼센티지, 또는 기타 다른 측정치에 기초하여 명시될 수도 있다. 더욱이, 사용자가 AR 데이터베이스 서버로부터 장면에 대한 AR 콘텐츠를 수신하길 선호하는 시간의 양은 사용자가 단일 화상 (40) 을 오버레이하도록 AR 콘텐츠를 수신하기 위해 대기하고자 할 의향이 있는 초 또는 분의 개수에 기초하여 명시될 수도 있다. 일부 경우들에 있어서, 표시된 시간량에서, 사용자는 진행 업데이트를 수신하고, 표시된 AR 콘텐츠를 계속 대기할 지 또는 AR 콘텐츠를 수신하고 프로세싱하는 것을 중지할 지를 선택할 수도 있다.
일부 경우들에 있어서, 단일 화상 (40) 에 표현된 장면에 대한 AR 콘텐츠가 점진적으로 수신될 수도 있다. 취출하기 더 용이한 AR 콘텐츠의 일부 타입들은 단일 화상 (40) 에 걸친 즉각적인 디스플레이를 위해 프로세싱될 수도 있다. 부가적인 AR 콘텐츠가 취출되고 WCD 로 역으로 전송됨에 따라, 부가적인 AR 콘텐츠는 단일 화상 (40) 에 걸쳐 프로세싱 및 디스플레이된다. 이러한 방식으로, 사용자는 단일 화상 (40) 에 표현된 장면에 관하여 학습하기 시작하기 위해 일부 AR 콘텐츠를 즉시 수신하기 시작하면서 나머지 AR 콘텐츠는 점진적으로 취출, 프로세싱, 및 디스플레이될 수도 있다. 사용자는, 사용자가 장면에 관하여 충분한 정보를 갖는 임의의 시간에 진행하는 AR 콘텐츠를 중지할 수도 있다.
상기 설명된 기술들은 매우 다양한 AR 콘텐츠 타입들, 양들, 및 프로세싱 시간들로부터 선택된 장면에 대하여 수신된 AR 콘텐츠에 걸친 제어를 가능케 한다. 이러한 제어 및 다양한 AR 콘텐츠는, 실시간 비디오를 사용하여 제한된 양의 AR 콘텐츠를 사용자에게 프리젠테이션하는 종래의 AR 어플리케이션에서는 가능하지 않다. 하지만, 그 기술들은 또한, 단일 화상 (40) 을 생성하는데 사용된 이미지 프레임들의 적어도 일부로 하여금 적어도 일부 AR 콘텐츠를 수신하기 위해 AR 데이터베이스 서버에 실시간으로 스트리밍되게 한다. 이 경우, WCD 는 단일 화상 (40) 의 부분을 생성하는데 사용된 수초의 실시간 비디오 데이터를 오버레이하기 위해 일부 AR 콘텐츠를 즉시 수신하고 또한 정적 단일 화상 (40) 에 표현된 전체 장면에 대한 시간에 걸쳐 더 강인한 AR 콘텐츠를 수신할 수도 있다.
도 4 는 장면을 표현하는 단일 화상 상에 AR 콘텐츠를 오버레이하기 위해 WCD 로 핸즈-프리 증강 현실 어플리케이션을 실행하는 예시적인 기술을 도시한 플로우차트이다. 핸즈-프리 AR 기술은 도 1 로부터의 WCD (10) 에 대하여 본 명세서에서 설명될 것이다.
AR 어플리케이션 (14) 을 실행할 경우, WCD (10) 는, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신한다 (50). 이미지 프레임들은 장면의 비디오 데이터의 복수의 스틸 화상들 또는 복수의 비디오 프레임들일 수도 있다. 이미지 프레임들은 WCD (10) 에 포함된 카메라 (20) 에 의해 캡처되거나 또는 WCD (10) 외부의 저장 디바이스로부터 수신될 수도 있다. 그 후, 어플리케이션 프로세서 (12) 는 복수의 이미지 프레임들을, 장면을 표현하는 단일 화상으로 변환한다 (52). 단일 화상은 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함한다. 일부 예들에 있어서, 어플리케이션 프로세서 (12) 는 단일 화상을 형성하기 위해 이미지 프레임들을 함께 스티칭함으로써 복수의 이미지 프레임들을 단일 화상으로 변환할 수도 있다. 다른 예들에 있어서, 어플리케이션 프로세서 (12) 는 이미지 프레임들을 TX/RX (26) 를 통해 원격 서버로 전송함으로써 복수의 이미지 프레임들을 단일 화상으로 변환할 수도 있다. 그 후, 어플리케이션 프로세서 (12) 는 원격 서버에게, 이미지 프레임들을 함께 스티칭하여 단일 화상을 형성할 것과 원격 서버로부터 단일 화상을 역으로 수신할 것을 요청할 수도 있다. 어느 경우든, 이미지 프레임들은 파노라마 장면들을 스티칭하기 위해 종래에 사용된 방식들과 같은 다양한 종래의 방식들 중 임의의 방식으로 함께 스티칭될 수도 있다.
이미지 프레임들을 단일 화상으로 변환한 후, 어플리케이션 프로세서 (12) 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청한다 (54). 어플리케이션 프로세서 (12) 는 단일 화상을 AR 데이터베이스 서버로 전송함으로써 또는 복수의 이미지 프레임들 중 하나 이상을 AR 데이터베이스 서버로 전송함으로써 장면에 대한 AR 콘텐츠를 요청할 수도 있다. 어느 경우든, WCD (10) 는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신한다 (56). AR 콘텐츠는 장면에 관한 정보를 표현하는 텍스트 및/또는 그래픽스, 및 단일 화상에 대응하는 텍스트 및/또는 그래픽스에 대한 포지션 정보를 포함할 수도 있다. 예를 들어, AR 콘텐츠는 단일 화상에 캡처된 장소에서의 이벤트를 기술하는 텍스트, 및 텍스트를 위치시킬 단일 화상에 있어서의 장소의 포지션 정보, 예를 들어, (x, y) 픽셀 포지션을 포함할 수도 있다.
통상적으로, AR 데이터베이스 서버는, 어플리케이션 프로세서 (12) 가 단일 화상을 TX/RX (26) 를 통해 AR 데이터베이스 서버로 전송하도록 WCD (10) 에 대한 원격 서버이다. 다른 예들에 있어서, AR 데이터베이스는 WCD (10) 에 저장될 수도 있다. 일부 경우들에 있어서, 어플리케이션 프로세서 (12) 는 장면에 대한 AR 콘텐츠의 요청과 함께 단일 화상의 생성과 연관된 위치 및/또는 원근 정보를 AR 데이터베이스 서버로 전송한다. 그 후, WCD (10) 는, 오브젝트들이 캡쳐되었을 때의 사용자에 대한 오브젝트들의 포지션에 적어도 부분적으로 기초하여 단일 화상에 표현된 장면에서의 오브젝트들에 대한 AR 콘텐츠를 수신한다. 어플리케이션 프로세서 (12) 는 콤파스 센서, GPS 센서 등과 같은 하나 이상의 센서들 (22) 로부터 장면에 대한 위치 및/또는 원근 정보를 수신할 수도 있다. 다른 경우들에 있어서, 어플리케이션 프로세서 (12) 는 장면에 대한 AR 콘텐츠의 요청과 함께 단일 화상의 생성과 연관된 시간 및 일자 정보를 AR 데이터베이스 서버로 전송할 수도 있다. 그 후, WCD (10) 는 단일 화상에 표현된 장면과 그 장면의 이전 화상들 간의 차이들을 나타내는 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신한다.
그 후, 어플리케이션 프로세서 (12) 는 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다 (58). 일부 예들에 있어서, 디스플레이 프로세서 (16) 는 AR 콘텐츠의 프로세싱 또는 렌더링 중 적어도 일부를 수행할 수도 있다. 그 후, 디스플레이 프로세서 (16) 는 오버레이된 AR 콘텐츠를 갖는 단일 화상을 디스플레이 (18) 상으로 사용자에게 디스플레이한다 (60). 이러한 방식으로, 사용자는 WCD 의 디스플레이 상에서 오버레이된 AR 콘텐츠를 갖는 단일 화상을 편안하게 관측하여, 임의의 시간에 및 임의의 위치에서 단일 화상에 표현된 장면에 관하여 더 많이 학습할 수도 있다.
도 5 는 WCD 로의 사용자 입력에 기초하여 AR 콘텐츠 세팅들에 따른 핸즈-프리 증강 현실 어플리케이션을 실행하는 예시적인 기술을 도시한 플로우차트이다. 핸즈-프리 AR 기술은 도 1 로부터의 WCD (10) 에 대하여 본 명세서에서 설명될 것이다.
AR 어플리케이션 (14) 을 실행할 경우, WCD (10) 는, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신한다 (66). 상기 설명된 바와 같이, 이미지 프레임들은 장면의 비디오 데이터의 복수의 스틸 화상들 또는 복수의 비디오 프레임들일 수도 있다. 그 후, 어플리케이션 프로세서 (12) 는 복수의 이미지 프레임들을, 장면을 표현하는 단일 화상으로 변환한다 (68). 단일 화상은 장면을 표현하기 위해 함께 스티칭된 복수의 이미지 프레임들을 포함한다.
그 후, 어플리케이션 프로세서 (12) 는 사용자 입력에 기초하여 AR 콘텐츠 세팅들을 결정한다. 더 상세하게, 어플리케이션 프로세서 (12) 는 AR 데이터베이스 서버로부터 장면에 대해 수신하기 위한 AR 콘텐츠의 하나 이상의 타입들을 결정한다 (70). 예를 들어, 어플리케이션 프로세서 (12) 는 이름, 시간 및 메뉴와 같은 식당 정보, 숙박 및 관심 포인트 식별을 포함한 방문자 정보, 소매 판매 정보, 콘서트 및 스포츠 이벤트들을 포함한 이벤트 정보, 사람 인식, 경찰서, 소방서 및 병원의 위치들과 같은 긴급 서비스 정보, 버스 및 열차 스케줄, 방향 등과 같은 대중 교통 정보 중 하나 이상을 나타내는 사용자 입력을 수신할 수도 있다.
어플리케이션 프로세서 (12) 는 또한, AR 데이터베이스 서버로부터 장면에 대해 수신하기 위한 AR 콘텐츠의 양을 결정한다 (72). 예를 들어, 어플리케이션 프로세서 (12) 는, 사용자가 디스플레이 (18) 상에서 오버레이한 단일 화상을 보길 선호하는 정보의 양을 나타내는 사용자 입력을 수신할 수도 있다. AR 콘텐츠의 양은 데이터의 저장 사이즈, 예를 들어, 킬로바이트 (kB) 또는 메가바이트 (MB), 가용 데이터의 퍼센티지, 디스플레이 (18) 의 스크린 사이즈의 퍼센티지, 또는 기타 다른 측정치에 기초하여 명시될 수도 있다.
부가적으로, 어플리케이션 프로세서 (12) 는 AR 데이터베이스 서버로부터 장면으로부터의 AR 콘텐츠를 수신하는 시간을 결정한다 (74). 예를 들어, 어플리케이션 프로세서는, 사용자가 단일 화상을 오버레이하도록 AR 콘텐츠를 수신하기 위해 대기하고자 할 의향이 있는 초 또는 분의 개수를 나타내는 사용자 입력을 수신할 수도 있다. 이 경우, 어플리케이션 프로세서 (12) 는, 장면에 대해 요청된 AR 콘텐츠 모두를 수신하기 위해 남겨진 초 또는 분의 개수를 명시하는 업데이트들을 사용자에게 제공할 수도 있다. 어플리케이션 프로세서 (12) 는 또한, 요청된 데이터의 타입 또는 양이 명시된 시간량에서 수신될 수 없을 때의 통지들을 사용자에게 제공할 수도 있다. 이 경우, 사용자는 계속 대기, 즉, 시간 세팅을 연장하도록 선택하거나, 또는 모든 요청된 AR 데이터가 수신되었는지 여부에 무관하게 명시된 시간에 AR 콘텐츠를 수신하는 것을 중지하도록 선택할 수도 있다.
그 후, 어플리케이션 프로세서 (12) 는 단일 화상 및 AR 콘텐츠 세팅들을 AR 데이터베이스 서버로 전송함으로써 장면에 대한 AR 콘텐츠를 요청한다 (76). WCD (10) 는 AR 콘텐츠 세팅들에 따라 AR 데이터베이스 서버로부터, 단일 화상에 표현된 장면에 대한 AR 콘텐츠를 수신한다 (78). 어플리케이션 프로세서 (12) 는 단일 화상을 오버레이하도록 AR 콘텐츠를 프로세싱한다 (80). 상기 설명된 바와 같이, 디스플레이 프로세서 (16) 는 AR 콘텐츠의 프로세싱 또는 렌더링 중 적어도 일부를 수행할 수도 있다. 그 후, 디스플레이 프로세서 (16) 는 오버레이된 AR 콘텐츠를 갖는 단일 화상을 디스플레이 (18) 상으로 사용자에게 디스플레이한다 (82).
오버레이된 AR 콘텐츠를 갖는 단일 화상이 디스플레이된 이후, 사용자는 AR 콘텐츠 세팅들을 변경할 수도 있다 (84). 예를 들어, 사용자는 일 타입의 AR 콘텐츠를 단일 화상으로부터 부가 또는 제거할 지, 또는 단일 화상에 걸쳐 포함하도록 AR 콘텐츠의 양을 증가 또는 감소시킬 지를 판정할 수도 있다. AR 콘텐츠 세팅들이 변경되지 않았을 경우 (84 의 아니오 브랜치), 디스플레이 프로세서 (16) 는 오리지널 오버레이된 AR 콘텐츠를 갖는 단일 화상을 디스플레이 (18) 상으로 사용자에게 계속 디스플레이한다 (82). 어플리케이션 프로세서 (12) 가 AR 콘텐츠 세팅들이 변경되었음을 결정할 경우 (84 의 예 브랜치), 어플리케이션 프로세서 (12) 및/또는 디스플레이 프로세서 (16) 는 변경된 AR 콘텐츠 세팅들에 따라 단일 화상을 오버레이하도록 AR 콘텐츠를 업데이트한다 (86). AR 콘텐츠를 업데이트하는 것은 특정 타입들의 AR 콘텐츠를 단일 화상으로부터 부가하는 것 및/또는 제거하는 것을 포함할 수도 있다. 일부 경우들에 있어서, 어플리케이션 프로세서 (12) 는 장면에 대한 부가적인 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청할 수도 있다. AR 콘텐츠를 업데이트한 후, 디스플레이 프로세서 (16) 는 변경된 오버레이된 AR 콘텐츠를 갖는 단일 화상을 디스플레이 (18) 상으로 사용자에게 디스플레이한다 (82).
오버레이된 AR 콘텐츠를 갖는 단일 화상이 디스플레이된 후 AR 콘텐츠 세팅들을 변경하는 것에 부가하여, 사용자는, 단일 화상에 대해 패닝, 틸팅, 스크롤링 및 줌잉 프로세스 중 하나 이상을 수행하여 단일 화상에 표현된 장면의 새로운 뷰를 생성하도록 어플리케이션 프로세서 (12) 에게 요청할 수도 있다. 이미지 효과를 수행한 이후, 어플리케이션 프로세서 (12) 는 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나에 의해 단일 화상에서 새로운 뷰를 오버레이하도록 AR 콘텐츠를 업데이트할 수도 있다. 예를 들어, 이미지 효과가 줌인 효과인 경우, 어플리케이션 프로세서 (12) 는 단일 화상에 표현된 장면의 새로운 뷰에 대한 부가적인 AR 콘텐츠를 AR 데이터베이스 서버로부터 요청할 수도 있다. 이러한 방식으로, 사용자는 전체 장면, 예를 들어, 전체 이웃에 관한 일반 정보를 시청하지만, 그 후, 장면의 특정 영역, 예를 들어, 단일 블록 또는 단일 비즈니스에 관한 더 상세한 정보를, 단일 화상에서의 그 영역의 표현 상에서 줌인함으로써 시청할 수도 있다.
하나 이상의 예들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송될 수도 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 데이터 저장 매체 및 통신 매체를 포함할 수도 있다. 일부 예들에 있어서, 컴퓨터 판독가능 매체는 비-일시적인 컴퓨터 판독가능 매체를 포함할 수도 있다. 데이터 저장 매체는 본 개시에서 설명된 기술들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다.
한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 수록 또는 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체와 같은 비-일시적인 매체를 포함할 수 있다. 또한, 임의의 접속체가 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
그 코드는 하나 이상의 디지털 신호 프로세서(DSP)들, 범용 마이크로 프로세서들, 주문형 집적 회로(ASIC)들, 필드 프로그램가능 로직 어레이(FPGA)들, 또는 다른 균등한 집적된 또는 별개의 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용되는 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기술들의 구현에 적절한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 결합된 코덱에서 통합된 전용 하드웨어 모듈 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기술들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 상호작용하는 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
본 발명의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (54)

  1. 무선 통신 디바이스 (WCD) 로 증강 현실 어플리케이션을 실행하는 방법으로서,
    상기 WCD 의 프로세서로, 각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하는 단계;
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하는 단계로서, 상기 단일 화상은 상기 장면을 표현하기 위해 함께 스티칭된 상기 복수의 이미지 프레임들의 적어도 부분들을 포함하는, 상기 단일 화상으로 변환하는 단계;
    사용자가 상기 단일 화상에 표현된 상기 장면을 향해 배향되지 않을 경우 상기 단일 화상을 상기 WCD 의 상기 사용자에게 프리젠테이션하는 단계;
    상기 단일 화상에 표현된 상기 장면에 대한 증강 현실 (AR) 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 단계;
    상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하는 단계로서, 상기 AR 콘텐츠를 수신하는 단계는 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하는 단계를 포함하는, 상기 AR 콘텐츠를 AR 데이터베이스 서버로부터 수신하는 단계;
    상기 WCD 의 상기 사용자에게 프리젠테이션된 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하는 단계로서, 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하는 단계는 상기 AR 콘텐츠가 상기 AR 데이터베이스 서버로부터 수신됨에 따라 상기 AR 콘텐츠를 상기 단일 화상에 점진적으로 부가하는, 상기 AR 콘텐츠를 프로세싱 하는 단계;
    상기 단일 화상에 표현된 상기 장면의 새로운 뷰를 생성하기 위하여, 상기 단일 화상에 대해 줌잉 프로세스를 수행하는 단계; 및
    상기 단일 화상에 상기 새로운 뷰를 오버레이하도록 상기 AR 콘텐츠를 업데이트하는 단계로서, 상기 AR 콘텐츠를 업데이트하는 단계는 상기 단일 화상의 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 상기 AR 콘텐츠를 업데이트하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  2. 제 1 항에 있어서,
    상기 복수의 이미지 프레임들은 상기 장면의 비디오 데이터의 복수의 스틸 화상들 또는 복수의 비디오 프레임들 중 하나를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  3. 제 1 항에 있어서,
    상기 복수의 이미지 프레임들을 수신하는 단계는 상기 WCD 에 포함된 카메라로 캡처된 이미지 프레임들을 수신하는 것, 또는 상기 WCD 외부의 저장 디바이스로부터 이미지 프레임들을 수신하는 것 중 하나 이상을 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  4. 제 1 항에 있어서,
    상기 AR 콘텐츠를 요청하는 단계는 상기 단일 화상 또는 상기 이미지 프레임들의 부분 중 하나를 상기 AR 데이터베이스 서버로 전송하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  5. 제 1 항에 있어서,
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하는 단계는, 상기 WCD 의 상기 프로세서로, 상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  6. 제 1 항에 있어서,
    이미지 데이터를 상기 단일 화상으로 변환하는 단계는
    상기 복수의 이미지 프레임들을 원격 서버로 전송하는 단계;
    상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하도록 상기 원격 서버에게 지시하는 단계; 및
    상기 단일 화상을 상기 원격 서버로부터 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  7. 제 1 항에 있어서,
    상기 AR 데이터베이스 서버는 원격 서버를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  8. 제 1 항에 있어서,
    사용자 입력에 기초하여, 상기 단일 화상에 표현된 상기 장면에 대한 AR 콘텐츠 세팅들을 결정하는 단계; 및
    상기 장면에 대한 상기 AR 콘텐츠 세팅들을 상기 AR 데이터베이스 서버로 전송하는 단계를 더 포함하고,
    상기 AR 콘텐츠를 수신하는 단계는 상기 AR 콘텐츠 세팅들에 따라 상기 AR 데이터베이스 서버로부터, 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 점진적으로 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  9. 제 8 항에 있어서,
    상기 AR 콘텐츠 세팅들을 결정하는 단계는 상기 장면에 대하여 상기 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 하나 이상의 타입들을 나타내는 사용자 입력을 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  10. 제 8 항에 있어서,
    상기 AR 콘텐츠 세팅들을 결정하는 단계는 상기 장면에 대하여 상기 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 양을 나타내는 사용자 입력을 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  11. 제 8 항에 있어서,
    상기 AR 콘텐츠 세팅들을 결정하는 단계는 상기 AR 데이터베이스 서버로부터 상기 장면에 대한 상기 AR 콘텐츠를 수신하는 시간의 양을 나타내는 사용자 입력을 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  12. 제 8 항에 있어서,
    상기 장면에 대한 상기 AR 콘텐츠 세팅들에 대한 변경을 나타내는 사용자 입력을 수신하는 단계; 및
    상기 변경된 AR 콘텐츠 세팅들에 따라 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 업데이트하는 단계를 더 포함하고,
    상기 AR 콘텐츠를 업데이트하는 것은 상기 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  13. 삭제
  14. 제 1 항에 있어서,
    상기 단일 화상에 표현된 상기 장면에 대한 부가적인 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 요청하는 단계, 및
    상기 WCD 상으로의 디스플레이를 위해 기존의 AR 콘텐츠에 부가하여 상기 부가적인 AR 콘텐츠를 상기 단일 화상을 오버레이하도록 프로세싱하는 단계를 더 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  15. 삭제
  16. 제 1 항에 있어서,
    상기 장면의 부분을 표현하는 상기 복수의 이미지 프레임들 각각에 대한 하나 이상의 센서들로부터 위치 정보 및 원근 정보 중 하나 이상을 수신하는 단계; 및
    상기 장면의 적어도 하나의 부분에 대한 상기 위치 정보 및 원근 정보를 상기 AR 데이터베이스 서버로 전송하는 단계를 더 포함하고,
    상기 AR 콘텐츠를 수신하는 단계는 상기 장면의 부분에 대한 상기 위치 정보 및 원근 정보에 적어도 부분적으로 기초하여 상기 단일 화상에 표현된 상기 장면의 부분에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하는 단계를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  17. 제 1 항에 있어서,
    상기 AR 콘텐츠는 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 표현하는 텍스트 및 그래픽스 중 하나 이상, 및 상기 단일 화상에 대응하는 상기 텍스트 및 그래픽스에 대한 포지션 정보를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  18. 제 1 항에 있어서,
    상기 AR 콘텐츠는 상기 단일 화상에 표현된 상기 장면과 상기 장면의 이전 화상들 간의 차이들을 나타내는 하나 이상의 텍스트 또는 그래픽스를 포함하는, 증강 현실 어플리케이션을 실행하는 방법.
  19. 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD) 로서,
    이미지 데이터를 저장하도록 구성된 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하고,
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하는 것으로서, 상기 단일 화상은 상기 장면을 표현하기 위해 함께 스티칭된 상기 복수의 이미지 프레임들의 적어도 부분들을 포함하는, 상기 단일 화상으로 변환하고,
    사용자가 상기 단일 화상에 표현된 상기 장면을 향해 배향되지 않을 경우 상기 단일 화상을 상기 WCD 의 상기 사용자에게 프리젠테이션하고,
    상기 단일 화상에 표현된 상기 장면에 대한 증강 현실 (AR) 콘텐츠를 AR 데이터베이스 서버로부터 요청하고,
    상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하는 것으로서, 상기 프로세서는 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하도록 구성되는, 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하며,
    상기 WCD 의 상기 사용자에게 프리젠테이션된 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하는 것으로서, 상기 프로세서는, 상기 AR 콘텐츠가 상기 AR 데이터베이스 서버로부터 수신됨에 따라 상기 AR 콘텐츠를 상기 단일 화상에 점진적으로 부가하도록 구성되는, 상기 AR 콘텐츠를 프로세싱 하고,
    상기 단일 화상에 표현된 상기 장면의 새로운 뷰를 생성하기 위하여, 상기 단일 화상에 대해 줌잉 프로세스를 수행하고, 그리고
    상기 단일 화상에 상기 새로운 뷰를 오버레이하도록 상기 AR 콘텐츠를 업데이트하는 것으로서, 상기 AR 콘텐츠를 업데이트하는 것은 상기 단일 화상의 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 상기 AR 콘텐츠를 업데이트 하도록 구성되는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  20. 제 19 항에 있어서,
    상기 복수의 이미지 프레임들은 상기 장면의 비디오 데이터의 복수의 스틸 화상들 또는 복수의 비디오 프레임들 중 하나를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  21. 제 19 항에 있어서,
    이미지 프레임들을 캡처하기 위해 상기 WCD 에 포함된 카메라를 더 포함하고,
    상기 프로세서는 상기 WCD 에 포함된 상기 카메라 또는 상기 WCD 외부의 저장 디바이스 중 하나 이상으로부터 상기 복수의 이미지 프레임들을 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  22. 제 19 항에 있어서,
    송신기를 더 포함하고,
    상기 프로세서는 상기 단일 화상 또는 상기 이미지 프레임들의 부분들 중 하나를 상기 송신기를 통해 상기 AR 데이터베이스 서버로 전송하여 상기 장면에 대한 상기 AR 콘텐츠를 요청하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  23. 제 19 항에 있어서,
    상기 프로세서는 상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  24. 제 19 항에 있어서,
    송신기 및 수신기를 더 포함하고,
    상기 프로세서는 상기 복수의 이미지 프레임들을 상기 송신기를 통해 원격 서버로 전송하고, 상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하도록 상기 원격 서버에게 지시하며, 상기 단일 화상을 상기 원격 서버로부터 상기 수신기를 통해 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  25. 제 19 항에 있어서,
    상기 AR 데이터베이스 서버는 원격 서버를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  26. 제 19 항에 있어서,
    상기 프로세서는 사용자 입력에 기초하여 상기 단일 화상에 표현된 상기 장면에 대한 AR 콘텐츠 세팅들을 결정하고, 상기 장면에 대한 상기 AR 콘텐츠 세팅들을 상기 AR 데이터베이스 서버로 전송하며, 상기 AR 콘텐츠 세팅들에 따라 상기 AR 데이터베이스 서버로부터, 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 점진적으로 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  27. 제 26 항에 있어서,
    상기 프로세서는 상기 장면에 대하여 상기 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 하나 이상의 타입들을 나타내는 사용자 입력을 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  28. 제 26 항에 있어서,
    상기 프로세서는 상기 장면에 대하여 상기 AR 데이터베이스 서버로부터 수신하기 위한 AR 콘텐츠의 양을 나타내는 사용자 입력을 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  29. 제 26 항에 있어서,
    상기 프로세서는 상기 AR 데이터베이스 서버로부터 상기 장면에 대한 상기 AR 콘텐츠를 수신하는 시간의 양을 나타내는 사용자 입력을 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  30. 제 26 항에 있어서,
    상기 프로세서는 상기 장면에 대한 상기 AR 콘텐츠 세팅들에 대한 변경을 나타내는 사용자 입력을 수신하고, 상기 변경된 AR 콘텐츠 세팅들에 따라 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 업데이트하며,
    상기 AR 콘텐츠를 업데이트하는 것은 상기 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  31. 삭제
  32. 제 19 항에 있어서,
    상기 프로세서는 상기 단일 화상에 표현된 상기 장면에 대한 부가적인 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 요청하고, 상기 WCD 상으로의 디스플레이를 위해 기존의 AR 콘텐츠에 부가하여 상기 부가적인 AR 콘텐츠를 상기 단일 화상을 오버레이하도록 프로세싱하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  33. 삭제
  34. 제 19 항에 있어서,
    상기 프로세서는 상기 장면의 부분을 표현하는 상기 복수의 이미지 프레임들 각각에 대한 하나 이상의 센서들로부터 위치 정보 및 원근 정보 중 하나 이상을 수신하고, 상기 장면의 적어도 하나의 부분에 대한 상기 위치 정보 및 원근 정보를 상기 AR 데이터베이스 서버로 전송하며, 상기 장면의 부분에 대한 상기 위치 정보 및 원근 정보에 적어도 부분적으로 기초하여 상기 단일 화상에 표현된 상기 장면의 부분에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  35. 제 19 항에 있어서,
    상기 AR 콘텐츠는 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 표현하는 텍스트 및 그래픽스 중 하나 이상, 및 상기 단일 화상에 대응하는 상기 텍스트 및 그래픽스에 대한 포지션 정보를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  36. 제 19 항에 있어서,
    상기 AR 콘텐츠는 상기 단일 화상에 표현된 상기 장면과 상기 장면의 이전 화상들 간의 차이들을 나타내는 하나 이상의 텍스트 또는 그래픽스를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  37. 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD) 로서,
    각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하는 수단;
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하는 수단으로서, 상기 단일 화상은 상기 장면을 표현하기 위해 함께 스티칭된 상기 복수의 이미지 프레임들의 적어도 부분들을 포함하는, 상기 단일 화상으로 변환하는 수단;
    사용자가 상기 단일 화상에 표현된 상기 장면을 향해 배향되지 않을 경우 상기 단일 화상을 상기 WCD 의 상기 사용자에게 프리젠테이션하는 수단;
    상기 단일 화상에 표현된 상기 장면에 대한 증강 현실 (AR) 콘텐츠를 AR 데이터베이스 서버로부터 요청하는 수단;
    상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하는 수단으로서, 상기 AR 콘텐츠를 수신하는 수단은 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하는 수단을 포함하는, 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하는 수단;
    상기 WCD 의 상기 사용자에게 프리젠테이션된 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하는 수단으로서, 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하는 수단은, 상기 AR 콘텐츠가 상기 AR 데이터베이스 서버로부터 수신됨에 따라 상기 AR 콘텐츠를 상기 단일 화상에 점진적으로 부가하는 수단을 포함하는, 상기 AR 콘텐츠를 프로세싱 하는 수단;
    상기 단일 화상에 표현된 상기 장면의 새로운 뷰를 생성하기 위하여, 상기 단일 화상에 대해 줌잉 프로세스를 수행하는 수단; 및
    상기 단일 화상에 상기 새로운 뷰를 오버레이하도록 상기 AR 콘텐츠를 업데이트하는 수단으로서, 상기 AR 콘텐츠를 업데이트하는 수단은 상기 단일 화상의 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 상기 AR 콘텐츠를 업데이트하는 수단을 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  38. 제 37 항에 있어서,
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하는 수단은 상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하는 수단을 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  39. 제 37 항에 있어서,
    이미지 데이터를 상기 단일 화상으로 변환하는 수단은
    상기 복수의 이미지 프레임들을 원격 서버로 전송하는 수단;
    상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하도록 상기 원격 서버에게 지시하는 수단; 및
    상기 단일 화상을 상기 원격 서버로부터 수신하는 수단을 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  40. 제 37 항에 있어서,
    사용자 입력에 기초하여, 상기 단일 화상에 표현된 상기 장면에 대한 AR 콘텐츠 세팅들을 결정하는 수단; 및
    상기 장면에 대한 상기 AR 콘텐츠 세팅들을 상기 AR 데이터베이스 서버로 전송하는 수단; 및
    상기 AR 콘텐츠 세팅들에 따라 상기 AR 데이터베이스 서버로부터, 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 점진적으로 수신하는 수단을 더 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  41. 제 40 항에 있어서,
    상기 장면에 대한 상기 AR 콘텐츠 세팅들에 대한 변경을 나타내는 사용자 입력을 수신하는 수단; 및
    상기 변경된 AR 콘텐츠 세팅들에 따라 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 업데이트하는 수단을 더 포함하고,
    상기 AR 콘텐츠를 업데이트하는 것은 상기 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 증강 현실 어플리케이션을 실행하는 무선 통신 디바이스 (WCD).
  42. 삭제
  43. 삭제
  44. 증강 현실 어플리케이션을 실행하기 위한 명령들을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령들은, 무선 통신 디바이스 (WCD) 에서 실행될 경우, 하나 이상의 프로그램가능 프로세서들로 하여금,
    각각이 장면의 부분을 표현하는 복수의 이미지 프레임들을 수신하게 하고;
    상기 복수의 이미지 프레임들을 단일 화상으로 변환하게 하는 것으로서, 상기 단일 화상은 상기 장면을 표현하기 위해 함께 스티칭된 상기 복수의 이미지 프레임들의 적어도 부분들을 포함하는, 상기 단일 화상으로 변환하게 하고;
    사용자가 상기 단일 화상에 표현된 상기 장면을 향해 배향되지 않을 경우 상기 단일 화상을 상기 WCD 의 상기 사용자에게 프리젠테이션하게 하고;
    상기 단일 화상에 표현된 상기 장면에 대한 증강 현실 (AR) 콘텐츠를 AR 데이터베이스 서버로부터 요청하게 하고;
    상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하게 하는 것으로서, 상기 명령들은 상기 프로세서들로 하여금 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 점진적으로 수신하게 하는, 상기 AR 콘텐츠를 상기 AR 데이터베이스 서버로부터 수신하게 하고;
    상기 WCD 의 상기 사용자에게 프리젠테이션된 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 프로세싱하게 하는 것으로서, 상기 명령들은 상기 프로세서들로 하여금 상기 AR 콘텐츠가 상기 AR 데이터베이스 서버로부터 수신됨에 따라 상기 AR 콘텐츠를 상기 단일 화상에 점진적으로 부가하게 하는, 상기 AR 콘텐츠를 프로세싱하게 하며;
    상기 단일 화상에 표현된 상기 장면의 새로운 뷰를 생성하기 위하여, 상기 단일 화상에 대해 줌잉 프로세스를 수행하게 하며; 그리고
    상기 단일 화상에 상기 새로운 뷰를 오버레이하도록 상기 AR 콘텐츠를 업데이트하게 하는 것으로서, 상기 AR 콘텐츠를 업데이트하게 하는 것은 상기 단일 화상의 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 상기 AR 콘텐츠를 업데이트 하게 하는, 컴퓨터 판독가능 매체.
  45. 제 44 항에 있어서,
    상기 프로세서들로 하여금 상기 복수의 이미지 프레임들을 단일 화상으로 변환하게 하는 명령들은 상기 프로세서들로 하여금 상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 매체.
  46. 제 44 항에 있어서,
    상기 프로세서들로 하여금 상기 복수의 이미지 프레임들을 단일 화상으로 변환하게 하는 명령들은, 상기 프로세서들로 하여금
    상기 복수의 이미지 프레임들을 원격 서버로 전송하게 하고;
    상기 이미지 프레임들의 부분들을 함께 스티칭하여 상기 단일 화상을 형성하도록 상기 원격 서버에게 지시하게 하며; 그리고
    상기 단일 화상을 상기 원격 서버로부터 수신하게 하는
    명령들을 더 포함하는, 컴퓨터 판독가능 매체.
  47. 제 44 항에 있어서,
    상기 프로세서들로 하여금
    사용자 입력에 기초하여, 상기 단일 화상에 표현된 상기 장면에 대한 AR 콘텐츠 세팅들을 결정하게 하고;
    상기 장면에 대한 상기 AR 콘텐츠 세팅들을 상기 AR 데이터베이스 서버로 전송하게 하며; 그리고
    상기 AR 콘텐츠 세팅들에 따라 상기 AR 데이터베이스 서버로부터, 상기 단일 화상에 표현된 상기 장면에 대한 상기 AR 콘텐츠를 점진적으로 수신하게 하는
    명령들을 더 포함하는, 컴퓨터 판독가능 매체.
  48. 제 47 항에 있어서,
    상기 프로세서들로 하여금
    상기 장면에 대한 상기 AR 콘텐츠 세팅들에 대한 변경을 나타내는 사용자 입력을 수신하게 하며; 그리고
    상기 변경된 AR 콘텐츠 세팅들에 따라 상기 단일 화상을 오버레이하도록 상기 AR 콘텐츠를 업데이트하게 하는
    명령들을 더 포함하고,
    상기 AR 콘텐츠를 업데이트하는 것은 상기 단일 화상으로부터 AR 콘텐츠를 부가하는 것 또는 제거하는 것 중 하나를 포함하는, 컴퓨터 판독가능 매체.
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
KR1020147015244A 2011-11-08 2012-10-10 무선 통신 디바이스들에 대한 핸즈-프리 증강 현실 KR101617111B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161557265P 2011-11-08 2011-11-08
US61/557,265 2011-11-08
US13/536,543 US9171384B2 (en) 2011-11-08 2012-06-28 Hands-free augmented reality for wireless communication devices
US13/536,543 2012-06-28
PCT/US2012/059584 WO2013070375A1 (en) 2011-11-08 2012-10-10 Hands-free augmented reality for wireless communication devices

Publications (2)

Publication Number Publication Date
KR20140088903A KR20140088903A (ko) 2014-07-11
KR101617111B1 true KR101617111B1 (ko) 2016-04-29

Family

ID=48223405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015244A KR101617111B1 (ko) 2011-11-08 2012-10-10 무선 통신 디바이스들에 대한 핸즈-프리 증강 현실

Country Status (7)

Country Link
US (1) US9171384B2 (ko)
EP (1) EP2777021B1 (ko)
JP (1) JP5869140B2 (ko)
KR (1) KR101617111B1 (ko)
CN (2) CN107958490B (ko)
IN (1) IN2014CN03487A (ko)
WO (1) WO2013070375A1 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110221771A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Merging of Grouped Markers in An Augmented Reality-Enabled Distribution Network
AU2012306059A1 (en) 2011-09-08 2014-03-27 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
US9547917B2 (en) * 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
WO2014169066A1 (en) 2013-04-09 2014-10-16 Thermal Imaging Radar, LLC Fire detection system
US9685896B2 (en) 2013-04-09 2017-06-20 Thermal Imaging Radar, LLC Stepper motor control and fire detection system
WO2014185885A1 (en) 2013-05-13 2014-11-20 Empire Technology Development, Llc Line of sight initiated handshake
US9454848B2 (en) * 2013-05-20 2016-09-27 Nokia Technologies Oy Image enhancement using a multi-dimensional model
EP3030935B1 (en) 2013-08-09 2020-11-18 Thermal Imaging Radar LLC Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels
KR102206060B1 (ko) * 2013-11-19 2021-01-21 삼성전자주식회사 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US10086271B2 (en) 2013-11-25 2018-10-02 Facebook, Inc. Control device for controlling a camera arrangement and a method for controlling an augumented reality application program of the camera arrangement
KR101598921B1 (ko) * 2014-02-18 2016-03-02 홍익대학교 산학협력단 공간 축척을 초월한 영상 촬영 시스템 및 방법
WO2015160828A1 (en) 2014-04-15 2015-10-22 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
WO2015164755A1 (en) 2014-04-25 2015-10-29 Huntington Ingalls Incorporated Augmented reality display of dynamic target object information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
US10147234B2 (en) 2014-06-09 2018-12-04 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10504294B2 (en) 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
US10915754B2 (en) 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
WO2016011149A1 (en) 2014-07-16 2016-01-21 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
WO2016025585A1 (en) * 2014-08-13 2016-02-18 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
KR102278882B1 (ko) * 2014-10-07 2021-07-20 십일번가 주식회사 동적 화면 전환을 기반으로 한 상품 판매 서비스 장치, 동적 화면 전환을 기반으로 한 상품 판매 시스템, 동적 화면 전환을 기반으로 한 상품을 판매하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9659410B2 (en) * 2014-10-21 2017-05-23 Honeywell International Inc. Low latency augmented reality display
CN104376118B (zh) * 2014-12-03 2018-02-16 北京理工大学 基于全景图的精确标注兴趣点的户外移动增强现实方法
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
MX368852B (es) 2015-03-31 2019-10-18 Thermal Imaging Radar Llc Configuración de diferentes sensibilidades de modelos de fondo mediante regiones definidas por el usuario y filtros de fondo.
USD776181S1 (en) 2015-04-06 2017-01-10 Thermal Imaging Radar, LLC Camera
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
WO2016187483A1 (en) * 2015-05-20 2016-11-24 Brian Mullins Light-based radar system for augmented reality
KR101613287B1 (ko) * 2015-06-15 2016-04-19 김영덕 3d 파노라마 영상을 근거로 한 여행지 원스톱 쇼핑 시스템 및 그의 제어 방법
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
KR102517104B1 (ko) * 2016-02-17 2023-04-04 삼성전자주식회사 가상 현실 시스템에서 이미지 처리 방법 및 장치
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN106250187A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种增强现实ar的信息处理方法、装置及系统
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US20180150931A1 (en) * 2016-11-29 2018-05-31 Caterpillar Inc. Screen zoom feature for augmented reality applications
US9961302B1 (en) * 2016-12-13 2018-05-01 Cisco Technology, Inc. Video conference annotation
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10878474B1 (en) * 2016-12-30 2020-12-29 Wells Fargo Bank, N.A. Augmented reality real-time product overlays using user interests
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
EP3388929A1 (en) * 2017-04-14 2018-10-17 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11315337B2 (en) 2018-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
CN112424536A (zh) * 2018-05-29 2021-02-26 贝利莫控股公司 一种用于控制建筑物中hvac部件的方法和移动通信设备
CN108877311A (zh) * 2018-06-25 2018-11-23 南阳理工学院 一种基于增强现实技术的英语学习系统
CN109063039A (zh) * 2018-07-17 2018-12-21 高新兴科技集团股份有限公司 一种基于移动端的视频地图动态标签显示方法及系统
CN109191369B (zh) 2018-08-06 2023-05-05 三星电子（中国）研发中心 2d图片集转3d模型的方法、存储介质和装置
US11394848B2 (en) * 2018-12-24 2022-07-19 Thinkware Corporation Electronic device and operation method thereof, and server and operation method thereof in system for providing location-based service based on object detected from video
CN109814709A (zh) * 2018-12-27 2019-05-28 北京航天智造科技发展有限公司 基于ar系统的操作指导方法及装置
US10970578B2 (en) * 2019-02-07 2021-04-06 Johnson Controls Fire Protection LP System and method for extracting information from a non-planar surface
US11011055B2 (en) * 2019-03-21 2021-05-18 Verizon Patent And Licensing Inc. Collecting movement analytics using augmented reality
US10944921B2 (en) 2019-03-27 2021-03-09 Rovi Guides, Inc. Replacing a background portion of an image
US10887531B2 (en) 2019-03-27 2021-01-05 Rovi Guides, Inc. Replacing a background portion of an image
US11025837B2 (en) 2019-03-27 2021-06-01 ROVl GUIDES, INC. Replacing a background portion of an image
KR102637416B1 (ko) * 2019-10-30 2024-02-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
KR20220039110A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 증강 현실 시스템 및 그 생성 방법
KR102442359B1 (ko) * 2021-03-10 2022-09-13 한국도로공사 증강현실기반 교량 유지관리방법
EP4113987B1 (en) 2021-06-29 2023-11-08 Axis AB System, camera device, method, and computer program for displaying collected sensor data together with images
CN113938653A (zh) * 2021-10-12 2022-01-14 钱保军 一种基于ar梯次级联的多视频监控显示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002512493A (ja) 1998-04-17 2002-04-23 エンカメラ サイエンシィーズ コーポレーション 既存の通信システムのための拡大された情報容量
JP2003058414A (ja) 2001-07-26 2003-02-28 Internatl Business Mach Corp <Ibm> サーバ、ウェブコンテンツ編集装置、コンピュータを用いてこれらを実現するプログラム、及びそのウェブコンテンツ編集方法並びに提供方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
JP3548459B2 (ja) * 1998-11-20 2004-07-28 富士通株式会社 案内情報提示装置，案内情報提示処理方法，案内情報提示プログラムを記録した記録媒体，案内用スクリプト生成装置，案内情報提供装置，案内情報提供方法および案内情報提供プログラム記録媒体
US6792615B1 (en) * 1999-05-19 2004-09-14 New Horizons Telecasting, Inc. Encapsulated, streaming media automation and distribution system
US6452597B1 (en) * 1999-08-24 2002-09-17 Microsoft Corporation Displaying text on a limited-area display surface
US7080325B2 (en) * 2002-02-22 2006-07-18 Call-Tell Llc Graphical device for comprehensive viewing and input of variable data via a browser-based display
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US20040228401A1 (en) * 2003-05-12 2004-11-18 Chen Sherman (Xuemin) Method and system for protecting image data in frame buffers of video compression systems
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
WO2006105686A1 (en) * 2005-04-06 2006-10-12 Eidgenössische Technische Hochschule Zürich Method of executing an application in a mobile device
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
US20090109341A1 (en) * 2007-10-30 2009-04-30 Qualcomm Incorporated Detecting scene transitions in digital video sequences
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US8239758B2 (en) * 2008-11-13 2012-08-07 International Business Machines Corporation Truncating character strings to generate a list of unique character strings
US20100145676A1 (en) * 2008-12-09 2010-06-10 Qualcomm Incorporated Method and apparatus for adjusting the length of text strings to fit display sizes
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
KR101561913B1 (ko) 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
US20110209201A1 (en) 2010-02-19 2011-08-25 Nokia Corporation Method and apparatus for accessing media content based on location
US9901828B2 (en) 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US9635251B2 (en) * 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US20120036444A1 (en) * 2010-07-01 2012-02-09 Andersen Ann-Cabell Baum Systems and Methods for Interactive Web-based Social Networking and Activities Coordination
US20130171601A1 (en) * 2010-09-22 2013-07-04 Panasonic Corporation Exercise assisting system
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US20120221687A1 (en) * 2011-02-27 2012-08-30 Broadcastr, Inc. Systems, Methods and Apparatus for Providing a Geotagged Media Experience
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2015537264A (ja) * 2012-08-27 2015-12-24 エンパイア テクノロジー ディベロップメント エルエルシー デジタルに仲介された通信の地理的発信元を示すこと

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002512493A (ja) 1998-04-17 2002-04-23 エンカメラ サイエンシィーズ コーポレーション 既存の通信システムのための拡大された情報容量
JP2003058414A (ja) 2001-07-26 2003-02-28 Internatl Business Mach Corp <Ibm> サーバ、ウェブコンテンツ編集装置、コンピュータを用いてこれらを実現するプログラム、及びそのウェブコンテンツ編集方法並びに提供方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOBIAS LANGLOTZ ET AL: "Online Creation of Panoramic Augmented Reality Annotations on Mobile Phones", IEEE PERVASIVE COMPUTING, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol.11, no.2, 2010, pp.56-63.*

Also Published As

Publication number Publication date
WO2013070375A1 (en) 2013-05-16
CN104054111A (zh) 2014-09-17
EP2777021A1 (en) 2014-09-17
KR20140088903A (ko) 2014-07-11
IN2014CN03487A (ko) 2015-10-09
CN107958490B (zh) 2021-07-09
EP2777021B1 (en) 2018-03-28
JP2015504550A (ja) 2015-02-12
US9171384B2 (en) 2015-10-27
US20130113827A1 (en) 2013-05-09
JP5869140B2 (ja) 2016-02-24
CN107958490A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
KR101617111B1 (ko) 무선 통신 디바이스들에 대한 핸즈-프리 증강 현실
US11323605B2 (en) Method and apparatus for managing a camera network
US9665986B2 (en) Systems and methods for an augmented reality platform
CN108885639B (zh) 内容集合导航和自动转发
JP5162928B2 (ja) 画像処理装置、画像処理方法、画像処理システム
US9001252B2 (en) Image matching to augment reality
WO2017201568A1 (en) Media tags location-anchored digital media for augmented reality and virtual reality environments
EP2071841A2 (en) Method, apparatus and computer program product for displaying virtual media items in a visual media
US20240161370A1 (en) Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with real world places
KR102657053B1 (ko) 옵트아웃 인터스티셜을 이용한 미디어 컬렉션 탐색
CN110019599A (zh) 获取兴趣点poi信息的方法、系统、装置及电子设备
JP2016213810A (ja) 画像表示システム、情報処理装置、プログラム、画像表示方法
WO2013187494A1 (ja) 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機
US20210311550A1 (en) Postponing the State Change of an Information Affecting the Graphical User Interface Until During the Condition of Inattentiveness
WO2016005799A1 (en) Social networking system and method
CN101783090A (zh) 用以显示具有位置资料的照片的方法及其照片显示装置
KR20120136060A (ko) 증강현실을 이용한 마케팅 서비스 시스템 및 방법
CN112395530A (zh) 数据内容的输出方法、装置、电子设备及计算机可读介质
JP5702845B2 (ja) 情報配信システム
KR101404222B1 (ko) 지도 서비스 시스템 및 지도 서비스 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee