KR20150095868A - 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스 - Google Patents

증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스 Download PDF

Info

Publication number
KR20150095868A
KR20150095868A KR1020157018902A KR20157018902A KR20150095868A KR 20150095868 A KR20150095868 A KR 20150095868A KR 1020157018902 A KR1020157018902 A KR 1020157018902A KR 20157018902 A KR20157018902 A KR 20157018902A KR 20150095868 A KR20150095868 A KR 20150095868A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality contents
display
environment
user
Prior art date
Application number
KR1020157018902A
Other languages
English (en)
Inventor
배백 포르탄포어
시리람 가네쉬
다니엘 에스. 베이커
데벤더 에이. 야마카와
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150095868A publication Critical patent/KR20150095868A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

증강 현실 콘텐츠들을 디스플레이하기 위한 방법 및 장치가 개시된다. 본 개시물의 실시형태들에 따르면, 증강 현실 콘텐츠들을 디스플레이하는 방법은, 사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하는 단계, 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하는 단계, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계, 및 표면들의 세트 상의 증강 현실 콘텐츠들의 세트를 디스플레이에 디스플레이하는 단계를 포함한다. 환경의 특징들은 적어도, 디스플레이될 증강 현실 콘텐츠들의 세트에 대하여 표면들의 세트의 종횡비, 및/또는 디스플레이될 증강 현실 콘텐츠들의 세트에 대하여 표면들의 세트의 배경 컬러를 포함한다.

Description

증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스{User Interface for Augmented Reality Enabled Devices}
[0001]본 출원은, 2012년 12월 18일에 출원되고 명칭이 "User Interface for Augmented Reality Enabled Devices"인 미국 출원 제13/718,923호의 이점과 우선권을 주장하며, 상기 출원은 본원의 양수인에게 양도되었고, 인용에 의해 본원에 포함된다.
[0002]본 개시물은 증강 현실 분야에 관한 것이다. 특히, 본 개시물은 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스에 관한 것이다.
[0003]헤드 장착식 디스플레이는 사용자들이, 그 사용자들의 이메일을 읽고 주식 시세를 입수하는 것 등을 할 수 있으면서, 여전히 이들의 전면에서 세상을 보게 하도록 구성될 수 있다. 그러나, 기존 디바이스들이 지닌 공통적인 문제는 사용자가 실세계를 봐야하고 또한 AR 콘텐츠를 보기 위해서 초점을 변경해야 하기 때문에 기존 디바이스가 정보 과부하로 이어질 수 있다는 것이다. 기존 디바이스들이 지닌 다른 문제는, 기존 디바이스들이 디스플레이될 콘텐츠들에 기초하여 사용자의 시야에 있는 이용가능한 영역들을 우선순위화하고 조직하지 않는다는 것이다. 도 1은 특정한 종래의 애플리케이션들에 따라 디스플레이된 정보의 예를 도시한다. 도 1에 도시된 바와 같이, 다양한 광고들이 디스플레이의 스크린 상에 위치된다. 광고들 중 일부, 예를 들어, 152, 154 및 156은 장면의 특정 부분들이 사용자로부터 차단되어 있을 수 있다. 이와 같이, 종래의 애플리케이션들은, 사용자가 그 주변과 자연스럽게 상호작용할 수 있게 하면서도, 증강 현실 콘텐츠를 환경으로는 효율적으로 통합하지 않는데, 이는 헤드 장착식 디스플레이들을 장착한 사용자의 경험에 불리한 영향을 줄 수 있다.
[0004]따라서, 종래의 솔루션들의 상기 문제점들을 해결할 수 있는 방법들 및 디바이스들이 요구된다.
[0005]본 개시물은 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스에 관한 것이다. 본 개시물의 실시형태들에 따르면, 증강 현실 콘텐츠를 디스플레이하는 방법은, 사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하는 단계; 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하는 단계; 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계; 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하는 단계를 포함한다. 환경의 특징들은 적어도, 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 종횡비, 및/또는 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 배경 컬러를 포함한다.
[0006]일부 구현들에서, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계의 방법은 표면들의 세트의 면적, 표면들의 세트의 배향들, 사용자의 시계(field of view)와 관련되는 표면들의 세트의 위치들, 및 표면들의 세트의 추적가능성에 기초하여 디스플레이를 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계를 포함한다.
[0007]일부 다른 구현들에서, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계의 방법은 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 종횡비, 및 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계를 더 포함한다.
[0008]일부 또 다른 구현들에서, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계의 방법은 환경 내의 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 결정하는 단계를 더 포함한다. 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 결정하는 단계의 방법은 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠의 제 1 세트를 선택하는 단계; 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠의 제 2 세트를 선택하는 단계; 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 3 세트를 선택하는 단계; 및 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 4 세트를 선택하는 단계 중 적어도 하나를 포함한다.
[0009]증강 현실 콘텐츠의 제 1 세트는 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함하고, 증강 현실 콘텐츠의 제 2 세트는 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함한다는 것을 주목한다. 통신 및 문서화를 위한 증강 현실 콘텐츠의 제 1 세트는 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함하고, 통신 및 엔터테인먼트를 위한 증강 현실 콘텐츠의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함한다.
[0010]일부 또 다른 구현들에서, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계의 방법은 디스플레이될 증강 현실 콘텐츠의 세트의 스케일링 인자들, 및 디스플레이될 증강 현실 콘텐츠의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계를 더 포함한다.
[0011]일부 또 다른 구현들에서, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하는 단계의 방법은 미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠의 세트를 결정하는 단계; 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하는 단계를 더 포함한다. 미리정의된 사용자 선호들은 사용자에 대한 증강 현실 콘텐츠가 중요도; 디스플레이될 증강 현실 콘텐츠의 양; 및 표면들의 세트에 대한 증강 현실 콘텐츠의 보는 방향 중 적어도 하나를 포함한다.
[0012]다른 구현에서, 컴퓨터 프로그램 물건은 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하고; 컴퓨터 프로그램 물건은 사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하기 위한 코드; 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하기 위한 코드; 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 코드; 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하기 위한 코드를 포함한다.
[0013]또 다른 구현에서, 장치는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하도록 구성된 로직, 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하도록 구성된 로직, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하도록 구성된 로직, 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하도록 구성된 로직을 포함한다.
[0014]또 다른 구현에서, 증강 현실 콘텐츠를 디스플레이하기 위한 시스템은사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하기 위한 수단, 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하기 위한 수단, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 수단, 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하기 위한 수단을 포함한다.
[0015]다음 도면들과 함께 본 발명의 실시예들의 상세한 설명들을 읽은 후, 본 발명의 앞서 언급한 특징들 및 이점들뿐만 아니라, 본 발명의 추가 특징들 및 이점들이 더 명확히 이해될 수 있을 것이다.
[0016]도 1은 특정한 종래 애플리케이션들에 따라 디스플레이된 정보의 예를 도시한다.
[0017]도 2는 본 발명의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 예시한다.
[0018]도 3은 본 발명의 일부 양상들에 따른 예시적인 증강 현실 인에이블 디바이스의 블록도를 예시한다.
[0019]도 4는 본 개시물의 일부 양상들에 따른 다른 예시적인 증강 현실 인에이블 디바이스를 도시한다.
[0020]도 5는 본 개시물의 일부 양상들에 따른 도 4의 증강 현실 인에이블 디바이스의 블록도를 도시한다.
[0021]도 6은 본 개시물의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 위한 예시적인 사용자 인터페이스를 도시한다.
[0022]도 7은 본 개시물의 일부 양상들에 따른 증강 현실 콘텐츠를 디스플레이하는 예시적인 방법을 도시한다.
[0023]증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스의 실시형태들이 개시된다. 다음의 설명들은 임의의 당업자가 본 발명을 실시하거나 이용할 수 있게 하도록 제공된다. 특정 실시예들 및 애플리케이션들의 설명들은 단지 예들로서 제공된다. 본 명세서에서 설명되는 예들의 다양한 변형들 및 결합들이 당업자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 일반 원리들은 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 예들 및 애플리케이션들에 적용될 수 있다. 그러므로 본 발명은 설명 및 도시되는 예들로 한정되는 것으로 의도되는 것이 아니라, 본 명세서에서 개시되는 원리들 및 특징들에 부합하는 가장 넓은 범위에 따르는 것이다. 단어 "예시적인" 또는 "예"는 본원에서 "예, 사례 또는 예시로서 기능하는 것"을 의미하는데 사용된다. "예시적인 것" 또는 "예"로서 본원에 설명된 임의의 양상 또는 실시예는 반드시 다른 양상들 또는 실시형태들에 비해 바람직하거나 유리한 것으로 해석되지는 않는다.
[0024]도 2는 본 발명의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 예시한다. 도 2에 도시된 바와 같이, 증강 현실 인에이블 디바이스(ARD)(200)는 하우징(101), 디스플레이(102), 하나 또는 그보다 많은 스피커들(104) 및 마이크로폰(106)을 포함한다. 터치 스크린 디스플레이일 수 있는 디스플레이(102)는 카메라(105)에 의해 캡처된 이미지, 또는 임의의 다른 원하는 사용자 인터페이스 정보를 예시할 수 있다. 물론, ARD(200)는 반드시 본 발명에 관련되지는 않는 부가적인 컴포넌트들을 포함할 수 있다.
[0025]본원에 사용된 바와 같이, ARD 디바이스는 셀룰러 또는 다른 무선 통신 디바이스, 퍼스널 통신 시스템(PCS) 디바이스, 퍼스널 네비게이션 디바이스(PND), 개인 정보 관리자(PIM), 개인 휴대 정보 단말기(PDA), 랩톱 또는 다른 적절한 모바일 플랫폼과 같은 임의의 휴대용 전자 디바이스를 지칭한다. 모바일 플랫폼은 네비게이션 포지셔닝 신호들과 같은 무선 통신 및/또는 네비게이션 신호들을 수신할 수 있다. 용어 ARD는 또한, 위성 신호 수신, 보조 데이터 수신 및/또는 포지션-관련 프로세싱이 디바이스에서 발생하는지 또는 PND에서 발생하는지 여부에 관계없이 가령, 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해, 퍼스널 네비게이션 디바이스(PND)와 통신하는 디바이스들을 포함하도록 의도된다. 또한, ARD는 포즈 추적에 사용되는 이미지들을 캡처할 수 있을 뿐만 아니라 증강 현실 사용자 인터페이스 기능들을 수행할 수 있는, 무선 통신 디바이스들, 컴퓨터들, 랩톱들, 태블릿 컴퓨터들, 스마트 폰들, 디지털 카메라들 등을 포함하는 모든 전자 디바이스들을 포함하도록 의도된다.
[0026]도 3은 본 발명의 일부 양상들에 따른 예시적인 증강 현실 인에이블 디바이스의 블록도를 예시한다. ARD(300)의 모바일 플랫폼은 환경의 이미지들을 캡처하기 위한 카메라(108)를 포함하고, 이미지들은 개별적인 사진들 또는 비디오의 프레임들 중 어느 하나일 수 있다. ARD(300)의 모바일 플랫폼은 또한 데이터를 제공하는데 사용될 수 있는 센서들(116)을 포함할 수 있고, ARD(300)의 모바일 플랫폼은 그 데이터를 통해 자신의 위치 및 배향, 즉, 포즈를 결정할 수 있다. ARD(300)의 모바일 플랫폼에서 사용될 수 있는 센서들의 예들은 가속도계들, 수정(quartz) 센서들, 자이로스코프들, 선형 가속도계들로서 사용되는 MEMS(micro-electromechanical system) 센서들뿐만 아니라 자력계들을 포함한다.
[0027]ARD(300)의 모바일 플랫폼은 또한 이미지들을 디스플레이할 수 있는 디스플레이(112)를 포함하는 사용자 인터페이스(110)를 포함할 수 있다. 사용자 인터페이스(110)는 또한 사용자가 정보를 ARD(300)의 모바일 플랫폼에 입력할 수 있게 하는 다른 입력 디바이스 또는 키패드(114)를 포함할 수 있다. 원한다면, 키패드(114)는 가상의 키패드를 터치 센서를 갖는 디스플레이(112)에 통합함으로써 제거될 수 있다. 사용자 인터페이스(110)는 또한, 예를 들면, 모바일 플랫폼이 셀룰러 텔레폰인 경우 마이크로폰(117) 및 하나 또는 그보다 많은 스피커들(118)을 포함할 수 있다. 물론, ARD(300)의 모바일 플랫폼은 본 발명에 관련되지 않은 다른 컴포넌트들을 포함할 수 있다.
[0028]ARD(300)의 모바일 플랫폼은, 임의의 다른 원하는 특징들과 함께, 카메라(108) 및 센서들(116)뿐만 아니라 사용자 인터페이스(110)에 접속되고 이들과 통신할 수 있는 제어 유닛(120)을 더 포함한다. 제어 유닛(120)은 하나 또는 그보다 많은 프로세서들(122) 및 연관된 메모리/스토리지(124)에 의해 제공될 수 있다. 제어 유닛(120)은 또한 소프트웨어(126)뿐만 아니라 하드웨어(128) 및 펌웨어(130)를 포함할 수 있다. 제어 유닛(120)은 ARD(300)의 위치를 추적할 뿐만 아니라 ARD(300)에 의해 모니터링되는 하나 또는 그보다 많은 물체들의 위치들을 추적하도록 구성된 추적 모듈(132)을 포함한다. 제어 유닛(120)은 증강 현실 상호 작용들을 ARD(300)의 디스플레이(112) 상에 제공하도록 구성된 증강 현실 사용자 인터페이스 모듈(134)을 더 포함할 수 있다. 추적 모듈(132) 및 증강 현실 사용자 인터페이스 모듈(134)은 명확히 하기 위해 프로세서(122) 및/또는 하드웨어(128)로부터 분리되는 것으로 예시되지만, 결합될 수 있거나 및/또는 소프트웨어(126) 및 펌웨어(130) 내의 명령들에 기초하여 프로세서(122) 및/또는 하드웨어(128)로 구현될 수 있다.
[0029]도 4는 본 개시물의 일부 양상들에 따른 다른 예시적인 증강 현실 인에이블 디바이스(400)를 도시한다. 도 4에 도시된 바와 같이, 증강 현실 인에이블 디바이스(400)는 헤드 장착식 디바이스일 수 있다. 본 개시물의 양상들에 따르면, 헤드 장착식 디바이스는 시간에 따른 사용 패턴들과 사용자의 선호들을 학습하고 사용자가 내부에 있을 수 있는 시간과 환경에 기초하여 사용자 인터페이스 윈도우들을 자동으로 적응시키도록 구성될 수 있다. 예를 들어, 헤드 장착식 디바이스는 특정 환경에서의 사용자의 이전 사용 패턴들의 이력에 따른 디스플레이를 위한 증강 현실 콘텐츠들의 세트를 결정한 후, 그에 따라 증강 현실 콘텐츠의 세트를 디스플레이하도록 구성될 수 있다.
[0030]일 접근법에서, 헤드 장착식 디바이스는 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠의 제 1 세트를 선택하도록 구성될 수 있다. 다른 접근법에서, 헤드 장착식 디바이스는 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 2 세트를 선택하도록 구성될 수 있다. 또 다른 접근법에서, 헤드 장착식 디바이스는 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 3 세트를 선택하도록 구성될 수 있다. 또 다른 접근법에서, 헤드 장착식 디바이스는 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 4 세트를 선택하도록 구성될 수 있다.
[0031]본 개시물의 다른 양상들에 따르면, 증강 현실 콘텐츠의 제 1 세트는 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함할 수 있고, 증강 현실 콘텐츠의 제 2 세트는 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함할 수 있다. 통신 및 문서화를 위한 증강 현실 콘텐츠의 제 1 세트는, 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함할 수 있고, 통신 및 엔터테인먼트를 위한 증강 현실 콘텐츠의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함할 수 있다.
[0032]도 5는 본 개시물의 일부 양상들에 따른 도 4의 증강 현실 인에이블 디바이스의 블록도를 도시한다. 일부 구현들에서, 센서 어레이(500)가, 본원에 설명된 다양한 실시형태들의 동작들을 수행하고, 데이터를 통신하고 데이터를 서버로부터 수신하는 프로세서(507)로 데이터를 제공할 수 있는 시스템의 일부로서 헤드 장착식 디바이스(400)가 동작할 수 있다. 헤드 장착식 디바이스(400)의 프로세서(507)는 2 이상의 프로세서(또는 멀티-코어 프로세서)를 포함할 수 있으며, 이 2 이상의 프로세서에서, 때때로 애플리케이션 프로세서로 지칭되는 애플리케이션들을 코프로세서가 실행하는 동안 코어 프로세서가 전반적인 제어 기능들을 수행할 수 있다는 것을 주목한다. 코어 프로세서 및 애플리케이션들 프로세서는, 멀티-코어 프로세서와 같은 동일한 마이크로칩 패키지로, 또는 별개의 칩들로 구성될 수 있다. 또한, 프로세서(507)는, 다른 기능들, 이를 테면, 무선 통신들(즉, 모뎀 프로세서), 내비게이션(예를 들어, GPS 수신기 내의 프로세서), 및 그래픽스 프로세싱(예를 들어, 그래픽스 프로세싱 유닛 또는 "GPU")과 연관된 프로세서들과 함께 동일한 마이크로칩 패키지 내에 패키징될 수 있다.
[0033]헤드 장착식 디바이스(400)는, 다른 컴퓨팅 디바이스들, 이를 테면, 인터넷에 액세스하는 퍼스널 컴퓨터들 및 모바일 디바이스들을 포함할 수 있는 통신 시스템 또는 네트워크와 통신할 수 있다. 이러한 개인 컴퓨터들 및 모바일 디바이스들은, 프로세서가 무선 통신 네트워크를 통해 데이터를 송신하고 수신할 수 있게 하기 위해서 프로세서(507)에 결합된 안테나(551), 송신기/수신기 또는 송수신기(552) 및 아날로그 투 디지털 컨버터(553)를 포함한다. 예를 들어, 모바일 디바이스들, 이를 테면, 셀룰러 전화들은 무선 통신 네트워크(예를 들어, Wi-Fi 또는 셀룰러 전화기 데이터 통신 네트워크)를 통해 인터넷에 접속할 수 있다. 이러한 무선 통신 네트워크들은 인터넷에 결합된 인터넷 액세스 서버 또는 게이트웨이에 결합된 복수의 기지국들을 포함할 수 있다. 개인 컴퓨터들은, 임의의 종래의 방식으로, 이를 테면, 인터넷 게이트웨이(미도시)를 통해 유선 접속들에 의해 또는 무선 통신 네트워크에 의해 인터넷에 결합될 수 있다.
[0034]도 5를 참고하면, 헤드 장착식 디바이스(400)는, 다수의 모듈들(510-550)로 구성될 수 있는 제어 시스템 프로세서(507)에 결합된 장면 센서(500)와 오디오 센서(505)를 포함할 수 있다. 일 실시형태에서, 프로세서(507) 또는 장면 센서(500)는 해부학적 피쳐 인식 알고리즘을 이미지들에 적용하여 하나 또는 그보다 많은 해부학적 피쳐들을 검출할 수 있다. 제어 시스템과 연관된 프로세서(507)는 하나 또는 그보다 많은 제스처들을 인식하고 인식된 제스처들을 입력 커맨드로서 프로세싱하기 위해서 검출된 해부학적 피쳐들을 검토할 수 있다. 예를 들어, 아래에서 더욱 상세하게 논의되는 바와 같이, 사용자는 가상의 오브젝트에 근접하도록 가상의 오브젝트를 손가락으로 가리키는 것과 같이 입력 커맨드에 대응하는 움직임 제스처를 수행할 수 있다. 이러한 예시적인 제스처를 인식하는 것에 응답하여, 프로세서(507)는 디스플레이로부터 가상의 오브젝트를 제거할 수 있다. 다른 예로서, 사용자는, 디스플레이 상에 존재하는 명령들 또는 옵션을 확인하기 위해서 한 손의 집게 손가락을 엄지 손가락에 터치하여 "OK" 사인을 형성할 수 있다.
[0035]스테레오 카메라들, 배향 센서들(예를 들어, 가속도계들 및 전자 콤파스) 및 거리 센서들을 포함하는 장면 센서(500)는, 3차원적 장면 정보를 해석하도록 구성될 수 있으며 프로세서(507) 내에서 구현되는 장면 관리자(510)로 장면-관련 데이터(예를 들어, 이미지들)를 제공할 수 있다. 다양한 구현들에서, 장면 센서(500)는, 적외선 카메라를 위해 장면을 조명하기 위해 적외선 조명 이미터들을 포함할 수 있는, 거리 센서들 및 스테레오 카메라들(아래에 설명되는 바와 같음)을 포함할 수 있다. 예를 들어, 도 5에 도시된 실시형태에서, 장면 센서(500)는, 스테레오 이미지들을 수집하기 위한 적-녹-청(RGB) 카메라(503a), 및 구조화된 적외선 조명 이미터들(503c)에 의해 제공될 수 있는 적외선 광으로 장면을 이미징하도록 구성된 적외선 카메라(503b)를 포함할 수 있다. 아래에 설명되는 바와 같이, 구조화된 적외선 광 이미터는, 적외선 카메라(503b)에 의해 이미징될 수 있는 적외선 광의 펄스들을 방사하도록 구성될 수 있으며, 전파 시간 계산들을 이용하여 엘리먼트들을 이미징할 거리들을 결정하기 위해 수신 픽셀들의 시간이 레코딩되고 사용된다. 총괄적으로, 스테레오 RGB 카메라(503a), 적외선 카메라(503b) 및 적외선 이미터(503c)는 RGB-D(D는 거리를 나타냄) 카메라(503)로 지칭될 수 있다.
[0036]장면 관리자 모듈(510)은, 스테레오 카메라들 및 표면 배향 정보로부터의 거리를 비롯하여, 이미지 내부의 오브젝트들의 3-차원적 재구성을 생성하기 위해서 장면 센서(500)에 의해 제공된 거리 측정치들 및 이미지들을 스캐닝할 수 있다. 일 실시형태에서, 장면 센서(500), 보다 구체적으로 RGB-D 카메라(503)는 사용자의 시계 및 헤드 장착식 디바이스(400)와 일직선으로 된 방향을 가리킬 수 있다. 장면 센서(500)는 전신(full body) 3차원적 모션 캡쳐 및 제스처 인식을 제공할 수 있다. 장면 센서(500)는 모노크롬 CMOS 센서와 같은 적외선 카메라(503c)와 결합된 적외선 광 이미터(503c)를 구비할 수 있다. 장면 센서(500)는 3차원적 비디오 데이터를 캡쳐하는 스테레오 카메라들(503a)을 더 포함할 수 있다. 장면 센서(500)는 주변 광, 태양광 또는 암흑에서 작동할 수 있으며 본원에 설명된 바와 같은 RGB-D 카메라를 포함할 수 있다. 장면 센서(500)는 근적외선(NIR) 펄스 조명 컴포넌트뿐만 아니라 고속 게이팅 메커니즘을 구비한 이미지 센서를 포함할 수 있다. 펄스 신호들은, 각각의 픽셀에 대해 수집되고 펄스들이 반사될 수 있는 위치들에 대응될 수 있으며, 캡쳐된 대상에 관한 대응하는 포인트에 대한 거리를 계산하기 위해 사용될 수 있다.
[0037]다른 실시형태에서, 장면 센서(500)는, 이미지 내의 오브젝트들의 거리, 예를 들어, 입체 이미지들의 초음파 에코-위치, 레이더, 삼각측량 등을 캡쳐하기 위한 다른 거리 측정 기술들(즉, 상이한 타입들의 거리 센서들)을 사용할 수 있다. 상술된 바와 같이, 일 실시형태에서, 장면 센서(500)는, 범위-게이트식 ToF 감지, RF-변조 ToF 감지, 펄스식-광 ToF 감지, 및 프로젝트식-광 스테레오 감지 중 적어도 하나를 이용하여 오브젝트들에 대한 거리들을 결정할 수 있는 레인징 카메라, LIDAR(flash lifht detection and ranging) 카메라, ToF(time-of-flight) 카메라, 및/또는 RGB-D 카메라(503)를 포함할 수 있다. 다른 구현에서, 장면 센서(500)는 장면의 스테레오 이미지들을 캡쳐하기 위해, 그리고 이미지 내에 포함된 캡쳐된 픽셀들의 밝기에 기초하여 거리를 결정하기 위해 스테레오 카메라(503a)를 사용할 수 있다. 상기 언급된 바와 같이, 일관성을 위해 거리 측정 센서들 및 기술들의 이러한 타입들 중 하나 또는 그보다 많은 타입들은 본원에서 전반적으로 "거리 센서들"로 지칭될 수 있다. 능력들 및 해상도를 달리하는 다수의 장면 센서들이, 물리적인 환경의 맵핑, 환경 내 사용자 위치의 정확한 추적, 및 환경의 사용자의 시야의 정확한 추적을 지원하도록 제공될 수 있다.
[0038]헤드 장착식 디바이스(400)는 또한, 마이크로폰 또는 마이크로폰 어레이와 같은 오디오 센서(505)를 포함할 수 있다. 오디오 센서(505)는, 헤드 장착식 디바이스(400)가 오디오를 레코딩하고, 음향 소스 국소화 및 주변 잡음 억제를 수행할 수 있게 한다. 오디오 센서(505)는 오디오를 캡쳐하고 오디오 신호들을 오디오 디지털 데이터로 변환할 수 있다. 제어 시스템과 연관된 프로세서는 오디오 디지털 데이터를 검토하고 스피치 인식 알고리즘을 적용하여 데이터를 탐색가능한 텍스트 데이터로 변환할 수 있다. 프로세서는 또한, 특정 인식 커맨드들 또는 키워드들에 대해 생성된 텍스트 데이터를 검토하고 인식된 커맨드들 또는 키워드들을 입력 커맨드들로서 사용하여 하나 또는 그보다 많은 태스크들을 수행할 수 있다. 예를 들어, 사용자는, 디스플레이된 가상의 오브젝트를 선택된 표면에 고정시키기 위해서 "가상 오브젝트 고정"과 같은 커맨드를 말할 수 있다. 예를 들어, 사용자는 디스플레이 상에 디스플레이된 애플리케이션을 종료시키기 위해서 "애플리케이션 종료"를 말할 수 있다.
[0039]헤드 장착식 디바이스(400)는 또한 디스플레이(540)를 포함할 수 있다. 디스플레이(540)는 장면 센서(500) 내부의 카메라에 의해 획득되거나 또는 헤드 장착식 디바이스(400) 내부에 있거나 또는 이에 결합된 프로세서에 의해 생성된 이미지들을 디스플레이할 수 있다. 일 실시형태에서, 디스플레이(540)는 마이크로 디스플레이일 수 있다. 디스플레이(540)는 완전히 폐색된 디스플레이일 수 있다. 다른 실시형태에서, 디스플레이(540)는, 사용자가 환경의 주변을 보는 것을 확인할 수 있는 이미지를 스크린 상에 디스플레이할 수 있는 반투명 디스플레이일 수 있다. 디스플레이(540)는 단안(monocular) 또는 스테레오(즉, 양안(binocular)) 구성으로 구성될 수 있다. 대안으로, 헤드 장착식 디스플레이(400)는 머리에 착용하거나 또는 헬멧의 일부인 헬멧 장착식 디스플레이 디바이스일 수 있으며, 이는 한쪽 눈(단안)의 전면에 또는 양쪽 눈(즉, 양안 또는 스테레오 디스플레이)의 전면에 있는 소형 디스플레이(540) 옵틱을 가질 수 있다. 대안으로, 헤드 장착식 디바이스(400)는 또한, 소형화된 2개의 디스플레이 유닛들(540)을 포함할 수 있고, CRT(cathode ray tube) 디스플레이들, LCD(liquid crystal display)들, LCos(liquid crystal on silicon) 디스플레이들, OLED(organic light emitting diode) 디스플레이들, 단순한 MEMS(micro-electro-mechanical system) 디바이스들인 IMOD(Interferometric Modulator) 엘리먼트들에 기반한 미라솔(Mirasol) 디스플레이들, 도광 디스플레이들 및 도파 디스플레이들, 및 기존에 있는 그리고 개발될 수 있는 다른 디스플레이 기술들 중 어느 하나 또는 그보다 많은 것일 수 있다. 다른 실시형태에서, 디스플레이(540)는, 총 전체 해상도를 증가시키고 시야를 넓히기 위해서 다수의 마이크로-디스플레이들(540)을 포함할 수 있다.
[0040]헤드 장착식 디바이스(400)는 또한, 오디오를 출력하기 위해서 총괄적으로 도면 부호 550으로서 나타내어진 헤드폰 및/또는 스피커일 수 있는 오디오 출력 디바이스(550)를 포함할 수 있다. 헤드 장착식 디바이스(400)는 또한, 도 6과 관련하여 아래에 설명된 바와 같이 제어 기능들을 헤드 장착식 디바이스(400)에 제공할 뿐만 아니라 사용자 인터페이스 윈도우들과 같은 이미지들을 생성할 수 있는 하나 또는 그보다 많은 프로세서들을 포함할 수 있다. 예를 들어, 헤드 장착식 디바이스(400)는 코어 프로세서, 애플리케이션들 프로세서, 그래픽스 프로세서 및 내비게이션 프로세서를 포함할 수 있다. 대안으로, 헤드 장착식 디스플레이(400)는 스마트 폰 또는 다른 모바일 컴퓨팅 디바이스의 프로세서와 같은 별개의 프로세서에 결합될 수 있다. 비디오/오디오 출력이, (유선 또는 무선 네트워크를 경유하여) 헤드 장착식 디바이스(400)에 연결되는 프로세서에 의해 또는 모바일 CPU에 의해 프로세싱될 수 있다. 헤드 장착식 디바이스(400)는 또한, 별개의 회로 모듈들일 수 있거나 또는 프로세서 내부에서 소프트웨어 모듈들로서 구현될 수 있는 장면 관리자 블록(510), 사용자 제어 블록(515), 표면 관리자 블록(520), 오디오 관리자 블록(525) 및 정보 액세스 블록(530)을 포함할 수 있다. 헤드 장착식 디바이스(400)는 원격 메모리(555)로부터 디지털 데이터를 수신하기 위해서 다른 디바이스들 또는 로컬 무선 또는 유선 네트워크와 통신하기 위한 무선 또는 유선 인터페이스 및 로컬 메모리를 더 포함할 수 있다. 시스템 내의 원격 메모리(555)를 이용하는 것은, 헤드 장착식 디바이스(400)가 디바이스 내의 메모리 칩들 및 회로 보드들을 감소시킴으로써 더욱 경량이 되게 할 수 있다.
[0041]제어기의 장면 관리자 블록(510)은 장면 센서(500)로부터 데이터를 수신하고 물리적인 환경의 가상 표현을 구성할 수 있다. 예를 들어, 레이저는 룸에 있는 오브젝트들로부터 반사되고 카메라에 캡쳐되는 레이저 광을 방사시키는 데에 사용될 수 있으며, 광의 왕복 시간은 룸 안의 다양한 오브젝트들 및 표면들에 대한 거리들을 계산하기 위해 사용된다. 이러한 거리 측정들은 룸 안의 오브젝트들의 위치, 사이즈, 및 형상을 결정하고 장면의 맵을 생성하기 위해서 사용될 수 있다. 맵이 포뮬레이트된 이후, 장면 관리자 블록(510)은 미리결정된 영역의 더 큰 맵을 형성하기 위해서, 생성된 다른 맵에 이 맵을 링크시킬 수 있다. 일 실시형태에서, 장면 및 거리 데이터는, 다수의 헤드 장착식 디바이스들로부터 수신된 이미지, 거리 및 맵 데이터(그리고 시간에 따라 사용자가 장면 내에서 이리저리 움직이는 것)에 기초하여 병합되거나 또는 통합된 맵을 생성할 수 있는 서버 또는 다른 컴퓨팅 디바이스에 전송될 수 있다. 이러한 통합된 맵 데이터는 무선 데이터 링크들을 경유하여 헤드 장착식 디바이스 프로세서들로 이용가능하게 된다. 다른 맵들은 즉석 디바이스에 의해 또는 다른 헤드 장착식 디바이스들에 의해 스캐닝된 맵들일 수 있거나, 또는 클라우드 서비스로부터 수신될 수 있다. 장면 관리자(510)는 장면 센서들(500)로부터의 데이터에 기초하여 표면들을 식별하고 사용자의 현재 포지션을 추적할 수 있다. 사용자 제어 블록(515)은 사용자 제어 입력들을 시스템, 예를 들어, 오디오 커맨드들, 제스처들, 및 입력 디바이스들(예를 들어, 키보드, 마우스)로 수집할 수 있다. 일 실시형태에서, 사용자 제어 블록(515)은 장면 관리자(510)에 의해 식별된 사용자 신체 부분 움직임들을 해석하기 위한 제스처 사전을 포함하거나 제스처 사전에 액세스하도록 구성될 수 있다. 제스처 사전은, 쿡 찌르는 것(poke), 쓰다듬는 것(pat), 톡톡 두드리는 것(tap), 미는 것(push), 안내하는 것(guiding), 터는 것(flick), 터닝하는 것(turning), 회전하는 것(rotating), 움켜잡아 끌어당기는 것(grabbing and pulling), 이미지들을 패닝하기 위해 두 손의 손바닥을 펴는 것, 그림 그리는 것(예를 들어, 핑거 페인팅), 손가락들로 형상들을 만드는 것(예를 들어, "OK" 사인), 그리고 스와이프(swipe)하는 것을 포함할 수 있는 제스처들을 인식하기 위한 이동 데이터 또는 패턴들을 저장할 수 있으며, 상기 제스처들 모두는 생성된 디스플레이에서 가상의 오브젝트의 명백한 위치에서 또는 명백한 위치에 아주 근접하여 달성될 수 있다는 것을 주목한다. 사용자 제어 블록(515)은 또한 복합적인 커맨드들을 인식할 수 있다. 이는, 2개 또는 그보다 많은 커맨드들을 포함할 수 있다. 예를 들어, 제스처와 사운드(예를 들어, 박수소리) 또는 음성 제어 커맨드(예를 들어, 동작을 확인하기 위해 말해진 단어 또는 음성 커맨드로 이루어지고 조합된 "OK" 검출식 손 제스처)가 결합될 수 있다. 사용자 제어(515)가 식별되는 경우, 제어기는 헤드 장착식 디바이스(400)의 다른 서브컴포넌트로 요청을 제공할 수 있다.
[0042]헤드 장착식 디바이스(400)는 또한 표면 관리자 블록(520)을 포함할 수 있다. 표면 관리자 블록(520)은 (장면 관리자 블록(510)에 의해 관리되는 바와 같은) 캡쳐된 이미지들 및 거리 센서들로부터의 측정치들에 기초하여 장면 내에서 표면들의 포지션들을 연속적으로 추적할 수 있다. 표면 관리자 블록(520)은 또한, 캡쳐된 이미지 내의 표면들 상에 고정될 수 있는 가상의 오브젝트들의 포지션들을 연속적으로 업데이트할 수 있다. 표면 관리자 블록(520)은 능동적 표면들 및 사용자 인터페이스 윈도우들을 담당할 수 있다. 오디오 관리자 블록(525)은 오디오 입력 및 오디오 출력을 위한 제어 명령들을 제공할 수 있다. 오디오 관리자 블록(525)은 헤드폰들 및 스피커들(550)로 전달된 오디오 스트림을 구성할 수 있다.
[0043]정보 액세스 블록(530)은 디지털 정보로의 액세스를 중재하기 위한 제어 명령들을 제공할 수 있다. 데이터가 헤드 장착식 디바이스(400) 상의 로컬 메모리 저장 매체에 저장될 수 있다. 데이터는 또한 액세스 가능한 디지털 디바이스들 상의 원격 데이터 저장 매체(555) 상에 저장될 수 있거나, 또는 데이터는 헤드 장착식 디바이스(400)에 의해 액세스 가능한 분산식 클라우드 저장 메모리 상에 저장될 수 있다. 정보 액세스 블록(530)은, 메모리, 디스크, 원격 메모리, 클라우드 컴퓨팅 리소스, 또는 통합 메모리(555)일 수 있는 데이터 저장소(555)와 통신한다.
[0044]도 6은 본 개시물의 일부 양상들에 따른 증강 현실 인에이블 디바이스를 위한 예시적인 사용자 인터페이스를 도시한다. 도 6에 도시된 바와 같이, 사용자 인터페이스는 실세계 오브젝트들 및 AR 콘텐츠를 효율적으로 융합시키도록 구성될 수 있다. 일 예시적인 구현에서, ARD는 전면을 향하는 카메라를 이용하여 환경을 스캐닝한다. 일 접근법에서, 퀄컴 VuforiaTM 컴퓨터 비전 애플리케이션이 평탄한 표면들을 검출하기 위해 사용될 수 있다. 도 6에 도시된 바와 같이, 평탄한 표면들은 사용자의 상부, 하부, 좌측, 우측, 및 정면 관점의 표면들을 포함할 수 있고, 환경은 실세계 오브젝트들, 이를 테면, 테이블(602), 창문(604), 그림(606), 및 등(608)을 포함할 수 있다. 이후, 사용자 인터페이스 윈도우들, 예를 들어, 610, 612, 614, 616, 618, 620, 622 및 624는 증강 현실 콘텐츠, 이를 테면, 이메일, 파워포인트 프리젠테이션들, 페이스북, 트위츠, 영화 등을 디스플레이하기 위한 평탄한 표면들에 배치될 수 있다.
[0045]일부 구현들에서, 증강 현실 콘텐츠의 수가 식별된 사용자 인터페이스 윈도우들의 수보다 더 많을 수 있다면, ARD는 디스플레이될 상기 개수의 증강 현실 콘텐츠들을 우선순위화하고 그 수를 축소시키도록 구성될 수 있다. 일부 다른 구현들에서, ARD는, 검출된 평탄한 표면들을 병합하거나 또는 나누어 사용자 인터페이스 윈도우들의 서로다른 세트들을 형성하여 디스플레이될 증강 현실 콘텐츠들을 매칭시키도록 구성될 수 있다.
[0046]본 개시물의 실시형태들에 따르면, ARD는, 다음 기준: a)사용자 인터페이스 윈도우들의 웰(well) 피쳐들이 추적될 수 있는 방법; b)표면의 면적/사이즈; c)사용자의 시계(FOV; filed of view)와 관련되는 표면들의 위치; 4)표면들의 배향 및 종횡비; 및 5)표면들의 배경 컬러를 포함하는 (그러나 이것으로 제한되지 않음) 기준에 기초하여 검출된 평탄한 표면들을 우선순위화하도록 구성될 수 있다. 일부 구현들에서, 표면이 많은 컬러들을 갖고 높은 주파수 변화들을 갖는 경우, 가상의 사용자 인터페이스 윈도우(들)은, 사용자가 일 관점에서 다른 관점으로 그의 머리를 이동시키더라도 그 표면에 "붙을(stick)" 수 있도록 마커들의 세트가 선택될 수 있다. 이외에도, 사용자가 사람과 대화 중인 상황들에서, 사용자 인터페이스 윈도우들이 사용자가 사람과 대화하는 것을 간섭하지 않도록, 주변의 표면들이 중심 내 표면들보다 바람직할 수 있다. 일부 애플리케이션들에서, 대면적이 소면적에 비해 바람직할 수 있다.
[0047]일부 구현들에서, 디스플레이될 콘텐츠에 의존하여, 수직 배향을 갖는 표면은 워드 문서를 디스플레이하는 데에 바람직할 수 있는 반면, 수평 배향을 갖는 표면은 영화를 디스플레이하는 데에 바람직할 수 있다. 더욱이, 각각의 사용자 인터페이스 윈도우의 종횡비는, 사용자 인터페이스 윈도우들에 디스플레이될 증강 현실 콘텐츠를 매칭시키는 기준으로서 사용될 수 있다. 예를 들어, 길고 좁은 수평 사용자 인터페이스 윈도우는 주식 시세 표시기를 디스플레이하기 위해 사용될 수 있는 반면, 약 16:9 또는 4:3의 종횡비를 갖는 사용자 인터페이스 윈도우는 영화들을 디스플레이하기 위해 사용될 수 있다.
[0048]다른 구현들에서, 표면(예를 들어, 벽)의 배경 컬러는 사용자 인터페이스 윈도우들에 디스플레이될 증강 현실 콘텐츠를 매칭시키는 기준으로서 사용될 수 있다. 예를 들어, 회색 벽지의 벽이 순백색 벽에 비해 바람직할 수 있는데, 이 그레이 표면 위에 디스플레이된 증강 현실 콘텐츠가 환경 내의 윈도우들로부터의 또는 다른 광원들로부터의 광을 반사하는 순백색 벽보다 더 큰 콘트라스트를 가질 수 있기 때문이다.
[0049]본 개시물의 양상들에 따르면, 배경들로서 사용될 표면들이 우선순위화되어진 후, 이후, 사용자 인터페이스 윈도우들이 디스플레이 용으로 특징지워질 수 있다. 사용자 인터페이스 윈도우들에는 다음 기준: a)사용자에 대해 특정 콘텐츠의 중요도 b);디스플레이될 콘텐츠의 양 및 c)디스플레이될 콘텐츠의 보는 방향 및 종횡비를 포함하는 (그러나 이것으로 제한되지 않음) 기준에 기초한 속성들이 제공된다.
[0050]ARD는 이후, 상기 설명된 기준에 기초하여 표면들에 사용자 인터페이스 윈도우들을 할당할 수 있다. 예를 들어, 많은 분량의 콘텐츠를 갖는 더 높은 우선순위의 사용자 인터페이스 윈도우가, 대면적을 갖는 높은 우선순위 표면에 넣어질 수 있다. ARD는, 사용자가 그의 머리를 움직였기 때문에 전면을 향하는 카메라에 의해 캡쳐된 프레임들 내에서 표면이 이동했는지 여부 또는 실제 표면(예를 들어, 버스의 측면)이 움직였는지를 추적하도록 구성될 수 있다. 이 결정은, ARD 내의 하나 또는 그보다 많은 6 자유도 센서들(예를 들어, 가속도계, 자기력계, 및 자이로스코프)을 이용하는 것에 기초하여 이루어진다. 예를 들어, 사용자의 머리가 정지된 상태로 있으면서 표면이 움직였다면, 그 표면은 축소될 수 있고, 사용자 인터페이스 윈도우들이 재할당될 수 있다. 본 개시물의 양상들에 따르면, 일 접근법에서 ARD는, ARD의 카메라에 의해 캡쳐된 이미지들과 함께 SIFT(scale-invariant feature transform) 기술을 이용하여 환경 내에서 이용가능한 표면들을 추적하도록 구성될 수 있다. 다른 접근법에서, ARD는 ARD의 카메라에 의해 캡쳐된 이미지들과 함께 RANSAC(random sample consensus) 기술을 이용하여 환경 내에서 이용가능한 표면들을 추적하도록 구성될 수 있다. 또 다른 접근법에서, ARD는 환경 내에서 이용가능한 RFID(radio frequency identification)들을 이용하는 것과 같은 비-시각적 방법들을 이용하여 환경 내에서 표면들을 추적하도록 구성될 수 있다.
[0051]본 개시물의 일부 양상들에 따르면, 사용자가 그녀의 머리를 돌리고 이리 저리 움직이는 바로 그 순간에 가상의 오브젝트들이 정지 상태로 나타날 수 있도록 장면 내, 이를 테면, 고정 표면 상의 가상의 오브젝트들이 연속적으로 추적되고 렌더링될 수 있다. 상기 언급된 바와 같이, 주변들에 대하여 ARD(예를 들어, 헤드 장착식 디바이스)를 배향시키고 다양한 표면들에 대한 거리 및 다양한 표면들의 상대적인 배향을 결정하는 프로세스는, 디바이스가 공간 내에서 움직임에 따라 스캐닝된 3차원(3D) 환경의 지형 내 시프트들을 연속적으로 참고하고 이에 따라 SLAM(Simultaneous Location and Mapping) 동작들을 수행함으로써 배향 센서들(예를 들어, 가속도계들 및 자이로스코프들)을 모니터링하는 것, 그리고 디바이스의 포지션 및 시야각을 삼각측량하는 것에 의해 끊임없이 달성될 수 있다.
[0052]도 6에 나타내어진 바와 같은 상술된 방법들을 이용하여, 사용자 인터페이스 윈도우(610)는, 상대적으로 낮은 우선순위와 상대적으로 낮은 추적가능성과 함께 120 제곱 피트의 사이즈를 갖는다는 것을 그라운드 상의 영역에 랜드스케이프 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(612)는 상대적으로 중간 우선순위와 상대적으로 높은 추적가능성과 함께 70 제곱 피트의 사이즈를 갖는다는 것을 우측 벽 상의 영역에 포트레이트 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(614)는 상대적으로 중간 우선순위와 상대적으로 높은 추적가능성과 함께 100 제곱 피트의 사이즈를 갖는다는 것을 우측 벽 상의 영역에 포트레이트 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(616)는 상대적으로 낮은 우선순위와 상대적으로 낮은 추적가능성과 함께 100 제곱 피트의 사이즈를 갖는다는 것을 천장의 영역에 랜드스케이프 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(618)는 상대적으로 높은 우선순위와 상대적으로 높은 추적가능성과 함께 80 제곱 피트의 사이즈를 갖는다는 것을 전면 벽 상의 영역에 랜드스케이프 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(620)는 상대적으로 높은 우선순위와 상대적으로 높은 추적가능성과 함께 50 제곱 피트의 사이즈를 갖는다는 것을 좌측 벽 상의 영역에 랜드스케이프 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(622)는 상대적으로 중간 우선순위와 상대적으로 높은 추적가능성과 함께 100 제곱 피트의 사이즈를 갖는다는 것을 좌측 벽 상의 영역에 포트레이트 모드로 기술할 수 있다. 사용자 인터페이스 윈도우(624)는 상대적으로 중간 우선순위와 상대적으로 높은 추적가능성과 함께 50 제곱 피트의 사이즈를 갖는다는 것을 좌측 벽 상의 영역에 랜드스케이프 모드로 기술할 수 있다.
[0053]ARD가 환경 내에서 평탄한 표면들을 식별한 후, 이는, AR 윈도우들을 이들의 각각의 우선순위들의 순서로 평탄한 표면들에 할당할 수 있다. 예를 들어, 사용자가 회의 전에 그의 퍼스널 컴퓨터에서 마지막으로 작업했었던 워드 문서는 더 높은 우선순위를 가질 수 있고 회의실 안에서 사용자의 전면 벽에 위치될 수 있다. 본 개시물의 양상들에 따르면, ARD는, AR 윈도우가 디스플레이될 AR 콘텐츠에 대해 일치하는 것을 보장하도록 AR 윈도우의 사이즈를 고려할 수 있다. 예를 들어, 디스플레이될 문서의 폰트가 너무 작거나 읽기 어려울 수 있다면 AR 윈도우의 사이즈가 확대될 수 있다. 반면에서, AR 윈도우의 사이즈는 AR 윈도우의 사이즈가 그 문서에 대해 너무 크고 사용자의 눈에 불편할 수 있는 경우 축소될 수 있다. 일부 구현들에서, ARD가 AR 윈도우를 신장시키거나 또는 수축시키기 위해 사용될 수 있는 스케일링 인자들의 세트를 적용할 수 있다. 일 접근법에서, 최소 스케일링 팩터 및 최대 스케일링 팩터, 이를 테면, 리사이즈_최소 및 리사이즈_최대는 AR 윈도우의 사이즈를 조정하기 위해서 사용될 수 있다. 예를 들어, 문서를 디스플레이하기 위한 통상의 값들은 미리결정된 AR 윈도우 사이즈, 이를 테면, 640×480 VGA에 기초하여 리사이즈_최소의 경우 0.5(50%) 내지 리사이즈_최대의 경우 3.0(300%)의 범위일 수 있다. 다른 실시예의 경우, Netflix 애플리케이션으로부터 영화를 상영할 경우 리사이즈_최소 및 리사이즈_최대는 각각 0.5(50%) 내지 10.0(1,000%)일 수 있으며, 이는 영화가 문서들보다 훨씬 더 크게 사이즈가 조정될 수 있다는 것을 나타낸다.
[0054]일부 구현들에서, 사이즈에 기초하여 AR 윈도우는 주어진 표면 상에 디스플레이 될 수 있고, 2개 또는 그보다 많은 AR 윈도우들을 지원하기 위해서 평탄한 표면을 나누도록 결정들이 이루어질 수 있다. 본 개시물의 양상들에 따르면, 제 1 AR 윈도우에 디스플레이될 AR 콘텐츠가 전체 이용가능한 표면을 사용하지 않을 수 있는 경우, 제 1 AR 윈도우에 할당된 표면은 추가로 다수의 AR 윈도우들로 나누어질 수 있다. 반면에, 디스플레이될 AR 콘텐츠가 더 큰 디스플레이 표면을 필요로 하는 경우 새로운 AR 윈도우를 형성하기 위해 다수의 AR 윈도두들이 병합될 수 있다.
[0055]일부 다른 구현들에서, AR 윈도우들에 대한 AR 콘텐츠의 우선순위화 및 할당은 디스플레이될 AR 콘텐츠 가운데서 논리적 관계들에 의해 결정될 수 있다. ARD는 서로 근처에 있는 2개 또는 그보다 많은 AR 윈도우들 내에 다수의 논리적으로 관련된 AR 콘텐츠를 디스플레이하도록 구성될 수 있다. 예를 들어, ARD는 과학적 이론을 설명하는 문서를 디스플레이하기 위해 AR 윈도우를 사용하고 과학적 이론의 입증을 보여주는 비디오를 디스플레이하기 위해 인접 AR 윈도우를 사용하도록 구성될 수 있다. 다른 실시예의 경우, ARD는, 간행될 서류를 컨퍼런스에서 디스플레이하기 위해 AR 윈도우를 사용하고 작가가 그 서류를 컨퍼런스에서 프리젠팅하기 위해 사용할 수 있는 프리젠테이션 슬라이드들을 디스플레이하기 위해 인접 AR 윈도우를 사용하도록 구성될 수 있다.
[0056]상술된 사용자 인터페이스와 함께, 사용자들은, 이들 사용자 인터페이스 윈도우들이 단지 이들 전면에만 배치된 것이 아니기 때문에, 확립된 사용자 인터페이스 윈도우들로부터 증강 현실 콘텐츠를 판독하는 동안 보다 자연스럽게 사용자들의 주변들과 상호작용할 수 있다. 대신에, 이들은, 본 개시물의 양상들에 따른 환경에서 자연스러운 장면으로 더욱 양호하게 융합되도록 배치된다. 이와 같이, 개시된 사용자 인터페이스는 사용자들에 대한 효율성과 생산성을 개선하기 위해서 적용될 수 있다.
[0057]도 7은 본 개시물의 일부 양상들에 따른 증강 현실 콘텐츠를 디스플레이하는 예시적인 방법을 도시한다. 블록(702)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 사용자의 관점에서 환경을 스캔할 카메라를 제어하도록 구성될 수 있다. 블록(704)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)이 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위해 환경 내의 표면들의 세트를 식별하도록 구성될 수 있다. 블록(706)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)이 환경 내의 표면들의 세트에 대하여 디스플레이용 증강 현실 콘텐츠의 세트를 우선순위화하도록 구성될 수 있다. 블록(708)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하도록 구성될 수 있다.
[0058]본 개시물의 양상들에 따라, 환경은 실세계 오브젝트들을 포함하고, 여기서 표면들의 세트는 사용자의 상부, 하부, 좌측, 우측 및 정면 관점의 표면들을 포함하고, 디스플레이는 헤드 장착식 디스플레이이다. 환경의 특징들은 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 종횡비, 및 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 배경 컬러를 포함하지만, 이것으로 제한되지 않는다.
[0059]본 개시물의 실시형태들에 따르면, 블록(706)에서 수행된 방법들은 블록들(710, 712, 714, 716 및 718)에서 수행된 방법들을 더 포함할 수 있다. 블록(710)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은, 표면들의 세트의 면적들, 표면들의 세트의 배향들, 사용자의 시야와 관련된 표면들의 세트의 위치들, 및 표면들의 세트의 추적가능성에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하도록 구성될 수 있다.
[0060]블록(712)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 종횡비, 및 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하도록 구성될 수 있다.
[0061]블록(714)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 환경 내에서의 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 결정하도록 구성될 수 있다. 일부 구현들에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠의 제 1 세트를 선택하거나, 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 2 세트를 선택하거나, 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 3 세트를 선택하거나, 또는 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위한 증강 현실 콘텐츠의 제 4 세트를 선택하도록 구성될 수 있다.
[0062]일부 구현들에서, 증강 현실 콘텐츠의 제 1 세트는 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함하고, 증강 현실 콘텐츠의 제 2 세트는 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함할 수 있다. 이외에도, 통신 및 문서화를 위한 증강 현실 콘텐츠의 제 1 세트는, 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함할 수 있고, 통신 및 엔터테인먼트를 위한 증강 현실 콘텐츠의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함할 수 있다.
[0063]블록(716)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 디스플레이될 증강 현실 콘텐츠의 세트의 스케일링 인자들, 및 디스플레이될 증강 현실 콘텐츠의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하도록 구성될 수 있다.
[0064]블록(718)에서, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠의 세트를 결정하고, 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하도록 구성될 수 있다. 미리정의된 사용자 선호들은 사용자에 대한 증강 현실 콘텐츠의 중요도, 디스플레이될 증강 현실 콘텐츠의 양, 및 표면들의 세트에 대한 증강 현실 콘텐츠의 보는 방향 중 적어도 하나를 포함한다는 것을 주목한다.
[0065]본 개시물의 양상들에 따르면, 프로세서(122) 및/또는 증강 현실 사용자 인터페이스 모듈(134)은 환경 내에서 마커들의 세트를 식별하고, 마커들의 세트를 표면들의 세트와 연관시키고, 마커들의 세트를 이용하여 표면들의 세트를 추적하도록 구성될 수 있다. 본 개시물의 일부 양상들에 따르면, 도 7에 설명된 기능들은 도 3의 프로세서(122) 또는 증강 현실 사용자 인터페이스 모듈(134)에 의해, 또는 2개의 조합, 잠재적으로 하나 또는 그보다 많은 다른 엘리먼트들과의 조합에 의해 구현될 수 있다. 일부 구현들에서, 기능들은 프로세서(122), 소프트웨어(126), 하드웨어(128), 및 펌웨어(130) 또는 본 개시물에 설명된 장치의 다양한 기능들을 수행하기 위한 상기한 것들의 조합에 의해 수행될 수 있다. 일부 또 다른 구현들에서, 도 7에 기술된 기능들은, 하나 또는 그보다 많은 다른 엘리먼트들, 예를 들어, 도 5의 엘리먼트들(500-550)과 조합하여 프로세서(507)에 의해 구현될 수 있다.
[0066]적어도 단락들 [0066]-[0068], 도 3, 도 5, 도 7 및 그들의 대응하는 설명들이 사용자의 시야 내의 환경을 스캐닝할 카메라를 제어하기 위한 수단, 환경의 특징들에 따른 사용자 인터페이스 윈도우들을 디스플레이하기 위한 환경 내의 표면들의 세트를 식별하기 위한 수단, 환경 내의 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 수단, 및 디스플레이에서 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하기 위한 수단을 제공한다는 것을 주목한다. 적어도 단락들 [0066]-[0068], 도 3, 도 5, 도 6, 도 7 및 그들의 대응하는 설명들이 표면들의 세트의 면적, 표면들의 세트의 배향들, 사용자의 시계와 관련한 표면들의 세트의 위치들, 및 표면들의 세트의 추적가능성에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 수단; 및 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 종횡비, 및 디스플레이될 증강 현실 콘텐츠의 세트에 대한 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 수단; 환경 내에서 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 결정하기 위한 수단; 디스플레이될 증강 현실 콘텐츠의 세트의 스케일링 인자, 및 디스플레이될 증강 현실 콘텐츠의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠의 세트를 우선순위화하기 위한 수단; 미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠의 세트를 결정하기 위한 수단; 및 디스플레이에에 표면들의 세트 상에 증강 현실 콘텐츠의 세트를 디스플레이하기 위한 수단을 제공한다는 것을 주목한다.
[0067]본 명세서에서 설명된 방법들과 모바일 디바이스는 애플리케이션에 따라 다양한 수단에 의해 구현될 수 있다. 예를 들어, 이러한 방법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 하드웨어 구현의 경우, 처리 유닛들은 하나 또는 그보다 많은 주문형 집적 회로(ASIC: application specific integrated circuit)들, 디지털 신호 프로세서(DSP: digital signal processor)들, 디지털 신호 처리 디바이스(DSPD: digital signal processing device)들, 프로그래밍 가능한 로직 디바이스(PLD: programmable logic device)들, 필드 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array)들, 프로세서들, 제어기들, 마이크로컨트롤러들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 결합 내에 구현될 수 있다. 여기서, "제어 로직"이라는 용어는 소프트웨어, 하드웨어, 펌웨어, 또는 결합에 의해 구현되는 로직을 망라한다.
[0068]펌웨어 및/또는 소프트웨어 구현의 경우, 방법들은 본 명세서에서 설명된 기능들을 수행하는 모듈들(예를 들어, 프로시저들, 함수들 등)로 구현될 수 있다. 명령들을 유형적으로 구현하는 임의의 기계 판독 가능 매체가 본 명세서에서 설명된 방법들을 구현하는데 사용될 수 있다. 예를 들어, 소프트웨어 코드들은 메모리에 저장되어 처리 유닛에 의해 실행될 수 있다. 메모리는 처리 유닛 내에 또는 처리 유닛 외부에 구현될 수 있다. 본 명세서에서 사용된 바와 같이, "메모리"라는 용어는 임의의 타입의 장기(long term), 단기(short term), 휘발성, 비휘발성 또는 다른 저장 디바이스들을 지칭하며, 메모리의 임의의 특정 타입이나 메모리들의 개수, 또는 메모리가 저장되는 매체들의 타입으로 한정되는 것은 아니다.
[0069]펌웨어 및/또는 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 또는 그보다 많은 명령들 또는 코드로서 저장될 수 있다. 예들은 데이터 구조로 인코딩된 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 제조사의 물품 형태를 취할 수 있다. 컴퓨터 판독 가능 매체는 물리적 컴퓨터 저장 매체 및/또는 다른 비일시적 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들이나 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있고, 본 명세서에서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD: compact disc), 레이저 디스크(laser disc), 광 디스크(optical disc), 디지털 다기능 디스크(DVD: digital versatile disc), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray disc)를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들에 의해 광학적으로 재생한다. 상기의 결합들이 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
[0070]컴퓨터 판독 가능 매체 상의 저장소 외에도, 명령들 및/또는 데이터는 통신 장치에 포함된 전송 매체 상에서 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 나타내는 신호들을 갖는 트랜시버를 포함할 수 있다. 명령들 및 데이터는 하나 또는 그보다 많은 프로세서들로 하여금, 청구항들에 개요가 서술된 기능들을 구현하게 하도록 구성된다. 즉, 통신 장치는 개시된 기능들을 수행하기 위한 정보를 나타내는 신호들을 갖는 전송 매체를 포함한다. 처음에, 통신 장치에 포함된 전송 매체는 개시된 기능들을 수행하기 위한 정보의 제 1 부분을 포함할 수 있는 한편, 두 번째로, 통신 장치에 포함된 전송 매체는 개시된 기능들을 수행하기 위한 정보의 제 2 부분을 포함할 수 있다.
[0071]본 발명은 무선 광역 네트워크(WWAN: wireless wide area network), 무선 근거리 네트워크(WLAN: wireless local area network), 무선 개인 영역 네트워크(WPAN: wireless personal area network) 등과 같은 다양한 무선 통신 네트워크들과 함께 구현될 수 있다. "네트워크"와 "시스템"이라는 용어들은 흔히 상호 교환 가능하게 사용된다. "위치"와 "장소"라는 용어들은 흔히 상호 교환 가능하게 사용된다. WWAN은 코드 분할 다중 액세스(CDMA: Code Division Multiple Access) 네트워크, 시분할 다중 액세스(TDMA: Time Division Multiple Access) 네트워크, 주파수 분할 다중 액세스(FDMA: Frequency Division Multiple Access) 네트워크, 직교 주파수 분할 다중 액세스(OFDMA: Orthogonal Frequency Division Multiple Access) 네트워크, 단일 반송파 주파수 분할 다중 액세스(SC-FDMA: Single-Carrier Frequency Division Multiple Access) 네트워크, 롱 텀 에볼루션(LTE: Long Term Evolution) 네트워크, WiMAX(IEEE 802.16) 네트워크 등일 수 있다. CDMA 네트워크는 cdma2000, 광대역 CDMA(W-CDMA) 등과 같은 하나 또는 그보다 많은 무선 액세스 기술(RAT: radio access technology)들을 구현할 수 있다. cdma2000은 IS-95, IS2000 및 IS-856 표준들을 포함한다. TDMA 네트워크는 글로벌 모바일 통신 시스템(GSM: Global System for Mobile Communications), 디지털 고급 모바일 전화 시스템(D-AMPS: Digital Advanced Moble Phone System), 또는 다른 어떤 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "3세대 파트너십 프로젝트"(3GPP: 3rd Generation Partnership Project)로 명명된 컨소시엄으로부터의 문서들에 기술되어 있다. cdma2000은 "3세대 파트너십 프로젝트 2"(3GPP2)로 명명된 컨소시엄으로부터의 문서들에 기술되어 있다. 3GPP 및 3GPP2 문서들은 공개적으로 이용 가능하다. WLAN은 IEEE 802.11x 네트워크일 수 있고, WPAN은 블루투스 네트워크, IEEE 802.15x, 또는 다른 어떤 타입의 네트워크일 수 있다. 이 기술들은 또한 WWAN, WLAN 및/또는 WPAN의 임의의 결합과 함께 구현될 수도 있다.
[0072]이동국은 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템(PCS: personal communication system) 디바이스, 개인용 내비게이션 디바이스(PND: personal navigation device), 개인 정보 관리기(PIM: Personal Information Manager), 개인용 디지털 보조기기(PDA: Personal Digital Assistant), 랩톱, 또는 무선 통신 및/또는 내비게이션 신호들을 수신할 수 있는 다른 적당한 모바일 디바이스와 같은 디바이스를 지칭한다. "이동국"이라는 용어는 또한, 위성 신호 수신, 보조 데이터 수신 및/또는 위치 관련 처리가 디바이스에서 일어나는지 아니면 개인용 내비게이션 디바이스(PND)에서 일어나는지와 관계없이, 예컨대 단거리 무선, 적외선, 유선 접속 또는 다른 접속에 의해 PND와 통신하는 디바이스들을 포함하는 것으로 의도된다. 또한, "이동국"은 위성 신호 수신, 보조 데이터 수신 및/또는 위치 관련 처리가 디바이스에서 일어나는지, 서버에서 일어나는지 아니면 네트워크와 연관된 다른 디바이스에서 일어나는지와 관계없이, 그리고 예컨대, 인터넷, Wi-Fi 또는 다른 네트워크를 통해 서버와 통신할 수 있는 무선 통신 디바이스들, 컴퓨터들, 랩톱들 등을 비롯한 모든 디바이스들을 포함하는 것으로 의도된다. 상기의 임의의 동작 가능한 결합이 또한 "이동국"으로 고려된다.
[0073]어떤 것이 "최적화", "요구"된다는 지정 또는 다른 지정은, 현재 개시물이 최적화된 시스템들이나 "요구되는" 엘리먼트들이 존재하는 시스템들에만 적용됨(또는 다른 지정들로 인한 다른 한정)을 나타내는 것은 아니다. 이러한 지정들은 설명된 특정한 구현만을 지칭한다. 물론, 많은 구현들이 가능하다. 기술들은 개발 중인 또는 개발될 프로토콜들을 비롯하여, 본 명세서에서 논의된 것들 이외의 프로토콜들에 사용될 수 있다.
[0074]해당 기술분야에서 통상의 지식을 가진 자는, 동일한 기본적인 근본 메커니즘들 및 방법들을 여전히 이용하면서, 개시된 실시예들의 많은 가능한 변형들과 결합들이 사용될 수 있음을 인지할 것이다. 상기의 서술은 설명 목적으로 특정 실시예들을 참조하여 작성되었다. 그러나 상기의 예시적인 논의들은 개시된 바로 그 형태들로 본 발명을 한정하거나 또는 총망라한 것으로 의도되는 것은 아니다. 상기 교시들의 관점에서 많은 변형들 및 개조들이 가능하다. 본 발명의 원리들 및 이들의 실제 응용들을 설명하도록, 그리고 해당 기술분야에서 통상의 지식을 가진 다른 자들이, 고려되는 특정 용도에 적합한 다양한 변형들과 함께 본 발명 및 다양한 실시예들을 최상으로 이용할 수 있도록 실시예들이 선택되어 기술되었다.

Claims (42)

  1. 증강 현실 콘텐츠들을 디스플레이하기 위한 방법으로서,
    사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하는 단계;
    상기 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 상기 환경 내의 표면들의 세트를 식별하는 단계;
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계; 및
    디스플레이에서 상기 표면들의 세트 상에 상기 증강 현실 콘텐츠들의 세트를 디스플레이하는 단계를 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 환경은 실세계 오브젝트들을 포함하고, 상기 표면들의 세트는 상기 사용자의 상부, 하부, 좌측, 우측, 및 정면 관점의 표면들을 포함하고; 그리고 상기 디스플레이는 헤드 장착식 디스플레이인, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계는,
    상기 표면들의 세트의 면적, 상기 표면들의 세트의 배향들, 상기 사용자의 시계와 관련되는 상기 표면들의 세트의 위치들, 및 상기 표면들의 세트의 추적가능성에 기초하여 디스플레이를 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계를 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계는,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 종횡비, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계를 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계는,
    상기 환경 내의 상기 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하는 단계를 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하는 단계는,
    상기 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 1 세트를 선택하는 단계;
    상기 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 2 세트를 선택하는 단계;
    상기 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 3 세트를 선택하는 단계; 및
    상기 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 4 세트를 선택하는 단계
    중 적어도 하나를 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 증강 현실 콘텐츠들의 제 1 세트는 상기 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함하고; 그리고
    상기 증강 현실 콘텐츠들의 제 2 세트는 상기 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  8. 제 7 항에 있어서,
    통신 및 문서화를 위한 상기 증강 현실 콘텐츠들의 제 1 세트는 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함하고; 그리고
    통신 및 엔터테인먼트를 위한 상기 증강 현실 콘텐츠들의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계는,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트의 스케일링 인자들, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계를 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  10. 제 1 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하는 단계는,
    미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠들의 세트를 결정하는 단계; 및
    상기 표면들의 세트 상의 상기 증강 현실 콘텐츠들의 세트를 상기 디스플레이에 디스플레이하는 단계를 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  11. 제 10 항에 있어서,
    미리정의된 사용자 선호들은,
    상기 사용자에 대한 증강 현실 콘텐츠의 중요도;
    디스플레이될 상기 증강 현실 콘텐츠의 양; 및
    상기 표면들의 세트에 대한 상기 증강 현실 콘텐츠의 보는 방향
    중 적어도 하나를 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  12. 제 1 항에 있어서,
    상기 환경 내에서 마커들의 세트를 식별하는 단계;
    상기 마커들의 세트를 상기 표면들의 세트와 연관시키는 단계; 및
    상기 마커들의 세트를 이용하여 상기 표면들의 세트를 추적하는 단계를 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 방법.
  13. 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건으로서,
    사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하기 위한 코드;
    상기 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 상기 환경 내의 표면들의 세트를 식별하기 위한 코드;
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드; 및
    디스플레이에서 상기 표면들의 세트 상에 상기 증강 현실 콘텐츠들의 세트를 디스플레이하기 위한 코드를 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  14. 제 13 항에 있어서,
    상기 환경은 실세계 오브젝트들을 포함하고, 상기 표면들의 세트는 상기 사용자의 상부, 하부, 좌측, 우측, 및 정면 관점의 표면들을 포함하고; 그리고 상기 디스플레이는 헤드 장착식 디스플레이인, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  15. 제 13 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드는,
    상기 표면들의 세트의 면적, 상기 표면들의 세트의 배향들, 상기 사용자의 시계와 관련되는 상기 표면들의 세트의 위치들, 및 상기 표면들의 세트의 추적가능성에 기초하여 디스플레이를 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드를 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  16. 제 13 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드는,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 종횡비, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드를 더 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  17. 제 13 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드는,
    상기 환경 내의 상기 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하기 위한 코드를 더 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  18. 제 17 항에 있어서,
    상기 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하기 위한 코드는,
    상기 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 1 세트를 선택하기 위한 코드;
    상기 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 2 세트를 선택하기 위한 코드;
    상기 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 3 세트를 선택하기 위한 코드; 및
    상기 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 4 세트를 선택하기 위한 코드
    중 적어도 하나를 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  19. 제 18 항에 있어서,
    상기 증강 현실 콘텐츠들의 제 1 세트는 상기 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함하고; 그리고
    상기 증강 현실 콘텐츠들의 제 2 세트는 상기 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  20. 제 19 항에 있어서,
    통신 및 문서화를 위한 상기 증강 현실 콘텐츠들의 제 1 세트는 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함하고; 그리고
    통신 및 엔터테인먼트를 위한 상기 증강 현실 콘텐츠들의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  21. 제 13 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드는,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트의 스케일링 인자들, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드를 더 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  22. 제 13 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 코드는,
    미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠들의 세트를 결정하기 위한 코드; 및
    상기 표면들의 세트 상의 상기 증강 현실 콘텐츠들의 세트를 상기 디스플레이에 디스플레이하기 위한 코드를 더 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  23. 제 22 항에 있어서,
    미리정의된 사용자 선호들은,
    상기 사용자에 대한 증강 현실 콘텐츠의 중요도;
    디스플레이될 상기 증강 현실 콘텐츠의 양; 및
    상기 표면들의 세트에 대한 상기 증강 현실 콘텐츠의 보는 방향
    중 적어도 하나를 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  24. 제 13 항에 있어서,
    상기 환경 내에서 마커들의 세트를 식별하기 위한 코드;
    상기 마커들의 세트를 상기 표면들의 세트와 연관시키기 위한 코드; 및
    상기 마커들의 세트를 이용하여 상기 표면들의 세트를 추적하기 위한 코드를 더 포함하는, 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위한 컴퓨터 프로그램들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
  25. 장치로서,
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하도록 구성된 로직;
    상기 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 상기 환경 내의 표면들의 세트를 식별하도록 구성된 로직;
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직; 및
    상기 표면들의 세트 상의 상기 증강 현실 콘텐츠들의 세트를 디스플레이에 디스플레이하도록 구성된 로직을 포함하는, 장치.
  26. 제 25 항에 있어서,
    상기 환경은 실세계 오브젝트들을 포함하고, 상기 표면들의 세트는 상기 사용자의 상부, 하부, 좌측, 우측, 및 정면 관점의 표면들을 포함하고; 그리고 상기 디스플레이는 헤드 장착식 디스플레이인, 장치.
  27. 제 25 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직은,
    상기 표면들의 세트의 면적, 상기 표면들의 세트의 배향들, 상기 사용자의 시계와 관련되는 상기 표면들의 세트의 위치들, 및 상기 표면들의 세트의 추적가능성에 기초하여 디스플레이를 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직을 포함하는, 장치.
  28. 제 25 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직은,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 종횡비, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직을 더 포함하는, 장치.
  29. 제 25 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직은,
    상기 환경 내의 상기 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하도록 구성된 로직을 더 포함하는, 장치.
  30. 제 29 항에 있어서,
    상기 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하도록 구성된 로직은,
    상기 사용자가 직장에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 1 세트를 선택하도록 구성된 로직;
    상기 사용자가 집에 있다는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 2 세트를 선택하도록 구성된 로직;
    상기 사용자가 업무 회의 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 3 세트를 선택하도록 구성된 로직; 및
    상기 사용자가 사교 행사에 참가 중이라는 결정에 응답하여 디스플레이를 위해 증강 현실 콘텐츠들의 제 4 세트를 선택하도록 구성된 로직
    중 적어도 하나를 포함하는, 장치.
  31. 제 30 항에 있어서,
    상기 증강 현실 콘텐츠들의 제 1 세트는 상기 사용자가 직장에서 익숙하게 사용하는 통신 및 문서화를 위한 애플리케이션 프로그램들을 포함하고; 그리고
    상기 증강 현실 콘텐츠들의 제 2 세트는 상기 사용자가 집에서 익숙하게 사용하는 통신 및 엔터테인먼트를 위한 애플리케이션 프로그램들을 포함하는, 장치.
  32. 제 31 항에 있어서,
    통신 및 문서화를 위한 상기 증강 현실 콘텐츠들의 제 1 세트는 이메일, 웹 브라우저 및 오피스 생산성 애플리케이션들을 포함하고; 그리고
    통신 및 엔터테인먼트를 위한 상기 증강 현실 콘텐츠들의 제 2 세트는 페이스북, 트위터, 영화 및 비디오 게임 애플리케이션들을 포함하는, 장치.
  33. 제 25 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직은,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트의 스케일링 인자들, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직을 더 포함하는, 장치.
  34. 제 25 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하도록 구성된 로직은,
    미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠들의 세트를 결정하도록 구성된 로직; 및
    상기 표면들의 세트 상의 상기 증강 현실 콘텐츠들의 세트를 상기 디스플레이에 디스플레이하도록 구성된 로직을 더 포함하는, 장치.
  35. 제 34 항에 있어서,
    미리정의된 사용자 선호들은,
    상기 사용자에 대한 증강 현실 콘텐츠의 중요도;
    디스플레이될 상기 증강 현실 콘텐츠의 양; 및
    상기 표면들의 세트에 대한 상기 증강 현실 콘텐츠의 보는 방향
    중 적어도 하나를 포함하는, 장치.
  36. 제 25 항에 있어서,
    상기 환경 내에서 마커들의 세트를 식별하도록 구성된 로직;
    상기 마커들의 세트를 상기 표면들의 세트와 연관시키도록 구성된 로직; 및
    상기 마커들의 세트를 이용하여 상기 표면들의 세트를 추적하도록 구성된 로직을 더 포함하는, 장치.
  37. 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템으로서,
    사용자의 시야에 있는 환경을 스캐닝할 카메라를 제어하기 위한 수단;
    상기 환경의 특징들에 따라 사용자 인터페이스 윈도우들을 디스플레이하기 위한 상기 환경 내의 표면들의 세트를 식별하기 위한 수단;
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단; 및
    디스플레이에서 상기 표면들의 세트 상에 상기 증강 현실 콘텐츠들의 세트를 디스플레이하기 위한 수단을 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
  38. 제 37 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단은,
    상기 표면들의 세트의 면적, 상기 표면들의 세트의 배향들, 상기 사용자의 시계와 관련되는 상기 표면들의 세트의 위치들, 및 상기 표면들의 세트의 추적가능성에 기초하여 디스플레이를 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단을 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
  39. 제 37 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단은,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 종횡비, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트에 대한 상기 표면들의 세트의 배경 컬러 중 적어도 하나에 기초하여 디스플레이하기 위한 상기 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단을 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
  40. 제 37 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단은,
    상기 환경 내의 상기 사용자의 이전 사용 패턴들의 이력에 따라 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 결정하기 위한 수단을 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
  41. 제 37 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단은,
    디스플레이될 상기 증강 현실 콘텐츠들의 세트의 스케일링 인자들, 및 디스플레이될 상기 증강 현실 콘텐츠들의 세트의 논리적 관계들 중 적어도 하나에 기초하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화기 위한 수단을 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
  42. 제 37 항에 있어서,
    상기 환경 내의 상기 표면들의 세트에 대하여 디스플레이하기 위한 증강 현실 콘텐츠들의 세트를 우선순위화하기 위한 수단은,
    미리정의된 사용자 선호들에 따라 디스플레이를 위한 증강 현실 콘텐츠들의 세트를 결정하기 위한 수단; 및
    상기 표면들의 세트 상의 상기 증강 현실 콘텐츠들의 세트를 상기 디스플레이에 디스플레이하기 위한 수단을 더 포함하는, 증강 현실 콘텐츠들을 디스플레이하기 위한 시스템.
KR1020157018902A 2012-12-18 2013-11-20 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스 KR20150095868A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/718,923 2012-12-18
US13/718,923 US9317972B2 (en) 2012-12-18 2012-12-18 User interface for augmented reality enabled devices
PCT/US2013/071044 WO2014099231A2 (en) 2012-12-18 2013-11-20 User interface for augmented reality enabled devices

Publications (1)

Publication Number Publication Date
KR20150095868A true KR20150095868A (ko) 2015-08-21

Family

ID=49887197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157018902A KR20150095868A (ko) 2012-12-18 2013-11-20 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스

Country Status (9)

Country Link
US (1) US9317972B2 (ko)
EP (1) EP2936444B1 (ko)
JP (1) JP6090879B2 (ko)
KR (1) KR20150095868A (ko)
CN (1) CN104871214B (ko)
ES (1) ES2806947T3 (ko)
HU (1) HUE049782T2 (ko)
TW (1) TWI533162B (ko)
WO (1) WO2014099231A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018110800A1 (ko) * 2016-12-15 2018-06-21 전자부품연구원 논리적 화면 표시장치 생성 시스템 및 방법
KR20190008941A (ko) * 2016-05-20 2019-01-25 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
WO2021261619A1 (ko) * 2020-06-24 2021-12-30 삼성전자 주식회사 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
KR102595385B1 (ko) * 2022-12-14 2023-10-30 주식회사 버넥트 식별코드 기반의 ar 객체 제공 방법 및 시스템
WO2024101581A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9613461B2 (en) * 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US10514256B1 (en) * 2013-05-06 2019-12-24 Amazon Technologies, Inc. Single source multi camera vision system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
FR3019333B1 (fr) * 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
AU2014202574A1 (en) * 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
EP3146729B1 (en) 2014-05-21 2024-10-16 Millennium Three Technologies Inc. System comprising a helmet, a multi-camera array and an ad hoc arrangement of fiducial marker patterns and their automatic detection in images
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
DE102014012710A1 (de) * 2014-08-27 2016-03-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US9607388B2 (en) 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10462421B2 (en) * 2015-07-20 2019-10-29 Microsoft Technology Licensing, Llc Projection unit
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
WO2017147892A1 (en) * 2016-03-04 2017-09-08 Intel Corporation OPERATING INTERNET OF THINGS DEVICES USING LiDAR METHOD AND APPARATUS
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
CN105929945A (zh) * 2016-04-18 2016-09-07 展视网（北京）科技有限公司 增强现实互动方法和设备、移动终端和迷你主机
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
US20170345178A1 (en) * 2016-05-27 2017-11-30 Rovi Guides, Inc. Methods and systems for determining a region near a user device for displaying supplemental content during presentation of a media asset on the user device
US10726443B2 (en) 2016-07-11 2020-07-28 Samsung Electronics Co., Ltd. Deep product placement
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
CN107948393A (zh) * 2016-10-13 2018-04-20 阿里巴巴集团控股有限公司 基于场景的应用操作方法、装置、终端设备和操作系统
US20190258313A1 (en) * 2016-11-07 2019-08-22 Changchun Ruixinboguan Technology Development Co., Ltd. Systems and methods for interaction with an application
US10930082B2 (en) 2016-12-21 2021-02-23 Pcms Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
US10575067B2 (en) 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
WO2018148076A1 (en) * 2017-02-10 2018-08-16 Pcms Holdings, Inc. System and method for automated positioning of augmented reality content
EP3583579A1 (en) 2017-02-20 2019-12-25 PCMS Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
WO2018164287A1 (ko) 2017-03-06 2018-09-13 라인 가부시키가이샤 증강현실 제공 방법, 장치 및 컴퓨터 프로그램
CN111133365B (zh) * 2017-05-01 2023-03-31 奇跃公司 内容到空间3d环境的匹配
EP3631601A1 (en) * 2017-05-23 2020-04-08 PCMS Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
JP2019028603A (ja) * 2017-07-27 2019-02-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
CN111684495A (zh) 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
CN111602105B (zh) * 2018-01-22 2023-09-01 苹果公司 用于呈现合成现实伴随内容的方法和设备
EP3744086A1 (en) 2018-01-22 2020-12-02 Apple Inc. Method and device for tailoring a synthesized reality experience to a physical setting
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
IL276621B2 (en) * 2018-02-22 2024-05-01 Magic Leap Inc A browser for mixed reality systems
WO2019189965A1 (ko) * 2018-03-30 2019-10-03 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
WO2019226001A1 (en) * 2018-05-23 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
CN113711174A (zh) 2019-04-03 2021-11-26 奇跃公司 用混合现实系统在虚拟三维空间中管理和显示网页
EP3742259B1 (en) * 2019-05-24 2023-08-23 General Electric Technology GmbH Method and apparatus for displaying information
GB201909022D0 (en) * 2019-06-24 2019-08-07 Terrys Textiles Ltd Image cropping method and system
US20230020942A1 (en) * 2019-11-26 2023-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Virtual Content Units for Extended Reality
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
US11354867B2 (en) * 2020-03-04 2022-06-07 Apple Inc. Environment application model
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
US11508130B2 (en) * 2020-06-13 2022-11-22 Snap Inc. Augmented reality environment enhancement
EP3926441B1 (en) * 2020-06-15 2024-02-21 Nokia Technologies Oy Output of virtual content
TWI741663B (zh) * 2020-06-30 2021-10-01 美律實業股份有限公司 穿戴式裝置與耳機
JP2022070719A (ja) * 2020-10-27 2022-05-13 シャープ株式会社 コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
US11756297B2 (en) 2021-03-03 2023-09-12 Wipro Limited Augmented realty based assistance system and method thereof
CN115619960A (zh) 2021-07-15 2023-01-17 北京小米移动软件有限公司 图像处理的方法、装置及电子设备
US11620797B2 (en) 2021-08-05 2023-04-04 Bank Of America Corporation Electronic user interface with augmented detail display for resource location
US12026831B2 (en) * 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same
US20240071001A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
US20240211090A1 (en) * 2022-12-23 2024-06-27 Rovi Guides, Inc. Methods and systems for displaying virtual elements in an xr environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
WO2009094587A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
JP2012164157A (ja) * 2011-02-07 2012-08-30 Toyota Motor Corp 画像合成装置
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008941A (ko) * 2016-05-20 2019-01-25 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
KR20220080030A (ko) * 2016-05-20 2022-06-14 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
US12014464B2 (en) 2016-05-20 2024-06-18 Magic Leap, Inc. Contextual awareness of user interface menus
WO2018110800A1 (ko) * 2016-12-15 2018-06-21 전자부품연구원 논리적 화면 표시장치 생성 시스템 및 방법
WO2021261619A1 (ko) * 2020-06-24 2021-12-30 삼성전자 주식회사 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법
WO2024101581A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
KR102595385B1 (ko) * 2022-12-14 2023-10-30 주식회사 버넥트 식별코드 기반의 ar 객체 제공 방법 및 시스템

Also Published As

Publication number Publication date
ES2806947T3 (es) 2021-02-19
JP6090879B2 (ja) 2017-03-08
US20140168262A1 (en) 2014-06-19
US9317972B2 (en) 2016-04-19
EP2936444A2 (en) 2015-10-28
HUE049782T2 (hu) 2020-10-28
JP2016508257A (ja) 2016-03-17
WO2014099231A2 (en) 2014-06-26
WO2014099231A3 (en) 2014-09-25
TWI533162B (zh) 2016-05-11
CN104871214A (zh) 2015-08-26
TW201432495A (zh) 2014-08-16
EP2936444B1 (en) 2020-04-22
CN104871214B (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
JP6090879B2 (ja) 拡張現実対応デバイスのためのユーザインターフェース
JP5784818B2 (ja) 拡張現実システムにおける実世界表面への仮想画像のアンカリング
US20140282224A1 (en) Detection of a scrolling gesture

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application