KR101873127B1

KR101873127B1 - 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품

Info

Publication number: KR101873127B1
Application number: KR1020167011392A
Authority: KR
Inventors: 모나 싱
Original assignee: 피씨엠에스 홀딩스, 인크.
Priority date: 2013-09-30
Filing date: 2014-09-30
Publication date: 2018-06-29
Also published as: CN105814626B; EP3053158A1; WO2015048749A1; KR20160068827A; EP3053158B1; US20160217623A1; CN105814626A

Abstract

증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품이 제공된다. 그러한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 사용자에게 관심 있는 현실 세계 비디오의 영역("관심 영역")과 관련하여 증강 정보를 제시하기 위한 가상 객체와 현실 세계 비디오를 결합시키는 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공할 수 있다. 관심 영역은 디스플레이된 현실 세계 비디오 상의 지정된 위치와 그러한 지정된 위치에 대응하는 현실 세계 및/또는 로컬화된(localized) 맵 위치 사이의 매핑에 의거할 수도 있다. 증강 현실 디스플레이 및/또는 사용자 인터페이스는 관심 영역과 연계되지 않은 다른 증강 정보를 포함할 수 있지만, 그러한 다른 증강 정보가 관심 영역 및 수반되는 증강 정보와 연계되는 증강 현실 디스플레이 및/또는 사용자 인터페이스의 영역의 외부에 제시될 수 있다.

Description

증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품{METHODS, APPARATUS, SYSTEMS, DEVICES, AND COMPUTER PROGRAM PRODUCTS FOR PROVIDING AN AUGMENTED REALITY DISPLAY AND/OR USER INTERFACE}

<관련 출원의 상호 참조>

본 출원은 2013년 9월 30일에 출원된 미국 특허 가출원 제61/884,273호의 이익을 청구하며, 그 전체 내용은 참고로 본 명세서에 병합되어 있다.

<배경기술>

증강 현실(AR, Augmented Reality)은 예를 들면, 일반적으로 실시간 및 거의 실시간에 최종 사용자에게 디스플레이하기 위해 증강 정보와 현실 세계 장면을 혼합하여, 현실 세계 및 컴퓨터 생성 데이터를 결합한 것에 초점을 맞출 수 있다. 오늘날, AR의 범위는 광고, 내비게이션, 오락 등과 같은 광범위한 애플리케이션 영역으로 확장될 수 있다. 그와 같이, 현실 세계 장면에 증강 정보의 이음매 없는 통합(seamless integration)을 제공하는 것에 관심이 증가할 수 있다.

그러나, AR은 최종 사용자 경험을 위한, 특히 웨어러블(wearble) 디바이스 또는 컴퓨터, 내비게이션 디바이스, 스마트폰 등과의 사용 및/또는 그러한 디바이스와 관련된 디스플레이 풋프린트 제한에 비추어 특별히 증강 정보를 적절히 디스플레이하기 위한 새로운 과제 등의 어려움을 나타낼 수 있다. 또한, 그러한 디바이스에 데이터를 디스플레이하기 위한 현재의 방법 또는 기술은 불행하게도 적절하지 못하거나 면밀하지 못할 수도 있다. 예를 들면, 웨어러블 컴퓨터에 증강 정보를 디스플레이하는 현재의 방법 또는 기술이 임의적일 수 있거나, 사용자를 당황스럽게 할 수 있는 과도한 양의 증강 정보를 디스플레이 또는 제공하거나, 및/또는 등등일 수 있다.

증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품이 제공된다. 그러한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 사용자에게 관심 있는 현실 세계 비디오의 영역("관심 영역")과 관련하여 증강 정보를 제시하기 위한 가상 객체와 현실 세계 비디오를 결합시키는 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공할 수 있다. 관심 영역은 디스플레이된 현실 세계 비디오 상의 지정된 위치와 그러한 지정된 위치에 대응하는 현실 세계 및/또는 로컬화된(localized) 맵 위치 사이의 매핑에 의거할 수도 있다. 증강 현실 디스플레이 및/또는 사용자 인터페이스는 관심 영역과 연계되지 않은 다른 증강 정보를 포함할 수 있지만, 그러한 다른 증강 정보가 관심 영역 및 수반되는 증강 정보와 연계되는 사용자 인터페이스 및/또는 증강 현실 디스플레이의 영역의 외부에 제시될 수 있다.

더욱 상세한 이해는 본 명세서에 첨부되는 도면과 관련하여 예로서 제공되는 이하의 상세한 설명으로부터 얻어질 수 있다. 그러한 도면에서의 도면들은 상세한 설명처럼 예들이다. 그와 같이, 도면들 및 상세한 설명은 제한하는 것으로 생각되어서는 안되며 다른 동등한 효과적인 예들이 가능하다. 더욱이, 도면들에서 유사한 도면 부호는 유사한 구성요소를 나타낸다:
도 1 및 도 2는 요즈음의 AR 사용자 인터페이스의 2개의 예를 예시한다.
도 3은 증강 현실 시스템의 일례를 예시하는 블록도이다.
도 4는 현실 세계 비디오의 일례를 예시한다.
도 5는 증강 현실 시스템에 의해 생성되는 증강 현실 디스플레이의 일례를 예시한다.
도 6은 증강 현실 시스템에 의해 생성되는 증강 현실 디스플레이의 일례를 예시한다.
도 7a 및 도 7b는 증강 현실 시스템에 의해 생성되는 증강 현실 디스플레이의 예들을 예시한다.
도 8a∼도 8e는 증강 현실 시스템에 의해 생성되는 증강 현실 디스플레이의 예들을 예시한다.
도 9는 증강 현실 시스템의 일례를 예시하는 블록도이다.
도 10은 일 실시예에 따라서 증강 정보를 제시하는 방법의 일례를 예시하는 흐름도이다.
도 11은 일 실시예에 따라서 증강 정보를 제시하는 방법의 일례를 예시하는 흐름도이다.
도 12는 일 실시예에 따라서 증강 정보를 제시하는 방법의 일례를 예시하는 흐름도이다.
도 13은 일 실시예에 따라서 증강 정보를 제시하는 방법의 일례를 예시하는 흐름도이다.
도 14a는 하나 이상의 개시된 실시예가 실현될 수 있는 통신 시스템의 일례의 시스템도이다.
도 14b는 도 14a에 예시되는 통신 시스템 내에서 사용될 수 있는 무선 송수신 유닛(WTRU)의 일례의 시스템도이다.
도 14c, 도 14d 및 도 14e는 도 14a에 예시되는 통신 시스템 내에서 사용될 수 있는 무선 액세스 네트워크의 예 및 코어 네트워크의 예의 시스템도이다.

이하의 상세한 설명에서는, 다수의 특정 상세가 본 명세서에 개시된 실시예들 및/또는 예들의 완전한 이해를 제공하도록 나타나 있다. 그러나, 그러한 실시예 및 예들은 본 명세서에 제시된 특정 상세의 일부 또는 전부 없이도 실시될 수 있음을 이해할 것이다. 다른 경우에, 이하의 설명을 명확하게 하기 위해 잘 알려진 방법. 절차, 컴포넌트 및 회로는 상세히 설명되지 않는다. 더욱이, 본 명세서에 구체적으로 설명되지 않은 실시예 및 예들은 본 명세서에 설명된, 개시된 또는 이와 달리 명쾌하게, 함축적으로 및/또는 고유하게 제공된(집합적으로 "제공된") 실시예 및 다른 예들 대신에 또는 이와 조합하여 실시될 수도 있다.

본 명세서에 기재되어 있는 바와 같이, 증강 현실(AR)은 예를 들면, 일반적으로 실시간 및 거의 실시간에 최종 사용자에게 디스플레이하기 위해 증강 정보와 현실 세계 장면을 혼합하여, 현실 세계 및 컴퓨터 생성 데이터를 결합한 것에 초점을 맞출 수 있다. 오늘날, AR의 범위는 광고, 내비게이션, 오락 등과 같은 광범위한 애플리케이션 영역으로 확장될 수 있다. 그와 같이, 현실 세계 장면에 증강 정보의 이음매 없는 통합(seamless integration)을 제공하는 것에 관심이 증가하고 있다.

그러나, AR은 최종 사용자 경험을 위한, 특히 웨어러블 디바이스 또는 컴퓨터, 내비게이션 디바이스, 스마트폰 등과의 사용 및/또는 그러한 디바이스와 관련된 디스플레이 풋프린트 제한에 비추어 특별히 증강 정보를 적절히 디스플레이하기 위한 새로운 과제 등의 어려움을 나타낼 수 있다. 또한, 그러한 디바이스에 데이터를 디스플레이하기 위한 현재의 방법 또는 기술은 불행하게도 적절하지 못하거나 면밀하지 못할 수도 있다. 예를 들면, 웨어러블 컴퓨터에 증강 정보를 디스플레이하는 현재의 방법 또는 기술이 임의적일 수 있거나, 사용자를 당황스럽게 할 수 있는 과도한 양의 증강 정보를 디스플레이 또는 제공하거나, 및/또는 등등일 수 있다.

스크린 상에 너무 많은 증강 정보를 제공할 수 있는 그러한 AR 시스템의 예가 도 1 및 도 2에 도시될 수 있다. 도시되어 있는 바와 같이, 도 1 및 도 2에는, 현재의 사용자 인터페이스(5, 9)가 사용자를 당황스럽게 할 수 있는 정도의 증강 정보(7, 11)를 포함할 수 있다. 이 경우, 더 적은 정보를 가질 수 있는 인터페이스가 사용자에게 유리하고/하거나 바람직할 수도 있다. 사실상, 유용성 조사기관은 종종 더 적은 정보가 더 많은 정보보다 좋을 수 있다는 것을 입증해 왔다. 따라서, 사용자가 더 쉽게 소비할 수 있는 증강 정보를 제시할 수 있는 (예를 들면, 본 명세서에 기재되어 있는 바와 같은) 시스템 및/또는 방법이 사용자에 의해 쉽게 소비될 수 있는 방법으로 증강 정보를 제시하는 데 유리할 수도 있다.

본 명세서에서 예들은 증강 현실에 관련되는 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품을 제공 및/또는 기술할 수 있다. 예들에서, 그러한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 현실 세계 장면의 뷰(wiew)("현실 세계 뷰")를 사용자에게 관심 있는 현실 세계 장면의 영역("관심 영역")과 관련하여 증강 정보를 제시하기 위한 가상 객체를 결합시키는 사용자 인터페이스 및/또는 증강 현실 디스플레이를 제공하기 위한 것이다. 관심 영역은 (ⅰ) 디스플레이되는 현실 세계 뷰 상의 지정된 위치("지정된 로이 기반(roi-basis) 위치")와 (ⅱ) 그러한 지정된 위치에 대응하는 현실 세계 및/또는 로컬화된 맵 위치("대응(correspondent) 로이 기반 위치") 사이의 매핑을 기반으로 할 수 있다.

관심 영역은 단순히 대응 로이 기반 위치일 수 있거나, 이와 달리 또는 덧붙여서, 규칙(rule)에 의해 규정될 수 있다. 관심 영역은 예를 들면, 대응 로이 기반 위치에 관련된 현실 세계 및/또는 로컬화된 맵 위치의 세트("로이 위치 세트")일 수 있다. 로이 위치 세트는 관심 영역의 토지 경계를 한정할 수 있다. 로이 위치 세트는 디스플레이된 현실 세계 뷰(예를 들면, 지정된 로이 기반 위치의 부근 내 및/또는 이웃)에 연계되거나 대응할 수 있다. 이와 달리, 로이 위치 세트는 단일 현실 세계 객체 및 디스플레이되는 현실 세계 뷰에 묘사된 하나 이상의 다른 현실 세계 객체의 부분에 연계되거나 대응할 수 있다. 다른 대안으로서, 로이 위치 세트는 디스플레이되는 현실 세계 뷰에 디스플레이된, 전부가 아닌 일부 현실 세계 객체에 연계되거나 대응할 수 있다. 일반적으로, 로이 위치 세트는 전체 디스플레이되는 현실 세계 뷰와 다른, 디스플레이되는 현실 세계 뷰의 임의의 부분에 연계되거나 대응할 수도 있다.

증강 현실 디스플레이는 관심 영역을 시각적으로 강조하기 위한 가상 객체("강조 가상 객체")을 포함할 수 있다. 강조 가상 객체는 일부 또는 전체 관심 영역에 중첩될 수 있다. 강조하는 가상 객체는 예를 들면, 관심 영역의 윤곽, 하이라이트 등 또는 그 구성요소(예를 들면, 현실 세계 뷰에 도시된 현실 세계 객체)일 수 있다.

가상 객체는 임의의 수의 적절한 위치에서 관심 영역과 관련하여 증강 현실 디스플레이 상에 디스플레이될 수 있다. 예를 들면, 가상 객체는 (ⅰ) 관심 영역; (ⅱ) 지정된 로이 기반 위치; (ⅲ) 관심 영역에 인접한 지정된 로이 기반 위치; (ⅳ) 대응 로이 기반 위치 중 어느 하나에 근접하여 디스플레이될 수 있다. 이와 달리 및/또는 덧붙여서, 가상 객체는 관심 영역과 연계되는 현실 세계 객체를 가리지 않도록 디스플레이될 수 있다. 가상 객체는 관심 영역에 이웃하는 다른 가상 객체를 가리지 않도록 디스플레이될 수 있다. 가상 객체는 관심 영역 외부의 하나 이상의 객체(현실 세계 또는 그 외)을 가리지 않도록 디스플레이될 수 있다.

증강 현실 디스플레이 및/또는 사용자 인터페이스는 관심 영역과 연계되지 않은 다른 증강 정보(예를 들면, 하나 이상의 가상 객체)를 포함할 수도 있지만, 그러한 다른 증강 정보는 증강 현실 디스플레이의 영역 및/또는 관심 영역 및 부수적인(attendant) 증강 정보와 연계되는(예를 들면, 확보된) 사용자 인터페이스 외부(예를 들면, 그 주변)에 제시될 수 있다.

가상 객체는 증강 정보의 각각의 제시 타입을 제시하는 복수의 상태를 가질 수 있다. 가상 객체는 예를 들면, 증강 정보의 요약 표시(summary representation)를 제시하는 제1(예를 들면, 컴팩트(compact)한) 상태("요약")에 있을 수 있다. 이와 달리 및/또는 덧붙여서, 가상 객체는 증강 정보의 보다 풍부한 상세(fuller detail)를 제시하는 제2(예를 들면, 컴팩트하지 않은, 확대된, 확장된, 연장된 등) 상태("보다 풍부한 상세")에 있을 수 있다.

요약은 예를 들면, 증강 정보의 아이콘, 이미지, 텍스트, 축약 표시(concise representation) 중 어느 하나를 포함할 수 있다. 보다 풍부한 증강 상세는 임의의 증강 정보를 요약에 덧붙여 및/또는 보충하여 포함할 수 있다.

가상 객체는 하나의 상태에서 다른 상태로 그리고 다시 원래로 천이될 수 있다. 예를 들면, 가상 객체는 제1 상태에서 제2 상태로 및 제2 상태에서 제1 상태로 천이될 수 있다. 상태 변화는 연속적이거나 불연속적일 수 있다. 예를 들면, 가상 객체는 컴팩트한 상태로부터 확장시킴으로써(예를 들면, 사이즈 팽창) 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 다시 축소시킴으로써(예를 들면, 사이즈 수축) 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수도 있다. 이와 달리 및/또는 덧붙여서, 가상 객체는 부분적으로 또는 완전히 확대된 상태로 스위칭함으로써 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 다시 스위칭함으로써 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수 있다. 일부 실시예에서는, 가상 객체는 보충 가상 객체를 첨부(appending)하거나 이와 달리 부가함으로써 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 다시 복귀시킴으로써(예를 들면, 컴팩트한 상태에서 보충 가상 객체를 제거) 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수 있다.

하나의 상태에서 다른 상태로의 천이는 가상 객체의 관심(또는 사용자 관심 표현)이 검출될 수 있는지를 기반으로 할 수 있다(예를 들면, 이에 응답하여 발생할 수 있다). 일례로서, 가상 객체는 가상 객체의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 제1(예를 들면, 컴팩트한) 상태에 있고/있거나 그 상태로 다시 천이될 수 있다. 가상 객체는 가상 객체의 관심 표시("관심 표시")가 검출될 수 있고/있거나 추론될 수 있을 때 제2(예를 들면, 컴팩트하지 않은) 상태에 있고/있거나 그 상태로 다시 천이될 수 있다. 관심 표시가 예를 들면, "최소 관심", "어느 정도 관심", "완전 관심" 등과 같은 관심 정도를 변화시키는 것에 상응하는 값("관심 표시 값")을 가질 수 있다. 일례로서, 관심 표시 값은 일 단부를 향한 "최소 관심" 내지 그 사이에 다양한 중간 정도의 관심이 있는 타 단부를 향한 "완전 관심"을 갖는 슬라이딩 스케일(sliding scale)에 (예를 들면, 슬라이딩 스케일에 대응하는 값을 갖는 스케일을) 의거할 수 있다. 제2(예를 들면, 컴팩트하지 않은) 상태로의 천이에 사용되는 것 외에도, 관심 표시 값은 제2 상태에 있는 동안의 가상 객체의 확장(팽창 및/또는 수축)을 제어하기 위해 사용될 수 있다.

증강 정보는 리스트 포맷으로 구성될 수 있다. 이와 달리, 증강 정보는 비선형 패턴으로 구성될 수도 있다. 증강 정보는 완화된 포맷(subdued format)으로 디스플레이될 수 있다. 증강 정보는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹(eye tracking) 시스템에 응답하여 더욱 두드러진 포맷(more prominent format)으로 디스플레이될 수 있다. 증강 정보는 일정한 프로미넌스(prominence)로 디스플레이될 수 있다.

증강 정보는 정해진 컬러로 디스플레이될 수 있다. 컬러는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더욱 어두워질 수 있다. 이와 달리 및/또는 덧붙여서, 컬러는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더욱 밝아질 수 있다.

증강 정보는 정해진 사이즈로 디스플레이될 수 있다. 사이즈는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더 커질 수 있고/있거나, 사이즈가 거리에 비례하여 팽창할 수 있다. 이와 달리 및/또는 덧붙여서, 사이즈는 사용자의 시선이 가상 객체으로부터 멀어지고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더 작아질 수 있고/있거나, 사이즈가 거리에 비례하여 수축할 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 어떤 대표적인 실시예에서, 디스플레이 유닛 상에 현실 세계 장면의 현실 세계 뷰를 디스플레이하는 단계를 포함할 수 있는 방법을 포함할 수도 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이되는 현실 세계 뷰 상의 지정된 위치(지정된 로이 기반 위치) 및 현실 세계 위치 및/또는 지정된 위치에 대응하는 로컬화된 맵 위치(대응 로이 기반 위치) 사이의 매핑을 기반으로 현실 세계 장면 상의 관심 영역을 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 영역과 관련하여 증강 정보를 제시하는 가상 객체를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체는 증강 정보의 각각의 제시 형태를 제시하기 위한 복수의 상태를 가질 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 현실 세계 뷰와 가상 객체를 결합시킴으로써 증강 현실 디스플레이를 생성하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이 유닛 상에 복수의 상태 중의 제1 상태의 가상 객체와 함께 증강 현실 디스플레이를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 증강 현실 디스플레이 상에 묘사되는 가상 객체에서 관심 표시를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 표시에 응답하여 복수의 상태 중의 제2 상태로 가상 객체를 디스플레이하는 단계를 포함할 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 어떤 대표적인 실시예에서는, 디스플레이 유닛 상에 현실 세계 장면의 현실 세계 뷰를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이되는 현실 세계 뷰 상의 지정된 위치(지정된 로이 기반 위치)와 지정된 위치에 대응하는 현실 세계 위치(대응 로이 기반 위치) 사이의 매핑을 기반으로 현실 세계 장면 상의 관심 영역을 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 영역과 관련하여 증강 정보를 제시하는 가상 객체를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 증강 정보를 제시하기 위한 가상 객체를 생성하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 증강 정보의 각각의 제시 형태를 제시하기 위한 복수의 상태를 가질 수 있는 가상 객체를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 진행중인 현실 세계 뷰와 가상 객체를 통합하는 증강 현실 디스플레이를 생성하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이 유닛 상에 제1 상태로 디스플레이되는 가상 객체와 함께 증강 현실 디스플레이를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이되는 증강 현실 디스플레이 상에 배치되는 가상 객체에서 관심 표시를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 표시에 응답하여 제2 상태로 가상 객체를 디스플레이하는 단계를 포함할 수 있다.

어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 지정된 로이 기반 위치를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 대응 로이 기반 위치의 부근 내에 및/또는 이웃하여 디스플레이되는 현실 세계 뷰의 현실 세계 객체의 묘사 중 적어도 일부를 검출하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 묘사된 현실 세계 객체의 적어도 일부분에 대한 현실 세계 위치를 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 묘사된 현실 세계 객체의 적어도 일부분에 대한 현실 세계 위치를 기반으로 대응 로이 기반 위치를 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 지정된 로이 기반 위치를 대응 로이 기반 위치에 매핑시키는 단계를 포함할 수 있다.

어떤 대표적인 실시예에서는, 묘사된 현실 세계 객체의 적어도 일부분에 대한 현실 세계 위치를 결정하는 단계는 디스플레이된 현실 세계 뷰 상의 묘사된 현실 세계 객체의 적어도 일부분의 위치를 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 묘사된 현실 세계 객체의 적어도 일부분에 대한 현실 세계 위치를 결정하는 단계는 묘사된 현실 세계 객체의 적어도 일부분의 위치를 묘사된 현실 세계 객체의 적어도 일부분에 대한 현실 세계 위치로 전환(translating)하는 단계를 포함할 수 있다.

어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 대응 로이 기반 위치에 연계되는 하나 이상의 현실 세계 위치(예를 들면, 현실 세계 좌표의 하나 이상의 세트)를 결정하는 단계를 포함할 수 있다.

어떤 대표적인 실시예에서는, 관심 영역을 결정하는 단계는 예를 들면, 하나 이상의 좌표 세트, 지정된 위치에 가장 가까운 현실 세계 객체 등과 같은 규칙에 의거하여 대응 로이 기반 위치에 연계되는 하나 이상의 현실 세계 위치(예를 들면, 현실 세계 좌표의 하나 이상의 세트)를 결정하는 단계를 포함할 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 어떤 대표적인 실시예에서는, 디스플레이 유닛 상에 현실 세계 뷰를 디스플레이하는 단계를 포함할 수 있는 방법을 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이된 현실 세계 뷰에 연계되는 관심 영역에 연계되는(예를 들면, 관련되는) 현실 세계 객체를 식별하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 식별된 현실 세계 객체와 관련하여 증강 정보를 제시하기 위한 가상 객체를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 가상 객체는 증강 정보의 각각의(예를 들면, 제1, 제2, 제3 등의) 제시 타입을 제시하기 위한 복수의(예를 들면, 제1, 제2, 제3 등의) 상태를 가질 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 진행중인 현실 세계 뷰와 가상 객체를 결합시킴으로써 증강 현실 디스플레이를 생성하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이 유닛 상에 증강 현실 디스플레이를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체는 복수의 상태 중의 제1 상태로(예를 들면, 초기에 사용자가 관심을 두지 않을 때 디폴트로 등) 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이된 증강 현실 디스플레이에 묘사된 가상 객체에서 관심 표시를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 표시에 응답하여 복수의 상태 중의 제2 상태로 가상 객체를 디스플레이하는 단계를 포함할 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 어떤 대표적인 실시예에서는, 이미지 캡처 유닛을 포함할 수 있는 시스템을 포함할 수 있다. 어떤 대표적인 실시예에서는, 이미지 캡처 유닛은 현실 세계 뷰(예를 들면, 현실 세계 뷰의 스냅샷)을 캡처할 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 디스플레이 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 디스플레이 유닛은 캡처된 및/또는 진행중인 현실 세계 뷰를 디스플레이할 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 객체 식별 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 객체 식별 유닛은 디스플레이된 현실 세계 뷰에 연계되는 관심 영역에 연계되는 현실 세계 객체를 식별할 수 있다.

어떤 대표적인 실시예에서는, 상기 시스템은 사용자 인식 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 사용자로부터, 디스플레이된 현실 세계 뷰에 연계된 관심 영역을 나타내는 입력을 획득할 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 사용자 입력을, 관심 영역과 연계된 현실 세계 객체를 식별하는 데 사용하기 위한 객체 식별 유닛에 제공할 수 있다.

어떤 대표적인 실시예에서는, 상기 시스템은 증강 현실 엔진을 포함할 수 있다. 어떤 대표적인 실시예에서는, 증강 현실 엔진은 식별된 현실 세계 객체와 관련하여 증강 정보를 제시하기 위한 가상 객체를 획득할 수 있다. 가상 객체는 증강 정보의 각각의(예를 들면, 제1, 제2, 제3 등의) 제시 타입을 제시하기 위한 복수의(예를 들면, 제1, 제2, 제3 등의) 상태를 가질 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 증강 현실 엔진이 가상 객체를 획득할(예를 들면, 검색할) 수 있는 가상 객체 저장소를 포함할 수 있다.

어떤 대표적인 실시예에서는, 증강 현실 엔진은 진행중인 현실 세계 뷰와 가상 객체를 결합시킴으로써 증강 현실 디스플레이를 생성할 수 있다. 어떤 대표적인 실시예에서는, 디스플레이 유닛은 증강 현실 디스플레이를 디스플레이할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체는 복수의 상태 중의 제1 상태로(예를 들면, 초기에 사용자가 관심을 두지 않을 때 디폴트로 등) 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 사용자로부터, 디스플레이된 증강 현실 디스플레이에 묘사된 가상 객체에서 관심을 나타내는 입력을 획득할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체는 가상 객체에서 관심을 나타내는 사용자 입력에 응답하여 복수의 상태 중의 제2 상태로 디스플레이될 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품 중에서 어떤 대표적인 실시예에서는, 디스플레이 유닛 상에 현실 세계 뷰를 디스플레이하는 단계를 포함할 수 있는 방법일 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이된 현실 세계 뷰에 연계되는 관심 영역에 연계되는 현실 세계 객체를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 식별된 현실 세계 객체와 관련하여 사용하기 위한 증강 정보를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 증강 정보를 제시하기 위한 가상 객체를 생성하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 생성된 가상 객체는 획득된 증강 정보의 각각의(예를 들면, 제1, 제2, 제3 등의) 타입을 제시하기 위한 복수의(예를 들면, 제1, 제2, 제3 등의) 상태를 가질 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이 유닛 상에 증강 현실 디스플레이를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체가 복수의 상태 중의 제1 상태로(예를 들면, 초기에 사용자가 관심을 두지 않을 때 디폴트로 등) 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 디스플레이된 증강 현실에 묘사된 가상 객체에서 관심 표시를 획득하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서는, 상기 방법은 관심 표시에 응답하여 복수의 상태 중의 제2 상태로 가상 객체를 디스플레이하는 단계를 포함할 수 있다.

상기 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 어떤 대표적인 실시예에서는, 이미지 캡처 유닛을 포함할 수 있는 시스템일 수 있다. 어떤 대표적인 실시예에서는, 이미지 캡처 유닛은 현실 세계 뷰(예를 들면, 현실 세계 뷰의 스냅샷)을 캡처할 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 디스플레이 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 디스플레이 유닛은 캡처된 및/또는 진행중인 현실 세계 뷰를 디스플레이할 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 객체 식별 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 객체 식별 유닛은 디스플레이된 현실 세계 뷰에 연계되는 관심 영역과 연계되는 현실 세계 객체를 식별할 수 있다.

어떤 대표적인 실시예에서는, 상기 시스템은 사용자 인식 유닛을 포함할 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 사용자로부터, 디스플레이된 현실 세계 뷰에 연계되는 관심 영역을 나타내는 입력을 획득할 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 관심 영역에 연계되는 현실 세계 객체를 식별하는 데 사용하기 위한 객체 식별 유닛에 사용자 입력을 제공할 수 있다.

어떤 대표적인 실시예에서는, 상기 시스템은 증강 현실 엔진을 포함할 수 있다. 어떤 대표적인 실시예에서는, 증강 현실 엔진은 식별된 현실 세계 객체와 관련하여 사용하기 위한 증강 정보를 획득할 수 있다. 어떤 대표적인 실시예에서는, 상기 시스템은 증강 현실 엔진이 증강 정보를 획득할(예를 들면, 검색할) 수 있는 증강 정보 저장소를 포함할 수 있다. 어떤 대표적인 실시예에서는, 증강 현실 엔진이 증강 정보를 제시하기 위한 가상 객체를 생성할 수 있다. 어떤 대표적인 실시예에서는, 생성된 가상 객체는 획득된 증강 정보의 각각의(예를 들면, 제1, 제2, 제3 등의) 제시 타입을 디스플레이하기 위한 복수의(예를 들면, 제1, 제2, 제3 등의) 상태를 가질 수 있다.

어떤 대표적인 실시예에서는, 증강 현실 엔진은 진행중인 현실 세계 뷰와 가상 객체를 결합시킴으로써 증강 현실 디스플레이를 생성할 수 있다. 어떤 대표적인 실시예에서는, 디스플레이 유닛은 증강 현실 디스플레이를 디스플레이할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체가 복수의 상태 중의 제1 상태로(예를 들면, 초기에 사용자가 관심을 두지 않을 때 디폴트로 등) 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 사용자 인식 유닛은 사용자로부터, 디스플레이된 증강 현실 디스플레이에 묘사된 가상 객체에서 관심을 나타내는 입력을 획득할 수 있다. 어떤 대표적인 실시예에서는, 가상 객체는 가상 객체에서 관심을 나타내는 사용자 입력에 응답하여 복수의 상태 중의 제2 상태로 디스플레이될 수 있다.

이상의 개요는 예시적일 수 있고 어떤 식으로도 제한되도록 의도되지 않아야 한다. 전술한 예시적인 양태, 실시예 및 특징들에 덧붙여서, 추가의 양태, 실시예 및 특징들이 도면 및 이하의 설명을 참조하여 명백해질 것이다.

도 3은 본 명세서에 기재되어 있는 적어도 일부 실시예에 따르는 증강 현실 시스템(10)의 일례를 예시하는 블록도이다. 증강 현실 시스템(10)은 컴퓨팅 디바이스에서 사용 및/또는 실현될 수 있다. 본 명세서에 사용된 바와 같이, 용어 "컴퓨팅 디바이스"는 정보를 수신, 처리 및 디스플레이할 수 있는 임의의 종류의 디바이스를 칭한다. 어떤 대표적인 실시예에서는, 컴퓨팅 디바이스는 웨어러블 컴퓨터; 스마트폰; (후술하는) 도 14a∼도 14e를 참조하여 기재되는 것과 같은 무선 송수신 유닛(WTRU); 다른 타입의 사용자 장비(UE) 등일 수 있다. 컴퓨팅 디바이스의 다른 예들은 모바일 디바이스, 개인 디지털 정보 단말(PDA), 셀룰러 폰, 휴대용 멀티미디어 플레이어(PMP), 디지털 카메라, 노트북, 및 태블릿 컴퓨터, 차량 내비게이션 컴퓨터(예를 들면, 천정형(heads-up) 디스플레이를 갖는)를 포함한다. 일반적으로, 컴퓨팅 디바이스는, 적절한 운영 체계로 동작하고, 소프트웨어를 실행할 수 있는 프로세서 기반 플랫폼을 포함한다.

증강 현실 시스템(10)에 대해, 도 4∼도 8에 도시된 예시적인 이미지의 예들을 참조하여 아래에 설명한다. 도 3을 참조하면, 증강 현실 시스템(10)은 이미지 캡처 유닛(100), 증강 현실 유닛(200) 및 디스플레이 유닛(300)을 포함할 수 있다.

이미지 캡처 유닛(100)은 현실 세계 장면의 현실 세계 뷰(예를 들면, 비디오)를 캡처하여 현실 세계 뷰를 디스플레이 유닛(300) 및/또는 증강 현실 유닛(200)에 제공할 수 있다. 이미지 캡처 유닛(100)은 예를 들면, 도 4에 예시되어 있는 바와 같은 현실 세계 장면의 다양한 현실 세계 뷰(집합적으로 "현실 세계 뷰")를 캡처하여, 현실 세계 뷰(410)를 디스플레이 유닛(300) 및/또는 증강 현실 유닛(200)에 제공할 수 있다. 이미지 캡처 유닛(100)은 디지털 카메라, 모바일 디바이스에 내장되는 카메라, 헤드 장착 디스플레이(HMD), 광학 센서, 전자 센서 등의 어느 하나일 수 있거나 이들을 포함할 수 있다.

디스플레이 유닛(300)은 현실 세계 뷰 및/또는 증강 현실 디스플레이 및/또는 증강 현실 사용자 인터페이스의 디스플레이 부분(집합적으로, "증강 현실 디스플레이")를 디스플레이할 수 있다. 디스플레이 유닛(300)은 예를 들면, 도 5∼도 8에 예시되어 있는 바와 같은 증강 현실 디스플레이(510) 및/또는 현실 세계 뷰(410)를 디스플레이할 수 있다.

디스플레이된 현실 세계 뷰(410)는 현실 세계 객체의 복수의 묘사(간략화를 위해, "현실 세계 객체")(412, 414, 416, 418, 420, 422, 424 및 426)를 포함할 수 있다. 현실 세계 뷰(410)는 도시된 8개 정도의 현실 세계 객체를 포함할 수 있고/있거나, 도시된 것과 다른 또는 상이한 현실 세계 객체를 포함할 수 있다. 증강 현실 디스플레이(510)는 진행중인 현실 세계 뷰(410)와 가상 객체(512, 514 및 516)(도 6∼도 7)를 결합시킬 수 있다. 증강 현실 디스플레이(510)는 8개 정도의 현실 세계 및 도시된 3개 정도의 가상 객체를 포함할 수 있고/있거나, 도시된 것과 다른 또는 상이한 현실 세계 및 가상 객체를 포함할 수 있다.

디스플레이 유닛(300)은 컴퓨팅 디바이스의 스크린을 포함할 수 있다. 아래에 더욱 상세히 설명되는 바와 같이, 하나 이상의 사용자 입력이 디스플레이 유닛(300)과의 사용자 상호작용에 의해, 사용자 상호작용을 통해 및 사용자 상호작용과 관련하여 수신될 수 있다. 예를 들면, 사용자는 사용자 입력을, 또는 터치, 클릭, 드래그 앤 드롭(drag-and-drop), 응시, 보이스/음성 인식 및/또는 현실 세계 뷰(예를 들면, 현실 세계 뷰(410)) 및/또는 디스플레이 유닛(300) 상에 디스플레이되는 증강 현실 디스플레이(예를 들면, 증강 현실 디스플레이(510))와 관련한 다른 상호작용에 의한 및/또는 이들을 통한 선택을 입력할 수 있다.

증강 현실 유닛(200)은 증강 현실 디스플레이를 생성하여 생성된 증강 현실 디스플레이를 디스플레이 유닛(300)에 제공할 수 있다. 증강 현실 유닛(200)은 사용자 인식 유닛(210), 관심 영역 결정 유닛(220), 가상 객체 저장소(240) 및 증강 현실 엔진(250)을 포함할 수 있다.

사용자 인식 유닛(210)은 현실 세계 뷰 및/또는 증강 현실 디스플레이와 관련된 사용자 입력을 인식할 수 있다. 사용자 인식 유닛(210)은 예를 들면, (디스플레이된 및/또는 캡처된) 현실 세계 뷰(410); 증강 현실 디스플레이(510); 현실 세계 객체(412∼426)와 같은 현실 세계 뷰(410) 및/또는 증강 현실 디스플레이(510)에 묘사된 현실 세계 객체; 및 가상 객체(512, 514 및 516)와 같은 증강 현실 디스플레이에 묘사된 가상 객체 중의 어느 하나와 관련된 사용자 입력을 인식할 수 있다. 사용자 입력은 예를 들면, 관심 영역 결정 유닛(220) 및 증강 현실 엔진(250) 및 적절한 경우, 디스플레이 유닛(300)을 포함하는 증강 현실 유닛(200)에 제공될 수 있다.

사용자 인식 유닛(210)이 인식할 수 있는 사용자 입력 중에는, 디스플레이된 현실 세계 뷰(410) 및/또는 증강 현실 디스플레이(510) 상의 일부분의 지정의 사용자 표현 또는 사용자의 지정("지정 위치")(428)을 나타낼 수 있는 사용자 입력이 있을 수 있다. 또한, 사용자 인식 유닛(210)이 인식할 수 있는 사용자 입력 중에는, 증강 현실 디스플레이(510)에 묘사된 가상 객체들 중 하나 이상에서의 관심의 사용자 표현 또는 사용자의 관심("관심 표시")을 나타낼 수 있는 사용자 입력이 있을 수 있다.

사용자 인식 유닛(210)은 하나 이상의 입력 디바이스 기술에 의해 제공되는 사용자 입력을 인식할 수 있다. 사용자 인식 유닛(210)은 (예를 들면, 터치스크린 또는 다른 유사한 타입의 디바이스에 의해) 예를 들면, 디스플레이 유닛(300)을 터치 또는 이와 달리 조작함으로써 행해지는 사용자 입력을 인식할 수 있다. 이와 달리, 사용자 인식 유닛(210)은 카메라에 의해 캡처되는 사용자의 손가락 끝과 디스플레이 유닛(300) 사이의 상호작용을 인식하기 위한 알고리즘을 사용함으로써 이미지 캡처 유닛(100) 및/또는 다른 이미지 캡처 유닛에 의해 캡처되는 사용자 입력을 인식할 수 있다. 그러한 알고리즘은 예를 들면, 핸디(Handy) 증강 현실 방법에 따를 수 있다. 여기에서, 사용자 인식 유닛(210)이 핸디 증강 현실 방법과 다른 알고리즘을 사용할 수도 있음이 당업자에게는 명백하다.

다른 대안으로서, 사용자 인식 유닛(210)은 아이 트래킹 유닛(260)으로부터 제공되는 사용자 입력을 인식할 수 있다. 일반적으로, 아이 트래킹 유닛(260)은 하나 이상의 광학 센서로부터 안구 움직임에 관한 데이터를 수집하고, 그러한 데이터에 의거하여 사용자가 응시할 수 있는 추적하고/있거나 다양한 안구 움직임 행위에 의거하여 사용자 입력 결정을 행하도록 아이 트래킹 기술을 채용한다. 아이 트래킹 유닛(260)은 사용자의 안구 움직임을 모니터 및 추적하기 위해 다양한 알려진 기술 중 임의의 것을 사용할 수 있다.

아이 트래킹 유닛(260)은 예를 들면, 이미지 캡처 유닛(100), 사용자가 디스플레이 유닛(300)을 시청할 때 안구 움직임을 모니터링할 수 있는 카메라(도시 생략됨) 등과 같은, 사용자를 향해 있는 광학 센서로부터의 입력을 수신할 수 있다. 아이 트래킹 유닛(260)은 사용자의 안구 위치 및 각 안구의 홍채의 움직임을 검출할 수 있다. 홍채의 움직임에 의거하여, 아이 트래킹 유닛(260)은 사용자의 시선에 관한 다양한 관측을 행할 수 있다. 예를 들면, 아이 트래킹 유닛(260)은 도약 안구 움직임(사용자의 안구의 빠른 움직임) 및/또는 고정(일정 양의 시간 동안 특정 포인트 또는 영역에서의 안구 움직임의 체류)을 관측할 수 있다.

아이 트래킹 유닛(260)은 디스플레이 유닛(300)의 스크린 상의 포인트 또는 영역(집합적으로 "초점 영역") 상에서의 고정이 초점 영역 아래에 있는 현실 세계 뷰(410) 또는 증강 현실 디스플레이(510)의 일부분에 관심을 나타낼 수 있다는 추론을 채용함으로써 하나 이상의 사용자 입력을 생성할 수 있다. 아이 트래킹 유닛(260)은 예를 들면, 지정된 위치(428)에 매핑되는 디스플레이 유닛(300)의 스크린 상의 초점 영역에서의 고정을 검출할 수 있고, 초점 영역 상에서의 고정이 지정된 위치(428)의 지정의 사용자 표현일 수 있다는 추론에 의거하여 사용자 입력을 생성할 수 있다.

아이 트래킹 유닛(260)은 또한, 사용자의 시선이 향하는 곳 및/또는 증강 현실 디스플레이(510)에 묘사된 가상 객체 중 하나에 대응하는 초점 영역 상에서의 고정이 대응하는 가상 객체에서의 사용자의 관심(또는 사용자 관심 표현)을 나타낼 수 있다는 추론을 채용함으로써 하나 이상의 사용자 입력을 생성할 수도 있다. 아이 트래킹 유닛(260)은 예를 들면, 가상 객체(514)를 향하는 사용자의 시선, 및/또는 가상 객체(514)에 매핑되는 디스플레이 유닛(300)의 스크린 상에서의 초점 영역 상에서의 고정을 검출할 수 있고, 가상 객체(514)에서의 사용자 관심 표현일 수 있는 추론에 의거하여 사용자 입력을 생성할 수 있다.

현실 세계 객체(412∼426) 중 하나(또는 그 이상)에서의 관심을 나타내는 사용자 입력 중의 어느 것은, 디스플레이된 현실 세계 뷰(410)에 연계되는 위치(예를 들면, 하나 이상의 좌표 세트)를 포함할 수 있다. 하나 이상의 가상 객체(512∼516)에서의 관심을 나타내는 사용자 입력 중 어느 것은 디스플레이된 증강 현실 디스플레이(510)에 연계되는 위치(예를 들면, 하나 이상의 좌표 세트)를 포함할 수 있다.

관심 영역 결정 유닛(220)은 현실 세계 뷰(410) 상의 관심 영역을 결정할 수 있다. 결정된 관심 영역은 지정된 위치("지정된 로이 기반 위치")(428)와 현실 세계 위치 및/또는 지정된 로이 기반 위치(428)에 대응하는 로컬화된 맵 위치("대응하는 로이 기반 위치") 사이의 매핑에 의거할 수 있다.

관심 영역 결정 유닛(220)은 객체 식별 유닛(230)을 포함할 수 있다. 관심 영역 결정 유닛(220)은 사용자 인식 유닛(210)으로부터 지정된 로이 기반 위치(428)를 획득할 수 있고, 획득한 지정된 로이 기반 위치를 객체 식별 유닛(230)에 제공할 수 있다.

객체 식별 유닛(230)은 디스플레이된 현실 세계 뷰 및/또는 증강 현실 디스플레이 상의 지정된 위치에 연계되는 현실 세계 객체를 식별할 수 있다. 객체 식별 유닛(230)은 예를 들면, 지정된 로이 기반 위치(428)의 부근 내 및/또는 이웃하는 하나 이상의 현실 세계 객체(412∼426) 중 적어도 일부분을 검출하기 위해 지정된 로이 기반 위치(428)를 사용할 수 있다.

객체 식별 유닛(230)은 객체 인식 유닛(270) 및 깊이 인식 유닛(280)을 포함할 수 있다. 객체 인식 유닛(270)은 현실 세계 뷰 상의 객체 검출을 수행할 수 있다. 객체 인식 유닛(270)은 예를 들면, 지정된 로이 기반 위치(428)를 사용해서 현실 세계 뷰(410) 상의 객체 검출을 수행하고 현실 세계 객체(418)의 대표("대표적인 현실 세계 객체")를 획득할 수 있다. 객체 인식 유닛(270)은 예를 들면, 에지 검출, 기본 스케치, 시청 방향(viewing direction)의 변화, 휘도 및 컬러의 변화 등을 포함하는 객체 검출을 수행하기 위한 다양한 알려진 기술적인 방법론 중의 어느 것을 사용할 수 있다.

깊이 인식 유닛(280)은 캡처된 현실 세계 비디오의 공간 속성을 획득할 수 있다. 깊이 인식 유닛(280)은 예를 들면, 대표적인 현실 세계 객체의 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 깊이 인식 유닛(280)은 대표적인 현실 세계 객체의 적어도 하나의 부분의 위치("대표적인 현실 세계 객체 위치")를 결정할 수 있고, 대표적인 현실 세계 객체 위치에 의거하여 대표적인 현실 세계 객체의 부분에 대한 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 일부 실시예에서는, 깊이 인식 유닛(280)이, 대표적인 현실 세계 객체 위치를 대표적인 현실 세계 객체의 결정된 부분에 대한 현실 세계 및/또는 로컬화된 맵 위치로 전환할 수도 있다.

일부 실시예에서는, 깊이 인식 유닛(280)은 대표적인 현실 세계 객체 위치를 결정할 수 있고/있거나, 아래와 같이 대응하는 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 깊이 인식 유닛(280)은 현실 세계 비디오(410)에 대한 x, y 및 z 축을 계산할 수 있고, 대표적인 현실 세계 객체에 대한 x, y 및 z 좌표의 세트를 획득할 수 있다. x, y 및 z 축과 x, y 및 z 좌표의 세트를 획득하기 위해, 깊이 인식 유닛(280)은 위치 인식 알고리즘을 사용할 수 있다. 사용되는 위치 인식 알고리즘은 당업계에 잘 알려져 있을 수 있는 (예를 들면, 병렬 트래킹 및 매핑(PTAM) 방법 및/또는 동시 로컬화 및 매핑(SLAM) 방법) 및 본 명세서에서 추가로 설명할 필요 없이 실현될 수 있는 알고리즘일 수 있다. 도시되지 않았지만, 깊이 인식 유닛(280)은 x, y 및 z 축을 현실 세계 좌표에 매핑하기 위한 및/또는 대표적인 현실 세계 객체에 대한 x, y 및 z 좌표를 현실 세계 좌표의 세트에 매핑하기 위한 측위 정보(예를 들면, 위도, 경도, 자세(attitude) 등)를 획득하여 사용할 수 있다. 측위 정보는 증강 현실 유닛(200)에 통신 가능하게 결합된 전세계 측위 시스템(GPS) 수신기(도시 생략됨)로부터 및/또는 ((자체 조직 또는 다른) 네트워크의 임의의 타입의 네트워크 노드로부터와 같은) 네트워크 지원을 통해 획득될 수 있다.

관심 영역 결정 유닛(220)은 객체 식별 유닛(230)으로부터 대표적인 현실 세계 객체에 연계되는 현실 세계 좌표의 세트 및/또는 x, y 및 z 좌표의 세트를 획득할 수 있다. 관심 영역 결정 유닛(220)은 대표적인 현실 세계 객체에 연계되는 획득된 현실 세계 좌표의 세트 및/또는 x, y 및 z 좌표의 세트에 의거하여 지정된 로이 기반 위치(428)에 대응하는 현실 세계 및/또는 로컬화된 맵 위치를 결정(예를 들면, 계산)할 수 있다. 관심 영역 결정 유닛(220)은 대응 로이 기반 위치를 지정된 로이 기반 위치(428)에 대해 결정된 현실 세계 및/또는 로컬화된 맵 위치에 매핑, 상관 또는 이와 달리 연계시킬 수 있다.

관심 영역은 관심 영역 결정 유닛(220)에 의해 대응 로이 기반 위치로 설정될 수 있다. 이와 달리 및/또는 덧붙여서, 관심 영역은 규칙에 의해 규정될 수 있다. 관심 영역은 예를 들면, 대응 로이 기반 위치에 관련된 현실 세계 및/또는 로컬화된 맵 위치의 세트("로이 위치 세트")일 수 있다. 로이 위치 세트는 관심 영역의 토지 경계를 한정할 수 있다.

로이 위치 세트는 디스플레이된 현실 세계 뷰(410)(예를 들면, 지정된 로이 기반 위치의 부근 내 및/또는 이웃)에 연계되거나 대응할 수 있다. 이와 달리, 로이 위치 세트는 대표적인 현실 세계 객체(또는 다른 단일 현실 세계 객체) 및 하나 이상의 다른 현실 세계 객체(412∼426)의 부분에 연계되거나 대응할 수 있다. 다른 대안으로서, 로이 위치 세트는 전부가 아닌 일부 현실 세계 객체(412∼426)에 연계되거나 대응할 수 있다. 일반적으로, 로이 위치 세트는 전체 디스플레이되는 현실 세계 뷰(410)와 다른 디스플레이되는 현실 세계 뷰(410)의 어느 부분에 연계되거나 대응할 수도 있다.

관심 영역 결정 유닛(220)은 관심 영역을 증강 현실 엔진(250)에 제공할 수 있다. 증강 현실 엔진(250)은 증강 현실 디스플레이를 생성할 수 있고/있거나, 증강 현실 디스플레이를 디스플레이 유닛(300)에 제공할 수 있다. 증강 현실 엔진(250)은 예를 들면, 증강 현실 디스플레이(510)를 생성할 수 있다. 증강 현실 디스플레이(510)를 용이하게 생성하기 위해, 증강 현실 엔진(250)은 가상 객체 저장소(240)에 문의하기 위해 관심 영역을 사용할 수 있다.

가상 객체 저장소(240)는 관심 영역과 관련하여 증강 정보를 제시하기 위한 가상 객체를 저장할 수 있다. 가상 객체 저장소(240)는 예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)를 저장할 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4) 및 현실 세계 관심 객체(418)에 연계된 어떤 다른 가상 객체는 관심 영역에 상응하는 현실 세계 및/또는 로컬화된 맵 위치에 연계되어(예를 들면, 인덱싱되어) 저장될 수 있다.

가상 객체 저장소(240)는 또한, 현실 세계 객체(412, 414, 416, 420, 422, 424 및/또는 426)에 연계되는 가상 객체 및/또는 (예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)를 포함하는) 관심 영역에 연계되는 다른 가상 객체를 저장할 수도 있다. 현실 세계 객체(412, 414, 416, 420, 422, 424 및/또는 426)에 연계되는 가상 객체의 각각은 하나 이상의 현실 세계 객체(412, 414, 416, 420, 422, 424 및/또는 426)에 상응하는 현실 세계 및/또는 로컬화된 맵 위치에 연계되어(예를 들면, 인덱싱되어) 저장될 수 있다.

가상 객체 저장소(240)는 예를 들면, 문의시에 자신에게 전달되는 관심 영역을 사용하여 가상 객체(512, 514 및 516)를 검색할 수 있다. 가상 객체 저장소(240)는 (예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)를 포함하는) 검색된 가상 객체를 문의에 대한 응답으로 증강 현실 엔진(250)에 제공할 수 있다.

증강 현실 엔진(250)은 진행중인 현실 세계 뷰(410)와 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)를 결합시킴으로써 증강 현실 디스플레이(510)를 생성할 수 있다. 가상 객체(512, 514 및 516)는 증강 현실 디스플레이(510) 내의 임의의 수의 위치에 배치될 수 있다. 예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)가 관심 영역의 부근의 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 관심 영역에 근접한 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)를 관심 영역에 가장 가까이에 배치하면 증강 정보에 초점을 맞추기 위한 사용자의 안구가 이동하는 거리를 감소시킬 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 대응 로이 기반 위치에 근접한 위치에 배치될 수 있다.

가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 현실 세계 객체(418 및/또는 420)와 같은 현실 세계 객체에 인접하고 대응 로이 기반 위치에 근접한 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 하나 이상의 현실 세계 객체(412∼426)를 가리지 않는 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 각각의 서로 다른 또는 상이한 가상 객체를 가리지 않는 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 관심 영역 외부의 다른 객체(현실 세계 또는 이와 다른)를 가리는 위치에 배치될 수 있다.

가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)는 사용자와 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4) 사이의 거리에 의거한 위치에 배치될 수 있다. 예를 들면, 사용자로부터 더 짧은(더 가까운) 거리에 있는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 일부는 사용자로부터 더 긴(더 먼) 거리에 있는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 나머지보다 더 큰 증강 현실 이미지(510) 상에 디스플레이될 수 있다.

일례로서 가상 객체(514)와 같은 가상 객체는 증강 정보의 각각의 제시 타입을 제시하기 위한 복수의 상태를 가질 수 있다. 가상 객체(514)는 예를 들면, 요약을 제시하기 위한 컴팩트한 상태에 있을 수 있다. 덧붙여서 및/또는 이와 달리, 가상 객체(514)는 보다 풍부한 증강 상세를 제시하기 위한 컴팩트하지 않은(예를 들면, 확대된, 연장된, 확장된 등의) 상태에 있을 수도 있다.

요약은 예를 들면, 증강 정보의 아이콘, 이미지, 텍스트, 축약 표시 중 어느 하나를 포함할 수 있다. 보다 풍부한 증강 상세는 임의의 증강 정보를 요약에 덧붙여 및/또는 보충하여 포함할 수 있다.

보다 풍부한 증강 상세는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에 관한 하나 이상의 메시지를 포함할 수 있다. 그러한 메시지는 예를 들면, 텍스트 데이터, 그래픽 데이터, 또는 수치 데이터와 같은 엔티티를 포함할 수 있다. 텍스트 데이터는 광고, 트래픽 리포트, 방향, 및 뉴스 리포트와 같은 임의의 정보를 포함할 수 있다. 그래픽 데이터는 경고 아이콘과 같은 아이콘 또는 심볼(symbol)을 포함할 수 있다. 수치 데이터는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 위치(예를 들면, x, y 및 z 좌표의 각각의 세트)일 수 있다.

메시지는 능동 메시지와 수동 메시지를 포함할 수 있다. 능동 메시지는 가상 객체에서 관심 또는 사용자 관심 표현이 검출될 수 있는지에 무관하게, 사용자에게 증강 현실 디스플레이의 가상 객체로부터 자동으로 전달될 수 있는 메시지일 수 있다. 수동 메시지는 가상 객체에서 관심 또는 사용자 관심 표현에 대한 응답이 검출되고 있을 때(예를 들면, 사용자 입력에 의한 선택) 사용자에게 증강 현실 디스플레이의 가상 객체로부터 전달될 수 있는 메시지일 수 있다. 수동 메시지는 사용자에게 증강 현실 시스템이 사용자 선택을 인식하고 있음을 알리기 위해 가상 객체를 선택하는 사용자에 의해 생성될 수 있다.

능동 메시지는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)로부터 제공되어 증강 현실 디스플레이(510) 상에서 사용자에게 전달될 수 있다. 능동 메시지를 포함하는 가상 객체(512-514)가 가상 객체 저장소(230)에 저장될 수 있다. 더욱이, 수동 메시지는 사용자 입력에 의거하여 생성되어 증강 현실 디스플레이(510) 상에서 사용자에게 전달될 수 있다. 예로서, 수동 메시지는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에 관련된 사용자 입력에 응답하여 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4) 중 하나로부터의 응답일 수 있다. 연계된 수동 메시지를 포함하는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)가 가상 객체 저장소(230)에 저장될 수 있다.

일부 실시예에서는, 능동 및 수동 메시지가 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에 의해 제공되어 가상 객체 저장소(230)에 그러한 가상 객체와 함께 저장될 수 있지만, 일부 실시예에서는, 능동 및 수동 메시지가 증강 현실 엔진(250)에 의해 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에 연계될 수 있다. 예를 들면, 능동 및 수동 메시지가 가상 객체 저장소(230)와 별개의 저장소에 저장될 수도 있다. 증강 현실 엔진(250)은 별개의 저장소로부터 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 관련된 능동 및 수동 메시지를 검색할 수 있고, 능동 및 수동 메시지를 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 결합시킬 수 있다.

증강 현실 엔진(250)은 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4) 중 어느 것이 하나의 상태에서 다른 상태로 그리고 다시 원래대로 천이되게 할 수 있다. 예를 들면, 증강 현실 엔진(250)은 가상 객체(514)가 제1 상태에서 제2 상태로 및 제2 상태에서 제1 상태로 천이되게 할 수 있다. 상태 변화는 연속적이거나 불연속적일 수 있다. 하나의 상태에서 다른 상태로의 천이는 가상 객체(512, 514, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에서 관심 또는 사용자 관심 표현이 검출될 수 있는지에 의거할 수 있다(예를 들면, 그에 응답하여 발생할 수 있다).

증강 현실 엔진(250)은 가상 객체(512-516)와 같은 가상 객체 중의 어느 것에서의 관심 표시를 사용자 인식 유닛(210)으로부터 획득할 수 있고 그에 따라 증강 현실 디스플레이(510)를 수정할 수 있다. 일부 실시예에서는, 증강 현실 엔진(250)은 가상 객체(514)가 도 6에 예시되어 있는 바와 같이 컴팩트한 상태로부터 확장(예를 들면, 사이즈 팽창)시킴으로써 컴팩트한 상태에서 도 7a에 예시되어 있는 바와 같은 컴팩트하지 않은 상태로 천이되게 할 수 있다. 증강 현실 엔진(250)은 가상 객체(514)에의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(250)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

일부 실시예에서는, 증강 현실 엔진(250)은 가상 객체(514)가 도 7a에 예시되어 있는 바와 같은 컴팩트하지 않은 상태에서 컴팩트한 상태로 다시 감소(예를 들면, 사이즈 축소)시킴으로써 도 6에 예시되어 있는 바와 같은 컴팩트한 상태로 천이되게 할 수 있다. 증강 현실 엔진(250)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(250)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

관심 표시는 예를 들면, "최소 관심", "어느 정도 관심", "완전 관심" 등과 같은 관심의 정도를 변화시키는 것에 상응하는 값("관심 표시 값")을 가질 수 있다. 일례로서, 관심 표시 값은 일 단부를 향한 "최소 관심" 내지 그 사이에 다양한 중간 정도의 관심이 있는 타 단부를 향한 "완전 관심"을 갖는 슬라이딩 스케일을 (예를 들면, 슬라이딩 스케일에 대응하는 값을 갖는 스케일을) 기반으로 할 수 있다. 증강 현실 엔진(250)은 제2 상태에 있는 동안의 가상 객체의 확장(팽창 및/또는 수축)을 제어하기 위해 관심 표시 값을 사용할 수 있다.

일부 실시예에서는, 증강 현실 엔진(250)은 가상 객체(514)가 컴팩트한 상태로부터 도 7a 및 도 7b에 예시되어 있는 바와 같은 부분적으로 또는 완전히 확대된 상태로 스위칭하게 할 수 있다. 증강 현실 엔진(250)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 그러한 천이를 수행할 수 있다. 일부 실시예에서는, 증강 현실 엔진(250)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 부분적으로 또는 완전히 확대된 상태에서 컴팩트한 상태로 스위칭하게 할 수 있다. 증강 현실 엔진(250)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

일부 실시예에서는, 증강 현실 엔진(250)은 도 6에 예시되어 있는 바와 같은 컴팩트한 상태에서 보충 가상 객체(514-1)를 첨부하거나 그렇지 않으면 부가함으로써 도 7b에 예시되어 있는 바와 같은 컴팩트하지 않은 상태로 천이되게 할 수 있다. 증강 현실 엔진(250)은 가상 객체(514)에의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 이 천이를 수행할 수 있다. 일부 실시예에서는, 증강 현실 엔진(250)은 가상 객체(514)가 도 7b에 예시되어 있는 바와 같은 컴팩트하지 않은 상태에서 컴팩트하지 않은 상태로 다시 복귀(예를 들면, 컴팩트하지 않은 상태로부터 보충 가상 객체(514-1)를 제거함)시킴으로써 컴팩트한 상태로 천이되게 할 수 있다. 증강 현실 엔진(250)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(250)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

본 명세서의 예들에 따르면, 어떤 정보가 증강 현실 디스플레이 또는 인터페이스에 출력 또는 제공될 수 있는지를 결정하기 위해 우선순위가 사용될 수 있다. 일 실시예에서는, 사용자에게 관심의 대상으로서 장면에서 식별될 수 있는 하나 이상의 객체가, 도 8a∼도 8e에 도시되어 있는 바와 같은 사용자의 관심 레벨에 의거하여 우선순위화될 수 있다. 예를 들면, 사용자는 증강 현실 디스플레이(510) 내의 현실 세계 객체(418 및/또는 420)를 응시할 수 있다. 사용자는 예를 들면, 현실 세계 객체(420) 등의 다른 현실 세계 객체보다 지정된 짧은 간격 동안 더 길게 현실 세계 객체(418)에 초점을 맞출 수 있다(예를 들면, 고정 또는 응시할 수 있다). 사용자 인식 유닛(210)은 그러한 응시를 검출할 수 있고/있거나 ROI 검출 유닛(220)은 본 명세서에 기재되어 있는 바와 같이 사용자가 고정하거나 응시할 수 있는 현실 세계 객체가 어느 것인지를 결정할 수 있다. 다른 현실 세계 객체 위의 하나의 현실 세계 객체에 대한 사용자 초점에 의거하여 우선순위가 (예를 들면, 증강 현실 유닛(200)에 의해) 할당될 수 있다. 예를 들면, 현실 세계 객체(418)는 현실 세계 객체(420) 등의 다른 객체보다 높은 우선순위가 주어지거나 할당될 수 있다. 증강 현실 엔진(250)은 객체들에 대한 우선순위에 의거하여 정보를 결정 및/또는 제공하거나 디스플레이할 수 있다. 예를 들면, 가상 객체(520a-d)와 같은 정보는 현실 세계 객체(420)와 같은 낮은 우선순위 현실 세계 객체용이 아니라 현실 세계 객체(418)와 같은 높은 우선순위 현실 세계 객체용으로 디스플레이될 수 있고/있거나 가상 객체(520a-d)는 더 높은 우선순위 객체에 상이한 식별자, 하이라이팅의 레벨 또는 정도, 또는 객체를 보다 적절하게 식별하는데 관련되는 다른 표시 등이 주어진 상태로 현실 세계 객체(418, 420)의 각각에 대해 디스플레이될 수 있다. 우선순위를 결정하기 위해, 일례에서, 증강 현실 유닛(210) 및/또는 본 명세서에서의 사용자 인식 유닛(210), ROI 결정 유닛(220), 및/또는 증강 현실 엔진(250)과 같은 컴포넌트가 본 명세서에 기재된 바와 같이 장면을 시청하는 동안 사용자가 고정하고 있을 수 있는 객체를 결정하거나 찾을 수 있다. 증강 현실 유닛(210) 및/또는 본 명세서의 컴포넌트들은 고정 시간(예를 들면, 사용자가 장면 내의 객체를 얼마나 길게 응시할 수 있는지)에 의거하여 그 객체들을 분류할 수 있다. 일례에 따르면, 증강 현실 유닛(210) 및/또는 본 명세서의 컴포넌트들이 가장 높은 우선순위를 갖는 객체와 같은 하나 이상의 객체를 (예를 들면, 증강 현실 유닛(210)을 사용하여) 디스플레이하고/하거나 상이한 식별자, 하이라이팅의 레벨 또는 정도, 또는 다른 관심 표시를 갖는 각각의 객체를 디스플레이하기 위해, 소팅된 리스트를 사용할 수 있다. 예들에서, 우선순위에 의거하여 연계되는 가상 객체를 디스플레이하기 위해 현실 세계 객체의 일부분을 선택하면 사용자의 경험을 향상시킬 수 있다.

일 실시예에서는, 객체는 사용자에 의해 그 객체들에 최후 고정 이후의 시간 경과에 의거하여 "페이드 아웃" 효과가 부여될 수 있다. 예를 들면, 사용자가 2개의 현실 세계 객체(418, 420)를 그들의 특징(예를 들면, 수명(age), 아키텍처 등)을 비교하기 위해, 2명의 유명 영화 배우를 그들의 경력에 관한 정보를 비교하기 위해, 3개의 레스토랑에서 그것들의 메뉴, 가격 또는 대기 시간 등을 비교하기 위해 응시할 수 있다. 더 높은 우선순위가 사용자가 응시한 가장 최근 객체에 할당될 수 있다. 예를 들면, 사용자의 가장 최근 응시가 현실 세계 객체(418)에 대한 것이면 현실 세계 객체(420)보다 현실 세계 객체(418)에 더 높은 우선순위가 할당될 수 있다. 그와 같이, 복수의 객체들이 예들에 따라서 가장 최근의 객체가 더욱 두드러진 상태로 하이라이트될 수 있다.

일례에서, 객체들을 소팅 및/또는 객체의 우선순위를 결정하기 위해, 사용자의 도약 안구 움직임의 지속기간 및/또는 신근성(recency)이 예를 들면, 본 명세서에 기재되어 있는 바와 같은 증강 현실 유닛(210)에 의해 캡처될 수 있다. 일 실시예에 따르면, 지속기간 및/또는 신근성은 아래의 표 1에(예를 들면, 표의 첫 번째 2개의 칼럼에) 나타낸 바와 같이 저장될 수 있다.

[표 1]

표 1은 사용자의 시선이 상이한 객체(예를 들면, P4 및 P5로서, 이들은 예컨대, 현실 세계 객체(418, 420)를 대표할 수도 있음) 상에 머물었던 시간량 및 본 명세서의 예들에 의해 디스플레이되는 바와 같은 결과로 초래된 하이라이팅을 나타내는 사용자의 도약 안구 움직임의 일례를 예시한다. 안구 움직임 및 표 1에 나타내는 결과로 초래된 하이라이팅은 본 명세서에 기재되어 있는 바와 같은 우선순위와 연계될 수 있다. 표 1에 도시되어 있는 예에 따르면, 증강 현실 유닛(210)은 특정의 현실 세계 객체에 대한 없음, 낮음, 중간, 높음과 같은 상이한 관심 레벨(예를 들면, 또는 우선순위)를 사용하여 하이라이트할 객체가 무엇인지 결정할 수 있다. 예를 들면, 사용자는 기록된 지속기간 동안 P1 및 P3-P5와 연계되는 현실 세계 객체를 응시할 수 있고, 우선순위 또는 관심 레벨이 다른 객체에 비해 고정된 연계 지속기간에 의거하여 할당될 수 있고, 도시된 바와 같이 테이블의 선택된 또는 하이라이팅 부분에 저장될 수 있다.

표 1은 가장 중요한 고정 윈도우에서의 고정된 지속기간 및/또는 고정된 신근성을 고려하는 방법을 나타낼 수 있다. 나타내는 바와 같이, 일례에서는, 최근 과거의 더 짧은 고정이 먼 과거의 더 긴 고정보다 더 중요할 수 있다. 실시예들에서, 시청될 수 있는 상부 2개 또는 3개의 현실 세계 객체와 같은 가장 많이 시청된 객체가 이하: 객체들의 실루엣을 아웃라인하는 것, 객체들이 나타날 수 있는 스크린 상의 영역의 컬러를 변경하는 것, 객체 내의 영역의 컬러를 변경하는 것(예를 들면, 객체에 홍조를 부여하는 것), 객체의 명도 또는 콘트라스트를 다른 객체에 비해 증가시키는 것 등 중의 하나 이상에 의해 디스플레이되는 520a-e(예를 들면, 여기에서 520e-f는 현실 세계 객체(418, 420)와 같은 현실 세계 객체들 사이의 보충 가상 객체(522a-b)와 특징, 정보 등의 비교를 나타낼 수 있음)와 같은 가상 객체를 가질 수 있다.

일례에서, 상기 우선순위의 지식을 사용하여, 증강 현실 유닛(210)은 예를 들면, 증강 현실 엔진(250)을 사용하여 (대략 동일한 우선순위의) 선택된 객체에 대해 사용 가능한 증강 정보 아이템을 교차시킴으로써 두드러지게 만들기 위해 가상 객체(520a-e)(예컨대, 및/또는 522a-b)와 같은 증강 정보를 결정할 수 있다. 일례(예를 들면, 도 8b∼도 8c에 도시)에 따르면, 사용자가 2개의 레스토랑과 같은 2개의 현실 세계 객체(418, 420) 사이에서 왔다갔다 응시하면, 가상 객체(520a-d)와 같은 증강 정보 및/또는 가상 객체(520e-f)와 같은 현실 세계 객체(418, 420)의 비교를 제공할 수 있는 증강 정보가 디스플레이될 수 있다(예를 들면, 그들 사이의 비교를 행할 때 유용할 수 있기 때문). 예를 들면, 레스토랑의 요리, 가격, 대기 시간, 리뷰 요약, 어린이 친화성 등이 양 객체에 대한 디스플레이에 적합할 수 있다. 본 명세서에 기재되어 있는 바와 같은 우선순위에 의거하여 선택될 수 있는 객체들 중 적어도 2개에 적용할 수 없는 다른 증강 정보는 두드러지게 만들어질 수 없다. 예를 들면, 특별한 거래가 하나에만 알려지고 나머지 하나에는 알려지지 않을 수 있으면, 그러한 거래는 비교를 행하기에 적절하지 못하며 디스플레이될 수도 되지 않을 수도 있다(예를 들면, 그러한 거래는 사용자가 그러한 정보 아이템에 관해 관심을 가질 수 있기 때문에 보일 수는 있지만 그러한 거래가 디스플레이되지 않을 수도 있다). 도시되는 바와 같이, 일례에서는, 가상 객체(520a-b)와 같은 증강 정보가, 현실 세계 객체(420)에 대한 가상 객체(520c-d)와 같은 증강 정보보다는 현실 세계 객체(418, 420)에 대한 가상 객체(520e-f)와 같은 비교 정보 및/또는 더 높은 우선순위를 가질 수 있는 현실 세계 객체(418)에 대해 더욱 두드러지게 디스플레이될 수 있다.

일 실시예에서는, 상기 우선순위의 지식을 사용하여, 증강 현실 유닛(210) 및/또는 증강 현실 엔진(250)은 증강 정보가 다른 객체(예를 들면, 사용자 관심에 관해 더 낮은 순위일 수 있는 다른 관심 객체)를 가리지 않도록 증강 정보(예를 들면, 가상 객체(520a, 520b, 520c, 520d, 520e 및/또는 520f))의 배치를 결정할 수 있다. 예를 들면, 사용자가 2개의 레스토랑 또는 브래드 피트와 안젤리나 졸리와 같은 2명의 유명인을 함께 볼 수 있으면, 사용자는 어느 하나에 관한 증강 정보가 레스토랑 빌딩 또는 다른 사람의 얼굴 등의 다른 하나의 현실 세계 객체의 부분을 덮는 것을 원하지 않을 수도 있다.

본 명세서의 예들에서는, "비교 제스처(gesture)"가 증강 현실 유닛(210) 및/또는 증강 현실 엔진(250)에 의해 정의 및/또는 사용될 수 있다. 비교 제스처는 정의될 수 있고/있거나 사용자가 일부 객체 간의 비교가 가장 중요함을 나타내기 위해 빠르고 반복적으로 일부 객체를 지켜보는 식으로 일부 객체에 대한 사용자의 고정 제스처를 포함할 수 있다. 예를 들면, 사용자는 X(예를 들면, 현실 세계 객체(418)와 같은 하나의 현실 세계 객체의 위치) 및 Y(예를 들면, 현실 세계 객체(420)와 같은 다른 현실 세계 객체의 위치)에 고정할 수 있고, 예를 들면, 객체를 X-Y-X와 같이 빠르게 지켜볼 수 있다. 그러한 제스처로부터, 증강 현실 유닛(210) 및/또는 증강 현실 엔진(250)은 교차하는 증강 정보 아이템을 관련 있는 것으로서 및/또는 그들 아이템과 연계되는 우선순위를 갖는 것으로서 결정할 수 있다.

본 명세서의 예들에 따르면(예를 들면, 증강 현실 유닛(210) 및/또는 증강 현실 엔진(250)이 증강 정보 아이템을 비교에 관련된 것으로 및/또는 우선순위에 의거하여 결정했다면), 증강 정보 아이템을 대표하는 (예를 들면, 도 8b∼도 8e에 도시되어 있는 바와 같은) 가상 객체(520a, 520b, 520c, 520d, 520e 및/또는 520f)와 같은 가상 객체가 본 명세서에 기재되어 있는 바와 같은 위치에 디스플레이될 수 있다. (예를 들면, 도 8d에 도시되어 있는) 일례에서는, 증강 정보가 (예를 들면, 522a-b 및/또는 520a1-a4로 도시되어 있는 바와 같이) 선택될 수 있는 가상 객체 또는 추가의 객체 및/또는 추가의 정보를 디스플레이하도록 확장될 수 있다. 예를 들면, 사용자가 가상 객체(520e)와 같은 가상 객체를 응시할 때, 내부에 사용자 인식 유닛(210), ROI 결정 유닛(220), 및/또는 증강 현실 엔진(250)과 같은 컴포넌트 중 하나 이상을 포함하는 증강 현실 유닛(210)은 사용자가 응시할 수 있는 객체를 결정할 수 있고, 그 객체가 연계될 수 있는 현실 세계 객체, 또는 비교 및/또는 우선순위를 결정할 수 있다. (예를 들면, 도 8d에 도시되어 있는) 가상 객체(520e)와 같은 가상 객체는 비교되는 객체의 각각에 대한 대응하는 증강 정보를 나타낼 수 있는 2 이상의 병렬 박스 등의 박스 또는 영역(522a-b)으로 증강 현실 유닛(210) 및/또는 그 컴포넌트에 의해 확장될 수 있다.

예를 들면, 사용자가 브래드 피트와 안젤리나 졸리와 같은 2명의 유명인 및/또는 2개의 레스토랑을 비교하고 있다면, 증강 현실 엔진(250)은 레스토랑에 대해 본 명세서에 기재되어 있는 바와 같은 타입, 음식, 공통 메뉴 아이템, 리뷰 등 및/또는 유명인에 대해 나이, 최고 흥행 영화, 첫 출연 영화 및 현재 계획에 대응하는 가상 객체(524, 525)를 디스플레이할 수 있다. 가상 객체(520e-f)와 같은 공통 가상 객체 또는 비교 가상 객체가 이하: 비교되는 객체의 중간 또는 아래에 놓음, 컬러, 이중 바링(barring), 대시(dashes), 질감(texture)의 조합을 통해, 비교되는 객체에 링크되는 호출을 통해, 등등 중 하나 이상을 포함하는 다양한 방식으로 디스플레이될 수 있다. 사용자는 증강 현실 유닛(210) 및/또는 증강 현실 엔진(250) 및/또는 내부의 다른 컴포넌트가 예를 들면, 도 8d에 도시되어 있는 바와 같은 박스 또는 영역(522a-b)에 추가의 정보를 디스플레이할 수 있게 하기 위해 가상 객체(520e)와 같은 가상 객체 중 하나를 보거나 지켜볼 수 있다.

일 실시예에서, (예를 들면, 도 8e에 도시되어 있는) 가상 객체(520a)와 같은 식별된 또는 선택된 가상 객체는 디스플레이될 수 있는 연계된 컴포넌트(520a1-a4)와 같은 다수의 "컴포넌트"를 갖는 "기하학적 구조"를 가질 수 있다. 예를 들면, 빌딩은 상이한 층, 층들의 그룹, 또는 윈도우를 위한 컴포넌트를 가질 수 있다. 유사하게, 다리는 상이한 스팬(span) 또는 필러(pillar)를 가질 수 있다. 사람의 얼굴은 이목구비를 가질 수 있다. 일례에서는, 가상 객체(520)와 연계되는 현실 세계 객체(418)와 같은 현실 세계 객체에 대한 정보 소스가 이들 컴포넌트에 특유한 정보를 포함할 수 있고, 사용자 인식 유닛(210)은 (예를 들면, 본 명세서에 기재되어 있는 바와 같은 비전(vision) 또는 아이 모듈(eye module)(260)을 사용하여) 증강 현실 유닛(210) 및/또는 내부의 컴포넌트들이 이하 중 하나 이상: 그 컴포넌트의 각각을 커버하도록 식별된 객체에 관한 증강 정보를 처음에 선택하는 것, 대응하는 증강 정보가 기술되기(예를 들면, 컴포넌트(520a-a4)에 대한 추가 정보가 디스플레이되기) 전에, 사용자가 기재되어 있는 바와 같은 아이콘과 상호작용할 때, 대응하는 컴포넌트에 근접한 아이콘 배치를 통해 증강 정보를 제시하는 것을 수행할 수 있도록 이들 컴포넌트를 인식할 수 있다.

일례에 따르면, 사용자는 관심 있는 하나를 선택하도록 컴포넌트(520a1-a4)와 같은 다양한 컴포넌트를 통해 스캔할 수 있거나, 사용자가 관련 컴포넌트를 사용하면, 사용자가 그 부근을 응시 또는 지켜볼 수 있다. 예를 들면, 사용자가 붕괴될 수 있는 빌딩의 섹션에 관심이 있는 경우, 그 섹션에 대한 정보는 본 명세서의 예들을 사용하여 (예를 들면, 컴포넌트 및/또는 연계되는 가상 객체를 응시함으로써) 다른 것보다 사용자가 더 쉽게 찾을 수 있게 된다.

본 명세서에 기재되어 있는 바와 같이, 일부 실시예에서는, 사용자는 컴퓨팅 디바이스 상에 디스플레이되는 증강 현실 디스플레이(510) 상에 도 4∼도 8에서 가상 객체(514) 또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)에 관련된 사용자 입력을 생성할 수 있다. 사용자 입력은 터치, 클릭, 드래그 앤 드롭, 응시, 보이스/음성 인식 및/또는 디스플레이 유닛(300) 상에 디스플레이되는 증강 현실 디스플레이(510)의 가상 객체와 관련하여 디스플레이 유닛(300)과의 다른 상호작용에 의한 및/또는 그를 통한 가상 객체의 사용자 선택일 수 있다. 사용자 입력이 생성될 수 있으면, 증강 현실 이미지(510)의 가상 객체의 x, y 및 z 좌표와 같은 수치 데이터를 갖는 수동 메시지가 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 사용자 선택의 위치(x, y, z)에 의거하여 생성될 수 있다. 그 후, 증강 현실 엔진(250)이 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)로부터 생성된 수동 메시지를 수신할 수 있다. 수동 메시지는 사용자와 가상 객체 사이의 통신을 위한 내부 데이터 구조일 수 있으며, 따라서 수동 메시지가 증강 현실 디스플레이 상에 디스플레이되지 않을 수도 있다.

어떤 대표적인 실시예에서는, 관심 영역이 하이라이트될 수 있다. 하이라이팅은 예컨대, 컬러, 질감, 또는 명도를 매개로 할 수 있다. 일부 실시예에서는, 증강 정보가 리스트 포맷으로 구성될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보가 비선형 패턴으로 구성될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보가 완화된 포맷으로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보가 검출되는 및/또는 추론되는 도 4∼도 8에서 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에서의 관심 표시에 응답하여(예를 들면, 사용자의 시선이 가상 객체(514, 520a, 및/또는 520e)와 같은 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여) 더욱 두드러진 포맷으로 디스플레이될 수 있다.

어떤 대표적인 실시예에서는, 증강 정보는 일정한 프로미넌스(prominence)로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보는 정해진 컬러로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 컬러는 검출되는 및/또는 추론되는 도 4∼도 8에서 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에서의 관심 표시에 응답하여(예를 들면, 사용자의 시선이 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템(260)에 응답하여) 더욱 어두워질 수 있다. 어떤 대표적인 실시예에서는, 컬러는 검출되는 및/또는 추론되는 도 4∼도 8에서 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에서의 관심 표시에 응답하여(예를 들면, 사용자의 시선이 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템(260)에 응답하여) 더욱 밝아질 수 있다.

어떤 대표적인 실시예에서는, 증강 정보가 일정한 사이즈로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 검출되는 및/또는 추론되는 도 4∼도 8에서 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에서의 관심 표시에 응답하여(예를 들면, 사용자의 시선이 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템(260)에 응답하여) 더욱 커질 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 거리에 비례하여 팽창할 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 검출되는 및/또는 추론되는 도 4∼도 8에서 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에서의 관심 표시에 응답하여(예를 들면, 사용자의 시선이 가상 객체(514) 및/또는 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템(260)에 응답하여) 더욱 작아질 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 거리에 비례하여 수축할 수 있다.

가상 객체(514)처럼 다른 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 각각은 증강 정보의 각각의 제시 타입을 제시하기 위한 복수의 상태를 가질 수 있다. 도시되어 있지는 않지만, 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 각각은 상이한 제시 타입의 증강 정보를 제시하는 것에 대해 가상 객체(514)와 동일한 방식으로 행동할 수 있다. 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)의 각각은 물론 상이한 방식으로 행동할 수도 있다.

도 5∼도 8에서는, 가상 객체(512-516 및 520-525)가 증강 현실 디스플레이(510) 상에 디스플레이될 수 있지만, 증강 현실 디스플레이(510) 상에 디스플레이될 수 있는 가상 객체의 수는 거기에 제한되지 않을 수도 있다. 더욱이, 도 5∼도 8에서 증강 현실 디스플레이(510) 상에 x-축, y-축, 및 z-축이 도시되어 있지만, 이들 축은 디스플레이 유닛(300) 상에 디스플레이되지 않을 수도 있다.

공간 속성은 제1 공간 성분, 제2 공간 성분 및 제3 공간 성분을 포함할 수 있다. 예를 들면, 제1 공간 성분은 가상 객체의 x 좌표일 수 있고, 제2 공간 성분은 가상 객체의 y 좌표일 수 있으며, 제3 공간 성분은 가상 객체의 z 좌표일 수 있다. 제1, 제2 및 제3 공간 성분이 각각 x 좌표, y 좌표 및 z 좌표가 되도록 기재되어 있지만, 이들은 일례에 불과하며 이에 제한되지 않는다.

도 9는 본 명세서에 기재되어 있는 적어도 일부의 실시예에 따르는 증강 현실 시스템(20)의 일례를 예시하는 블록도이다. 증강 현실 시스템(20)은 컴퓨팅 디바이스에서 사용 및/또는 실현될 수 있다. 증강 현실 시스템(20)은 도 4∼도 8에 도시되는 예시적인 예의 이미지를 참조하여 후술할 것이다. 도 9의 증강 현실 시스템(20)은 본 명세서에서 아래에 기재되어 있는 바와 같은 것을 제외하고, 도 3의 증강 현실 시스템(10)과 유사할 수 있다. 증강 현실 시스템(20)은 이미지 캡처 유닛(100) 및 디스플레이 유닛(300)과 함께 증강 현실 유닛(800)을 포함할 수 있다.

증강 현실 유닛(800)은 증강 현실 디스플레이를 생성하여 생성된 증강 현실 디스플레이를 디스플레이 유닛(300)에 제공할 수 있다. 증강 현실 유닛(800)은 사용자 인식 유닛(810), 객체 식별 유닛(820), 현실 세계 객체 저장소(830), 가상 객체 저장소(840) 및 증강 현실 엔진(850)을 포함할 수 있다.

사용자 인식 유닛(810)은 현실 세계 뷰 및/또는 증강 현실 디스플레이와 관련된 사용자 입력을 인식할 수 있다. 사용자 인식 유닛(810)은 예를 들면, (디스플레이된 및/또는 캡처된) 현실 세계 뷰(410); 증강 현실 디스플레이(510); 현실 세계 객체(412-426)와 같은 현실 세계 뷰(410) 및 증강 현실 디스플레이(510)에 묘사된 현실 세계 객체; 및 가상 객체(512, 516, 520a-e, 522a-b, 및/또는 520a1-a4)와 같은 현실 세계 뷰(410) 및 증강 현실 디스플레이에 묘사된 가상 객체 중 임의의 것에 관련된 사용자 입력을 인식할 수 있다. 사용자 입력은 적절한 경우, 예를 들면, 객체 식별 유닛(820) 및 증강 현실 엔진(850)을 포함하는 증강 현실 유닛(800) 및/또는 디스플레이 유닛(300)에 제공될 수 있다.

사용자 인식 유닛(810)이 인식할 수 있는 사용자 입력 중에는, 디스플레이된 현실 세계 뷰(410) 및/또는 증강 현실 디스플레이(510) 상의 지정된 위치(428)의 지정의 사용자 표현 또는 사용자의 지정을 나타낼 수 있는 사용자 입력이 있을 수 있다. 또한, 사용자 인식 유닛(810)이 인식할 수 있는 사용자 입력 중에는, 증강 현실 디스플레이(510)에 묘사된 하나 이상의 가상 객체에서의 관심 표시를 포함하는 사용자 입력이 있을 수 있다.

사용자 인식 유닛(810)은 하나 이상의 입력 디바이스 기술에 의해 제공되는 사용자 입력을 인식할 수 있다. 사용자 인식 유닛(810)은 예를 들면, 디스플레이 유닛(300)을 터치, 클릭, 드래그 앤 드롭, 응시, 보이스/음성 인식 및/또는 디스플레이 유닛(300) 상에 디스플레이되는 증강 현실 디스플레이(510) 및/또는 현실 세계 뷰(410)와 관련하여 다른 상호작용에 의해 행해지는 사용자 입력 또는 선택을 인식할 수 있다. 사용자 인식 유닛(810)은 터치스크린 또는 다른 유사한 타입의 디바이스; 카메라에 의해 캡처된 사용자의 손가락 끝과 디스플레이 유닛(300) 사이의 상호작용; 아이 트래킹 유닛(260) 등 중 임의의 것으로부터 제공되는 사용자 입력을 인식할 수 있다. 사용자 인식 유닛(810)으로 대표될 수 있는 사용자 인식 유닛의 상세는 사용자 인식 유닛(210)과 관련하여 전술하였다.

현실 세계 객체(412-426) 중 하나(또는 그 이상)에 관심을 나타내는 사용자 입력 중 임의의 것은 디스플레이된 현실 세계 뷰(410)와 연계된 위치(예를 들면, 하나 이상의 좌표 세트)를 포함할 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예를 들면, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트에 관심을 나타내는 사용자 입력 중 임의의 것은 디스플레이된 증강 현실 이미지(510)와 연계된 위치(예를 들면, 하나 이상의 좌표 세트)를 포함할 수 있다.

객체 식별 유닛(820)은 디스플레이된 현실 세계 뷰 및/또는 증강 현실 디스플레이와 연계되는 현실 세계 객체를 식별할 수 있다. 객체 식별 유닛(820)은 예를 들면, 사용자 인식 유닛(810)으로부터 디스플레이된 현실 세계 뷰(410) 및/또는 증강 현실 디스플레이(510) 상의 지정된 위치(428)(예를 들면, 초점 영역)를 획득하여, 현실 세계 객체(418)를 식별하기 위해 지정된 위치(428)를 사용할 수 있다.

객체 식별 유닛(820)은 객체 인식 유닛(870) 및 깊이 인식 유닛(880)을 포함할 수 있다. 객체 인식 유닛(870)은 현실 세계 뷰 상의 객체 검출을 수행할 수 있다. 객체 인식 유닛(870)은 예를 들면, 지정된 위치(428)를 사용하여 현실 세계 뷰(410) 상의 객체 검출을 수행하여 현실 세계 객체(418)의 대표적인 현실 세계 객체를 획득할 수 있다. 객체 인식 유닛(870)은 예를 들면, 에지 검출, 기본 스케치, 시청 방향의 변화, 휘도 및 컬러의 변화 등을 포함하는 객체 검출을 수행하기 위한 다양한 알려진 기술적인 방법론 중 임의의 것을 사용할 수 있다.

깊이 인식 유닛(880)은 현실 세계 뷰(예를 들면, 현실 세계 뷰의 스냅샷) 캡처의 공간 속성을 획득할 수 있다. 깊이 인식 유닛(880)은 예를 들면, 대표적인 현실 세계 객체에 대한 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 깊이 인식 유닛(880)은 대표적인 현실 세계 객체 위치를 결정하고, 대표적인 현실 세계 객체 위치에 의거하여 대표적인 현실 세계 객체의 부분에 대한 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 일부 실시예에서는, 깊이 인식 유닛(880)은 대표적인 현실 세계 객체 위치를 대표적인 현실 세계 객체의 결정된 부분에 대한 현실 세계 및/또는 로컬화된 맵 위치로 전환할 수 있다.

일부 실시예에서는, 깊이 인식 유닛(880)은 대표적인 현실 세계 객체 위치를 결정할 수 있고/있거나, 아래와 같이 대응하는 현실 세계 및/또는 로컬화된 맵 위치를 결정할 수 있다. 깊이 인식 유닛(880)은 현실 세계 뷰(410)에 대한 x, y 및 z 축을 계산하여, 대표적인 현실 세계 객체에 대한 x, y 및 z 좌표의 세트를 획득할 수 있다. x, y 및 z 축과 x, y 및 z 좌표의 세트를 획득하기 위해, 깊이 인식 유닛(880)은 위치 인식 알고리즘을 사용할 수 있다. 사용되는 위치 인식 알고리즘은 당업계에 잘 알려져 있을 수 있는 및 본 명세서에서 추가로 설명할 필요 없이 실현될 수 있는 알고리즘일 수 있다. 도시되지 않았지만, 깊이 인식 유닛(880)은 x, y 및 z 축을 현실 세계 좌표에 매핑하기 위한 및/또는 대표적인 현실 세계 객체에 대한 x, y 및 z 좌표를 현실 세계 좌표의 세트에 매핑하기 위한 측위 정보를 획득하여 사용할 수 있다. 측위 정보는 증강 현실 유닛(800)에 통신 가능하게 결합된 전세계 측위 시스템(GPS) 수신기(도시 생략됨)로부터 및/또는 네트워크 지원을 통해 획득될 수 있다.

객체 식별 유닛(820)은 현실 세계 객체의 아이덴티티(identity)에 대해 현실 세계 객체 저장소(830)에 문의하기 위해 대표적인 현실 세계 객체와 연계되는 현실 세계 좌표의 세트 및/또는 x, y 및 z 좌표의 세트를 사용할 수 있다.

현실 세계 객체 저장소(830)는 현실 세계 객체의 아이덴티티를 저장할 수 있다. 현실 세계 객체의 아이덴티티는 대응하는 현실 세계 좌표의 세트 및/또는 x, y 및 z 좌표의 세트와 연계되어(예를 들면, 이들 좌표 세트에 의해 인덱싱되어) 저장될 수 있다. 현실 세계 객체 저장소(830)는 예를 들면, 문의시에 자신에게 전달되는 현실 세계 좌표의 세트 및/또는 x, y 및 z 좌표의 세트를 사용하여 현실 세계 객체의 아이덴티티를 검색할 수 있다. 현실 세계 객체 저장소(830)는 문의에 응답하여 검색된 아이덴티티를 객체 식별 유닛(820)에 제공할 수 있다. 객체 식별 유닛(820)은 검색된 아이덴티티를 증강 현실 엔진(850)에 제공할 수 있다.

현실 세계 객체의 아이덴티티는 식별자를 포함할 수 있다(또는 식별자일 수 있다). 식별자는 현실 세계 객체의 이름, 현실 세계 객체와 연계되는 좌표 등 중 임의의 것일 수 있다.

증강 현실 엔진(850)은 증강 현실 디스플레이를 생성할 수 있고/있거나, 증강 현실 디스플레이를 디스플레이 유닛(300)에 제공할 수 있다. 증강 현실 엔진(850)은 예를 들면, 증강 현실 디스플레이(510)를 생성할 수 있다. 증강 현실 디스플레이(510)를 용이하게 생성하기 위해, 증강 현실 엔진(850)은 가상 객체 저장소(840)에 문의하도록 현실 세계 객체의 획득된 아이덴티티를 사용할 수 있다.

가상 객체 저장소(840)는 식별된 현실 세계 객체와 관련하여 증강 정보를 제시하기 위한 가상 객체를 저장할 수 있다. 가상 객체 저장소(840)는 예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트를 저장할 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트 및 현실 세계 객체와 연계된 어떤 다른 가상 객체들이 현실 세계 객체의 아이덴티티와 연계되어(또는 아이덴티티에 의해 인덱싱되어) 저장될 수 있다.

예를 들면, 가상 객체 저장소(840)는 또한, 현실 세계 객체(412, 414, 418, 416, 420, 422, 424 및 426)와 연계되는 가상 객체 및/또는 현실 세계 객체(418)와 연계되는 다른 가상 객체를 저장할 수 있다. 현실 세계 객체(412, 414, 418, 416, 420, 422, 424 및 426)와 연계되는 가상 객체의 각각은 현실 세계 객체(412, 414, 418, 416, 420, 422, 424 및 426) 중의 하나 이상의 아이덴티티와 연계되어(예를 들면, 아이덴티티에 의해 인덱싱되어) 저장될 수 있다.

가상 객체 저장소(840)는 예를 들면, 문의시에 자신에게 전달되는 현실 세계 객체의 아이덴티티를 사용하여 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트를 검색할 수 있다. 가상 객체 저장소(840)는 문의에 응답하여, 검색된 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트를 증강 현실 엔진(850)에 제공할 수 있다.

증강 현실 엔진(850)은 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트를 결합시킴으로써 증강 현실 디스플레이(510)를 생성할 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트는 증강 현실 디스플레이(510) 내에 임의의 수의 위치에 배치될 수 있다. 예를 들면, 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트는 현실 세계 객체(418)의 부근의 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 (예컨대, 보충 가상 객체와 같은 가상 객체일 수 있는) 520a1-a4와 같은 그 컴포넌트는 현실 세계 객체(418)에 가장 가까운 위치에 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트를 관심 영역 가까이에 배치하면 증강 정보에 초점을 맞추기 위한 사용자의 안구가 이동하는 거리를 감소시킬 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 지정된 위치(428)에 가장 가까운 위치에 및 현실 세계 객체(418)의 부근 내에 배치될 수 있다.

가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 지정된 위치(428)에 가장 가까운 위치에 및 현실 세계 객체(418)에 인접하게 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 하나 이상의 현실 세계 객체(412-426)의 하나 이상을 가리지 않도록 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 서로 다른 또는 상이한 가상 객체를 가리지 않도록 배치될 수 있다. 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 관심 영역 외부의 다른 객체(현실 세계 또는 그 외)를 가리기 위한 위치에 배치될 수 있다.

가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트는 사용자와 가상 객체(512, 514, 516 및/또는 520a-e) 사이의 거리에 의거한 위치에 배치될 수 있다. 예를 들면, 사용자로부터 더 짧은(더 가까운) 거리에 있는 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트의 일부는 사용자로부터 더 긴(더 먼) 거리에 있는 가상 객체(512, 514, 516, 520a-e, 522a-b)의 또는 520a1-a4와 같은 그 컴포넌트의 나머지 부분보다 더 크게 증강 현실 이미지(510) 상에 디스플레이될 수 있다.

증강 현실 엔진(850)은 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트가 하나의 상태에서 다른 상태로 및 다시 원래대로 천이되게 할 수 있다. 예를 들면, 증강 현실 엔진(850)은 가상 객체(514)가 제1 상태에서 제2 상태로 및 제2 상태에서 제1 상태로 천이되게 할 수 있다. 상태 변화는 연속적이거나 불연속적일 수 있다. 하나의 상태에서 다른 상태로의 천이는 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트에서의 관심 또는 사용자 관심 표현이 검출될 수 있는지에 의거할 수 있다(예를 들면, 검출될 수 있는지에 응답하여 발생할 수 있다).

증강 현실 엔진(850)은 가상 객체(512, 514, 516, 520a-e, 522a-b) 또는 520a1-a4와 같은 그 컴포넌트에서의 관심 표시를 사용자 인식 유닛(810)으로부터 획득할 수 있고, 따라서 증강 현실 디스플레이(510)를 수정할 수 있다. 일부 실시예에서는, 증강 현실 엔진(850)은 가상 객체(514)가 도 6에 예시되어 있는 바와 같은 컴팩트한 상태로부터 확장(예컨대, 사이즈 팽창)시킴으로써 컴팩트한 상태에서 도 7a에 예시되어 있는 바와 같은 컴팩트하지 않은 상태로 천이되게 할 수 있다. 증강 현실 엔진(850)은 가상 객체(514)에서의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(850)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

일부 실시예에서는, 증강 현실 엔진(850)은 가상 객체(514)가 도 7a에 예시되어 있는 바와 같은 컴팩트하지 않은 상태에서 컴팩트한 상태로 다시 감소(예를 들면, 사이즈 축소)시킴으로써 도 6에 예시되어 있는 바와 같은 컴팩트한 상태로 천이되게 할 수 있다. 증강 현실 엔진(850)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(850)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

일부 실시예에서는, 증강 현실 엔진(850)은 가상 객체(514)가 컴팩트한 상태로부터 도 7a 및 도 7b 및/또는 도 8a∼도 8e에 예시되어 있는 바와 같이 부분적으로 또는 완전히 확대된 상태로 스위칭하게 할 수 있다. 증강 현실 엔진(850)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 그러한 천이를 수행할 수 있다. 일부 실시예에서는, 증강 현실 엔진(850)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 부분적으로 또는 완전히 확대된 상태에서 컴팩트한 상태로 스위칭하게 할 수 있다. 증강 현실 엔진(850)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

일부 실시예에서는, 증강 현실 엔진(850)은 도 6에 예시되어 있는 바와 같은 컴팩트한 상태에서 보충 가상 객체(514-1)를 첨부하거나 그렇지 않으면 부가함으로써 도 7b에 예시되어 있는 바와 같은 컴팩트하지 않은 상태로 천이되게 할 수 있다. 증강 현실 엔진(850)은 가상 객체(514)에의 관심 표시가 검출될 수 있고/있거나 추론될 수 있을 때 이 천이를 수행할 수 있다. 일부 실시예에서는, 증강 현실 엔진(850)은 가상 객체(514)가 도 7b에 예시되어 있는 바와 같은 컴팩트하지 않은 상태에서 컴팩트하지 않은 상태로 다시 복귀(예를 들면, 컴팩트하지 않은 상태로부터 보충 가상 객체(514-1)를 제거함)시킴으로써 컴팩트한 상태로 천이되게 할 수 있다. 증강 현실 엔진(850)은 예를 들면, 가상 객체(514)에의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 이 천이를 수행할 수 있다. 증강 현실 엔진(850)은 또한 가상 객체의 변화 상태가, 본 명세서에 기재되어 있는 바와 같은 예들에서 도 8b 및 도 8e 및/또는 도 8c 및 도 8d에 도시된 것과 같이 변화하게 할 수 있다.

증강 현실 유닛(810) 및/또는 그 컴포넌트는 또한 본 명세서에 기재되어 있는 바와 같이 가상 객체(512-516 및/또는 520-525)와 같은 가상 객체 또는 520a-d와 같은 그 컴포넌트를 디스플레이하기 위해 우선순위를 사용할 수 있다.

일부 실시예에서는, 본 명세서에 기재되어 있는 바와 같이, 사용자가 도 4∼도 8에서 가상 객체(514)와 같은 가상 객체 및/또는 (예를 들면, 가상 객체(512, 516, 520a-f, 522a-b, 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 및/또는 이들을 포함하는) 다른 가상 객체에 관련된 사용자 입력을 컴퓨팅 디바이스 상에 디스플레이되는 증강 현실 디스플레이(150) 상에 생성할 수 있다. 사용자 입력은 터치, 클릭, 드래그 앤 드롭, 응시 및/또는 디스플레이 유닛(300) 상에 디스플레이되는 증강 현실 디스플레이(150)의 가상 객체(514)와 같은 가상 객체와 관련하여 디스플레이 유닛(300)과의 다른 상호작용에 의해 가상 객체(514)와 같은 가상 객체의 사용 선택일 수 있다. 사용자 입력이 행해질 수 있는 경우, 증강 현실 이미지(510)의 가상 객체(514)와 같은 가상 객체의 x, y 및 z 좌표와 같은 수치 데이터를 갖는 수동 메시지가 가상 객체(514)와 같은 가상 객체의 사용자 선택의 위치(x, y, z)에 의거하여 생성될 수 있다. 그 후, 증강 현실 엔진(850)은 가상 객체(514)와 같은 가상 객체로부터 생성된 수동 메시지를 수신할 수 있다. 수동 메시지는 사용자와 가상 객체 사이의 통신을 위한 내부 데이터 구조일 수 있고, 따라서 수동 메시지는 증강 현실 디스플레이 상에 디스플레이될 수 없다.

도 10은 일 실시예에 따라서 증강 정보를 제시하기 위한 일례의 방법(900)을 예시하는 흐름도이다. 방법(900)은 도 3의 증강 현실 시스템 및 도 4∼도 8에 도시되어 있는 예시적인 예의 이미지를 참조하여 설명될 수 있다. 방법(900)은 또한 다른 아키텍처를 사용하여 수행될 수도 있다. 또한, 본 명세서에 기재되어 있는 다른 현실 세계 객체 및/또는 가상 객체(예를 들면, 현실 세계 객체(412-426), 가상 객체(512, 516, 520a-f, 522a-b), 및/또는 컴포넌트 또는 보충 가상 유닛(520a1-a4))가 방법(900)과 함께 사용될 수 있다.

블록 902에서, 디스플레이 유닛(300)이 현실 세계 뷰(410)를 디스플레이할 수 있다. 블록 904에서, 증강 현실 유닛(200)이 현실 세계 비디오(410) 상의 관심 영역을 결정할 수 있다. 증강 현실 유닛(200)은 디스플레이된 현실 세계 뷰(410) 상의 지정된 로이 기반 위치와 대응 로이 기반 위치 사이의 매핑에 의거하여 관심 영역을 결정할 수 있다.

블록 906에서, 증강 현실 유닛(200)은 관심 영역과 관련하여 증강 정보를 제시하기 위한 가상 객체(514)를 획득할 수 있다. 증강 현실 유닛(200)은 예를 들면, 가상 객체 저장소(240)로부터 가상 객체(514)를 획득할 수 있다. 가상 객체(514)는 각각의 제시 타입의 증강 정보를 제시하기 위한 복수의 상태를 가질 수 있다. 제시 타입은 예를 들면, 요약, 보다 풍부한 증강 상세 등을 포함할 수 있다. 요약은 예를 들면, 증강 정보의 아이콘, 이미지, 텍스트, 축약 표시 등을 포함할 수 있다. 보다 풍부한 증강 상세는 임의의 증강 정보를 요약에 덧붙여서 및/또는 보충하여 포함할 수 있다.

블록 908에서, 증강 현실 유닛(200)은 현실 세계 뷰(410)와 가상 객체(514)를 결합시킴으로서 증강 현실 디스플레이(510)를 생성할 수 있다.

블록 910에서, 디스플레이 유닛(300)은 복수의 상태 중 제1 상태의 가상 객체(514)와 함께 증강 현실 디스플레이(510)를 디스플레이할 수 있다. 가상 객체(514)는 예를 들면, 요약을 제시하기 위한 제1(예를 들면, 컴팩트한) 상태일 수 있다.

가상 객체(514)는 하나의 상태에서 다른 상태로 및 다시 원래대로 천이될 수 있다. 예를 들면, 가상 객체는 제1 상태에서 제2 상태로 및 제2 상태에서 제1 상태로 천이될 수 있다. 상태 변화는 연속적이거나 불연속적일 수 있다. 가상 객체(514)는 컴팩트한 상태로부터 확장시킴으로써 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 다시 축소시킴으로써 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수도 있다. 이와 달리 및/또는 덧붙여서, 가상 객체(514)는 부분적으로 또는 완전히 확대된 상태로 스위칭함으로써 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 다시 스위칭함으로써 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수 있다. 일부 실시예에서는, 가상 객체(514)는 보충 가상 객체를 첨부하거나 이와 달리 부가함으로써 컴팩트한 상태에서 컴팩트하지 않은 상태로 천이될 수 있고/있거나, 컴팩트한 상태로 되돌려 복귀시킴으로써 컴팩트하지 않은 상태에서 컴팩트한 상태로 천이될 수 있다.

하나의 상태에서 다른 상태로의 천이는 가상 객체(514)의 관심(또는 사용자 관심 표현)이 검출될 수 있는지를 기반으로 할 수 있다(예를 들면, 이에 응답하여 발생할 수 있다). 가상 객체(514)는 가상 객체(514)의 관심 표시가 검출될 수 없고/없거나 추론될 수 없을 때 제1(예를 들면, 컴팩트한) 상태에 있고/있거나 그 상태로 다시 천이될 수 있다. 가상 객체(514)는 가상 객체의 관심 표시("관심 표시")가 검출될 수 있고/있거나 추론될 수 있을 때 제2(예를 들면, 컴팩트하지 않은) 상태에 있고/있거나 그 상태로 다시 천이될 수 있다. 관심 표시가 예를 들면, "최소 관심", "어느 정도 관심", "완전 관심" 등과 같은 관심 정도를 변화시키는 것에 상응하는 값("관심 표시 값")을 가질 수 있다. 일례로서, 관심 표시 값은 일 단부를 향한 "최소 관심" 내지 그 사이에 다양한 중간 정도의 관심이 있는 타 단부를 향한 "완전 관심"을 갖는 슬라이딩 스케일을 (예를 들면, 슬라이딩 스케일에 대응하는 값을 갖는 스케일을) 기반으로 할 수 있다. 제2(예를 들면, 컴팩트하지 않은) 상태로의 천이에 사용되는 것 외에도, 관심 표시 값은 제2 상태에 있는 동안의 가상 객체(514)의 확장(팽창 및/또는 수축)을 제어하기 위해 사용될 수 있다.

블록 912에서, 증강 현실 유닛(210)은 증강 현실 디스플레이(510) 상에 묘사되는 가상 객체(514)에서 관심 표시를 획득할 수 있다.

블록 910에서, 디스플레이 유닛(300)은 복수의 상태 중 제2 상태로 가상 객체(514)를 디스플레이할 수 있다. 디스플레이 유닛(300)은 관심 표시에 의거하여(예를 들면, 관심 표시에 응답하여) 가상 객체를 디스플레이할 수 있다. 가상 객체(514)는 보다 풍부한 증강 상세를 제시하기 위한 제2(예를 들면, 컴팩트하지 않은, 확대된, 연장된, 확장된 등의) 상태에 있을 수 있다.

도시되지는 않았지만, 증강 현실 디스플레이는 관심 영역을 가시적으로 강조하기 위한 강조 가상 객체를 포함할 수 있다. 강조 가상 객체는 일부 또는 전체 관심 영역에 중첩될 수 있다. 강조 가상 객체는 예를 들면, 관심 영역의 아웃라인, 하이라이트 등 또는 그 구성요소(예를 들면, 현실 세계 뷰에 묘사된 현실 세계 객체)일 수 있다. 이것을 용이하게 하기 위해, 증강 현실 유닛(200)은 강조 가상 객체를 생성할 수 있고/있거나, 강조 가상 객체를 관심 영역에 매핑시킴으로써 증강 현실 디스플레이를 증강시킬 수 있다.

도 11은 일 실시예에 따라서 증강 정보를 제시하기 위한 일례의 방법(1000)을 예시하는 흐름도이다. 방법(1000)은 도 3의 증강 현실 시스템 및 도 4∼도 8에 도시되어 있는 예시적인 예의 이미지를 참조하여 설명할 수 있다. 방법(1000)은 또한 다른 아키텍처를 사용하여 수행될 수도 있다. 도 11의 방법(1000)은 예를 들면, 여기에 기재되어 있는 것을 제외하고 도 10의 방법(900)과 유사할 수 있다. 또한, 본 명세서에 기재되어 있는 다른 현실 세계 객체 및/또는 가상 객체(예를 들면, 현실 세계 객체(412-426), 가상 객체(512, 516, 520a-f, 522a-b), 및/또는 컴포넌트 또는 보충 가상 유닛(520a1-a4))가 방법(1000)과 함께 사용될 수 있다.

블록 1002에서, 증강 현실 유닛(200)은 관심 영역과 관련하여 사용하기 위한 증강 정보를 획득할 수 있다. 증강 현실 유닛(200)은 (도 3에 도시되어 있지 않은) 증강 정보 저장소로부터 증강 정보를 획득할 수 있다.

블록 1004에서, 증강 현실 유닛(200)은 증강 정보를 제시하기 위한 가상 객체(514)를 생성할 수 있다. 증강 현실 유닛(200)은 예를 들면, 가상 객체 저장소(240)로부터 가상 객체(514)를 획득할 수 있다. 가상 객체(514)는 각각의 제시 타입의 증강 정보를 제시하기 위한 복수의 상태를 가질 수 있다. 제시 타입은 예를 들면, 요약, 보다 풍부한 증강 상세 등을 포함할 수 있다.

블록 1004 다음에, 방법(1000)은 도 10의 블록 908-914에 따라서 수행될 수 있다.

도 12는 일 실시예에 따라서 증강 정보를 제시하기 위한 일례의 방법(1100)을 예시하는 흐름도이다. 방법(1100)은 도 9의 증강 현실 시스템 및 도 4∼도 8에 도시되어 있는 예시적인 예의 이미지를 참조하여 설명할 수 있다. 방법(1100)은 또한 다른 아키텍처를 사용하여 수행될 수도 있다.

블록 1102에서, 디스플레이 유닛(300)이 현실 세계 뷰(410)를 디스플레이할 수 있다. 블록 1104에서, 증강 현실 유닛(200)이 디스플레이되는 현실 세계 비디오(410) 상의 지정된 위치(428)를 결정할 수 있다. 이 지정된 위치(428)는 아이 트래킹 시스템이 사용자가 초점을 맞춘 것을 나타내는 위치에 대응할 수 있다. 또한, 다른 현실 세계 객체 및/또는 본 명세서에 기재되어 있는 가상 객체(예를 들면, 현실 세계 객체(412-426), 가상 객체(512, 516, 520a-f, 522a-b, 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4))가 방법(1100)과 함께 사용될 수 있다.

블록 1106에서, 증강 현실 유닛(200)은 현실 세계 뷰(410)로부터 지정된 위치(428)에 대응하는 현실 세계 객체(418)를 식별할 수 있다. 블록 1104에서, 증강 현실 유닛(200)은 식별된 현실 세계 객체(418)와 관련하여 사용하기 위한 증강 정보를 획득할 수 있다.

블록 1108에서, 증강 현실 유닛(200)은 식별된 현실 세계 객체(418)과 관련하여 증강 정보를 제시하기 위한 가상 객체(514)를 생성할 수 있다. 증강 현실 유닛(200)은 예를 들면, 가상 객체 저장소(240)로부터 가상 객체(514)를 획득할 수 있다. 가상 객체(514)는 증강 정보의 각각의 제시 타입을 제시하기 위한 복수의 상태를 가질 수 있다. 제시 타입은 예를 들면, 요약, 보다 풍부한 증강 상세 등을 포함할 수 있다.

블록 1110에서, 증강 현실 유닛(200)은 가상 객체(514)를 갖는 현실 세계 이미지(410)를 증강시킬 수 있다. 가상 객체(514)는 예를 들면, 요약을 제시하기 위한 제1(예를 들면, 컴팩트한) 상태일 수 있다.

블록 1112에서, 증강 현실 유닛(200)은 증강 현실 디스플레이(510) 상에 묘사되는 가상 객체(514)에서 관심 표시를 획득할 수 있다.

블록 1114에서, 디스플레이 유닛(300)은 가상 객체(514)를 제2 상태로 디스플레이할 수 있다. 디스플레이 유닛(300)은 아이 트래킹 시스템이 사용자가 가상 객체(514)를 향해 시선을 두고/두거나 가상 객체(514)에 초점을 맞추고 있는 것을 나타낼 때 가상 객체(514)를 제2 상태로 디스플레이할 수 있다.

도시되지는 않았지만, 증강 현실 디스플레이는 식별된 현실 세계 객체(418)를 가시적으로 강조하기 위한 강조 가상 객체를 포함할 수 있다. 강조 가상 객체는 일부 또는 전체 식별된 현실 세계 객체(418)에 중첩될 수 있다. 강조 가상 객체는 예를 들면, 식별된 현실 세계 객체(418)의 아웃라인, 하이라이트 등일 수 있다. 이것을 용이하게 하기 위해, 증강 현실 유닛(200)은 강조 가상 객체를 생성할 수 있고/있거나, 강조 가상 객체를 식별된 현실 세계 객체(418)에 매핑시킴으로써 증강 현실 디스플레이를 증강시킬 수 있다.

도 13은 일 실시예에 따라서 증강 정보를 제시하기 위한 일례의 방법(1200)을 예시하는 흐름도이다. 방법(1200)은 도 9의 증강 현실 시스템 및 도 4∼도 8에 도시되어 있는 예시적인 예의 이미지를 참조하여 설명될 수 있다. 방법(1200)은 또한 다른 아키텍처를 사용하여 수행될 수도 있다. 도 13의 방법(1200)은 예를 들면, 아래에 기재되어 있는 것을 제외하고 도 12의 방법(1100)과 유사할 수 있다. 또한, 본 명세서에 기재되어 있는 다른 현실 세계 객체 및/또는 가상 객체(예를 들면, 현실 세계 객체(412-426), 가상 객체(512, 516, 520a-f, 522a-b), 및/또는 컴포넌트 또는 보충 가상 유닛(520a1-a4))가 방법(1200)과 함께 사용될 수 있다.

블록 1202에서, 증강 현실 유닛(200)은 식별된 현실 세계 객체(418)와 관련하여 사용하기 위한 증강 정보를 획득할 수 있다. 증강 현실 유닛(200)은 (도 9에 도시되어 있지 않은) 증강 정보 저장소로부터 증강 정보를 획득할 수 있다.

블록 1204에서, 증강 현실 유닛(200)은 증강 정보를 제시하기 위한 가상 객체(514)를 생성할 수 있다. 증강 현실 유닛(200)은 예를 들면, 가상 객체 저장소(240)로부터 가상 객체(514)를 획득할 수 있다. 가상 객체(514)는 각각의 제시 타입의 증강 정보를 제시하기 위한 복수의 상태를 가질 수 있다. 제시 타입은 예를 들면, 요약, 보다 풍부한 증강 상세 등을 포함할 수 있다.

블록 1204 다음에, 방법(1200)은 도 13의 블록 1108-1114에 따라서 수행될 수 있다.

어떤 대표적인 실시예에서, 증강 현실 디스플레이 및/또는 사용자 인터페이스 및/또는 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하는 방법은 현실 세계 뷰와 관련 증강 정보를 결합시킬 수 있다. 어떤 대표적인 실시예에서, 증강 현실 디스플레이 및/또는 사용자 인터페이스 및/또는 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하는 방법은 초점의 아이템을 애매하게 만들지 않는 증강 정보를 디스플레이하기 위한 영역을 결정할 수 있다.

어떤 대표적인 실시예에서, 상기 방법은 가시적인 도메인 내에서의 초점을 결정하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서, 상기 방법은 초점의 현실 세계 객체 및 그 경계를 식별하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서, 상기 방법은 식별된 현실 세계 객체에 관련된 증강 정보에 대한 요약과 함께 가상 객체를 디스플레이하는 단계를 포함할 수 있다. 어떤 대표적인 실시예에서, 상기 방법은 가상 객체에 대한 안구 초점에 의거하여 요약으로부터 보다 풍부한 증강 상세로 가상 객체를 확장시키는 단계를 포함할 수 있다.

도 4∼도 8을 다시 참조하면, 현실 세계 객체(412-426)가 사용자에게 가시적으로 될 수 있다. 사용자가 디스플레이 유닛(300)의 스크린을 볼 때, 현실 세계 객체가 식별되어 있지 않다. 사용자의 눈이 현실 세계 객체(418)에 고정되면, 현실 세계 객체(418)가 식별될 수 있다. 사용자의 눈이 움직임에 따라, 아이 트래킹 유닛(260)이 사용자의 눈이 특정 포인트에 고정되었는지를 결정할 수 있다. 사용자의 눈이 지정된 위치(428)에 고정된다고 가정한다. 객체 식별 유닛(220)은 지정된 위치(428)가 식별된 현실 세계 객체(418)에 대응하는지를 결정할 수 있다.

지정된 위치(428) 및 현실 세계 객체(418)가 식별되었다면, 식별된 현실 세계 객체(418)는 도 5에 예시되어 있는 바와 같이 (예를 들면, 굵은 아웃라인을 사용하여) 하이라이트될 수 있다. 하이라이팅은 볼 때 식별된 현실 세계 객체(418)를 다른 객체로부터 구별하는 임의의 포맷일 수 있다.

현실 세계 객체(418)가 식별될 수 있으면, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)가 각각의 요약과 함께 디스플레이될 수 있다. 요약 정보는 레스토랑 광고, 인근 랜드마크(nearby landmark), 빌딩에서 취해진 픽처 등일 수 있다. 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체는 이들을 식별된 현실 세계 객체(418)와 구별하는 포맷으로 제시될 수 있다. 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체는 아이콘, 기하학적 도형, 호출(callout) 등일 수 있다. 시각적 제시는 요약이 스크린을 시각적으로 혼란스럽게 하지 않게 하기 위해서 어려울 수 있다.

사용자의 시선이 가상 객체(514) 및/또는 가상 객체(512, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 다른 가상 객체에 접근할 때, 객체는 보다 풍부한 증강 상세를 제시하기 위해 확장될 수 있다. 도 7b 및 도 8d∼도 8e에 도시되어 있는 바와 같이, 확장은 보충 정보(514-1) 및/또는 박스 또는 영역(522a-b) 및/또는 컴포넌트(520a1-a4)로 보일 수 있다. (예를 들면, 도 7a 및 도 8d∼도 8e에 각각 도시되어 있는 바와 같은) 일례에서는, 확장은 가상 객체의 확대로서, 가상 객체의 부근 영역에, 가상 객체에 인접하여, 등등으로 보일 수 있다.

어떤 대표적인 실시예에서, 가상 객체의 AR 효과가 예를 들면, 사용자 기호, 환경적인 조건 등을 포함하는 사용자 콘텍스트(context)에 의거하여(예를 들면, 사용자 콘텍스트에 응답하여) 자동으로 및/또는 동적으로 생성될 수 있다.

어떤 대표적인 실시예에서, 식별된 현실 세계 객체(418)는 하이라이트될 수 있다. 하이라이팅은 컬러, 질감, 또는 명도를 매개로 할 수 있다.

어떤 대표적인 실시예에서, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체는 식별된 현실 세계 객체에 아주 가깝게 디스플레이될 수 있다. 식별된 또는 선택된 현실 세계 객체에 아주 가깝게 가상 객체(512-516 및/또는 520-525) 또는 520a-d와 같은 그 컴포넌트를 디스플레이하면 사용자의 눈이 2차 정보에 초점을 맞추기 위해 이동하는 거리를 감소시킬 수 있다.

어떤 대표적인 실시예에서는, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체가 초점 위치에 가장 가깝게 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체가 초점 위치에 가장 가깝게 및 식별된 현실 세계 객체에 인접하게 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체는 식별된 현실 세계 객체에 이웃하는 다른 현실 세계 객체를 가리지 않도록 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 가상 객체(512, 514, 516, 520a-d), 및/또는 컴포넌트 또는 보충 가상 객체(520a1-a4)와 같은 가상 객체는 식별된 현실 세계 객체에 이웃하는 다른 가상 객체 및/또는 다른 현실 세계 객체를 가리지 않도록 디스플레이될 수 있다.

어떤 대표적인 실시예에서는, 증강 정보가 리스트 포맷으로 구성될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보는 비선형 패턴으로 구성될 수도 있다. 어떤 대표적인 실시예에서는, 증강 정보는 완화된 포맷으로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더욱 두드러진 포맷으로 디스플레이될 수 있다.

어떤 대표적인 실시예에서는, 증강 정보는 일정한 프로미넌스로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 증강 정보는 정해진 컬러로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 컬러는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더욱 어두워질 수 있다. 어떤 대표적인 실시예에서는, 컬러는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더욱 밝아질 수 있다.

어떤 대표적인 실시예에서는, 증강 정보는 정해진 사이즈로 디스플레이될 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 사용자의 시선이 가상 객체에 접근하고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더 커질 수 있다. 어떤 대표적인 실시예에서는, 사이즈가 거리에 비례하여 팽창할 수 있다. 어떤 대표적인 실시예에서는, 사이즈는 사용자의 시선이 가상 객체으로부터 멀어지고 있음을 나타내는 아이 트래킹 시스템에 응답하여 더 작아질 수 있다. 어떤 대표적인 실시예에서는, 사이즈가 거리에 비례하여 수축할 수 있다.

이상의 설명에서는, 각각의 방법(900-1200)은 디스플레이되는 현실 세계 뷰 상의 지정된 로이 기반 위치와 대응 로이 기반 위치 사이의 매핑에 의거하여 현실 세계 뷰 상의 관심 영역, 관심 객체 등을 결정하기 위한 하나 이상의 프로세스를 포함한다. 그러나, 각각의 방법(900-1200)은 증강 현실 디스플레이 상의 지정된 로이 기반 위치와 대응 로이 기반 위치(즉, 현실 세계 위치 및/또는 증강 현실 디스플레이 상의 지정된 로이 기반 위치에 대응하는 로컬화된 맵 위치) 사이의 매핑에 의거하여 현실 세계 뷰 상의 관심 영역, 관심 객체 등을 결정하기 위한 하나 이상의 프로세스를 포함하도록 (또는 유사한 타입의 프로세스를 대체시키도록) 변경될 수 있다.

일부 실시예에서는, 방법(900-1200)은 증강 현실 디스플레이로부터 현재의 관심 영역, 관심 객체, 가상 객체 등을 먼저 클리어(clear)하기 위한 하나 이상의 프로세스를 포함하도록 변경될 수 있다. 일부 실시예에서는, 방법(900-1200)은 증강 현실 디스플레이로부터 관심 영역, 관심 객체, 가상 객체 등을 클리어하기 위한 하나 이상의 사용자 입력을 인식하기 위한 하나 이상의 프로세스를 포함하도록 변경될 수 있다. 이들 사용자 입력 또는 선택은 터치, 클릭, 드래그 앤 드롭, 응시, 보이스/음성 인식 및/또는 디스플레이 유닛(300) 상에 디스플레이되는 증강 현실 디스플레이(예를 들면, 증강 현실 디스플레이(510))와 관련하여 다른 상호작용에 의해 및/또는 그를 통해 행해질 수 있다.

본 명세서에 제공되는 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품은 유선 및 무선 네트워크의 양자를 수반하는 통신에 적합하다. 유선 네트워크가 잘 알려져 있다. 다양한 타입의 무선 디바이스 및 인프라스트럭처의 개요가 도 14a∼도 14e에서 제공될 수 있으며, 여기에서, 네트워크의 다양한 구성요소가 본 명세서에 제공되는 방법, 장치 및 시스템을 이용, 실행, 이들에 따라 배치 및/또는 이들에 적응 및/또는 이들용으로 구성될 수 있다.

도 14a∼도 14e(집합적으로 "도 14")는 하나 이상의 개시된 실시예가 실현될 수 있는 일례의 통신 시스템(1300)을 예시하는 블록도이다. 일반적으로, 통신 시스템(1300)은 다수의 무선 사용자가 보이스, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 액세스 및/또는 교환(예를 들면, 송신 및/또는 수신)할 수 있는 다중 액세스 시스템을 지원하는 아키텍처를 정의한다. 아키텍처는 또한, 상이한 액세스 기술에 따라서 2개 이상의 다중 액세스 시스템이 사용 및/또는 구성되게 하는 것을 지원한다. 이 방식으로 통신 시스템(1300)은 단일 액세스 기술을 사용할 수 있는 무선 사용자와 다중 액세스 기술을 사용할 수 있는 무선 사용자의 양자에 서비스할 수 있다.

다중 액세스 시스템은 그 각각이 예를 들면, 액세스 네트워크, 액세스 포인트 등일 수 있는 각각의 엑세스를 포함할 수 있다. 여러 가지 실시예에서, 다중 액세스의 전부는 동일한 무선 액세스 기술("RAT")로 구성될 수 있고/있거나 동일한 무선 액세스 기술을 채용할 수 있다. 그러한 액세스("단일-RAT 액세스")의 일부 또는 전부가 (ⅰ) 단일 모바일 네트워크 운영자 및/또는 반송파(집합적으로 "MNO") 또는 (ⅱ) 다수의 MNO 중 하나에 의해 소유, 관리, 제어, 운영 등이 될 수 있다. 여러 가지 실시예에서, 다중 액세스의 일부 또는 전부가 상이한 RAT로 구성될 수 있고/있거나 상이한 RAT를 채용할 수 있다. 이들 다중 액세스("멀티-RAT 액세스")는 단일 MNO 또는 다수의 MNO 중 하나에 의해 소유, 관리, 제어, 운영 등이 될 수 있다.

통신 시스템(1300)은 무선 대역폭을 포함하는 시스템 자원의 공유를 통해 그러한 콘텐츠에 다수의 무선 사용자가 액세스 가능하게 할 수도 있다. 예를 들면, 통신 시스템(1300)은 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 주파수 분할 다중 액세스(FDMA), 직교 FDMA(OFDMA), 단일 반송파 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법을 채용할 수도 있다.

도 14a에 도시된 바와 같이, 통신 시스템(1300)은 무선 송수신 유닛(WTRU)(1302a, 1302b, 1302c 및/또는 1302d), 무선 액세스 네트워크(RAN)(1304), 코어 네트워크(1306), 공중 회선 전화 네트워크(PSTN)(1308), 인터넷(1310) 및 다른 네트워크(1312)를 포함할 수도 있지만, 이는 개시된 실시예들이 임의의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 고려하는 것을 이해할 것이다. WTRU(1302a, 1302b, 1302c 및/또는 1302d)의 각각은 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(1302a, 1302b, 1302c 및/또는 1302d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있고, 사용자 장비(UE), 이동국, 고정 또는 이동 가입자 유닛, 페이저(pager), 셀룰러 전화기, 개인 휴대용 정보 단말(PDA), 스마트폰, 랩탑(laptop), 넷북(netbook), 퍼스널 컴퓨터, 무선 센서, 가전제품, 압축 비디오 통신을 수신 및 처리할 수 있는 단말 또는 유사한 타입의 디바이스, 또는 유사한 타입의 디바이스를 포함할 수도 있다.

통신 시스템(1300)은 기지국(1314a) 및 기지국(1314b)을 또한 포함할 수도 있다. 각각의 기지국(1314a, 1314b)은 코어 네트워크(1306), 인터넷(1310) 및/또는 네트워크(1312)와 같은 하나 이상의 통신 네트워크로의 액세스를 용이하게 하기 위해 WTRU(1302a, 1302b, 1302c 및/또는 1302d) 중 적어도 하나와 무선으로 인터페이스하도록 구성된 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(1314a 및/또는 1314b)은 기지 송수신국(BTS), 노드-B(NB), 진화형 NB(eNB), 홈 NB(HNB), 홈 eNB(HeNB), 기업형 NB("ENT-NB"), 기업형 eNB("ENT-eNB"), 사이트 제어기, 액세스 포인트(AP), 무선 라우터, 미디어 인식 네트워크 요소(MANE: media aware network element) 등일 수도 있다. 기지국(1314a, 1314b)이 각각 단일 요소로서 도시되어 있지만, 기지국(1314a, 1314b)은 임의의 수의 상호 연결된 기지국 및/또는 네트워크 요소를 포함할 수도 있음을 이해할 것이다.

기지국(1314a)은 기지국 제어기(BSC), 무선 네트워크 제어기(RNC), 중계 노드 등과 같은 네트워크 요소(도시 생략됨) 및/또는 다른 기지국을 또한 포함할 수도 있는 RAN(1304)의 부분일 수도 있다. 기지국(1314a) 및/또는 기지국(1314b)은 셀(도시 생략됨)이라고도 칭해질 수도 있는 특정 지리적인 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수도 있다. 셀은 셀 섹터로 더 분할될 수도 있다. 예를 들면, 기지국(1314a)과 관련된 셀은 3개의 섹터로 분할될 수도 있다. 따라서, 일 실시예에서는, 기지국(1314a)은 3개의 송수신기 즉, 셀의 각 섹터마다 하나를 포함할 수도 있다. 다른 실시예에서는, 기지국(1314a)은 다중 입력 다중 출력(MIMO) 기술을 채용할 수도 있고, 그에 따라서 셀의 각 섹터마다 다수의 송수신기를 이용할 수도 있다.

기지국(1314a 및/또는 1314b)은 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(RF), 마이크로웨이브, 적외선(IR), 자외선(UV), 가시광 등)일 수도 있는 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c 및/또는 1302d) 중 하나 이상과 통신할 수도 있다. 무선 인터페이스(1316)는 임의의 적절한 무선 액세스 기술(RAT)을 사용하여 확립될 수도 있다.

더욱 구체적으로는, 위에서 언급한 바와 같이, 통신 시스템(1300)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 채용할 수도 있다. 예를 들면, RAN(1304) 내의 기지국(1314a) 및 WTRU(1302a, 1302b, 1302c)는 광대역 CDMA(WCDMA)를 사용하여 무선 인터페이스(1316)를 확립할 수도 있는 범용 이동 통신 시스템(UMTS: Universal Mobile Telecommunications System) 지상파 무선 액세스(UTRA)와 같은 무선 기술을 실현할 수도 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화된 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수도 있다.

다른 실시예에서, 기지국(1314a) 및 WTRU(1302a, 1302b, 1302c)는 롱 텀 에볼루션(LTE: Long Term Evolution) 및/또는 LTE-Advanced(LTE-A)를 사용하여 무선 인터페이스(1316)를 확립할 수도 있는 진화된 UMTS 지상파 무선 액세스(E-UTRA)와 같은 무선 기술을 실현할 수도 있다.

다른 실시예에서, 기지국(1314a) 및 WTRU(1302a, 1302b, 1302c)는 IEEE 802.16(즉, 마이크로웨이브 액세스용 전세계 상호 운용성(WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 이동 통신용 글로벌 시스템(GSM), GSM 에볼루션용 향상된 데이터 속도(EDGE), GSM EDGE(GERAN) 등과 같은 무선 기술을 실현할 수도 있다.

도 14a의 기지국(1314b)은 예를 들면, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 영업소, 홈, 차량, 캠퍼스 등과 같은 로컬화된 영역에서의 무선 연결을 용이하게 하기 위해 임의의 적절한 RAT를 이용할 수도 있다. 일 실시예에서, 기지국(1314b) 및 WTRU(1302c, 1302d)는 무선 근거리 네트워크(WLAN)를 확립하기 위해 IEEE 802.11과 같은 무선 기술을 실현할 수도 있다. 다른 실시예에서, 기지국(1314b) 및 WTRU(1302c, 1302d)는 무선 개인 영역 네트워크(WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 실현할 수도 있다. 또 다른 실시예에서, 기지국(1314b) 및 WTRU(1302c, 1302d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용할 수도 있다. 도 14a에 도시된 바와 같이, 기지국(1314b)은 인터넷(1310)에 직접 연결을 가질 수도 있다. 그러므로, 기지국(1314b)은 코어 네트워크(1306)를 통해 인터넷(1310)에 액세스할 필요가 없을 수도 있다.

RAN(1304)은 WTRU(1302a, 1302b, 1302c, 1302d) 중 하나 이상에 보이스, 데이터, 애플리케이션, 및/또는 인터넷 전화 통화 규약(VoIP) 서비스를 제공하도록 구성된 임의의 타입의 네트워크일 수도 있는 코어 네트워크(1306)와 통신할 수도 있다. 예를 들면, 코어 네트워크(106)는 호 제어, 과금 서비스, 이동 위치 기반 서비스, 선불 전화, 인터넷 연결, 비디오 배포 등을 제공할 수도 있고/있거나 사용자 인증과 같은 상위 보안 기능을 실행할 수도 있다. 도 14a에 도시되어 있지는 않지만, RAN(1304) 및/또는 코어 네트워크(1306)가 RAN(1304)과 동일한 RAT 또는 상이한 RAT를 채용하는 다른 RAN과 직접 또는 간접으로 통신할 수도 있음을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용할 수도 있는 RAN(1304)에 연결되어 있는 것에 덧붙여서, 코어 네트워크(1306)는 또한 GSM 무선 기술을 채용하는 다른 RAN(도시 생략됨)과 통신할 수도 있다.

코어 네트워크(1306)는 또한 WTRU(1302a, 1302b, 1302c, 1302d)가 PSTN(1308), 인터넷(1310) 및/또는 다른 네트워크(1312)에 액세스하도록 게이트웨이로서 역할을 할 수도 있다. PSTN(1308)은 기존 전화 서비스(POTS: plain old telephone service)를 제공하는 회선 교환 전화 네트워크를 포함할 수도 있다. 인터넷(1310)은 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 TCP/IP 인터넷 프로토콜 스위트(suite) 중의 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜을 사용하는 상호 연결된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(1312)는 다른 서비스 제공자 소유의 및/또는 그에 의해 운영되는 유선 또는 무선 통신 네트워크를 포함할 수도 있다. 예를 들면, 네트워크(1312)는 RAN(1304)와 동일한 RAT 또는 상이한 RAT를 채용할 수도 있는 하나 이상의 RAN에 연결되는 다른 코어 네트워크를 포함할 수도 있다.

통신 시스템(1300) 내의 WTRU(1302a, 1302b, 1302c, 1302d)의 일부 또는 전부는 다중 모드 능력을 포함할 수도 있고, 즉, WTRU(1302a, 1302b, 1302c, 1302d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 송수신기를 포함할 수도 있다. 예를 들면, 도 14a의 WTRU(102c)는 셀룰러 기반 무선 기술을 채용할 수도 있는 기지국(114a)과, 그리고 IEEE 802 무선 기술을 채용할 수도 있는 기지국(114b)과 통신하도록 구성될 수도 있다.

도 14b는 WTRU(1302)의 일례의 시스템도이다. 도 14b에 도시된 바와 같이, WTRU(1302)는 프로세서(1318), 송수신기(1320), 송수신 요소(1322), 스피커/마이크로폰(1324), 키패드(1326), 디스플레이/터치패드(1328), 비분리식 메모리(1330), 분리식 메모리(1332), 전원(1334), 전세계 측위 시스템(GPS) 칩셋(1336) 및 다른 주변장치(1338)(예를 들면, 카메라 또는 다른 광학 캡처 디바이스)를 포함할 수도 있다. WTRU(1302)는 일 실시예와 일관성을 유지하면서 상기 요소들의 임의의 서브 조합을 포함할 수도 있음을 이해할 것이다.

프로세서(1318)는 범용 프로세서, 특수 용도 프로세서, 통상의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 관련된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 주문형 반도체(ASIC: Application Specific Integrated Circuits), 필드 프로그램 가능 게이트 어레이(FPGA) 회로, 임의의 다른 타입의 집적 회로(IC), 상태 머신 등일 수도 있다. 프로세서(1318)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리, 및/또는 WTRU(1302)가 무선 환경에서 동작 가능하게 하는 임의의 다른 기능을 실행할 수도 있다. 프로세서(1318)는 송수신 요소(1322)에 결합될 수도 있는 송수신기(1320)에 결합될 수도 있다. 도 14b는 프로세서(1318) 및 송수신기(1320)를 별개의 구성 요소로서 도시하고 있지만, 프로세서(1318) 및 송수신기(1320)는 함께 전자 패키지 또는 칩에 일체화될 수도 있음을 이해할 것이다.

송수신 요소(1322)는 무선 인터페이스(1316)를 통해 기지국(예를 들면, 기지국(1314a))으로부터의 신호를 수신하고 그 기지국에 신호를 송신하도록 구성될 수도 있다. 예를 들면, 일 실시예에서, 송수신 요소(1322)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수도 있다. 다른 실시예에서, 송수신 요소(1322)는 예를 들면, IR, UV, 또는 가시 광 신호를 송신 및/또는 수신하도록 구성되는 이미터/검출기일 수도 있다. 또 다른 실시예에서, 송수신 요소(1322)는 RF와 광 신호의 양자를 송신 및 수신하도록 구성될 수도 있다. 송수신 요소(1322)는 무선 신호의 임의의 조합을 송신 및/또는 수신하도록 구성될 수도 있음을 이해할 것이다.

또한, 송수신 요소(1322)가 단일 요소로서 도 14b에 도시되어 있지만, WTRU(1302)는 임의의 수의 송수신 요소(1322)를 포함할 수도 있다. 더욱 구체적으로는, WTRU(1302)는 MIMO 기술을 채용할 수도 있다. 그러므로, 일 실시예에서, WTRU(1302)는 무선 인터페이스(1316)를 통해 무선 신호를 송신 및 수신하기 위한 2개 이상의 송수신 요소(1322)(예를 들면, 다수의 안테나)를 포함할 수도 있다.

송수신기(1320)는 송수신 요소(1322)에 의해 송신될 신호를 변조하도록 그리고 송수신 요소(1322)에 의해 수신될 신호를 복조하도록 구성될 수도 있다. 앞에서 언급한 바와 같이, WTRU(1302)는 다중 모드 능력을 가질 수도 있다. 그러므로, 송수신기(1320)는 WTRU(1302)가 예를 들면, UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신 가능하게 하기 위한 다수의 송수신기를 포함할 수도 있다.

WTRU(1302)의 프로세서(1318)는 스피커/마이크로폰(1324), 키패드(1326), 및/또는 디스플레이/터치패드(1328)(예를 들면, 액정 디스플레이(LCD) 디스플레이 유닛 또는 유기 발광 다이오드(OLED) 디스플레이 유닛)에 결합될 수 있어 이들로부터 사용자 입력 신호를 수신할 수도 있다. 프로세서(1318)는 또한, 스피커/마이크로폰(1324), 키패드(1326), 및/또는 디스플레이/터치패드(1328)에 사용자 데이터를 출력할 수도 있다. 또한, 프로세서(1318)는 비분리식 메모리(1330) 및/또는 분리식 메모리(1332)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고 이들 메모리에 데이터를 저장할 수도 있다. 비분리식 메모리(1330)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 기억 디바이스를 포함할 수도 있다. 분리식 메모리(1332)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수도 있다. 다른 실시예에서, 프로세서(1318)는 서버 또는 홈 컴퓨터(도시 생략됨) 상과 같은 WTRU(1302) 상에 물리적으로 위치하지 않는 메모리로부터의 정보에 액세스하고 그 메모리에 데이터를 저장할 수도 있다.

프로세서(1318)는 전원(1334)으로부터 전력을 수신할 수도 있고, WTRU(1302) 내의 다른 구성 요소에 전력을 분배 및/또는 제어하도록 구성될 수도 있다. 전원(1334)은 WTRU(1302)에 전력 공급을 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(1334)은 하나 이상의 건전지 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬 이온(Li-ion) 등) 태양 전지, 연료 전지 등을 포함할 수도 있다.

프로세서(1318)는 또한, WTRU(1302)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(1336)에 결합될 수도 있다. GPS 칩셋(1336)으로부터의 정보에 덧붙여서 또는 그 대신에, WTRU(1302)는 기지국(예를 들면, 기지국(1314a, 1314b))으로부터 무선 인터페이스(1316)를 통해 위치 정보를 수신할 수도 있고/있거나 2개 이상의 인접한 기지국으로부터 수신되는 신호의 타이밍에 기초하여 그 위치를 결정할 수도 있다. WTRU(1302)는 일 실시예와의 일관성을 유지하면서 임의의 적절한 위치 결정 방법을 통해서 위치 정보를 획득할 수도 있음을 이해할 것이다.

프로세서(1318)는 추가의 특징, 기능 및/또는 유선 또는 무선 연결을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 다른 주변장치(1338)에 추가로 결합될 수도 있다. 예를 들면, 주변장치(1338)는 가속도계, 전자 나침반, 위성 송수신기, 디지털 카메라(사진 또는 비디오용), 범용 시리얼 버스(USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈 프리 헤드셋, 블루투스(등록상표) 모듈, 주파수 변조(FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수도 있다.

도 14c는 일 실시예를 따르는 RAN(1304) 및 코어 네트워크(1306)의 시스템도이다. 앞에서 언급한 바와 같이, RAN(1304)은 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하기 위해 UTRA 무선 기술을 채용할 수도 있다. RAN(1304)은 또한 코어 네트워크(1306)와 통신할 수도 있다. 도 14c에 도시된 바와 같이, RAN(1304)은 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하기 위한 하나 이상의 송수신기를 각각 포함할 수도 있는 노드-B(1340a, 1340b, 1340c)를 포함할 수도 있다. 노드-B(1340a, 1340b, 1340c)는 각각 RAN(1304) 내의 특정 셀(도시 생략)과 관련될 수도 있다. RAN(1304)은 또한 RNC(1342a, 1342b)를 포함할 수도 있다. RAN(1304)은 일 실시예와의 일관성을 유지하면서 임의의 수의 노드-B 및 RNC를 포함할 수도 있음을 이해할 것이다.

도 14c에 도시된 바와 같이, 노드-B(1340a, 1340b)는 RNC(1342a)와 통신할 수도 있다. 또한, 노드-B(1340c)는 RNC(1342b)와 통신할 수도 있다. 노드-B(1340a, 1340b, 1340c)는 Iub 인터페이스를 통해 각각의 RNC(1342a, 1342b)와 통신할 수도 있다. RNC(1342a, 1342b)는 Iur 인터페이스를 통해 서로 통신할 수도 있다. RNC(1342a, 1342b)의 각각은 자신이 연결되는 각각의 노드-B(1340a, 1340b, 1340c)를 제어하도록 구성될 수도 있다. 또한, RNC(1342a, 1342b)의 각각은 외부 루프 전력 제어, 부하 제어, 수락(admission) 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수도 있다.

도 14c에 도시된 코어 네트워크(1306)는 미디어 게이트웨이(MGW)(1344), 이동 전화 교환국(MSC)(1346), 서비스하는 GPRS 지원 노드(SGSN)(1348), 및/또는 게이트웨이 GPRS 지원 노드(CGSN)(1350)를 포함할 수도 있다. 앞서 말한 요소들의 각각은 코어 네트워크(1306)의 부분으로서 도시되어 있지만, 이들 요소들 중 임의의 하나가 코어 네트워크 운영자와 다른 엔티티에 의해 소유되고/되거나 운영될 수도 있음을 이해할 것이다.

RAN(1304) 내의 RNC(1342a)는 IuCS 인터페이스를 통해 코어 네트워크(1306) 내의 MSC(1346)에 연결될 수도 있다. MSC(1346)는 MGW(1344)에 연결될 수도 있다. MSC(1346) 및 MGW(1344)는 WTRU(1302a, 1302b, 1302c)와 전통적인 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해 PSTN(1308)과 같은 회선 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다.

RNC(1342a) 및 RAN(1304)은 또한 IuPS 인터페이스를 통해 코어 네트워크(1306) 내의 SGSN(1348)에 연결될 수도 있다. SGSN(1348)은 GGSN(1350)에 연결될 수도 있다. SGSN(1348) 및 GGSN(1350)은 WTRU(1302a, 1302b, 1302c)와 IP 인에이블 디바이스 사이의 통신을 용이하게 하기 위해 인터넷(1310)과 같은 패킷 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다.

앞에서 언급한 바와 같이, 코어 네트워크(1306)는 또한 다른 서비스 제공자에 의해 소유되고/되거나 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(1312)에 연결될 수도 있다.

도 14d는 일 실시예에 따르는 RAN(1304) 및 코어 네트워크(1306)의 시스템도이다. 앞에서 언급한 바와 같이, RAN(1304)은 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하기 위해 E-UTRA 무선 기술을 채용할 수도 있다. RAN(1304)은 또한 코어 네트워크(1306)와 통신할 수도 있다.

RAN(1304)은 eNode-B(1360a, 1360b, 1360c)를 포함할 수도 있지만, 일 실시예와의 일관성을 유지하면서 임의의 수의 eNode-B를 포함할 수도 있음을 이해할 것이다. eNode-B(1360a, 1360b, 1360c)는 각각 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하기 위한 하나 이상의 송수신기를 포함할 수도 있다. 일 실시예에서, eNode-B(1360a, 1360b, 1360c)는 MIMO 기술을 실현할 수도 있다. 그러므로, eNode-B(1360a)는 예를 들면, WTRU(1302a)로부터의 무선 신호를 수신하고 WTRU(1302a)에 무선 신호를 송신하기 위해 다수의 안테나를 사용할 수도 있다.

eNode-B(1360a, 1360b, 1360c)의 각각은 특정 셀과 관련될 수도 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 사용자의 스케줄링 등을 조작하도록 구성될 수도 있다. 도 14d에 도시된 바와 같이, eNode-B(1360a, 1360b, 1360c)는 X2 인터페이스를 통해 서로 통신할 수도 있다.

도 14d에 도시된 코어 네트워크(1306)는 이동성 관리 게이트웨이(MME)(1362), 서빙 게이트웨이(SGW)(1364) 및 패킷 데이터 네트워크(PDN) 게이트웨이(PGW)(1366)를 포함할 수도 있다. 앞서 말한 요소들의 각각은 코어 네트워크(1306)의 부분으로서 도시되어 있지만, 이들 요소 중의 어느 하나는 코어 네트워크 운영자와 다른 엔티티에 소유되고/되거나 운영될 수도 있음을 이해할 것이다.

MME(1362)는 S1 인터페이스를 통해 RAN(1304) 내의 eNode-B(1360a, 1360b, 1360c)의 각각에 연결될 수도 있고 제어 노드로서의 역할을 할 수도 있다. 예를 들면, MME(1362)는 WTRU(1302a, 1302b, 1302c)의 사용자를 인증하고, 베어러 활성화/비활성화, WTRU(1302a, 1302b, 1302c) 등의 초기 접속 동안 특정의 SGW를 선택할 책임이 있을 수도 있다. MME(1362)는 또한 RNA(104)과, GSM 또는 WCDMA와 같은 다른 무선 기술을 채용하는 다른 RAN(도시 생략됨) 사이의 스위칭을 위한 제어 플레인 기능을 제공할 수도 있다.

SGW(1364)는 S1 인터페이스를 통해 RAN(1304) 내의 eNode-B(1360a, 1360b, 1360c)의 각각에 연결될 수도 있다. SGW(1364)는 일반적으로 WTRU(1302a, 1302b, 1302c)로/로부터 사용자 데이터 패킷을 경로 설정 및 전송할 수도 있다. SGW(1364)는 또한 eNode B간 핸드오버 동안 사용자 플레인을 앵커링(anchoring), 다운링크 데이터가 WTRU(1302a, 1302b, 1302c)에 대해 사용 가능하게 될 때 페이징을 트리거링, WTRU(1302a, 1302b, 1302c)의 콘텍스트를 관리 및 저장 등의 다른 기능을 실행할 수도 있다.

SGW(1364)는 또한 WTRU(1302a, 1302b, 1302c)와 IP 인에이블 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(1310)과 같은 패킷 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있는 PGW(1366)에 연결될 수도 있다.

코어 네트워크(1306)는 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, 코어 네트워크(1306)는 WTRU(1302a, 1302b, 1302c)와 전통적인 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(1308)과 같은 회선 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다. 예를 들면, 코어 네트워크(1306)는 코어 네트워크(1306)와 PSTN(1308) 사이의 인터페이스로서의 역할을 하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그 IP 게이트웨이와 통신할 수도 있다. 또한, 코어 네트워크(1306)는 다른 서비스 제공자에 의해 소유되고/되거나 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(1312)로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다.

도 14e는 일 실시예에 따르는 RAN(1304) 및 코어 네트워크(1306)의 시스템도이다. RAN(1304)은 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하도록 IEEE 802.16 무선 기술을 채용하는 액세스 서비스 네트워크(ASN)일 수도 있다. 아래에 더욱 논의되는 바와 같이, WTRU(1302a, 1302b, 1302c), RAN(1304) 및 코어 네트워크(1306)의 상이한 기능 엔티티 사이의 통신 링크가 기준 포인트로서 정의될 수도 있다.

도 14e에 도시된 바와 같이, RAN(1304)은 기지국(1370a, 1370b, 1370c) 및 ASN 게이트웨이(1372)를 포함할 수도 있지만, RAN(1304)은 일 실시예와의 일관성을 유지하면서 임의의 수의 기지국 및 ASN 게이트웨이를 포함할 수도 있음을 이해할 것이다. 기지국(1370a, 1370b, 1370c)은 각각 RAN(1304) 내의 특정 셀(도시 생략됨)과 관련될 수도 있고, 각각 무선 인터페이스(1316)를 통해 WTRU(1302a, 1302b, 1302c)와 통신하기 위한 하나 이상의 송수신기를 포함할 수도 있다. 일 실시예에서, 기지국(1370a, 1370b, 1370c)은 MIMO 기술을 실현할 수도 있다. 그러므로, 기지국(1370a)은 예를 들면, WTRU(1302a)로부터 무선 신호를 수신하고 WTRU(1302a)로 무선 신호를 송신하기 위해 다수의 안테나를 사용할 수도 있다. 기지국(1370a, 1370b, 1370c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 제공할 수도 있다. ASN 게이트웨이(1372)는 트래픽 통합 포인트로서의 역할을 할 수도 있고, 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(1306)로의 라우팅 등을 할 책임이 있을 수도 있다.

WTRU(1302a, 1302b, 1302c)와 RAN(1304) 사이의 무선 인터페이스(1316)는 IEEE 802.16 사양을 실현하는 R1 기준 포인트로서 정의될 수 있다. 또한, WTRU(1302a, 1302b, 1302c)의 각각은 코어 네트워크(1306)와 논리 인터페이스(도시 생략)를 확립할 수도 있다. WTRU(1302a, 1302b, 1302c)와 코어 네트워크(1306) 사이의 논리 인터페이스는 인증, 인가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수도 있는 R2 기준 포인트로서 정의될 수도 있다.

기지국(1370a, 1370b, 1370c)의 각각 사이의 통신 링크는 WTRU 핸드오버 및 기지국들 사이의 데이터의 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 기준 포인트로서 정의될 수도 있다. 기지국(1370a, 1370b, 1370c)과 ASN 게이트웨이(1372) 사이의 통신 링크는 R6 기준 포인트로서 정의될 수도 있다. R6 기준 포인트는 WTRU(1302a, 1302b, 1302c)의 각각과 관련되는 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수도 있다.

도 14e에 도시된 바와 같이, RAN(1304)은 코어 네트워크(1306)에 연결될 수도 있다. RAN(1304)과 코어 네트워크(1306) 사이의 통신 링크는 예를 들면, 데이터 전송 및 이동성 관리 능력을 용이하게 하기 위한 프로토콜을 포함하는 R3 기준 포인트로서 정의될 수도 있다. 코어 네트워크(1306)는 모바일 IP 홈 에이전트(MIP-HA)(1374), 인증, 인가, 요금 계산(AAA) 서버(1376) 및 게이트웨이(1378)를 포함할 수도 있다. 앞서 말한 요소들의 각각은 코어 네트워크(109)의 부분으로서 도시되어 있지만, 이들 요소 중의 어느 하나가 코어 네트워크 운영자와 다른 엔티티에 의해 소유되고/되거나 운영될 수도 있음을 이해할 것이다.

MIP-HA(1374)는 IP 어드레스 관리를 할 책임이 있을 수도 있고, 상이한 ASN 및/또는 상이한 코어 네트워크 사이에서 로밍(roam)하기 위해 WTRU(1302a, 1302b, 1302c)를 인에이블시킬 수도 있다. MIP-HA(1374)는 WTRU(1302a, 1302b, 1302c)와 IP 인에이블 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(1310)과 같은 패킷 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다. AAA 서버(1376)는 사용자 인증 및 사용자 서비스를 지원할 책임이 있을 수도 있다. 게이트웨이(1378)는 다른 네트워크와의 상호 연동(interworking)을 용이하게 할 수도 있다. 예를 들면, 게이트웨이(188)는 WTRU(1302a, 1302b, 1302c)와 전통적인 육상 라인 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(1308)과 같은 회선 교환 네트워크로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다. 또한, 게이트웨이(1378)는 다른 서비스 제공자에 의해 소유되고/되거나 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(1312)로의 액세스를 WTRU(1302a, 1302b, 1302c)에 제공할 수도 있다.

도 14e에 도시되어 있지 않지만, RAN(1304)이 다른 ASN에 연결될 수도 있고 코어 네트워크(1306)가 다른 코어 네트워크에 연결될 수도 있음을 이해해야 할 것이다. RAN(1304)과 다른 ASN 사이의 통신 링크는 RAN(1304)과 다른 ASN 사이의 WTRU(1302a, 1302b, 1302c)의 이동성을 조정하기 위한 프로토콜을 포함할 수도 있는 R4 기준 포인트로서 정의될 수도 있다. 코어 네트워크(1306)와 다른 코어 네트워크 사이의 통신 링크는 홈 코어 네트워크와 방문 코어 네트워크 사이의 상호 연동을 용이하게 하기 위한 프로토콜을 포함할 수도 있는 R5 기준으로서 정의될 수도 있다.

이상, 특징 및 구성요소가 특정 조합으로 제공되었지만, 당업자라면 각 특징 또는 구성요소가 단독으로 사용될 수 있거나 다른 특징 및 구성요소와의 어떠한 조합으로 사용될 수 있음을 이해할 것이다. 본 개시내용은 여러 가지 양태의 예시로서 의도되는 이 출원에 개시되어 있는 특정 실시예에 의해 제한되지 않아야 한다. 당업자에게는 명백해지는 바와 같이, 다수의 수정 및 변형이 그 사상 및 범위를 벗어남 없이 이루어질 수 있다. 본 출원의 설명에 사용된 구성요소, 행동 또는 명령은 그대로 명확하게 제공되지 않는 한 본 발명에 중요하거나 본질적인 것으로서 간주되지 않아야 한다. 여기에서 열거된 것에 덧붙여서, 개시내용의 범위 내의 기능적으로 등가의 방법 및 장치가 이상의 설명으로부터 당업자에게 명백해질 것이다. 그러한 수정 및 변형은 첨부된 청구범위 내에 있도록 의도된다. 본 개시내용은 첨부된 청구범위의 권리가 부여되는 균등물의 전체 범위와 함께 첨부된 청구범위에 의해서만 제한될 것이다. 이 개시내용은 특정 방법 또는 시스템에 제한되는 것이 아님을 이해할 것이다.

Claims

증강 정보(augmentation information)를 제공하는 방법에 있어서,
디바이스 상에 현실 세계 장면의 현실 세계 뷰 - 상기 현실 세계 뷰는 현실 세계 객체들을 포함함 - 를 디스플레이하는 단계;
상기 디바이스에서, 상기 현실 세계 뷰와 관련하여, 상기 현실 세계 뷰 내의 상기 현실 세계 객체들 중 적어도 하나의 객체의 관심의 표시(indication) 또는 지정(designation)을 포함하는 사용자 입력을 수신하는 단계;
상기 디바이스에서, 상기 현실 세계 객체들 중 적어도 하나의 객체와 연계되는 가상 객체 - 상기 가상 객체는 상기 증강 정보의 각각의 제시 타입(presentation type)을 제시하기 위한 복수의 상태를 가짐 - 와 상기 현실 세계 뷰를 결합하여 증강 현실 디스플레이를 생성하는 단계;
상기 디바이스 상에, 상기 복수의 상태 중의 제1 상태 - 상기 제1 상태는 상기 증강 정보의 하나의 제시 타입을 제시함 - 의 상기 가상 객체와 함께 상기 증강 현실 디스플레이를 디스플레이하는 단계;
상기 디바이스에서, 상기 제1 상태로 디스플레이되는 상기 가상 객체에 대한 사용자 관심을 나타내는 추가의 사용자 입력 - 상기 추가의 사용자 입력은 디스플레이된 증강 현실 디스플레이에 배치되는 상기 가상 객체에의 관심 표시를 포함함 - 을 수신하는 단계; 및
상기 디바이스 상에, 상기 제1 상태로 디스플레이되는 상기 가상 객체에의 사용자 관심 표시를 포함하는 상기 추가의 사용자 입력에 응답하여 제2 상태 - 상기 제2 상태는 상기 증강 정보의 다른 제시 타입을 제시함 - 의 상기 가상 객체와 함께 상기 증강 현실 디스플레이를 디스플레이하는 단계를 포함하는, 증강 정보 제공 방법.
제1항에 있어서, 상기 디바이스에서, 상기 증강 현실 디스플레이 상에 디스플레이하기 위한 상기 가상 객체에 대한 적절한 위치를 결정하는 단계를 더 포함하는, 증강 정보 제공 방법.
제1항에 있어서, 상기 제1 상태와 연계되는 상기 증강 정보의 상기 제시 타입은 상기 증강 정보의 요약 표시(summary representation)를 포함하는, 증강 정보 제공 방법.
제3항에 있어서, 상기 요약 표시는 상기 증강 정보의 아이콘, 이미지, 텍스트 또는 축약 표시(concise representation) 중 하나 이상을 포함하는, 증강 정보 제공 방법.
제4항에 있어서, 상기 제2 상태와 연계되는 상기 증강 정보의 다른 제시는 상기 요약 표시보다 풍부한(fuller) 또는 더욱 상세한 정보를 포함하는, 증강 정보 제공 방법.
제5항에 있어서, 상기 보다 풍부한 또는 더욱 상세한 정보는 상기 요약 표시에 보충되는 상세(details)를 포함하는, 증강 정보 제공 방법.
제1항에 있어서, 상기 디바이스에서, 상기 제2 상태의 상기 가상 객체와 관련하여 추가의 사용자 입력을 수신하는 단계를 더 포함하고, 상기 추가의 사용자 입력은 디스플레이된 증강 현실 디스플레이 내에 배치되는 상기 가상 객체에의 무관심 표시를 포함하는, 증강 정보 제공 방법.
제7항에 있어서, 상기 가상 객체는 추가의 사용자 입력이 상기 가상 객체에의 무관심이 검출된 것을 나타낼 때 상기 제2 상태로부터 상기 제1 상태로 다시 천이되는, 증강 정보 제공 방법.
증강 정보를 제공하는 디바이스에 있어서,
상기 디바이스는 적어도 부분적으로,
현실 세계 장면의 현실 세계 뷰 - 상기 현실 세계 뷰는 현실 세계 객체들을 포함함 - 를 디스플레이하고,
상기 현실 세계 뷰와 관련하여, 상기 현실 세계 뷰 내의 상기 현실 세계 객체들 중 적어도 하나의 객체의 관심의 표시 또는 지정을 포함하는 사용자 입력을 수신하고,
상기 현실 세계 객체들 중 적어도 하나의 객체와 연계되는 가상 객체 - 상기 가상 객체는 상기 증강 정보의 각각의 제시 타입을 제시하기 위한 복수의 상태를 가짐 - 와 상기 현실 세계 뷰를 결합하여 증강 현실 디스플레이를 생성하며,
상기 복수의 상태 중의 제1 상태 - 상기 제1 상태는 상기 증강 정보의 하나의 제시 타입을 제시함 - 의 상기 가상 객체와 함께 상기 증강 현실 디스플레이를 디스플레이하며,
상기 제1 상태로 디스플레이되는 상기 가상 객체에 대한 사용자 관심을 나타내는 추가의 사용자 입력 - 상기 추가의 사용자 입력은 디스플레이된 증강 현실 디스플레이에 배치되는 상기 가상 객체에의 관심 표시를 포함함 - 을 수신하며,
상기 제1 상태로 디스플레이되는 상기 가상 객체에의 사용자 관심 표시를 포함하는 상기 추가의 사용자 입력에 응답하여 제2 상태 - 상기 제2 상태는 상기 증강 정보의 다른 제시 타입을 제시함 - 의 상기 가상 객체와 함께 상기 증강 현실 디스플레이를 디스플레이하도록
구성되는, 증강 정보 제공 디바이스.
제9항에 있어서, 상기 제1 상태와 연계되는 상기 증강 정보의 상기 제시 타입은 상기 증강 정보의 요약 표시는 포함하는, 증강 정보 제공 디바이스.
제10항에 있어서, 상기 요약 표시는 상기 증강 정보의 아이콘, 이미지, 텍스트 또는 축약 표시 중 하나 이상을 포함하는, 증강 정보 제공 디바이스.
제11항에 있어서, 상기 제2 상태와 연계되는 상기 증강 정보의 다른 제시는 상기 요약 표시보다 풍부한(fuller) 또는 더욱 상세한 정보를 포함하는, 증강 정보 제공 디바이스.
제12항에 있어서, 상기 보다 풍부한 또는 더욱 상세한 정보는 상기 요약 표시에 보충되는 상세를 포함하는, 증강 정보 제공 디바이스.
제9항에 있어서, 상기 디바이스는 또한, 상기 제2 상태의 상기 가상 객체와 관련하여 추가의 사용자 입력을 수신하도록 구성되고, 상기 추가의 사용자 입력은 디스플레이된 증강 현실 디스플레이 내에 배치되는 상기 가상 객체에의 무관심 표시를 포함하는, 증강 정보 제공 디바이스.
제14항에 있어서, 상기 가상 객체는 추가의 사용자 입력이 상기 가상 객체에의 무관심이 검출된 것을 나타낼 때 상기 제2 상태로부터 상기 제1 상태로 다시 천이되는, 증강 정보 제공 디바이스.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제