KR20160150565A

KR20160150565A - 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스

Info

Publication number: KR20160150565A
Application number: KR1020150132424A
Authority: KR
Inventors: 알렉산더 추; 김소피
Original assignee: 삼성전자주식회사
Priority date: 2015-06-22
Filing date: 2015-09-18
Publication date: 2016-12-30
Also published as: US10416835B2; KR102411768B1; US20160370970A1

Abstract

헤드 마운트 디스플레이(head mountable display, HMD)에 대한 사용자 인터페이스를 위한 방법, 장치, 그리고 컴퓨터로 판독 가능한 기록매체가 제공된다. 상기 방법은 HMD에 의한 디스플레이를 위하여 3차원 콘텐츠를 생성하는 동작을 포함한다. 상기 방법은 또한 3차원 콘텐츠와 관련된 상기 UI의 UI 구성요소에 대한 3차원 좌표를 식별하는 동작을 포함한다. 상기 3차원 좌표는 HMD를 착용하는 동안 사용자의 가시 영역(viewable region)을 포함하는 상기 UI의 각도 범위(angular range) 이내에서 식별된다. 또한, 상기 방법은 사용자 입력에 대응하여, 상기 식별된 3차원 좌표에서 상기 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하는 동작을 포함한다. 상기 방법은 상기 UI 구성요소를 표시한 후, HMD를 착용하고 있는 사용자의 머리 움직임과 대응하는 상기 HMD의 움직임을 검출하는 동작에 대응하여 상기 HMD의 움직임 방향과 대응하는 방향으로 상기 HMD에서 상기 UI 구성요소의 디스플레이를 이동시키는 동작을 포함한다.

Description

헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스{THREE-DIMENSIONAL USER INTERFACE FOR HEAD-MOUNTABLE DISPLAY}

본 개시는 일반적으로 헤드 마운트 디스플레이(head-mountable display, HMD)에 관한 것으로써, 보다 상세하게는 HMD를 위한 3차원(3D) 사용자 인터페이스(UI)에 관한 것이다.

HMD 기술은 오랫동안 개발되어 왔고 Google glass와 Vuzix^® 제품과 같은 웨어러블(wearable) 기술이 점점 더 가시화(visible) 되고 있지만, 가상 현실(virtual reality, VR) 및 증강 현실(augmented reality, AR) 모두의 활용을 위한 HMD에 대하여 전문화된 사용자 인터페이스(user interface, UI) 프레임워크(framework)는 부족하다. 현재의 HMD 기술은 주요 콘텐츠 디스플레이의 구현 및 취급에 초점이 맞추어져 있고, UI에 대한 관심은 미약하다.

이하의 실시 예들은 헤드 마운트 디스플레이(head mountable display, HMD)를 위한 사용자 인터페이스에 대한 방법, 장치, 및 컴퓨터로 판독 가능한 기록매체가 제공된다.

일 실시 예에서, HMD를 위한 UI를 표시하는 방법이 제공된다. 상기 방법은 HMD에 의한 디스플레이를 위하여 3차원 콘텐츠를 생성하는 과정을 포함한다. 또한 상기 방법은 3차원 콘텐츠와 관련된 상기 UI의 UI 구성요소에 대한 3차원 좌표를 식별하는 과정을 포함한다. 상기 3차원 좌표는 상기 HMD를 착용하는 동안 사용자의 가시 영역(viewable region)을 포함하는 상기 UI에 대한 각도 범위 이내에서 식별된다. 또한, 상기 방법은 사용자 입력에 대응하여, 상기 식별된 3차원 좌표에서 상기 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하는 과정을 포함한다.

다른 실시 예에서, UI를 표시하기 위한 장치가 제공된다. 상기 장치는 HMD와 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 HMD에 의한 디스플레이를 위하여 3차원 콘텐츠를 생성하고 상기 3차원 콘텐츠와 관련된 상기 UI의 UI 구성요소에 대한 3차원 좌표를 식별하도록 구성된다. 상기 3차원 좌표는 상기 HMD를 착용하는 동안 사용자의 가시 영역을 포함하는 UI에 대한 각도 범위 이내에서 식별된다. 또한, 상기 적어도 하나의 프로세서는 사용자 입력에 대응하여, 상기 식별된 3차원 좌표에서 상기 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하도록 만든다.

또 다른 실시 예에서, 비일시적이고 컴퓨터로 판독 가능한 기록매체가 제공된다. 상기 컴퓨터로 판독 가능한 기록매체는 HMD에 대한 사용자 인터페이스(UI)의 디스플레이를 생성하기 위한 프로그램 코드를 포함한다. 상기 프로그램 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 전자 장치가 상기 HMD에 의한 디스플레이를 위하여 3차원 콘텐츠를 생성하고, 상기 3차원 콘텐츠와 관련된 상기 UI의 UI 구성요소에 대한 3차원 좌표를 식별하도록 만든다. 상기 3차원 좌표는 상기 HMD를 착용하는 동안 사용자의 가시 영역을 포함하는 상기 UI에 대한 각도 범위 이내에서 식별된다. 또한 사용자 입력에 대응하여, 상기 프로그램 코드는 상기 HMD가 상기 식별된 3차원 좌표에서 상기 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하도록 만든다.

다른 기술적 특징은 하기의 도면, 상세한 설명 및 청구항으로부터 통상의 기술자에게 명백해질 수 있다.

하기의 상세한 설명에 앞서, 본 특허 문서에서 사용되는 특정 단어 및 구문들을 명시적으로 정의하는 것이 도움이 될 수 있다. 용어 "결합하다(couple)" 및 그의 파생어들은, 요소들이 서로 물리적으로 접촉하고 있든 접촉하고 있지 않든, 두 개 이상의 요소들 간의 모든 직접 또는 간접 통신을 의미한다. 용어 "송신하다(transmit)", "수신하다(receive)" 및 "통신하다(communicate)" 및 이들의 파생어들은 직접 및 간접 통신 모두를 포함한다. 용어 "포함하다(include)"와 "포함하다(comprise) 및 이들의 파생어는 제한 없는 포함을 의미한다. 용어 "또는"은 "및/또는(and/or)"의 의미를 포함한다. 구문 "~와 관련된(associated with)" 및 이의 파생 구문들은 포함하다(include), ~내에 포함되다(be included within), ~와 내적 연결하다(interconnect with), 포함하다(contain), ~내에 포함되다(be contained within), ~에 또는 ~와 연결하다(connect to or with), ~에 또는 ~와 결합하다(couple to or with), ~와 통신할 수 있는(be communicable with), ~와 협력하다(cooperate with), 인터리브하다(interleave), 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), ~에 또는 ~와 인접되다(be bound to or with), 가지다(have), ~의 속성을 갖다(have a property of), ~에 또는 ~와 관계가 있다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 모든 장치, 시스템 또는 이들의 부분을 의미한다. 이러한 제어기는 하드웨어, 및 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 모든 특정 제어기와 관련된 기능은 국부적이든 원격적이든 관계없이 집중화되거나 분산될 수 있다. 열거되는 항목들이 사용되는 경우 "~중 적어도 하나(at least one of)"라는 구문은 사용될 수 있는 열거된 항목 중 하나 또는 그 이상의 서로 다른 조합 및 요구되는 열거된 항목 중 하나의 항목을 의미한다. 예를 들어, "A, B 및 C 중 적어도 하나"는 다음의 조합, A, B, C, A와 B, A와 C, B와 C, 및 A와 B와 C 중 어느 하나를 포함한다.

또한, 하기에 설명되는 다양한 기능(function)들은 하나 또는 그 이상의 컴퓨터 프로그램에 의해 지원되거나 구현될 수 있는데, 상기 하나 또는 그 이상의 컴퓨터 프로그램 각각은 컴퓨터 판독 프로그램 코드로부터 형성되고, 컴퓨터 판독 매체에서 구현된다. 용어 "어플리케이션(application)" 및 "프로그램(program)" 은 적절한 컴퓨터 판독 프로그램 코드에서 구현을 위해 조절된 하나 또는 그 이상의 컴퓨터 프로그램, 소프트웨어 구성 요소, 명령어들의 집합(sets of instructions), 절차(procedures), 함수(functions), 객체(objects), 클래스(classes), 인스턴스(instances), 관련 데이터(related data), 또는 이들의 조합을 의미한다. 용어 "컴퓨터 판독 프로그램 코드"는 소스 코드, 객체 코드 및 실행 가능 코드 중 임의의 유형을 포함한다. 상기 구문 "컴퓨터 판독 매체"는 읽기 전용 메모리(ROM, read only memory), 랜덤 액세스 메모리(RAM, random access memory), 하드 디스크 드라이브, 콤팩트 디스크(CD, compact disc), 디지털 비디오 디스크(DVD, digital video disc), 또는 임의의 다른 유형의 메모리와 같은 컴퓨터에 의해 액세스될 수 있는 매체의 임의의 유형을 포함한다. "비-일시적(non-transitory)" 컴퓨터 판독 매체는 일시적인 전기적 또는 다른 신호를 전송하는 유선, 무선, 광학, 또는 다른 통신 링크를 배제한다. 비 일시적 컴퓨터 판독 매체는 재기록 가능한 광 디스크 또는 소거 가능한(erasable) 메모리 장치와 같이 데이터가 저장되고 이후에 덮어쓸 수 있는 미디어 및 데이터가 영구적으로 저장될 수 있는 미디어를 포함한다.

다른 특정 단어 및 구문에 대한 정의가 본 특허 문서를 통해 제공된다. 통상의 기술자는 대부분은 아닐지라도 많은 경우에, 이러한 정의가 이러한 정의된 단어 및 구문의 향후 사용뿐만 아니라 이전의 사용에도 적용될 수 있음을 이해해야 한다.

본 발명은 모바일 통신 장치를 위한 HMD상에 3차원 콘텐츠를 표시할 수 있고 사용자의 움직임에 대응하여 상기 3차원 콘텐츠를 이동시키는데 그 효과가 있다.

본 개시의 내용 및 장점의 보다 완벽한 이해를 위해, 첨부된 도면과 함께 하기의 상세한 설명이 참조되며, 유사한 참조 번호는 유사한 부분을 나타낸다.
도 1은 본 개시의 실시 예에 따라 구현될 수 있는 HMD의 일 예를 도시한다.
도 2는 본 개시의 실시 예에 따른 3D 공간에서 UI 메뉴 배치(placement)의 예시(pictorial illustration)이다.
도 3a-3b는 본 개시의 실시 예에 따라 모바일을 위한 2차원(two-dimensional, 2D) 디스플레이를 HMD를 위한 3차원 디스플레이로 변환시키는 동작의 일 예를 도시한다.
도 4a-4d 본 개시의 실시 예에 따라 사용자와 HMD에 의하여 표시된 UI 구성요소들간 상호작용의 일 예를 도시한다.
도 5a-5c는 본 개시의 실시 예에 따라 UI에 대한 각도 범위(angular range) 이내에서 HMD상의 UI 구성요소들의 디스플레이의 일 예를 나타낸다.
도 6a-6d는 본 개시의 실시 예에 따라 사용자와 HMD상의 UI 구성요소들의 네스티드 배열(nested array)의 레벨(level)간 상호작용 및 디스플레이의 일 예를 도시한다.
도 7은 본 개시의 실시 예에 따라 HMD를 위한 UI 디스플레이에 대한 프로세스를 도시한다.
도 8은 본 개시의 실시 예에 따라 HMD를 위한 3D UI 디스플레이에 대한 프로세스를 도시한다.

하기의 도 1 내지 8 및 본 특허 문서에서 본 개시의 원리를 설명하기 위해 사용되는 다양한 실시 예들은 단지 예시의 목적에 불과하고 본 개시의 범위를 제한하기 위하여 구성되어서는 안 된다. 통상의 기술자는 본 개시의 원리가 적합하게 배치된 다른 장치 또는 시스템에서 구현될 수 있음을 이해할 것이다.

도 1은 본 개시의 실시 예에 따라 구현될 수 있는 HMD 100의 일 예를 도시한다. 도 1에 도시된 HMD 100의 실시 예는 단지 예시적인 것이고, HMD 100은 다양한 방식의 구성을 가질 수 있으며, 도 1은 본 개시의 범위를 HMD의 다른 특정 구현으로 제한하지 않는다.

다양한 실시 예에서, HMD 100은 다양한 형태를 가질 수 있고, 본 개시는 다른 특정 형태로 제한되지 않는다. 예를 들면, HMD 100은 VR 및/또는 AR 활용을 위한 헤드셋(headset) 내부에 장착 가능한(mountable) 모바일 통신 장치(예를 들면, 사용자 장비(user equipment), 단말 국(mobile station), 가입자 지국(subscriber station), 무선 단말(wireless terminal), 스마트 폰(smart phone), 태블릿(table) 등)이 될 수 있다. 다른 예에서, HMD 100은 헤드셋을 포함할 수 있고, VR 및/또는 AR 활용을 위한 웨어러블 전자 장치(예를 들면, 안경, 고글(goggle), 헬멧(helmet) 등)의 형태를 가질 수 있다.

도 1에 도시되듯이, HMD 100은 안테나 105, 무선 주파수(radio frequency, RF) 송수신기 110, 송신(transmit, TX) 처리 회로 115, 마이크로폰 120, 및 수신(receive, RX) 처리 회로 125를 포함한다. HMD 100은 또한 스피커 130, 프로세서 140, 입/출력(input/output, I/O) 인터페이스(interface, IF) 145, 터치스크린 150, 디스플레이 155, 메모리 160, 및 하나 이상의 센서 165를 포함한다. 메모리 160은 운영 체제(operating system, OS) 161과 하나 이상의 어플리케이션(application) 162를 포함한다.

RF 송수신기 110은 안테나 105로부터 네트워크(예를 들면, WiFi, 블루투스, 셀룰러(cellular), 5G, LTE, LTE-A, WiMAX, 또는 다른 방식의 무선 네트워크)에 대한 액세스 포인트(access point, 예를 들면 기지국(base station), WiFi 라우터, 블루투스 장치)에 의하여 전송된 들어오는(incoming) RF 신호를 수신한다. RF 송수신기 110은 중간 주파수(intermediate frequency, IF) 또는 기저대역 신호를 생성하기 위하여 상기 들어오는 RF 신호를 하향변환(down-convert)한다. 상기 IF 또는 기저대역 신호는 RX 처리 회로 125으로 송신되는데, RX 처리 회로 125는 상기 기저대역 또는 IF 신호를 필터링(filtering), 디코딩(decoding), 및/또는 디지털화(digitizing)하여 처리된 기저대역 신호를 생성한다.

RX 처리 회로 125는 상기 처리된 기저대역 신호를 스피커 130에 송신하거나(음성 데이터를 위해서) 처리를 더 하기 위해서(웹 브라우징 데이터와 같은) 프로세서 140에 송신할 수 있다.

TX 처리 회로 115는 마이크로폰 120으로부터 아날로그 또는 디지털 음성 데이터를 수신하거나 프로세서 140으로부터 다른 송신되는(outgoing) 기저대역 데이터(웹 데이터, 이메일(e-mail), 쌍방향 비디오 게임 데이터 같은)를 수신한다. TX 처리 회로 115는 처리된 기저대역 또는 중간주파수 신호를 생성하기 위하여 상기 송신되는(outgoing) 기저대역 데이터를 인코딩(encode), 다중화(multiplex), 및 디지털화한다. RF 송수신기 110은 TX 처리 회로 115로부터 상기 처리된 송신되는(outgoing) 기저대역 또는 중간주파수 신호를 수신하고, 상기 기저대역 또는 중간주파수 신호를 안테나 105를 통해 전송되는 RF 신호로 상향변환(up-convert)한다.

프로세서 140은 하나 이상의 프로세서 또는 다른 처리 장치를 포함할 수 있고 HMD 100의 전반적인(overall) 동작을 제어하기 위하여 메모리 160에 저장된 OS 161을 실행한다. 예를 들면, 프로세서 140은 잘 알려진 원리에 따라 RF 송수신기 110, RX 처리 회로 125, TX 처리 회로 115에 의하여 정방향(forward) 채널 신호의 수신과 역방향(reverse) 채널 신호의 송신을 제어할 수 있다. 일부 실시 예에서, 프로세서 140은 적어도 하나의 마이크로프로세서(microprocessor) 또는 마이크로제어기(microcontroller)를 포함한다.

프로세서 140은 또한 메모리 160에 존재하는(resident) 다른 프로세스 및 프로그램을 실행할 수 있다. 프로세서 140은 실행중인 프로세스의 요구에 따라 데이터를 메모리 160으로 이동시키거나 메모리 160으로부터 불러올 수 있다. 일부 실시 예에서, 프로세서 140은 OS 161에 기반하여 또는 eNB나 오퍼레이터(operator)로부터 수신되는 신호에 반응하여 어플리케이션 162를 실행하도록 구성된다. 프로세서 140은 또한 I/O 인터페이스 145에 결합되는데, I/O 인터페이스 145는 HMD 100에게 랩탑 컴퓨터(laptop computer) 및 휴대용 컴퓨터(handheld computer)와 같은 다른 장치에 연결할 수 있는 능력을 제공한다. I/O 인터페이스 145는 프로세서 140 및 다른 장치들간 통신 경로이다.

프로세서 140은 또한 터치스크린 150 및 디스플레이 155와 결합된다. HMD 100의 오퍼레이터는 HMD 100에 데이터 및/또는 입력 값을 입력하기 위하여 터치스크린 150을 이용할 수 있다. 디스플레이 155는 웹사이트, 비디오, 게임 등으로부터 발생한 텍스트 및/또는 그래픽을 표시할 수 있는 액정(liquid crystal) 디스플레이, LED(light-emitting diode) 디스플레이, 광학 LED(OLED), AMOLED(active matrix OLED) 또는 다른 디스플레이일 수 있다.

메모리 160은 프로세서 240에 결합된다. 메모리 160의 일부는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있고, 메모리 160의 다른 일부는 플래시 메모리(flash memory) 또는 다른 읽기용 기억장치(read-only memory, ROM)을 포함할 수 있다.

HMD 100은 물리량(physical quantity)를 측정하거나 HMD 100의 활성 상태(activation state)를 검출하고 상기 측정되거나 검출된 정보를 전기 신호로 변환할 수 있는 하나 이상의 센서 165를 더 포함한다. 예를 들면, 센서 165는 터치 입력(touch input)을 위한 하나 이상의 버튼을 포함할 수 있는데, 상기 버튼은 헤드셋 또는 HMD 100, 카메라, 제스쳐 센서(gesture sensor), 자이로 센서(gyroscope or gyro sensor), 기압 센서(air pressure sensor), 자기 센서(magnetic sensor or magnetometer), 가속 센서(acceleration or accelerometer), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor) 165H(예를 들면, RGB(Red Green Blue) 센서), 생물물리학 센서, 기온/습도 센서, 조도 센서(illumination sensor) 165K, 자외선(ultra violet, UV)센서, 근전위(electromyography sensor, EMG)센서, 뇌전도(Electroencephalogram) 센서, 심전도(electrocardiogram) 센서, 적외선(infra red, IR) 센서, 초음파(ultrasound) 센서, 홍채(iris) 센서, 지문(fingerprint) 센서 등이 있다. 센서 165는 내부에 포함된 적어도 하나의 센서를 제어하기 위한 제어 회로를 더 포함할 수 있다. 하기에서 보다 상세하게 논의되듯이, 하나 이상의 센서 165는 UI를 제어하고, UI 입력을 검출하고, 3D 콘텐츠 디스플레이 식별을 위한 사용자의 방위(orientation) 및 마주하는 방향(facing direction)을 결정하기 위하여 이용될 수 있다. 센서 165중 임의의 일부는 HMD 100 내부, HMD 100을 고정하도록 구성된 헤드셋 내부, 또는 헤드셋과 HMD 100 모두의 내부(예를 들어, HMD 100이 헤드셋을 포함하는 경우)에 위치할 수 있다.

터치스크린 150은 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key), 또는 초음파 입력 장치를 포함할 수 있다. 예를 들면, 터치스크린 150은 정전(capacitive) 방식, 압력 감지 방식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치스크린 150은 또한 제어 회로를 포함할 수 있다. 상기 정전 방식에서, 터치스크린 150은 터치 또는 근접성(proximity)를 인식할 수 있다.

하기에서 보다 상세하게 설명되듯이, HMD 100은 HMD를 위한 3D UI를 제공하기 위한 회로 및 어플리케이션을 포함할 수 있다. 도 1은 HMD의 일 예를 도시하지만, 다양한 변화가 도 1에 대해서 만들어질 수 있다. 예를 들면, 도 1에서 다양한 요소들이 결합되거나, 더 세분화되거나, 생략될 수 있고 추가적인 요소가 특정 요구에 따라 추가될 수 있다. 예를 들면, 프로세서 140은 하나 이상의 중앙 처리 유닛(central processing unit, CPU)과 하나 이상의 그래픽 처리 유닛(graphics processing unit, GPU)과 같이 다중 프로세서들로 나누어 질 수 있다. 또한, 도 1은 HMD 100이 휴대 전화, 태블릿, 또는 스마트 폰으로써 구성된다고 도시하지만, HMD 100은 다른 유형의 이동(mobile) 또는 정적(stationary) 장치로써 동작하도록 구성될 수 있다.

본 개시의 실시 예들은 HMD 100상에 3D 입체 VR 또는 AR 활용을 위한 내비게이션(navigation) UI 프레임워크를 제공한다. HMD 100을 이용한 VR 경험 동안에, 사용자의 머리 움직임(즉, HMD 100의 움직임)은 HMD 100에 있는 센서 165를 이용하여 추적되고, 디스플레이 155를 제어하기 위하여 이용된다. 본 개시의 UI 구성요소들은 콘텐츠 디스플레이가 하는 것과 동일한 방식으로 사용자의 머리 움직임에 반응하는 3D 물체를 포함한다. 예를 들면, 상기 UI 구성요소들은 메뉴에 있는 아이콘 또는 HMD 100에 의하여 디스플레이 되는 콘텐츠를 제어 또는 조작하기 위한 다른 유형의 UI 구성요소들을 포함할 수 있다. 본 개시는 특히 본래 2D 모바일 장치 디스플레이를 위하여 만들어진 어플리케이션을 HMD 모드로 변환시키는 데 유용하다.

도 2는 본 개시의 실시 예에 따른 3D 공간 200에서 UI 메뉴 배치(placement)의 예시이다. 본 개시의 다양한 실시 예들은 UI 구성요소 205의 3D 디스플레이를 제공한다. 도 2에서 도시되듯이, HMD 100은 HMD 100의 사용자에 의하여 보여질 수 있는 3D 공간 200 내부에 UI 구성요소 205 3D 좌표(coordinate)를 할당한다. HMD 100은 사용자의 현재 3D 시각 절두체(view frustum) 210내부에 UI 구성요소 205을 배치한다. 즉, 상기 현재 3D 시각 절두체는 HMD 100의 현재 검출된 방위(orientation) 및 마주하는 방향(facing direction)의 결과로써 사용자에 의하여 현재 보여지는 전체 3D 가시 공간 200의 일부이다. UI 구성요소 205 자체는 3D 물체 또는 2D 물체일 수 있다. UI 구성요소 205의 정확한 3D 좌표는 절두체 210에서 표시된 현재의 주요 콘텐츠의 좌표와 같은 요인들을 고려하여 결정된다.

본 개시의 다양한 실시 예는 사용자의 현재 3D 시각 절두체 210보다 더 넓은 각도 범위(angular range) 215 이내에서 UI 구성요소 디스플레이를 제공한다. 각도 범위 215의 내부(즉, x 방향은 좌/우를 나타내는 것으로, y 방향은 앞/뒤를 나타내는 것으로, z 방향은 위/아래를 나타내는 것으로 직교좌표계를 가정했을 때, x-z 평면 상에서)에 내부에 UI 구성요소 205가 배치되도록 구성된다. 일부 예에서(즉, 화면상에 다 들어올 수 없을 만큼 더 많은 UI 구성요소 205가 있는 경우), HMD 100은 UI 구성요소 205의 일부를 실제로 또는 가상으로(즉, UI 구성요소의 일부가 디스플레이 155에 실제로 표시되지 않지만 HMD 100이 상기 UI 구성요소가 가상으로 표시되는 위치로 이동되면 상기 UI 구성요소의 일부가 실제로 표시된다) 현재 3D 시각 절두체 210 외부에 표시한다. 그러나, HMD 100은 사용자가 표시되는 모든 UI 구성요소 205를 보기 위하여 머리를 좌 또는 우(즉, x방향)로 너무 크게 돌리지 않도록 각도 범위 215 이내에 UI 구성요소 205를 배치한다. 일부 예들은 직교좌표계에서 주어지지만, 임의의 적절한 좌표계가 디폴트(default)된 좌표 방향으로써 제공하는 임의의 집합(tuple)과 함께 이용될 수 있다.

전술하듯이, HMD 100은 HMD 및/또는 헤드셋에 있는, 자이로센서나 가속 센서와 같은 센서 165를 이용하여 사용자의 머리 움직임(즉, HMD 100의 움직임)을 검출한다. HMD 100은 현실 세계 화면(real-wolrd view) 및 물체를 보고 상호작용하는 것을 시뮬레이션 하기 위하여 머리 움직임에 반응하는 디스플레이의 다른 구성 요소(예를 들면, 콘텐츠)뿐만 아니라 UI 구성요소 205를 표시한다.

본 개시는 HMD 100로 통합된 내비게이션 UI를 위한 프레임워크를 설명한다. 다양한 실시 예에서, HMD 100의 디스플레이는 표시된 콘텐츠가 3D 좌표를 할당 받도록 입체 3D 일 수 있다. 양안(binocular) HMD에서, 상기 표시된 영상은 두 개의 영상(예를 들면, 각각 디스플레이 스크린의 절반을 차지하는 왼쪽 및 오른쪽 디스플레이 영상)으로 처리되고, 근거리 시청(near-eye viewing)을 위하여 디스플레이와 사용자의 눈 사이에 배치되는 렌즈(예를 들면, 헤드셋 안에 있는)의 효과를 보완하기 위하여 왜곡(distort)이 된다. HMD 100은 디스플레이 영상의 일부로써 본원에서 개시된 UI를 처리(process)한다.

본 개시는 또한 사용자 입력을 UI로 제공한다. 예를 들면, HMD 100은 서로 다른 사용자 입력 모드를 처리할 수 있다. 예를 들면, 상기 사용자 입력 모드는 UI 구성요소 205를 선택, 초점을 이동, 액션을 트리거(trigger)하는 등의 동작을 하는 사용자 입력을 포함한다. 상기 사용자 입력은 버튼을 누르는 것을 탐지하는 동작, 미리 결정된 HMD의 움직임 패턴(예를 들면, 손을 흔들거나 고개를 끄덕이는 움직임), 카메라에 의하여 촬영된 안면(facial) 영상을 이용하여 일정시간 동안 상기 스크린의 특정 영역에 대한 초점을 검출하는 동작 등에 기반하여 결정될 수 있다.

실시 예에서, HMD 100은 "수평(horizontal)"방향(즉, x-z 평면 상에서)에서 UI에 대한 각도 범위 215를 설정한다. 일부 실시 예에서, 각도 범위 215는 사용자에 의하여 구성될 수 있다. 각도 범위 215는 사용자의 HMD 시야 범위(field of view)보다 더 넓을 수 있지만, 목적에 따라 더 좁거나 더 넓을 수 있다. 상기 UI의 디스플레이는 사용자가 UI와 상호작용을 위하여 자신의 머리를 너무 크게 돌리지 않아도 되도록(즉, 왼쪽이나 오른쪽으로) 각도 범위 215 내부에 존재한다.

상기 UI 디스플레이를 트리거(trigger)하는 초기 사용자 입력을 검출하면, HMD 100은 현재 표시되고 상기 트리거가 행해진 콘텐츠와 관련된 액션을 회수한다. 예를 들면, 내비게이션 메뉴의 경우, 상기 액션은 목록 또는 네스티드 목록(nested list)으로 정리(organize)될 수 있다. HMD 100은 현재 레벨의(current-level) 목록에 있는 각각의 액션을 그래픽 UI 구성요소 205로 만드는데, 상기 UI 구성요소 205는 3D 물체일 수 있다. UI 구성요소 205는 사용자의 현재 3D 시각 절두체 210을 포함하는 각도 범위 215 이내에서 3D 좌표가 할당되고 상기 할당된 좌표에 표시된다. UI 구성요소 205의 정확한 3D 좌표는 또한 현재 주요 콘텐츠의 구성요소 좌표와 같은 요인(factor)들을 고려한다. 예를 들면, 상기 주요 콘텐츠가 무엇인지에 따라, 상기 UI는 상기 주요 콘텐츠의 상단에 있는 시야 영역(view region)의 중앙에 표시될 수 있다. 즉, 상기 UI는 깊이 측면에서 상기 주요 콘텐츠 구성요소에 더 가까이 있거나 또는 비슷한 깊이에 있을 수 있지만 상기 주요 콘텐츠 구성요소의 가시성(visibility)을 유지하기 위하여 y 좌표 측면에서 상단 또는 하단에 있을 수 있다.

일부 실시 예에서, HMD 100은 UI 구성요소 205를 더 쉽게 인식(perceive)하기 위하여 상기 주요 콘텐츠의 디스플레이를 조정할 수 있다. 예를 들면, 상기 주요 콘텐츠는 UI 구성요소 205가 표시됨에 따라 흐릿하거나(blurred)(마치 상기 UI와 상기 콘텐츠 사이에 흐릿한 층이 있는 것처럼) 희미해질 수 있다(dimmed). 일 실시 예에서, UI 구성요소 205는 주요 콘텐츠를 배치하기 위하여 주요 콘텐츠 구성요소를 올리거나(bump up) 내릴 수 있다(bump down).

UI 구성요소 205의 배치(arrangement)는 구현에 기반하여 변화될 수 있다. 예를 들면, UI 구성요소 205는 좌측 정렬된, 중앙 정렬된, 또는 우측 정렬된 수평 목록으로 표시되거나 작업중인 업무(task)에 적합한 특정 배치로 표시될 수 있다.

UI 구성요소 205가 상기 허용되는 각도 범위를 벗어나서 표시된다면, HMD 100은 요구되는 구현에 따라서 추가적인 UI 구성요소 205가 표시되거나 또는 UI 구성요소 205의 배열이 다수의 열(row)또는 열과 행 모두를 감싸도록(wrap) 허용하는 추가적인 선택(selection)을 포함(incorporate)할 수 있다.

HMD 100의 센서 165는 사용자가 자신의 머리를 움직이거나, 회전하거나, 또는 돌릴 때 HMD 100의 방위 및 위치 변화를 검출한다. HMD 100은 현실 세계를 보는 것을 시뮬레이션 하는 HMD 100의 디스플레이를 조정하기 위하여 상기 감지 및 검출된 변화를 처리한다. UI 구성요소 205는 주요 콘텐츠처럼 동일한 3D 프레임워크에 배치된 3D 물체이기 때문에, HMD 100은 비슷한 방식으로 UI 구성요소 205의 디스플레이를 조정할 수 있다.

UI 구성요소 205는 액션과 관련될 수 있다. 다른 UI 구성요소 205의 셋(set)을 불러오는 액션과 관련된 항목(item)이 선택되면, 상기 새로운 항목 배열의 디스플레이는 동일한 3D 위치에서 상기 현재의 배열을 대체하고, 상기 배열에 있는 항목의 수에 따라서 조정된다. 일 실시 예에서, 하위 배열(child array)이 상위 배열(parent array)의 본래 위치에 디스플레이 되면, 상기 상위 배열은 사라지는 대신 위로 올라갈 수 있다. 이 경우에, 사용자는 상기 사용자가 브레드크럼(breadcrumb) 또는 다중 레벨 드롭다운(dropdown) 메뉴를 통하여 탐색(navigate)하였던 UI 구성요소 205의 계층(hierarchy)을 보게 될 것이다.

하기에서 보다 상세하게 논의되듯이, 도 6a-6d와 관련하여, 본 개시의 실시 예들은 또한 디스플레이 변환을 네스티드 배열(nested arrays)에게 제공한다. 예를 들면, UI 구성요소 205의 다른 셋(set)을 불러오는 액션과 관련된 UI 구성요소 205 및 상기 UI 구성요소 205가 선택된 경우, HMD 100은 현재 UI 구성요소 205의 디스플레이를 대체하는 새로운 UI 구성요소 205의 셋(set)을 표시한다. 하나 이상의 상위 셋(parent set)이 존재하는 경우, 현재 셋(set)의 디스플레이는 "위" 또는 "아래" 버튼을 포함할 수 있고, 또는 상기 UI는 상기 상위 배열로 되돌아가도록 탐색하는 브레드크럼(breadcrum)을 포함할 수 있다. 일 실시 예에서, 상위 셋(set)은 하위 셋(child set)이 표시될 때 사라지는 대신 위로 올라갈 수 있다. 상기 예에서, 사용자는 브레드크럼 또는 다중 레벨의 드롭다운를 통하여 탐색된 UI 구성요소 205의 계층을 보게 될 것이다.

본 개시의 실시 예들은 HMD 어플리케이션을 위한 모바일 장치 어플리케이션의 변환을 제공한다. 예를 들면, 본 개시의 실시 예들은 UI 모드에서 HMD UI 모드로 전환에 대한 프레임워크로써 하나의 모바일 통신 장치 에 포함(incoporated)될 수 있다. 본 예에서, 본 개시의 실시 예들은 소형 모바일 장치와 이용되도록 만들어진 어플리케이션에 대한 UI를 변환하고 HMD 100상의 디스플레이 및 상호작용을 위하여 상기 UI를 재구성하는 무선 통신 장치에 저장될 수 있는 프로그램을 제공한다. 어플리케이션 디스플레이의 HMD 버전(version)은 단순히 HMD 100에 의하여 만들어지고 소형 모바일 장치를 위하여 구현된 화면의 재구성된 버전일 수도 있고, 또는 HMD 100에 의하여 제공된 프레임워크에 기반하여, 어플리케이션 개발자에 의해 특별히 HMD 100을 위하여 구현된 분리 화면(separate view)일 수도 있다.

도 3a-3b는 본 개시의 실시 예에 따라 모바일 장치를 위한 2차원(2D) 디스플레이를 HMD를 위한 3D 디스플레이로 변환시키는 동작의 일 예를 도시한다. 본 예에서, 사진 앨범을 위한 2D 어플리케이션에 대한 스크린 300이 도 3a에 도시된다. 본 예에서, 상기 장치가 물리 버튼을 구비하고 있지 않은 경우 하단에 있는 내비게이션 바(navigation bar)가 스크린 300에 표시된다.

도 3b는 2D 어플리케이션 콘텐츠 및 UI를 HMD 모드를 위한 3D 런치(launch) 어플리케이션으로 변환한 후 대응하는 콘텐츠 및 UI 구성요소 305의 디스플레이를 도시한다. 본 예에서, HMD 100은 HMD 디스플레이 스크린 310상의 디스플레이를 위한 내비게이션 바 UI 구성요소, 상기 어플리케이션 콘텐츠, 및 액션 바(action bar) UI 구성요소를 변환한다. 메뉴 디스플레이가 사용자 입력(예를 들면, 트랙패드(trackpad) 또는 제어 버튼과 같은)에 의해 트리거되면, 상기 HMD는 어플리케이션 액션 바, 장치의 물리적 또는 표시된 내비게이션 버튼에 있는 항목을 나타내는 UI 구성요소 305의 배열을 생성하고, HMD 100의 가시 영역 315를 가로질러 상기 UI 구성요소를 표시한다. 본 예에서, 가시 영역 315는 모든 항목을 표시하기에 충분히 넓지 않기 때문에(예를 들면, 도시되듯이, UI에 대한 각도 범위 215가 가시 영역 315보다 더 넓은 경우) 배열의 첫 번째 및 마지막 항목은 부분적으로 표시된다.

도 4a-4d는 본 개시의 실시 예에 따라 사용자와 HMD 100에 의하여 표시된 UI 구성요소 305간 상호작용의 일 예를 도시한다. 본 예에서, HMD 100은 UI 구성요소 305와 상호작용 하는 사용자를 표시 및 허용한다. 도 4a는 표시된 UI 구성요소 305 사이에서 스크롤 하는 동작(scrolling)을 도시한다. 예를 들면, 사용자가 머리를 왼쪽으로 돌리면, HMD 100은 상기 장치의 방위와 위치 변화를 읽은 센서 165에 반응하여 디스플레이(상기 콘텐츠 및 상기 메뉴를 포함한다)를 오른쪽으로 움직인다. 도 4b는 "SPatient" 폴더를 선택한 후 화면을 도시하고 UI 구성요소 305의 디스플레이를 제거(dismiss)한다. 예를 들면, UI를 제거하는 사용자의 선택 또는 하위 UI 구성요소(child UI element)가 없는(예를 들면 도 4b에 도시되듯이 폴더를 여는 선택) UI 구성요소 305의 사용자 선택에 따라 HMD 100은 일정 시간 이후에 UI 구성요소 305의 디스플레이를 제거할 수 있다. 도 4c는 UI 구성요소가 표시되는 방식을 변화시키는 UI 옵션(option)을 포함하는 UI 메뉴 디스플레이의 반환(returns)을 도시한다. 도 4d는 이전 메뉴 또는 폴더를 탐색하는 계층적 내비게이션 구성요소를 포함하는 UI 구성요소 305의 디스플레이를 도시한다.

도 5a-5c는 본 개시의 실시 예에 따라 UI에 대한 각도 범위(angular range) 이내에서 HMD 100상의 UI 구성요소 505의 디스플레이의 일 예를 나타낸다. 본 예에서, 한 영역의 360°화면의 일부가 HMD 100에 의하여 HMD 100를 착용하고 있는 동안에 사용자에 의한 가시 영역 515으로 표시되고, 영역 515는 상기 영역의 전체 화면보다 작다.

도 5a에 도시되듯이, UI 메뉴의 활성화 이전에, 상기 HMD는 주요 콘텐츠(본 예에서는 완전히 실감나는 체험을 위한 내비게이션 UI 항목 없이 한 영역의 360°화면의 일부)를 표시한다. 가시 영역 515는 사용자의 현재 가시 영역을 나타낸다. 상기 영상은 구형(spherical)이므로, 사용자는 상기 영역의 다른 부분을 보기 위하여 웹사이트 시청 모드처럼 마우스 클릭/탭을 하는 대신에, HMD 100을 이용하여 현재 위치에서 고개 및/또는 몸을 돌릴 수 있다.

도 5b에 도시되듯이, 메뉴 디스플레이가 트리거되면, HMD 100은 UI 구성요소(예를 들어, 표시된 콘텐츠와 연관된 웹 페이지로부터 발생된 UI 항목)를 포함한다. 또한, 본 예에서, 배경이 되는 콘텐츠는 UI에 관심을 집중시키기 위해서 희미해진다. 본 예에서, 사용자는 UI 구성요소 505의 메뉴가 표시된 후 배열의 왼쪽 끝을 보기 위하여 머리를 왼쪽으로 돌릴 수 있다.

도 5c에 도시되듯이, 도 5b에 있는 옵션 UI 구성요소 505가 선택되면, HMD 100은 UI에 대한 각도 범위 510이내에서 선택된 UI 구성요소 505와 연관된 UI 구성요소로써 옵션 520의 목록을 표시한다. 본 예에서, 메뉴 UI 디스플레이에 대한 각도 범위 510은 모든 옵션 520을 수용할 수 없기 때문에, 옵션 520의 목록은 두 줄로 표시된다.

도 6a-6d는 본 개시의 실시 예에 따라 사용자와 HMD 100상의 UI 구성요소의 네스티드 배열(nested array)의 레벨(level)간 상호작용 및 디스플레이의 일 예를 도시한다. 도 6a는 HMD 100의 가시 영역 610에서 표시된 툴(tools) 배열과 관련된 UI 구성요소 605의 디스플레이를 도시한다. 본 예에서 도시되듯이, HMD 100은 배경에 있는 콘텐츠를 희미하게 하면서 전경(foreground)에 있는 UI 구성요소 605를 표시한다.

도 6b는 다른 레벨에 있는 UI 구성요소 605 중 하나를 선택한 후 UI 구성요소 615의 하위 배열의 디스플레이를 도시한다. 본 예에서, HMD 100은 UI 구성요소 605의 상위 레벨 배열의 디스플레이를 위로 올리고 UI 구성요소 615의 하위 배열을 가시 영역 610의 중앙 부에 표시한다. 도 6c는 이전 레벨에 있는 UI 구성요소 615 중 하나를 선택한 후 UI 구성요소 620의 하위 배열의 디스플레이를 표시한다. 본 예에서, HMD 100은 UI 구성요소 615의 상위 레벨 배열의 디스플레이를 위로 올리고 UI 구성요소 620의 하위 배열을 가시 영역 610의 중앙 부에 표시한다.

도 6d는 이전 레벨에 있는 UI 구성요소 615 중 하나로 되돌아가기 위한 입력 후 UI 구성요소 615의 상위 배열의 디스플레이를 도시한다. 본 예에서, HMD 100은 UI 구성요소 620의 하위 레벨 배열의 디스플레이를 아래로 내리고 UI 구성요소 615의 상위 배열을 가시 영역 610의 중앙 부에 표시한다. 예를 들면, 사용자는 제스처에 기반한 제어(예를 들면, 위를 보거나 아래를 보거나)를 이용하여 배열의 다중 레벨 셋(set)의 레벨 사이에서 탐색할 수 있다. 상기 방식으로, 본 개시의 UI 프레임워크는 HMD 100에서 향상된 UI 상호작용을 위하여 UI 배열 레벨들간 쉬운 탐색뿐만 아니라 UI 계층의 트레일(trail) 디스플레이를 허용한다.

일부 실시 예에서, 상기 콘텐츠 화면과 별도로 상기 UI 구성요소 제어하는 동작을 가능하게 하는 제2 조작 모드가 존재할 수 있다. 제2 조작은 사용자가 뒤로 이동한 UI 구성요소를 자신의 화면에 가져올 수 있도록 머리의 움직임에 의해 제어되는 콘텐츠 화면을 정적인 상태로 유지하면서 UI 구성요소를 움직이기 위하여 이용될 수 있다.

도 7은 본 개시의 실시 예에 따라 HMD를 위한 UI 디스플레이에 대한 프로세스를 도시한다. 예를 들면, 도 7에 묘사된 프로세스는 도 1에 있는 HMD 100에 의하여 수행될 수 있다.

상기 프로세스는 HMD 100과 함께 HMD에 의한 디스플레이를 위하여 3D 콘텐츠를 생성하는 동작(단계 705)을 시작한다. 예를 들면, 단계 705에서, HMD 100은 헤드 마운트 디스플레이 체험을 제공하는 헤드셋(예를 들면, 기어^VR® 와 같은)에 장착 가능한 스마트 폰 또는 태블릿과 같은 모바일 통신 장치를 위한 디스플레이가 될 수 있다. 다른 예에서, HMD 100은 그 자체로 VR 및 AR 활용을 위한 헤드셋 및 디스플레이 모두가 될 수 있다. 하나 이상의 실시 예에서, HMD를 착용하는 동안 사용자의 가시 영역은 HMD 100의 디스플레이보다 더 작을 수 있는데, 예를 들면, HMD 100이 모바일 통신 장치에 사용되는 경우이다. 단계 705에서, 디스플레이를 위한 3D 콘텐츠 생성 동작은 모바일 통신 장치를 위하여 디스플레이 가능한 2D 콘텐츠를 가시 영역에서 HMD상에 디스플레이를 위한 3차원 콘텐츠로 변환하는 동작을 포함할 수 있다. 상기 변환은 콘텐츠 디스플레이의 정규 2D 모드를 콘텐츠 디스플레이의 3D HMD 모드로 바꾸는 사용자 입력에 반응하여 발생하거나, 헤드셋 내부에서 HMD 100의 배치를 검출하는 HMD 100에 따라 자동으로 발생할 수 있다. 예를 들면, 상기 변환은 헤드셋에 포함된 광학(optics)을 통하여, 영상의 입체적 조합을 위해 HMD의 디스플레이를 좌측 및 우측 영상으로 분할하는 동작(splitting)을 포함한다.

HMD 100은 UI에 대한 각도 범위 이내에서 UI 구성요소에 대한 3D 좌표를 식별(단계 710)한다. 예를 들면, HMD 100은 실감나는 3D 체험을 제공하기 위하여 3D 콘텐츠를 정상적으로 표시할 수 있다. 그러나, HMD를 제어하고 조종하기 위하여, HMD 100은 HMD 100의 3D 디스플레이 가능 영역의 각도 범위 이내에서 UI를 제공한다. 예를 들면, 상기 각도 범위는 HMD 100에 의하여 디스플레이 가능한 3D 가시 영역 이내의 평면(예를 들면, 3D 공간에서 x-z 평면)일 수 있다. 상기 3D 가시 영역은 HMD를 착용한 동안에 사용자에 의하여 보이는 영역을 포함한다. 일부 실시 예에서, 상기 UI에 대한 각도 범위는 HMD 100을 착용하는 동안에 사용자에 의하여 보이는 영역보다 더 넓을 수 있다. 예를 들면, HMD 100은 HMD 100에 의하여 현실 또는 가상으로 표시되는 추가적인 UI 구성요소를 허용하지만, 상기 추가적인 UI 구성요소는 UI 구성요소간 스크롤 하는 동작(scrolling)을 고려하기 위하여 HMD 100을 착용하는 동안에 사용자에게 바로 보이지 않을 수 있다.

HMD 100은 UI 사용자 입력을 모니터링(monitor)(단계 715)한다. 예를 들면, 단계 715에서, HMD 100은 디스플레이 개시(initiation)와 관련된 사용자의 안면 이미지를 이용하거나 일정 시간 동안 UI 디스플레이의 개시와 관련된 스크린의 특정 영역에 눈 초점을 맞추는 것을 검출하는 등의 동작을 이용하여 UI의 디스플레이 개시와 관련된 HMD의 움직임 패턴(예를 들면, 손을 흔들거나 고개를 끄덕이는 움직임) 또는 버튼 입력에 대하여 모니터링 할 수 있다.

HMD 100이 단계 715에서 UI 사용자 입력을 검출하면, HMD 100은 식별된 3차원 좌표에 UI 구성요소를 표시(단계 720)한다. 예를 들면, 단계 720에서, HMD 100은 UI 구성요소(예를 들면, 메뉴 항목)를 상기 3차원 콘텐츠 위에 표시한다. 단계 720은 배경에 있는 3D 콘텐츠를 흐릿하게 하는 동작(blurring)을 포함할 수 있다. 일부 실시 예에서, 상기 UI 구성요소 그 자체는 또한 3차원이 될 수 있고, 따라서 할당된 3차원 좌표는 HMD 100에 의하여 표시될 수 있는 3D 공간 이내에 있는 "y"좌표의 범위를 포함할 수 있다. 다른 예에서, 상기 UI 구성요소는 상기 3D 콘텐츠로 새겨질 수 있다. 예를 들면, 표시된 3D 콘텐츠의 일부 또는 전부는 상기 UI 구성요소의 표시된 위치에 관하여 전경(foreground) 및/또는 배경이 될 수 있다. 단계 720에서, HMD 100은 UI의 각도 범위 이내에서 UI 구성요소를 표시한다.

본원에서 논의되듯이, UI의 각도 범위는 HMD 100을 착용하고 있는 사용자의 가시 영역보다 조금 더 넓을 수 있으므로, HMD 100은 추가적인 UI 구성요소 또는 사용자의 현재 시야 외부에 표시된 UI 구성요소의 일부를 표시하는 동작을 고려한다. 상기 추가적인 UI 구성요소 또는 사용자의 현재 시야 외부에 표시된 UI 구성요소의 일부는 사용자의 머리 움직임에 기반하여 스크롤 될 수 있다. UI의 각도 범위의 조금 더 넓은 너비(width)는 사용자에 의하여 표시되는 모든 UI 구성요소로 빠른 접근을 허용한다. 또한, 다양한 실시 예에서, 상기 UI의 각도 범위는 UI가 초기에 트리거되면 HMD 100의 디스플레이 상에서 사용자의 시야 위치(viewing location)에 기반한다. 예를 들면, HMD 100의 작은 움직임은 각도 범위 이내에서 상기 UI 구성요소들 사이에서 스크롤 하는 동작 및/또는 UI 구성요소의 디스플레이를 허용하는 반면에, 더 큰 움직임은 UI에 대한 각도 범위 외부에 있는 콘텐츠의 디스플레이를 허용할 수 있다. 따라서, 사용자는 위/아래 또는 좌/우에 있는 콘텐츠를 보기 위하여 표시된 UI 구성요소를 "아웃-스크롤(out-scroll)" 또는 "아웃-동작(out-maneuver)"할 수 있고 그 후에 표시된 UI 구성요소를 다시 보거나 상호작용하기 위하여 상기 각도 범위로 되돌아올 수 있다. 또한, UI가 트리거 될 때마다, 360°3D 공간 이내에서 UI에 대한 각도 범위의 위치는 UI가 트리거 될 때의 HMD 100의 시야 위치에 기반할 수 있다. 단계 710은 상기 UI가 개시될 때마다 수행될 수 있고 또는 UI가 개시될 때 상대적인 디스플레이 위치에 기반하여 채택되는 절대적인 3D 좌표와 함께 한 번 수행될 수 있다.

이 후, HMD 100은 머리 움직임에 대응하는 HMD의 움직임을 모니터링(단계 725)한다. 예를 들면, 단계 725에서, HMD 100은 하나 이상의 센서(예를 들면, 자이로 센서, 가속 센서, 자기 센서)를 이용하여 HMD 100의 움직임(예를 들면, 오른쪽 또는 왼쪽, 대각선 방향, 위 또는 아래, 앞 또는 뒤, 상기 움직임의 조합 등)을 검출할 수 있다. 상기 HMD 100의 움직임은 사용자가 HMD 100을 착용하고 있는 동안 사용자의 머리 움직임에 대응한다.

단계 725에서 HMD 100이 머리 움직임에 대응하는 HMD의 움직임을 검출하면, HMD 100은 상기 움직임에 기반하여 HMD상에서 UI 구성요소의 디스플레이를 움직인다(단계 730). 예를 들면, 단계 730에서, HMD 100은 상기 HMD의 움직임 방향(이를 테면, 반대 방향)에 대응하는 방향으로 UI 구성요소를 움직일 수 있다. 상기 HMD의 움직임 방향은 실제로 HMD 100가 VR/AR 효과를 제공하는 디스플레이 상의 항목들의 위치를 움직일 때, 3D 공간에서 UI 구성요소의 위치는 일정하게 남아있고 사용자는 서로 다른 방향을 보는 효과를 제공한다.

일 예에서, HMD 100은 이전에 보이지 않았을 수 있던 UI 구성요소(예를 들면 HMD 100을 착용하는 동안 왼쪽 또는 오른쪽, 위 또는 아래 방향과 같이 사용자 이전 시야의 외부에 있는)들을 표시하기 위하여 UI의 각도 범위에 있는 UI 구성요소 사이에서 스크롤 하는 UI 구성요소를 움직일 수 있다.

다른 예에서, HMD 100은 UI 구성요소의 네스티드 배열의 추가적인 레벨을 표시하기 위하여 UI 구성요소를 움직일 수 있다. 예를 들면, 현재 표시된 UI 구성요소는 UI 구성요소의 네스티드 배열의 다중 레벨 셋(set) 중 하나의 레벨일 수 있다. HMD 100은 사용자가 머리를 움직이는 동작(예를 들면, 위 또는 아래로)을 감지하고, 상기 감지된 움직임의 방향에 기반하여 UI 구성요소의 네스티드 배열의 다중 레벨 셋(set)에 있는 상위 또는 하위 배열의 디스플레이로 움직일 수 있다. 일 실시 예에서, HMD 100은 네스티드 배열의 다중 레벨 셋(set)에서 네스티드 배열의 레벨들 사이에 스크롤 하는 동작을 도시하기 위하여 이전에 표시된 UI 구성요소의 배열의 위치에 UI 구성요소의 상위 또는 하위 배열을 표시할 수 있고, 이전에 표시된 UI 구성요소의 배열을 다른 위치(예를 들면, 위 또는 아래)로 움직일 수 있다. 일부 실시 예에서, HMD 100은 표시된 배열에 있는 하나의 UI 구성요소에 대한 사용자의 선택에 대응하여 네스티드 배열의 다중 레벨 셋(set)에 있는 네스티드 배열의 레벨들 사이에 스크롤 하는 동작을 도시할 수 있다, 예를 들면, HMD 100은 선택된 UI 구성요소와 관련된 하위 배열을 표시할 수 있다. HMD 100은 다양한 방식으로 상기 사용자 선택을 검출할 수 있다. 예를 들면, HMD 100은 미리 정의된 움직인 패턴에 기반하거나, 버튼 선택, 사용자의 안면 이미지를 이용하여 일정 시간 동안의 특정 UI 구성요소에 대한 눈 초점을 검출하는 동작 등을 이용하여 상기 사용자 선택을 검출할 수 있다.

HMD 100은 UI 디스플레이가 종료된 후 UI 디스플레이를 종료하는 입력이 검출될 때까지 상기 UI 디스플레이에 대한 움직임 처리 동작을 계속한다. 예를 들면, 상기 입력은 단계 715에 관하여 상기 논의된 UI 사용자 입력과 동일 혹은 유사할 수 있고, 또는 예컨대 시간에 기반하여 자동으로 일어날 수 있다.

도 7은 HMD 100를 위한 UI 디스플레이의 예시적인 프로세스를 도시하지만, 다양한 변화가 도 7에서 만들어질 수 있다. 예를 들면, 도 7이 일련의 단계로써 보여지는 반면에, 각 도면의 다양한 단계는 겹치거나, 병렬적으로 발생하거나, 다른 순서로 발생하거나, 여러 번 발생할 수 있다.

도 8은 본 개시의 실시 예에 따라 HMD를 위한 3D UI 디스플레이에 대한 프로세스를 도시한다. 상기 프로세스는 HMD 100과 함께 3D 콘텐츠를 표시하는 동작(단계 810)을 시작한다. HMD 100은 상기 3차원 콘텐츠에 기반하여 3차원 좌표를 식별(단계 820)한다.

HMD 100은 미리 결정된 입력을 검출(단계 830)한다. 상기 미리 결정된 입력은 상기 UI 구성요소를 선택, 초점을 이동하는 동작, 버튼을 누르는 동작, 프로세서에 의하여 미리 결정된 HMD의 움직임 패턴, 카메라에 의하여 촬영된 안면(facial) 영상을 이용하여 일정시간 동안 상기 스크린의 특정 영역에 대한 초점을 검출하는 동작 중 적어도 하나를 기반으로 결정된다.

HMD 100은 상기 검출된 입력에 대응하여, 상기 식별된 3차원 좌표에서 상기 3차원 콘텐츠와 관련된 정보를 포함하는 UI 구성요소를 상기 3차원 콘텐츠 위에 표시(단계 840)한다.

본 개시의 실시 예는 HMD UI 설계 및 입체적인 3D 디스플레이를 가진 HMD상의 이용을 위하여 모바일 장치 어플리케이션의 UI를 변환하는 동작을 위한 프레임워크를 제공한다. 본 개시의 실시 예들은 액션 바 항목(action bar items), 주요 콘텐츠, 내비게이션 바 항목(navigation bar items)과 같은 구성요소로 분해되고 3D HMD 환경을 위하여 재구성 되는 2D 모바일 장치 스크린에 대한 어플리케이션 설계를 허용한다.

본 개시의 실시 예들은 깊이를 다루기(emulate) 위하여 입체적인 3D 디스플레이를 제공하지만 2D 디스플레이에도 유사하게 적용될 수 있다. 본 개시의 실시 예는 표시된 콘텐츠의 깊이 뿐만 아니라 UI 구성요소와 상호작용을 가능하게 만든다. 예를 들면, 사용자는 UI 구성요소를 "통과하여 걷는 동작"이 가능하고, 또는 네스티드 배열의 서로 다른 레벨들은 다른 깊이에서 표시될 수 있다.

본 개시의 실시 예는 또한 UI 움직임이 가속되거나, 과장되어 느껴지거나, 또는 간섭의 영향을 받는 것 대신에, 자연스럽게 느껴질 수 있도록 상기 UI 구성요소의 움직임을 사용자의 움직임에 반영한다. HMD의 화면이 실감나기 때문에, 디스플레이 구성요소의 부자연스러운 움직임의 불쾌한 효과는 HMD에서 증폭되고, 자연스러운 상호작용이 제공된다. 메뉴 디스플레이는 사용자의 위치 또는 장치와의 관계에서 고정되지 않을 수 있으나, 3D 장면으로 완전히 통합되고 3D 장면과 함께 움직일 수 있다.

본 개시는 예시적인 실시 예와 함께 설명되었지만, 다양한 변화 및 변경이 통상의 기술자에게 제안될 수 있다. 본 개시가 상기 변화 및 변경을 청구된 청구항의 범위 안에서 포함하도록 의도되었다.

본 명세서의 어떠한 설명도 특정 구성요소, 단계 또는 기능이 필수적이어서 상기 청구 범위에 포함되어야 한다는 것을 내포하지는 않는다. 발명의 성립성의 범위는 오직 청구항에 의해서 정의된다.

Claims

사용자 인터페이스(UI)를 표시하는 방법에 있어서,
헤드 마운트 디스플레이(head-mountable display, HMD)를 위한 3차원 콘텐츠를 표시하는 과정과,
상기 3차원 콘텐츠에 기반하여 3차원 좌표를 식별하는 과정과,
미리 결정된 입력을 검출하는 과정과,
상기 검출된 입력에 대응하여, 상기 식별된 3차원 좌표에서 상기 3차원 콘텐츠와 관련된 정보를 포함하는 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하는 과정을 포함하는 방법.
청구항 1 에 있어서, 상기 미리 결정된 입력은,
상기 UI 구성요소를 선택, 초점을 이동하는 동작, 버튼을 누르는 동작, 프로세서에 의하여 미리 결정된 HMD의 움직임 패턴, 카메라에 의하여 촬영된 안면(facial) 영상을 이용하여 일정시간 동안 상기 스크린의 특정 영역에 대한 초점을 검출하는 동작 중 적어도 하나에 기반하여 결정되는 방법.
청구항 1에 있어서,
사용자의 머리 움직임에 대응하는 상기 HMD의 움직임을 검출하는 과정과,
상기 검출된 움직임에 대응하여 상기 HMD의 움직임 방향과 대응하는 방향으로 상기 UI 구성요소의 디스플레이를 이동하는 과정을 더 포함하는 방법.
청구항 1에 있어서, 상기 3차원 좌표는,
상기 HMD상에 있는 사용자의 가시 영역(viewable region)을 포함하는 UI에 대한 각도 범위(angular range) 이내에서 식별되고,
상기 UI에 대한 각도 범위는,
상기 HMD상에 있는 사용자의 가시 영역 보다 더 넓은 평면인 방법.
청구항 4에 있어서,
상기 UI 구성요소의 적어도 하나 이상의 일부는 상기 HMD상에 있는 사용자의 가시 영역 외부에 표시되는 방법.
청구항 1에 있어서, 상기 UI 구성요소는,
배열의 네스티드 셋(nested set)에 있는 하나의 레벨과 대응하는 하나의 UI 구성요소 배열에 해당되고,
다른 레벨에 대응하는 입력을 검출하는 과정과,
상기 검출된 입력에 대응하여 상기 배열의 네스티드 셋에 있는 다른 레벨과 대응하는 다른 UI 구성요소 배열을 표시하는 과정을 더 포함하는 방법.
청구항 6에 있어서,
상기 하나의 UI 구성요소 배열은, UI 구성요소의 상위 배열이고,
상기 다른 UI 구성요소 배열은, UI 구성요소의 하위 배열이고,
상기 다른 UI 구성요소 배열을 표시하는 과정은,
상기 UI 구성요소의 상위 배열이 표시되었던 HMD상의 위치에 상기 UI 구성요소의 하위 배열을 표시하는 과정과,
상기 다른 레벨과 대응하는 입력을 검출하는 과정에 대응하여 상기 UI 구성요소의 상위 배열의 디스플레이를 상기 HMD상의 다른 위치로 이동시키는 과정을 포함하는 방법.
청구항 1에 있어서,
상기 HMD는, 모바일 통신 장치를 위한 디스플레이이고,
상기 HMD상에 3차원 콘텐츠를 표시하는 과정은,
상기 모바일 통신 장치를 위한 디스플레이에 의하여 표시 가능한 2차원 콘텐츠를 상기 가시 영역에서 HMD상의 디스플레이를 위한 3차원 콘텐츠로 변환하는 과정을 포함하는 방법.
사용자 인터페이스(user interface, UI)를 표시하기 위한 장치에 있어서,
헤드 마운트 디스플레이(head-mountable display, HMD)와,
적어도 하나의 센서와,
적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 센서는,
미리 결정된 입력을 검출하고,
상기 적어도 하나의 프로세서는,
3차원 콘텐츠를 표시하고,
상기 3차원 콘텐츠에 기반하여 3차원 좌표를 식별하고,
상기 검출된 입력에 대응하여, 상기 HMD가 상기 식별된 3차원 좌표에서 상기 3차원 콘텐츠와 관련된 정보를 포함하는 상기 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하도록 구성된 장치.
청구항 9에 있어서, 상기 미리 결정된 입력은,
상기 UI 구성요소를 선택, 초점을 이동하는 동작, 버튼을 누르는 동작, 프로세서에 의하여 미리 결정된 HMD의 움직임 패턴, 카메라에 의하여 촬영된 안면(facial) 영상을 이용하여 일정시간 동안 상기 스크린의 특정 영역에 대한 초점을 검출하는 동작 중 적어도 하나에 기반하여 결정되는 장치.
청구항 9에 있어서, 상기 적어도 하나의 프로세서는,
상기 적어도 하나의 센서가 사용자의 머리 움직임에 대응하는 상기 HMD의 움직임을 검출하고,
상기 검출된 움직임에 대응하여 상기 HMD의 움직임 방향과 대응하는 방향으로 상기 HMD상의 상기 UI 구성요소의 디스플레이를 이동하도록 더 구성된 장치.
청구항 9에 있어서, 상기 3차원 좌표는,
상기 HMD상에 있는 사용자의 가시 영역(viewable region)을 포함하는 UI에 대한 각도 범위(angular range) 이내에서 식별되고
상기 UI에 대한 각도 범위는,
상기 HMD상에 있는 사용자의 가시 영역 보다 더 넓은 평면인 장치.
청구항 12에 있어서,
상기 UI 구성요소의 적어도 하나 이상의 일부는 상기 상기 HMD상에 있는 사용자의 가시 영역 외부에 표시되는 장치.
청구항 9에 있어서, 상기 UI 구성요소는,
배열의 네스티드 셋(nested set)에 있는 하나의 레벨과 대응하는 하나의 UI 구성요소 배열에 해당되고,
상기 적어도 하나의 프로세서는,
상기 적어도 하나의 센서가 다른 레벨과 대응하는 입력을 검출하고,
상기 검출된 입력에 대응하여 상기 배열의 네스티드 셋에 있는 다른 레벨과 대응하는 다른 UI 구성요소 배열을 표시하도록 더 구성된 장치.
청구항 14에 있어서,
상기 하나의 UI 구성요소 배열은, UI 구성요소의 상위 배열이고,
상기 다른 UI 구성요소 배열은, UI 구성요소의 하위 배열이고,
상기 적어도 하나의 프로세서는,
상기 HMD가 상기 UI 구성요소의 상위 배열이 표시되었던 HMD상의 위치에 상기 UI 구성요소의 하위 배열을 표시하고,
상기 다른 레벨과 대응하는 입력을 검출하는 동작에 대응하여 상기 UI 구성요소의 상위 배열의 디스플레이를 상기 HMD상의 다른 위치로 이동시키도록 구성된 장치.
청구항 9에 있어서,
상기 HMD는, 모바일 통신 장치를 위한 디스플레이이고,
상기 적어도 하나의 프로세서는,
상기 모바일 통신 장치를 위한 디스플레이에 의하여 표시 가능한 2차원 콘텐츠를 상기 가시 영역에서 HMD상의 디스플레이를 위한 3차원 콘텐츠로 변환하도록 더 구성된 장치.
사용자 인터페이스(User Interface, UI)의 디스플레이를 생성하는 프로그램 코드를 포함하는 비일시적인 컴퓨터 기록매체에 있어서, 전자 장치가,
헤드 마운트 디스플레이(head-mountable display, HMD)를 위한 3차원 콘텐츠를 표시하고,
상기 3차원 콘텐츠에 기반하여 3차원 좌표를 식별하고,
미리 결정된입력을 검출하고,
상기 검출된 입력에 대응하여, 상기 HMD가 상기 식별된 3차원 좌표에서 상기 3차원 콘텐츠와 관련된 정보를 포함하는 UI 구성요소를 상기 3차원 콘텐츠 위에 표시하도록 만드는 프로그램 코드를 포함하는 컴퓨터 기록매체.
청구항 17 에 있어서, 상기 미리 결정된 입력은,
상기 UI 구성요소를 선택, 초점을 이동하는 동작, 버튼을 누르는 동작, 프로세서에 의하여 미리 결정된 HMD의 움직임 패턴, 카메라에 의하여 촬영된 안면(facial) 영상을 이용하여 일정시간 동안 상기 스크린의 특정 영역에 대한 초점을 검출하는 동작 중 적어도 하나에 기반하여 결정되는 컴퓨터 기록매체.
청구항 17에 있어서, 적어도 하나의 센서가사용자의 머리 움직임에 대응하는 상기 HMD의 움직임을 검출하고,
적어도 하나의 프로세서가 상기 검출된 움직임에 대응하여 상기 HMD의 움직임 방향과 대응하는 방향으로 상기 UI 구성요소의 디스플레이를 이동하도록 만드는 프로그램 코드를 더 포함하는 컴퓨터 기록매체.
청구항 17에 있어서, 상기 3차원 좌표는,
상기 HMD상에 있는 사용자의 가시 영역(viewable region)을 포함하는 UI에 대한 각도 범위(angular range) 이내에서 식별되고,
상기 UI에 대한 각도 범위는,
상기 HMD상에 있는 사용자의 가시 영역 보다 더 넓은 평면인 컴퓨터 기록매체.
청구항 20에 있어서,
상기 UI 구성요소의 적어도 하나 이상의 일부는 상기 HMD상에 있는 사용자의 가시 영역 외부에 표시되는 컴퓨터 기록매체.
청구항 17에 있어서, 상기 UI 구성요소는,
배열의 네스티드 셋(nested set)에 있는 하나의 레벨과 대응하는 하나의 UI 구성요소 배열에 해당되고,
적어도 하나의 프로세서에 의해 실행될 때,
상기 HMD가 다른 레벨에 대응하는 입력을 검출하고,
상기 검출된 입력에 대응하여 상기 배열의 네스티드 셋에 있는 다른 레벨과 대응하는 다른 UI 구성요소 배열을 표시하도록 만드는 프로그램 코드를 더 포함하는 컴퓨터 기록매체.
청구항 22에 있어서,
상기 하나의 UI 구성요소 배열은, UI 구성요소의 상위 배열이고,
상기 다른 UI 구성요소 배열은 UI 구성요소의 하위 배열이고,
상기 적어도 하나의 프로세서에 의해 실행될 때,
상기 HMD가 상기 UI 구성요소의 상위 배열이 표시되었던 HMD상의 위치에 상기 UI 구성요소의 하위배열을 표시하고,
상기 다른 레벨과 대응하는 입력을 검출하는 과정에 대응하여 상기 UI 구성요소의 상위 배열의 디스플레이를 상기 HMD상의 다른 위치로 이동시키도록 만드는 프로그램 코드를 더 포함하는 컴퓨터 기록매체.