KR20150071613A - 증강 현실 정보 상세도 - Google Patents

Abstract

선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트(36)를 구현하기 위한 홀로그램 오브젝트 구현시스템(10) 및 관련된 방법(300)이 제공된다. 일 실시예에서, 홀로그램 오브젝트 구현 프로그램(14)은 사용자 행동 정보(74) 및 물리적 환경 정보(60)를 수신할 수 있다. 사용자 행동 정보(74) 와 물리적 환경 정보(60) 중 하나 이상을 이용하여, 프로그램(14)은 홀로그램 오브젝트(36)의 선택 가능한 정보 상세도를 조정 정보 상세도로 조정할 수 있다. 그리고 나서 프로그램(14)은 디스플레이 장치(38)에서의 디스플레이를 위하여 조정 정보 상세도를 갖는 홀로그램 오브젝트(36’)를 증강 현실 디스플레이 프로그램(32)으로 제공할 수 있다.

Description

증강 현실 정보 상세도{AUGMENTED REALITY INFORMATION DETAIL LEVEL}

증강 현실 장치는 홀로그램 오브젝트 및 다른 가상 현실 정보에 의해 증강된 현실의 뷰(view)를 제공하기 위한 다양한 실제 환경(real world environments) 및 상황(context)에서 사용될 수 있다. 그러한 장치에 의해 사용자는 사용자에게 제공될 수 있는 방대한 양의 가상 현실 정보에 액세스할 수 있다. 증강 현실 장치가 사용되는 실제 환경 및/또는 상황에 따라, 지나치게 많은 가상 현실 정보를 구현하는 것은 사용자를 귀찮게 하거나 압도하여, 정보 처리를 어렵게 할 수도 있다. 다른 경우에 있어서, 지나치게 적은 가상 현실 정보를 구현하는 것은 사용자에게 불만을 갖게 하여, 만족스럽지 못한 사용자 경험에 이를 수도 있다.

특정 홀로그램 오브젝트와 같은 특정 가상 현실 정보에 대한 사용자의 관심은 시간에 따라 변할 수 있다. 또한, 환경적 요인(factor)의 변화에 따라 홀로그램 오브젝트가 구현되는 현재의 상세도나 방식이 사용자에게 부적절하거나 바람직하지 못하게 될 수도 있다. 더욱이, 서로 다른 사용자들은 증강 현실 장치를 통한 가상 현실 정보의 구현의 양 및/또는 방식에 있어서 선호도가 다르거나 편안한 정도를 달리 느낄 수 있다.

상기 문제를 다루기 위해, 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트(object)를 구현하는 홀로그램 오브젝트 구현 시스템 및 관련 방법이 제공된다.

일 실시예로서, 홀로그램 오브젝트 구현 프로그램은 사용자 행동 정보 및 물리적 환경 정보를 수신할 수 있다. 홀로그램 오브젝트 구현 프로그램은 사용자 행동 정보 및 상기 물리적 환경 정보 중 하나 이상을 기초로 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 조정 정보 상세도로 조정할 수 있다. 홀로그램 오브젝트 구현 프로그램은 그 후 상기 조정 정보 상세도를 가지며 상기 증강 현실 디스플레이 프로그램에 의해 디스플레이 장치상에서 디스플레이 되도록 마련된 상기 홀로그램 오브젝트를 증강 현실 디스플레이에 제공할 수 있다.

본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다. 나아가, 청구항에 기재된 청구대상은 본 명세서로부터 파악될 수 있는 문제점을 해결하는 구현예로 한정되지 않는다.

도 1은 본 발명의 일 실시예에 따른 홀로그램 오브젝트 구현 시스템의 개략적인 구조도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 두부 장착형(head-mounted) 디스플레이 장치의 일례를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 도 1의 디폴트(default) 정보 상세도를 갖는 홀로그램 오브젝트의 구조도이다.
도 4는 도 3의 개발자-정의 정보 상세도의 일례를 나타내는 표이다.
도 5는 도 3의 개발자-정의 트리거 및 그에 대응되는 조정 정보 상세도의 일례를 나타내는 표이다.
도 6은 도 3의 개발자-정의 트리거, 조건 및 대응되는 조정 정보 상세도의 일 예를 나타내는 표이다.
도 7은 도 3의 사용자-정의 설정의 일 예를 나타내는 표이다.
도 8은 도 3의 개발자-정의 행동 상태의 일 예를 나타내는 표이다.
도 9는 두 개의 홀로그램 오브젝트를 보여주는 도 2의 두부 장착형 디스플레이 장치를 통해 보여지는 물리적인 환경을 도시한 도면이다.
도 10은 다른 정보 상세도를 갖는 홀로그램 오브젝트 중 하나 및 다른 운동 상태를 갖는 나머지 하나의 홀로그램 오브젝트를 보여주는 도 9의 물리적인 환경을 도시한 도면이다.
도 11a 및 도 11b는 본 발명의 일 실시예에 따라 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트를 구현하는 방법을 나타내는 순서도이다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 개략적인 구조도이다.

도 1은 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트를 구현하는 홀로그램 오브젝트 구현 시스템(10)의 일 실시예의 구조도를 나타낸다. 홀로그램 오브젝트 구현 시스템(10)은 컴퓨팅 장치(22)의 대용량 저장소에 저장될 수도 있는 홀로그램 오브젝트 구현 프로그램(14)을 포함한다. 홀로그램 오브젝트 구현 프로그램(14)은 이하에서 보다 자세하게 서술되는 방법 및 과정을 하나 이상 수행하도록 메모리(26)로 로드(load)되고 컴퓨팅 장치(22)의 프로세서(30)에 의해 실행될 수 있다.

홀로그램 오브젝트 구현 프로그램(14)은 다수의 선택 가능한 정보 상세도를 갖는 하나 이상의 홀로그램 오브젝트를 포함할 수 있다. 홀로그램 오브젝트의 정보 상세도는 그 홀로그램 오브젝트에 의하여 또는 그 홀로그램 오브젝트로서 구현되는, 다양한 이미지 해상도, 색상, 밝기, 설명적인 시각 상세도, 이미지 폼 및 형태, 질감 정보 등을 포함하는 많은 양의 시각 정보에 해당할 수도 있으나, 이에 한정되지 않는다.

도 1 에 나타난 일 실시예에서, 홀로그램 오브젝트 구현 프로그램(14)은 디폴트 정보 상세도일 수 있는 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트(36)를 포함할 수도 있다. 이하 보다 상세하게 설명하듯이, 디폴트 정보 상세도는 홀로그램 오브젝트(36)의 개발자에 의해 설정될 수 있는 개발자-정의 정보 상세도에 해당할 수도 있다. 또한, 이하에 보다 상세하게 설명하듯이, 홀로그램 오브젝트 구현 프로그램(14)은 홀로그램 오브젝트(36)의 선택 가능한 정보 상세도를, 조정 홀로그램 오브젝트(36’)에서의 조정 정보 상세도가 되도록 프로그램적으로 조정할 수도 있다. 2, 3, 4개 또는 그 이상의, 임의의 적절한 수의 조정 정보 상세도가 홀로그램 오브젝트 구현 시스템(10)에 포함될 수 있다.

일 실시예에서, 홀로그램 오브젝트 구현 시스템(10)은 컴퓨팅 장치(22)의 대용량 저장소(18)에 저장될 수 있는 증강 현실 디스플레이 프로그램(32)을 포함할 수도 있다. 증강 현실 디스플레이 프로그램(32)은 두부 장착형 디스플레이(head-mounted display;HMD)(38) 등의 디스플레이 장치에서의 디스플레이를 위한 가상 환경(34)을 생성할 수도 있다. 가상 환경(34)은 홀로그램 오브젝트 등의 하나 이상의 가상 오브젝트 구현을 포함할 수도 있다. 몇몇 실시예에서, 가상 환경(34)은 양방향(interactive) 비디오 게임, 영화 체험, 또는 다른 적절한 전자 게임 또는 체험의 형태로 증강 현실 경험을 제공하기 위해 생성될 수 있다. 다른 실시예에서, 증강 현실 디스플레이 프로그램(32)은 컴퓨팅 장치가 동작 가능하게 접속되는 네트워크(40)를 거쳐, 컴퓨팅 장치(22)에 의해 원격으로 저장되고 접속될 수도 있다.

컴퓨팅 장치(22)는 데스크탑 컴퓨팅 장치와, 스마트폰, 랩탑, 노트북 또는 태블릿 컴퓨터 등의 모바일 컴퓨팅 장치, 네트워크 컴퓨터, 홈 엔터테인먼트 컴퓨터, 양방향 텔레비전, 게임 시스템, 또는 다른 적절한 종류의 컴퓨팅 장치의 형태를 가질 수 있다. 컴퓨팅 장치(22)의 구성요소와 컴퓨팅 양태(aspect)에 대한 상세한 사항은 도 12를 참조하여 이하 보다 자세히 서술된다.

컴퓨팅 장치(22)는 유선 접속을 사용하여 HMD 장치(38)와 구동 가능하게 접속(operatively connected)되거나, 또는 와이파이, 블루투스, 또는 임의의 적절한 무선 통신 프로토콜을 통한 무선 접속을 채택할 수도 있다. 또한, 도 1에 도시한 일 실시예에서는 컴퓨팅 장치(22)가 HMD 장치(38)와 별개의 구성요소로 되어 있다. 다른 실시예에서 컴퓨팅 장치(22)는 HMD 장치(38)에 결합될 수도 있다.

컴퓨팅 장치(22)는 또한 네트워크(40)를 통해 하나 이상의 추가적인 장치와 구동 가능하게 접속될 수도 있다. 일 실시예에서, 컴퓨팅 장치(22)는 서버(42) 및 모바일 장치(46)와 통신할 수도 있다. 네트워크(40)는 근거리 통신망(LAN), 원거리 통신망(WAN), 유선 네트워크, 무선 네트워크, 개인 영역 네트워크, 또는 그 조합의 형태를 가질 수 있으며, 인터넷을 포함할 수도 있다.

도 2는 투명 디스플레이(50)를 포함하는 장착 가능한 안경의 형태를 갖는 HMD 장치(200)의 일 실시예를 나타낸다. 다른 실시예에서, HMD 장치(200)는 사용자의 한쪽 눈 또는 양쪽 눈 앞에서 지지되는 투명, 반투명 또는 불투명한 디스플레이로서의 적절한 다른 형태를 취할 수도 있다. 도 1에 도시된 HMD 장치(38)는 이하에서 보다 자세히 서술되는 HMD 장치(200)의 형태를 가질 수도 있고, 다른 적절한 HMD 장치의 형태를 가질 수도 있다. 또한, 다양한 형태 요소를 갖는 많은 다른 종류 및 구성의 디스플레이 장치가 사용될 수도 있다. 예를 들어, 증강 현실 체험을 제공할 수도 있는 핸드 헬드(hand-held) 디스플레이 장치 또한 사용될 수도 있다.

도 1및 도 2를 참조하면, 이 실시예에서, HMD 장치(200)는 사용자(52)의 눈에 이미지를 전달할 수 있게 하는 투명 디스플레이(50)를 포함한다. 투명 디스플레이(50)는 그 투명 디스플레이를 통해 물리적 환경을 보여줌으로써 사용자에게 물리적 환경의 모습(appearance)을 시각적으로 증강(augment)하도록 구성될 수도 있다. 예를 들어, 물리적 환경의 모습은 투명 디스플레이(50)를 통해 구현되는 그래픽 컨텐츠(예를 들어, 각각 색상 및 밝기를 갖는 하나 이상의 픽셀)에 의해 증강될 수도 있다.

투명 디스플레이(50)는 가상 오브젝트 구현을 디스플레이하는 부분적으로 투명한 하나 이상의 픽셀을 통해 사용자가 물리적 환경에서의 현실 오브젝트를 볼 수 있도록 구성될 수도 있다. 일 실시예에서, 투명 디스플레이(50)는 렌즈 내에 위치하는 이미지 생성 소자(예를 들어, 시스루(see-through) 유기 발광 다이오드(OLED)디스플레이)를 포함할 수도 있다. 다른 실시예에서, 투명 디스플레이(50)는 렌즈(204)의 모서리에 광 변조기를 구비할 수도 있다. 이 실시예에서, 렌즈(204)는 광 변조기로부터 사용자의 눈으로 광을 전달하는 광 가이드(light guide)로서 기능할 수도 있다.

다른 실시예에서, 투명 디스플레이(50)는 HMD 장치(200)를 장착하고 있는 사용자의 눈에 도달하기 전에, 물리적 환경으로부터 수용한 광의 선택적 필터링을 유지할 수도 있다. 그러한 필터링은 픽셀-바이-픽셀(pixel-by-pixel)로서 또는 픽셀 그룹에 대하여 수행될 수도 있다. 일 실시예에서, 투명 디스플레이(50)는 하나 이상의 조명 픽셀(illuminated pixel)의 형태를 갖는, 광을 추가하는 제 1 디스플레이층과, 물리적 환경으로부터 수용한 주위의 광을 필터링하는 제 2 디스플레이층을 포함할 수도 있다. 이러한 층들은 상이한 디스플레이 해상도, 픽셀 밀도, 및/또는 디스플레이 능력을 가질 수도 있다.

HMD 장치는 다양한 시스템과 센서를 포함할 수 있다. 예를 들어, 도 1의 HMD 디바이스(38)를 참조하면, HMD 디바이스(200)는 적어도 하나의 내향성(inward facing)센서(208)를 이용하는 안구 추적 시스템(54)을 포함할 수도 있다. 내향성 센서(208)는 이미지 데이터를 사용자의 눈으로부터의 안구 추적 정보의 형태로 획득하도록 구성되는 이미지 센서일 수도 있다. 사용자가 이러한 정보의 획득 및 이용에 동의한 경우, 안구 추적 시스템(54)은 이러한 정보를 사용자의 안구의 위치 및/또는 움직임을 추적하는 데 이용할 수 있다. 그리고 나서, 안구 추적 시스템(54)은 사용자가 응시하고 있는 현실 또는 가상 오브젝트가 어디 있는지 및/또는 무엇인지를 결정할 수도 있다.

HMD 장치(200)는 또한 광학 센서 등의 적어도 하나의 외향성 센서(212)를 이용하는 광학 센서 시스템(38)을 포함할 수 있다. 외향성 센서(212)는 사용자 또는 그 뷰 필드 내의 임의의 사람에 의한 제스쳐 기반 입력(gesture-based input) 또는 다른 움직임과 같은 그 뷰 필드(field of view) 내의 움직임을 검출할 수 있다. 외향성 센서(212)는 그 환경 내에서 물리적 환경 및 실제 오브젝트로부터의 이미지 정보 및 깊이(depth)정보를 획득할 수 있다. 예를 들어, 외향성 센서(212)는 깊이 카메라, 가시광 카메라, 적외선 카메라, 및/또는 위치 추적 카메라를 포함할 수 있다. 몇몇 실시예에서, 외향성 센서(212)는 물리적 환경에서의 실제 광 조건으로부터의 가시 스펙트럼 및/또는 적외선을 관찰하기 위한 하나 이상의 광학 센서를 포함할 수 있다. 이러한 센서는 예를 들어 CCD 이미지 센서(charge coupled device image sensor)를 포함할 수 있다.

상술하였듯이, HMD 장치(200)는 하나 이상의 깊이 카메라를 통한 깊이 감지를 포함할 수 있다. 예를 들어, 각각의 깊이 카메라는 입체 영상 시스템(stereoscopic vision system)의 왼쪽 및 오른쪽의 카메라를 포함할 수 있다. 하나 이상의 이러한 깊이 카메라부터의 시간 분해(time-resolved)이미지는 서로에 대하여 및/또는 가시 스펙트럼 카메라 등의 다른 광학 센서로부터의 이미지에 대하여 기록(register)될 수도 있고, 깊이 분해(depth-resolved) 비디오를 도출하도록 결합될 수 있다.

몇몇 실시예에서, 깊이 카메라는 다수의 불연속적인 특징(예를 들어, 선 또는 점)을 포함하는 구조화된 적외선 조명(structured infrared illumination)을 투영하도록 구성되는 구조화된 광 깊이 카메라의 형태를 가질 수 있다. 깊이 카메라는 구조화된 조명이 투영되는 장면(scene)으로부터 반사된 구조화된 조명을 이미지화하도록 구성된다. 그 장면의 깊이 지도(map)는 이미지화된 장면의 다양한 영역의 인접하는 특징들 사이의 간격(spacing)에 기초하여 구성될 수 있다.

다른 실시예에서, 깊이 카메라는 임의의 장면에 펄스 적외선 조명을 투영하도록 구성된 time-of-flight 깊이 카메라의 형태를 가질 수 있다. 이러한 깊이 카메라는 그 장면으로부터 반사된 펄스 조명을 검출하도록 구성될 수 있다. 2개 이상의 이러한 깊이 카메라는 펄스 조명에 동기화된 전자 셔터(shutter)를 포함할 수도 있다. 2개 이상의 깊이 카메라의 노출 시간(integration time)은, 소스(source)로부터 장면(scene)으로 그리고 나서 깊이 카메라로의, 픽셀 분해된 time-of flight 펄스 조명이, 2개의 깊이 카메라의 해당 픽셀에서 수용한 광의 상대적 앙으로부터 식별되도록, 상이할 수도 있다. HMD 장치(200)은 구조화된 광 및/또는 time of flight 깊이 분석을 보조하는 적외선 투영기(projector)를 포함할 수 있다.

다른 실시예에서, 물리적 환경에서의 사용(52) 및/또는 다른 사람으로부터의 제스쳐 기반 입력 및 다른 움직임 입력은 하나 이상의 깊이 카메라를 통해 검출될 수 있다. 예를 들어, 외향성 센서(212)는 깊이 이미지를 생성하기 위한 공지된 상대적인 위치의 2개 이상의 광학 센서를 포함할 수 있다. 이러한 공지된 위치의 광학 센서로부터의 움직임 결과를 이용함으로써, 그러한 깊이 이미지는 시간에 따라 발전할 수 있다.

외향성 센서(212)는 사용자(52)가 위치하는 물리적 환경의 이미지를 획득할 수 있다. 이하 보다 상세히 서술하듯이, 그러한 이미지는 HMD 장치(38)에 의해 수신되고 컴퓨팅 장치(22)로 제공될 수 있는 물리적 환경 정보(60)의 일부일 수 있다. 일 실시예에서, 증강 현실 디스플레이 프로그램(32)은 획득된 물리적 환경을 그러한 입력을 이용하여 모델링하는 가상 환경(34)을 생성하는 3D 모델링 시스템을 포함할 수 있다.

HMD 장치(200)은 HMD 장치(200)의 위치 추적 및/또는 방향(orientation)감지를 가능하게 하고, 물리적 환경 내에서의 HMD 장치의 위치를 결정하기 위한, 하나 이상의 모션 센서(216)를 이용하는 위치 센서 시스템(62)을 포함할 수 있다. 일 실시예로서, 위치 센서 시스템(62)은 6축 또는 6개의 자유도를 가진 위치 센서 시스템으로서 구성되는 관성 측정 유닛(inertial measurement unit)을 포함할 수 있다. 예를 들어, 이 실시예의 위치 센서 시스템은 3개의 직교하는 축(예를 들어, x, y, z)에 따른 3차원 공간 내에서의 HMD 장치(200)의 위치 변화, 및 3개의 직교하는 축(예를 들어, roll, pitch, yaw)에 대한 HMD 장치의 방향 변화를 나타내거나 측정하기 위한 3개의 가속도 센서(accelerometer)와 3개의 자이로스코프(gyroscope)를 포함할 수 있다.

위치 센서 시스템(62)은 GPS 또는 다른 글로벌 네비게이션 시스템 등의 다른 적절한 포지셔닝 기술을 사용할 수 있다. 예를 들어, 위치 센서 시스템(62)은 위성 및/또는 지상파 기지국(terrestrial base station)으로부터 브로드캐스트되는 무선 신호를 수신하기 위한 무선 수신기(예를 들어, GPS 수신기 또는 셀룰러 수신기)를 포함할 수 있다. 이러한 무선 신호는 HMD 장치(200)의 지리적 위치를 식별하는 데 이용될 수 있다.

HMD 장치(200)에 의해 수신된 무선 신호로부터 획득된 위치 정보는 모션 센서(216)로부터 획득된 위치 정보와 결합되어 HMD 장치(200)의 위치 및/또는 방향을 제공할 수 있다. 위치 센서 시스템에 대한 구체적인 실시예들이 서술되지만, 다른 적절한 위치 센서 시스템 또한 사용될 수 있다.

모션 센서(216)는 사용자 입력 장치로서 또한 채택되어, 사용자가 목, 머리, 또는 몸의 제스쳐를 통해 HMD 장치(200)와 상호작용하도록 할 수 있다. 모션 센서는 그 예시로서 가속도 센서, 자이로스코프, 컴퍼스 및 방향 센서(orientation sensor)또는 이들의 임의의 조합을 포함할 수 있으며, 이에 한정되지 않는다.

HMD 장치(200)는 또한 하나 이상의 마이크로폰(220)을 포함할 수 있다. 몇몇 실시예에서, 그리고 이하 상세하게 서술하듯이, 마이크로폰(22)은 사용자로부터의 오디오 입력 및/또는 사용자 주변의 물리적 환경으로부터의 오디오 입력을 수신할 수 있다. 이에 부가하여 또는 대체하여, HMD 장치(200)와 별개의 하나 이상의 마이크로폰이 오디오 입력을 수신하는 데 이용될 수 있다.

HMD 장치(200)는 이하 도 12와 관련하여 보다 자세히 서술되는, HMD 장치의 다양한 입력 및 출력 장치와 통신하는 로직 서브시스템과 데이터 유지(data-holding) 서브시스템을 포함할 수 있다. 간단히 말하면, 데이터 유지 서브시스템은 로직 서브시스템에 의해 실행 가능한, 예를 들어 통신 서브시스템을 통해 센서로부터의 입력을 수신하고(처리된 형태 또는 처리되지 않은 형태로)이를 컴퓨팅 장치(22)로 포워딩하고, 투명 디스플레이(50)를 통해 사용자(52)에게 이미지를 제공하기 위한 명령을 포함할 수 있다.

상술한 도 1 및 도 2에 나타낸 HMD 장치(200)와 관련된 센서 및 다른 구성요소들이 예시로서 제공된다. 이러한 예시들은 한정을 위한 것이 아니며, 임의의 적절한 센서, 구성요소, 및/또는 센서와 구성요소의 결합이 이용될 수 있다. 그러므로, HMD 장치(200)는 본 명세서의 범위를 벗어나지 않는 내에서 추가적인 및/또는 대체적인 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등을 포함할 수 있다는 것이 이해될 수 있다. 또한, HMD 장치(200), 그 다양한 센서 및 서브컴포넌트(subcomponent)의 물리적인 구성은 본 명세서의 범위를 벗어나지 않는 내에서 다양한 형태를 가질 수 있다.

이제 도 3 내지 도 10을 참조하면, 홀로그램 오브젝트 구현 시스템(10)및 HMD 장치(200)의 예시적인 실시형태와 이용 방안이 제공된다. 이러한 실시형태와 이용 방안을 설명하기 위해, 도 9 및 도 10은 사용자(52)에 의해 장착된 HMD 장치(200)의 투명 디스플레이(50)를 통해 보여지는 물리적 환경(230)의 개략도를 제공한다.

몇몇 실시예에서, 홀로그램 오브젝트 구현 프로그램(14)은 컴퓨팅 장치(22)의 메모리(26)로부터 디폴트 정보 상세도를 갖는 홀로그램 오브젝트(36)를 수신할 수 있다. 다른 실시예에서, 홀로그램 오브젝트(36)는 서버(42)또는 모바일 장치(46)등의, 컴퓨팅 디바이스(22)의 외부의 소스로부터, 네트워크(40)를 통해 수신될 수 있다.

도 3 및 도 4를 참조하면, 홀로그램 오브젝트(36)는 하나 이상의 개발자-정의 정보 상세도(64)를 포함할 수 있다. 도 4에 도시한 일 실시예에서, 도 9 및 도 10을 참조하면, 홀로그램 오브젝트(36)는 지구(earth)를 나타내는 구체 지구(spherical globe;234)의 형태를 가질 수 있다. 홀로그램 오브젝트(36)의 개발자는 지구(234)에 의해 디스플레이되는 다양한 정보 상세도에 대응되는 개발자-정의 정보 상세도(64)를 포함시킬 수 있다.

도 4에 도시한 일 실시예에서, 상세도 최고의 지구(234)는 지형(terrain contour), 물줄기의 구체적인 묘사, 임상(林床)식물(forestcover) 등의 3차원 구현을 포함하는, 전체적인 지형의 기복이 표현된(in full topographic relief) 지구에 해당할 수 있다. 상세도 중(中)의 지구는 상세도 최고의 지구보다 시각적 정보가 부족한, 대륙과 물줄기의 2차원 윤곽을 갖는 지구(234)등에 해당할 수 있다. 상세도 저(底)의 지구는 상세도 중간의 지구보다 시각적 정보가 부족한, 순수한 청색 구체로서 묘사되는 지구(234)등에 해당할 수 있다. 상세도 최저의 지구는 상세도 저의 지구보다 시각적 정보가 부족한, 투명한 무색의 구로 묘사되는 지구(234)등에 해당할 수 있다. 일 실시예에서, 디폴트 정보 상세도를 갖는 지구(234)는 도 4에 도시된 상세도 저의 지구로 설정될 수 있다. 다른 실시예에서, 더 낮거나 높은 정보 상세도가 홀로그램 오브젝트(36)에 대해 제공될 수 있다.

도 1 및 도 2를 다시 참조하면, 상술하였듯이, HMD 장치(200)의 하나 이상의 다양한 센서 및 시스템은 사용자 행동 정보(74)및/또는 물리적 환경 정보(60)를 수신할 수 있다. 몇몇 실시예에서, 사용자 행동 정보(74)는 언어 인식 정보, 안구 추적 정보, 두부 위치 정보, 사용자 움직임 정보 및 사용자 제스쳐 정보를 포함할 수 있다. 물리적 환경 정보(60)는, 예를 들어, 광(light)정보, 물리적 오브젝트 근접 정보 및 물리적 오브젝트 속력 정보를 포함할 수 있다.

이하 보다 자세히 설명하듯이, 하나 이상의 사용자 행동 정보(74)및 물리적 환경 정보(60)에 기초하여, 홀로그램 오브젝트 구현 시스템(10)은 홀로그램 오브젝트(36)의 선택 가능한 정보 상세도를 홀로그램 오브젝트(36’)에 구현되는 조정 정보 상세도로 조정할 수 있다. 홀로그램 오브젝트 구현 시스템(10)은 그 후, HMD 장치(200)에 디스플레이되도록 구성되는 홀로그램 오브젝트(36’)를, 조정 정보 상세도를 갖도록 하여 증강 현실 디스플레이 프로그램(32)으로 제공할 수 있다.

도 9를 참조한 일 실시예에서, 지구(234)는 최초에 도 4의 표에 나타난 순수한 청색 구체에 해당하는 정보 상세도 저(底) 등의 디폴트 정보 상세도로 디스플레이될 수도 있다. 물리적 환경 정보(60)에 해당하는 개발자-정의 트리거 및/또는 사용자 행동 정보(74)는 또한 지구(234)와 연관될 수도 있다. 일 실시예에서, 언어 인식 정보, 시선 추적 정보, 두부 위치 정보, 사용자 움직임 정보 및 사용자 제스쳐 정보 중 하나 이상에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 사용자(52)가 홀로그램 오브젝트에 대하여 관심이 증가하는 것을 나타내는 관심 증가 트리거(increasing interest trigger)를 검출하도록 구성될 수도 있다. 관심 증가 트리거의 검출에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 홀로그램 오브젝트의 선택 가능한 정보 상세도를 증가시킬 수 있다.

일 실시예에서, 홀로그램 오브젝트 구현 프로그램(14)은 안구 추적 시스템(54)으로부터 수신된 안구 추적 정보에서, 사용자(52)가 지구(234)를 응시하는 것을 검출할 수 있다. 사용자의 응시를 검출한 것에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 지구(234)의 디폴트 정보 상세도를 정보 상세도 저로부터, 도 10에 도시한 것과 같은 대륙과 물줄기의 윤곽을 갖는 지구(234’)에 해당하는, 정보 상세도 중으로 증가시킬 수 있다.

도 5를 참조하면, 표(68)는 사용자의 응시와 관련된 개발자-정의 트리거와 그에 해당하는 정보 상세도의 4가지 다른 예시를 포함한다. 제 1 트리거는 사용자가 홀로그램 오브젝트를 3초 이상 응시하는 것으로 정의될 수 있다. 이 트리거가 검출되면, 홀로그램 오브젝트 구현 프로그램(14)는 오브젝트의 정보 상세도를 정보 상세도 최고로 조정할 수 있다. 이 제 1 트리거는 오브젝트에 대한 사용자의 관심이 증가하는 것을 나타내는 관심 증가 트리거에 해당할 수 있다.

표(68)를 계속 참조하면, 제 2 트리거는 사용자가 응시하고 있던 홀로그램 오브젝트로부터 시선을 떼는 것으로 정의될 수 있다. 이 트리거가 검출되면, 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 정보 상세도 중간으로 조정할 수 있다. 제 3 트리거는 사용자가 홀로그램 오브젝트로부터 3초 이상 시선을 뗀 것으로 정의될 수 있다. 이 트리거가 검출되면, 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 정보 상세도 저로 조정할 수 있다. 제 4 트리거는 사용자가 다른 홀로그램 오브젝트와 상호작용하는 것으로 정의될 수 있다. 이 트리거가 검출되면, 홀로그램 오브젝트 구현 프로그램(14)은 이전 오브젝트의 정보 상세도를 최저의 정보 상세도로 조정할 수 있다.

상술한 제 2, 제 3 및 제 4 트리거는 오브젝트에 대한 사용자의 관심이 감소하는 것을 나타내는 관심 감소 트리거에 해당할 수 있다. 사용자 행동 정보(74)및/또는 물리적 환경 정보(60)와 연관된 다양한 다른 종류의 트리거, 그리고 트리거와 연관된 값들이 이용될 수도 있다.

다른 예로, 둘 이상의 개발자-정의 조건(developer-defined conditions)은 각 개발자-정의 트리거(developer-defined trigger) 및/또는 특정 정보 상세도(particular information detail level)와 연관될 수 있다. 도 6을 참고하면, 한 예로, 표(72)는 도 5의 4가지 개발자-정의 트리거 및 트리거 각각에 대한 두 가지 가능한 조건을 포함한다. 각 조건에 대해, 대응되는 조정 정보 상세도(adjusted information detail level)이 제공된다. 도 6에 도시된 예에서, 물리적 환경 조광 조건(physical environment lighting condition)은 밝음(daylight) 또는 어두움(dark)으로 분류되고 감지될 수 있다. 제 1 트리거와 관련하여, 사용자가 홀로그램 오브젝트(holographic object)를 3초 넘게 응시하는 경우, 만약 감지된 조건이 밝음이면 홀로그램 오브젝트 구현 프로그램(14)은 상세도 최고의 오브젝트를 제공할 수 있다. 만약 감지된 조건이 어두움이면, 홀로그램 오브젝트 구현 프로그램(14)은 상세도 최저의 오브젝트를 제공할 수 있다.

제 2 트리거와 관련하여, 사용자가 오브젝트로부터 시선을 돌리는 경우, 만약 감지된 조건이 밝음이면 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 상세도 중으로 조정할 수 있다. 만약 감지된 조건이 어두움이면, 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 상세도 저로 조정할 수 있다. 제 3 트리거와 관련하여, 사용자가 오브젝트로부터 3초 넘게 시선을 돌린 경우, 만약 감지된 조건이 밝음이면 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 상세도 저로 조정할 수 있다. 만약 감지된 조건이 어두움이면, 홀로그램 오브젝트 구현 프로그램(14)은 오브젝트의 정보 상세도를 상세도 최저로 조정할 수 있다. 제 4 트리거와 관련하여, 사용자가 다른 홀로그램 오브젝트와 상호작용하는 경우, 감지된 조건이 밝음인지 어두움인지에 무관하게, 홀로그램 오브젝트 구현 프로그램(14)은 이전의 오브젝트의 정보 상세도를 상세도 최저로 조정할 수 있다.

유리하게도, 이 예에서 개발자는 사용자가 경험할 수 있는 물리적 환경 조건에 기초하여 홀로그램 오브젝트의 정보 상세도를 더 제어할 수 있다. 많은 다양한 타입의 조건이 정보 상세도를 조정하도록 활용될 수 있다. 이러한 조건은, 다른 사용자의 행동, 잡음 레벨 및 날씨와 같은 다른 물리적 환경 조건, 다른 오브젝트 또는 사람들의 근접성 및/또는 수, 사용자의 생리적인(physiological) 상태, 가상 환경에서의 다른 홀로그램 오브젝트의 근접성 및/또는 수 등을 포함할 수 있으나, 이들에 한정되지 않는다.

다른 예로, 하나 또는 그 이상의 사용자-정의 설정(user-defined settings)은 개발자-정의 트리거 및/또는 홀로그램 오브젝트의 정보 상세도를 조정하는 파라미터를 결정하는 각 사용자-정의 설정과 연관될 수 있다. 도 7을 참고하는 한 예로, 표(76)는 특정한 사용자의 행동과 연관된 두 가지 사용자-정의 설정을 포함한다. 첫 번째 사용자-정의 설정은 홀로그램 오브젝트를 상세도 최고로 표시하기 위해 사용자가 홀로그램 오브젝트를 응시해야 하는 최소 시간에 관한 것일 수 있다. 이 예에서, 홀로그램 오브젝트 구현 프로그램(14)을 통해 홀로그램 오브젝트와 상호작용하는 것이 익숙한 숙련된 사용자는 사용자-정의 설정 값을 1초로 입력할 수 있다. 따라서, 사용자가 홀로그램 오브젝트를 1초 동안 응시하는 경우, 홀로그램 오브젝트 구현 프로그램(14)은 정보 상세도를 상세도 최고로 조정할 수 있다. 다른 예에서, 홀로그램 오브젝트 구현 프로그램(14)에 친숙하지 않은 초보 사용자는 보다 긴 사용자-정의 설정 값(예들 들면 4초)을 입력할 수 있다.

도 7을 계속 참조하면, 두 번째 사용자-정의 설정은 정보 상세도를 저로 하기 위한, 홀로그램 오브젝트로부터 사용자가 시선을 뗀 순간부터의 최소 경과 시간에 관한 것일 수 있다. 이 예에서, 숙련된 사용자는 사용자-정의 설정 값을 1초로 입력할 수 있다. 따라서, 사용자가 홀로그램 오브젝트로부터 시선을 뗀 경우, 1초 뒤에 홀로그램 오브젝트 구현 프로그램(14)는 정보 상세도를 상세도 저로 조정한다. 다른 예에서, 홀로그램 오브젝트 구현 프로그램(14)를 사용하는 것에 친숙하지 않은 초보 사용자는 보다 긴 사용자-정의 설정 값(예를 들면 2초)를 입력할 수 있다. 사용자-정의 설정 값은 개발자-정의 트리거의 대응되는 설정보다 우선할 수 있다.

관심 증가 트리거 다른 예로, 도 9 및 10을 참조하면, 홀로그램 오브젝트 구현 프로그램(14)은 위치 센서 시스템(62)으로부터 수신된 사용자 움직임 정보를 통해 사용자(52)가 지구(globe)(234)쪽으로 이동하고 있다는 것을 감지할 수 있다. 사용자의 움직임을 감지하는 것에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 지구(234)의 디폴트(default) 정보 상세도를 정보 상세도 저로부터 도 10에 도시된 지구(234')에 대응하는 정보 상세도 중으로 증가시킬 수 있다.

관심 증가 트리거의 다른 예로, 도 9 및 도 10을 다시 참조하면, 홀로그램 오브젝트 구현 프로그램(14)은 광학 센서 시스템(optical sensor system)(58)으로부터 수신된 사용자 제스쳐 정보를 통해 사용자(52)가 지구(234)를 향해 제스쳐를 취하고 있는 것을 감지할 수 있다. 예를 들면, 사용자(52)는 손가락(56)으로 지구(234)를 가리킬 수 있다. 지구(234)에 대한 관심이 증가된 것을 나타내는 사용자의 제스쳐를 감지하는 것에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 지구(234)의 디폴트 정보 상세도를 상세도 저로부터 도 10에 도시된 지구(234')에 대응하는 상세도 중으로 증가시킬 수 있다. 예를 들어 지구(234)를 향해 고개를 끄덕이기(nodding)와 같이, 많은 다른 타입 및 형태의 사용자의 제스쳐들이 감지되어 지구(234)에 대한 사용자(52)의 관심이 증가한 것을 추정하는 데에 사용될 수 있다.

관심 증가 트리거의 또 다른 예로서, 홀로그램 오브젝트 구현 프로그램(14)은 마이크(220)로부터 수신된 언어 인식 정보(speech recognition information)로부터 지구(234)에 대한 사용자의 관심도를 증가시키는 것을 제안하는 음성 신호(verbal cue)를 감지할 수 있다. 예를 들면, 사용자(52)는 "지구가 이렇게 아름답게 보일 수가"라고 말할 수 있다. 이런 음성 신호를 감지하는 것에 기초하여, 홀로그램 오브젝트 구현 프로그램(14)은 지구(234)의 디폴트 정보 상세도를 증가시킬 수 있다. 음성 신호의 많은 다른 예들이 감지되어 지구(234)에 대한 사용자(52)의 관심이 증가하는 것을 추정하는 데에 사용될 수 있다.

다른 예로서, 하나 또는 그 이상의 개발자-정의 홀로그램 오브젝트 운동 상태(developer-defined holographic object behavioral states)가 홀로그램 오브젝트를 위해 제공될 수 있다. 도 9를 참조하면, 한 예로, 풍선(238) 모양의 홀로그램 오브젝트가 HMD 장치(200)의 투명 디스플레이(50)상에 디스플레이될 수 있다. 도 8의 표(80)에 도시된 것처럼, 풍선(238)의 두 개의 다른 개발자-정의 운동 상태가 제공될 수 있다. 첫째로, 정적(static) 운동 상태에서, 풍선(238)은 사용자(52)에게 정지한 것처럼 나타날 수 있다. 둘째로, 동적(dynamic) 운동 상태에서, 도 10에 도시된 것처럼, 풍선(238)은 바람에 흔들리는 것처럼 흔들리게 나타날 수 있다.

개발자-정의 홀로그램 오브젝트 운동 상태는 다양한 사용자 행동, 물리적 환경 조건, 가상 환경 파라미터 및/또는 다른 요소에 의해 활용될 수 있다. 많은 다양한 형태의 개발자-정의 홀로그램 오브젝트 운동 상태가 다양한 홀로그램 오브젝트에 대해 제공될 수 있다.

다른 예로, 홀로그램 오브젝트 구현 시스템(10)은, 홀로그램 오브젝트(36)의 선택된 정보 상세도를 홀로그램 오브젝트(36')의 조정 정보 상세도로 조정하도록, 물리적 환경(230)으로부터 수신된 물리적 환경 정보(60)를 이용할 수 있다. 한 예로, 물리적 환경 정보(60)가 물리적 오브젝트 근접 정보를 포함하는 경우, 홀로그램 오브젝트 구현 프로그램(14)은 다른 사람이 사용자(52)로부터 정해진 거리(예를 들면 3발 반경(3 foot radius)) 이내로 이동하면, 홀로그램 오브젝트의 정보 상세도를 상세도 저로 조정할 수 있다.

다른 예로, 물리적 환경 정보(60)가 외부의 오디오 정보를 포함하는 경우, 홀로그램 오브젝트 구현 프로그램(14)은 사용자에게 중요한 것일 수 있는 오디오 정보가 감지되면 홀로그램 오브젝트의 정보 상세도를 상세도 저로 조정할 수 있다. 한 예로, 이러한 오디오 정보는 사용자의 예정된 비행에 관한 공항에서의 안내방송을 포함할 수 있다. 다른 예로, 물리적 환경 정보(60)가 물리적 오브젝트 속도 정보를 포함하는 경우, 홀로그램 오브젝트 구현 프로그램(14)은 외부 오브젝트가 임계값보다 높은 속력으로 사용자(52)를 향해 이동하고 있는 것으로 감지되면 홀로그램 오브젝트의 정보 상세도를 상세도 저로 조정할 수 있다. 한 예로, 현실-세계 야구공이 15 km/hr를 초과하는 속도로 사용자(52)를 향해 이동하고 있는 것으로 검지되는 경우, 홀로그램 오브젝트 구현 프로그램(14)은 홀로그램 오브젝트(36)의 선택된 정보 상세도를 상세도 저로 조정할 수 있다. 물리적 환경 정보(60)의 많은 다른 예들이 홀로그램 오브젝트(36)의 선택된 정보 상세도를 조정 정보 상세도(더 높거나 더 낮은 상세도)로 조정하는 데에 이용될 수 있다.

몇몇 예에서, 정보 상세도 저는 높은 정보 상세도에 비해 홀로그램 오브젝트의 높은 투명도에 대응될 수 있다. 마찬가지로, 높은 정보 상세도는 정보 상세도 저에 비해 홀로그램 오브젝트의 높은 불투명도에 대응될 수 있다. 다른 예에서, 홀로그램 오브젝트의 정보 상세도를 조정하는 것은 홀로그래필 오브젝트의 형태 또는 모양을 변경하는 것을 포함할 수 있다. 예를 들면, 사람의 정보 상세도 저(low)가 얼굴의 2차원 형상에 대응될 때, 사람의 상세도 저가 막대 형상 아이콘(stick figure icon)에 대응될 수 있다.

도 11a 및 도 11b는 본 발명의 일 실시예에 따른 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트를 구현하는 방법(300)의 플로우차트를 나타낸다. 방법(300)에 대한 이하의 설명은 도 1에 도시되고 상술한 홀로그램 오브젝트 구현 시스템(10)의 소프트웨어 및 하드웨어 요소에 관하여 제공된다. 방법(300)은 다른 적절한 하드웨어 및 소프트웨어 요소들을 사용하는 경우에도 역시 수행될 수 있다.

도 11a와 관련하여, 방법은 스피치 인식 정보, 안구-추적 정보, 두부 위치 정보, 사용자 이동 정보 및 사용자 제스쳐 정보와 같은 사용자 행동 정보(74)를 수신하는 것을 포함할 수 있다(304단계). 308단계에서 방법은 스피치 인식 정보, 안구-추적 정보, 두부 위치 정보, 사용자 이동 정보 및 사용자 제스쳐 정보 중 하나 또는 그 이상에서 관심 증가 트리거를 감지하는 것을 포함할 수 있다. 한 예로, 방법은 안구-추적 정보에서 사용자가 홀로그램 오브젝트를 응시하고 있다는 것을 감지하는 것을 포함할 수 있다(312단계). 다른 예로, 방법은 사용자 이동 정보에서 사용자가 홀로그래필 오브젝트를 향해 이동하고 있다는 것을 감지하는 것을 포함할 수 있다(316단계). 또 다른 예로, 방법은 사용자 제스쳐 정보에서 사용자가 홀로그램 오브젝트를 향해 제스쳐하고 있다는 것을 감지하는 것을 포함할 수 있다(320단계).

방법은 스피치 인식 정보, 안구-추적 정보, 두부 위치 정보, 사용자 움직임 정보 및 사용자 제스쳐 정보 중 하나 또는 그 이상에서 관심 감소 트리거를 감지하는 것을 포함할 수 있다(324단계). 방법은 또한 물리적 환경 정보(60)를 수신하는 것을 포함할 수 있다(328단계).

방법은 사용자 행동 정보(74) 및 물리적 환경 정보(60)에 기초하여 홀로그램 오브젝트의 선택 가능한 정보 상세도를 조정 정보 상세도로 조정하는 것을 포함할 수 있다(332단계). 한 예로, 방법은 사용자가 홀로그램 오브젝트를 응시함에 따라 홀로그램 오브젝트의 선택 가능한 정보 상세도를 증가시키는 것을 포함할 수 있다(340단계). 다른 예로, 방법은 사용자가 홀로그램 오브젝트를 향해 이동함에 따라 홀로그램 오프젝트의 선택 가능한 정보 상세도를 증가시키는 것을 포함할 수 있다(344단계). 또 다른 예로, 방법은 사용자가 홀로그램 오브젝트를 향해 제스쳐를 취하는 경우 홀로그램 오브젝트의 선택 가능한 정보 상세도를 증가시키는 것을 포함할 수 있다(348단계).

다른 예로, 방법은 관심 감소 트리거를 감지하는 것에 기초하여 홀로그램 오브젝트의 선택 가능한 정보 상세도를 감소시키는 것을 포함할 수 있다(352단계).

방법은 제 1 조건이 만족되었을 때 홀로그램 오브젝트의 선택 가능한 정보 상세도를 제 1 조정 정보 상세도로 조정하는 것을 포함할 수 있다(356단계). 방법은 제 2 조건이 만족되었을 때 홀로그램 오브젝트의 선택 가능한 정보 상세도를 제 2 조정 정보 상세도로 조정하는 것을 포함할 수 있다(360단계). 방법은 HMD 장치(200)상에 디스플레이하도록 증강 현실 디스플레이 프로그램(32)에게 조정 정보 상세도를 갖는 홀로그램 오브젝트를 제공하는 것을 포함할 수 있다(364단계).

도 12는 상술한 방법들 및 프로세스들의 하나 또는 그 이상을 실행할 수 있는 컴퓨팅 장치(400)의 제한되지 않는 실시예를 도시한다. 컴퓨팅 장치(400)는 간소화된 형태로 도시되었다. 사실상 어떠한 컴퓨터 아키텍쳐(architecture)라도 본 발명의 범위를 벗어남 없이 사용될 수 있다. 다른 실시예에서, 컴퓨팅 장치(400)는 메인 프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치 등의 형태를 취할 수 있다.

도 12에 도시된 것처럼, 컴퓨팅 장치(400)는 로직 서브시스템(logic subsystem)(404), 데이터 유지 서브시스템(data-holding subsystem)(408), 디스플레이 서브시스템(display subsystem)(412), 통신 서브시스템(communication subsystem)(416) 및 센서 서브시스템(sensor subsystem)(420)을 포함할 수 있다. 컴퓨팅 장치(400)는 도 12에 도시되지 않은 다른 서브시스템들 및 구성요소들(components)을 선택적으로 포함할 수 있다. 컴퓨팅 장치(400)는 예를 들면, 키보드, 마우스, 게임 컨트롤러 및/또는 터치 스크린과 같이 다른 사용자 입력 장치를 선택적으로 포함할 수 있다. 또한, 몇몇 실시예에서, 여기서 설명된 방법들 및 프로세스들은 하나 또는 그 이상의 컴퓨터들을 포함하는 컴퓨팅 시스템에서 컴퓨터 어플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로 구현될 수 있다.

로직 서브시스템(404)은 하나 또는 그 이상의 명령어들(instructions)을 실행하도록 구성된 하나 또는 그 이상의 물리적 장치들을 포함할 수 있다. 예를 들면, 로직 서브시스템은 어플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 오브젝트들, 구성요소들, 데이터 구조들 또는 다른 논리적 구성들(logical constructions) 중 하나 또는 그 이상의 일부인 하나 또는 그 이상의 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 임무(task)를 수행하거나, 데이터 타입을 구현하거나, 하나 또는 그 이상의 장치들의 상태를 변경하거나, 그 밖의 원하는 결과에 도달하도록 구현될 수 있다.

로직 서브시스템(404)은 소프트웨어 명령어들을 수행하도록 구성된 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 추가적으로 혹은 그 대신에, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 또는 그 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서들은 싱글코어 또는 멀티코어일 수 있고, 이것들 상에서 실행되는 프로그램들은 병렬 또는 분산 처리를 위해 구성될 수 있다. 로직 서브시스템은 둘 또는 그 이상의 장치들에 분산된 개별적 구성요소들(individual components)을 선택적으로 포함할 수 있고, 이것들은 떨어져서 위치(remotely located)하고/하거나 통합된 프로세싱(coordinated processing)을 위해 구성될 수 있다. 로직 서브시스템의 하나 또는 그 이상의 측면은 클라우드 컴퓨팅 환경에서 원격 접근 가능한 네트워크의 컴퓨팅 장치들에 의해 가상 현실화되고(virtualized) 실행될 수 있다.

데이터 유지 서브시스템(408)은 여기서 설명된 방법들 및 프로세스들을 구현하도록 로직 서브시스템(404)에 의해 실행 가능한 명령어들 및/또는 데이터를 유지하도록 구성된 하나 또는 그 이상의 물리적, 비-일시적인 장치들을 포함할 수 있다. 이러한 방법들 및 프로세스들이 구현되면, 데이터 유지 서브시스템(408)의 상태가 변환(예를 들면 다른 데이터를 유지하도록)될 수 있다.

데이터 유지 서브시스템(408)은 분리 가능한 매체(removable media) 및/또는 빌트-인 장치들을 포함할 수 있다. 데이터 유지 서브시스템(408)은 특히 광학 메모리 장치들(예를 들면, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치들(RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치들(하드디스크 드라이브, 플로피디스크 드라이브, 테이프 드라이브, MRAM 등)을 포함할 수 있다. 데이터 유지 서브시스템(408)은 이하의 특징들 중 하나 또는 그 이상을 갖는 장치들을 포함할 수 있다: 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기전용, 랜덤 액세스, 시퀀셜 액세스, 위치 주소 지정 가능함(location addressable), 파일 주소 지정 가능함(file addressable) 및 콘텐트 주소 지정 가능함(content addressable). 몇몇 실시예에서, 로직 서브시스템(404) 및 데이터 유지 서브시스템(408)은, 시스템-온-칩(system on chip) 또는 주문형 반도체(application specific integrated circuit)와 같이, 하나 또는 그 이상의 공통된 장치로 통합될 수 있다.

도 12는 분리 가능한 컴퓨터-판독 가능한 저장 매체(removable computer-readable storage media)(424)의 형태를 취하는 데이터 유지 서브시스템(408)의 양상을 도시하고, 이는 여기서 설명된 방법들 및 프로세스들을 구현하는 것을 실행 가능한 데이터 및/또는 명령어들을 저장 및/또는 전송하는 데에 사용될 수 있다. 분리 가능한 컴퓨터-판독 가능한 저장 매체(424)는 특히 CD들, DVD들, HD-DVD들, Blu-Ray Disc들, EEPROM들 및/또는 플로피디스크의 형태를 취할 수 있다.

데이터 유지 서브시스템(408)은 하나 또는 그 이상의 물리적, 비-일시적 장치들을 포함한다. 반대로, 몇몇 실시예에서, 여기서 설명된 명령어들의 양상은 적어도 유한한 기간 동안 물리적인 장치에 의해 유지되지 않는 순수한 신호(예를 들면, 전자기적 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 또한, 본 설명에 존재하는 다른 형태의 정보 및/또는 데이터는 순수한 신호에 의해 전파될 수 있다.

디스플레이 서브시스템(412)은 데이터 유지 서브시스템(408)에 의해 유지되는 데이터의 시각적 재현을 위해 이용될 수 있다. 디스플레이 서브시스템(412)은 예를 들면, HMD 장치(20)의 투명 디스플레이(50)를 포함할 수 있다. 상술한 방법들 및 프로세스들은 데이터 유지 서브시스템(408)에 의해 유지된 데이터를 변경하고, 따라서, 데이터 유지 서브시스템(408)의 상태를 변환시킨다. 디스플레이 서브시스템(412)의 상태는 기저 데이터(underlying data)의 변화를 시각적으로 나타내도록 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(412)은 사실상 활용하는 기술의 종류를 불문하는 하나 또는 그 이상의 디스플레이 장치들을 포함할 수 있다. 이러한 디스플레이 장치들은 공유된 인클로져(enclosure) 내에서 로직 서브시스템(404) 및/또는 데이터 유지 서브시스템(408)과 결합되거나, 혹은 이러한 디스플레이 장치들은 주변 디스플레이 장치(peripheral display device )일 수 있다.

통신 서브시스템(416)은 컴퓨팅 장치(400)를 네트워크(40)와 같은 하나 또는 그 이상의 네트워크들 및/또는 하나 또는 그 이상의 컴퓨팅 장치들과 통신적으로 결합하도록 구성될 수 있다. 통신 서브시스템(416)은 하나 또는 그 이상의 다른 통신 프로토콜과 호환될 수 있는 무선 및/또는 유선의 통신 장치들을 포함할 수 있다. 제한적이지 않은 예로, 통신 서브시스템(416)은 무선 정화 네트워크, 무선 근거리 네트워크(local area network), 유선 근거리 네트워크, 무선 광역 네트워크(wide area network) 등을 통한 통신을 위해 구성될 수 있다. 몇몇 실시예들에서, 통신 서브시스템은 컴퓨팅 장치(400)이 인터넷과 같은 네트워크를 통해 다른 장치들로/로부터 메시지를 송신 및/또는 수신하는 것을 허용할 수 있다.

센서 서브시스템(420)은 상술한 것과 같이 다른 물리적 현상(예를 들면, 가시광선, 적외선, 소리, 가속도, 배향(orientation), 위치 등)을 센싱하도록 구성된 하나 또는 그 이상의 센서들을 포함할 수 있다. 예를 들면, 센서 서브시스템(420)은 하나 또는 그 이상의 안구 추적 센서, 이미지 센서, 마이크, 가속도계와 같은 모션 센서, 터치 패드, 터치 스크린 및/또는 다른 적절한 센서들을 포함할 수 있다. 센서 서브시스템(420)은 예를 들면, 로직 서브시스템(404)로 관측 정보를 제공하도록 구성될 수 있다. 상술한 것과 같이, 안구 추적 정보, 이미지 정보, 오디오 정보, 주변광(ambient light) 정보, 깊이 정보, 위치 정보, 모션 정모 및/ 도는 다른 적절한 센서 데이터와 같은 관측 정보가 상술한 방법들 및 프로세스들을 수행하는 데에 이용될 수 있다.

'프로그램'의 용어는 하나 또는 그 이상의 특정한 함수(function)들을 수행하도록 구현된 홀로그램 오브젝트 구현 시스템(10)의 양상을 나타내는 데에 사용될 수 있다. 몇몇 경우에서, 이러한 프로그램은 데이터 유지 서브시스템(408)에 의해 유지되는 명령어들을 실행하는 로직 서브시스템(404)을 통해 설명될 수 있다. 다른 프로그램들도 같은 어플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수(function) 등으로부터 설명될 수 있다. 마찬가지로, 동일한 프로그램이 다른 어플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수(function) 등으로부터 설명될 수도 있다. '프로그램'의 용어는 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록의 각각 혹은 이들의 그룹들을 포함하는 것을 의미할 수 있다.

본 명세서에서 묘사한 구성 및/또는 방법은 예시적인 것으로서, 다양한 변형이 가능하므로 구체적인 실시예나 예시가 본 발명을 제한하는 것으로 여겨서는 안 된다. 본 명세서에서 설명한 특정 루틴이나 방법은 임의의 개수의 처리 방안을 하나 이상 나타내는 것일 수 있다. 그러므로, 설명된 다양한 동작들은 설명된 순서대로, 또는 이와는 다른 순서로, 또는 병렬적으로 수행될 수도 있으며, 어떤 경우에는 생략될 수도 있다. 마찬가지로, 전술한 프로세스의 순서도 변경될 수 있다.

본 개시 내용의 청구 대상은 본 명세서에 개시된 다양한 프로세스, 시스템 및 구성, 기타 특징, 기능, 작용 및/또는 성질 및 이들의 균등물의 신규하고도 비자명한 조합과 그 하위 조합을 포함한다.

Claims (10)

1. 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트(object)를 구현하는 홀로그램 오브젝트 구현 시스템에 있어서,
   상기 시스템은 컴퓨팅 장치(computing device)의 프로세서에 의해 실행되는 홀로그램 오브젝트 구현 프로그램을 포함하되,
   상기 프로그램은 사용자 행동 정보를 수신하고, 물리적 환경 정보를 수신하고, 상기 사용자 행동 정보 및 상기 물리적 환경 정보 중 하나 이상을 기초로 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 조정 정보 상세도로 조정하고, 상기 조정 정보 상세도를 갖는 상기 홀로그램 오브젝트를 증강 현실 디스플레이에 제공하도록 마련되고,
   상기 홀로그램 오브젝트는 상기 증강 현실 디스플레이 프로그램에 의해 디스플레이 장치상에서 디스플레이 되도록 마련된 것을 특징으로 하는 홀로그램 오브젝트 구현 시스템.
   
2. 제 1 항에 있어서, 상기 사용자 운동 정보는 언어 인식 정보, 안구 추적 정보, 두부 위치 정보, 사용자 움직임 정보 및 사용자 제스쳐 정보 중 하나 이상을 포함하고,
   상기 홀로그램 오브젝트 구현 프로그램은 상기 언어 인식 정보, 상기 안구 추적 정보, 상기 두부 위치 정보, 상기 사용자 움직임 정보 및 상기 사용자 제스쳐 정보 중 하나 이상으로부터 관심 증가 트리거(trigger)를 검출하고, 상기 관심 증가 트리거에 기초해 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 증가시키도록 하는 것이 더 마련된 것을 특징으로 하는 홀로그램 오브젝트 구현 시스템.
   
3. 제 2 항에 있어서,
   상기 홀로그램 오브젝트 구현 프로그램은 상기 언어 인식 정보, 상기 안구 추적 정보, 상기 두부 위치 정보, 상기 사용자 움직임 정보 및 상기 사용자 제스쳐 정보 중 하나 이상으로부터 관심 감소 트리거를 검출하고,
   상기 관심 감소 트리거에 기초해 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 감소시키도록 하는 것이 더 마련된 것을 특징으로 하는 홀로그램 오브젝트 구현 시스템.
   
4. 제 2항에 있어서, 상기 사용자 행동 정보는 상기 사용자 움직임 정보를 포함하고,
   상기 홀로그램 오브젝트 구현 프로그램은 상기 사용자 움직임 정보로부터 상기 홀로그램 오브젝트를 향한 사용자의 움직임을 검출하고, 상기 홀로그램 오브젝트를 향한 상기 사용자의 움직임에 따라 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 증가시키도록 하는 것이 더 마련된 것을 특징으로 하는 홀로그램 오브젝트 구현 시스템.
   
5. 제 1항에 있어서, 상기 디스플레이 장치는 상기 컴퓨팅 장치에 연결되어 구동하는 두부 장착형 디스플레이 장치를 포함하는 것을 특징으로 하는 홀로그램 오브젝트 구현 시스템.
   
6. 선택 가능한 정보 상세도를 갖는 홀로그램 오브젝트를 구현하는 홀로그램 오브젝트 구현 방법에 있어서,
   사용자 행동 정보를 수신하는 단계와,
   물리적 환경 정보를 수신하는 단계와,
   상기 사용자 행동 정보 및 상기 물리적 환경 정보 중 하나 이상을 기초로 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 조정 정보 상세도로 조정하는 단계와,
   상기 조정 정보 상세도를 갖는 상기 홀로그램 오브젝트를 증강 현실 디스플레이 프로그램에 제공하는 단계를 포함하되,
   상기 홀로그램 오브젝트는 상기 증강 현실 디스플레이 프로그램에 의해 디스플레이 장치상에서 디스플레이 되도록 마련되는 것을 특징으로 하는 홀로그램 오브젝트 구현 방법.
   
7. 제 6항에 있어서, 상기 조정 정보 상세도는 제 1 조건에 대응되는 제 1 조정 정보 상세도와 제 2 조건에 대응되는 제 2 조정 정보 상세도를 포함하며,
   상기 홀로그램 오브젝트 구현 방법은,
   상기 제 1 조건이 충족되면 상기 제 1 조정 정보 상세도를 갖는 상기 홀로그램 오브젝트를 제공하는 단계와,
   상기 제 2 조건이 충족되면 상기 제 2 조정 정보 상세도를 갖는 상기 홀로그램 오브젝트를 제공하는 단계를 더 포함하는 것을 특징으로 하는 홀로그램 오브젝트 구현 방법.
   
8. 제 6항에 있어서,
   상기 사용자 행동 정보는 안구 추적 정보를 포함하고,
   상기 홀로그램 오브젝트 구현 방법은,
   상기 안구 추적 정보로부터 사용자가 상기 홀로그램 오브젝트를 응시하는 것을 검출하는 단계와,
   상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 증가시키는 단계를 더 포함하는 것을 특징으로 하는 홀로그램 오브젝트 구현 방법.
   
9. 제 6항에 있어서, 상기 사용자 행동 정보는 사용자 제스쳐 정보를 포함하고,
   상기 홀로그램 오브젝트 구현 방법은,
   상기 사용자 제스쳐 정보로부터 사용자가 상기 홀로그램 오브젝트를 향해 제스쳐를 취하는 것을 검출하는 단계와,
   상기 사용자가 상기 홀로그램 오브젝트를 향해 제스쳐를 취하면, 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 증가시키는 단계를 더 포함하는 것을 특징으로 하는 홀로그램 오브젝트 구현 방법.
   
10. 제 6항에 있어서, 상기 사용자 행동 정보는 언어 인식 정보를 포함하고,
    상기 홀로그램 오브젝트 구현 방법은,
    상기 언어 인식 정보 내의 음성 신호를 검출하는 단계와,
    상기 음성 신호에 기초해 상기 홀로그램 오브젝트의 상기 선택 가능한 정보 상세도를 증가시키는 단계를 더 포함하는 것을 특징으로 하는 홀로그램 오브젝트 구현 방법.

Images