KR20150092165A - Ｉｍｕ를 이용한 직접 홀로그램 조작 - Google Patents

Ｉｍｕ를 이용한 직접 홀로그램 조작 Download PDF

Info

Publication number
KR20150092165A
KR20150092165A KR1020157015301A KR20157015301A KR20150092165A KR 20150092165 A KR20150092165 A KR 20150092165A KR 1020157015301 A KR1020157015301 A KR 1020157015301A KR 20157015301 A KR20157015301 A KR 20157015301A KR 20150092165 A KR20150092165 A KR 20150092165A
Authority
KR
South Korea
Prior art keywords
hmd
augmented reality
virtual pointer
reality environment
end user
Prior art date
Application number
KR1020157015301A
Other languages
English (en)
Inventor
톰 살터
벤 제이 석든
다니엘 뎃퍼드
로버트 엘 주니어 크로코
브라이언 이 킨
크리스토퍼 이 마일스
로라 케이 매시
알렉스 아벤-아타르 키프맨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150092165A publication Critical patent/KR20150092165A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

HMD(head-mounted display)와 연관된 증강 현실 환경(augmented reality environment)을 제어하는 방법이 기재된다. 일부 실시예에서, 이차 디바이스(예를 들어, 이동 전화)와 연관된 모션 및/또는 배향 정보를 사용하여, 가상 포인터가 HMD의 최종 사용자에게 디스플레이되고 최종 사용자에 의해 제어될 수 있다. 가상 포인터를 사용하여, 최종 사용자는 증강 현실 환경 내의 가상 객체들을 선택 및 조작하고, 증강 현실 환경 내의 실세계 객체들을 선택하고/선택하거나 HMD의 그래픽 사용자 인터페이스를 제어할 수 있다. 일부 경우에, 증강 현실 환경 내의 가상 포인터의 초기 위치는, 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고 있거나 최근에 집중한 특정 객체에 기초하여 결정될 수 있다.

Description

ＩＭＵ를 이용한 직접 홀로그램 조작{DIRECT HOLOGRAM MANIPULATION USING IMU}
본 발명은 IMU를 이용한 직접 홀로그램 조작에 관한 것이다.
증강 현실(AR; augmented reality)은, 실세계(real-world) 환경의 지각(perception)(또는 실세계 환경을 표현하는 데이터)이 컴퓨터 생성(computer-generated) 가상 데이터로 증강되거나 수정되어진 증강 실세계 환경을 제공하는 것에 관한 것이다. 예를 들어, 실세계 환경을 표현하는 데이터가 카메라 또는 마이크로폰과 같은 감각 입력(sensory input) 디바이스를 사용하여 실시간으로 캡쳐될 수 있고 가상 이미지 및 가상 사운드를 포함한 컴퓨터 생성 가상 데이터로 증강될 수 있다. 가상 데이터는 또한, 실세계 환경에서의 실세계 객체(object)와 연관된 텍스트 묘사(description)와 같은, 실세계 환경과 관련된 정보를 포함할 수 있다. AR 환경 내의 객체들은 실제 객체(즉, 특정 실세계 환경 내에 존재하는 객체) 및 가상 객체(즉, 특정 실세계 환경 내에 존재하지 않는 객체)를 포함할 수 있다.
가상 객체를 AR 환경 안으로 현실적으로 통합하기 위하여, AR 시스템은 통상적으로 매핑(mapping) 및 로컬리제이션(localization)을 포함한 여러 가지 태스크(task)들을 수행한다. 매핑은 실세계 환경의 맵(map)을 생성하는 프로세스와 관련된다. 로컬리제이션은 실세계 환경의 맵에 관련하여 특정 관점 또는 포즈를 위치시키는 프로세스와 관련된다. 일부 경우에, AR 시스템은, 이동 디바이스가 실세계 환경 내에서 이동할 때에 증강될 필요가 있는 이동 디바이스와 연관될 특정 뷰를 결정하기 위하여 실시간으로 실세계 환경 내에서 이동하는 이동 디바이스의 포즈를 로컬라이징할 수 있다.
헤드 마운티드 디스플레이(HMD; head-mounted display) 디바이스와 연관된 증강 현실 환경의 제어를 용이하게 하기 위한 기술이 기재된다. 일부 실시예에서, 이차 디바이스(예를 들어, 이동 전화)와 연관된 모션 및/또는 배향 정보를 사용하여, 가상 포인터가 HMD의 최종 사용자에게 디스플레이되고 최종 사용자에 의해 제어될 수 있다. 가상 포인터를 사용하여, 최종 사용자는 증강 현실 환경 내의 가상 객체를 선택 및 조작하고, 증강 현실 환경 내의 실세계 객체를 선택하고/선택하거나 HMD의 그래픽 사용자 인터페이스를 제어할 수 있다. 일부 경우에, 증강 현실 환경 내의 가상 포인터의 초기 위치는, 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고 있거나 최근에 집중한 특정 객체에 기초하여 결정될 수 있다.
이 요약은 개념의 선택을 단순화된 형태로 소개하고자 제공된 것이며, 이는 아래에 상세한 설명에 더 기재된다. 이 요약은 청구하는 주제의 핵심 특징 또는 필수 특징을 나타내고자 하는 것도 아니며, 청구하는 주제의 범위를 결정하는 것을 돕는데 사용되고자 하는 것도 아니다.
도 1은 개시된 기술이 실시될 수 있는 네트워크형 컴퓨팅 환경의 하나의 실시예의 블록도이다.
도 2a는 제2 이동 디바이스와 통신하는 이동 디바이스의 하나의 실시예를 도시한다.
도 2b는 HMD의 일부의 하나의 실시예를 도시한다.
도 2c는 주시점(point of gaze)으로 연장하는 시선 벡터(gaze vector)가 원거리(far) 동공간 거리(IPD; inter-pupillary distance)를 정렬하기 위해 사용되는 HMD의 일부의 하나의 실시예를 도시한다.
도 2d는 주시점으로 연장하는 시선 벡터가 근거리(near) 동공간 거리(IPD)를 정렬하기 위해 사용되는 HMD의 일부의 하나의 실시예를 도시한다.
도 2e는 시선 검출 요소를 포함하는 이동가능한 디스플레이 광학 시스템을 구비한 HMD의 일부의 하나의 실시예를 도시한다.
도 2f는 시선 검출 요소를 포함하는 이동가능한 디스플레이 광학 시스템을 구비한 HMD의 일부의 대안의 실시예를 도시한다.
도 2g는 HMD의 일부의 측면의 하나의 실시예를 도시한다.
도 2h는 마이크로디스플레이 어셈블리의 3차원 조정의 지원을 제공하는 HMD의 일부의 측면의 하나의 실시예를 도시한다.
도 3은 캡처 디바이스 및 컴퓨팅 환경을 포함하는 컴퓨팅 시스템의 하나의 실시예를 도시한다.
도 4 내지 도 6은 이차 디바이스와 연관된 모션 및/또는 배향 정보를 사용하여 HMD의 최종 사용자에게 가상 포인터가 디스플레이되고 최종 사용자에 의해 제어될 수 있는 다양한 증강 현실 환경의 다양한 실시예들을 도시한다.
도 7a는 이차 디바이스를 사용하여 증강 현실 환경을 제어하는 방법의 하나의 실시예를 기재한 흐름도이다.
도 7b는 초기 가상 포인터 위치를 결정하는 프로세스의 하나의 실시예를 기재한 흐름도이다.
도 7c는 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변했는지 여부를 결정하는 프로세스의 하나의 실시예를 기재한 흐름도이다.
도 8은 이차 디바이스를 사용하여 증강 현실 환경을 제어하는 방법의 대안의 실시예를 기재한 흐름도이다.
도 9는 이동 디바이스의 하나의 실시예의 블록도이다.
헤드 마운티드 디스플레이(HMD; head-mounted display) 디바이스와 연관된 증강 현실 환경의 고정밀도 제어를 제공하기 위한 기술이 기재된다. 일부 실시예에서, 이차 디바이스(예를 들어, HMD에 모션 및/또는 배향 정보를 제공할 수 있는 능력을 갖는 이동 전화 또는 다른 디바이스)와 연관된 모션 및/또는 배향 정보를 사용하여, HMD의 최종 사용자에게 가상 포인터가 디스플레이되고 최종 사용자에 의해 제어될 수 있다. 가상 포인터를 사용하여, 최종 사용자는, 증강 현실 환경 내의 가상 객체를 선택 및 조작하고, 증강 현실 환경 내의 실세계 객체를 선택하고/선택하거나 HMD의 그래픽 사용자 인터페이스를 제어할 수 있다(예를 들어, 최종 사용자는 애플리케이션을 선택하거나, 가상 객체를 드래그 앤 드롭(drag and drop)하거나, 또는 증강 현실 환경의 일부를 줌인할 수 있음). 선택 가능한 가상 또는 실세계 객체를 가상 포인터가 가리키는(또는 오버레이하는) 경우, HMD는 객체가 선택 가능한 것이라는 피드백을 최종 사용자에게 제공할 수 있다(예를 들어, 선택 가능한 객체와 연관된 추가의 정보가 이용 가능함을 최종 사용자에게 알리도록 진동, 사운드, 또는 시각적 표시자가 사용될 수 있음). 일부 경우에, 증강 현실 환경 내의 가상 포인터의 초기 위치는, 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고(focus on) 있거나 최근에 집중한 특정 객체에 기초하여 결정될 수 있다.
HMD를 사용하여 증강 현실 환경을 제어하는 것에 대한 하나의 쟁점은, 다른 컴퓨팅 디바이스(예를 들어, 터치스크린 인터페이스를 포함하는 태블릿 컴퓨터)와는 달리, HMD 자체는 손 및/또는 손가락 제스처를 사용하여 객체의 조작을 가능하게 하는 인터페이스를 제공하지 않는다는 것이다. 더욱이, 객체(예를 들어, HMD의 시야(field of view) 내의 작은 객체)를 선택할 수 있는 능력은, 최종 사용자의 목의 피로를 유도할 수도 있는 사용자의 머리 배향을 조정하는 것보다, 손 및/또는 손가락 움직임을 사용하여 최종 사용자에 의해 더 정밀하게 제어될 수 있다. 따라서, 팔, 손, 및/또는 손가락 움직임을 사용하여 HMD의 최종 사용자에 의해 조작될 수 있는 이차 디바이스를 사용하여 HMD와 연관된 증강 현실 환경의 제어를 용이하게 하려는 필요성이 존재한다.
도 1은 개시된 기술이 실시될 수 있는 네트워크형 컴퓨팅 환경(100)의 하나의 실시예의 블록도이다. 네트워크형 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호접속되어 있는 복수의 컴퓨팅 디바이스들을 포함한다. 하나 이상의 네트워크(180)는 특정 컴퓨팅 디바이스가 또다른 컴퓨팅 디바이스에 접속하여 통신할 수 있게 한다. 도시된 컴퓨팅 디바이스는 이동 디바이스(11), 이동 디바이스(12), 이동 디바이스(19), 및 서버(15)를 포함한다. 일부 실시예에서, 복수의 컴퓨팅 디바이스들은 도시되지 않은 다른 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예에서, 복수의 컴퓨팅 디바이스들은 도 1에 도시된 컴퓨팅 디바이스의 개수보다 더 많거나 더 적은 수를 포함할 수 있다. 하나 이상의 네트워크(180)는 엔터프라이즈 사설 네트워크와 같은 보안 네트워크, 무선 공개 네트워크와 같은 보안되지 않은 네트워크, LAN(local area network), WAN(wide area network), 및 인터넷을 포함할 수 있다. 하나 이상의 네트워크(180)의 각각의 네트워크는 허브, 브릿지, 라우터, 스위치, 및 유선 네트워크나 직접 유선 접속과 같은 유선 전송 매체를 포함할 수 있다.
보조 정보 서버 또는 애플리케이션 서버를 포함할 수 있는 서버(15)는, 클라이언트가 서버로부터 정보(예를 들어, 텍스트, 오디오, 이미지, 및 비디오 파일)를 다운로드하거나 서버 상에 저장된 특정 정보에 관련된 검색 질의를 수행할 수 있게 할 수 있다. 일반적으로, "서버"는, 클라이언트-서버 관계에서 호스트로서의 역할을 하는 하드웨어 디바이스 또는 하나 이상의 클라이언트와 자원을 공유하거나 작업을 수행하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트-서버 관계에서 컴퓨팅 디바이스들 간의 통신은, 클라이언트가 서버에 특정 자원에 대한 접근 또는 특정 작업이 수행될 것을 요구하는 요청을 보냄으로써 개시될 수 있다. 그 후에 서버는 요청된 동작을 수행하고 클라이언트에 응답을 되보낼 수 있다.
서버(15)의 하나의 실시예는, 네트워크 인터페이스(155), 프로세서(156), 메모리(157), 및 번역기(translator)(158)를 포함하며, 이들은 전부 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크(180)에 접속할 수 있게 해준다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(156)는 여기에서 설명된 프로세스를 수행하기 위하여 서버(15)가 메모리(157)에 저장된 컴퓨터 판독가능한 명령어들을 실행할 수 있게 해준다. 번역기(158)는 제1 파일 포맷의 제1 파일을 제2 파일 포맷의 대응하는 제2 파일로 변역하기 위한 매핑 로직을 포함할 수 있다(즉, 제2 파일은 제1 파일의 번역된 버전일 수 있음). 번역기(158)는 제1 파일 포맷의 파일들(또는 이의 일부)을 제2 파일 포맷의 대응하는 파일들로 매핑하는 명령어들을 제공하는 파일 매핑 명령어들을 사용하여 구성될 수 있다.
이동 디바이스(19)의 하나의 실시예는, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서(149), 및 디스플레이(150)를 포함하며, 이들은 전부 서로 통신한다. 네트워크 인터페이스(145)는 이동 디바이스(19)가 하나 이상의 네트워크(180)에 접속할 수 있게 해준다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 여기에서 설명된 프로세스를 수행하기 위하여 이동 디바이스(19)가 메모리(147)에 저장된 컴퓨터 판독가능한 명령어들을 실행할 수 있게 해준다. 카메라(148)는 컬러 이미지 및/또는 깊이 이미지를 캡처할 수 있다. 센서(149)는 이동 디바이스(19)와 연관된 모션 및/또는 배향 정보를 생성할 수 있다. 일부 경우에, 센서(149)는 관성 측정 장비(IMU; inertial measurement unit)를 포함할 수 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(150)는 시스루(see-through) 디스플레이를 포함할 수 있다.
일부 실시예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서(149)를 포함하는 이동 디바이스(19)의 다양한 컴포넌트들은 단일 칩 기판 상에 통합될 수 있다. 하나의 예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서(149)는 SOC(system on chip)으로서 통합될 수 있다. 다른 실시예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서(149)는 단일 패키지 내에 통합될 수 있다.
일부 실시예에서, 이동 디바이스(19)는 카메라(148), 센서(149), 및 프로세서(146) 상에서 실행되는 제스처 인식 소프트웨어를 채용함으로써 내추럴 사용자 인터페이스(NUI; natural user interface)를 제공할 수 있다. 내추럴 사용자 인터페이스를 이용해, 사람의 신체 부분 및 움직임이 검출되고 해석되며 컴퓨팅 애플리케이션의 다양한 양상들을 제어하는 데에 사용될 수 있다. 하나의 예에서, 내추럴 사용자 인터페이스를 이용하는 컴퓨팅 디바이스는 컴퓨팅 디바이스와 상호작용하는 사람의 의도(예를 들어, 최종 사용자가 컴퓨팅 디바이스를 제어하기 위하여 특정 제스처를 수행하였음)를 추론할 수 있다.
네트워크형 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스들에 대한 클라우드(cloud) 컴퓨팅 환경을 제공할 수 있다. 클라우드 컴퓨팅은 인터넷 기반의 컴퓨팅을 지칭하며, 공유 자원, 소프트웨어, 및/또는 정보가 인터넷(또는 다른 글로벌 네트워크)을 통해 요구시 하나 이상의 컴퓨팅 디바이스에 제공된다. 용어 "클라우드"는, 그것이 나타내는 기본적인 기반구조의 추상화로서 인터넷을 도시하도록 컴퓨팅 네트워킹 도면에 사용되는 클라우드 도면에 기초하여, 인터넷에 대한 비유로서 사용된다.
하나의 예에서, 이동 디바이스(19)는, HMD의 최종 사용자에게 증강 현실 환경 또는 혼합 현실 환경을 제공하는 HMD를 포함한다. HMD는 비디오 시스루 및/또는 광학 시스루 시스템을 포함할 수 있다. 최종 사용자가 착용한 광학 시스루 HMD는 (예를 들어, 투명 렌즈를 통해) 실세계 환경의 실제 직접 시청을 가능하게 할 수 있고, 동시에, 최종 사용자의 시야(visual field) 안으로 가상 객체의 이미지를 투영함으로써 최종 사용자가 지각하는 실세계 환경을 가상 객체로 증강할 수 있다.
HMD를 이용하여, 최종 사용자는 HMD를 착용하며 실세계 환경(예를 들어, 거실)을 거닐 수 있고, 가상 객체의 이미지가 오버레이된 실세계의 뷰를 지각할 수 있다. 가상 객체는 실세계 환경과의 일관된(coherent) 공간 관계를 유지하도록 보일 수 있다(즉, 최종 사용자가 그의 머리를 돌리거나 실세계 환경 내에서 이동할 때에, 최종 사용자에게 디스플레이된 이미지는, 가상 객체가 최종 사용자가 지각하는 실세계 환경 내에 존재하는 것으로 보이도록 변할 것임). 가상 객체는 또한, 최종 사용자의 관점(point of view)에 관련하여 고정된 것으로 보일 수 있다(예를 들어, 최종 사용자가 그의 머리를 어떻게 돌리는지 또는 실세계 환경 내에서 어떻게 이동하는지에 관계없이 최종 사용자의 관점의 상단 우측 코너에 항상 보이는 가상 메뉴). 하나의 실시예에서, 실세계 환경의 환경 매핑(environmental mapping)은 서버(15)에 의해 수행될 수 있으며(즉, 서버 측에서), 카메라 로컬리제이션은 이동 디바이스(19) 상에서 수행될 수 있다(즉, 클라이언트 측에서). 가상 객체는 실세계 객체와 연관된 텍스트 묘사를 포함할 수 있다.
일부 실시예에서, 이동 디바이스(19)와 같은 이동 디바이스는 서버(15)와 같은 클라우드 내의 서버와 통신할 수 있고, 서버에 위치 정보(예를 들어, GSP 좌표를 통한 이동 디바이스의 위치) 및/또는 이동 디바이스와 연관된 이미지 정보(예를 들어, 이동 디바이스의 시야 내에서 검출된 객체에 관한 정보)를 제공할 수 있다. 응답으로, 서버는 서버에 제공된 위치 정보 및/또는 이미지 정보에 기초하여 하나 이상의 가상 객체를 이동 디바이스에 전송할 수 있다. 하나의 실시예에서, 이동 디바이스(19)는 하나 이상의 가상 객체를 수신하기 위한 특정 파일 포맷을 지정할 수 있고, 서버(15)는 특정 파일 포맷의 파일 내에 내장된 하나 이상의 가상 객체를 이동 디바이스(19)에 전송할 수 있다.
일부 실시예에서, 이차 디바이스(예를 들어, HMD에 모션 및/또는 배향 정보를 제공할 수 있는 능력을 갖는 이동 전화 또는 다른 디바이스)와 연관된 모션 및/또는 배향 정보를 사용하여, 가상 포인터가 이동 디바이스(19)의 최종 사용자에게 디스플레이되고 최종 사용자에 의해 제어될 수 있다. 가상 포인터를 사용하여, 최종 사용자는 증강 현실 환경 내에서 가상 객체를 선택 및 조작하고, 증강 현실 환경 내에서 실세계 객체를 선택하고/선택하거나 HMD의 그래픽 사용자 인터페이스를 제어할 수 있다(예를 들어, 최종 사용자는 애플리케이션을 선택하거나, 가상 객체를 드래그 앤 드롭하거나, 증강 현실 환경의 일부를 줌인할 수 있음). 선택 가능한 가상 또는 실세계 객체를 가상 포인터가 가리키는(또는 오버레이하는) 경우, HMD는 객체가 선택 가능한 것이라는 피드백을 최종 사용자에게 제공할 수 있다(예를 들어, 선택 가능한 객체와 연관된 추가의 정보가 이용 가능함을 최종 사용자에게 알리도록 진동, 사운드, 또는 시각적 표시자가 사용될 수 있음). 일부 경우에, 증강 현실 환경 내의 가상 포인터의 초기 위치는 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고 있거나 최근에 집중한 특정 객체에 기초하여 결정될 수 있다.
도 2a는 제2 이동 디바이스(5)와 통신하는 이동 디바이스(19)의 하나의 실시예를 도시한다. 이동 디바이스(19)는 시스루 HMD를 포함할 수 있다. 도시된 바와 같이, 이동 디바이스(19)는 유선 접속(6)을 통해 이동 디바이스(5)와 통신한다. 그러나, 이동 디바이스(19)는 또한 무선 접속을 통해 이동 디바이스(5)와 통신할 수 있다. 이동 디바이스(5)는, 계산 집약적 프로세싱 태스크들(예를 들어, 가상 객체의 렌더링)을 오프로드(offload)하고 이동 디바이스(19) 상에 증강 현실 환경을 제공하는데 사용될 수 있는 가상 객체 정보 및 기타 데이터를 저장하기 위하여, 이동 디바이스(19)에 의해 사용될 수 있다. 이동 디바이스(5)는 또한 이동 디바이스(19)에 이동 디바이스(5)와 연관된 모션 및/또는 배향 정보를 제공할 수 있다. 하나의 예에서, 모션 정보는 이동 디바이스(5)와 연관된 속도 또는 가속도를 포함할 수 있고, 배향 정보는 특정 좌표 시스템 또는 기준 프레임을 중심으로 한 회전 정보를 제공하는 오일러(Euler) 각을 포함할 수 있다. 일부 경우에, 이동 디바이스(5)와 연관된 모션 및/또는 배향 정보를 획득하기 위하여 이동 디바이스(5)는 관성 측정 장비(IMU)와 같은 모션 및 배향 센서를 포함할 수 있다.
도 2b는 도 1의 이동 디바이스(19)와 같은 HMD의 일부의 하나의 실시예를 도시한다. HMD(200)의 우측만 도시되어 있다. HMD(200)는 우측 안경다리(temple)(202), 코걸이(nose bridge)(204), 안경(216), 및 안경 프레임(214)을 포함한다. 우측 안경다리(202)는 프로세싱 유닛(236)과 통신하는 캡처 디바이스(213)(예를 들어, 전면(front facing) 카메라 및/또는 마이크로폰)를 포함한다. 캡처 디바이스(213)는 디지털 이미지 및/또는 비디오를 기록하기 위한 하나 이상의 카메라를 포함할 수 있고, 프로세싱 유닛(236)에 시각적 기록을 전송할 수 있다. 하나 이상의 카메라는 컬러 정보, IR 정보, 및/또는 깊이 정보를 캡처할 수 있다. 캡처 디바이스(213)는 또한 사운드를 기록하기 위한 하나 이상의 마이크로폰을 포함할 수 있고, 프로세싱 유닛(236)에 오디오 기록을 전송할 수 있다.
우측 안경다리(202)는 또한, 생체 센서(220), 아이 트래킹(eye tracking) 시스템(221), 이어폰(230), 모션 및 배향 센서(238), GPS 수신기(232), 전원(239), 및 무선 인터페이스(237)를 포함하며, 이들은 전부 프로세싱 유닛(236)과 통신한다. 생체 센서(220)는 HMD(200)의 최종 사용자와 연관된 맥박 또는 심박수를 결정하기 위한 하나 이상의 전극 및 HMD(200)의 최종 사용자와 연관된 신체 온도를 결정하기 위한 온도 센서를 포함할 수 있다. 하나의 실시예에서, 생체 센서(220)는 최종 사용자의 안경다리에 대항하여 누르는 맥박수 측정 센서를 포함한다. 모션 및 배향 센서(238)는 3축 자력계, 3축 자이로(gyro), 및/또는 3축 가속도계를 포함할 수 있다. 하나의 실시예에서, 모션 및 배향 센서(238)는 관성 측정 장비(IMU)를 포함할 수 있다. GPS 수신기는 HMD(200)와 연관된 GPS 위치를 결정할 수 있다. 프로세싱 유닛(236)은 하나 이상의 프로세서 및 하나 이상의 프로세서 상에서 실행될 컴퓨터 판독가능한 명령어들을 저장하기 위한 메모리를 포함할 수 있다. 메모리는 또한 하나 이상의 프로세서 상에서 실행될 다른 유형의 데이터도 저장할 수 있다.
하나의 실시예에서, 아이 트래킹 시스템(221)은 내측면(inward facing) 카메라를 포함할 수 있다. 또다른 실시예에서, 아이 트래킹 시스템(221)은 아이 트래킹 조명원 및 관련 아이 트래킹 IR 센서를 포함할 수 있다. 하나의 실시예에서, 아이 트래킹 조명원은 대략 미리 결정된 IR 파장 또는 파장 범위를 방출하는 레이저(예를 들어, VCSEL) 또는 적외선 발광 다이오드(LED)와 같은 하나 이상의 적외선(IR) 이미터를 포함할 수 있다. 일부 실시예에서, 아이 트래킹 센서는 글린트(glint) 위치를 추적하기 위한 IR 위치 감지 검출기(PSD; position sensitive detector) 또는 IR 카메라를 포함할 수 있다. 아이 트래킹 시스템에 관한 더 많은 정보는, "Head Mounted Eye Tracking and Display System"이란 명칭으로 2008년 7월 22일 허여된 미국 특허 제7,401,920호, 및 "Integrated Eye Tracking and Display System"이란 명칭으로 2011년 9월 26일 출원된 미국 특허 출원 번호 제13/245,700호(마이크로소프트 변호사 관리 번호(Microsoft Attorney Docket No.) 333604.01)에서 찾아볼 수 있다.
하나의 실시예에서, 안경(216)은 시스루 디스플레이를 포함할 수 있으며, 그에 의해 프로세싱 유닛(236)에 의해 생성된 이미지가 시스루 디스플레이 상에 투영 및/또는 디스플레이될 수 있다. 캡처 디바이스(213)는 캡처 디바이스(213)에 의해 캡처된 시야가 HMD(200)의 최종 사용자가 보는 시야에 대응하도록 교정될(calibrated) 수 있다. 이어폰(230)은 가상 객체의 투영된 이미지와 연관된 사운드를 출력하도록 사용될 수 있다. 일부 실시예에서, HMD(200)는, 전면 카메라에 의해 캡처된 시야와 연관된 스테레오 정보로부터 깊이를 얻기 위하여, 둘 이상의 전면 카메라(예를 들어, 각각의 안경다리마다 하나씩)를 포함할 수 있다. 둘 이상의 전면 카메라는 또한, 3D, IR, 및/또는 RGB 카메라를 포함할 수 있다. 깊이 정보는 또한, 모션 기술로부터의 깊이를 이용하는 단일 카메라로부터 획득될 수도 있다. 예를 들어, 상이한 시점(point in time)에서의 2개의 상이한 공간점(point in space)과 연관된 2개의 이미지가 단일 카메라로부터 획득될 수 있다. 2개의 상이한 공간점에 관한 위치 정보가 주어진다면 그 다음 시차(parallax) 계산이 수행될 수 있다.
일부 실시예에서, HMD(200)는, 각막 중심, 안구 회전 중심, 또는 동공 중심과 같은 하나 이상의 사람 눈 요소들에 관련한 3차원 좌표 시스템 및 시선 검출(gaze detection) 요소들을 사용하여, 최종 사용자의 눈의 각 눈에 대하여 시선 검출을 수행할 수 있다. 시선 검출은 최종 사용자가 시야 내의 어느 곳을 포커싱하고 있는지 식별하는 데에 사용될 수 있다. 시선 검출 요소의 예는, 글린트 생성 조명기 및 생성된 글린트를 나타내는 데이터를 캡처하기 위한 센서를 포함할 수 있다. 일부 경우에, 각막 중심은 평면 기하학을 사용하여 2개의 글린트에 기초하여 결정될 수 있다. 각막 중심은 동공 중심과 안구 회전 중심을 연결하며, 안구 회전 중심은 특정 시선 또는 시야각에서 최종 사용자의 눈의 광축을 결정하기 위한 고정 위치로서 취급될 수 있다.
도 2c는 주시점(point of gaze)으로 연장하는 시선 벡터(gaze vector)가 원거리(far) 동공간 거리(IPD; inter-pupillary distance)를 정렬하기 위해 사용되는, HMD(2)의 일부의 하나의 실시예를 도시한다. HMD(2)는 도 1의 이동 디바이스(19)와 같은 이동 디바이스의 하나의 예이다. 도시된 바와 같이, 시선 벡터(180l 및 180r)는 최종 사용자로부터 멀리 떨어져 있는 주시점에서 교차한다(즉, 최종 사용자가 멀리 떨어져 있는 객체를 보고 있을 때에 시선 벡터(180l 및 180r)는 교차하지 않음). 안구(160l 및 160r)에 대한 안구 모델은 걸스트란드(Gullstrand) 모형 눈 모델에 기초하여 각 눈에 대하여 예시되어 있다. 각각의 안구는 회전 중심(166)을 갖는 구로서 모델링되어 있고, 중심(164)을 갖는 구로서 모델링된 각막(168)을 포함한다. 각막(168)은 안구와 함께 회전하고, 안구의 회전 중심(166)은 고정점으로서 취급될 수 있다. 각막(168)은 그 중심에 동공(162)을 갖는 홍채(iris)(170)를 덮는다. 각각의 각막의 표면(172) 상에는 글린트(174 및 176)가 있다.
도 2c에 도시된 바와 같이, 센서 검출 영역(139)(즉, 각각 139l 및 139r)은 안경 프레임(115) 내의 각각의 디스플레이 광학 시스템(14)의 광축과 정렬된다. 하나의 예에서, 검출 영역과 연관된 센서는, 프레임(115)의 좌측의 조명기(153a 및 153b)에 의해 각각 생성된 글린트(174l 및 176l)를 나타내는 이미지 데이터 및 프레임(115)의 우측의 조명기(153c 및 153d)에 의해 각각 생성된 글린트(174r 및 176r)를 나타내는 데이터를 캡처할 수 있는 하나 이상의 카메라를 포함할 수 있다. 안경 프레임(115)의 디스플레이 광학 시스템(14l 및 14r)을 통해, 최종 사용자의 시야는 실제 객체(190, 192, 및 194) 및 가상 객체(182 및 184) 둘 다를 포함한다.
회전 중심(166)으로부터 각막 중심(164)을 통해 동공(162)으로 형성된 축(178)은 눈의 광축을 포함한다. 시선 벡터(180)는 또한, 중심와(fovea)로부터 동공(162)의 중심을 통해 연장하는 가시선(line of sight) 또는 시축(visual axis)으로 지칭될 수 있다. 일부 실시예에서, 광축이 결정되고, 시선 벡터로서 선택되는 시축을 얻도록 사용자 캘리브레이션(calibration)을 통해 작은 보정(correction)이 결정된다. 각각의 최종 사용자에 대하여, 가상 객체는 상이한 수평 및 수직 위치에서 다수의 미리 결정된 위치 각각에서 디스플레이 디바이스에 의해 디스플레이될 수 있다. 광축은 각각의 위치에 있는 객체의 디스플레이 동안 각 눈에 대하여, 그리고 위치로부터 사용자의 눈 안으로 연장하는 것으로 모델링된 광선에 대하여 계산될 수 있다. 광축이 모델링된 광선과 정렬하도록 어떻게 이동되어야 하는지에 기초하여, 수평 및 수직 성분을 갖는 시선 오프셋 각도가 결정될 수 있다. 상이한 위치들로부터, 수평 또는 수직 성분을 갖는 평균 시선 오프셋 각도는 각각의 계산된 광축에 적용될 작은 보정으로서 선택될 수 있다. 일부 실시예에서는, 수평 성분만 시선 오프셋 각도 보정에 사용된다.
도 2c에 도시된 바와 같이, 시선 벡터(180l 및 180r)는, 안구로부터 주시점에서의 시야 안으로 연장함에 따라 벡터들이 함께 더 가까워지므로, 완벽하게 평행하지 않는다. 각각의 디스플레이 광학 시스템(14)에서, 시선 벡터(180)는 센서 검출 영역(139)이 중심 위치되는 광축과 교차하는 것으로 보인다. 이 구성에서, 광축은 동공간 거리(IPD)와 정렬된다. 최종 사용자가 앞으로 똑바로 보고 있을 때, 측정된 IPD는 또한 원거리 IPD로 지칭된다.
도 2d는 주시점으로 연장하는 시선 벡터가 근거리(near) 동공간 거리(IPD)를 정렬하기 위해 사용되는, HMD(2)의 일부의 하나의 실시예를 도시한다. HMD(2)는 도 1의 이동 디바이스(19)와 같은 이동 디바이스의 하나의 예이다. 도시된 바와 같이, 좌측 눈의 각막(168l)은 오른쪽으로 또는 최종 사용자의 코를 향해 회전되고, 우측 눈의 각막(168r)은 좌측으로 또는 최종 사용자의 코를 향해 회전된다. 둘 다의 동공은 최종 사용자의 특정 거리 내에 있는 실제 객체(194)를 응시하고 있다. 각 눈으로부터의 시선 벡터(180l 및 180r)는 실제 객체(194)가 위치되어 있는 파늄(Panum)의 융합 영역(fusional region)(195)에 들어간다. 파늄의 융합 영역은, 인간 시각(human vision)의 것과 비슷한 양안(binocular) 시청 시스템에서의 단일 시각 영역이다. 시선 벡터(180l 및 180r)의 교차는 최종 사용자가 실제 객체(194)를 보고 있음을 나타낸다. 이러한 거리에서, 안구가 안쪽으로 회전할 때에, 그들 동공 간의 거리는 근거리 IPD로 감소한다. 근거리 IPD는 통상적으로 원거리 IPD보다 약 4mm 더 작다. 근거리 IPD 거리 기준(예를 들어, 최종 사용자로부터 4 피트 미만에 있는 주시점)은 디스플레이 광학 시스템(14)의 IPD 정렬을 근거리 IPD의 것으로 전환하거나 조정하는 데에 사용될 수 있다. 근거리 IPD에 대하여, 각각의 디스플레이 광학 시스템(14)은 최종 사용자의 코를 향해 이동될 수 있으며, 그리하여 광축 및 검출 영역(139)은 검출 영역(139ln 및 139rn)으로 나타낸 바와 같이 수 밀리미터 코를 향해 이동한다.
HMD의 최종 사용자에 대한 IPD를 결정하고 그에 따라 디스플레이 광학 시스템을 조정하는 것에 관한 더 많은 정보는, "Personal Audio/Visual System"이란 명칭으로 2011년 9월 30일 출원된 미국 특허 출원 번호 제13/250,878호(마이크로소프트 변호사 관리 번호 334505.01)에서 찾아볼 수 있다.
도 2e는 시선 검출 요소를 포함하는 이동가능한 디스플레이 광학 시스템을 구비한 HMD(2)의 일부의 하나의 실시예를 도시한다. 각 눈에 대한 렌즈로서 보이는 것은 각 눈(예를 들어, 14l 및 14r)에 대한 디스플레이 광학 시스템(14)을 나타낸다. 디스플레이 광학 시스템은 HMD의 렌즈를 통해 보이는 실제의 직접적인 실세계 뷰와 가상 컨텐츠를 매끄럽게(seamlessly) 융합하기 위한 시스루 렌즈 및 광학 요소(예를 들어, 미러, 필터)를 포함한다. 디스플레이 광학 시스템(14)은 왜곡없는(distortionless) 뷰를 제공하도록 광이 전반적으로 시준되는 시스루 렌즈의 중심에 일반적으로 있는 광축을 갖는다. 예를 들어, 눈 관리 전문직원이 평범한 안경 쌍을 최종 사용자의 얼굴에 맞출 때, 안경은 보통, 각각의 동공이 각자의 렌즈의 중심 또는 광축과 정렬됨으로써 전반적으로 시준된 광이 선명하거나 왜곡없는 뷰를 위해 최종 사용자의 눈에 도달하게 되는 위치에서 최종 사용자의 코에 앉도록 피팅된다.
도 2e에 도시된 바와 같이, 적어도 하나의 센서의 검출 영역(139r, 139l)은 그의 각자의 디스플레이 광학 시스템(14r, 14l)의 광축과 정렬되며, 그리하여 검출 영역(139r, 139l)의 중심은 광축을 따라 광을 캡처한다. 디스플레이 광학 시스템(14)이 최종 사용자의 동공과 정렬되면, 각자의 센서(134)의 각각의 검출 영역(139)은 최종 사용자의 동공과 정렬된다. 검출 영역(139)의 반사된 광은 하나 이상의 광학 요소를 통해 카메라의 실제 이미지 센서(134)로 전달되며, 이는 도시된 실시예에서 프레임(115) 안에 있는 것으로 점선에 의해 예시되어 있다.
하나의 실시예에서, 적어도 하나의 센서(134)는 가시광 카메라(예를 들어, RGB 카메라)일 수 있다. 하나의 예에서, 광학 요소 또는 광 지향 요소는 가시광 반사 미러를 포함하는데, 이는 부분적으로 투과형이고 부분적으로 반사형이다. 가시광 카메라는 최종 사용자의 눈의 동공의 이미지 데이터를 제공하며, IR 광검출기(152)는 스펙트럼의 IR 부분에서의 반사인 글린트를 캡처한다. 가시광 카메라가 사용되는 경우, 카메라에 의해 캡처된 눈 데이터에서 가상 이미지의 반사가 나타날 수 있다. 원하는 경우 가상 이미지 반사를 제거하도록 이미지 필터링 기술이 사용될 수 있다. IR 카메라는 눈 상의 가상 이미지 반사를 감지하지 않는다.
또다른 실시예에서, 적어도 하나의 센서(134)(즉, 134l 및 134r)는 IR 복사선(radiation)이 향할 수 있는 위치 감지 검출기(PSD; position sensitive detector) 또는 IR 카메라이다. 눈으로부터 반사된 IR 복사선은 조명기(153), 기타 IR 조명기(도시되지 않음)의 입사 복사선으로부터, 또는 눈 밖으로 반사된 주변 IR 복사선으로부터 이루어질 수 있다. 일부 경우에, 센서(134)는 RGB 및 IR 카메라의 조합일 수 있고, 광 지향 요소는 가시광 반사 또는 전환(diverting) 요소 및 IR 복사선 반사 또는 전환 요소를 포함할 수 있다. 일부 경우에, 센서(134)는 시스템(14)의 렌즈 내에 내장될 수 있다. 또한, 사용자에의 임의의 혼란(distraction)을 줄이기 위해 사용자 시야 안에 카메라를 섞도록 이미지 필터링 기술이 적용될 수 있다.
도 2e에 도시된 바와 같이, 조명기(153)에 의해 생성된 입사 광과 광검출기(152)에서 수신된 반사 광 간의 간섭을 피하도록, 배리어(154)로 분리되며 광검출기(152)와 쌍을 이룬 조명기(153)의 4개 세트가 존재한다. 도면에서 불필요한 혼잡을 피하기 위해, 도면 번호는 대표 쌍에 대하여 나타나 있다. 각각의 조명기는 대략 미리 결정된 파장에서 광의 좁은 빔을 생성하는 적외선(IR) 조명기일 수 있다. 광검출기의 각각은 대략 미리 결정된 파장의 광을 캡처하도록 선택될 수 있다. 적외선은 또한 근적외선을 포함할 수 있다. 조명기 또는 광검출기의 파장 드리프트가 있을 수 있거나 파장에 대한 작은 범위가 수락 가능할 수 있을 때에, 조명기 및 광검출기는 생성 및 검출에 대한 파장에 관한 허용오차(tolerance) 범위를 가질 수 있다. 센서가 IR 카메라 또는 IR 위치 감지 검출기(PSD)인 일부 실시예에서, 광검출기는 추가의 데이터 캡처 디바이스를 포함할 수 있고, 또한 조명기의 동작, 예를 들어 파장 드리프트, 빔 폭 변경 등을 모니터링하는 데에 사용될 수 있다. 광검출기는 또한 센서(134)로서 가시광 카메라를 이용해 글린트 데이터를 제공할 수 있다.
도 2e에 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14) 및 (예를 들어, 카메라(134) 및 그의 검출 영역(139), 조명기(153) 및 광검출기(152)와 같은)각 눈과 마주하는 시선 검출 요소들의 그의 구성은 이동 가능한 내측 프레임 부분(117l, 117r)에 위치되어 있다. 이 예에서, 디스플레이 조정 메커니즘은 내측 프레임 부분(117)에 장착된 샤프트(shaft)(205)를 갖는 하나 이상의 모터(203)를 포함하며, 내측 프레임 부분(117)은 모터(203)에 의해 구동되는 샤프트(205)의 파워 및 안내로 프레임(115) 내에서 좌측에서 우측으로 또는 반대로 슬라이딩한다. 일부 실시예에서, 하나의 모터(203)가 둘 다의 내측 프레임을 구동할 수 있다.
도 2f는 시선 검출 요소들을 포함하는 이동 가능한 디스플레이 광학 시스템을 구비한 HMD(2)의 일부의 대안의 실시예를 도시한다. 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14)은 개별 프레임 부분(115l, 115r)에 둘러싸여 있다. 프레임 부분의 각각은 모터(203)에 의해 개별적으로 이동될 수 있다. 이동 가능한 디스플레이 광학 시스템을 구비한 HMD에 관한 더 많은 정보는, "Personal Audio/Visual System"이란 명칭으로 2011년 9월 30일 출원된 미국 특허 출원 번호 제13/250,878호(마이크로소프트 변호사 관리 번호 334505.01)에서 찾아볼 수 있다.
도 2g는 프레임(115)의 안경다리(102)를 포함하는 HMD(2)의 일부의 측면의 하나의 실시예를 도시한다. 프레임(115)의 전방에는 비디오 및 스틸 이미지를 캡처할 수 있는 전면 비디오 카메라(113)가 있다. 일부 실시예에서, 전면 카메라(113)는 깊이 카메라 뿐만 아니라 가시광 또는 RGB 카메라를 포함할 수 있다. 하나의 예에서, 깊이 카메라는 IR 조명기 송신기 및 가시 이미지 센서 앞의 열반사경(hot mirror)과 같은 열반사 표면을 포함할 수 있으며, 이는 가시광을 통과하게 하고 조명기에 의해 전송된 대략 미리 결정된 파장 또는 파장 범위 내의 반사된 IR 복사선을 CCD 또는 다른 타입의 깊이 센서로 지향시킨다. 다른 타입의 가시광 카메라(예를 들어, RGB 카메라 또는 이미지 센서) 및 깊이 카메라가 사용될 수 있다. 깊이 카메라에 관한 더 많은 정보는, 2010년 6월 11일 출원된 미국 특허 출원 번호 제12/813,675호(마이크로소프트 변호사 관리 번호 329566.01)에서 찾아볼 수 있다. 카메라로부터의 데이터는 이미지 분할 및/또는 에지 검출 기술을 통해 객체를 식별하기 위하여 처리를 위해 제어 회로(136)에 보내질 수 있다.
안경다리(102) 안에 또는 안경다리(102)에 장착되는 것으로는 이어폰(130), 관성 센서(132), GPS 트랜시버(144), 및 온도 센서(138)가 있다. 하나의 실시예에서, 관성 센서(132)는 3축 자력계, 3축 자이로, 및 3축 가속도계를 포함한다. 관성 센서는 HMD(2)의 위치, 배향, 및 급가속을 감지하기 위한 것이다. 이들 움직임으로부터 헤드 위치가 또한 결정될 수 있다.
일부 경우에, HMD(2)는 하나 이상의 가상 객체를 포함하는 하나 이상의 이미지를 생성할 수 있는 이미지 생성 유닛을 포함할 수 있다. 일부 실시예에서, 마이크로디스플레이가 이미지 생성 유닛으로서 사용될 수 있다. 도시된 바와 같이, 마이크로디스플레이 어셈블리(173)는 광 프로세싱 요소 및 가변 포커스 조정기(variable focus adjuster)(135)를 포함한다. 광 프로세싱 요소의 예는 마이크로디스플레이 유닛(120)이다. 다른 예로는, 렌즈 시스템(122)의 하나 이상의 렌즈와 같은 하나 이상의 광학 요소 및 표면(124)과 같은 하나 이상의 반사 요소를 포함한다. 렌즈 시스템(122)은 단일 렌즈 또는 복수의 렌즈를 포함할 수 있다.
안경다리(102)에 장착되거나 안경다리(102) 안에, 마이크로디스플레이 유닛(120)은 이미지 소스를 포함하고 가상 객체의 이미지를 생성한다. 마이크로디스플레이 유닛(120)은 렌즈 시스템(122) 및 반사 표면(124)과 광학적으로 정렬된다. 광학적 정렬은 광축(133) 또는 하나 이상의 광축을 포함하는 광학 경로(133)를 따를 수 있다. 마이크로디스플레이 유닛(120)은 이미지 광을 반사 요소(124)로 지향시킬 수 있는 렌즈 시스템(122)을 통해 가상 객체의 이미지를 투영한다. 가변 포커스 조정기(135)는 마이크로디스플레이 어셈블리의 요소의 광 출력 또는 마이크로디스플레이 어셈블리의 광학 경로의 하나 이상의 광 프로세싱 요소들 간의 변위(displacement)를 변경한다. 렌즈의 광 출력은 그의 초점거리의 역수(reciprocal)로서 정의되며(즉, 1/초점 거리), 그리하여 하나의 변화는 다른 것에 영향을 미친다. 초점 거리의 변화는 마이크로디스플레이 어셈블리(173)에 의해 생성된 이미지에 대한 포커스 내에 있는 시야 영역의 변화를 일으킨다.
변위 변화를 행하는 마이크로디스플레이 어셈블리(173)의 하나의 예에서, 변위 변화는 렌즈 시스템(122) 및 마이크로디스플레이(120)와 같은 적어도 하나의 광 프로세싱 요소를 지지하는 전기자(armature)(137) 내에서 안내된다. 전기자(137)는 선택된 변위 또는 광 출력을 달성하도록 요소들의 물리적 이동 동안 광학 경로(133)를 따라 정렬을 안정화하도록 돕는다. 일부 예에서, 조정기(135)는 전기자(137) 내의 렌즈 시스템(122)의 렌즈와 같은 하나 이상의 광학 요소들을 이동시킬 수 있다. 다른 예에서, 전기자는 광 프로세싱 요소 둘레의 영역에 홈 또는 공간을 가질 수 있으며, 그리하여 광 프로세싱 요소를 이동시키지 않고서 요소, 예를 들어 마이크로디스플레이(120) 위로 슬라이딩한다. 렌즈 시스템(122)과 같은 전기자 내의 또다른 요소는 시스템(122) 또는 그 안의 렌즈가 이동하는 전기자(137)와 함께 이동하거나 슬라이딩하도록 부착된다. 변위 범위는 통상적으로 수 밀리미터(mm) 정도이다. 하나의 예에서, 범위는 1-2 mm이다. 다른 예에서, 전기자(137)는, 변위가 아닌 다른 물리적 파라미터의 조정을 수반하는 초점 조정 기술을 위한 지원을 렌즈 시스템(122)에 제공할 수 있다. 이러한 파라미터의 예는 편광이다.
마이크로디스플레이 어셈블리의 초점 거리를 조정하는 것에 관한 더 많은 정보는, "Automatic Variable Virtual Focus for Augmented Reality Displays"이란 명칭으로 2010년 11월 8일 출원된 미국 특허 번호 제12/941,825호(마이크로소프트 변호사 관리 번호 330434.01)에서 찾아볼 수 있다.
하나의 실시예에서, 조정기(135)는 압전 모터와 같은 액추에이터일 수 있다. 액추에이터에 대한 다른 기술이 또한 사용될 수 있고, 이러한 기술의 일부 예는 코일 및 영구 자석으로 구성된 음성 코일, 자기변형 요소, 및 전기변형 요소이다.
여러 가지 상이한 이미지 생성 기술들이 마이크로디스플레이(120)를 구현하는 데에 사용될 수 있다. 하나의 예에서, 마이크로디스플레이(120)는, 백색광을 이용해 광학적으로 활성인 재료 및 백릿에 의해 광원이 변조되는 투과형 투영 기술을 사용하여 구현될 수 있다. 이들 기술은 보통 강력한 백라이트 및 높은 광학 에너지 밀도를 갖는 LCD 타입 디스플레이를 사용하여 구현된다. 마이크로디스플레이(120)는 또한, 외부 광이 반사되어 광학적으로 활성인 재료에 의해 변조되는 반사형 기술을 사용하여 구현될 수 있다. 조명은 기술에 따라 백색 소스 또는 RGB 소스에 의해 전방에 비춰질 수 있다. 디지털 광 프로세싱(DLP; digital light processing), LCOS(liquid crystal on silicon) 및 Qualcomm, Inc.로부터의 Mirasol® 디스플레이 기술은 전부, 대부분의 에너지가 변조된 구조로부터 반사될 때에 효율적인 반사 기술의 예이며, 여기에 기재된 시스템에서 사용될 수 있다. 또한, 마이크로디스플레이(120)는 디스플레이에 의해 광이 생성되는 방사(emissive) 기술을 사용하여 구현될 수 있다. 예를 들어, Microvision, Inc.로부터의 PicoPTM 엔진은, 마이크로 미러를 이용해 레이저 신호를 방출하며 투과형 요소로서 작용하는 아주 작은 스크린으로 나아가거나 눈으로 직접 빔된다(예를 들어, 레이저).
도 2h는 마이크로디스플레이 어셈블리의 3차원 조정을 위한 지원을 제공하는 HMD(2)의 일부의 측면의 하나의 실시예를 도시한다. 상기 도 2g에 예시된 번호 중의 일부는 도면에서의 혼잡을 피하도록 삭제되었다. 디스플레이 광학 시스템(14)이 3차원 중 임의의 방향으로 이동된 일부 실시예에서, 마이크로디스플레이 어셈블리(173)의 반사 표면(124) 및 기타 요소로 나타낸 광학 요소도 또한, 디스플레이 광학 시스템에의 가상 이미지의 광의 광학 경로(133)를 유지하기 위해 이동될 수 있다. 제어 회로(136)의 제어 하에 모터 블록(203)으로 나타낸 하나 이상의 모터 및 샤프트(205)로 구성된 이 예에서의 XYZ 이송 메커니즘은 마이크로디스플레이 어셈블리(173)의 요소들의 이동을 제어한다. 사용될 수 있는 모터의 예는 압전 모터이다. 예시된 예에서, 하나의 모터가 전기자(137)에 부착되고, 가변 포커스 조정기(135)도 이동시키며, 또다른 대표 모터(203)는 반사 요소(124)의 이동을 제어한다.
도 3은 캡처 디바이스(20) 및 컴퓨팅 환경(12)을 포함하는 컴퓨팅 시스템(10)의 하나의 실시예를 도시한다. 일부 실시예에서, 캡처 디바이스(20) 및 컴퓨팅 환경(12)은 단일 이동 컴퓨팅 디바이스 내에 통합될 수 있다. 단일 통합된 이동 컴퓨팅 디바이스는 도 1의 이동 디바이스(19)와 같은 이동 디바이스를 포함할 수 있다. 하나의 예에서, 캡처 디바이스(20) 및 컴퓨팅 환경(12)은 HMD 내에서 통합될 수 있다. 다른 실시예에서, 캡처 디바이스(20)는 도 2a의 이동 디바이스(19)와 같은 제1 이동 디바이스와 함께 통합될 수 있고, 컴퓨팅 환경(12)은 도 2a의 이동 디바이스(5)와 같은 제1 이동 디바이스와 통신하는 제2 이동 디바이스와 함께 통합될 수 있다.
하나의 실시예에서, 캡처 디바이스(20)는 이미지 및 비디오를 캡처하기 위한 하나 이상의 이미지 센서를 포함할 수 있다. 이미지 센서는 CCD 이미지 센서 또는 CMOS 이미지 센서를 포함할 수 있다. 일부 실시예에서, 캡처 디바이스(20)는 IR CMOS 이미지 센서를 포함할 수 있다. 캡처 디바이스(20)는 또한, 예를 들어 비행 시간(time-of-flight), 구조화된 광, 스테레오 이미지 등을 포함한 임의의 적합한 기술을 통해 깊이 값을 포함할 수 있는 깊이 이미지를 포함하는 깊이 정보와 함께 비디오를 캡처하도록 구성된 깊이 센서(또는 깊이 감지 카메라)를 포함할 수 있다.
캡처 디바이스(20)는 이미지 카메라 컴포넌트(32)를 포함할 수 있다. 하나의 실시예에서, 이미지 카메라 컴포넌트(32)는 장면의 깊이 이미지를 캡처할 수 있는 깊이 카메라를 포함할 수 있다. 깊이 이미지는 캡처된 장면의 2차원(2D) 픽셀 영역을 포함할 수 있으며, 여기에서 2D 픽셀 영역 내의 각 픽셀은, 이미지 카메라 컴포넌트(32)로부터의 캡처된 장면 내의 객체의, 예를 들어 센티미터, 밀리미터 등의 거리와 같은 깊이 값을 나타낼 수 있다.
이미지 카메라 컴포넌트(32)는 캡처된 영역의 깊이 이미지를 캡처하는 데에 사용될 수 있는 IR 광 컴포넌트(34), 3차원 카메라(36), 및 RGB 카메라(38)를 포함할 수 있다. 예를 들어, 비행 시간 분석에서, 캡처 디바이스(20)의 IR 광 컴포넌트(34)는 적외선 광을 캡처 영역으로 방출할 수 있고, 그 다음 예를 들어 3D 카메라(36) 및/또는 RGB 카메라(38)를 사용하여 캡처 영역 내의 하나 이상의 객체의 표면으로부터의 후방산란된 광을 검출하도록 센서를 사용할 수 있다. 일부 실시예에서, 아웃고잉 광 펄스와 대응하는 인커밍 광 펄스 사이의 시간이 측정되고 캡처 디바이스(20)로부터 캡처 영역 내의 하나 이상의 객체 상의 특정 위치까지의 물리적 거리를 결정하는 데에 사용될 수 있도록, 펄스형 적외선 광이 사용될 수 있다. 추가적으로, 위상 시프트를 결정하도록 아웃고잉 광파의 위상이 인커밍 광파의 위상과 비교될 수 있다. 그 다음, 위상 시프트는 캡처 디바이스로부터 하나 이상의 객체와 연관된 특정 위치까지의 물리적 거리를 결정하는 데에 사용될 수 있다.
또다른 예에서, 캡처 디바이스(20)는 깊이 정보를 캡처하도록 구조화된 광을 사용할 수 있다. 이러한 분석에서, 패터닝된 광(즉, 그리드 패턴 또는 스트라이프 패턴과 같은 공지된 패턴으로서 디스플레이된 광)이, 예를 들어 IR 광 컴포넌트(34)를 통해 캡처 영역으로 투영될 수 있다. 캡처 영역 내의 하나 이상의 객체(또는 타겟)의 표면에 부딪히면, 패턴은 이에 응답하여 변형되기 시작할 수 있다. 패턴의 이러한 변형은 예를 들어 3D 카메라(36) 및/또는 RGB 카메라(38)에 의해 캡처될 수 있고, 캡처 디바이스로부터 하나 이상의 객체 상의 특정 위치까지의 물리적 거리를 결정하도록 분석될 수 있다. 캡처 디바이스(20)는 시준 광을 생성하기 위한 광학기기(optics)를 포함할 수 있다. 일부 실시예에서, 구조화된 광 패턴을 생성하도록 레이저 프로젝터가 사용될 수 있다. 광 프로젝터는 레이저, 레이저 다이오드, 및/또는 LED를 포함할 수 있다.
일부 실시예에서, 둘 이상의 상이한 카메라들이 통합 캡처 디바이스로 통합될 수 있다. 예를 들어, 깊이 카메라 및 비디오 카메라(예를 들어, RGB 비디오 카메라)가 공통 캡처 디바이스로 통합될 수 있다. 일부 실시예에서, 동일하거나 상이한 타입의 둘 이상의 개별 캡처 디바이스들이 협력하여 사용될 수 있다. 예를 들어, 깊이 카메라 및 별개의 비디오 카메라가 사용될 수 있거나, 2개의 비디오 카메라가 사용될 수 있거나, 2개의 깊이 카메라가 사용될 수 있거나, 2개의 RGB 카메가 사용될 수 있거나, 또는 임의의 조합 및 개수의 카메라가 사용될 수 있다. 하나의 실시예에서, 캡처 디바이스(20)는 깊이 정보를 생성하도록 분해될 수 있는 시각적 스테레오 데이터를 얻기 위해 상이한 각도들로부터 캡처 영역을 볼 수 있는 둘 이상의 물리적으로 분리된 카메라들을 포함할 수 있다. 깊이는 또한, 단색광, 적외선, RGB, 또는 임의의 다른 타입의 검출기일 수 있는 복수의 검출기를 사용하여 이미지를 캡처하고 시차 계산을 수행함으로써 결정될 수 있다. 다른 타입의 깊이 이미지 센서가 또한 깊이 이미지를 생성하는 데에 사용될 수 있다.
도 3에 도시된 바와 같이, 캡처 디바이스(20)는 하나 이상의 마이크로폰(40)을 포함할 수 있다. 하나 이상의 마이크로폰(40)의 각각은 트랜스듀서 또는 센서를 포함할 수 있으며, 이는 사운드를 수신하여 전기 신호로 변환할 수 있다. 하나 이상의 마이크로폰은, 하나 이상의 마이크로폰들이 미리 결정된 레이아웃으로 배열될 수 있는 마이크로폰 어레이를 포함할 수 있다.
캡처 디바이스(20)는 이미지 카메라 컴포넌트(32)와 동작 가능하게 통신할 수 있는 프로세서(42)를 포함할 수 있다. 프로세서(42)는 표준화된 프로세서, 특수 프로세서, 마이크로프로세서 등을 포함할 수 있다. 프로세서(42)는, 필터 또는 프로파일을 저장하거나, 이미지를 수신 및 분석하거나, 특정 상황이 발생했는지 여부를 결정하기 위한 명령어, 또는 임의의 기타 적합한 명령어를 포함할 수 있는 명령어를 실행할 수 있다. 적어도 일부 이미지 분석 및/또는 타겟 분석 및 추적 동작은 캡처 디바이스(20)와 같은 하나 이상의 캡처 디바이스 내에 포함된 프로세서에 의해 실행될 수 있다는 것을 이해하여야 한다.
캡처 디바이스(20)는, 프로세서(42)에 의해 실행될 수 있는 명령어, 3D 카메라 또는 RGB 카메라에 의해 캡처된 이미지 또는 이미지의 프레임, 필터 또는 프로파일, 또는 임의의 기타 적합한 정보, 이미지 등을 저장할 수 있는 메모리(44)를 포함할 수 있다. 하나의 예에서, 메모리(44)는 랜덤 액세스 메모리(RAM; random access memory), 판독 전용 메모리(ROM; read only memory), 캐시, 플래시 메모리, 하드 디스크, 또는 임의의 기타 적합한 저장 컴포넌트를 포함할 수 있다. 도시된 바와 같이, 메모리(44)는 이미지 캡처 컴포넌트(32) 및 프로세서(42)와 통신하는 별개의 컴포넌트일 수 있다. 또다른 실시예에서, 메모리(44)는 프로세서(42) 및/또는 이미지 캡처 컴포넌트(32) 안으로 통합될 수 있다. 다른 실시예에서, 캡처 디바이스(20)의 컴포넌트들(32, 34, 36, 38, 40, 42 및 44)의 일부 또는 전부가 단일 하우징으로 하우징될 수 있다.
캡처 디바이스(20)는 통신 링크(46)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 통신 링크(46)는 예를 들어, USB 접속, FireWire 접속, Ethernet 케이블 접속 등을 포함한 유선 접속 및/또는 무선 802.11b, g, a, 또는 n 접속과 같은 무선 접속일 수 있다. 컴퓨팅 환경(12)은 통신 링크(46)를 통해 예를 들어 장면을 캡처할 때를 결정하는 데에 사용될 수 있는 클락(clock)을 캡처 디바이스(20)에 제공할 수 있다. 하나의 실시예에서, 캡처 디바이스(20)는 통신 링크(46)를 통해 컴퓨팅 환경(12)에 예를 들어 3D 카메라(36) 및/또는 RGB 카메라(38)에 의해 캡처된 이미지를 제공할 수 있다.
도 3에 도시된 바와 같이, 컴퓨팅 환경(12)은 애플리케이션(196)과 통신하는 이미지 및 오디오 프로세싱 엔진(194)을 포함한다. 애플리케이션(196)은 운영 체제 애플리케이션 또는 게임 애플리케이션과 같은 다른 컴퓨팅 애플리케이션을 포함할 수 있다. 이미지 및 오디오 프로세싱 엔진(194)은 가상 데이터 엔진(197), 객체 및 제스처 인식 엔진(190), 구조 데이터(198), 프로세싱 유닛(191), 및 메모리 유닛(192)을 포함하며, 이들은 전부 서로 통신한다. 이미지 및 오디오 프로세싱 엔진(194)은 캡처 디바이스(20)로부터 수신된 비디오, 이미지, 및 오디오 데이터를 처리한다. 객체의 검출 및/또는 추적을 돕도록, 이미지 및 오디오 프로세싱 엔진(194)은 구조 데이터(198) 및 객체 및 제스처 인식 엔진(190)을 이용할 수 있다. 가상 데이터 엔진(197)은 가상 객체를 처리하고, 메모리 유닛(192)에 저장된 실세계 환경의 다양한 맵에 관련하여 가상 객체의 위치 및 배향을 등록한다.
프로세싱 유닛(191)은 객체, 안면, 및 음성 인식 알고리즘을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 하나의 실시예에서, 이미지 및 오디오 프로세싱 엔진(194)은 이미지 또는 비디오 데이터에 객체 인식 및 안면 인식 기술을 적용할 수 있다. 예를 들어, 객체 인식은 특정 객체(예를 들어, 축구공, 차, 사람, 또는 랜드마크)를 검출하는 데에 사용될 수 있고, 안면 인식은 특정 사람의 얼굴을 검출하는 데에 사용될 수 있다. 이미지 및 오디오 프로세싱 엔진(194)은 오디오 데이터에 오디오 및 음성 인식 기술을 적용할 수 있다. 예를 들어, 오디오 인식은 특정 사운드를 검출하는 데에 사용될 수 있다. 검출될 특정 얼굴, 음성, 사운드, 및 객체는 메모리 유닛(192)에 포함된 하나 이상의 메모리에 저장될 수 있다. 프로세싱 유닛(191)은 여기에서 설명된 프로세스를 수행하기 위하여 메모리 유닛(192)에 저장된 컴퓨터 판독가능한 명령어를 실행할 수 있다.
이미지 및 오디오 프로세싱 엔진(194)은 객체 인식을 수행하는 동안 구조 데이터(198)를 이용할 수 있다. 구조 데이터(198)는 추적될 타겟 및/또는 객체에 관한 구조적 정보를 포함할 수 있다. 예를 들어, 신체 부분을 인식하는 것을 돕도록 인간의 골격 모델이 저장될 수 있다. 또다른 예에서, 구조 데이터(198)는 하나 이상의 무생물 객체를 인식하는 것을 돕기 위하여 하나 이상의 무생물 객체에 관한 구조적 정보를 포함할 수 있다.
이미지 및 오디오 프로세싱 엔진(194)은 또한 제스처 인식을 수행하는 동안 객체 및 제스처 인식 엔진(190)을 이용할 수 있다. 하나의 예에서, 객체 및 제스처 인식 엔진(190)은, 각각이 골격 모델에 의해 수행될 수 있는 제스처에 관련된 정보를 포함하는 제스처 필터들의 콜렉션을 포함할 수 있다. 객체 및 제스처 인식 엔진(190)은, (골격 모델에 의해 표현된) 사용자가 하나 이상의 제스처를 수행했을 때를 식별하도록, 골격 모델의 폼 및 그와 연관된 움직임에 있어서 캡처 디바이스(20)에 의해 캡처된 데이터와, 제스처 라이브러리의 제스처 필터들을 비교할 수 있다. 하나의 예에서, 이미지 및 오디오 프로세싱 엔진(194)은, 골격 모델의 움직임을 해석하는 것을 돕고 특정 제스처의 수행을 검출하도록 객체 및 제스처 인식 엔진(190)을 사용할 수 있다.
일부 실시예에서, 추적되고 있는 하나 이상의 객체는, 객체 검출 및/또는 추적을 개선하도록 IR 역반사 마커와 같은 하나 이상의 마커로 증강될 수 있다. 평면 기준 이미지, 코딩된 AR 마커, QR 코드, 및/또는 바코드도 또한 객체 검출 및/또는 추적을 개선하기 위해 사용될 수 있다. 하나 이상의 객체 및/또는 제스처의 검출시, 이미지 및 오디오 프로세싱 엔진(194)은, 적용가능한 경우, 검출된 각각의 객체 또는 제스처의 식별정보 및 대응하는 위치 및/또는 배향을 애플리케이션(196)에 보고할 수 있다.
객체를 검출하고 추적하는 것에 관한 더 많은 정보는, "Motion Detection Using Depth Images"란 명칭으로 2009년 12월 18일 출원된 미국 특허 출원 제12/641,788호(마이크로소프트 변호사 관리 번호 328322.01), 및 "Device for Identifying and Tracking Multiple Humans over Time"이란 명칭의 미국 특허 출원 제12/475,308호(마이크로소프트 변호사 관리 번호 326705.01)에서 찾아볼 수 있으며, 이들 출원 둘 다 그 전체가 참조에 의해 여기에 포함된다. 객체 및 제스처 인식 엔진(190)에 관한 더 많은 정보는, "Gesture Recognizer System Architecture"란 명칭으로 2009년 4월 13일 출원된 미국 특허 출원 제12/422,611호(마이크로소프트 변호사 관리 번호 325987.02)에서 찾아볼 수 있다. 제스처 인식에 관한 더 많은 정보는, "Standard Gestures"란 명칭으로 2009년 2월 23일 출원된 미국 특허 출원 제12/391,150호(마이크로소프트 변호사 관리 번호 326082.02), 및 "Gesture Tool"이란 명칭으로 2009년 5월 29일 출원된 미국 특허 출원 제12/474,655호(마이크로소프트 변호사 관리 번호 327160.01)에서 찾아볼 수 있다.
도 4 내지 도 6은 이차 디바이스와 연관된 모션 및/또는 배향 정보를 사용하여 가상 포인터가 HMD의 최종 사용자에게 디스플레이되고 최종 사용자에 의해 제어될 수 있는 다양한 증강 현실 환경의 다양한 실시예들을 도시한다. 가상 포인터를 사용하여, 최종 사용자는 증강 현실 환경 내의 가상 객체를 선택 및 조작하고, 증강 현실 환경 내의 실세계 객체를 선택하고/선택하거나 HMD의 그래픽 사용자 인터페이스를 제어할 수 있다(예를 들어, 최종 사용자는 애플리케이션을 선택하거나, 가상 객체를 드래그 앤 드롭하거나, 또는 증강 현실 환경의 일부를 줌인할 수 있음).
도 4는 도 1의 이동 디바이스(19)와 같은 HMD를 착용한 최종 사용자가 보는 바와 같은 증강 현실 환경(410)의 하나의 실시예를 도시한다. 도시된 바와 같이, 증강 현실 환경(410)은 가상 포인터(32), 가상 볼(25), 및 가상 몬스터(27)로 증강되었다. 증강 현실 환경(410)은 또한 의자(16)를 포함한 실세계 객체를 포함한다. 가상 포인터(32)를 사용하여, 최종 사용자는 가상 볼(25) 및 가상 몬스터(27)와 같은 가상 객체를 선택 및 조작할 수 있고, 의자(16)와 같은 실세계 객체를 선택할 수 있다. 일부 경우에, 최종 사용자는 객체와 연관된 추가의 정보를 획득 및 디스플레이하기 위하여 증강 현실 환경(410) 내의 객체(실제 또는 가상)를 선택할 수 있다. 최종 사용자는 또한, 증강 현실 환경(410) 내의 가상 객체를 이동, 재위치, 및/또는 드래그 앤 드롭시킬 수 있다. 일부 실시예에서, 가상 포인터가 선택 가능한 가상 또는 실세계 객체를 가리키는(또는 오버레이하는) 경우에, HMD는 객체가 선택 가능한 것이라는 피드백을 최종 사용자에게 제공할 수 있다(예를 들어, 선택 가능한 객체와 연관된 추가의 정보가 이용 가능함을 최종 사용자에게 알리도록 진동, 사운드, 또는 시각적 표시자가 사용될 수 있음). 하나의 실시예에서, 증강 현실 환경(410) 내의 가상 포인터(32)의 초기 위치는 최종 사용자가 응시하고 있는 특정 방향에 기초하여 결정될 수 있다.
도 5는 도 1의 이동 디바이스(19)와 같은 HMD를 착용한 최종 사용자가 보는 바와 같은 증강 현실 환경(410)의 하나의 실시예를 도시한다. 도시된 바와 같이, 증강 현실 환경(410)은 가상 포인터(32), 가상 볼(25), 및 가상 몬스터(27)로 증강되었다. 증강 현실 환경(410)은 또한 의자(16)를 포함한 실세계 객체를 포함한다. 하나의 실시예에서, 증강 현실 환경 내의 가상 포인터의 초기 위치는, 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고 있거나 최근에 집중한 특정 객체에 기초하여 결정될 수 있다. 일부 경우에, 가상 포인터(32)의 초기 위치는 최종 사용자의 응시 방향에 가장 가까운 가상 객체와 연관될 수 있다. 다른 경우에, 가상 포인터(32)의 초기 위치는 주어진 기간 내에(예를 들어, 마지막 30초 내에) 가장 집중하였던 증강 현실 환경(410) 내의 특정 객체(실제 또는 가상)와 연관될 수 있다.
도 6은 도 1의 이동 디바이스(19)와 같은 HMD를 착용한 최종 사용자가 보는 바와 같은 증강 현실 환경(410)의 하나의 실시예를 도시한다. 도시된 바와 같이, 증강 현실 환경(410)은 가상 포인터(32), 가상 볼(25), 및 가상 몬스터(27)로 증강되었다. 증강 현실 환경(410)은 또한 의자(16)를 포함한 실세계 객체를 포함한다. 하나의 실시예에서, 증강 현실 환경(410)의 일부(26)는 가상 포인터(32)의 위치에 기초하여 확대(또는 줌인)될 수 있다. 증강 현실 환경(410)의 줌인된 부분(26)은 증강 현실 환경(410) 내의 실제 및/또는 가상 객체의 선택을 개선하기 위하여 가상 포인터(32)와 함께 사용될 수 있다. 일부 실시예에서, 가상 포인터(32)의 제어는 이차 디바이스(예를 들어, HMD에 디바이스와 연관된 모션 및/또는 배향 정보를 제공할 수 있는 능력을 갖는 이동 전화 또는 기타 디바이스)의 움직임에 대응할 수 있다. 일부 경우에, 이차 디바이스는, 최종 사용자의 팔, 손, 및/또는 손가락 움직임과 연관된 모션 및/또는 배향 정보를 HMD에 제공할 수 있는 IMU 가능 반지, 시계, 팔찌, 또는 손목밴드를 포함할 수 있다.
도 7a는 이차 디바이스를 사용하여 증강 현실 환경을 제어하는 방법의 하나의 실시예를 기재한 흐름도이다. 하나의 실시예에서, 도 7a의 프로세스는 도 1의 이동 디바이스(19)와 같은 이동 디바이스에 의해 수행될 수 있다.
단계 702에서, HMD와 이차 디바이스 간의 연결이 확립된다. 이차 디바이스는 HMD에 모션 및/또는 배향 정보를 제공할 능력을 갖는 이동 전화 또는 기타 이동 디바이스(예를 들어, IMU 가능 반지 또는 손목밴드)를 포함할 수 있다. 하나의 실시예에서, 연결은 HMD에 인증 크리덴셜을 제공한 이차 디바이스로써 확립될 수 있다. HMD는 WiFi 접속 또는 블루투스 접속과 같은 무선 접속을 통해 이차 디바이스와 통신할 수 있다.
단계 704에서, HMD의 가상 포인터 모드에 대응하는 트리거링 이벤트가 검출된다. 가상 포인터 모드는 HMD의 최종 사용자가 HMD의 최종 사용자에게 제공된 증강 현실 환경 내의 가상 포인터를 제어하고 증강 현실 환경 내의 실제 객체 및/또는 가상 객체를 선택 및 조작할 수 있게 할 수 있다. 가상 포인터는 증강 현실 환경 내에서 최종 사용자에게 디스플레이될 수 있는 가상 화살표, 가상 커서, 또는 가상 가이드를 포함할 수 있다. 일부 경우에, 가상 포인터는 증강 현실 환경 안으로 투영되는 가상 광선(virtual ray)의 끝을 포함할 수 있다.
하나의 실시예에서, 트리거링 이벤트는 최종 사용자로부터의 음성 커맨드의 검출시(예를 들어, 최종 사용자가 "가상 포인트 온"이라 말함) 검출될 수 있다. 또다른 실시예에서, 트리거링 이벤트는 이차 디바이스와 연관된 특정 움직임 또는 제스처의 검출시(예를 들어, 이창 디바이스의 흔들기) 검출될 수 있다. 트리거링 이벤트는 또한, HMD의 최종 사용자가 행한 음성 커맨드와 물리적 움직임(예를 들어, 이차 디바이스 상의 버튼 누름)의 조합에 기초하여 검출될 수 있다. 일부 경우에, 트리거링 이벤트는 최종 사용자가 특정 제스처를 수행하는 것의 검출시(예를 들어, 가상 포인터 모드와 연관된 손 제스처) 검출될 수 있다.
단계 706에서, 초기 가상 포인터 위치가 결정된다. 하나의 실시예에서, 초기 가상 포인터 위치는 최종 사용자의 시선 방향(예를 들어, 최종 사용자가 보고 있는 증강 현실 환경 내의 특정 영역)에 기초하여 결정될 수 있다. 또다른 실시예에서, 초기 가상 포인터 위치는 최종 사용자가 응시하고 있는 특정 방향 및/또는 최종 사용자가 현재 집중하고 있거나 또는 최근에 집중한 특정 객체(예를 들어, 마지막 30초 내에 최종 사용자가 가장 집중하였던 특정 객체)에 기초하여 결정될 수 있다. 일부 경우에, 하나보다 더 많은 가상 포인터가 최종 사용자에게 디스플레이될 수 있으며, 가상 포인터의 각각은 상이한 컬러 또는 심볼과 연관된다. 최종 사용자는 가상 포인터 중 하나를 식별하는 음성 커맨드를 발행함으로써 가상 포인터 위치 중 하나를 선택할 수 있다. 초기 가상 포인터 위치를 결정하기 위한 프로세스의 하나의 실시예는 도 7b에 관련하여 나중에 기재된다.
단계 708에서, 이차 디바이스에 대한 초기 배향이 결정된다. 하나의 실시예에서, 초기 배향은 이차 디바이스에 의해 HMD에 제공된 배향 정보에 기초하여 HMD에 의해 결정될 수 있다. 그 후에, 이차 디바이스의 배향 변경이 초기 배향에 관련하여 행해질 수 있다. 또다른 실시예에서, 초기 배향은 이차 디바이스 자체에 의해 결정될 수 있으며, 이차 디바이스에서 상대 배향 변경이 HMD에 제공될 수 있다. 초기 배향은 HMD에 의해 제공된 기준 프레임에 대한 배향에 대응할 수 있다. 일부 경우에, HMD는 이차 디바이스로부터 HMD에 전송된 배향 정보의 드리프트 오류 또는 누적 오류를 보정하기 위하여 특정 기간 후에(예를 들어, 30초 후에) 이차 디바이스를 리셋 또는 재교정(recalibrate)할 수 있다.
단계 710에서, 업데이트된 배향 정보가 이차 디바이스로부터 획득된다. 배향 정보는 이차 디바이스로부터 무선 접속을 통해 HMD로 전송될 수 있다. 단계 712에서, 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변했는지의 여부가 결정된다. 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변했다면, 단계 716이 수행된다. 그렇지 않은 경우, 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변하지 않았다면, 단계 714가 수행된다. 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변했는지 여부를 결정하기 위한 프로세스의 하나의 실시예가 도 7c에 관련하여 나중에 기재된다.
단계 714에서는, 가상 포인터 모드가 디스에이블된다. 일부 경우에, 이차 디바이스와 연관된 배향 변경이 유효(valid) 배향 변경에 허용된 임계 범위를 벗어나기 때문에 가상 포인터 모드는 디스에이블될 수 있다. 하나의 예에서, 최종 사용자가 자신의 주머니에 이차 디바이스를 넣고서 걷거나 뛰기 시작했기 때문에, 배향 변경은 임계 범위에 의해 허용되는 것보다 더 클 수 있다. 또다른 예에서, 최종 사용자가 이차 디바이스를 테이블에 놓았기 때문에, 배향 변경은 타임아웃 기간(예를 들어, 2분)보다 더 긴 기간 동안 임계 범위보다 더 작을 수 있다.
단계 716에서, 가상 포인터 위치는 이차 디바이스의 배향 변경에 기초하여 업데이트된다. 단계 718에서, 가상 포인터 위치에 기초한 피드백이 HMD의 최종 사용자에게 제공된다. 하나의 실시예에서, 피드백은 햅틱(haptic) 피드백을 포함할 수 있다. 하나의 실시예에서, 가상 포인터 위치가 증강 현실 환경 내의 선택 가능한 객체와 연관된 경우, 피드백은 이차 디바이스의 진동을 포함할 수 있다. 또다른 실시예에서, 가상 포인터 위치가 선택 가능한 객체와 연관된 위치 또는 영역에 대응하는 경우, 피드백은 증강 현실 환경 내의 선택 가능한 객체의 하이라이팅(또는 다른 시각적 표시)을 포함할 수 있다. 피드백은 또한, 가상 포인터 위치가 증강 현실 환경 내의 선택 가능한 객체와 오버레이되는 경우, 오디오 신호 또는 사운드(예를 들어, 삐 소리)를 포함할 수 있다.
단계 720에서, HMD의 증강 현실 환경은 가상 포인터 위치에 기초하여 업데이트된다. 업데이트된 증강 현실 환경은 HMD를 통해 최종 사용자에게 디스플레이될 수 있다. 하나의 실시예에서, 증강 현실 환경은 가상 포인터를 업데이트된 가상 포인터 위치로 이동시킴으로써 업데이트될 수 있다. 또다른 실시예에서, 증강 현실 환경은, 선택 가능한 객체의 선택(예를 들어, 이차 디바이스의 흔들기를 통해) 및 선택 가능한 객체와 연관된 증강 현실 환경의 영역 내에 있는 가상 포인터 위치에 응답하여 증강 현실 환경 내의 선택 가능한 객체와 연관된 추가의 정보를 제공함으로써, 업데이트될 수 있다. 추가의 정보는 도 1의 서버(15)와 같은 보조 정보 서버로부터 획득될 수 있다. 일부 경우에, 가상 포인터가 (가상 포인터 위치에 따라)선택 가능한 객체에 더 가까워짐에 따라, 가상 포인터의 움직임은 선택 정확도를 개선하기 위하여 느려질 수 있다. 단계 720이 수행된 후에, 단계 710이 수행된다.
도 7b는 초기 가상 포인터 위치를 결정하기 위한 프로세스의 하나의 실시예를 기재한 흐름도이다. 도 7b에 기재된 프로세스는 도 7a의 단계 706을 구현하기 위한 프로세스의 하나의 예이다. 하나의 실시예에서, 도 7b의 프로세스는 도 1의 이동 디바이스(19)와 같은 이동 디바이스에 의해 수행될 수 있다.
단계 742에서, HMD의 최종 사용자와 연관된 시선 방향이 결정된다. 시선 방향은 시선 검출 기술을 사용하여 결정될 수 있고, 증강 현실 환경 내의 영역 또는 공간점에 대응할 수 있다. 단계 744에서, HMD의 시야와 연관된 제1 이미지 세트가 획득된다. 제1 이미지 세트는 컬러 및/또는 깊이 이미지들을 포함할 수 있다. 제1 이미지 세트는 도 2b의 캡처 디바이스(213)와 같은 캡처 디바이스를 사용하여 캡처될 수 있다.
단계 746에서, 시야 내의 하나 이상의 선택 가능한 객체가 제1 이미지 세트에 기초하여 식별된다. 하나 이상의 선택 가능한 객체는 제1 이미지 세트에 객체 및/또는 이미지 인식 기술을 적용함으로써 식별될 수 있다. 하나 이상의 선택 가능한 객체는 가상 객체(예를 들어, 가상 몬스터) 및/또는 실세계 객체(또는 의자)를 포함할 수 있다. 하나 이상의 선택 가능한 객체는, 그에 대한 추가의 정보가 획득되며 증강 현실 환경 내에서 최종 사용자에게 디스플레이될 수 있는 객체와 연관될 수 있다. 일부 경우에, 증강 현실 환경 내의 객체를 선택할 수 있는 능력은, HMD 상에서 실행 중인 애플리케이션의 상태에 따라 좌우될 수 있다(예를 들어, 애플리케이션 로직은 애플리케이션이 특정 상태에 있을 때에만 특정 타입의 가상 객체의 선택을 가능하게 할 수 있음).
단계 748에서, 하나 이상의 선택 가능한 객체 중에 시선 방향에 가장 가까운 선택 가능한 객체가 결정된다. 하나의 실시예에서, 선택 가능한 객체는, 시선 방향에 가장 가까운 증강 현실 환경 내의 위치와 연관된 가상 객체를 포함한다. 단계 750에서, 선택 가능한 객체와 연관된 가상 포인터 위치가 결정된다. 가상 포인터 위치는 선택 가능한 객체의 중심점에 대응할 수 있다. 단계 752에서, 가상 포인터 위치가 출력된다.
도 7c는 이차 디바이스의 배향이 타임아웃 기간 내의 임계 범위 내에서 변했는지 여부를 결정하기 위한 프로세스의 하나의 실시예를 기재한 흐름도이다. 도 7c에 기재된 프로세스는 도 7a의 단계 712를 구현하기 위한 프로세스의 하나의 예이다. 하나의 실시예에서, 도 7c의 프로세스는 도 1의 이동 디바이스(19)와 같은 이동 디바이스에 의해 수행될 수 있다.
단계 762에서, 업데이트된 배향 정보가 이차 디바이스로부터 획득된다. 이차 디바이스는 HMD의 최종 사용자가 휴대한 이동 전화 또는 핸드헬드 전자 디바이스를 포함할 수 있다. 단계 764에서, 업데이트된 배향 정보에 기초하여 이차 디바이스와 연관된 배향 변경이 결정된다. 하나의 실시예에서, 배향 변경은 이차 디바이스의 배향과 연관된 하나 이상의 오일러 각의 변경에 대응한다.
단계 766에서, 배향 변경이 상한 임계(upper threshold) 기준보다 더 큰지 여부가 결정된다. 하나의 실시예에서, 상한 임계 기준은 500 밀리초 기간 내에 30도보다 더 큰 배향 변경에 대응할 수 있다. 배향 변경이 상한 임계 기준보다 더 크다고 결정되는 경우, 단계 768이 수행된다. 단계 768에서는, 무효(invalid) 배향 변경이 출력된다(예를 들어, 배향 변경은 과도한 것이며, 신뢰성있는 배향 변경 표시가 아닌 것으로 간주됨). 그렇지 않은 경우, 배향 변경이 상한 임계 기준 이하라고 결정되면, 단계 770이 수행된다. 단계 770에서는, 배향 변경이 하한 임계(lower threshold) 기준보다 더 작은지 여부가 결정된다. 하나의 실시예에서, 하한 임계 기준은 50 밀리초 기간 내에 1도보다 더 작은 배향 변경에 대응할 수 있다. 배향 변경이 하한 임계 기준보다 더 작은 경우, 단계 772가 수행된다. 단계 772에서는, 무효 배향 변경이 출력된다(예를 들어, 배향 변경은 노이즈인 것이며, 신뢰성있는 배향 변경 표시가 아닌 것으로 간주됨). 그렇지 않은 경우, 배향 변경이 하한 임계 기준 이상이라고 결정되면, 단계 774가 수행된다. 단계 774에서는, 유효 배향 변경이 출력된다. 유효 배향 변경이 검출되는 경우, 배향 변경은 증강 현실 환경 내의 가상 포인터의 위치를 업데이트하는 데에 사용될 수 있다.
도 8은 이차 디바이스를 사용하여 증강 현실 환경을 제어하기 위한 방법의 대안의 실시예를 기재한 흐름도이다. 하나의 실시예에서, 도 8의 프로세스는 도 1의 이동 디바이스(19)와 같은 이동 디바이스에 의해 수행될 수 있다.
단계 802에서, HMD의 가상 포인터 모드에 대응하는 트리거링 이벤트가 검출된다. 가상 포인터 모드는 HMD의 최종 사용자가 최종 사용자에게 제공된 증강 현실 환경 내의 가상 포인터를 제어하고 증강 현실 환경 내의 실제 및/또는 가상 객체를 선택 및 조작할 수 있게 해줄 수 있다. 가상 포인터는 증강 현실 환경 내에서 최종 사용자에게 디스플레이될 수 있는 가상 화살표, 가상 커서, 또는 가상 가이드를 포함할 수 있다. 일부 경우에, 가상 포인터는 증강 현실 환경 안으로 투영된 가상 광선의 끝을 포함할 수 있다.
하나의 실시예에서, 트리거링 이벤트는 최종 사용자로부터의 음성 커맨드의 검출시(예를 들어, 최종 사용자가 "가상 포인터 인에이블"이라 말함) 검출될 수 있다. 또다른 실시예에서, 트리거링 이벤트는 이차 디바이스와 연관된 특정 움직임 또는 제스처의 검출시(예를 들어, 이차 디바이스의 흔들기) 검출될 수 있다. 트리거링 이벤트는 또한, HMD의 최종 사용자가 행한 음성 커맨드 및 물리적 움직임(예를 들어, 이차 디바이스 상의 버튼 누름)의 조합에 기초하여 검출될 수 있다. 일부 경우에, 트리거링 이벤트는 최종 사용자가 특정 제스처를 수행하는 것의 검출시(예를 들어, 가상 포인터 모드와 연관된 손 제스처) 검출될 수 있다.
단계 804에서, 이차 디바이스와 연관된 초기 배향이 결정된다. 하나의 실시예에서, 초기 배향은 이차 디바이스에 의해 HMD에 제공된 배향 정보에 기초하여 HMD에 의해 결정될 수 있다. 그 후에, 이차 디바이스의 배향 변경이 초기 배향에 관련하여 행해질 수 있다. 또다른 실시예에서, 초기 배향은 이차 디바이스 자체에 의해 결정될 수 있으며, 이차 디바이스에서 상대 배향 변경이 HMD에 제공될 수 있다. 초기 배향은 HMD에 의해 제공된 기준 프레임에 대한 배향에 대응할 수 있다. 일부 경우에, HMD는 이차 디바이스로부터 HMD로 전송된 배향 정보의 드리프트 오류 또는 누적 오류를 보정하기 위하여 특정 기간 후에(예를 들어, 30초 후에) 이차 디바이스를 리셋 또는 재교정할 수 있다.
단계 806에서, HMD의 최종 사용자와 연관된 시선 방향이 결정된다. 시선 방향은 시선 검출 기술을 사용하여 결정될 수 있고, 증강 현실 환경 내의 영역 또는 공간점에 대응할 수 있다. 단계 808에서, 초기 가상 포인터 위치가 시선 방향에 기초하여 결정된다. 하나의 실시예에서, 초기 가상 포인터 위치는 최종 사용자의 시선 방향에 기초하여(예를 들어, 최종 사용자가 보고 있는 증강 현실 환경 내의 특정 영역을 향하여) 결정될 수 있다. 일부 경우에, 하나보다 더 많은 가상 포인터가 시선 방향에 기초하여 최종 사용자에게 디스플레이될 수 있으며, 가상 포인터 각각은 상이한 컬러 또는 심볼과 연관된다. 최종 사용자는 가상 포인터 중 하나(예를 들어, 청색 화살표)를 식별하는 음성 커맨드를 발행함으로써 가상 포인터 위치 중 하나를 선택할 수 있다.
단계 810에서, 업데이트된 배향 정보가 이차 디바이스로부터 획득된다. 업데이트된 배향 정보는 이차 디바이스로부터 무선 접속을 통해 HMD로 전송될 수 있다. 배향 정보는 절대 배향 정보 또는 특정 기준 프레임에 대한 상대 배향 정보에 대응할 수 있다. 단계 812에서, 배향 변경이 선택 기준을 충족시키는지 여부가 결정된다. 하나의 실시예에서, 선택 기준은 이차 디바이스의 흔들기를 포함한다. 또다른 실시예에서, 선택 기준은 특정 배향 변경 또는 배향 변경 시퀀스(예를 들어, 최종 사용자가 3초 기간 내에 그의 이동 디바이스를 수평 위치로부터 수직 위치로 다시 수평 위치로 이동시킴)를 포함한다. 배향 변경이 선택 기준을 충족시킨다고 결정되는 경우, 단계 814가 수행된다.
단계 814에서는, 사용자 선택에 기초하여 HMD의 증강 현실 환경이 업데이트된다. 증강 현실 환경은 사용자 선택 및 증강 현실 환경 내의 가상 포인터 위치의 위치 둘 다에 기초하여 업데이트될 수 있다. 하나의 실시예에서, 최종 사용자는 증강 현실 환경 내의 선택 가능한 객체에 대응하는 위치로 가상 포인터를 이동시키고 선택 제스처를 수행할 수 있다(예를 들어, 선택 기준이 충족되도록 그의 이동 전화를 흔들기함으로써). 가상 포인터 위치 및 사용자 선택의 조합은, 선택 가능한 객체와 연관된 추가의 정보가 획득되어 증강 현실 환경 내에서 최종 사용자에게 디스플레이될 수 있게 할 수 있다.
그렇지 않은 경우, 배향 변경이 선택 기준을 충족시키지 않는다고 결정되면, 단계 816이 수행된다. 단계 816에서는, 업데이트된 배향 정보에 기초하여 가상 포인터 위치가 업데이트된다. 하나의 실시예에서, 가상 포인터와 연관된 가상 포인터 감도(sensitivity)가 가상 포인터 위치에 기초하여 조정될 수 있다. 하나의 예에서, 가상 포인터 감도(예를 들어, 이차 디바이스의 배향 변경이 가상 포인터 위치의 변경으로 변환되는 속도)는, 가상 포인터 위치가 선택 가능한 객체의 특정 거리 내에 오면 감소될 수 있다. 단계 818에서, HMD의 증강 현실 환경은 업데이트된 가상 포인터 위치에 기초하여 업데이트된다. 업데이트된 증강 현실 환경은 HMD를 통해 최종 사용자에게 디스플레이될 수 있다. 증강 현실 환경은 증강 현실 환경 내의 가상 포인터의 업데이트된 위치를 이동시키고 디스플레이하기 위하여 업데이트될 수 있다. 단계 818이 수행된 후에, 단계 810이 수행된다.
개시된 기술의 하나의 실시예는, HMD의 가상 포인터 모드에 대응하는 트리거링 이벤트를 검출하고, 트리거링 이벤트를 검출하는 것에 응답하여 초기 가상 포인터 위치를 결정하고, HMD와 통신하는 이차 디바이스로부터 배향 정보를 획득하고, 배향 정보에 기초하여 가상 포인터 위치를 업데이트하고, 가상 포인터 위치에 대응하는 증강 현실 환경 내의 가상 포인터를 디스플레이하는 것을 포함한다.
개시된 기술의 하나의 실시예는, 메모리, 메모리와 통신하는 하나 이상의 프로세서, 및 하나 이상의 프로세서와 통신하는 시스루 디스플레이를 포함한다. 메모리는 전자 디바이스와 통신하는 이차 디바이스와 연관된 초기 배향을 저장한다. 하나 이상의 프로세서는, 가상 포인터 모드에 대응하는 트리거링 이벤트를 검출하고, 트리거링 이벤트를 검출하는 것에 응답하여 초기 가상 포인터 위치를 결정한다. 하나 이상의 프로세서는, 이차 디바이스로부터 배향 정보를 획득하고, 배향 정보 및 초기 배향에 기초하여 가상 포인터 위치를 업데이트한다. 시스루 디스플레이는 가상 포인터 위치에 대응하는 가상 포인터를 포함하는 증강 현실 환경을 디스플레이한다.
개시된 기술의 하나의 실시예는, HMD의 가상 포인터 모드에 대응하는 트리거링 이벤트를 검출하고, HMD의 최종 사용자와 연관된 시선 방향을 결정하고, 시선 방향에 기초하여 초기 가상 포인터 위치를 결정하고, 이차 디바이스로부터 업데이트된 배향 정보를 획득하고, 업데이트된 배향 정보에 기초하여 가상 포인터 위치를 업데이트하고, 가상 포인터 위치에 대응하는 증강 현실 환경 내의 가상 포인터를 디스플레이하고, 선택 기준이 충족되었다고 결정하고, 선택 기준 및 가상 포인터 위치에 기초하여 업데이트된 증강 현실 환경을 디스플레이하는 것을 포함한다.
도 9는 도 1의 이동 디바이스(19)와 같은 이동 디바이스(8300)의 하나의 실시예의 블록도이다. 이동 디바이스는 무선 수신기/송신기 기술이 통합된 랩톱 컴퓨터, 포켓 컴퓨터, 이동 전화, PDA, 및 핸드헬드 미디어 디바이스를 포함할 수 있다.
이동 디바이스(8300)는 하나 이상의 프로세서(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션(8330) 및 비휘발성 스토리지(8340)를 포함한다. 메모리(8310)는 비휘발성 및 휘발성 메모리를 포함한 임의의 다양한 메모리 스토리지 미디어 타입일 수 있다. 이동 디바이스 운영 체제는 이동 디바이스(8300)의 상이한 동작들을 처리하고, 전화 통화를 걸고 받기, 텍스트 메시징, 음성메일 확인 등과 같은 동작을 위한 사용자 인터페이스를 포함할 수 있다. 애플리케이션(8330)은, 사진 및/또는 비디오에 대한 카메라 애플리케이션, 어드레스 북, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 기타 애플리케이션과 같은 임의의 프로그램 모음일 수 있다. 메모리(8310)의 비휘발성 스토리지 컴포넌트(8340)는 음악, 사진, 연락처 데이터, 스케줄링 데이터, 및 기타 파일과 같은 데이터를 포함할 수 있다.
하나 이상의 프로세서(8312)는 시스루 디스플레이(8309)와 통신한다. 시스루 디스플레이(8309)는 실세계 환경과 연관된 하나 이상의 가상 객체를 디스플레이할 수 있다. 하나 이상의 프로세서(8312)는 또한 RF 송신기/수신기(8306)와 통신하며, 이는 이어서 안테나(8302)에 연결되고, 또한 적외선 송신기/수신기(8308)와, GPS 수신기(8365)와, 그리고 가속도계 및/또는 자력계를 포함할 수 있는 움직임/배향 센서(8314)와 통신한다. RF 송신기/수신기(8308)는 Bluetooth® 또는 IEEE 802.11 표준과 같은 다양한 무선 기술 표준을 통해 무선 통신을 가능하게 할 수 있다. 가속도계는, 사용자가 제스처를 통해 커맨드를 입력하게 하는 지능형 사용자 인터페이스 애플리케이션, 및 이동 디바이스가 회전될 때 세로방향에서 가로방향으로 디스플레이를 자동으로 변경할 수 있는 배향 애플리케이션과 같은 애플리케이션을 인에이블하도록 이동 디바이스 안에 통합되었다. 가속도계는, 예를 들어 반도체 칩 상에 구축된 (마이크로미터 치수의)매우 작은 기계적 디바이스인 MEMS(micro-electromechanical system)에 의해, 제공될 수 있다. 가속도 방향 뿐만 아니라, 배향, 진동, 및 충격도 감지될 수 있다. 하나 이상의 프로세서(8312)는 신호기(ringer)/진동기(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크로폰(8322), 카메라(8324), 광 센서(8326), 및 온도 센서(8328)와 더 통신한다. 사용자 인터페이스 키패드/스크린은 터치 감지형 스크린 디스플레이를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호의 전송 및 수신을 제어한다. 전송 모드 동안, 하나 이상의 프로세서(8312)는 마이크로폰(8322)으로부터의 음성 신호 또는 기타 데이터 신호를 RF 송신기/수신기(8306)에 제공한다. 송신기/수신기(8306)는 안테나(8302)를 통해 신호를 전송한다. 신호기/진동기(8316)는 인입 호, 텍스트 메시지, 캘린더 리마인더, 알람 클락 리마인더, 또는 기타 통지를 사용자에게 시그널링하도록 사용된다. 수신 모드 동안, RF 송신기/수신기(8306)는 음성 신호 또는 데이터 신호를 원격 스테이션으로부터 안테나(8302)를 통해 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되며 다른 수신된 데이터 신호는 적절하게 처리된다.
추가적으로, 배터리(8304)를 충전하기 위하여 이동 디바이스(8300)를 AC 어댑터 또는 전원 도킹 스테이션과 같은 외부 전원에 접속시키도록 물리적 커넥터(8388)가 사용될 수 있다. 물리적 커넥터(8388)는 또한, 외부 컴퓨팅 디바이스에의 데이터 접속으로서 사용될 수 있다. 데이터 접속은 이동 디바이스 데이터를 또다른 디바이스 상의 컴퓨팅 데이터와 동기화시키는 것과 같은 동작을 가능하게 한다.
개시된 기술은 다수의 기타 범용 또는 특수 용도 컴퓨팅 시스템 환경 또는 구성과 함께 동작 가능하다. 본 기술과 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑 박스, 프로그램 가능한 소비자 전자기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 디바이스를 포함하는 분산형 컴퓨팅 환경 등을 포함하지만, 이에 한정되지 않는다.
개시된 기술은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능한 명령어들의 일반적인 맥락으로 기재될 수 있다. 일반적으로, 여기에 기재된 바와 같은 소프트웨어 및 프로그램 모듈은, 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조, 및 기타 타입의 구조를 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 여기에 기재된 바와 같은 소프트웨어 모듈을 대체할 수 있다.
개시된 기술은 또한, 통신 네트워크를 통해 연결되어 있는 원격 프로세싱 디바이스들에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 스토리지 미디어 둘 다에 위치될 수 있다.
본 명세서의 목적을 위해, 개시된 기술과 연관된 각각의 프로세스는 연속으로 그리고 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다. 프로세스의 각각의 단계는 다른 단계에서 사용된 것과 동일하거나 상이한 컴퓨팅 디바이스에 의해 수행될 수 있고, 각각의 단계는 반드시 단일 컴퓨팅 디바이스에 의해 수행되어야 하는 것은 아니다.
본 명세서의 목적을 위해, 본 명세서에서 "실시예", "하나의 실시예", "일부 실시예", 또는 "또다른 실시예"를 인용한 것은 상이한 실시예들을 기재하는데 사용되며 반드시 동일 실시예를 지칭하는 것은 아니다.
본 명세서의 목적을 위해, 연결은 직접 연결이거나 간접 연결(예를 들어, 또다른 부분을 통해)일 수 있다.
본 명세서의 목적을 위해, 용어 객체들의 "세트"는, 객체들 중의 하나 이상의 "세트"를 지칭한다.
구조적 특징 및/또는 방법 동작에 특정한 언어로 주제가 기재되었지만, 첨부한 청구항에서 정의되는 주제는 반드시 상기에 기재된 구체적 특징 또는 동작에 한정되지 않는다는 것을 이해하여야 한다. 오히려, 상기에 기재된 구체적 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시된 것이다.

Claims (10)

  1. HMD(head-mounted display)와 연관된 증강 현실 환경(augmented reality environment)을 제어하는 방법에 있어서,
    HMD의 가상 포인터 모드에 대응하는 트리거링 이벤트를 검출하는 단계;
    상기 트리거링 이벤트를 검출하는 것에 응답하여 초기 가상 포인터 위치를 결정하는 단계;
    상기 HMD와 통신하는 이차 디바이스(secondary device)로부터 배향(orientation) 정보를 획득하는 단계;
    상기 배향 정보에 기초하여 가상 포인터 위치를 업데이트하는 단계; 및
    상기 가상 포인터 위치에 대응하는 증강 현실 환경 내의 가상 포인터를 디스플레이하는 단계
    를 포함하는, HMD와 연관된 증강 현실 환경을 제어하는 방법.
  2. 청구항 1에 있어서,
    상기 초기 가상 포인터 위치를 결정하는 단계는,
    상기 HMD의 최종 사용자와 연관된 시선 방향(gaze direction)을 결정하는 단계, 및 상기 시선 방향에 기초하여 상기 초기 가상 포인터 위치를 설정하는 단계
    를 포함하는 것인, HMD와 연관된 증강 현실 환경을 제어하는 방법.
  3. 청구항 1에 있어서,
    상기 초기 가상 포인터 위치를 결정하는 단계는,
    상기 HMD의 최종 사용자와 연관된 시선 방향을 결정하는 단계, 상기 HMD의 시야(field of view) 내의 하나 이상의 선택 가능한 객체들(objects)을 식별하는 단계, 상기 하나 이상의 선택 가능한 객체들 중에 상기 시선 방향에 가장 가까운 선택 가능한 객체를 결정하는 단계, 및 상기 증강 현실 환경 내의 상기 선택 가능한 객체의 위치에 기초하여 상기 초기 가상 포인터 위치를 설정하는 단계
    를 포함하는 것인, HMD와 연관된 증강 현실 환경을 제어하는 방법.
  4. 청구항 3에 있어서,
    상기 가상 포인터 위치가 상기 하나 이상의 선택 가능한 객체들과 연관된 상기 증강 현실 환경 내의 하나 이상의 영역들에 대응하는 경우, 상기 최종 사용자에게 피드백을 제공하는 단계를 더 포함하는, HMD와 연관된 증강 현실 환경을 제어하는 방법.
  5. 청구항 4에 있어서,
    상기 피드백은 상기 이차 디바이스의 진동을 포함하는 것인, HMD와 연관된 증강 현실 환경을 제어하는 방법.
  6. 증강 현실 환경을 디스플레이하는 전자 디바이스에 있어서,
    전자 디바이스와 통신하는 이차 디바이스와 연관된 초기 배향을 저장한 메모리;
    상기 메모리와 통신하는 하나 이상의 프로세서로서, 가상 포인터 모드에 대응하는 트리거링 이벤트를 검출하고, 상기 트리거링 이벤트를 검출하는 것에 응답하여 초기 가상 포인터 위치를 결정하며, 상기 이차 디바이스로부터 배향 정보를 획득하고, 상기 배향 정보 및 상기 초기 배향에 기초하여 가상 포인터 위치를 업데이트하는, 상기 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서와 통신하는 시스루(see-through) 디스플레이로서, 상기 가상 포인터 위치에 대응하는 가상 포인터를 포함하는 증강 현실 환경을 디스플레이하는, 상기 시스루 디스플레이
    를 포함하는, 증강 현실 환경을 디스플레이하는 전자 디바이스.
  7. 청구항 6에 있어서,
    상기 하나 이상의 프로세서는,
    상기 전자 디바이스의 최종 사용자와 연관된 시선 방향을 결정하고, 상기 시선 방향에 기초하여 상기 초기 가상 포인터 위치를 설정함으로써,
    상기 초기 가상 포인터 위치를 결정하는 것인, 증강 현실 환경을 디스플레이하는 전자 디바이스.
  8. 청구항 6에 있어서,
    상기 하나 이상의 프로세서는,
    상기 전자 디바이스의 최종 사용자와 연관된 시선 방향을 결정하고, 상기 전자 디바이스의 시야 내의 하나 이상의 선택 가능한 객체들을 식별하고, 상기 하나 이상의 선택 가능한 객체들 중에 상기 시선 방향에 가장 가까운 선택 가능한 객체를 결정하고, 상기 증강 현실 환경 내의 상기 선택 가능한 객체의 위치에 기초하여 상기 초기 가상 포인터 위치를 설정함으로써,
    상기 초기 가상 포인터 위치를 결정하는 것인, 증강 현실 환경을 디스플레이하는 전자 디바이스.
  9. 청구항 8에 있어서,
    상기 하나 이상의 프로세서는, 상기 가상 포인터 위치가 상기 하나 이상의 선택 가능한 객체들과 연관된 상기 증강 현실 환경 내의 하나 이상의 영역들에 대응하는 경우, 상기 최종 사용자에게 피드백을 제공하는 것인, 증강 현실 환경을 디스플레이하는 전자 디바이스.
  10. 청구항 6 내지 청구항 9 중 어느 한 항에 있어서,
    상기 전자 디바이스는 HMD(head-mounted display)를 포함하고,
    상기 이차 디바이스는 이동 전화를 포함하는 것인,
    증강 현실 환경을 디스플레이하는 전자 디바이스.
KR1020157015301A 2012-11-30 2013-11-30 Ｉｍｕ를 이용한 직접 홀로그램 조작 KR20150092165A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/691,445 2012-11-30
US13/691,445 US20140152558A1 (en) 2012-11-30 2012-11-30 Direct hologram manipulation using imu
PCT/US2013/072524 WO2014085789A1 (en) 2012-11-30 2013-11-30 Direct hologram manipulation using imu

Publications (1)

Publication Number Publication Date
KR20150092165A true KR20150092165A (ko) 2015-08-12

Family

ID=49817282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157015301A KR20150092165A (ko) 2012-11-30 2013-11-30 Ｉｍｕ를 이용한 직접 홀로그램 조작

Country Status (11)

Country Link
US (1) US20140152558A1 (ko)
EP (1) EP2926223A1 (ko)
JP (1) JP2015536514A (ko)
KR (1) KR20150092165A (ko)
CN (1) CN105009039A (ko)
AU (1) AU2013351980A1 (ko)
BR (1) BR112015011713A2 (ko)
CA (1) CA2889563A1 (ko)
MX (1) MX2015006874A (ko)
RU (1) RU2015120560A (ko)
WO (1) WO2014085789A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190038886A (ko) * 2016-08-11 2019-04-09 매직 립, 인코포레이티드 3-차원 공간에서의 가상 객체의 자동적인 배치
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
KR102249423B1 (ko) * 2019-11-22 2021-05-07 주식회사 모소 혼합현실 장치
KR20220121922A (ko) * 2016-03-31 2022-09-01 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
WO2024048912A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법
US11946761B2 (en) 2018-06-04 2024-04-02 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device
US11978175B2 (en) 2017-03-17 2024-05-07 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US9489772B2 (en) * 2013-03-27 2016-11-08 Intel Corporation Environment actuation by one or more augmented reality elements
WO2014205422A2 (en) 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
JP6237000B2 (ja) * 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
US10740979B2 (en) 2013-10-02 2020-08-11 Atheer, Inc. Method and apparatus for multiple mode interface
US10163264B2 (en) * 2013-10-02 2018-12-25 Atheer, Inc. Method and apparatus for multiple mode interface
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
EP3170061A1 (en) * 2014-07-16 2017-05-24 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9934573B2 (en) * 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display
KR101930657B1 (ko) 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US10256859B2 (en) 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
CN108139876B (zh) * 2015-03-04 2022-02-25 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
JP5981591B1 (ja) 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
KR20170124593A (ko) * 2015-03-20 2017-11-10 후아웨이 테크놀러지 컴퍼니 리미티드 지능형 상호작용 방법, 장비 및 시스템
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9658686B2 (en) 2015-05-28 2017-05-23 Microsoft Technology Licensing, Llc Motion based view matrix tuning
US9746675B2 (en) 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US9786715B2 (en) 2015-07-23 2017-10-10 Artilux Corporation High efficiency wide spectrum sensor
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US9954016B2 (en) 2015-08-04 2018-04-24 Artilux Corporation Germanium-silicon light sensing apparatus
EP3333808B1 (en) * 2015-08-06 2021-10-27 Sony Interactive Entertainment Inc. Information processing device
US9893112B2 (en) 2015-08-27 2018-02-13 Artilux Corporation Wide spectrum optical sensor
KR102400900B1 (ko) 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
CN105427865A (zh) * 2015-11-04 2016-03-23 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人的语音控制系统以及方法
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
EP3171302A1 (en) * 2015-11-18 2017-05-24 F. Hoffmann-La Roche AG A method for generating an entry for an electronic laboratory journal
WO2017096509A1 (zh) * 2015-12-07 2017-06-15 华为技术有限公司 一种显示、处理的方法及相关装置
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
CN108475109B (zh) * 2015-12-28 2022-02-01 光程研创股份有限公司 眼睛姿态跟踪
CN105527711A (zh) * 2016-01-20 2016-04-27 福建太尔电子科技股份有限公司 带增强现实的智能眼镜
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
CN105955461A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种交互界面管理方法和系统
CN105975057A (zh) * 2016-04-25 2016-09-28 乐视控股（北京）有限公司 一种多界面交互方法和装置
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US9983697B1 (en) 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US10586391B2 (en) * 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
DE102016113060A1 (de) * 2016-07-15 2018-01-18 Beckhoff Automation Gmbh Verfahren zum Steuern eines Objekts
TWI743148B (zh) * 2016-07-15 2021-10-21 光程研創股份有限公司 眼動追蹤的電腦實施方法、眼動追蹤系統及裝置
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
US11102467B2 (en) 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10185401B2 (en) * 2016-09-29 2019-01-22 Intel Corporation Determination of cursor position on remote display screen based on bluetooth angle of arrival
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US10302482B2 (en) 2016-10-07 2019-05-28 Microsoft Technology Licensing, Llc Dynamic sensor performance adjustment
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
EP4155867A1 (en) * 2016-11-14 2023-03-29 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
KR102413561B1 (ko) * 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US10275943B2 (en) * 2016-12-13 2019-04-30 Verizon Patent And Licensing Inc. Providing real-time sensor based information via an augmented reality application
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10242654B2 (en) * 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
KR102403719B1 (ko) * 2017-02-22 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN107085489A (zh) * 2017-03-21 2017-08-22 联想(北京)有限公司 一种控制方法及电子设备
EP3602244A1 (en) 2017-03-23 2020-02-05 InterDigital CE Patent Holdings Method and apparatus for providing immersive reality content
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
EP3639083A4 (en) * 2017-06-14 2021-01-27 Hewlett-Packard Development Company, L.P. DISPLAY SETTINGS
US10514801B2 (en) 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
EP3616035B1 (en) * 2017-06-19 2024-04-24 Apple Inc. Augmented reality interface for interacting with displayed maps
CN107390871A (zh) * 2017-07-21 2017-11-24 上海白泽网络科技有限公司 增强现实设备的控制方法和系统
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
IT201700085213A1 (it) * 2017-07-26 2019-01-26 Renata Falconi Dispositivo per la realtà virtuale.
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US20200278556A1 (en) * 2017-09-18 2020-09-03 Looxid Labs Inc. Head-mounted display device
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
WO2019090221A1 (en) 2017-11-03 2019-05-09 Marxent Labs, LLC Technologies for composing a virtual reality setting in a mobile computing environment
US20190163434A1 (en) * 2017-11-27 2019-05-30 Marxent Labs, LLC Technologies for networked virtual content in a mobile computing environment
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
WO2019165220A1 (en) 2018-02-23 2019-08-29 Artilux, Inc. Photo-detecting apparatus and photo-detecting method thereof
EP3534240A1 (de) * 2018-03-01 2019-09-04 CMORE Automotive GmbH Verfahren und vorrichtung zur daten-annotation
CN114335030A (zh) 2018-04-08 2022-04-12 奥特逻科公司 光探测装置
US11086474B2 (en) * 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
US10852816B2 (en) * 2018-04-20 2020-12-01 Microsoft Technology Licensing, Llc Gaze-informed zoom and pan with manual speed control
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
WO2020081677A2 (en) 2018-10-17 2020-04-23 Meta View, Inc. Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
TWI728515B (zh) * 2019-01-24 2021-05-21 宏達國際電子股份有限公司 頭戴式顯示裝置
US11137874B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
CN111643885A (zh) * 2019-04-18 2020-09-11 成都奇天幻影数字娱乐有限公司 一种基于imu的虚拟现实转向控制方法
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
JP7150894B2 (ja) * 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
US11493989B2 (en) * 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
US11227444B2 (en) 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
WO2021236170A1 (en) 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
JP7080448B1 (ja) 2021-03-08 2022-06-06 裕行 池田 端末装置
US11734929B2 (en) * 2021-12-07 2023-08-22 Marxent Labs Llc Enhanced product visualization technology with web-based augmented reality user interface features
EP4202611A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Rendering a virtual object in spatial alignment with a pose of an electronic device

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
WO2005066744A1 (en) * 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005119356A2 (en) * 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US20060109242A1 (en) * 2004-11-19 2006-05-25 Simpkins Daniel S User interface for impaired users
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
KR100735566B1 (ko) * 2006-04-17 2007-07-04 삼성전자주식회사 이동 통신 단말기를 포인터로 이용하는 시스템 및 그 방법
US7969418B2 (en) * 2006-11-30 2011-06-28 Cherif Atia Algreatly 3-D computer input device and method
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
WO2008149991A1 (ja) * 2007-06-08 2008-12-11 Sony Corporation 情報処理装置、入力装置、情報処理システム、情報処理方法及びプログラム
JP5440176B2 (ja) * 2007-12-07 2014-03-12 ソニー株式会社 入力装置、制御装置、制御システム、ハンドヘルド装置及び制御方法
US20090158222A1 (en) * 2007-12-14 2009-06-18 Apple Inc. Interactive and dynamic screen saver for use in a media system
JP5251482B2 (ja) * 2008-12-18 2013-07-31 セイコーエプソン株式会社 入力装置およびデータ処理システム
US8515707B2 (en) * 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US20100309097A1 (en) * 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
US20110199296A1 (en) * 2010-02-18 2011-08-18 Simpson Samuel K Single wrist user input system
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2012040086A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8194036B1 (en) * 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US20150185971A1 (en) * 2011-11-09 2015-07-02 Google Inc. Ring-Based User-Interface
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US8947322B1 (en) * 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121922A (ko) * 2016-03-31 2022-09-01 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
US11657579B2 (en) 2016-03-31 2023-05-23 Magic Leap, Inc. Interactions with 3D virtual objects using poses and multiple-DOF controllers
KR20190038886A (ko) * 2016-08-11 2019-04-09 매직 립, 인코포레이티드 3-차원 공간에서의 가상 객체의 자동적인 배치
US10921599B2 (en) 2016-08-11 2021-02-16 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US11287659B2 (en) 2016-08-11 2022-03-29 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US11808944B2 (en) 2016-08-11 2023-11-07 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US11978175B2 (en) 2017-03-17 2024-05-07 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US11946761B2 (en) 2018-06-04 2024-04-02 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR102249423B1 (ko) * 2019-11-22 2021-05-07 주식회사 모소 혼합현실 장치
WO2024048912A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
EP2926223A1 (en) 2015-10-07
WO2014085789A1 (en) 2014-06-05
BR112015011713A2 (pt) 2017-07-11
CN105009039A (zh) 2015-10-28
CA2889563A1 (en) 2014-06-05
RU2015120560A (ru) 2016-12-20
MX2015006874A (es) 2016-01-12
US20140152558A1 (en) 2014-06-05
JP2015536514A (ja) 2015-12-21
AU2013351980A1 (en) 2015-05-07

Similar Documents

Publication Publication Date Title
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
KR20150092165A (ko) Ｉｍｕ를 이용한 직접 홀로그램 조작
US9442567B2 (en) Gaze swipe selection
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US9105210B2 (en) Multi-node poster location
US9035970B2 (en) Constraint based information inference
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
US9395543B2 (en) Wearable behavior-based vision system
US9256987B2 (en) Tracking head movement when wearing mobile device
US20140160157A1 (en) People-triggered holographic reminders
KR20170047386A (ko) 3d 홀로그래픽 환경에서의 콘텐츠 관리

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid