KR20140034252A - 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법 - Google Patents

헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법 Download PDF

Info

Publication number
KR20140034252A
KR20140034252A KR1020137034185A KR20137034185A KR20140034252A KR 20140034252 A KR20140034252 A KR 20140034252A KR 1020137034185 A KR1020137034185 A KR 1020137034185A KR 20137034185 A KR20137034185 A KR 20137034185A KR 20140034252 A KR20140034252 A KR 20140034252A
Authority
KR
South Korea
Prior art keywords
hmd
hmd wearer
wearer
tfov
regions
Prior art date
Application number
KR1020137034185A
Other languages
English (en)
Inventor
제임스 치아-밍 리우
스티븐 길크라이스트 라타
앤톤 앤드류스
벤자민 아이작 바우트
크리스토퍼 마이클 노박
셰리던 리 스몰
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140034252A publication Critical patent/KR20140034252A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

HMD 착용자에게 증강 현실 뷰를 제공하기 위해 HMD 내에 디스플레이를 위해 가상 이미지가 배치된다. 센서 데이터가 HMD 상에 제공되는 내장 센서(ob-board sensor)로부터 수집될 수 있다. 또한, 다른 데이터가 외부 소스로부터 수집될 수 있다. 수집된 센서 데이터 및 다른 데이터에 기초하여, HMD 착용자의 신체 및 주변 환경에 대한 HMD 착용자의 머리의 위치 및 회전이 판정될 수 있다. HMD 착용자의 머리 위치를 결정한 후에, HMD 착용자의 TFOV(total field of view, 전체 시야)가 영역들로 분류될 수 있다. 이후에 HMD 착용자의 신체 및 주변 환경에 대해 가상 이미지를 배치하기 위해 가상 이미지가 분류된 TFOV 영역에 배치될 수 있다.

Description

헤드 마운티드 디스플레이를 위한 ＴＦＯＶ 분류 기법{TOTAL FIELD OF VIEW CLASSIFICATION FOR HEAD-MOUNTED DISPLAY}
시스루 헤드 마운티드 디스플레이(HMD:head-mounted displays)는 착용자가 가상 객체를 이용하여 볼 수 있는 것을 증강시키는 기능을 제공한다. 다르게 설명하면, HMD는 가상 형상(vitural imagery)을 이용하여 실제 세계에 대한 HMD 착용자의 뷰(view)를 증강시켜 증강 현실 뷰를 제공한다. 그러나, 이러한 가상 이미지는 툭하면 집중할 수 없고 눈에 거슬리게 될 수 있으며, 실제 세계와 동떨어진 주의를 끌 수 있고, HMD 착용자의 정상(증강되지 않은) 뷰를 방해할 수 있다. 이는 구체적으로 "상시(always-on)" 착용가능한 디스플레이 장치의 응용시에, 특히 모바일, 야외 및 활동 중 시나리오를 고려하는 경우에, 문제를 나타낼 수 있다.
본 요약은 상세한 설명에서 이하에 추가로 설명되는 선택 개념을 간략한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명의 대상의 핵심 특징이나 주요 특징을 식별시키려는 것이 아니며, 청구된 발명의 대상의 범주를 결정할 시에 보조내용으로 사용하려는 것도 아니다.
본 발명의 실시예는 HMD 착용자에게 증강 현실 뷰를 제공하기 위해 HMD 내에 가상 이미지를 배치하는 것에 관한 것이다. 센서 데이터가 HMD 상에 제공되는 내장 센서(ob-board sensor)로부터 수집될 수 있다. 또한, 다른 데이터가 외부 소스로부터 수집될 수 있다. 수집된 센서 데이터 및 다른 데이터에 기초하여, HMD 착용자의 신체 및 주변 환경에 대한 HMD 착용자의 머리의 위치 및 회전이 판정될 수 있다. HMD 착용자의 머리 위치를 결정한 후에, HMD 착용자의 TFOV(total field of view, 전체 시야)가 영역들로 분류될 수 있다. 이후에 HMD 착용자의 신체 및 주변 환경에 관해 가상 이미지를 배치하도록 가상 이미지가 분류된 TFOV 영역에 배치될 수 있다.
본 발명은 첨부된 도면을 참조하여 이하에서 상세히 설명된다.
도 1은 본 발명의 실시예의 구현 시에 사용하기에 적합한 예시적인 컴퓨팅 환경에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 TFOV의 영역을 분류하고 그 영역에 가상 객체를 배치하는 예시적인 시스템에 대한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따라 제1, 제2 및 제3 영역으로 분류된 HMD 착용자의 TFOV의 프로파일 및 전면 뷰를 제공한다.
도 4는 본 발명의 일 실시예에 따라 HMD 착용자의 TFOV에 대한 고정 영역을 나타낸다.
도 5는 본 발명의 일 실시예에 따라 HMD 착용자의 TFOV에 대한 동적 영역을 나타낸다.
도 6은 본 발명의 일 실시예에 따라 제1, 제2 및 제3 영역에 배치된 가상 객체를 포함하는 HMD 착용자의 TFOV를 나타낸다.
도 7은 본 발명의 일 실시예에 따라 HMD 착용자의 TFOV의 영역들을 분류하는 방법을 도시하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 HMD를 사용하여 가상 객체를 디스플레이하는 방법을 도시하는 흐름도이다.
본 발명의 발명의 대상은 법적 요건을 만족시키도록 본 명세서에 구체적으로 설명된다. 그러나, 상세한 설명 자체가 본 발명의 범주를 제한하는 것은 아니다. 오히려, 청구된 발명의 대상은 본 명세서에 설명된 것과 다른 단계들 또는 유사한 단계들의 조합을 포함하도록, 현재 또는 미래의 다른 기술과 함께 다른 방식으로 구현될 수 있다는 점이 고려되었다. 또한, "단계" 및/또는 "블록"이라는 용어가 본 명세서에서 사용된 방법의 상이한 구성요소를 의미하는 것으로 사용될 수 있으나, 이러한 용어는 개개의 단계들의 순서가 명시적으로 설명되지 않거나 설명되는 경우를 제외하고 본 명세서에 설명된 다양한 단계들 간에 임의의 특정한 순서를 내포하는 것으로 해석되어서는 안 된다.
본 발명의 실시예는, HMD 착용자에게 증강 현실 뷰를 제공하기 위해 HMD 착용자의 TFOV(total field of view)에 관하여 HMD의 디스플레이 내에 가상 이미지를 자동적이고 연속적으로 배치 및 재배치하는 것에 관한 것이다. 본 명세서에 사용된 "TFOV"는 사람의 머리의 완전한 회전 및 진행 범위를 고려한다. 이는 지정된 시점에 개인이 보는 것의 범위를 고려하는 개인의 FOV(field of view)와 대조된다.
본 발명의 실시예에 따라, 센서 데이터가 HMD에 제공된 임의의 내장 센서로부터 수집된다. 추가로, 다른 데이터가 HMD 외부의 소스로부터 수집될 수 있다. 센서 데이터 및 다른 데이터는 HMD 착용자의 물리적 머리를 추적하고 해석(interpreting)하는 데 사용될 수 있는데 이는 착용자의 물리적 머리가 HMD 착용자의 물리적 신체 및 HMD 착용자를 둘러싼 물리적 환경과 관계되기 때문이다. HMD 착용자의 신체 및 주변 환경에 관하여 HMD 착용자의 물리적 머리를 추적함으로써, HMD 착용자의 TFOV가 여러 영역으로 분류될 수 있다. 이러한 영역은 HMD 착용자의 신체 및 주변 환경에 관하여 정의될 수 있다. 일부 실시예에서, 영역은 제1 영역 및 하나 이상의 제1 영역이 아닌 영역을 포함할 수 있다. 가상 이미지는 분류된 영역에 따라 TFOV 내에 배치될 수 있다. 따라서, 본 발명의 실시예는 HMD 착용자의 신체 및 주변 환경에 관하여 HMD 착용자의 머리를 인식하고, 이러한 지식을 사용하여 HMD 착용자의 신체 및 주변 환경에 관하여 가상 이미지를 배치할 수 있는 시스템을 제공한다. 일부 실시예에서, 가상 객체는 일반적으로 제1 영역으로부터 떨어져 배치될 수 있고 제1 영역의 시각적 패색(visual occlusion)을 감소시키기 위해 가상 이미지가 위험하지 않은 방식으로 제시되도록 눈에 띄지 않는(unobtrusive) 영역에 배치될 수 있다. 또한 가상 객체는 콘텍스트를 제공하기 위해(예컨대, 정보를 덜 관련성 있는, 덜 중요한 등으로 분류하기 위해) 제1 영역으로부터 떨어져 배치될 있다.
따라서, 일 측면에서, 본 발명의 실시예는 하나 이상의 컴퓨팅 장치에 의해 사용되는 경우에, 하나 이상의 컴퓨팅 장치로 하여금 방법을 수행하게 하는 컴퓨터 사용가능 명령어를 저장하는 하나 이상의 컴퓨터 저장 매체에 관한 것이다. 방법은 하나 이상의 HMD 내장 센서로부터 센서 데이터를 수신하는 단계를 포함한다. 또한, 방법은 센서 데이터를 사용하여 HMD 착용자의 신체 및 HMD 착용자를 둘러싸는 환경에 관하여 HMD 착용자의 머리 위치 및 회전을 판정하는 단계를 포함한다. 방법은 하나 이상의 사전 결정된 규칙과, HMD 착용자의 신체 및 HMD 착용자를 둘러싼 환경에 관한 HMD 착용자의 머리 위치 및 회전에 기초하여 HMD 착용자의 TFOV 내의 둘 이상의 영역을 분류하는 단계를 더 포함한다. 또한, 방법은 HMD 착용자의 TFOV 내의 둘 이상의 영역을 식별하는 것에 기초하여 HMD에 의해 디스플레이될 가상 이미지를 배치하는 단계를 더 포함한다.
다른 실시예에서, 본 발명의 측면은 HMD에 관한 것이다. HMD는 하나 이상의 내장 센서를 포함한다. 또한, HMD는 하나 이상의 내장 센서로부터의 센서 데이터에 기초하여 HMD 착용자의 신체에 관한 HMD 착용자의 머리의 위치 및 회전을 판정하고, HMD 착용자의 신체에 관한 HMD 착용자의 머리의 위치 및 회전에 기초하여 HMD 착용자의 TFOV의 둘 이상의 영역을 분류하며, 둘 이상의 영역 내에 하나 이상의 가상 객체를 배치하도록 구성되는 하나 이상의 프로세서를 포함한다. HMD는 추가로, HMD 착용자에게 증강된 뷰를 제공하기 위해 하나 이상의 가상 객체 중 적어도 하나를 디스플레이하도록 구성되는 하나 이상의 디스플레이 컴포넌트를 포함한다.
추가적인 실시예는 HMD 착용자 TFOV의 영역을 분류하는 방법에 관한 것이다. 이 방법은 연속적으로, HMD에 내장된 하나 이상의 센서로부터 센서 데이터를 수신하는 단계와, HMD 외부의 하나 이상의 소스로부터 다른 데이터를 수신하는 단계와, 센서 데이터 및 다른 데이터에 기초하여 HMD 착용자의 신체 및 주변 환경에 관하여 HMD 착용자의 TFOV의 영역을 분류하는 단계를 포함한다.
본 발명의 실시예에 대한 개관이 간략하게 설명되었으나, 본 발명의 실시예가 구현될 수 있는 예시적인 동작 환경이 본 발명의 여러 측면에 대한 일반적인 내용을 제공하도록 이하에 설명된다. 먼저 도 1을 참조하면, 구체적으로, 본 발명의 실시예를 구현하기 위한 예시적인 동작 환경이 도시되고, 포괄적으로 컴퓨팅 장치(100)로서 나타낸다. 그러나, 컴퓨팅 장치(100)는 적합한 컴퓨팅 환경의 일 예이며 본 발명의 용도나 기능의 범주에 관해 임의의 제한을 하려는 것이 아니다. 또한, 컴퓨팅 장치(100)는 도시된 컴포넌트 중 임의의 하나 또는 임의의 조합에 관한 임의의 의존성이나 조건을 가지는 것으로 해석되어서는 안 된다.
본 발명은 프로그램 모듈과 같은 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 코드 또는 기계 이용가능 명령어(컴퓨터 또는 다른 기계(예, PDA나 기타 휴대용 장치)에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어를 포함함)에 대한 일반적으로 내용으로 설명될 수 있다. 일반적으로, 루틴, 프로그램, 객체, 컴포넌트 데이터 구조 등을 포함하는 프로그램 모듈은 특정한 추상 데이터 유형을 구현하거나 특정한 태스크를 수행하는 코드를 가리킨다. 본 발명은 다양한 시스템 구성(휴대용 장치, 가전 기기, 범용 컴퓨터, 전용 컴퓨팅 장치 등을 포함함)으로 실현될 수 있다. 또한, 본 발명은 통신 네트워크를 통해 연결된 원격 프로세싱 장치들에 의해 태스크가 실행되는 분산형 컴퓨팅 환경에서 실현될 수도 있다.
도 1을 참조하면, 컴퓨팅 장치(100)는 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 표현 컴포넌트(116), 입출력(I/O) 포트(118), 입출력 컴포넌트(120) 및 예시적인 전원(122)을 직접적으로 또는 간접적으로 연결하는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스(예, 어드레스 버스, 데이터 버스 또는 이들의 조합)일 수 있는 것을 대표한다. 도 1의 다양한 블록이 명확성을 위해 라인으로 도시되었으나, 실제로, 다양한 컴포넌트를 라인으로 묘사하는 것은 그리 정확하지 않고, 비유적으로 말하자면 라인은 보다 정확하게는 회색이며 흐릿할 수 있다. 예를 들어, 디스플레이 장치와 같은 표현 컴포넌트는 입출력 컴포넌트인 것으로 생각될 수 있다. 또한, 프로세서는 메모리를 포함한다. 이러한 것은 기술의 속성이며 도 1의 도면은 단지 본 발명의 하나 이상의 실시예와 함께 사용될 수 있는 예시적인 컴퓨팅 장치에 대한 예일 뿐이라는 것을 이해할 수 있을 것이다. "워크스테이션", "서버", "랩톱", "휴대용 장치" 등과 같은 카테고리 간의 구분이 이루어지지 않는데 이는 모두가 도 1의 범주 내이며 "컴퓨팅 장치"에 대한 참조인 것으로 생각되기 때문이다.
컴퓨팅 장치(100)는 전형적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 모두를 포함한다. 예시로서(제한이 아님), 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 정보(예를 들면, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터)의 저장을 위한 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 모두를 포함한다. 컴퓨터 저장 매체는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 전자적으로 제거가능한 프로그램가능 리드 온리 메모리(EEPROM), 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 다른 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장장치 또는 원하는 정보를 인코딩하는데 사용될 수 있고 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하나, 이에 한정되는 것은 아니다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 모듈화된 데이터 신호(예컨대, 반송파 또는 다른 전송 메커니즘)에 데이터를 구현하며 임의의 정보 전달 매체를 포함한다. "모듈화된 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하는 방식으로 설정되거나 변경되는 신호 특성 중 하나 이상을 가지는 신호를 의미한다. 예시로서(제한이 아님), 통신 매체는 유선 매체(예컨대, 유선 네트워크 또는 유선 직접 연결) 및 무선 매체(예컨대, 음향, RF, 적외선 및 다른 무선 매체)를 포함한다. 전술한 것 중 임의의 매체의 조합이 컴퓨터 판독가능 매체의 범주 내에 포함될 수 있다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형식의 컴퓨터-저장 매체를 포함한다. 메모리(112)는 이동식, 비이동식 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치는 솔리드 스테이트 메모리, 하드 드라이브, 광학 디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 입출력 컴포넌트(120)와 같은 다양한 엔티티로부터의 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 표현 컴포넌트(들)(116)는 사용자 또는 다른 장치에게 데이터 표시자(data indications)를 제공한다. 예시적인 표시 컴포넌트는 디스플레이 장치, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등을 포함한다.
입출력 포트(118)는 컴퓨팅 장치(100)가 입출력 컴포넌트(120)를 포함하는 다른 장치(이들 중 일부는 내장될 수 있음)에 논리적으로 연결되는 것을 가능하게 한다. 예시적인 컴포넌트는 마이크, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 무선 장치 등을 포함한다.
이제 도 2를 참조하면, 본 발명의 일 실시예에 따라 HMD 착용자의 TFOV를 분류하고 분류된 영역 내에 가상 객체를 배치하는 시스템을 도시하는 블록도가 제공된다. 본 명세서에 설명된 이러한 및 다른 장치는 단지 예시라는 것을 이해해야 할 것이다. 다른 장치 및 구성요소(예, 머신, 인터페이스, 기능, 순서 및 기능의 그룹 등)가 도시된 것에 추가하여 또는 이에 갈음하여 사용될 수 있으며, 일부 구성요소가 함께 삭제될 수 있다. 또한, 본 명세서에 설명된 많은 구성요소는 분리되거나 분산된 컴포넌트로서 또는 다른 컴포넌트와 함께 구현될 수 있고 임의의 적합한 조합 및 위치에 구현될 수 있는 기능성 엔티티(functional entities)이다. 본 명세서에 하나 이상의 엔티티에 의해 수행되는 것으로 설명된 다양한 기능은 하드웨어, 펌웨어 및/또는 소프트웨어에 의해 수행될 수 있다. 예를 들어, 다양한 기능이 메모리에 저장된 명령어를 실행하는 프로세서에 의해 수행될 수 있다.
도 2에 도시된 것과 같이, 시스템(200)은 HMD(202)를 포함하다. 도시되지 않았으나, HMD(202)는 범용 컴퓨팅 장치(100)에 관해 도 1을 참조하여 전술한 컴포넌트를 포함할 수 있고, 예를 들면, 메모리, 프로세서, 컴퓨터 판독가능 매체, 입출력 컴포넌트 및 전원을 포함할 수 있다. HMD(202)는 예를 들어, 안경, 고글 또는 헬멧을 포함하는 복수의 상이한 형태의 팩터(factor) 중 임의의 것으로 제공될 수 있다.
HMD(202)는 일반적으로 컴퓨터로 생성된 가상 이미지의 증강된 뷰를 제공한다. 증강된 뷰를 착용자에게 제공하기 위해, HMD(202)는 컴퓨터로 생성된 가상 이미지를 디스플레이하는 디스플레이 컴포넌트(204)를 포함하는 한편, 여전히 착용자가 실제 세계를 보는 것을 가능하게 한다. 일부 실시예에서, 이는 예를 들면, 임의의 유형의 투사 또는 마이크로디스플레이 기법을 사용하여 가상 이미지를 제공하는 헤드 업 디스플레이(HUD) 기법을 포함할 수 있다. 또한, 다른 기법(예컨대, 착용자가 실제 세계를 보고 있는 동안 이미지가 착용자의 망막으로 직접 투사되는 망막 디스플레이(retinal display))를 포함할 수 있다.
또한, HMD(202)는 HMD(202)가 동반 장치(companion devic)(예, 스마트폰), 서버 장치 또는 다른 네트워크 컴포넌트와 통신하는 것을 가능하게 하는 무선 통신 기능을 제공하는 무선 통신 컴포넌트(206)를 포함할 수 있다. 예를 들어, 본 발명의 일부 실시예는 클라우드 기반 서비스가 HMD 착용자의 TFOV의 영역을 분류하고 이러한 영역에 가상 객체를 배치하는 것을 돕게 함으로써 구현될 수 있다. 일부 실시예에서, HMD(202)는 서버 장치와 직접 통신하도록 구성될 수 있는 반면에, 다른 실시예에서 HMD(202)는 HMD 착용자에 대해 로컬인 동반 장치(예, 스마트폰 또는 기타 장치)를 통해 서버 장치와 통신할 수 있다.
HMD(202)는 또한 위치 및 다른 센서 데이터를 제공하는 복수의 내장 센서(208)를 포함할 수 있다. 다양한 다른 유형의 내장 센서(208) 중 임의의 센서가 본 발명의 다양한 실시예에 따라 HMD(202)에 포함될 수 있다. 일반적으로, 시스템으로 하여금 HMD 착용자의 신체 및 주변 환경에 관한 HMD 착용자의 머리 위치 및 회전, 눈 위치 또는 다른 유용한 상황 정보(useful situational information)을 결정할 수 있게 하는 임의의 센서가 사용될 수 있다. 제한이 아니라 단지 예시로서, 내장 센서(208)는 GPS 센서, 관성 측정 유닛(IMU:inertial measurement unit) 센서, 깊이 센서, 카메라, 눈 추적 센서, 마이크, 생체 측정 센서(biometric sensor) 및 다른 유형의 센서를 포함할 수 있다.
HMD(202) 상의 IMU는 관성 가속도를 측정할 수 있고, 가속도계, 자이로스코프, 자기계 및 다른 장치를 포함할 수 있다. 일 실시예에서, 관성 가속도에 대한 IMU 측정은 6의 자유도(degrees of freedom)를 가진다. IMU로부터의 데이터는 다른 데이터와 함께 사용되어 공간 내의 절대 위치(absolute location)를 나타낼 수 있는 상대적인 이동 및 회전 정보를 제공할 수 있다. 추가 데이터는 GPS 센서로부터의 정보를 포함할 수 있고, 이는 매크로 레벨(macro level)의 위치 정보를 제공하는데 사용될 수 있다. 일부 실시예에서, HMD(202)는 A-GPS(assisted GPS)를 사용할 수 있다.
깊이 센서 및 카메라는 HMD 상에서 HMD 착용자를 둘러싸는 환경에 관한 데이터를 수집하기 위해 사용될 수 있다. 깊이 센서는 일반적으로 객체에 대한 거리를 측정하는 센서를 포함할 수 있다. 일부 구현예에서, 깊이 센서는 전송 소스(transmission source)로부터 방출되고 객체로부터 반사된 IR 광을 캡쳐하는 적외선 센서를 포함할 수 있다. 거리 데이터는 TOF(time-of-flight), 삼각측량법 또는 다른 원리를 이용하여 결정될 수 있다. 카메라는 IR 또는 가시광 스펙트럼, 흑백 또는 적녹청(RGB) 카메라일 수 있다. 일부 실시예에서, 두 개의 상이한 카메라로부터의 이미지 간의 시차(parallax)는 사람의 두 눈이 깊이 지각(depth perception)을 제공하는 만큼의 깊이를 측정하는데 사용될 수 있다.
HMD(202)는 또한 하나 이상의 눈 추적 센서를 포함할 수 있고, 이는 일반적으로 동공 또는 눈의 다른 부분 또는 눈 주위의 영역을 추적하여 사용자의 시선의 방향을 결정한다. 이는 예를 들면, HMD 착용자의 눈을 조준하는 IR 또는 RGB 카메라를 사용하여 얻어질 수 있다. 마이크가 제공되어 오디오 정보(예컨대, HMD 착용자의 음성 및 주변 환경 오디오를 포함함)를 수집할 수 있다. 생체 센서는 HMD 착용자에 대한 생체 정보를 수집하는데 사용될 수 있다.
내장 센서(208)로부터의 센서 데이터는 처리를 위해 가상 이미징 시스템(210)으로 제공될 수 있다. 본 발명의 일부 실시예에서, 가상 이미징 시스템(210)이 HMD(202) 상에 제공될 수 있다. 다른 실시예에서, 가상 이미징 시스템(210)은 HMD(202) 외부의 장치(가령, 서버 장치 또는 다른 네트워크 컴포넌트)에 의해 제공될 수 있다. 또 다른 실시예에서, 가상 이미징 시스템(210)은 복수의 장치(예, HMD(202) 및 외부 장치)에 걸쳐 분산될 수 있다. 임의의 그리고 모든 이러한 변형은 본 발명의 실시예의 범주 내인 것으로 생각된다.
가상 이미징 시스템(210)은 내장 센서(208)로부터 센서 데이터를 수신하고, HMD 착용자의 주변 환경과 HMD 착용자의 신체에 관한 HMD 착용자의 머리 위치 및 회전을 판정하도록 동작할 수 있는 머리 위치 컴포넌트(212)를 포함한다. 단지 예시로서(제한이 아님), 머리 위치 컴포넌트(212)는 예를 들면, 카메라 데이터 및/또는 깊이 센서 데이터를 사용하여 매핑된 주변 환경에 관한 HMD 착용자의 머리의 실시간 위치를 제공하는 동시 위치 및 매핑(SLAM:simultanesous location and mapping)과 같은 기법을 이용할 수 있다. 또한, IMU 데이터는 카메라 또는 깊이 센서가 이용가능하지 않은 경우에도 상대적인 회전 및 위치 정보를 제공할 수 있다. 또한, HMD 착용자의 신체의 부분들(예, 손, 팔, 몸통, 다리, 발 등)이 센서 데이터를 사용하여 식별될 수 있다. 예를 들어, 카메라 데이터 및/또는 깊이 센서 데이터가 HMD 착용자가 자신을 보는 경우에 획득될 수 있다. 이와 같이, HMD 착용자의 신체에 관한 HMD 착용자의 머리 위치 및 회전은 유용한 정확도(useful degree of accuracy)라 할 수 있다. 이는 몇 가지 예를 들자면, HMD 착용자가 서있는지, 앉아 있는지, 몸통에 관해 앞을 보고 있는지 여부 등의 정보를 포함할 수 있다.
또한, 머리 위치 컴포넌트(212)는 센서 및 HMD(212) 외부의 다른 소스(220)로부터 데이터를 수신할 수 있다. 일 예로서(제한이 아님), 다른 소스(220)는 외부 카메라, 외부 깊이 센서(예, KINECT 센서), 다른 HMD, 모바일 장치 및 HMD로부터 원격으로 저장된 센서 이력 데이터를 포함할 수 있다. 일반적으로, 시스템으로 하여금 HMD 착용자의 신체 및 주변 환경에 관한 HMD 착용자의 머리 위치 및 회전, 눈 위치, 다른 유용한 상황 정보를 판정할 수 있게 하는 임의의 외부 정보 소스가 사용될 수 있다.
다양한 내장 센서(208) 및 외부 소스(220)로부터의 데이터가 일반적으로 리던던시(redundancy) 및 구체화(refinement)를 제공할 수 있다. 그러나, 모든 센서가 필수적인 것은 아니라는 것을 이해해야 한다. 본 명세서에 설명된 센서의 임의의 조합 및 다른 센서와 정보 소스가 본 발명의 실시예의 범주를 벗어나지 않는 범위에서 사용될 수 있다.
머리 위치 컴포넌트(212)가 MD 착용자의 신체 및 주변 환경에 관한 HMD 착용자의 머리 위치 및 회전을 파악한 후에, TFOV 분류 컴포넌트(214)가 HMD 착용자의 TFOV의 영역들을 분류한다. 본 발명의 일 실시예에 따르면, TFOV 분류 컴포넌트(214)는 다양한 규칙에 따라 HMD 착용자의 TFOV의 영역을 식별한다. 규칙은 사용자 정의되거나 시스템 정의될 수 있다. 추가로, 규칙은 불변이거나, HMD 착용자의 현재 상황 및 환경에 관한 상이한 입력에 기초하여 동적이거나, 또는 HMD 착용자가 현재 행하고 있는 것에 기초하여 HMD 착용자를 위한 최적의 경험을 제공하도록 HMD 착용자에 의해 변경될 수 있다.
본 발명의 일부 실시예에서, 영역은 제1 영역과 임의의 수의 추가적인 제1 영역이 아닌 영역을 포함할 수 있다. 제1 영역은 HMD 착용자의 FOV 내의 제1 영역에 대응할 수 있다. 일반적으로, 이는 가상 객체로 폐색되어서는 안 되는 영역에 대응한다. 제1 영역이 아닌 영역은 가상 객체로 폐색될 수 있는 영역에 대응한다.
예로써, 도 3a 및 3b는 HMD 착용자(304)를 위한 TFOV(302)의 프로파일 뷰 및 전면 뷰를 각각 도시한다. 도 3a 및 3b에 도시된 것과 같이, TFOV(302)는 제1 영역(306), 제2 영역(308) 및 제3 영역(310)으로 분류되었다. 도 3a 및 3b에 도시된 분류는 단지 예시로서 제공된 것이며, TFOV는 일반적으로 임의의 수의 영역으로 분류될 수 있다는 것에 주의해야 한다. 영역은 대칭적일 수도 있고 비대칭적일 수도 있다. 추가로, 영역은 수직으로, 수평으로 또는 임의로 변경하여 분할될 수 있다. 일부 실시예에서, 영역은 HMD 착용자의 신체 또는 신체 일부에 관하여 분류될 수 있다. 예를 들어, 영역은 신체의 상부 좌측 영역, 신체의 상부 우측 영역, 신체의 하부 좌측 영역 및 신체의 하부 우측 영역을 포함할 수 있다.
TFOV의 영역들의 분류는 고정될 수 있고, 또는 동적으로 변경될 수 있다. 예시로써, 고정 영역 대 동적 영역의 예가 도 4 및 5에 제공된다. 처음에, 도 4는 고정 영역의 예를 도시한다. 도 4에 도시된 것과 같이 HMD 착용자가 위와 아래를 바라보면서 자신의 머리를 움직임에 따라 영역이 고정된 상태로 유지된다. 반대로, 도 5는 동적 영역의 예를 나타낸다. 도 5에 도시된 것과 같이, HMD 착용자가 자신의 머리를 위와 아래로 움직임에 따라 영역들은 HMD 착용자의 머리 움직임과 함께 움직인다.
TFOV 영역은 영역의 사이즈(즉, 확장 또는 축소)를 자동으로 조정하고, TFOV 내의 영역을 이동시키며, 또는 TFOV에 대한 새로운 영역을 완전히 재분류함으로써 동적으로 변경될 수 있다. 영역은 이벤트, 환경 조건, 신체 배치 및 움직임 및 추가 센서 정보에 의해 시동되는 규칙에 기초하여 동적으로 변경될 수 있다. 예를 들어, HMD 착용자가 앉아 있으면, 제1 영역은 상대적으로 작을 수 있는데, 이는 HMD 착용자가 움직이지 않기 때문이고 말하자면 HMD 착용자의 더 많은 FOV가 더 많이 폐색된다. 그러나, HMD 착용자가 서서 걷기 시작하면, 더 적은 HMD 착용자의 FOV가 가상 이미지로 폐색되도록 제1 영역이 확장될 수 있다. HMD 착용자가 달리기 시작하거나 차를 운전하기 시작하면, 제1 영역이 더 빨리 확장될 수 있다. 영역의 재분류에 대한 예로서, HMD 착용자의 눈이 응시하고 있고 손이 TFOV의 제2 영역에서 움직이고 있다고 가정한다. HMD 착용자는 영역이 이제 제1 영역이 되도록 재분류될 수 있다. 다른 환경 조건은 또한 영역의 분류에 영향을 미칠 수 있다. 예를 들어, 생체 입력은 HMD 착용자가 긴장했거나 놀랐다는 것을 나타낼 수 있다. 이에 응답하여, 제1 영역이 확장될 수 있다.
본 발명의 일부 실시예에 따르면, 고정 영역 또는 동적 영역이 임의의 지정된 시간에 사용될 수 있는지 여부를 제어하는 하는 규칙을 이용함으로써, 고정 영역 및 동적으로 변화하는 영역의 조합이 시간에 따라 이용될 수 있다. 구체적으로, 일부 상황은 고정 영역의 사용을 지시할 수 있는 반면에, 다른 상황은 동적 영역의 사용을 지시할 수 있다. 예를 들어, 영역은 초기에 지정된 기간 동안 고정될 수 있다. 특정한 입력이 수신되는 경우에, 규칙이 영역을 동적으로 변경하라고 지시할 수 있다. 구체적인 예로서, HMD 착용자가 앉아 있으면, HMD 착용자가 앉아 있는 상태를 유지하는 동안 영역은 고정된 상태로 유지될 수 있다. 그러나, HMD 착용자가 일어서면, 규칙은 사용자가 공간에서 이리저리 움직임에 따라 영역을 동적으로 변경시키도록 할 수 있다. 따라서, 영역 분류는 환경적으로 적응될 수 있다.
TFOV 영역을 분류한 후에, 가상 객체 배치 컴포턴트(216)가 분류에 따라 다양한 영역 내에 가상 객체를 배치할 수 있다. 일반적으로, 가상 객체는 정의된 규칙에 따라 영역 내에 배치될 수 있다. 규칙은 사용자 정의되거나 시스템 정의될 수 있다. 추가로, 규칙은 불변이거나 HMD 착용자의 현재 상황 및 환경에 관한 상이한 입력에 기초하여 동적일 수 있고, 또는 HMD 착용자가 현재 행하고 있는 동작에 기초하여 HMD 착용자를 위한 최적의 경험을 제공하기 위해 HMD 착용자에 의해 변경될 수 있다. 일부 실시예에서, 이는 TFOV의 제1 영역이 아닌 영역으로 대부분의 가상 객체를 배치하여 제1 영역이 폐색되는 것을 방지하는 것을 포함할 수 있다. 일부의 경우에, 알림(notification), 덜 방해되는 가상 객체 또는 덜 중요한 것으로 여겨지는 가상 객체만이 제1 영역에 배치될 수 있다.
예로서, 도 6은 본 발명의 실시예에 따라 HMD 착용자에게 제공되는 뷰를 나타낸다. 도 6에 도시된 것과 같이, HMD 착용자는 현재 다른 사람(602)을 보고 있다. HMD 착용자의 FOV는 TFOV의 제1 영역(604), 제2 영역(606) 및 제3 영역(608)을 커버한다. 점선 및 영역 레이블이 설명을 위해 도 6에 제공되며 이들은 HMD 착용자에게 디스플레이되지 않는다는 점에 주의해야 한다. 대신에, 가상 객체(610) 만이 디스플레이 될 것이다. 도 6에 도시된 것과 같이, 보다 작은 알림 가상 객체(610)만이 제1 영역(604) 내에 디스플레이되고, 보다 크고, 보다 방해가 되는 가상 객체(610)는 제2 영역(606) 및 제3 영역(608) 내에 디스플레이된다. 결과적으로, 제1 영역(604)은 일반적으로 가상 객체에 의해 방해받지 않는 상태를 유지한다.
본 발명의 다양한 실시예에서, TFOV 내의 콘텐트의 배치를 제어하기 위해 허가 세트(permission set)가 사용될 수 있다. 이는 특정 영역 내의 특정 콘텐트를 배치하거나 배치하지 않도록 지시하는 애플리케이션 또는 상황 전체에 대한 범용 규칙을 포함할 수 있다. 상태에 기초하여(예, 사용자가 드라이빙하는 경우에 가상 객체의 배치를 위한 규칙은 사용자가 거실에 있는 경우의 가상 객체의 배치에 대한 규칙과 상이할 수 있음) 변경되는 TFOV 허가가 존재할 수 있다. 또한, 시스템에 의해 실행되는 애플리케이션의 분류에 기초하여 변경되는 허가가 존재할 수 있다. 이러한 범용/상태/애플리케이션 기반 허가 간의 상호 작용(interplay)은 콘텐트 및 TFOV 내에 디스플레이되는 콘텐트의 위치를 생성할 수 있다.
영역이 HMD 착용자의 신체에 관하여 분류되는 실시예에서, 가상 객체는 HMD 착용자의 신체에 관하여 이러한 가상 객체를 위치시키기 위해 영역 내에 배치될 수 있다. 예를 들어, 영역은 HMD 착용자의 발 주위를 발 영역으로 분류할 수 있고, 특정한 가상 객체가 HMD 착용자의 발에 인접하게 가상 객체를 배치하기 위해 그 영역 내에 배치될 수 있다. 다른 예로서, HMD 착용자의 몸통을 둘러싸는 영역이 몸통 영역으로 분류될 수 있고, 가상 데스크톱이 그 영역 내에 HMD 착용자가 액세스하기 를 원할 수 있는 정보를 포함하도록 배치될 수 있다. 이와 같이, HMD 착용자는 HMD 착용자의 몸통을 둘러싸는 가상 데스크톱에서 아래를 바라봄으로써 정보를 볼 수 있다.
일부의 경우에, 가상 객체는 상호작용이 가능하지 않은 정적인 객체를 포함할 수 있다. 예를 들어, 가상 객체는 HMD 착용자가 보기 위한 정보 또는 그래픽을 간단히 디스플레이할 수 있다. 다른 경우에, 가상 객체는 HMD 착용자가 제스처, 음성 명령 및/또는 다른 형태의 입력을 사용하여 상호작용할 수 있는 사용자 인터페이스(UI)일 수 있다.
TFOV가 HMD 착용자의 FOV를 넘어 연장되기 때문에, TFOV 내의 모든 가상 객체의 일부분만이 임의의 지정된 시간에 HMD 착용자에 의해 보기될 수 있다. 따라서, 가상 이미지 디스플레이 컴포넌트(218)는 TFOV 내의 HMD 착용자의 현재 FOV를 결정하고 가상 객체가 HMD 착용자의 FOV 내의 적절한 위치에 디스플레이되도록 동작할 수 있다. 예를 들어, 가상 객체가 HMD 착용자의 발에 인접한 TFOV 영역에 배치되는 경우에, 가상 객체는 HMD 착용자가 올려다보는 경우에는 디스플레이되지 않는다. 그러나, HMD 착용자가 내려다보면, 가상 이미지 디스플레이 컴포넌트(218)는 HMD 착용자의 FOV가 발 영역 위에 있는 것으로 판정할 수 있고 가상 객체가 적합한 영역에 디스플레이되게 할 수 있다. 일부 실시예에서, HMD 착용자의 FOV의 범위(extent)는 HMD(202)의 디스플레이 컴포넌트(204)의 디스플레이 영역의 범위에 대응하는 것으로 간단히 간주될 수 있다.
일부의 경우에, HMD의 FOV는 HMD 착용자의 FOV를 넘어 연장될 수 있다. 예를 들어, 깊이 센서, 카메라 및 다른 내장 HMD 센서와 외부 센서가 HMD 착용자의 FOV의 외부의 데이터를 캡쳐할 수 있다. 이와 같이, HMD의 FOV는 다양한 센서가 커버하는 범위에 의해 정의될 수 있고, 이는 HMD 착용자의 FOV를 넘어서 연장될 수 있다. 일부 실시예에서, 가상 객체가 HMD의 FOV 내에 배치되는 한, HMD 착용자로 하여금 HMD 착용자의 FOV 외부에 존재하기 때문에 HMD 착용자에게 현재 디스플레이되지 않는 가상 객체와 상호작용하는 것을 가능하게 함으로써, HMD의 FOV를 이용할 수 있다. 예를 들어, 인터랙티브 가상 객체가 HMD 착용자의 우측 엉덩이에 인접한 영역에 인접하게 배치되는 것으로 가정한다. HMD 착용자는, HMD 착용자가 다른 곳을 바라보고 가상 객체가 HMD 착용자에게 디스플레이되지 않는 경우에도, 가상 객체가 배치된 HMD 착용자의 우측 엉덩이에 인접한 영역이 HMD의 FOV 내에 위치하는 한, HMD가 HMD 착용자와 가상 객체와의 상호작용을 캡쳐할 수 있도록, 가상 객체와 상호작용할 수 있다.
이제 도 7을 참조하면, 본 발명의 실시예에 따라 HMD 착용자의 TFOV의 영역을 분류하는 방법(700)을 도시하는 흐름도가 제공된다. 방법(700)은 예를 들어, HMD, HMD 외부의 장치 또는 이들의 조합에 의해 수행될 수 있다. 블록(702)에 도시된 것과 같이, HMD 상에 제공된 내장 센서로부터 데이터가 수신된다. 이전에 논의된 것과 같이, 내장 센서는 GPS 센서, 관성 측정 유닛(IMU) 센서, 깊이 센서, 카메라, 눈 추적 센서, 마이크, 생체 입력 및 다른 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 추가로, 데이터가 HMD 외부의 소스로부터 수신된 수 있다(블록 704에 도시됨). 단지 예시로서(제한이 아님), 외부 카메라, 외부 깊이 센서, 다른 HMD, 모바일 장치 및 HMD로부터 원격으로 저장되는 센서 이력 데이터를 포함할 수 있다.
내장 센서로부터의 데이터 및 외부 소스로부터의 다른 데이터에 기초하여, HMD 착용자의 머리 위치 및 회전이 HMD 착용자의 신체 및 주변 환경에 관하여 판정된다(블록 706에 도시됨). 그러한 정보를 사용하여, HMD 착용자의 TFOV가 둘 이상의 영역으로 분류된다(블록 708에 도시됨). 본 발명의 실시예에 따라, TFOV는 사용자 정의되거나 시스템 정의된 불변 또는 동적일 수 있는 규칙에 따라 분류된다. 가상 객체가 TFOV의 영역에 배치된다(블록 710에 도시됨). 또한, 복수의 규칙이 다양한 가상 객체를 영역에 배치하기 위해 정의될 수 있다. 또한, 이러한 규칙은 사용자 정의되거나 시스템 정의된, 불변 또는 동적인 것일 수 있다. 일부 실시예에서, 시스템은 다양한 가상 객체를 배치할 곳을 결정하는 경우에 액세스되고 있는 애플리케이션을 고려할 수 있다. 블록(702 및 704)으로 복귀하는 것으로 나타낸 것과 같이, TFOV 영역을 분류하는 프로세스가 반복될 수 있다. 일부 실시예에서, 하나 이상의 규칙은 TFOV의 영역의 재분류를 시작하게 할 수 있는 반면에, 다른 실시예에서, TFOV는 지속적으로 재분류될 수 있다.
도 8로 돌아가서, 본 발명의 일 실시예에 따라 HMD를 사용하여 가상 객체를 디스플레이하는 방법을 도시하는 흐름도가 제공된다. 블록(802)에 도시된 바와 같이, HMD 착용자의 FOV가 초기에 결정된다. 일부 실시예에서, HMD 착용자의 FOV의 범위는 HMD의 디스플레이 컴포넌트에 의해 제공되는 디스플레이 영역의 범위와 단순히 대응할 수 있다. 블록(804)에 도시된 것과 같이, HMD 착용자의 FOV가 예를 들면, 도 7을 참조하여 전술한 방법(700)을 사용하여 판정된 TFOV의 영역과 비교된다. 비교는 TFOV의 영역에 관하여 HMD 착용자의 FOV의 배치를 식별한다.
디스플레이될 가상 객체가 TFOV 영역 및 TFOV 영역 내의 가상 객체의 위치에 관한 HMD 착용자의 FOV의 위치에 기초하여 판정된다(블록 806). 일부 실시예에서, 허가 세트가 이러한 지점에 적용되어 예를 들면, 현재 사용자 상태 또는 관여된 특정한 애플리케이션(들)에 기초하여 가상 객체의 사용을 제어할 수 있다. 이후에 가상 객체는 적절한 위치에서 HMD의 디스플레이 컴포넌트를 사용하여 디스플레이될 수 있다(블록 808).
이해할 수 있는 바와 같이, 본 발명의 실시예는 센서 입력 및 규칙에 기초하여 HMD 착용자의 TFOV의 영역을 분류하고, 분류된 영역에 가상 객체를 배치하기 위한 제공된다. 본 발명은 특정한 실시예에 관하여 설명되었으나 모든 측면에서 이는 제한보다는 설명을 하기 위한 것이다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자라면 본 발명의 범주를 벗어나지 않는 범위에서 선택적인 실시예를 이해할 수 있을 것이다.
전술한 내용으로부터, 본 발명은 전술한 모든 결과 및 목적과 함께 시스템 및 방법에 고유한 자명하지 않은 다른 효과를 얻도록 잘 적용될 수 있다는 것을 알 수 있을 것이다. 소정의 특징 및 하위 조합이 이용될 수 있고 다른 특징 및 하위 조합을 참조하지 않고 사용될 수 있다는 것을 이해할 수 있을 것이다. 이는 청구범위의 범주 내에 속하는 것으로 간주된다.

Claims (10)

  1. 하나 이상의 컴퓨팅 장치에 의해 사용되는 경우에, 상기 하나 이상의 컴퓨팅 장치로 하여금 방법을 수행하게 하는 컴퓨터 이용가능 명령어를 저장하는 하나 이상의 컴퓨터 저장 매체로서,
    상기 방법은
    하나 이상의 헤드 마운티드 디스플레이(HMD)의 내장 센서로부터 센서 데이터를 수신하는 단계와,
    상기 센서 데이터를 이용하여 HMD 착용자의 신체 및 상기 HMD 착용자를 둘러싸는 환경에 관한 상기 HMD 착용자의 머리 위치 및 회전을 판정하는 단계와,
    하나 이상의 사전 지정된 규칙과, 상기 HMD 착용자의 신체 및 상기 HMD 착용자를 둘러싸는 환경에 관한 상기 HMD 착용자의 머리 위치 및 회전에 기초하여, 상기 HMD 착용자의 TFOV(total field of view) 내의 둘 이상의 영역을 분류하는 단계와,
    상기 HMD 착용자의 TFOV 내의 둘 이상의 영역의 분류에 기초하여 상기 HMD에 의해 디스플레이될 가상 이미지를 배치하는 단계
    를 포함하는 컴퓨터 저장 매체.
  2. 제1항에 있어서,
    상기 방법은
    상기 HMD의 외부의 하나 이상의 소스로부터 다른 데이터를 수신하는 단계와,
    상기 센서 데이터와 함께 상기 다른 데이터를 사용하여 상기 HMD 착용자의 신체 및 상기 HMD 착용자를 둘러싸는 환경에 관한 상기 HMD 착용자의 머리 위치 및 회전을 판정하는 단계
    를 더 포함하는 컴퓨터 저장 매체.
  3. 제1항에 있어서,
    상기 둘 이상의 영역은 상기 HMD 착용자의 TFOV 내에서 동적으로 변하는
    컴퓨터 저장 매체.
  4. 제1항에 있어서,
    상기 둘 이상의 영역은 제1 영역 및 하나 이상의 제1 영역 이외의 영역을 포함하고,
    상기 가상 이미지를 배치하는 단계는 상기 제1 영역의 폐색을 감소시키도록 상기 가상 이미지를 배치하는 단계를 포함하는
    컴퓨터 저장 매체.
  5. 제1항에 있어서,
    상기 HMD 착용자의 TFOV 내의 둘 이상의 영역을 분류하는 단계는, 상기 HMD 착용자의 신체에 관하여 상기 영역 중 적어도 하나를 분류하는 단계를 포함하고,
    상기 가상 현실 이미지를 상기 HMD에 의해 디스플레이되도록 배치하는 단계는 상기 HMD 착용자의 신체에 관하여 상기 영역 중 적어도 하나를 분류하는 것에 기초하여 상기 HMD 착용자의 신체에 관하여 상기 가상 현실 이미지 중 적어도 하나를 배치하는 단계를 포함하는
    컴퓨터 저장 매체.
  6. 제1항에 있어서,
    상기 방법은
    상기 HMD 착용자에 대한 FOV(field of view)를 판정하는 단계와,
    상기 FOV를 상기 HMD 착용자의 TFOV의 둘 이상의 영역과 비교하는 단계와,
    상기 HMD 착용자의 TFOV의 둘 이상의 영역에 관한 상기 FOV의 위치에 기초하여 디스플레이될 가상 객체의 서브세트를 판정하는 단계와,
    상기 HMD의 디스플레이 컴포넌트를 통해 상기 가상 객체의 서브세트를 디스플레이하는 단계
    를 더 포함하는 컴퓨터 저장 매체.
  7. 제1항에 있어서,
    상기 방법은
    상기 둘 이상의 영역으로부터 제1 영역 내에 배치되는 상호작용가능한 가상 이미지와 사용자의 상호작용을 식별하는 단계 - 상기 제1 영역은 상기 HMD 착용자의 현재 FOV 외부에 존재함 - 와,
    상기 상호작용가능한 가상 이미지와 상기 사용자의 상호작용에 응답하여 액션을 수행하는 단계
    를 더 포함하는 컴퓨터 저장 매체.
  8. 헤드 마운티드 디스플레이(HMD)로서,
    하나 이상의 내장 센서와,
    상기 하나 이상의 내장 센서로부터의 센서 데이터에 기초하여 HMD 착용자의 신체에 관해 상기 HMD 착용자의 머리의 위치 및 회전을 판정하고, 상기 HMD 착용자의 신체에 관한 상기 HMD 착용자의 머리의 위치 및 회전에 기초하여 상기 HMD 착용자의 TFOV의 둘 이상의 영역을 분류하며, 상기 둘 이상의 영역 내에 하나 이상의 가상 객체를 배치하는 하나 이상의 프로세서와,
    상기 HMD 착용자에게 증강된 뷰를 제공하도록 상기 하나 이상의 가상 객체 중 적어도 하나를 디스플레이하도록 구성되는 하나 이상의 디스플레이 컴포넌트
    를 포함하는 헤드 마운티드 디스플레이.
  9. 제8항에 있어서,
    상기 HMD는 무선 통신 컴포넌트를 더 포함하고,
    상기 무선 통신 컴포넌트는 상기 HMD 외부의 하나 이상의 소스로부터 다른 데이터를 수신하도록 구성되며,
    상기 하나 이상의 프로세서는 상기 HMD 외부의 상기 하나 이상의 소스로부터의 다른 데이터에 기초하여 상기 HMD 착용자의 신체에 관하여 상기 HMD 착용자의 머리의 위치 및 회전을 판정하도록 추가로 구성되는
    헤드 마운티드 디스플레이.
  10. 헤드 마운티드 디스플레이(HMD) 착용자의 TFOV의 영역을 분류하는 방법으로서,
    연속적으로,
    상기 HMD상에 내장된 하나 이상의 센서로부터 센서 데이터를 수신하는 단계와,
    상기 HMD 외부의 하나 이상의 소스로부터 다른 데이터를 수신하는 단계와,
    상기 센서 데이터 및 다른 데이터에 기초하여, 상기 HMD 착용자의 신체 및 주변 환경에 관하여 상기 HMD 착용자의 TFOV의 영역을 분류하는 단계
    를 더 포함하는
    영역 분류 방법.
KR1020137034185A 2011-06-23 2012-06-19 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법 KR20140034252A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/167,113 2011-06-23
US13/167,113 US20120327116A1 (en) 2011-06-23 2011-06-23 Total field of view classification for head-mounted display
PCT/US2012/043178 WO2012177657A2 (en) 2011-06-23 2012-06-19 Total field of view classification for head-mounted display

Publications (1)

Publication Number Publication Date
KR20140034252A true KR20140034252A (ko) 2014-03-19

Family

ID=47361426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034185A KR20140034252A (ko) 2011-06-23 2012-06-19 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법

Country Status (7)

Country Link
US (3) US20120327116A1 (ko)
EP (1) EP2724191A4 (ko)
JP (1) JP2014526157A (ko)
KR (1) KR20140034252A (ko)
CN (1) CN103635849A (ko)
TW (1) TW201303640A (ko)
WO (1) WO2012177657A2 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
WO2016111470A1 (ko) * 2015-01-07 2016-07-14 삼성전자 주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
KR20180021885A (ko) * 2015-06-30 2018-03-05 매직 립, 인코포레이티드 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10861130B2 (en) 2017-03-17 2020-12-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10861237B2 (en) 2017-03-17 2020-12-08 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US11073699B2 (en) 2016-08-02 2021-07-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11206507B2 (en) 2017-01-23 2021-12-21 Magic Leap, Inc. Localization determination for mixed reality systems
US11315214B2 (en) 2017-03-17 2022-04-26 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual con tent using same
KR20220088660A (ko) * 2014-10-15 2022-06-28 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11429183B2 (en) 2015-03-05 2022-08-30 Magic Leap, Inc. Systems and methods for augmented reality

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
WO2014016986A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元環境共有システム及び３次元環境共有方法
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
JP6036209B2 (ja) * 2012-11-19 2016-11-30 セイコーエプソン株式会社 虚像表示装置
WO2014116826A1 (en) * 2013-01-24 2014-07-31 The Trustees Of Columbia University In The City Of New York Mobile, neurally-assisted personal assistant
WO2014128810A1 (ja) 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ及び画像表示装置
IL313175A (en) 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
NZ735754A (en) 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US10195058B2 (en) 2013-05-13 2019-02-05 The Johns Hopkins University Hybrid augmented reality multimodal operation neural integration environment
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US20160054795A1 (en) * 2013-05-29 2016-02-25 Mitsubishi Electric Corporation Information display device
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
CN105359063B (zh) 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
JP2015015563A (ja) * 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
KR102138511B1 (ko) * 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9679144B2 (en) * 2013-11-15 2017-06-13 Microsoft Technology Licensing, Llc Protecting privacy in web-based immersive augmented reality
US10254920B2 (en) * 2013-12-01 2019-04-09 Upskill, Inc. Systems and methods for accessing a nested menu
EP3078019B1 (en) * 2013-12-03 2020-06-10 Nokia Technologies Oy Display of information on a head mounted display
WO2015099215A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
TWI486631B (zh) 2014-01-24 2015-06-01 Quanta Comp Inc 頭戴式顯示裝置及其控制方法
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9767609B2 (en) 2014-02-12 2017-09-19 Microsoft Technology Licensing, Llc Motion modeling in visual tracking
WO2015142071A1 (en) 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
JP6376807B2 (ja) * 2014-04-02 2018-08-22 キヤノン株式会社 表示装置、表示制御方法及びプログラム
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6309174B1 (ja) * 2014-12-18 2018-04-11 フェイスブック，インク． 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
CN105988219B (zh) 2015-03-17 2020-11-10 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
WO2016187348A1 (en) * 2015-05-18 2016-11-24 Brian Mullins Biometric authentication in a head mounted device
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
KR102402048B1 (ko) 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
US9864194B2 (en) 2015-11-24 2018-01-09 Honeywell International Inc. Systems and methods for displaying FOV boundaries on HUDs
US10147235B2 (en) 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR102524641B1 (ko) 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
CN108885487B (zh) * 2016-02-29 2021-01-29 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10518172B2 (en) * 2016-03-07 2019-12-31 Htc Corporation Accessory management of virtual reality system
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
CN105912123A (zh) 2016-04-15 2016-08-31 北京小鸟看看科技有限公司 一种三维沉浸式环境下的界面布局方法和装置
TWI628634B (zh) * 2016-05-25 2018-07-01 國立中央大學 互動式教學系統以及方法
CN109314800B (zh) * 2016-06-13 2022-02-01 索尼互动娱乐有限责任公司 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
US10864423B2 (en) * 2016-11-10 2020-12-15 National Taiwan University Augmented learning system for tai-chi chuan with head-mounted display
EP3330839A1 (en) * 2016-12-05 2018-06-06 THOMSON Licensing Method and device for adapting an immersive content to the field of view of a user
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10628950B2 (en) * 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
US10159900B2 (en) * 2017-03-17 2018-12-25 Roblox Corporation Avatar teleport controller
KR102404734B1 (ko) * 2017-03-24 2022-06-07 삼성전자주식회사 컨텐트를 재생하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN106997242B (zh) * 2017-03-28 2020-10-30 联想(北京)有限公司 界面管理方法及头戴式显示设备
CN106980377B (zh) * 2017-03-29 2019-01-25 京东方科技集团股份有限公司 一种三维空间的交互系统及其操作方法
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
CN107274438B (zh) * 2017-06-28 2020-01-17 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
US11158126B1 (en) 2017-06-30 2021-10-26 Apple Inc. Redirected walking in virtual reality environments
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
TWI658291B (zh) * 2018-01-25 2019-05-01 宏碁股份有限公司 頭戴式顯示器及其操作方法
CN108198249B (zh) * 2018-03-07 2024-02-02 上海交通大学医学院附属第九人民医院 一种基于虚拟现实技术的视野缺损模拟装置和方法
US10572002B2 (en) * 2018-03-13 2020-02-25 Facebook Technologies, Llc Distributed artificial reality system with contextualized hand tracking
US11195334B2 (en) * 2018-08-03 2021-12-07 Igt Providing interactive virtual elements within a mixed reality scene
EP4276520A3 (en) 2018-08-31 2024-01-24 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US11347303B2 (en) 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
US10802281B2 (en) 2018-12-20 2020-10-13 General Electric Company Periodic lenses systems for augmented reality
JP2022517207A (ja) 2019-01-11 2022-03-07 マジック リープ， インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
US20210192799A1 (en) * 2019-12-19 2021-06-24 Facebook Technologies, Llc Passthrough window object locator in an artificial reality system
KR20220039113A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
TW202301083A (zh) 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
CN116740318B (zh) * 2023-08-14 2023-12-12 深圳风向标教育资源股份有限公司 汽车部件的摆放方法、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872100B2 (ja) * 1993-08-12 2007-01-24 セイコーエプソン株式会社 頭部搭載型の画像表示装置
JP3701053B2 (ja) * 1995-07-13 2005-09-28 コニカミノルタホールディングス株式会社 映像表示装置
JPH1184307A (ja) * 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP2004234253A (ja) * 2003-01-29 2004-08-19 Canon Inc 複合現実感呈示方法
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US20090040233A1 (en) 2004-06-10 2009-02-12 Kakuya Yamamoto Wearable Type Information Presentation Device
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
US7369317B2 (en) 2005-03-07 2008-05-06 Himax Technologies, Inc. Head-mounted display utilizing an LCOS panel with a color filter attached thereon
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
JP2008217119A (ja) * 2007-02-28 2008-09-18 Canon Inc システム、画像処理装置、画像処理方法
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US8314814B2 (en) * 2007-12-20 2012-11-20 Raytheon Company Imaging system
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US12007570B2 (en) 2014-10-15 2024-06-11 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
KR20220088660A (ko) * 2014-10-15 2022-06-28 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US11914153B2 (en) 2014-10-15 2024-02-27 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
US10437055B2 (en) 2015-01-07 2019-10-08 Samsung Electronics Co., Ltd. Master device, slave device, and control method therefor
WO2016111470A1 (ko) * 2015-01-07 2016-07-14 삼성전자 주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US11619988B2 (en) 2015-03-05 2023-04-04 Magic Leap, Inc. Systems and methods for augmented reality
US11256090B2 (en) 2015-03-05 2022-02-22 Magic Leap, Inc. Systems and methods for augmented reality
US11429183B2 (en) 2015-03-05 2022-08-30 Magic Leap, Inc. Systems and methods for augmented reality
KR20180021885A (ko) * 2015-06-30 2018-03-05 매직 립, 인코포레이티드 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US11288832B2 (en) 2015-12-04 2022-03-29 Magic Leap, Inc. Relocalization systems and methods
US11536973B2 (en) 2016-08-02 2022-12-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11073699B2 (en) 2016-08-02 2021-07-27 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
KR20220164084A (ko) * 2016-08-02 2022-12-12 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11711668B2 (en) 2017-01-23 2023-07-25 Magic Leap, Inc. Localization determination for mixed reality systems
US11206507B2 (en) 2017-01-23 2021-12-21 Magic Leap, Inc. Localization determination for mixed reality systems
US10861237B2 (en) 2017-03-17 2020-12-08 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US11410269B2 (en) 2017-03-17 2022-08-09 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11423626B2 (en) 2017-03-17 2022-08-23 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US11315214B2 (en) 2017-03-17 2022-04-26 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual con tent using same
US11978175B2 (en) 2017-03-17 2024-05-07 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10964119B2 (en) 2017-03-17 2021-03-30 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US10861130B2 (en) 2017-03-17 2020-12-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11790482B2 (en) 2018-07-23 2023-10-17 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11321845B2 (en) 2019-01-31 2022-05-03 Alphacircle Co., Ltd. Method and device for controlling transit time of reproduced image among a plurality of segmented images
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
US11808940B2 (en) 2019-10-10 2023-11-07 Medithinq Co., Ltd. Eye tracking system for smart glasses and method therefor
WO2021071335A1 (ko) * 2019-10-10 2021-04-15 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법

Also Published As

Publication number Publication date
US20130093789A1 (en) 2013-04-18
TW201303640A (zh) 2013-01-16
US20120327116A1 (en) 2012-12-27
US20150235632A1 (en) 2015-08-20
US9245501B2 (en) 2016-01-26
US9041623B2 (en) 2015-05-26
WO2012177657A2 (en) 2012-12-27
WO2012177657A3 (en) 2013-05-02
CN103635849A (zh) 2014-03-12
JP2014526157A (ja) 2014-10-02
EP2724191A4 (en) 2015-03-25
EP2724191A2 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
CN107209386B (zh) 增强现实视野对象跟随器
US10789779B2 (en) Location-based holographic experience
EP3629290A1 (en) Localization for mobile devices
CN106489171B (zh) 立体图像显示器
KR20170036764A (ko) 동공 검출
JP2017516250A (ja) 世界固定表示品質のフィードバック
JP2017531221A (ja) 仮想現実環境の中に没入したときのつまずき対抗
KR20160132411A (ko) 제스처 파라미터 튜닝
US11520401B2 (en) Focus-based debugging and inspection for a display system
US11803233B2 (en) IMU for touch detection
US20230102820A1 (en) Parallel renderers for electronic devices
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11321926B2 (en) Method and device for content placement
US12079945B2 (en) XR preferred movement along planes
US11302285B1 (en) Application programming interface for setting the prominence of user interface elements
KR20220131838A (ko) 폐색된 물리적 객체의 위치 표시
US11972088B2 (en) Scene information access for electronic device applications
CN112578983B (zh) 手指取向触摸检测
US11281337B1 (en) Mirror accessory for camera based touch detection
CN113821124B (zh) 用于触摸检测的imu
US20220253196A1 (en) Information processing apparatus, information processing method, and recording medium
CN118265962A (zh) 用于电子设备应用程序的场景信息访问

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid