KR101747616B1 - 헤드 마운티드 디스플레이를 위한 온-헤드 검출 - Google Patents

헤드 마운티드 디스플레이를 위한 온-헤드 검출 Download PDF

Info

Publication number
KR101747616B1
KR101747616B1 KR1020167017807A KR20167017807A KR101747616B1 KR 101747616 B1 KR101747616 B1 KR 101747616B1 KR 1020167017807 A KR1020167017807 A KR 1020167017807A KR 20167017807 A KR20167017807 A KR 20167017807A KR 101747616 B1 KR101747616 B1 KR 101747616B1
Authority
KR
South Korea
Prior art keywords
hmd
user
optical sensor
state
lens
Prior art date
Application number
KR1020167017807A
Other languages
English (en)
Other versions
KR20160087907A (ko
Inventor
헤이즈 솔로스 라플레
매뉴 위야트 마틴
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20160087907A publication Critical patent/KR20160087907A/ko
Application granted granted Critical
Publication of KR101747616B1 publication Critical patent/KR101747616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H04M1/72569—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0267—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components
    • H04W52/027—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components by controlling a display operation or backlight unit
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • Y02B60/50—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

본 개시내용의 실시예들은 적어도 하나의 렌즈, 렌즈의 앞에 배치되어 렌즈로부터 반사된 광을 검출하는 광학 센서, 렌즈의 앞에 배치된 적어도 하나의 영상 소스, 및 사용자의 머리에 착용하기 위해 렌즈와 영상 소스를 지지하는 프레임 어셈블리를 포함하고, 프레임 어셈블리는 HMD가 사용자에 의해 착용될 때 광학 센서가 적어도 하나의 렌즈에 더 가깝게 이동하도록 휘어지는 신축성 있는 프레임 어셈블리를 포함하는 HMD 디바이스들을 위한 온-헤드 검출 프로세스들을 설명한다. 일부 실시예들에서, 광학 센서는 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된다. 광학 센서에 의해 수신된 광은 사용자가 HMD를 착용하고 있을 때 더 강하므로, 실시예들은 광학 센서 데이터에 기초하여 사용자가 HMD를 착용하고 있는지를 결정한다.

Description

헤드 마운티드 디스플레이를 위한 온-헤드 검출{ON-HEAD DETECTION FOR HEAD-MOUNTED DISPLAY}
본 개시내용의 실시예들은 컴퓨팅 디바이스 분야, 및 더욱 구체적으로, 헤드 마운티드 디스플레이(head mounted display)(HMD)에 관한 것이다.
헤드 마운티드 디스플레이(HMD)는 사용자의 머리에 또는 주위에 착용하는 디스플레이 디바이스이다. HMD들은 보통 사람의 눈의 수 센티미터 내에 영상을 표시하기 위해 일부 종류의 눈에 가까운 광학 시스템(near-to-eye optical system)을 통합한다. 한쪽 눈 디스플레이들은 단안용 HMD들이라고 하고 양쪽 눈 디스플레이들은 양안용 HMD들이라고 한다. 일부 HMD들은 단지 컴퓨터 발생 영상(computer generated image)(CGI)을 표시하고, 다른 유형들의 HMD들은 실세계 뷰 위에 CGI를 중첩할 수 있다. 전자의 유형의 HMD는 보통 가상 현실(VR)이라고 하고 후자의 유형의 HMD는 보통 증강 현실(AR)이라고 하는데 왜냐하면 세계의 관찰자의 영상은 중첩한 CGI로 증강되기 때문이고, 또한 헤드 업 디스플레이(heads-up display)(HUD)라고 한다.
HMD들이 증가하는 양의 컴퓨팅 용량 및 입/출력 수단(예를 들어, 오디오 데이터 출력, 오디오/영상 데이터 캡처)을 통합함에 따라, 그들은 또한 잠재적으로 보다 많은 전력을 소비한다. HMD가 그것의 컴포넌트들을 효과적으로 활성화 또는 비활성화하기 위해 어떻게 사용되는지를 아는 것은 중요하다.
본 개시내용은 아래에 주어진 상세한 설명으로부터 및 본 개시내용의 다양한 실시예들의 첨부 도면으로부터 더욱 완전히 이해될 것이지만, 본 개시내용은 발명을 특정한 실시예들로 제한하는 것이 아니고, 단지 설명 및 이해를 위한 것이다.
도 1은 본 개시내용의 실시예에 따른 헤드 마운티드 디스플레이의 도면이다.
도 2는 본 개시내용의 실시예에 따른 헤드 마운티드 디스플레이의 도면이다.
도 3은 본 개시내용의 실시예에 따른 사용자에 의해 착용되어 있는 헤드 마운티드 디스플레이의 상면도.
도 4는 본 개시내용의 실시예에 따른 헤드 마운티드 디스플레이를 위한 사용자 온-헤드 검출의 프로세스의 흐름도.
도 5는 본 개시내용의 실시예를 이용하기 위한 디바이스의 컴포넌트들의 도면이다.
도 6은 본 개시내용의 실시예에 따른 네트워크 액세스가능한 헤드 마운티드 디스플레이들을 위한 예시적인 컴퓨터 네트워크 인프라구조를 도시한 도면.
헤드 마운티드 디스플레이(HMD) 디바이스들의 온-헤드 검출을 위한 장치, 시스템 및 방법의 실시예들이 여기에 설명된다. 다음의 설명에서 많은 특정한 상세들이 실시예들의 철저한 이해를 제공하기 위해 기술된다. 그러나, 관련 기술 분야의 통상의 기술자는 여기에 설명된 기술들이 특정한 상세들 중 하나 이상 없이도, 또는 다른 방법들, 컴포넌트들, 재료들 등으로 실시될 수 있다는 것을 인식할 것이다. 다른 예들에서, 널리 공지된 구조들, 재료들, 또는 동작들은 소정의 양태들을 불명하게 하는 것을 피하기 위해 도시되지 않거나 설명되지 않는다.
도 1은 본 개시내용의 실시예에 따른 HMD의 도시도이다. HMD(100)는 안경 프레임 형태로 웨어러블 컴퓨팅 디바이스로서 도시되고; 다른 실시예들에서, HMD들은 사용자의 눈에 가까운 광학 디스플레이를 제공하는 다른 형태들로 될 수 있다.
이 실시예에서, HMD(100)의 프레임(102)은 렌즈 요소들(108 및 110)을 지지하는 중심 프레임 지지부(122), 및 연장하는 사이드 암들(104 및 106)을 포함한다. 중심 프레임 지지부(122) 및 사이드 암들(104 및 106)은 프레임(102)을 각각 사용자의 코와 귀를 통해 사용자(199)의 머리에 고정하도록 구성된다. 중심 프레임 지지부(122) 및 연장하는 사이드 암들(104 및 106)은 플라스틱 또는 금속의 고체 구조로 형성될 수 있거나, 와이어링 및 컴포넌트 상호 접속들이 프레임을 통해 내부로 라우팅될 수 있게 하기 위하여 유사한 재료의 중공 구조로 형성될 수 있다. 대안적으로 또는 추가적으로, 프레임(102)은 외부 와이어링을 지지할 수 있다.
이 실시예에서, 렌즈 요소들(108 및 110)은 사용자(199)가 그것들을 통해 보게 할 수 있도록 적어도 부분적으로 투명하므로 HMD(100)는 사용자에게 증강 현실(AR)을 제공할 수 있다(즉, 세계의 사용자의 영상은 헤드 업 디스플레이(HUD)라고도 하는, 중첩 CGI로 증강되기 때문이다). 광학 시스템들(130 및 132)은 각각 렌즈들(108 및 110)의 앞에 배치되는 것으로 도시되므로, HMD(100)는 양쪽 눈 디스플레이(즉, 양안 HMD)를 포함하고; 다른 실시예들은 한쪽 눈 디스플레이(즉, 단안 HMD)를 포함할 수 있다.
HMD(100)는 사용자에게 표시되어야 하는 가상 영상을 결정할 때 다른 소스들 중에서, 카메라(124)를 포함하는 다양한 센서들로부터의 데이터를 처리하는 내부 프로세서를 포함할 수 있다. HMD(100)는 사이드 암들(104 및 106) 중 어느 한쪽 상에 배치된 터치패드인 사용자 입/출력(I/O) 인터페이스(도시 안됨)를 포함할 수 있고; 일부 실시예들에서, 마이크로폰(도시 안됨)이 또한 음성 입력 명령들을 캡처하는 데 사용될 수 있고; 카메라(124)가 사용자 제스처 기반 명령들을 캡처하는 데 사용될 수 있다.
이 실시예에서, 카메라(124)는 광학 시스템(122)에 가까이 위치하는 것으로 도시된다. 대안적으로, 카메라(124)는 HMD(100)과 떨어져 배치되어, 프레임(102) 상의 어딘가에 위치할 수 있거나, 광학 시스템(130) 및/또는 광학 시스템(132) 내로 통합될 수 있다. 카메라(124)는 사용자가 볼 수 있는 것과 유사한 시야를 촬상할 수 있다. 게다가, 카메라(124)는 HMD(100)의 프로세서가 시야 내의 물체들을 해석하고 콘텍스트-감지 가상 영상들을 표시하게 할 수 있다. 예를 들어, 카메라(124)와 HMD 프로세서가 영상 데이터를 캡처하고 목표 물체를 식별하면, 시스템은 목표 물체에 사용자의 주의를 끌기 위해 설계된 중첩된 인공 영상을 표시함으로써 사용자(199)에게 경보할 수 있다. 이들 영상은 사용자의 시야 또는 목표 물체 이동에 따라 이동할 수 있고 - 즉, 사용자 머리 또는 목표 물체 이동들은 상대적 움직임을 추적하기 위해 볼 수 있는 영역 주위에서 이동하는 인공 영상들을 발생할 수 있다. 또한, 광학 시스템들(130 및 132)은 목표 물체와의 상호 작용을 향상시키기 위해 지시들, 위치 큐들 및 다른 시각적 큐들을 표시할 수 있다. 카메라(124)는 자동 초점 신호를 제공하는 자동 초점 카메라일 수 있다. HMD 프로세서는 환경에 대응하는 가상 영상들을 나타내기 위해 자동 초점 신호에 기초하여 광학 시스템(130 및 132)의 광로들의 길이를 조정할 수 있다.
HMD(100)는 추가의 컴퓨팅 컴포넌트들 및 다른 I/O 수단(예를 들어, 사용자 입력 명령들로서 머리 이동 제스처들을 검출하는 움직임 센서, 사용자에게 오디오 데이터를 출력하는 오디오 스피커들 등)을 더 포함할 수 있다. 위에 설명된 컴퓨팅 컴포넌트들 및 I/O 수단 모두는 HMD(100)에 의해 제공된 전력을 소비한다. 아래에 설명되는 바와 같이, 본 발명의 실시예들은 그것의 컴포넌트들 및/또는 특징들을 효율적으로 활성화 또는 비활성화하기 위해 사용자가 HMD를 착용하고 있는지를 결정한다.
도 2는 본 개시내용의 실시예에 따른 HMD의 도시도이다. HMD(200)는 프레임(202), 렌즈(204) 및 광학 시스템(206)을 포함하는 것으로 도시된다. HMD(200)는 단일 광학 출력 컴포넌트(206)가 렌즈(204) 앞에 배치된, 단안 디바이스로서 도시된다. HMD(200)는 영상 데이터를 캡처하는 영상 센서(208), 오디오 신호를 캡처하는 마이크로폰(210), 오디오 데이터를 출력하는 스피커(212), 프로세서(214) 및 HMD 및 그것의 컴포넌트들에 전력을 공급하는 전원(216)을 더 포함한다. HMD(200)의 모든 컴포넌트들이 도시되지 않고; 예를 들어, 일부 실시예들은 예를 들어, 접속 컴포넌트들(connectivity components) 및 위치 센서들을 포함할 수 있다. 접속 컴포넌트들은 셀룰러와 무선 접속 중 어느 하나 또는 둘 다를 위한 컴포넌트들을 포함할 수 있다. 여기서 참조되는 바와 같이, 셀룰러 접속은 GSM(이동 통신들을 위한 글로벌 시스템) 또는 변형들 또는 파생물들, CDMA(코드 분할 다중 액세스) 또는 변형들 또는 파생물들, TDM(시분할 멀티플렉싱) 또는 변형들 또는 파생물들, 또는 다른 셀룰러 서비스 표준들을 통해 제공되는 것과 같이, 무선 캐리어들에 의해 제공된 셀룰러 네트워크 접속이라고 한다. 여기서 참조되는 바와 같이, 무선 접속은 셀룰러가 아닌 무선 접속을 참조하고, 개인 영역 네트워크들(블루투스 등), 로컬 영역 네트워크들(와이파이 등), 및/또는 광역 네트워크들(Wi-Max 등), 또는 다른 무선 통신을 포함할 수 있다. 위치 센서들은 위에 설명된 접속 컴포넌트들(예를 들어, 와이파이 또는 셀룰러 삼각측량 기반 프로세스들)을 이용할 수 있거나 전지구 위치 파악 시스템(GPS) 센서와 같은 다른 컴포넌트들을 포함할 수 있다.
이 실시예에서, HMD(200)는 렌즈(204)의 앞에 배치된 광학 센서(220)를 포함한다. 도 2에 도시된 바와 같이, 광학 센서(220)는 부재에 부착되어 있고, 부재는 신축성 있는 프레임(202)의 한 암(arm)에 부착되어 있다. 상기 부재는 마이크로폰(201) 및 스피커(212)를 포함할 수 있다. 광학 센서(220)는 포토검출기(예를 들어, 포토트랜지스터들, 포토저항들, 포토캐패시터들, 포토다이오드들 등) 또는 검출된 광 에너지를 전기 신호로 변환하도록 구성되는 임의의 적합한 감광 반도체 접합 디바이스일 수 있다. 광학 센서(220)는 렌즈(204)로부터 반사된 광을 검출하는 것으로 도시된다. 렌즈로부터 반사된 상기 광은 예를 들어, 광학 시스템(206)으로부터의 광, 또는 렌즈(204)로부터 광을 반사하도록 배치된 저레벨 광 방출기(도시 안됨)로부터의 광을 포함할 수 있다. 일부 실시예들에서, 광학 센서(220)는 사용자의 얼굴로부터 반사된 광(즉, 사용자의 눈을 포함하고 이로 제한되지 않는, 광학 센서(220)에 가까이에 있는 사용자의 얼굴의 영역들로부터 반사된 광)을 또한 검출하도록 배치된다. 도시된 바와 같이, HMD(200)는 사용자에 의해 착용되어 있지 않으므로, 프레임(202)은 사용자가 HMD를 착용하고 있을 때(도 3에 도시되고 아래에 더 논의됨)와는 다르게 보다 굴곡된 형상으로 된다. 이 상태에서, 광학 센서(220)와 렌즈(204) 사이에 도시한 갭(230)은 사용자가 HMD를 착용하고 있을 때와 비교하여 큰 거리(즉, 근접성)에 있으므로; 광학 센서(220)는 보다 낮은 양의 광을 검출하고, (예를 들어, 프로세서(214)를 통해 실행되는) 로직 또는 모듈들은 HMD(200)가 사용자에 의해 현재 착용되어 있지 않다는 것을 결정할 수 있다. 광학 센서(220)가 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된 실시예들에서, 광학 센서는 또한 사용자의 얼굴로부터 반사된 광의 부재로 인해 보다 낮은 양의 광을 검출한다.
하나 이상의 HMD 동작 설정은 사용자가 HMD를 착용하고 있지 않다고 결정한 것에 응답하여 조정된다. 예를 들어, 단일 광학 출력 컴포넌트(206), 마이크로폰(210) 및 스피커(212)의 임의의 조합은 전원(216)의 전력을 보존하기 위해 불능으로 되거나 저전력 상태로 전력 다운될 수 있고; 일부 실시예들에서, 마이크로폰(210)은 음성 인식 처리들로부터 추출된 사용자 가청 명령들을 캡처하는 것이 가능하게 남을 수 있고/있거나, 스피커(212)는 오디오 경보들을 출력하는 것이 가능하게 남을 수 있다. 영상 센서(208)는 또한 불능으로 되거나 전력 다운될 수 있다. 일부 실시예들에서, 영상 센서(208)는 다양한 사용자 명령들 - 예를 들어, 마이크로폰(210)을 통해 캡처된 음성 명령들, 사용자의 눈 제스처들, 프레임(202) 상에 배치된 카메라 버튼 등에 응답하여 영상 데이터를 캡처할 수 있고; 이들 실시예에서, 영상 데이터 캡처를 위한 소정 유형들의 사용자 명령들은 불능으로 될 수 있지만(예를 들어, 음성 명령들 및 눈 제스처들) 다른 것들은 가능한 것으로 남을 수 있다(예를 들어, 카메라 버튼). 더구나, 일부 처리 컴포넌트들은 하나 이상의 애플리케이션을 실행하는 프로세서들 및 메모리, 접속 컴포넌트들, 오디오 출력 스피커들, 위치 센서들 등과 같이, 동작 또는 전력 온 상태로 여전히 있을 수 있다.
도 3은 본 개시내용의 실시예에 따른 사용자에 의해 착용되어 있는 HMD의 상면도이다. 이 도시에서, 사용자(300)는 도 2의 HMD(200)를 착용하고 있는 것으로 도시된다. 이 예에서 도시한 바와 같이, HMD의 프레임(202) 및/또는 렌즈들은 HMD(200)가 사용자(300)에 의해 착용될 때 이들 요소가 "보다 평평한" 상태에 있도록 휘어진다. 이 상태에서, 갭(330)은 도 2의 갭(230)에 비해 렌즈(204)와의 보다 짧은 거리(즉, 광학 센서(220)는 렌즈에 보다 가까이 "근접")를 포함하므로; 광학 센서(220)는 보다 높은 양의 광을 검출하고, (예를 들어, 프로세서(214)를 통해 실행되는) 로직 또는 모듈들은 HMD(200)가 사용자에 의해 현재 착용되어 있다는 것을 결정할 수 있다. 광학 센서(220)가 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된 실시예들에서, 광학 센서(220)는 또한 사용자의 얼굴로부터 반사된 광의 존재로 인해 보다 높은 양의 광을 검출한다.
하나 이상의 HMD 동작 설정은 사용자(300)가 HMD(200)를 착용하고 있다고 결정한 것에 응답하여 조정될 수 있다. 예를 들어, 단일 광학 출력 컴포넌트(206), 영상 센서(208)(또는 이전에 불능으로 된 영상 센서 캡처 수단), 마이크로폰(210) 및 스피커(212)의 임의의 이전에 불능으로 된 조합은 가능하게 될 수 있거나 저전력 상태로부터 전력 업 될 수 있다. 더구나, 프로세서(214)는 저전력 상태에서 사용자에게 표시될 수 없는 어떤 수신된 네트워크 데이터를 사용자(300)에게 알리는 다양한 통지들을 표시하기 위해 애플리케이션들을 실행할 수 있다.
도 4는 본 개시내용의 실시예에 따른 사용자 온-헤드 HMD 검출의 프로세스의 흐름도이다. 여기에 도시된 것과 같은 흐름도들은 다양한 프로세스 동작들의 시퀀스들의 예들을 제공한다. 특정한 시퀀스 또는 순서로 도시하지만, 달리 특정되지 않는다면, 동작들의 순서는 수정될 수 있다. 그러므로, 도시된 구현들은 예들로서만 이해되어야 하고, 도시된 프로세스들은 상이한 순서로 수행될 수 있고, 일부 동작들은 동시에 수행될 수 있다. 추가적으로, 하나 이상의 동작은 본 개시내용의 다양한 실시예들에서 삭제될 수 있으므로; 모든 동작들이 모든 구현에서 요구되지 않는다. 다른 프로세스 흐름들이 가능하다.
프로세스(400)는 HMD 내에 포함된 광학 센서로부터 센서 데이터를 수신하는(402) 동작들을 포함한다 . 위에 설명된 바와 같이, 광학 센서는 렌즈로부터 반사된 광을 검출하기 위해 HMD의 렌즈 위에 배치된다. 일부 실시예들에서, 광학 센서는 HMD가 사용자에 의해 착용될 때 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된다. 사용자가 상기 HMD를 착용하고 있는지에 따라, 렌즈로부터 반사되고 사용자에 의해 검출된 광의 양은 변화할 수 있다. 예를 들어, 일부 실시예들에서, 사용자가 HMD를 착용하고 있지 않을 때, HMD의 프레임 및 렌즈는 만곡된 상태로 휘어지고, 광학 센서는 렌즈에 덜 근접한다(즉, 아래에 더 논의되는 바와 같이, 사용자가 HMD를 착용하고 있을 때와 비교하여). 그러므로, HMD 렌즈에 의해 반사된 광의 양은 HMD의 프레임 및 렌즈가 보다 평평한 상태에 있을 때(즉, 사용자에 의해 착용되고, 광학 센서가 렌즈에 보다 가깝거나 더 근접할 때) 반사된 광의 양보다 적다. 광학 센서가 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된 실시예들에서, 광학 센서는 또한 사용자의 얼굴로부터 반사된 광의 부재로 인해 보다 낮은 양의 광을 검출한다. 그러므로, 광학 센서는 센서가 사용자가 HMD를 착용하고 있는지에 기초하여 변화하는, 광학 센서와 렌즈 사이의 거리에 따라 상이한 광 세기들을 검출할 수 있다는 점에서 "근접 센서"로서 동작한다. 이 예에서, HMD와 렌즈(및/또는 사용자의 얼굴) 사이의 근접성은 광학 센서 데이터로부터 결정되고(404); 이 결정된 근접성으로부터, 사용자가 HMD를 착용하고 있는지 여부가 결정된다(406).
사용자가 HMD를 착용하고 있다고 결정한 것에 응답하여, (이 예에서 도시되고 아래에 설명되는 바와 같이) HMD의 동작 상태가 유지되거나, HMD는 감소된 전력 상태로부터 전이된다. 사용자가 HMD를 착용하고 있지 않다고 결정한 것에 응답하여(즉, HMD는 사용자에 의해 벗겨짐), HMD의 일부 사용자 I/O 컴포넌트들은 HMD의 전력 소비를 줄이기 위해 비활성화된다(408). 예를 들어, HMD의 광학 출력 시스템 및 광학 영상 센서와 같이, 광학 사용자 I/O와 직접 관련된 컴포넌트들은 불능으로 될 수 있고 그들의 관련된 애플리케이션 콘텍스트들(예를 들어, 사용자에게 표시된 데이터)은 세이브될 수 있다. 일부 실시예들에서, 오디오 스피커와 같은, 다른 I/O 컴포넌트들은 불능으로 될 수 있거나, 차임(chime)과 같이 오디오 신호를 출력하는 것이 가능하게 남을 수 있다. 예를 들어, 오디오 스피커는 네트워크 또는 셀룰러 데이터(예를 들어, 전화 호출들, 단문 메시징 서비스(SMS) 메시지들, 멀티미디어 메시징 서비스(MMS) 서비스들 등)를 수신한 것에 응답하여 통지들 또는 경보들을 위해 오디오를 계속 유지하거나, 사용자 정의 알람 이벤트에 응답하여 알람 출력 신호를 출력하는 것이 가능하게 남을 수 있다. 이들 실시예 중 일부에서, 통지들 또는 경보들은 우선순위 방식에 기초하여 선택적으로 출력될 수 있다. 위치 센서들은 또한 위치 기반 서비스들을 위한 HMD의 위치를 계속 갱신하는 것이 가능하게 남을 수 있다.
이 실시예에서, 네트워크 접속 및 처리 컴포넌트들(예를 들어, 네트워크 인터페이스)은 가능한 것으로 남을 수 있다(410). 네트워크 접속 컴포넌트들은 네트워크 데이터(즉, 네트워크 또는 셀룰러 데이터 중 임의의 것)를 계속 수신할 수 있고; 일부 실시예들에서, 네트워크 접속은 HMD가 사용자에 의해 착용되지 않는다고 결정한 것에 응답하여 감소된 폴링 레이트로 유지될 수 있다. 처리 컴포넌트들은, 예를 들어, 수신된 네트워크 트래픽 등을 처리하기 위해, HMD의 위치를 결정하는 처리들을 계속 실행할 수 있다. 다른 실시예들에서, 네트워크 접속은 사용자가 HMD를 착용하고 있지 않다고 결정한 것에 응답하여 불능으로 될 수 있다. 더구나, 렌즈에 의해 반사된 광을 검출하는 광학 센서는 가능한 것으로 남을 수 있다. HMD는 시간 임계가 경과할 때까지 이 부분적으로 활성화되는 상태로 남을 수 있다(412).
이 실시예에서, 시간 임계가 지나고 HMD가 사용자에 의해 착용되지 않으면(즉, HMD가 상이한 착용 상태에 있다는 것을 표시하는 센서 데이터의 변화가 수신되면), HMD는 슬립 상태로 전력 다운된다(414). 예를 들어, 애플리케이션 및 HMD의 시스템 상태들은 슬립 모드에 있을 때 메모리(비휘발성 메모리 등) 내에 유지될 수 있고, HMD의 컴포넌트들은 전력 다운되거나 완전히 불능으로 된다.
시간 임계가 경과하기 전에 센서 데이터가 수신되면, (이 예에서, 광학 센서와 HMD의 렌즈 및/또는 사용자 사이의 근접성을 결정하기 위해 동작(404)을 다시 실행함으로써) HMD가 사용자에 의해 착용되어 있는지가 결정된다. 위에 설명된 바와 같이, HMD 렌즈에 의해 반사되고 광학 센서에 의해 검출된 광은 HMD와 렌즈가 보다 만곡된 상태에 있을 때(즉, HMD가 사용자에 의해 착용되지 않을 때)와 비교하여 프레임과 HMD의 렌즈가 보다 평평한 상태에 있을 때 더 강하고; 게다가, 광학 센서가 사용자의 얼굴로부터 반사된 광을 또한 검출하도록 배치된 실시예들에서, 광학 센서에 의해 검출된 광은 HMD가 사용자에 의해 착용될 때 증가한다. 이 예에서, 이전에 벗겨진 HMD가 이제 사용자에 의해 착용되어, 이전에 비활성화된 HMD의 사용자 I/O 컴포넌트들이 HMD가 사용자에 의해 착용되어 있다고 결정한 것에 응답하여, 활성화된다(416). 광학 출력 시스템에 의해 사용자에게 이전에 나타난 시스템 및 애플리케이션 콘텍스트는 복원될 수 있다(418). 예를 들어, 이전의 애플리케이션 상태가 복원될 수 있거나, 광학 출력 시스템(예를 들어, 홈 스크린)의 디폴트 출력이 표시될 수 있다. 또한, 이 실시예에서, HMD가 사용자에 의해 착용되지 않는 동안 HMD에 의해 수신된 임의의 네트워크(예를 들어, 셀룰러) 트래픽과 관련된 통지들이 표시될 수 있다(420).
도 5는 본 개시내용의 실시예를 이용하기 위한 디바이스의 컴포넌트들의 도시도이다. 플랫폼(500)을 위한 컴포넌트들의 임의의 조합이 위에 설명된 HMD들 중 어느 것 내에 포함될 수 있다. 예를 들어, 플랫폼(500)은 HMD 디스플레이 디바이스에 통신 결합된 디스플레이 구동기 컴포넌트들을 포함할 수 있다. 플랫폼(500)은 콘텐츠를 고품질 멀티미디어 인터페이스(HDMI), 컴포넌트, 컴포지트 디지털 영상 인터페이스(DVI), 비디오 그래픽 어댑터(VGA), SCART(Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseursor)와 같은 비디오 신호 형식들, 또는 다른 비디오 신호 형식들로 디코드/변환하는 데 사용될 수 있다.
도시된 것과 같은 플랫폼(500)은 정보를 전달하기 위한 버스 또는 다른 내부 통신 수단(515), 및 버스(515)에 결합되고 정보를 처리하는 프로세서(510)를 포함한다. 플랫폼은 버스(515)에 결합되고 프로세서(510)에 의해 실행될 정보 및 명령어들을 저장하는 랜덤 액세스 메모리(RAM) 또는 다른 휘발성 저장 디바이스(550)(다르게는 여기서 주 메모리라고 함)를 더 포함한다. 주 메모리(550)는 또한 프로세서(510)에 의한 명령어들의 실행 중에 일시적 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 플랫폼(500)은 또한 버스(515)에 결합되고 프로세서(510)를 위한 정적 정보 및 명령어들을 저장하는 리드 온리 메모리(ROM) 및/또는 정적 저장 디바이스(520), 및 자기 디스크, 광학 디스크 및 그것의 대응하는 디스크 드라이브, 또는 휴대용 저장 디바이스(예를 들어, 유니버설 시리얼 버스(USB) 플래시 드라이브, 보안 디지털(SD) 카드)와 같은 데이터 저장 디바이스(525)를 포함한다. 데이터 저장 디바이스(525)는 버스(515)에 결합되고 정보 및 명령어들을 저장한다.
플랫폼(500)은 버스(565)를 통해 버스(515)에 결합되고 컴퓨터 사용자에게 정보를 표시하는 음극선관(CRT) 또는 LCD와 같은, 디스플레이 디바이스(570)에 더 결합될 수 있다. 플랫폼(500)이 생성되고 설치된 디스플레이 디바이스에 컴퓨팅 능력 및 접속을 제공하는 실시예들에서, 디스플레이 디바이스(570)는 위에 설명된 타일형 디스플레이 패널들 중 어느 것을 포함할 수 있다. 영숫자 및 다른 키들을 포함하는, 영숫자 입력 디바이스(575)는 또한 프로세서(510)에 정보 및 명령 선택들을 전달하기 위해 버스(565)를 통해(예를 들어, 적외선(IR) 또는 무선 주파수(RF) 신호들을 통해) 버스(515)에 결합될 수 있다. 추가의 사용자 입력 디바이스는 버스(565)를 통해 버스(515)에 결합되고 방향 정보 및 명령 선택들을 프로세서(510)에 전달하고, 디스플레이 디바이스(570) 상의 커서 이동을 제어하는, 마우스, 트랙볼, 스타일러스, 또는 커서 방향 키들과 같은 커서 제어 디바이스(580)이다. 터치 스크린 인터페이스를 이용하는 실시예들에서, 디스플레이(570), 입력 디바이스(575) 및 커서 제어 디바이스(580)는 모두 터치 스크린 유닛 내로 통합될 수 있다는 것이 이해된다.
플랫폼(500)에 선택적으로 결합될 수 있는 또 하나의 디바이스는 네트워크를 통해 분배된 시스템의 다른 노드들에 액세스하는 통신 디바이스(590)이다. 통신 디바이스(590)는 이더넷, 토큰 링, 인터넷, 또는 광역 네트워크에 결합하기 위해 사용되는 것들과 같은 많은 상용화된 네트워킹 주변 디바이스들 중 어느 것을 포함할 수 있다. 통신 디바이스(590)는 또한 널 모뎀 접속, 또는 컴퓨터 시스템(500)과 외부 세계 사이의 접속을 제공하는 기타 메커니즘일 수 있다. 도 5에 도시된 이 시스템 및 관련된 하드웨어의 컴포넌트들 중 어느 것 또는 모두는 본 개시내용의 다양한 실시예들에서 사용될 수 있다는 점에 주목한다.
도 5에 도시된 시스템의 어떤 구성이 특정한 구현에 따라 다양한 목적들을 위해 사용될 수 있다는 것을 본 기술 분야의 통상의 기술자는 알 것이다. 본 개시내용의 실시예들을 구현하는 제어 로직 또는 소프트웨어는 주 메모리(550), 대용량 저장 디바이스(525), 또는 프로세서(510)에 근거리에 또는 원격으로 액세스가능한 다른 저장 매체 내에 저장될 수 있다.
여기에 설명된 것과 같은 미디어 데이터를 캡처하는 임의의 시스템, 방법 및 프로세스는 주 메모리(550) 또는 리드 온리 메모리(520) 내에 저장되고 프로세서(510)에 의해 실행되는 소프트웨어로서 구현될 수 있다는 것은 본 기술 분야의 통상의 기술자에게 분명할 것이다. 이 제어 로직 또는 소프트웨어는 거기에 실시되고 대용량 저장 디바이스(525)를 판독할 수 있는 컴퓨터 판독가능 프로그램 코드를 갖는 컴퓨터 판독가능 매체를 포함하고 프로세서(510)가 여기의 방법들 및 교시들에 따라 동작하게 하는 제조 물품 내에 또한 상주될 수 있다.
본 개시내용의 실시예들은 위에 설명된 컴퓨터 하드웨어 컴포넌트들의 서브셋을 포함하고 HMD 디스플레이 컴포넌트에 동작 결합된 휴대형 또는 휴대용 디바이스 내에서 또한 실시될 수 있다. 예를 들어, 휴대형 디바이스는 단지 버스(515), 프로세서(510), 및 메모리(550 및/또는 525)를 포함하도록 구성될 수 있다. 휴대형 디바이스는 또한 사용자가 가용한 옵션들의 세트로부터 선택할 수 있는 버튼들 또는 입력 시그널링 컴포넌트들의 세트를 포함하도록 구성될 수 있다. 휴대형 디바이스는 또한 휴대형 디바이스의 사용자에게 정보를 표시하는 LCD 또는 디스플레이 요소 매트릭스와 같은 출력 장치를 포함하도록 구성될 수 있다. 종래의 방법들이 이러한 휴대형 디바이스를 구현하는 데 사용될 수 있다. 이러한 디바이스를 위한 본 개시내용의 구현은 여기에 제공된 것과 같은 개시내용이 주어지는 경우 본 기술 분야의 통상의 기술자에게 분명할 것이다.
본 개시내용의 실시예들은 또한 위에 설명된 컴퓨터 하드웨어 컴포넌트들의 서브셋을 포함하는 특수 목적 기기에서 실시될 수 있다. 예를 들어, 이 기기는 프로세서(510), 데이터 저장 디바이스(525), 버스(515), 및 메모리(550), 및 사용자가 디바이스와 기본적인 방식으로 통신하게 하는 소형 터치 스크린과 같은, 단지 가장 기본적인 통신 메커니즘들을 포함할 수 있다. 일반적으로, 디바이스가 특수 목적일수록, 보다 적은 수의 컴포넌트들이 기능하기 위한 디바이스를 위해 제시될 필요가 있다.
도 6은 본 개시내용의 실시예에 따른 네트워크 액세스가능한 HMD들의 예시적인 컴퓨터 네트워크 인프라구조를 도시한다. 시스템(636)에서, 디바이스(638)는 원격 디바이스(642)와 통신 링크(640)(예를 들어, 유선 또는 무선 접속)을 사용하여 통신한다. 디바이스(638)는 데이터 및 데이터에 대응하거나 관련된 표시 정보를 수신할 수 있는 임의 유형의 디바이스일 수 있다. 예를 들어, 디바이스(638)는 위에 설명된 HMD들 중 임의의 것일 수 있다.
디바이스(638)는 프로세서(646) 및 디스플레이(648)를 포함하는 디스플레이 시스템(644)을 포함한다. 디바이스(648)는 예를 들어, 광학 시스루(see-through) 디스플레이, 광학 시어라운드(see-around) 디스플레이, 또는 비디오 시스루 디스플레이일 수 있다. 프로세서(646)는 원격 디바이스(642)로부터 데이터를 수신하고 디스플레이용 데이터를 구성할 수 있다. 프로세서(646)는 예를 들어, 마이크로프로세서 또는 디지털 신호 프로세서와 같은 임의 유형의 프로세서일 수 있다.
디바이스(638)는 프로세서(646)에 결합된 메모리(650)와 같은 온-보드 데이터 저장 디바이스를 더 포함할 수 있다. 메모리(650)는 예를 들어, 프로세서(646)에 의해 액세스되고 실행될 수 있는 소프트웨어를 저장할 수 있다.
원격 디바이스(642)는 데이터를 디바이스(638)에 송신하도록 구성된, 랩탑 컴퓨터, 이동 전화 등을 포함하는 임의 유형의 컴퓨팅 디바이스 또는 송신기일 수 있다. 원격 디바이스(642) 및 디바이스(638)는 프로세서들, 송신기들, 수신기들, 안테나들 등과 같은, 통신 링크(640)를 가능하게 하는 하드웨어를 포함할 수 있다.
통신 링크(640)가 무선 접속으로서 예시되지만; 유선 접속들이 또한 사용될 수 있다. 예를 들어, 통신 링크(640)는 유니버설 시리얼 버스와 같은 시리얼 버스 또는 패러렐 버스를 통하는 유선 링크일 수 있다. 무선 접속은 역시 전용 접속일 수 있다. 통신 링크(640)는 또한 예를 들어, 다른 가능성들 중에서, Bluetooth® 무선 기술, IEEE 802.11(임의의 IEEE 802.11 개정들을 포함)에서 기술된 통신 프로토콜들, 셀룰러 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등)을 사용하는 무선 접속일 수 있다. 원격 디바이스(642)는 인터넷을 통해 액세스가능하고 위에 설명된 것과 같은 캡처된 미디어 데이터를 수신하기 위해 특정한 웹 서비스(예를 들어, 소셜 네트워킹, 포토 셰어링, 어드레스 북 등)과 관련된 컴퓨팅 클러스터를 포함할 수 있다.
위의 상세한 설명의 일부 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 알고리즘들 및 상징적 표현들로 제시된다. 이들 알고리즘 설명들 및 표현들은 그들의 연구의 핵심을 본 기술 분야의 통상의 다른 기술자들에게 가장 효과적으로 전달하기 위해 데이터 처리 분야의 통상의 기술자에 의해 사용된 수단이다. 알고리즘은 여기서, 일반적으로 원하는 결과에 이르게 하는 동작들의 시종일관한 시리즈인 것으로 상상된다. 동작들은 물리적 양들의 물리적 조종들을 요구하는 것들이다. 일반적으로, 반드시 그런 것은 아니지만, 이들 양은 저장, 전달, 조합, 비교, 및 혹은 조종될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 때로는, 주로 공통 사용의 이유들로 인해, 이들 신호를 비트들, 값들, 요소들, 심볼들, 문자들, 용어들, 수들 등으로서 참조하는 것이 편리하다고 판명되었다.
그러나, 이들 및 유사한 용어들 모두는 적절한 물리적 양들과 관련되고 단지 이들 양에 적용된 편리한 라벨이라는 점에 유념하여야 한다. 위의 논의로부터 분명한 바와 같이 달리 특별히 표명하지 않는다면, 설명들에 걸쳐, "캡처", "송신", "수신", "분석", "형성", "모니터", "개시", "수행", "부가" 등과 같은 용어들을 이용하는 논의들은 컴퓨터 시스템의 동작들 및 프로세스들, 또는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예들 들어, 전자적) 양들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조종하고 변환하는 유사한 전자 컴퓨팅 디바이스를 참조한다는 것을 알 것이다.
본 개시내용의 실시예들은 또한 여기의 동작을 수행하는 장치에 관한 것이다. 이 장치는 요구된 목적들을 위해 특별히 구성될 수 있거나, 그것은 컴퓨터 내에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크들, 광학 디스크들, CD-ROM들, 및 자기-광학 디스크들을 포함하는 임의 유형의 디스크, 리드 온리 메모리들(ROM들), 랜덤 액세스 메모리들(RAM들), EPROM들, EEPROM들, 자기 또는 광학 카드들, 또는 전자 명령어들을 저장하기 위해 적합한 임의 유형의 미디어와 같고 이들로 제한되지 않는 비일시적 컴퓨터 판독가능 저장 매체 내에 저장될 수 있다.
위의 상세한 설명의 일부 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 알고리즘들 및 상징적 표현들로 제시된다. 이들 알고리즘 설명들 및 표현들은 그들의 연구의 핵심을 본 기술 분야의 통상의 다른 기술자들에게 가장 효과적으로 전달하기 위해 데이터 처리 분야의 통상의 기술자에 의해 사용된 수단이다. 알고리즘은 여기서, 일반적으로 원하는 결과에 이르게 하는 동작들의 시종일관한 시리즈인 것으로 상상된다. 단계들은 물리적 양들의 물리적 조종들을 요구하는 것들이다. 일반적으로, 반드시 그런 것은 아니지만, 이들 양은 저장, 전달, 조합, 비교, 및 혹은 조종될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다. 때로는, 주로 공통 사용의 이유들로 인해, 이들 신호를 비트들, 값들, 요소들, 심볼들, 문자들, 용어들, 수들 등으로서 참조하는 것이 편리하다고 판명되었다.
그러나, 이들 및 유사한 용어들 모두는 적절한 물리적 양들과 관련되고 단지 이들 양에 적용된 편리한 라벨이라는 점에 유념하여야 한다. 위의 논의로부터 분명한 바와 같이 달리 특별히 표명하지 않는다면, 설명들에 걸쳐, "캡처", "결정", "분석", "구동" 등과 같은 용어들을 이용하는 논의들은 컴퓨터 시스템의 동작들 및 프로세스들, 또는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예들 들어, 전자적) 양들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조종하고 변환하는 유사한 전자 컴퓨팅 디바이스를 참조한다는 것을 알 것이다.
위에 제시된 알고리즘들 및 디스플레이들은 임의의 특정한 컴퓨터 또는 다른 장치에 고유하게 관련되지 않는다. 다양한 범용 시스템들은 여기의 교시들에 따라 프로그램들로 사용될 수 있거나, 그것은 요구된 방법 단계들을 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리한 것으로 판명될 수 있다. 다양한 이들 시스템을 위한 요구된 구조는 아래의 설명으로부터 나타날 것이다. 또한, 본 개시내용은 어떤 특정한 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들이 여기에 설명된 것과 같은 개시내용의 교시들을 구현하는 데 사용될 수 있다.
본 명세서에서 "한 실시예" 또는 "실시예"라고 하는 것은 실시예와 관련하여 설명된 특정한 특징, 구조, 또는 특성이 본 개시내용의 적어도 하나의 실시예 내에 포함되는 것을 의미한다. 그러므로, 상기 명세서의 여러 군데에서의 문구들 "한 실시예" 또는 "실시예"의 출현들은 반드시 동일한 실시예들을 모두 참조하지는 않는다. 더구나, 특정한 특징들, 구조들, 또는 특성들이 하나 이상의 실시예에서 임의의 적합한 방식으로 조합될 수 있다.
설명의 목적을 위한 본 설명이 특정한 실시예들을 참조하여 설명되었다. 그러나, 상기 예시적인 논의들은 본 개시내용을 개시된 정확한 형태로 한정하거나 제한하려는 것은 아니다. 많은 수정들 및 변형들이 상기 교시들에 비추어서 가능하다. 본 개시내용의 원리들 및 그것의 실제 응용들을 가장 잘 설명하기 위해 실시예들이 선택되고 설명되었고, 그럼으로써 본 기술 분야의 통상의 기술자가 고려된 특정한 사용에 맞게 될 수 있는 바와 같이 다양한 수정들로 다양한 실시예들을 가장 잘 이용할 수 있게 한다.

Claims (25)

  1. 방법으로서,
    헤드 마운터블 디스플레이(head-mountable display)(HMD) 내에 포함된 광학 센서로부터 센서 데이터를 수신하는 단계 - 상기 HMD는,
    렌즈 앞에 배치 가능하여 상기 렌즈로부터 반사된 광을 검출하기 위한 상기 광학 센서,
    디스플레이 광을 생성하기 위한 영상 소스, 및
    상기 영상 소스를 지지하고 사용자의 머리에 착용될 때 상기 렌즈에 대해 상기 광학 센서를 지지하기 위한 신축성 있는 프레임 어셈블리(frame assembly)를 포함하고, 상기 신축성 있는 프레임 어셈블리는 적어도 하나의 암(arm)을 포함하고, 상기 신축성 있는 프레임 어셈블리는 상기 HMD가 상기 사용자에 의해 착용될 때 상기 광학 센서가 상기 렌즈에 더 가깝게 이동하도록 휘어지고, 상기 광학 센서는 상기 신축성 있는 프레임 어셈블리의 상기 적어도 하나의 암에 부착된 부재 상에 부착됨 - ;
    상기 센서 데이터에 적어도 부분적으로 기초하여 상기 광학 센서와 상기 렌즈 사이의 근접성을 결정하는 단계; 및
    상기 광학 센서와 상기 렌즈 사이의 상기 근접성에 적어도 부분적으로 기초하여, 상기 HMD가 저전력 상태로 진입 또는 저전력 상태를 종료해야 하는지를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 광학 센서는 상기 사용자의 얼굴로부터 반사된 광을 더 검출하도록 배치 가능하고, 상기 방법은
    상기 센서 데이터에 적어도 부분적으로 기초하여 상기 광학 센서와 상기 사용자의 얼굴 사이의 근접성을 결정하는 단계를 더 포함하고,
    상기 HMD가 상기 저전력 상태로 진입 또는 저전력 상태를 종료해야 하는지를 결정하는 단계는 또한 상기 광학 센서와 상기 사용자의 얼굴 사이의 근접성에 적어도 부분적으로 기초하는, 방법.
  3. 제1항에 있어서,
    상기 HMD가 상기 저전력 상태로 진입해야 한다고 결정한 것에 응답하여, 상기 HMD를 위한 광을 발생하지 않도록 상기 영상 소스를 비활성화하는 단계; 및
    상기 HMD가 상기 저전력 상태를 종료해야 한다고 결정한 것에 응답하여, 상기 HMD를 위한 광을 발생하도록 상기 영상 소스를 활성화하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 HMD가 상기 저전력 상태로 진입해야 한다고 결정한 것에 응답하여, 상기 HMD의 전력 상태를 전력 온 상태(power-on state)로부터 절전 상태(power-save state)로 전이하는 단계; 및
    상기 HMD가 상기 저전력 상태를 종료해야 한다고 결정한 것에 응답하여, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서, 상기 HMD의 상기 전력 상태를 상기 전력 온 상태로부터 상기 절전 상태로 전이하는 단계는 시스템 콘텍스트(system context)를 상기 HMD의 비휘발성 메모리에 세이브(save)하는 단계를 포함하고, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하는 단계는 상기 HMD의 상기 비휘발성 메모리로부터 상기 시스템 콘텍스트를 복원하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 HMD는 상기 사용자에 의해 착용될 때 상기 광학 센서에 가까이에 배치되어 광을 상기 렌즈를 향해 방출하는 광 방출기(light emitter)를 더 포함하고, 상기 렌즈로부터의 상기 반사된 광은 상기 렌즈로부터 반사된 상기 광 방출기로부터의 광을 포함하는, 방법.
  7. 제1항에 있어서, 상기 HMD는 와이파이 또는 셀룰러 네트워크 중 적어도 하나에 접속하는 네트워크 인터페이스를 더 포함하고, 상기 방법은
    상기 HMD가 상기 저전력 상태로 진입해야 한다고 결정한 것에 응답하여, 상기 HMD가 상기 저전력 상태에 있는 동안에 상기 네트워크 인터페이스를 통해 네트워크 접속을 유지하는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서, 상기 HMD가 상기 저전력 상태로 진입해야 한다고 결정한 것에 응답하여 상기 네트워크 인터페이스를 통해 네트워크 접속을 유지하는 단계는 상기 네트워크 인터페이스에 대한 네트워크 폴링 레이트(network polling rate)를 감소하는 단계를 포함하는, 방법.
  9. 제1항에 있어서, 상기 HMD는 오디오 데이터를 출력하는 오디오 스피커를 더 포함하고, 상기 방법은
    상기 HMD가 상기 저전력 상태에 진입해야 한다고 결정한 것에 응답하여, 알람 출력 또는 오디오 통지 출력 중 적어도 하나를 출력하지 않도록 상기 오디오 스피커를 불능(disabling)으로 하는 단계를 더 포함하는, 방법.
  10. 헤드 마운터블 디스플레이(HMD)로서,
    상기 HMD가 사용자의 머리에 착용될 때 상기 사용자의 얼굴 또는 상기 사용자에 의해 착용된 렌즈 중 적어도 하나로부터 반사된 빛을 검출하도록 장착된 광학 센서;
    상기 HMD를 위한 광을 발생하기 위한 영상 소스;
    상기 영상 소스를 지지하고 상기 사용자의 머리에 착용될 때 상기 얼굴 또는 상기 렌즈에 대해 상기 광학 센서를 지지하기 위한 신축성 있는 프레임 어셈블리 - 상기 신축성 있는 프레임 어셈블리는 적어도 하나의 암을 포함하고, 상기 신축성 있는 프레임 어셈블리는 상기 HMD가 상기 사용자에 의해 착용될 때 상기 광학 센서가 상기 얼굴 또는 상기 렌즈에 더 가깝게 이동하도록 휘어지고, 상기 광학 센서는 상기 신축성 있는 프레임 어셈블리의 상기 적어도 하나의 암에 부착된 부재 상에 부착됨 - ; 및
    상기 광학 센서와 통신 결합된(communicatively coupled) 논리 모듈을 포함하고, 상기 논리 모듈은,
    상기 광학 센서로부터 센서 데이터를 수신하고;
    상기 센서 데이터에 적어도 부분적으로 기초하여 상기 광학 센서와 상기 얼굴 또는 상기 렌즈 사이의 근접성을 결정하고;
    상기 광학 센서와 상기 얼굴 또는 상기 렌즈 중 적어도 하나 사이의 근접성에 적어도 부분적으로 기초하여 상기 사용자가 상기 HMD를 착용하고 있는지를 결정하도록 구성되는, HMD.
  11. 제10항에 있어서, 상기 논리 모듈은 또한
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 HMD를 위한 광을 발생하지 않도록 상기 영상 소스를 비활성화하고;
    상기 사용자가 상기 HMD를 착용하고 있다고 결정한 것에 응답하여, 상기 HMD를 위한 광을 발생하도록 상기 영상 소스를 활성화하도록 구성되는, HMD.
  12. 제10항에 있어서, 상기 논리 모듈은 또한
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 HMD의 전력 상태를 전력 온 상태로부터 절전 상태로 전이하고;
    상기 사용자가 상기 HMD를 착용하고 있다고 결정한 것에 응답하여, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하도록 구성되는, HMD.
  13. 제12항에 있어서, 비휘발성 메모리를 더 포함하고, 상기 HMD의 상기 전력 상태를 상기 전력 온 상태로부터 상기 절전 상태로 전이하는 것은 시스템 콘텍스트를 상기 비휘발성 메모리에 세이브하는 것을 포함하고, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하는 것은 상기 HMD의 상기 비휘발성 메모리로부터 상기 시스템 콘텍스트를 복원하는 것을 포함하는, HMD.
  14. 제10항에 있어서, 상기 광학 센서에 가깝게 상기 신축성 있는 프레임 어셈블리에 장착되어 광을 상기 얼굴 또는 상기 렌즈 중 적어도 하나를 향해 방출하기 위한 광 방출기를 더 포함하고, 상기 얼굴 또는 상기 렌즈로부터의 상기 반사된 광은 상기 얼굴 또는 상기 렌즈로부터 반사된 상기 광 방출기로부터의 광을 포함하는, HMD.
  15. 제10항에 있어서, 와이파이 또는 셀룰러 네트워크 중 적어도 하나에 접속하는 네트워크 인터페이스를 더 포함하고, 상기 논리 모듈은,
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 네트워크 인터페이스를 통해 네트워크 접속을 유지하도록 더 구성되는, HMD.
  16. 제10항에 있어서, 오디오 데이터를 출력하는 오디오 스피커를 더 포함하고, 상기 논리 모듈은,
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 알람 출력 또는 오디오 통지 출력 중 적어도 하나를 출력하지 않도록 상기 오디오 스피커를 불능으로 하도록 더 구성되는, HMD.
  17. 명령어들을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 수행하도록 야기하고, 상기 방법은,
    헤드 마운터블 디스플레이(HMD) 내에 포함된 광학 센서로부터 센서 데이터를 수신하는 단계 - 상기 HMD는,
    상기 HMD가 사용자의 머리에 착용될 때 상기 사용자의 얼굴 또는 상기 사용자에 의해 착용된 렌즈 중 적어도 하나로부터 반사된 광을 검출하도록 배치된 상기 광학 센서,
    디스플레이 광을 발생하기 위한 영상 소스, 및
    상기 영상 소스를 지지하고 상기 사용자의 머리에 착용될 때 상기 얼굴 또는 상기 렌즈에 대해 상기 광학 센서를 지지하기 위한 신축성 있는 프레임 어셈블리를 포함하고, 상기 신축성 있는 프레임 어셈블리는 적어도 하나의 암을 포함하고, 상기 신축성 있는 프레임 어셈블리는 상기 HMD가 상기 사용자에 의해 착용될 때 상기 광학 센서가 상기 얼굴 또는 상기 렌즈에 더 가깝게 이동하도록 휘어지고, 상기 광학 센서는 상기 신축성 있는 프레임 어셈블리의 상기 적어도 하나의 암에 부착된 부재 상에 부착됨 - ;
    상기 센서 데이터에 적어도 부분적으로 기초하여 상기 광학 센서와 상기 얼굴 또는 상기 렌즈 중 적어도 하나 사이의 근접성을 결정하는 단계; 및
    상기 광학 센서와 상기 얼굴 또는 상기 렌즈 중 적어도 하나 사이의 근접성에 적어도 부분적으로 기초하여 상기 사용자가 상기 HMD를 착용하고 있는지를 결정하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서, 상기 방법은
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 HMD를 위한 상기 디스플레이 광을 발생하지 않도록 상기 영상 소스를 비활성화하는 단계; 및
    상기 사용자가 상기 HMD를 착용하고 있다고 결정한 것에 응답하여, 상기 HMD를 위한 상기 디스플레이 광을 발생하도록 상기 영상 소스를 활성화하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제17항에 있어서, 상기 방법은
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 HMD의 전력 상태를 전력 온 상태로부터 절전 상태로 전이하는 단계; 및
    상기 사용자가 상기 HMD를 착용하고 있다고 결정한 것에 응답하여, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하는 단계를 더 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제19항에 있어서, 상기 HMD의 상기 전력 상태를 상기 전력 온 상태로부터 상기 절전 상태로 전이하는 단계는 시스템 콘텍스트를 상기 HMD의 비휘발성 메모리에 세이브하는 단계를 포함하고, 상기 HMD의 상기 전력 상태를 상기 절전 상태로부터 상기 전력 온 상태로 전이하는 단계는 상기 HMD의 상기 비휘발성 메모리로부터 상기 시스템 콘텍스트를 복원하는 단계를 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  21. 제17항에 있어서, 상기 HMD는 상기 광학 센서에 가까이에 배치되어 광을 상기 얼굴 또는 상기 렌즈를 향해 방출하는 광 방출기를 더 포함하고, 상기 얼굴 또는 상기 렌즈로부터의 상기 반사된 광은 상기 얼굴 또는 렌즈로부터 반사된 상기 광 방출기로부터의 광을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  22. 제17항에 있어서, 상기 HMD는 와이파이 또는 셀룰러 네트워크 중 적어도 하나에 접속하는 네트워크 인터페이스를 더 포함하고, 상기 방법은
    상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여, 상기 네트워크 인터페이스를 통해 네트워크 접속을 유지하는 단계를 더 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  23. 제22항에 있어서, 상기 사용자가 상기 HMD를 착용하고 있지 않다고 결정한 것에 응답하여 상기 네트워크 인터페이스를 통해 네트워크 접속을 유지하는 단계는, 상기 네트워크 인터페이스에 대한 네트워크 폴링 레이트를 감소하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 삭제
  25. 삭제
KR1020167017807A 2013-12-03 2014-11-06 헤드 마운티드 디스플레이를 위한 온-헤드 검출 KR101747616B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/095,649 US8958158B1 (en) 2013-12-03 2013-12-03 On-head detection for head-mounted display
US14/095,649 2013-12-03
PCT/US2014/064406 WO2015084536A1 (en) 2013-12-03 2014-11-06 On-head detection for head-mounted display

Publications (2)

Publication Number Publication Date
KR20160087907A KR20160087907A (ko) 2016-07-22
KR101747616B1 true KR101747616B1 (ko) 2017-06-27

Family

ID=52463642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167017807A KR101747616B1 (ko) 2013-12-03 2014-11-06 헤드 마운티드 디스플레이를 위한 온-헤드 검출

Country Status (5)

Country Link
US (2) US8958158B1 (ko)
EP (1) EP3077869B1 (ko)
KR (1) KR101747616B1 (ko)
CN (1) CN106062614B (ko)
WO (1) WO2015084536A1 (ko)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208195B1 (ko) * 2013-11-29 2021-01-27 삼성전자주식회사 머리 착용형 디스플레이 장치에서 디스플레이 화면을 제어하는 방법, 및 머리 착용형 디스플레이 장치
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US20170186236A1 (en) * 2014-07-22 2017-06-29 Sony Corporation Image display device, image display method, and computer program
US10540907B2 (en) * 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US9823725B2 (en) * 2014-08-11 2017-11-21 Google Technology Holdings LLC Method and apparatus for adjusting a sleep mode display mechanism of an electronic device
KR102244222B1 (ko) * 2014-09-02 2021-04-26 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
DE102014224955A1 (de) * 2014-12-05 2016-06-09 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der Position eines HMD relativ zum Kopf des Trägers
KR102340234B1 (ko) * 2014-12-23 2022-01-18 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
AU2016220134A1 (en) 2015-02-17 2017-08-31 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9921644B2 (en) * 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US10133075B2 (en) 2015-05-04 2018-11-20 Thalmic Labs Inc. Systems, devices, and methods for angle- and wavelength-multiplexed holographic optical elements
EP3304172A4 (en) 2015-05-28 2019-01-02 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
EP3345021A4 (en) 2015-09-04 2019-05-08 North Inc. SYSTEMS, ARTICLES AND METHOD FOR INTEGRATING HOLOGRAPHIC OPTICAL ELEMENTS IN GLASS GLASSES
CN105224079B (zh) * 2015-09-17 2018-07-10 惠州Tcl移动通信有限公司 基于移动终端的头戴式虚拟现实装置及其控制方法
CN105183168B (zh) * 2015-09-17 2019-02-26 惠州Tcl移动通信有限公司 基于移动终端的头戴式虚拟现实装置及其启动方法
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
JP2019505843A (ja) 2016-01-22 2019-02-28 コーニング インコーポレイテッド 広視野パーソナル表示装置
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
US10452227B1 (en) 2016-03-31 2019-10-22 United Services Automobile Association (Usaa) System and method for data visualization and modification in an immersive three dimensional (3-D) environment
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10365548B2 (en) 2016-04-13 2019-07-30 North Inc. Systems, devices, and methods for focusing laser projectors
CN109983755A (zh) * 2016-06-30 2019-07-05 北方公司 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
JP7090601B2 (ja) * 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
US10234688B2 (en) * 2016-10-25 2019-03-19 Motorola Mobility Llc Mobile electronic device compatible immersive headwear for providing both augmented reality and virtual reality experiences
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
CA3045192A1 (en) 2016-11-30 2018-06-07 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437074B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US20190121133A1 (en) 2017-10-23 2019-04-25 North Inc. Free space multiple laser diode modules
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
JP7291708B2 (ja) 2018-01-17 2023-06-15 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP7390297B2 (ja) 2018-01-17 2023-12-01 マジック リープ， インコーポレイテッド 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
TWI749172B (zh) * 2018-02-13 2021-12-11 緯創資通股份有限公司 頭戴式顯示裝置及其調整方法
KR102579034B1 (ko) * 2018-02-23 2023-09-15 삼성전자주식회사 영상 출력 모듈의 아래에 영상이 출력되는 방향에 대해 지정된 각도로 배치된 반 투명 부재를 포함하는 전자 장치
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
US10739584B2 (en) 2018-11-15 2020-08-11 International Business Machines Corporation Predicted need notification for augmented reality eyeglasses
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US11277856B2 (en) * 2019-03-08 2022-03-15 Facebook Technologies, Llc Systems and methods for dynamic scheduling
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
JP2020195106A (ja) * 2019-05-30 2020-12-03 セイコーエプソン株式会社 装着型表示装置
US11700443B2 (en) * 2019-07-18 2023-07-11 Gopro, Inc. Camera with reconfigurable lens assembly
US11526212B1 (en) * 2019-09-25 2022-12-13 Amazon Technologies, Inc. System to determine don/doff of wearable device
EP4350418A1 (en) * 2021-09-13 2024-04-10 Samsung Electronics Co., Ltd. Wearable device for sensing wearing by user
US20230099937A1 (en) * 2021-09-27 2023-03-30 Microsoft Technology Licensing, Llc Optically transparent antennas on transparent substrates
CN114760440A (zh) * 2022-03-22 2022-07-15 浙江大学 一种可视化监视眼镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013110A1 (fr) 2006-07-25 2008-01-31 Nikon Corporation Appareil de sortie et appareil d'affichage d'image
JP2009130494A (ja) 2007-11-21 2009-06-11 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US20130154906A1 (en) 2011-07-20 2013-06-20 Max Braun Determining whether a wearable device is in use

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197825A (ja) 1997-01-10 1998-07-31 Sharp Corp 頭部搭載型ディスプレイ
JPH1175140A (ja) * 1997-08-27 1999-03-16 Olympus Optical Co Ltd 頭部装着型映像表示装置および映像表示制御装置
US7806525B2 (en) 2003-10-09 2010-10-05 Ipventure, Inc. Eyeglasses having a camera
JP2005070308A (ja) 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 頭部装着型表示装置
JP4674634B2 (ja) * 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
JP5223689B2 (ja) * 2009-01-16 2013-06-26 ブラザー工業株式会社 ヘッドマウント型表示装置およびその駆動方法
JP5245981B2 (ja) 2009-03-30 2013-07-24 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2011077960A (ja) 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
KR101431366B1 (ko) * 2010-07-20 2014-08-19 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 근접 감지
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US8907867B2 (en) 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013110A1 (fr) 2006-07-25 2008-01-31 Nikon Corporation Appareil de sortie et appareil d'affichage d'image
JP2009130494A (ja) 2007-11-21 2009-06-11 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US20130154906A1 (en) 2011-07-20 2013-06-20 Max Braun Determining whether a wearable device is in use

Also Published As

Publication number Publication date
EP3077869A1 (en) 2016-10-12
EP3077869A4 (en) 2017-09-06
US20150156716A1 (en) 2015-06-04
CN106062614B (zh) 2018-10-26
US8958158B1 (en) 2015-02-17
EP3077869B1 (en) 2019-08-14
WO2015084536A1 (en) 2015-06-11
US9204397B2 (en) 2015-12-01
CN106062614A (zh) 2016-10-26
KR20160087907A (ko) 2016-07-22

Similar Documents

Publication Publication Date Title
KR101747616B1 (ko) 헤드 마운티드 디스플레이를 위한 온-헤드 검출
US9952433B2 (en) Wearable device and method of outputting content thereof
US20210082435A1 (en) Multi-mode guard for voice commands
US9811154B2 (en) Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9219901B2 (en) Reactive user interface for head-mounted display
US9542958B2 (en) Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
US8907867B2 (en) Don and doff sensing using capacitive sensors
US11037532B2 (en) Information processing apparatus and information processing method
US9304320B2 (en) Head-mounted display and method of controlling the same
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US20150193098A1 (en) Yes or No User-Interface
US9442292B1 (en) Directional array sensing module
US20150130688A1 (en) Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US9582081B1 (en) User interface
US20170163866A1 (en) Input System
US9547335B1 (en) Transparent module antenna for wearable devices
US20160299641A1 (en) User Interface for Social Interactions on a Head-Mountable Display
KR20240009984A (ko) 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색
JP2015064476A (ja) 画像表示装置、画像表示装置を制御する方法
KR20240046552A (ko) 저전력을 위한 동적 캡처 파라미터 프로세싱
KR20240037804A (ko) 단일의 디스플레이 모듈 또는 복수의 디스플레이 모듈들을 이용하여 가상 객체를 표시하는 웨어러블 장치 및 그 제어 방법
KR20160027813A (ko) 글래스형 단말기

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant