KR102086511B1 - 헤드 마운티드 디스플레이 및 그 제어 방법 - Google Patents

헤드 마운티드 디스플레이 및 그 제어 방법 Download PDF

Info

Publication number
KR102086511B1
KR102086511B1 KR1020130114782A KR20130114782A KR102086511B1 KR 102086511 B1 KR102086511 B1 KR 102086511B1 KR 1020130114782 A KR1020130114782 A KR 1020130114782A KR 20130114782 A KR20130114782 A KR 20130114782A KR 102086511 B1 KR102086511 B1 KR 102086511B1
Authority
KR
South Korea
Prior art keywords
hmd
contact
sensor
user
mode
Prior art date
Application number
KR1020130114782A
Other languages
English (en)
Other versions
KR20150012973A (ko
Inventor
김지환
이도영
천시내
김용신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/094,471 priority Critical patent/US9024845B2/en
Priority to EP13890227.5A priority patent/EP3025186B1/en
Priority to PCT/KR2013/011400 priority patent/WO2015012452A1/en
Priority to CN201380078466.7A priority patent/CN105431764B/zh
Priority to US14/604,460 priority patent/US9575721B2/en
Publication of KR20150012973A publication Critical patent/KR20150012973A/ko
Priority to US15/538,231 priority patent/US10664230B2/en
Application granted granted Critical
Publication of KR102086511B1 publication Critical patent/KR102086511B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이를 제어하는 방법은 HMD의 노즈 패드에 대한 제1 컨택트를 디텍팅하는 단계, HMD의 템플에 대한 제2 컨택트를 디텍팅하는 단계, 제1 컨택트 및 제2 컨택트가 디텍팅되면 디스플레이 유닛 및 오디오 인풋 유닛을 활성화하는 착용 모드로 동작하는 단계, 제1 컨택트가 디텍팅되지 않고 제2 컨택트가 디텍팅되면 디스플레이 유닛을 활성화하고 오디오 인풋 유닛을 비활성화하는 음소거 모드로 동작하는 단계, 및 제1 컨택트 및 제2 컨택트가 디텍팅되지 않으면 디스플레이 유닛 및 상기 오디오 인풋 유닛을 비활성화하는 미착용 모드로 동작하는 단계를 포함할 수 있다.

Description

헤드 마운티드 디스플레이 및 그 제어 방법{Head Mounted Display and controlling method thereof}
본 명세서는 헤드 마운티드 디스플레이에 대한 것으로, 특히 모드에 따라 오디오 입출력 유닛 및 디스플레이 유닛을 활성화 또는 비활성화하는 헤드 마운티드 디스플레이에 대한 것이다.
헤드 마운티드 디스플레이가 경량화되면서 사용자는 헤드 마운티드 디스플레이를 안경처럼 착용할 수 있다. 사용자는 헤드 마운티드 디스플레이를 이용하여 음성통화 또는 화상통화를 실시할 수 있다. 헤드 마운티드 디스플레이는 기기 특성상 조작성이 낮을 수 있다. 헤드 마운티드 디스플레이는 표면에 다양한 버튼을 구비하기 어렵기 때문이다. 따라서 헤드 마운티드 디스플레이를 이용한 음성통화 또는 화상통화시 간단한 조작을 통해 부가 기능을 제공할 수 있는 방법이 요구된다. 예를 들어, 음성통화 또는 화상통화시에 간단한 조작만으로 사용자의 음성이 상대방에게 전달되지 않도록 헤드 마운티드 디스플레이를 제어하는 방법이 요구된다.
본 명세서는, 착용 모드에 따라 오디오 입출력 유닛 또는 디스플레이 유닛을 활성화하거나 비활성화하는 헤드 마운티드 디스플레이 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 헤드 마운티드 디스플레이는 센서 유닛을 이용하여 모드를 구분하고, 모드에 따라 오디오 인풋 유닛, 오디오 출력 유닛 및 디스플레이 유닛 중 적어도 하나를 활성화하거나 비활성화하는 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD)는 디지털 이미지를 디스플레이하는 디스플레이 유닛, 오디오 신호를 입력받고 오디오 신호를 전기적 신호로 전환하는 오디오 인풋 유닛, HMD의 노즈 패드(nose pad)에 위치하고 제1 컨택트를 디텍팅하는 제1 센서, HMD의 템플에 위치하고 제2 컨택트를 디텍팅하는 제2 센서, 및 컨트롤러를 포함하고, 컨트롤러는 제1 컨택트 및 제2 컨택트가 디텍팅되면 착용 모드를 활성화하고, 제1 컨택트가 디텍팅되지 않고 제2 컨택트가 디텍팅되면 음소거 모드를 활성화하고, 제1 컨택트 및 제2 컨택트가 디텍팅되지 않으면 미착용 모드를 활성화하고, 착용 모드에서 제1 컨택트가 디텍팅되지 않으면 착용 모드를 음소거 모드로 전환하고, 음소거 모드에서 제1 컨택트가 디텍팅되면 음소거 모드를 착용 모드로 전환하고, 음소거 모드에서 제2 컨택트가 디텍팅되지 않으면 음소거 모드를 미착용 모드로 전환하고, 미착용 모드에서 제1 컨택트 및 제2 컨택트가 디텍팅되면 미착용 모드를 착용 모드로 전환할 수 있다.
또한 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD) 제어 방법은 HMD의 노즈 패드에 대한 제1 컨택트를 디텍팅하는 단계, HMD의 템플에 대한 제2 컨택트를 디텍팅하는 단계, 제1 컨택트 및 제2 컨택트가 디텍팅되면 디스플레이 유닛 및 오디오 인풋 유닛을 활성화하는 착용 모드로 동작하는 단계, 제1 컨택트가 디텍팅되지 않고 제2 컨택트가 디텍팅되면 디스플레이 유닛을 활성화하고 오디오 인풋 유닛을 비활성화하는 음소거 모드로 동작하는 단계, 및 제1 컨택트 및 제2 컨택트가 디텍팅되지 않으면 디스플레이 유닛 및 상기 오디오 인풋 유닛을 비활성화하는 미착용 모드로 동작하는 단계를 포함하는 HMD 제어 방법으로써, HMD 제어 방법은 착용 모드에서 제1 컨택트가 디텍팅되지 않으면 착용 모드를 음소거 모드로 전환하고, 음소거 모드에서 제1 컨택트가 디텍팅되면 착용 모드로 전환하고, 음소거 모드에서 제2 컨택트가 디텍팅되지 않으면 미착용 모드로 전환하고, 미착용 모드에서 제1 컨택트 및 제2 컨택트가 디텍팅되면 착용 모드로 전환할 수 있다.
본 명세서에 따르면, 헤드 마운티드 디스플레이는 센서 유닛의 디텍팅 결과에 따라 헤드 마운티드 디스플레이의 모드를 전환할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 노즈 패드에 위치한 제1 센서를 이용하여 사용자의 코에 의한 컨택트를 디텍팅할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 노즈 패드에 위치한 제1 센서에 의해 컨택트가 디텍팅되었는지 여부에 따라 오디오 인풋 유닛의 활성화 여부를 결정할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 사용자의 시선이 디텍팅되었는지 여부에 따라 카메라 유닛의 활성화 여부를 결정할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 노즈 패드에 위치한 제1 센서에 의해 컨택트가 디텍팅되지 않은 경우, 템플에 위치한 제2 센서의 디텍팅 결과에 따라 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛 중 적어도 하나를 비활성화할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 브릿지에 위치한 제3 센서의 디텍팅 결과에 따라 오디오 인풋 유닛의 활성화 여부를 토글할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이를 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 HMD의 모드간 전환 방법을 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 HMD의 모드에 따른 동작 방법을 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 HMD의 음소거 모드의 동작 방법을 나타낸 도면이다.
도 5는 본 명세서의 다른 실시예에 따른 HMD의 음소거 모드의 동작 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 HMD의 전화 통화 동작 순서도를 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 HMD의 동영상 촬영의 순서도를 나타낸 도면이다.
도 9는 본 명세서의 다른 실시예에 따른 HMD의 동영상 촬영의 순서도를 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 헤드 마운티드 디스플레이는 사용자의 신체에 착용하여 시각정보를 디스플레이할 수 있는 웨어러블 디바이스를 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이를 나타낸 도면이다. 도 1에서 헤드 마운티드 디스플레이(Head Mounted Disaply; HMD)는 복수의 파트들로 구분될 수 있다. 도 1에서 HMD(10)는 디스플레이 파트(11), 템플 파트(12), 브릿지 파트(13) 및 노즈 패드(nose pad) 파트(14)를 포함할 수 있다. 디스플레이 파트(11)는 디지털 이미지를 디스플레이하고, 사용자에게 시각 정보를 제공할 수 있다. 디스플레이 파트(11)는 도 1에 도시된 바와 같이 안경의 림(rim)과 같은 형태일 수 있다. 디스플레이 파트(11)는 시각 정보를 프로젝션하거나 디스플레이하는 디스플레이 유닛을 포함할 수 있으며, 다른 실시예에 따라서는 림을 제외하고 디스플레이 유닛과 디스플레이 유닛을 지지하는 프레임을 포함할 수도 있다. 템플 파트(12)는 HMD(10)를 사용자의 머리에 고정시킬 수 있다. 템플 파트(12)는 오디오 인풋 유닛 또는 오디오 아웃풋 유닛을 포함할 수 있다. 특히 템플 파트(12)는 사용자의 귀에 인접하는 이어 피스(ear piece)를 포함할 수 있으며, 오디오 아웃풋 유닛은 이어 피스에 위치할 수 있다. 브릿지 파트(13)는 좌우 디스플레이 파트(11)의 사이에 위치할 수 있다. HMD(10)의 좌측 부분과 우측 부분을 연결하는 기능을 할 수 있다. 노즈 패드 파트(14)는 사용자의 코와 접촉하여 HMD(10)가 흘러내리지 않도록 HMD(10)를 지지할 수 있다.
HMD(10)는 사용자의 HMD 착용 상태를 센싱하는 센서 유닛을 포함할 수 있다. HMD(10)는 근접 센서, 터치 센서, 적외선 센서 및 이미지 센서 중 적어도 하나를 이용하여 사용자의 HMD 착용 상태를 센싱할 수 있다. 도 1에서는 HMD에 포함된 센서의 위치를 원(circle)으로 표시하였다. HMD(10)는 노즈 패드 파트(14)에 제1 센서(15)를 포함할 수 있다. HMD(10)는 제1 센서(15)를 이용하여 HMD의 노즈 패드 파트(14)가 사용자의 코와 컨택트하는지 여부를 센싱할 수 있다. 본 명세서에서 HMD의 노즈 패드 파트(14)와 사용자의 코 사이의 컨택트를 제1 컨택트로 정의할 수 있다.
사용자가 HMD를 착용한 상태에서 디스플레이 파트(11)를 들어올리는 경우, 노즈 패드 파트(14)가 사용자의 코에서 이격될 수 있다. 이 경우, 제1 센서(15)는 사용자의 코와 노즈 패드 파트(14)가 더 이상 컨택트하지 않음을 센싱할 수 있다. HMD(10)는 센싱된 정보를 이용하여 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛 중 적어도 하나의 활성화 여부를 결정할 수 있으며 이에 대해서는 도 3 내지 도 5에서 자세히 설명하도록 한다.
HMD(10)는 템플 파트(12)에 제2 센서(16)를 포함할 수 있다. HMD는 템플 파트(12) 중 사용자의 머리와 컨택트되는 영역에 제2 센서(16)를 포함할 수 있다. 특히, 제2 센서(16)는 템플 파트 중 이어 피스(ear piece)에 위치한 오디오 아웃풋 유닛에 인접하여 위치할 수 있다.
HMD의 템플 파트(12)는 좌측 템플 및 우측 템플을 포함할 수 있다. HMD는 좌측 템플 및 우측 템플에 각각 제2 센서(16)를 포함할 수 있다. HMD는 제2 센서(16)를 이용하여 HMD의 템플 파트(12)가 사용자의 머리와 컨택트하는지 여부를 센싱할 수 있다. 본 명세서에서 HMD의 템플 파트(12)와 사용자의 머리 사이의 컨택트를 제2 컨택트로 정의할 수 있다.
HMD를 착용한 상태에서 사용자가 디스플레이 파트(11)를 들어올리는 경우, 제2 센서(16)는 여전히 사용자의 머리와 컨택트를 유지할 수 있다. HMD(10)는 좌측 템플에 위치한 제2 센서 및 우측 템플에 위치한 제2 센서에 의해 각각 컨택트가 디텍팅된 때, 제2 컨택트가 디텍팅된 것으로 결정할 수 있다.
HMD의 제2 센서(16)는 사용자가 HMD를 착용 해제하는 경우에 머리와의 컨택트가 해제될 수 있다. HMD(10)는 센싱된 정보를 이용하여 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛 중 적어도 하나의 활성화 여부를 결정할 수 있다.
HMD(10)는 제1 센서(15) 및 제2 센서(16)를 이용하여 센싱된 결과를 이용하여 사용자가 HMD를 착용한 상태인지, 글래스 부분을 들어올린 상태인지, 착용을 해제한 상태인지 구분할 수 있다. HMD의 착용 상태에 따른 HMD의 모드 전환에 대해서는 도 2에서 자세히 설명하도록 한다.
또한 HMD(10)는 디스플레이 파트(11) 또는 템플 파트(12)에 제3 센서(17)를 포함할 수 있다. HMD(10)는 템플 파트(12) 중 디스플레이 파트(11)에 인접한 위치에 제3 센서(17)를 포함할 수 있다. HMD(10)는 제3 센서(17)를 이용하여 사용자의 시선이 HMD의 디스플레이 영역을 바라보고 있는지 여부를 판단할 수 있다. HMD(10)는 사용자의 시선을 디텍팅하고, HMD가 디스플레이한 시각 정보를 사용자가 응시할 수 있는 상태인지 여부를 판단할 수 있다. HMD(10)는 사용자의 눈의 위치 또는 사용자의 시선의 위치가 디스플레이 유닛이 디스플레이한 시각 정보를 볼 수 없는 위치인 경우, 사용자의 시선이 HMD의 디스플레이 영역을 응시하지 않는 것으로 판단할 수 있다. 제3 센서(17)는 HMD의 디스플레이 파트(11) 또는 템플 파트(12)에 위치할 수 있다.
HMD(10)는 제1 센서(15) 및 제2 센서(16)를 이용하여 센싱된 결과에 제3 센서(17)를 이용하여 센싱된 결과를 추가적으로 이용할 수 있다. 이를 통해 HMD(10)는 글래스 부분을 들어올린 상태에서 디스플레이 유닛을 비활성화할 것인지 여부를 결정할 수 있다. 이에 대해서는 도 3에서 자세히 설명하도록 한다.
또한 HMD(10)는 제2 센서(16) 및 제3 센서(17) 외에도 템플 파트(12)에 제4 센서를 포함할 수 있다. HMD(10)는 제4 센서를 이용하여 템플 파트(12)에 대한 사용자의 터치를 디텍팅할 수 있다. HMD(10)는 제1 센서(14)의 센싱 결과 및 제4 센서의 센싱 결과를 이용하여 HMD가 사용자의 코에서 이격되는 경우에 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛 중 어느 것을 비활성화할 것인지 결정할 수 있다. 이에 대해서는 도 4 내지 도 5에서 자세히 설명하도록 한다.
또한 HMD(10)는 브릿지 파트(11)에 제5 센서를 포함할 수 있다. HMD(10)는 제5 센서에 의해 컨택트가 디텍팅되면 오디오 인풋 유닛의 활성화 여부를 토글할 수 있다. 이에 대해서는 도 5에서 자세히 설명하도록 한다.
도 2는 본 명세서의 일 실시예에 따른 HMD의 모드간 전환 방법을 나타낸 도면이다. HMD는 착용 모드(20), 음소거 모드(21) 및 미착용 모드(22) 중 하나의 모드로 동작할 수 있다. 또한 도 2에는 도시되어 있지 않지만, HMD는 음소거 및 디스플레이 오프 모드로 동작할 수도 있다. HMD는 착용 모드(20)에서 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛을 활성화할 수 있다. 착용 모드인 HMD를 착용한 사용자는 오디오 인풋 유닛 및 오디오 아웃풋 유닛을 이용하여 청각 정보를 입출력하고, 디스플레이 유닛을 이용하여 시각 정보를 확인할 수 있다.
HMD는 음소거 모드(21)에서 오디오 인풋 유닛을 비활성화할 수 있다. 음소거 모드인 HMD를 착용한 사용자는 오디오 인풋 유닛이 비활성화된 HMD를 이용하여 음성 통화 중에 자신의 음성을 상대방에게 전달하지 않을 수 있다. 또한 비디오 인포메이션 및 오디오 인포메이션을 포함하는 동영상을 촬영 중인 경우, 사용자는 음소거 모드를 이용하여 비디오 인포메이션을 선택적으로 저장하고 오디오 인포메이션은 저장 대상에서 제외할 수 있다.
HMD는 음소거 및 디스플레이 오프 모드에서 오디오 인풋 유닛 및 디스플레이 유닛을 비활성화할 수 있다. HMD는 디스플레이 유닛을 비활성화하여 파워 세이빙 효과를 얻을 수 있으며, 오디오 인풋 유닛을 비활성화하여 사용자의 음성이나 사운드가 HMD에 입력되는 것을 제한할 수 있다. 음소거 및 디스플레이 오프 모드에서 HMD는 오디오 아웃풋 유닛 이용하여 오디오 인포메이션을 출력할 수 있으며 사용자는 오디오 인포메이션을 제공받을 수 있다.
HMD는 미착용 모드(22)에서 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛을 비활성화할 수 있다. 미착용 모드의 HMD는 비디오 인포메이션 및 오디오 인포메이션을 출력하지 않을 수 있으며 이로 인해 파워 세이빙 효과를 얻을 수 있다. 또한 HMD는 미착용 모드에서 HMD와 페어링된 외부 디바이스와의 페어링을 종료할 수 있다. 만약, HMD와 셀룰러폰의 페어링이 종료된 이후, 사용자가 HMD를 착용하면, HMD는 제1 센서, 제2 센서 및 제3 센서의 센싱 결과에 따라 착용모드, 음소거 모드, 음소거 및 디스플레이 오프 모드로 전환될 수 있다. 이 경우, HMD는 셀룰러폰과의 페어링을 재개하여 HMD를 통한 전화통화를 사용자에게 제공할 수 있다.
HMD는 제1 센서, 제2 센서 및 제3 센서 중 적어도 두 개의 센서가 센싱한 결과에 따라 HMD의 모드를 변경할 수 있다. 도 2에 도시된 바와 같이, 노즈 패드에 위치한 제1 센서에 의해 제1 컨택트가 디텍팅되고, 템플에 위치한 제2 센서에 의해 제2 컨택트가 디텍팅된 경우, HMD는 착용 모드로 동작할 수 있다. 여기서, 제1 컨택트는 HMD의 노즈 패드와 사용자의 코 사이의 컨택트이고, 제2 컨택트는 HMD의 템플과 사용자의 측면 얼굴 사이의 컨택트일 수 있다.
예를 들어, 사용자가 HMD를 이용하여 전화통화를 하는 경우, HMD는 오디오 인풋 유닛를 활성화하여 사용자의 음성 신호를 상대방에게 전달할 수 있다. 또한 HMD는, 디스플레이 유닛을 활성화하여 시각 정보를 디스플레이할 수 있다. 여기서 시각 정보는 상대방의 얼굴, 전화번호 등 전화통화 상대방에 대한 정보를 포함할 수 있다.
다른 실시예로, 사용자가 HMD를 이용하여 동영상을 촬영하는 경우, 카메라 유닛에 디텍팅된 비디오 인포메이션 및 오디오 인풋 유닛에 입력된 오디오 인포메이션을 저장할 수 있다.
HMD의 착용 모드에서 노즈 패드와 사용자의 코가 이격되어 제1 컨택트가 디텍팅되지 않는 경우, HMD는 착용 모드를 음소거 모드로 전환할 수 있다. 음소거 모드란, HMD를 착용한 사용자의 음성 정보를 HMD가 인식하지 않거나 바이패스하는 모드를 의미할 수 있다.
예를 들어, 사용자가 HMD를 이용하여 전화통화를 하는 경우, HMD는 오디오 인풋 유닛을 비활성화하여 사용자의 음성 신호를 상대방에게 전달하는 것을 제한할 수 있다. 사용자가 프라이빗한 내용을 언급하거나 상대방에게 전달하지 않고자 하는 내용을 언급하는 경우 또는 전화통화와 무관한 내용을 언급하는 경우에, 음소거 모드를 이용할 수 있다. 비활성화된 오디오 인풋 유닛과는 달리, HMD는 디스플레이 유닛을 활성화하여 시각 정보를 디스플레이할 수 있다. 여기서 시각 정보는 상대방의 얼굴, 전화번호 등 전화통화 상대방에 대한 정보를 포함할 수 있다. 또한 HMD는 오디오 아웃풋 유닛을 활성화 상태로 유지하여 상대방의 음성을 사용자에게 전달할 수 있다.
다른 실시예로, 사용자가 HMD를 이용하여 동영상을 촬영하는 경우, HMD는 카메라 유닛에 의해 디텍팅된 비디오 인포메이션을 선택적으로 저장하고, 오디오 인풋 유닛에 의해 디텍팅된 오디오 인포메이션을 일시적으로 동영상에서 제외할 수 있다. 즉, HMD는 음소거 모드에서 오디오 인포메이션이 제거된 동영상을 저장할 수 있다. HMD는 제1 센서에 의해 제1 컨택트가 디텍팅된 때, 음소거 모드를 착용 모드로 전환하고 오디오 인포메이션에 대한 저장을 재개할 수 있다.
HMD의 착용 모드에서 노즈 패드와 사용자의 코가 이격되고, 템플과 사용자의 머리가 이격되어 제1 컨택트 및 제2 컨택트가 디텍팅되지 않는 경우, HMD는 착용 모드를 미착용 모드로 전환할 수 있다.
예를 들어, 사용자가 HMD를 이용하여 전화통화를 하는 경우, HMD는 상대방과의 통화를 종료할 수 있다. 실시예에 따라, HMD가 셀룰러폰과 페어링되어 있는 경우, HMD는 페어링을 종료하고 사용자가 세룰러폰을 이용하여 상대방과 통화할 수 있도록 제어 권한을 셀룰러폰에 인가할 수 있다.
다른 실시예로, 사용자가 HMD를 이용하여 동영상을 촬영하는 경우, 동영상 촬영을 종료할 수 있다.
HMD의 음소거 모드에서 노즈 패드와 사용자의 코가 컨택트되어 제1 컨택트가 디텍팅된 경우, HMD는 음소거 모드를 착용 모드로 전환할 수 있다.
HMD의 음소거 모드에서 템플과 사용자의 머리가 이격되어 제2 컨택트가 디텍팅되지 않는 경우, HMD는 음소거 모드를 미착용 모드로 전환할 수 있다.
HMD의 미착용 모드에서 템플과 사용자의 머리가 컨택트되어 제2 컨택트가 디텍팅된 경우, HMD는 미착용 모드를 음소거 모드로 전환할 수 있다.
HMD의 미착용 모드에서 노즈 패드와 사용자의 코가 컨택트되고, 템플과 사용자의 머리가 컨택트되어 제1 컨택트 및 제2 컨택트가 디텍팅된 경우, HMD는 미착용 모드를 착용 모드로 전환할 수 있다.
이에 더하여 HMD의 음소거 모드에서 사용자의 시선이 디텍팅되지 않는 경우, HMD는 음소거 모드를 음소거 및 디스플레이 오프 모드로 전환할 수 있다. 즉 제2 컨택트는 디텍팅되지만 사용자의 시선이 디텍팅되지 않는 경우, HMD는 오디오 인풋 유닛 및 디스플레이 유닛을 비활성화할 수 있다.
예를 들어, 사용자가 HMD를 이용하여 전화통화를 하는 경우, HMD는 오디오 인풋 유닛을 비활성화하여 사용자의 음성 신호를 상대방에게 전달하는 것을 제한할 수 있다. 사용자가 프라이빗한 내용을 언급하거나 상대방에게 전달하지 않고자 하는 내용을 언급하는 경우 또는 전화통화와 관계 없는 내용을 언급하는 경우에, 음소거 모드를 이용할 수 있다. 또한 HMD는 디스플레이 유닛을 비활성화하여 시각 정보를 디스플레이하는 것을 중단할 수 있다. HMD는 디스플레이 유닛이 제공하는 시각 정보를 사용자의 눈이 확인할 수 없는 경우, 불필요한 전력소모를 줄이기 위해 디스플레이 유닛을 비활성화할 수 있다. 이와 달리, HMD는 오디오 아웃풋 유닛을 활성화 상태로 유지하여 상대방의 음성을 사용자에게 전달할 수 있다.
다른 실시예로, 사용자가 HMD를 이용하여 동영상을 촬영하는 경우, 카메라에 의해 디텍팅된 비디오 인포메이션 및 오디오 인풋 유닛에 의해 디텍팅된 오디오 인포메이션을 일시적으로 촬영되는 동영상에서 제외할 수 있다. 즉, HMD는 음소거 및 디스플레이 오프 모드에서 동영상 촬영을 일시적으로 정지할 수 있다.
HMD는 제3 센서에 의해 사용자의 눈 또는 시선이 디스플레이 파트 내에서 디텍팅된 때, 음소거 및 디스플레이 오프 모드에서 음소거 모드로 전환하고 카메라 유닛에 의한 비디오 인포메이션 촬영을 재개할 수 있다. 또한 HMD는 제1 센서에 의해 코받침과 코의 컨택트가 디텍팅된 때, 음소거 모드에서 착용 모드로 전환하고 비디오 인포메이션 촬영에 추가적으로 오디오 인포메이션에 대한 녹음을 재개할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 HMD의 모드에 따른 동작 방법을 나타낸 도면이다. 도 3의 좌측 상단은 착용 모드로 동작하는 HMD의 착용 상태를 나타낸 도면이다. 사용자가 도 3의 좌측 상단과 같이 HMD를 착용하는 경우, HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 제1 컨택트를 디텍팅할 수 있다. 또한 HMD(10)는 템플 파트에 위치한 제2 센서를 이용하여 제2 컨택트를 디텍팅할 수 있다.
따라서 HMD(10)는 착용 모드를 활성화할 수 있다. HMD(10)는 오디오 인풋 유닛을 이용하여 사용자의 음성을 통화 상대방에게 전달하고, 오디오 아웃풋 유닛을 이용하여 청각 정보를 출력할 수 있다. 또한 HMD(10)는 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다.
도 3의 우측 상단은 착용 모드로 동작하는 HMD가 디스플레이하는 시각 정보(30)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(31)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(31)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다. HMD(10)는 착용 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(32)를 디스플레이할 수 있다. HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 활성화되었고, 청각 정보가 출력되고 있음을 사용자에게 인폼할 수 있다.
HMD(10)는 착용 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(33)를 디스플레이할 수 있다. HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 활성화되었고, 사용자의 음성이 입력되어 통화 상대방에게 전달되고 있음을 사용자에게 인폼할 수 있다.
도 3의 좌측 중단은 음소거 모드로 동작하는 HMD를 나타낸 도면이다. 사용자가 도 3의 좌측 중단과 같이 착용하는 경우, HMD(10)는 템플 파트에 위치한 제2 센서를 이용하여 제2 컨택트를 디텍팅할 수 있으나, 노즈 패드 파트에 위치한 제1 센서를 이용하여 제1 컨택트를 디텍팅할 수는 없다. 사용자에 의해 HMD의 노즈 패드 파트가 사용자의 코에서 이격되었기 때문이다.
따라서 HMD(10)는 음소거 모드를 활성화할 수 있다. HMD(10)는 오디오 아웃풋 유닛을 이용하여 청각 정보를 출력하고 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다. 즉, 상대방의 음성을 출력하여 사용자에게 전달하고, 통화 상대방의 이미지를 디스플레이할 수 있다. 다만, HMD(10)는 오디오 인풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것을 제한할 수 있다.
도 3의 우측 중단은 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(30)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(31)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(31)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다. HMD(10)는 음소거 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(32)를 디스플레이할 수 있다. HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 활성화되었고, 청각 정보가 출력되고 있음을 사용자에게 인폼할 수 있다.
HMD(10)는 음소거 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(33)를 디스플레이할 수 있다. HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 비활성화되었고, 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 3의 좌측 하단은 음소거 및 디스플레이 오프 모드로 동작하는 HMD를 나타낸 도면이다. 사용자가 도 3의 좌측 하단과 같이 착용하는 경우, HMD(10)는 템플 파트에 위치한 제2 센서를 이용하여 제2 컨택트를 디텍팅할 수 있으나, 노즈 패드 파트에 위치한 제1 센서를 이용하여 제1 컨택트를 디텍팅할 수는 없다. 또한 HMD(10)는 디스플레이 파트 또는 템플 파트에 위치한 제3 센서를 이용하여 사용자의 시선을 디텍팅할 수 없다. 사용자에 의해 HMD의 노즈 패드 파트가 사용자의 코에서 이격되었고, 디스플레이 파트가 사용자의 시야로부터 벗어 낫기 때문이다.
따라서 HMD(10)는 음소거 및 디스플레이 오프 모드를 활성화할 수 있다. HMD(10)는 오디오 아웃풋 유닛을 이용하여 청각 정보를 출력할 수 있다. 즉, 상대방의 음성을 출력하여 사용자에게 전달할 수 있다. 하지만, HMD(10)는 디스플레이 유닛을 비활성화하고 시각 정보를 사용자에게 제공되는 것을 제한할 수 있다. 이를 통해 HMD(10)는 파워 세이빙 효과를 얻을 수 있다. 또한 HMD(10)는 오디오 인풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것을 제한할 수 있다.
도 3의 우측 하단은 음소거 및 디스플레이 오프 모드로 동작하는 HMD가 디스플레이하는 시각 정보(30)를 나타낸 도면이다. 음소거 및 디스플레이 오프 모드에서 HMD(10)는 음성 통화는 물론이고 화상 통화 중에도 통화 상대방의 이미지를 디스플레이하지 않을 수 있다. 또한 HMD(10)는 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터나 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터를 디스플레이하지 않을 수 있다. 즉, HMD(10)는 사용자의 시선이 디텍팅되지 않는 음소거 및 디스플레이 오프 모드에서 디스플레이 유닛을 비활성화하여 시각 정보를 전달하지 않을 수 있으며, 이를 통해 파워 세이빙 효과를 얻을 수 있다.
도 4는 본 명세서의 일 실시예에 따른 HMD의 음소거 모드의 동작 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트를 센싱할 수 있다. HMD(10)는 제1 컨택트의 릴리즈를 디텍팅하면 음소거 모드를 활성화할 수 있다. HMD(10)는 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손과 템플 파트 사이의 제4 컨택트를 센싱할 수 있다. HMD(10)는 좌측 템플 및 우측 템플에 각각 제4 센서를 포함할 수 있다. HMD(10)는 음소거 모드에서 제4 컨택트에 대한 센싱 결과에 따라 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛의 비활성화 여부를 결정할 수 있다.
도 4의 좌측 상단은 사용자가 왼손을 이용하여 HMD를 들어올림으로써 HMD를 음소거 모드로 전환하는 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트가 릴리즈됨을 디텍팅할 수 있다. HMD(10)는 제1 컨택트가 릴리즈되었으므로 음소거 모드를 활성화할 수 있다.
이와 함께 HMD(10)는 좌측 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손(41)과 템플 파트 사이의 제4 컨택트를 센싱할 수 있다. 제1 컨택트의 릴리즈와 함께 제4 컨택트가 디텍팅된 경우, HMD(10)는 음소거 모드에서 오디오 인풋 유닛을 비활성화할 수 있다. 이하에서 오디오 인풋 유닛이 비활성화된 음소거 모드는 제1 음소거 모드로 정의될 수 있다. HMD(10)는 오디오 아웃풋 유닛을 이용하여 청각 정보를 출력하고 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다. 즉, HMD(10)는 상대방의 음성을 출력하여 사용자에게 전달하고, 통화 상대방의 이미지를 디스플레이할 수 있다. 다만, HMD(10)는 오디오 인풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것을 제한할 수 있다.
도 4의 우측 상단은 제1 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(43)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(44)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(44)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다.
HMD(10)는 제1 음소거 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(45)를 디스플레이할 수 있다. 제1 음소거 모드에서 HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 활성화되었고, 청각 정보가 출력되고 있음을 사용자에게 인폼할 수 있다.
HMD(10)는 제1 음소거 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(46)를 디스플레이할 수 있다. 제1 음소거 모드에서 HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 비활성화되었고, 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 4의 좌측 중단은 사용자가 오른손을 이용하여 HMD를 들어올림으로써 HMD를 음소거 모드로 전환하는 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트가 릴리즈됨을 디텍팅할 수 있다. HMD(10)는 제1 컨택트가 릴리즈되었으므로 음소거 모드를 활성화할 수 있다.
이와 함께 HMD(10)는 우측 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손(42)과 템플 파트 사이의 제4 컨택트를 센싱할 수 있다. 제1 컨택트의 릴리즈와 함께 제4 컨택트가 디텍팅된 경우, HMD(10)는 음소거 모드에서 오디오 인풋 유닛을 비활성화할 수 있다. 또한 이에 더하여 HMD(10)는 오디오 아웃풋 유닛을 추가로 비활성화할 수 있다. 즉, HMD(10)는 사용자에 의한 제4 컨택트가 좌우 템플 중 어느 쪽에서 디텍팅되었는지에 따라 오디오 인풋 유닛 및 오디오 아웃풋 유닛에 대한 비활성화 여부를 다르게 결정할 수 있다. 아래에서 오디오 인풋 유닛 및 오디오 아웃풋 유닛이 비활성화된 음소거 모드는 제2 음소거 모드로 정의될 수 있다.
HMD(10)는 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다. 즉, HMD(10)는 통화 상대방의 이미지를 디스플레이할 수 있다. 다만, HMD(10)는 오디오 인풋 유닛 및 오디오 아웃풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것과 통화 상대방의 음성이 출력되는 것을 제한할 수 있다.
도 4의 우측 중단은 제2 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(43)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(44)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(44)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다.
HMD(10)는 제2 음소거 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(45)를 디스플레이할 수 있다. 제2 음소거 모드에서 HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 비활성화되었고, 청각 정보가 출력되지 않음을 사용자에게 인폼할 수 있다.
HMD(10)는 제2 음소거 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(46)를 디스플레이할 수 있다. 제2 음소거 모드에서 HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 비활성화되었고, 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 4의 좌측 하단은 사용자가 양손을 이용하여 HMD를 들어올림으로써 HMD를 음소거 모드로 전환하는 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트가 릴리즈됨을 디텍팅할 수 있다. HMD(10)는 제1 컨택트가 릴리즈되었으므로 음소거 모드를 활성화할 수 있다.
이와 함께 HMD(10)는 좌측 템플 및 우측 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손(41,42)과 템플 파트 사이의 제4 컨택트들을 센싱할 수 있다. 제1 컨택트의 릴리즈와 함께 제4 컨택트들이 디텍팅된 경우, HMD(10)는 음소거 모드에서 오디오 인풋 유닛을 비활성화할 수 있다. 또한 이에 더하여 HMD(10)는 오디오 아웃풋 유닛 및 디스플레이 유닛을 추가로 비활성화할 수 있다. 즉, HMD(10)는 사용자에 의한 제4 컨택트가 좌우 템플 중 어느 하나의 템플 파트에서 디텍팅되었는지 아니면 양쪽 템플 파트에서 디텍팅되었는지에 따라 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛에 대한 비활성화 여부를 다르게 결정할 수 있다. 아래에서 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛이 비활성화된 음소거 모드는 제3 음소거 모드로 정의될 수 있다.
HMD(10)는 오디오 인풋 유닛 및 오디오 아웃풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것과 통화 상대방의 음성이 출력되는 것을 제한할 수 있다. 또한 HMD(10)는 디스플레이 유닛을 비활성화하고 시각 정보가 디스플레이되는 것을 제한할 수 있다.
도 4의 우측 하단은 제3 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(43)를 나타낸 도면이다. HMD(10)는 제1 음소거 모드 및 제2 음소거 모드에서 디스플레이되었던 통화 상대방의 이미지, 제1 인디케이터 및 제2 인디케이터를 디스플레이하지 않을 수 있다. HMD(10)는 디스플레이 유닛을 비활성화함으로써 파워 세이빙 효과를 얻을 수 있다.
상술한 바와 같이 HMD(10)는 HMD를 들어올린 사용자의 손이 오른손인지 왼손인지 또는 양손인지에 따라 오디오 인풋 유닛, 오디오 아웃풋 유닛 및 디스플레이 유닛 각각에 대한 비활성화 여부를 결정할 수 있다. 위에서 설명한 실시예는 여러 실시예 중 하나일 뿐이며, HMD를 들어올린 사용자의 손에 따른 각 유닛의 비활성화 방법은 실시예에 따라 다르게 적용될 수 있다.
도 5는 본 명세서의 다른 실시예에 따른 HMD의 음소거 모드의 동작 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트를 센싱할 수 있다. HMD(10)는 제1 컨택트의 릴리즈를 디텍팅하면 음소거 모드를 활성화할 수 있다. HMD(10)는 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손과 템플 파트 사이의 제4 컨택트를 센싱할 수 있다. HMD(10)는 브릿지 파트에 위치한 제5 센서를 이용하여 사용자의 손과 브릿지 파트 사이의 제5 컨택트를 센싱할 수 있다. HMD(10)는 제1 컨택트의 릴리즈를 디텍팅하면서 제4 컨택트 또는 제5 컨택트가 함께 디텍팅되는지 여부에 따라 음소거 모드에서 오디오 인풋 유닛 및 오디오 아웃풋 유닛의 비활성화 여부를 결정할 수 있다.
도 5의 좌측 상단은 사용자가 HMD를 들어올림으로써 HMD를 음소거 모드로 전환하는 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트가 릴리즈됨을 디텍팅할 수 있다. HMD(10)는 제1 컨택트가 릴리즈되었으므로 음소거 모드를 활성화할 수 있다.
이와 함께 HMD(10)는 템플 파트에 위치한 제4 센서를 이용하여 사용자의 손(51)과 템플 파트 사이의 제4 컨택트를 센싱할 수 있다. 제1 컨택트의 릴리즈와 함께 제4 컨택트가 디텍팅된 경우, HMD(10)는 음소거 모드에서 오디오 인풋 유닛 및 오디오 아웃풋 유닛을 비활성화할 수 있다. 즉, HMD(10)는 도 4에서 설명한 제2 음소거 모드를 활성화할 수 있다. 위에서 설명한 제4 센서는 HMD의 좌측 템플 파트 및 우측 템플 파트 중 적어도 하나에 위치할 수 있다.
제2 음소거 모드의 HMD(10)는 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다. 즉, HMD(10)는 통화 상대방의 이미지를 디스플레이할 수 있다. 다만, HMD(10)는 오디오 인풋 유닛 및 오디오 아웃풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것과 통화 상대방의 음성이 출력되는 것을 제한할 수 있다.
도 5의 우측 상단은 제2 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(54)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(57)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(57)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다.
HMD(10)는 제2 음소거 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(55)를 디스플레이할 수 있다. 제2 음소거 모드에서 HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 비활성화되었고, 청각 정보가 출력되지 않음을 사용자에게 인폼할 수 있다.
HMD(10)는 제2 음소거 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(56)를 디스플레이할 수 있다. 제2 음소거 모드에서 HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 비활성화되었고, 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 5의 좌측 중단은 사용자가 HMD를 들어올림으로써 HMD를 음소거 모드로 전환하는 방법을 나타낸 도면이다. HMD(10)는 노즈 패드 파트에 위치한 제1 센서를 이용하여 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트가 릴리즈됨을 디텍팅할 수 있다. HMD(10)는 제1 컨택트가 릴리즈되었으므로 음소거 모드를 활성화할 수 있다.
템플 파트에 위치한 제4 센서에 의해 사용자의 손(52)과 템플 파트 사이의 제4 컨택트가 디텍팅 되지 않는 경우, HMD(10)는 음소거 모드에서 오디오 인풋 유닛을 비활성화할 수 있다. 즉, HMD(10)는 도 4에서 설명한 제1 음소거 모드를 활성화할 수 있다.
위에서 설명한 제4 센서는 HMD의 좌측 템플 파트 및 우측 템플에 위치할 수 있다. 따라서 사용자가 템플 파트를 터치하지 않고 HMD를 들어올리는 경우, 제4 컨택트는 디텍팅되지 않을 수 있으며, HMD(10)는 제1 음소거 모드를 활성화할 수 있다.
제1 음소거 모드에서 HMD(10)는 오디오 아웃풋 유닛을 이용하여 청각 정보를 출력하고 디스플레이 유닛을 이용하여 시각 정보를 사용자에게 제공할 수 있다. 즉, HMD(10)는 상대방의 음성을 출력하여 사용자에게 전달하고, 통화 상대방의 이미지를 디스플레이할 수 있다. 다만, HMD(10)는 오디오 인풋 유닛을 비활성화하고 사용자의 음성이 통화 상대방에게 전달되는 것을 제한할 수 있다.
도 5의 우측 중단은 제1 음소거 모드로 동작하는 HMD가 디스플레이하는 시각 정보(54)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(57)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(57)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다.
HMD(10)는 제1 음소거 모드에서 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(55)를 디스플레이할 수 있다. 제1 음소거 모드에서 HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 활성화되었고, 청각 정보가 출력되고 있음을 사용자에게 인폼할 수 있다.
HMD(10)는 제1 음소거 모드에서 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(56)를 디스플레이할 수 있다. 제1 음소거 모드에서 HMD(10)는 제2 인디케이터를 이용하여 오디오 인풋 유닛이 비활성화되었고, 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 5의 좌측 하단은 사용자가 HMD를 들어올림으로써 음성 인풋 유닛의 활성화 여부를 토글하는 방법을 나타낸 도면이다. HMD(10)는 브릿지 파트에 위치한 제5 센서를 이용하여 사용자의 손과 브릿지 파트 사이의 제5 컨택트를 디텍팅할 수 있다. HMD(10)는 제5 컨택트가 디텍팅될 때마다 음성 인풋 유닛의 전원을 토글할 수 있다. 즉, HMD(10)는 제5 컨택트가 디텍팅되면 음성 인풋 유닛을 비활성화하고, 다시 제5 컨택트가 디텍팅되면 음성 인풋 유닛을 활성화할 수 있다. 이를 통해, HMD(10)는 사용자의 음성이 상대방에게 전달되는 것을 허용하거나 제한할 수 있다.
도 5의 우측 하단은 음성 인풋 유닛을 토글하는 HMD가 디스플레이하는 시각 정보(54)를 나타낸 도면이다. 화상 통화가 진행 중인 경우, HMD(10)는 통화 상대방의 이미지(57)를 디스플레이할 수 있다. 만약 HMD가 음성 통화를 진행 중인 경우에는 통화 상대방의 이미지(57)는 디스플레이되지 않거나 대체 이미지가 디스플레이될 수 있다.
HMD(10)는 오디오 아웃풋 유닛의 활성화 여부를 인디케이트하는 제1 인디케이터(55)를 디스플레이할 수 있다. 제1 음소거 모드에서 HMD(10)는 제1 인디케이터를 이용하여 오디오 아웃풋 유닛이 활성화되었고, 청각 정보가 출력되고 있음을 사용자에게 인폼할 수 있다.
HMD(10)는 오디오 인풋 유닛의 활성화 여부를 인디케이트하는 제2 인디케이터(56)를 디스플레이할 수 있다. HMD(10)는 오디오 인풋 유닛의 전원에 대한 토글에 따라 제2 인디케이터를 이용하여 오디오 인풋 유닛이 활성화되었고 사용자의 음성이 통화 상대방에게 전달됨을 사용자에게 인폼하거나, 오디오 인풋 유닛이 비활성화되었고 사용자의 음성이 통화 상대방에게 전달되고 있지 않음을 사용자에게 인폼할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다. HMD는 디스플레이 유닛(101), 센서 유닛(102), 오디오 인풋 유닛(103) 및 컨트롤러(105)를 포함할 수 있다. 또한 실시예에 따라 HMD는 카메라 유닛(104) 및 오디오 아웃풋 유닛 중 적어도 하나를 더 포함할 수 있다.
디스플레이 유닛(101)은 시각 정보를 디스플레이할 수 있다. 디스플레이 유닛(101)은 화상통화시 통화 상대방의 이미지를 디스플레이할 수 있다. 또한 디스플레이 유닛(101)은 인디케이터를 이용하여 오디오 인풋 유닛 및 오디오 아웃풋 유닛의 활성화 여부를 디스플레이할 수 있다. 디스플레이 유닛(101)은 사용자의 좌안 및 우안에 각각 대응하는 제1 디스플레이 유닛 및 제2 디스플레이 유닛을 포함할 수 있다. 또한 디스플레이 유닛은 프로젝터를 더 포함할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크, 프로젝터 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
센서 유닛(102)은 HMD의 착용 여부를 디텍팅할 수 있다. 센서 유닛(102)은 접촉 센서, 터치 센서, 이미지 센서 및 근접 센서 중 적어도 하나를 이용하여 HMD의 착용 상태를 디텍팅할 수 있다.
센서 유닛(102)은 노즈 패드 파트에 위치하고 컨택트를 디텍팅하는 제1 센서, 템플 파트에 위치하고 컨택트를 디텍팅하는 제2 센서를 포함할 수 있다. 또한 센서 유닛(102)은 디스플레이 파트 또는 템플 파트에 위치하고 사용자의 시선을 디텍팅하는 제3 센서, 템플 파트에 위치하고 사용자의 손에 의한 컨택트를 디텍팅하는 제4 센서 및 브릿지 파트에 위치하고 컨택트를 디텍팅하는 제5 센서를 더 포함할 수 있다. 여기서, 본 명세서의 HMD는 제3 센서, 제4 센서 및 제 5 센서를 옵셔널한 구성요소로써 포함할 수 있으며 실시예에 따라 포함 여부가 달라질 수 있다.
센서 유닛(102) 중 제1 센서는 컨택트 대상인 사용자의 코와 노즈 패드 파트 사이의 제1 컨택트를 디텍팅할 수 있다. 또한 제1 센서는 사용자의 코와 노즈 패드 파트가 이격된 경우, 제1 센서로부터 사용자의 코까지의 제1 거리를 측정할 수 있다. 제1 센서는 측정된 제1 거리에 대한 정보를 컨트롤러(105)에 전달할 수 있으며, 컨트롤러(105)는 측정된 제1 거리에 따라 음소거 레벨을 제어할 수 있다. 실시예에 따라 HMD는 오디오 아웃풋 유닛을 더 포함할 수 있으며, 컨트롤러(105)는 측정된 제1 거리가 제1 스레시홀드 이상인 경우, 오디오 아웃풋 유닛을 비활성화할 수 있다. 또한 실시예에 따라 HMD는 디지털 이미지를 촬영하는 카메라 유닛(104)을 더 포함할 수 있으며, 컨트롤러는 측정된 제1 거리가 제2 스레시홀드 이상인 경우, 디지털 이미지에 대한 촬영을 중지할 수 있다. 여기서, 제1 스레시홀드는 제2 스레시홀드 이하일 수 있다.
센서 유닛(102)은 상술한 각 센서들이 센싱한 결과에 대한 정보를 컨트롤러에 전달할 수 있다.
오디오 인풋 유닛(103)은 오디오 신호를 전기적 신호로 전환할 수 있다. 예를 들어, HMD가 화상 통화 또는 음성 통화를 실시하는 경우 오디오 인풋 유닛(103)은 사용자의 음성을 전기적 신호로 전환하여 통화 상대방에게 전달할 수 있다. 또한 HMD가 동영상을 촬영중인 경우 오디오 인풋 유닛(103)은 사운드를 전기적 신호로 전환하고 오디오 인포메이션으로 저장할 수 있다.
카메라 유닛(104)은 광학 신호를 전기적 신호로 전환할 수 있다. 예를 들어, HMD가 화상 통화 또는 음성 통화를 실시하는 경우, 카메라 유닛(104)은 사용자의 이미지를 전기적 신호로 전환하여 통화 상대방에게 전달할 수 있다. 또한 HMD가 동영상을 촬영중인 경우, 카메라 유닛(104)은 촬영 대상의 광학 이미지를 전기적 신호로 전환하고 비디오 인포메이션으로 저장할 수 있다. 카메라 유닛은 전하결합소자(Charge Coupled Device, CCD) 또는 상보성 금속 산화물 반도체(complementary metal-oxide semiconductor, CMOS)를 이용한 이미지 센서를 포함할 수 있다. 본 명세서의 HMD에서 카메라 유닛은 옵셔널한 구성이 될 수 있다. 따라서 실시예에 따라 카메라 유닛은 HMD에 포함되지 않을 수 있다.
도시되지는 않았으나 HMD는 오디오 아웃풋 유닛을 더 포함할 수 있다. 오디오 아웃풋 유닛은 전기적 신호를 오디오 신호로 전환하고 출력할 수 있다. 예를 들어, HMD가 화상 통화 또는 음성 통화를 실시하는 경우 오디오 아웃풋 유닛은 통화 상대방의 음성을 출력하여 HMD 사용자에게 전달할 수 있다. HMD는 템플 파트에 오디오 아웃풋 유닛을 포함할 수 있으며, 특히 템플 파트 중 이어 피스(ear piece)에 인접한 위치에 오디오 아웃풋 유닛을 포함할 수 있다.
컨트롤러(105)는 센서 유닛(102)으로부터 전달받은 정보를 이용하여 디스플레이 유닛(101), 오디오 인풋 유닛(103), 카메라 유닛(104) 및 오디오 아웃풋 유닛을 제어할 수 있다. 컨트롤러(105)는 센서 유닛(102)으로부터 사용자의 시선 및 컨택트들에 대한 정보를 수신할 수 있다. 컨트롤러(105)는 도 2 내지 3에서 설명한 바와 같이, 수신된 정보에 기초하여 HMD의 모드를 전환할 수 있다.
컨트롤러(105)는 제1 센서, 제2 센서 및 제3 센서 중 적어도 두 개의 센서가 센싱한 결과에 따라 HMD의 모드를 변경할 수 있다. 컨트롤러(105)는 노즈 패드에 위치한 제1 센서에 의해 제1 컨택트가 디텍팅되고, 템플에 위치한 제2 센서에 의해 제2 컨택트가 디텍팅된 경우, 컨트롤러(105)는 HMD의 착용 모드를 활성화할 수 있다.
HMD의 착용 모드에서 노즈 패드와 사용자의 코가 이격되어 제1 컨택트가 디텍팅되지 않는 경우, 컨트롤러(105)는 HMD를 착용 모드에서 음소거 모드로 전환할 수 있다. HMD의 착용 모드에서 노즈 패드와 사용자의 코가 이격되고, 템플과 사용자의 머리가 이격되어 제1 컨택트 및 제2 컨택트가 디텍팅되지 않는 경우, 컨트롤러(105)는 HMD를 착용 모드에서 미착용 모드로 전환할 수 있다.
HMD의 음소거 모드에서 노즈 패드와 사용자의 코가 컨택트되어 제1 컨택트가 디텍팅된 경우, 컨트롤러(105)는 HMD를 음소거 모드에서 착용 모드로 전환할 수 있다. 또한 HMD의 음소거 모드에서 템플과 사용자의 머리가 이격되어 제2 컨택트가 디텍팅되지 않는 경우, 컨트롤러(105)는 HMD를 음소거 모드에서 미착용 모드로 전환할 수 있다.
HMD의 미착용 모드에서 템플과 사용자의 머리가 컨택트되어 제2 컨택트가 디텍팅된 경우, 컨트롤러(105)는 HMD를 미착용 모드에서 음소거 모드로 전환할 수 있다. HMD의 미착용 모드에서 노즈 패드와 사용자의 코가 컨택트되고, 템플과 사용자의 머리가 컨택트되어 제1 컨택트 및 제2 컨택트가 디텍팅된 경우, 컨트롤러(105)는 HMD를 미착용 모드에서 착용 모드로 전환할 수 있다.
도 6은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 HMD의 엘러먼트들은 HMD의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 7은 본 명세서의 일 실시예에 따른 HMD의 전화 통화 동작 순서도를 나타낸 도면이다. HMD는 전화통화를 실시할 수 있다(S10). HMD는 페어링된 셀룰러폰 또는 스마트폰 등 외부 디바이스를 통해 음성통화 또는 화상통화를 실시할 수 있다. 전화통화가 실시되면, HMD는 제1 센서 및 제2 센서의 제1 컨택트 및 제2 컨택트를 각각 디텍팅할 수 있다. HMD의 제1 센서는 HMD의 노즈 패드(nose pad) 파트에 위치할 수 있으며 사용자의 코와 노즈 패드가 컨택트되었는지 여부를 센싱할 수 있다. 또한 HMD의 제2 센서는 HMD의 템플 파트에 위치할 수 있으며 사용자의 머리와 HMD의 템플이 컨텍트되었는지 여부를 센싱할 수 있다.
HMD는 제1 센서 및 제2 센서의 제1 컨택트 및 제2 컨택트가 각각 디텍팅되면 착용 모드로 동작할 수 있다(S20). 착용 모드에서, HMD는 페어링된 셀룰러폰으로부터 오디오 인포메이션 및 비디오 인포케이션을 수신하고 출력할 수 있다. HMD는 수신된 오디오 인포메이션을 오디오 아웃풋 유닛을 통해 출력하고, 수신된 비디오 인포메이션을 디스플레이 유닛을 통해 디스플레이할 수 있다. 또한 HMD는 오디오 인풋 유닛을 활성화할 수 있다. HMD는 HMD를 착용한 사용자의 음성을 오디오 인풋 유닛을 통해 수신할 수 있다. HMD는 수신된 사용자의 음성을 페어링된 외부 디바이스를 통해 상대방에게 전달할 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제되었는지 여부를 결정할 수 있다(S30). HMD의 제1 센서는 HMD의 노즈 패드에 위치할 수 있으며 사용자의 코와 노즈 패드가 컨택트되었는지 여부를 센싱할 수 있다. HMD는 제1 센서의 제1 컨택트가 유지되는 경우 착용 모드를 유지할 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제된 경우, 착용 모드를 음소거 모드로 전환할 수 있다(S40). HMD는 음소거 모드에서도 상대방으로부터 수신된 오디오 인포메이션 및 비디오 인포메이션을 출력할 수 있다. 이와 달리, 음소거 모드에서 HMD는 오디오 인풋 유닛을 비활성화할 수 있다. 따라서 HMD는 통화 상대방에게 사용자의 음성을 전달하지 않을 수 있다.
HMD는 제2 센서의 제2 컨택트가 해제되었는지 여부를 결정할 수 있다(S50). HMD는 HMD의 템플 파트에 제2 센서를 포함할 수 있다. HMD는 제2 센서를 이용하여 HMD의 템플 파트가 사용자의 머리와 컨택트하는지 여부를 센싱할 수 있다. HMD는 제2 센서의 제2 컨택트가 유지되는 경우, 음소거 모드를 유지할 수 있다. 또한 이 경우에 제1 센서의 컨택트가 추가로 디텍팅되면 HMD는 착용모드로 전환될 수도 있다.
HMD는 제2 센서의 제2 컨택트가 해제되면 미착용 모드로 전환할 수 있다(S60). HMD는 미착용 모드에서 페어링된 외부 디바이스와의 페어링을 해제할 수 있다. 사용자는 더 이상 HMD를 착용하고 있지 않으므로, 외부 디바이스를 이용하여 전화 통화를 계속할 수 있다. 즉, HMD는 전화 통화에 대한 제어 권한을 외부 디바이스에게 줄 수 있다.
위의 순서도에 추가하여 HMD는 음소거 모드에서 제3 센서에 의해 시선이 디텍팅되는지 여부를 결정할 수 있다. 아래에서 설명할 제3 센서에 대한 동작 단계는 본 명세서의 HMD의 제어 방법에서 실시예에 따라서 옵셔널한 단계로 포함될 수 있다.
제3 센서는 HMD의 템플 파트 또는 디스플레이 파트에 위치할 수 있다. HMD는 제3 센서를 이용하여 사용자가 디스플레이된 비디오 인포메이션을 확인할 수 있는지 여부를 디텍팅할 수 있다. 사용자가 디스플레이된 비디오 인포메이션을 확인할 수 있는 경우, HMD는 음소거 모드를 유지할 수 있다. 즉, 사용자의 시선이 제3 센서에 의해 디텍팅되면 HMD는 디스플레이 유닛을 활성화 상태로 유지할 수 있다.
사용자가 디스플레이된 비디오 인포메이션을 확인할 수 없는 경우, 즉 제3 센서에 의해 사용자의 시선이 디텍팅되지 않는 경우에 HMD는 음소거 및 디스플레이 오프 모드로 전환할 수 있다. 음소거 및 디스플레이 오프 모드에서 HMD는 오디오 인풋 유닛 뿐만 아니라 디스플레이 유닛도 비활성화할 수 있다. 다시 말해, 사용자가 디스플레이된 비디오 인포메이션을 시각으로 확인할 수 없는 경우, 비디오 인포메이션을 디스플레이하는 것은 무의미하고, 전력을 소비하므로 디스플레이 유닛을 비활성화하여 파워 세이빙 효과를 얻을 수 있다.
도 8은 본 명세서의 일 실시예에 따른 HMD의 동영상 촬영의 순서도를 나타낸 도면이다. HMD는 동영상 촬영시 세 가지 모드로 동작할 수 있다. 착용 모드에서 HMD는 비디오 인포메이션 및 오디오 인포메이션을 저장할 수 있다. 음소거 모드에서 HMD는 오디오 인포메이션을 제외하고 비디오 인포메이션을 선택적으로 저장할 수 있다. 음소거 및 디스플레이 오프 모드에서 HMD는 일시적으로 동영상 촬영을 정지할 수 있다.
HMD는 동영상 촬영을 실시할 수 있다(S110). 동영상 촬영이 실시되면, HMD는 제1 센서 및 제2 센서를 이용하여 제1 컨택트 및 제2 컨택트를 각각 디텍팅할 수 있다. HMD의 제1 센서는 HMD의 노즈 패드(nose pad) 파트에 위치할 수 있으며 사용자의 코와 노즈 패드가 컨택트되었는지 여부를 센싱할 수 있다. 또한 HMD의 제2 센서는 HMD의 템플 파트에 위치할 수 있으며 사용자의 머리와 HMD의 템플이 컨텍트되었는지 여부를 센싱할 수 있다.
HMD는 제1 센서 및 제2 센서에 의해 제1 컨택트 및 제2 컨택트가 디텍팅되면, 카메라 유닛을 이용하여 비디오 인포메이션을 저장하고, 오디오 인풋 유닛을 활성화하여 오디오 인포메이션을 저장할 수 있다. 즉, HMD는 착용 모드로 동작하며, 저장된 비디오 인포메이션과 오디오 인포메이션을 결합하여 하나의 동영상으로 만들 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제되었는지 여부를 결정할 수 있다(S120). HMD는 제1 센서의 제1 컨택트가 유지되는 경우, 비디오 인포메이션 및 오디오 인포메이션을 저장함을 유지하고 착용 모드로 동작할 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제된 경우, 오디오 인포메이션을 제외한 비디오 인포메이션을 선택적으로 저장할 수 있다(S130). HMD는 제1 센서의 제1 컨택트가 해제된 경우, 음소거 모드로 동작할 수 있다. HMD는 카메라 유닛을 이용하여 비디오 인포메이션을 저장할 수 있다. 이와 달리, HMD는 오디오 인포메이션에 대해서는 저장을 중지하고, 활성화되었던 오디오 인풋 유닛을 비활성화할 수 있다. 음소거 모드에서 촬영된 동영상은 오디오 인포메이션이 제외된 비디오 인포메이션만을 포함할 수 있다.
HMD는 제3 센서에 의해 시선이 디텍팅되는지 여부를 결정할 수 있다(S140). 이 단계는 실시예에 따라서 옵셔널한 단계가 될 수 있다. 제3 센서는 HMD의 템플 파트 또는 디스플레이 파트에 위치할 수 있다. HMD는 제3 센서를 이용하여 사용자가 디스플레이된 비디오 인포메이션을 확인할 수 있는지 여부를 디텍팅할 수 있다. 여기서 디스플레이된 영상은 촬영 중인 동영상의 비디오 인포메이션일 수 있다. 사용자가 디스플레이된 비디오 인포메이션을 확인할 수 있는 경우, HMD는 음소거 모드를 유지할 수 있으며, 오디오 인포메이션을 제외한 비디오 인포메이션을 선택적으로 저장할 수 있다.
사용자가 디스플레이된 비디오 인포메이션을 확인할 수 없는 경우, 즉 제3 센서에 의해 사용자의 시선이 디텍팅되지 않는 경우에 HMD는 동영상 촬영을 일시적으로 정지할 수 있다(S150). 이 단계는 실시예에 따라서 옵셔널한 단계가 될 수 있다. HMD는 제3 모드로 전환되며, HMD는 오디오 인풋 유닛뿐만 아니라 카메라 유닛도 비활성화할 수 있다. 다시 말해, 사용자가 디스플레이 유닛을 통해 촬영중인 비디오 인포메이션을 확인할 수 없는 경우, HMD는 카메라 유닛을 비활성화하여 비디오 인포메이션에 대한 촬영을 중지할 수 있다. 결과적으로 HMD는 비디오 인포메이션 및 오디오 인포메이션에 대한 저장을 일시적으로 정지하여 동영상 촬영을 일시 정지할 수 있다.
HMD는 제2 센서의 제2 컨택트가 해제되었는지 여부를 결정할 수 있다(S160). HMD는 제2 센서를 이용하여 HMD의 템플 부분이 사용자의 머리와 컨택트하는지 여부를 센싱할 수 있다. HMD는 제2 센서의 제2 컨택트가 유지되는 경우, 디스플레이 오프 모드를 유지할 수 있다. 또한 이 경우에 제3 센서에 의해 사용자의 시선이 디텍팅되면 HMD는 음소거 모드로 전환될 수도 있다. 또한 이 경우에 제1 센서의 제1 컨택트와 제3 센서의 사용자의 시선이 모두 디텍팅되면 HMD는 착용 모드로 전환할 수도 있다.
HMD는 제2 센서의 컨택트가 해제되면 동영상 촬영을 종료할 수 있다(S170). HMD는 동영상 촬영을 종료하고 대기 상태로 전환될 수 있다.
도 9는 본 명세서의 다른 실시예에 따른 HMD의 동영상 촬영의 순서도를 나타낸 도면이다. HMD는 동영상 촬영시 두 가지 모드로 동작할 수 있다. 착용 모드에서 HMD는 비디오 인포메이션 및 오디오 인포메이션을 저장할 수 있다. 일시정지 모드에서 HMD는 오디오 인포메이션 및 비디오 인포메이션에 대한 저장을 일시적으로 정지할 수 있다.
HMD는 동영상 촬영을 실시할 수 있다(S210). 동영상 촬영이 실시되면, HMD는 제1 센서 및 제2 센서를 이용하여 제1 컨택트 및 제2 컨택트를 각각 디텍팅할 수 있다. HMD의 제1 센서는 HMD의 노즈 패드(nose pad) 파트에 위치할 수 있으며 사용자의 코와 노즈 패드가 컨택트되었는지 여부를 센싱할 수 있다. 또한 HMD의 제2 센서는 HMD의 템플 파트에 위치할 수 있으며 사용자의 머리와 HMD의 템플이 컨텍트되었는지 여부를 센싱할 수 있다.
HMD는 제1 센서 및 제2 센서에 의해 제1 컨택트 및 제2 컨택트가 디텍팅되면, 카메라 유닛을 이용하여 비디오 인포메이션을 저장하고, 오디오 인풋 유닛을 활성화하여 오디오 인포메이션을 저장할 수 있다. 즉, HMD는 착용 모드로 동작하며, 저장된 비디오 인포메이션과 오디오 인포메이션을 결합하여 하나의 동영상으로 만들 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제되었는지 여부를 결정할 수 있다(S220). HMD는 제1 센서의 제1 컨택트가 유지되는 경우, 비디오 인포메이션 및 오디오 인포메이션을 저장함을 유지하고 착용 모드로 동작할 수 있다.
HMD는 제1 센서의 제1 컨택트가 해제된 경우, HMD는 동영상 촬영을 일시적으로 정지할 수 있다(S230). HMD는 일시정지 모드로 전환되며, HMD는 오디오 인풋 유닛뿐만 아니라 카메라 유닛도 비활성화할 수 있다. 다시 말해, 사용자가 HMD를 들어올려 사용자의 코와 HMD의 노즈 패드 사이의 컨택트가 릴리즈된 경우, HMD는 동영상 촬영을 일시 정지할 수 있다. 즉, HMD는 비디오 인포메이션 및 오디오 인포메이션에 대한 저장을 일시적으로 정지하여 동영상 촬영을 일시 정지할 수 있다.
HMD는 제2 센서의 제2 컨택트가 해제되었는지 여부를 결정할 수 있다(S240). HMD는 제2 센서를 이용하여 HMD의 템플 부분이 사용자의 머리와 컨택트하는지 여부를 센싱할 수 있다. 제2 센서의 제2 컨택트가 유지되는 경우, HMD는 일시정지 모드를 유지할 수 있다. 또한 이 경우에 제1 센서에 의해 제1 컨택트가 디텍팅되면 HMD는 착용 모드로 전환할 수도 있다.
HMD는 제2 센서의 컨택트가 해제되면 동영상 촬영을 종료할 수 있다(S250). HMD는 동영상 촬영을 종료하고 대기 상태로 전환될 수 있다.
상술한 바와 같이 본 명세서의 HMD는 HMD의 각 파트에 위치하는 센서들을 이용하여 각 파트와 사용자 사이의 컨택트 여부를 디텍팅하고, 디텍팅된 결과에 따라 HMD의 모드를 전환할 수 있다. 이를 통해 HMD는 별도의 컨트롤 인풋이 입력되지 않아도 모드를 전환할 수 있다.
10: 헤드 마운티드 디스플레이 11: 디스플레이 파트
12: 템플 파트 13: 브릿지 파트
14: 노즈 패드 파트 15: 제1 센서
16: 제2 센서 17: 제3 센서

Claims (20)

  1. 복수의 동작 모드를 포함하는 인체 착용형 디스플레이 (Head Mounted Disaply; HMD)에 있어서,
    디지털 이미지를 표시하는 디스플레이부;
    음성 신호를 입력받고 상기 음성 신호를 전기적 신호로 전환하는 음성 입력부;
    상기 음성 신호를 출력하는 음성 출력부;
    상기 인체 착용형 디스플레이의 코 패드에 위치하고 제 1 접촉을 감지하는 제1 센서;
    상기 인체 착용형 디스플레이의 다리에 위치하고 제2 접촉을 감지하는 제2 센서; 및
    상기 디스플레이부, 상기 음성 입력부, 상기 음성 출력부, 상기 제1 센서 및 상기 제2 센서를 제어하는 제어부를 포함하되,
    상기 제어부는
    상기 제 1 센서에 의하여 제 1 접촉이 감지되고 상기 제 2 센서에 의하여 제 2 접촉이 감지되면, 상기 인체 착용형 디스플레이의 동작 모드를 착용 모드로 전환하고,
    상기 제 1 센서에 의하여 제 1 접촉이 감지되지 않고 상기 제 2 센서에 의하여 제 2 접촉이 감지되면, 상기 인체 착용형 디스플레이의 동작 모드를 음소거 모드로 전환하고,
    상기 제 1 센서에 의하여 제 1 접촉이 감지되지 않고 상기 제 2 센서에 의하여 제 2 접촉이 감지되지 않으면, 상기 인체 착용형 디스플레이의 동작 모드를 미착용 모드로 전환하되,
    상기 착용 모드에서, 상기 음성 입력부와 상기 음성 출력부는 모두 활성화 상태로 전환되고, 상기 음소거 모드에서, 상기 음성 입력부는 비활성화 상태로 전환되고, 상기 음성 출력부는 활성화 상태로 전환되고,
    상기 미착용 모드에서, 상기 음성 입력부와 상기 음성 출력부는 모두 비활성화 상태로 전환되는,
    인체 착용형 디스플레이.
  2. 제 1 항에 있어서,
    상기 제 1 접촉은 상기 제 1 센서와 사용자의 코 사이의 접촉이고,
    상기 제 2 접촉은 상기 제 2 센서와 상기 사용자의 측면 얼굴 사이의 접촉인
    인체 착용형 디스플레이.
  3. 제 1 항에 있어서,
    상기 인체 착용형 디스플레이는 사용자의 시선을 감지하는 제 3 센서를 더 포함하고,
    상기 제어부는 상기 제1 접촉이 감지되지 않고 상기 제2 접촉이 감지되고 상기 사용자의 시선이 감지되지 않으면 음소거 및 디스플레이 종료 모드를 활성화하고,
    상기 음성 입력부 및 상기 디스플레이부를 비활성화하는,
    인체 착용형 디스플레이.
  4. 제 1 항에 있어서,
    상기 인체 착용형 디스플레이의 상기 다리는 좌측 다리 및 우측 다리를 포함하고,
    상기 제2 센서는 상기 좌측 다리 및 상기 우측 다리에 각각 위치하는
    인체 착용형 디스플레이.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 좌측 다리 및 상기 우측 다리에 위치한 두 개의 제2 센서에 의해 접촉이 감지된 때, 상기 제2 접촉이 감지된 것으로 결정하는
    인체 착용형 디스플레이.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 활성화된 음소거 모드에서 상기 음성 입력부를 비활성화하는
    인체 착용형 디스플레이.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 제2 센서는 상기 다리 중 상기 음성 출력부에 인접하여 위치하는
    인체 착용형 디스플레이.
  9. 제 1 항에 있어서,
    상기 제1 센서는 접촉 대상까지의 제1 거리를 더 측정하고,
    상기 제어부는 상기 측정된 제1 거리에 따라 음소거 레벨을 제어하는
    인체 착용형 디스플레이.
  10. 제 9 항에 있어서,
    상기 인체 착용형 디스플레이는 음성 출력부를 더 포함하고,
    상기 제어부는 상기 측정된 제1 거리가 제 1 임계값 이상인 경우, 상기 음성 출력부를 비활성화하는
    인체 착용형 디스플레이.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020130114782A 2013-07-25 2013-09-26 헤드 마운티드 디스플레이 및 그 제어 방법 KR102086511B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/094,471 US9024845B2 (en) 2013-07-25 2013-12-02 Head mounted display and method of controlling therefor
EP13890227.5A EP3025186B1 (en) 2013-07-25 2013-12-10 Head mounted display and method of controlling therefor
PCT/KR2013/011400 WO2015012452A1 (en) 2013-07-25 2013-12-10 Head mounted display and method of controlling therefor
CN201380078466.7A CN105431764B (zh) 2013-07-25 2013-12-10 头戴式显示器及其控制方法
US14/604,460 US9575721B2 (en) 2013-07-25 2015-01-23 Head mounted display and method of controlling therefor
US15/538,231 US10664230B2 (en) 2013-07-25 2016-01-22 Head mounted display and method of controlling therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361858579P 2013-07-25 2013-07-25
US61/858,579 2013-07-25

Publications (2)

Publication Number Publication Date
KR20150012973A KR20150012973A (ko) 2015-02-04
KR102086511B1 true KR102086511B1 (ko) 2020-03-09

Family

ID=52488902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130114782A KR102086511B1 (ko) 2013-07-25 2013-09-26 헤드 마운티드 디스플레이 및 그 제어 방법

Country Status (5)

Country Link
US (1) US9024845B2 (ko)
EP (1) EP3025186B1 (ko)
KR (1) KR102086511B1 (ko)
CN (1) CN105431764B (ko)
WO (1) WO2015012452A1 (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9575721B2 (en) * 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
EP3160720B1 (en) * 2014-06-30 2018-11-21 Cytec Industries Inc. Dry fibrous tape for manufacturing preform
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
KR102439993B1 (ko) * 2015-02-27 2022-09-06 삼성전자주식회사 방열 장치를 구비한 전자 장치 및 이의 제어 방법
KR102335910B1 (ko) * 2015-03-01 2021-12-06 삼성전자주식회사 전원 제어 방법 및 장치
CN107430273B (zh) * 2015-03-12 2022-11-15 依视路国际公司 用于定制安装式感测设备的方法
US10289205B1 (en) 2015-11-24 2019-05-14 Google Llc Behind the ear gesture control for a head mountable device
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
CN105853160B (zh) * 2016-03-28 2018-03-06 天脉聚源(北京)传媒科技有限公司 一种防视力疲劳的方法及装置
US10877010B2 (en) * 2016-03-31 2020-12-29 Honeywell International Inc. Clydesdale gas detector with improved screen orientation based on input from attachment sensor
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10289196B2 (en) * 2016-07-01 2019-05-14 North Inc. Techniques for ocular control
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
EP3299871A1 (en) * 2016-09-22 2018-03-28 Essilor International A wearing detection module for spectacle frame
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
JP6353946B2 (ja) * 2017-03-09 2018-07-04 Kddi株式会社 装着型端末、通知方法及びプログラム
WO2019081975A1 (en) * 2017-10-24 2019-05-02 Orcam Technologies Ltd. PORTABLE CAMERA SYSTEMS AND METHODS OF IDENTITY AUTHENTICATION
CN111902788A (zh) * 2018-01-30 2020-11-06 惠普发展公司，有限责任合伙企业 音频和图像传感器的激活
CN109144349A (zh) * 2018-08-07 2019-01-04 西交利物浦大学 一种虚拟、增强或混合现实头显运动方向识别方法及系统
JP7140602B2 (ja) * 2018-08-28 2022-09-21 株式会社Ｎｔｔドコモ ウェアラブル端末及び表示システム
US10816812B2 (en) 2018-09-13 2020-10-27 Apple Inc. Display devices with multimodal audio
JP2020119391A (ja) * 2019-01-25 2020-08-06 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control
CN111710284B (zh) * 2020-07-17 2023-03-31 Oppo广东移动通信有限公司 智能眼镜控制方法、智能眼镜控制装置及智能眼镜

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010183A (ja) * 2010-06-25 2012-01-12 Kyocera Corp 携帯端末装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224151A (en) * 1992-04-01 1993-06-29 At&T Bell Laboratories Automatic handset-speakephone switching arrangement for portable communication device
JPH07294844A (ja) * 1994-04-22 1995-11-10 Canon Inc 表示装置
US5585871A (en) * 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US5684294A (en) * 1996-10-17 1997-11-04 Northern Telecom Ltd Proximity and ambient light monitor
US6853850B2 (en) * 2000-12-04 2005-02-08 Mobigence, Inc. Automatic speaker volume and microphone gain control in a portable handheld radiotelephone with proximity sensors
JP3988632B2 (ja) * 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
JP2005070308A (ja) 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 頭部装着型表示装置
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US20060052146A1 (en) * 2004-09-09 2006-03-09 Shu-Fong Ou Heated mounted display device with mobile phone functions
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP4697551B2 (ja) * 2007-12-21 2011-06-08 ソニー株式会社 通信装置、入力制御方法及び入力制御プログラム
JP5217585B2 (ja) 2008-04-09 2013-06-19 セイコーエプソン株式会社 頭部装着型画像表示装置
KR20110131247A (ko) * 2009-02-27 2011-12-06 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
CN102668578A (zh) * 2009-12-11 2012-09-12 夏普株式会社 图像显示装置、视觉辅助器具和使用它们的立体图像显示系统
US8497465B2 (en) * 2010-05-28 2013-07-30 Exelis, Inc. Orientation sensing switch system for a head-mounted electronic device
KR101431366B1 (ko) * 2010-07-20 2014-08-19 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 근접 감지
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9300386B2 (en) * 2012-01-12 2016-03-29 Plantronics, Inc. Wearing position derived device operation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010183A (ja) * 2010-06-25 2012-01-12 Kyocera Corp 携帯端末装置

Also Published As

Publication number Publication date
EP3025186B1 (en) 2019-02-06
KR20150012973A (ko) 2015-02-04
US9024845B2 (en) 2015-05-05
CN105431764A (zh) 2016-03-23
EP3025186A1 (en) 2016-06-01
EP3025186A4 (en) 2017-03-15
US20150029088A1 (en) 2015-01-29
WO2015012452A1 (en) 2015-01-29
CN105431764B (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
KR102086511B1 (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
US9575721B2 (en) Head mounted display and method of controlling therefor
US9907998B2 (en) Wrist device having heart activity circuitry
US9952652B2 (en) Virtual reality system and method for controlling operation modes of virtual reality system
US10261579B2 (en) Head-mounted display apparatus
KR102230076B1 (ko) 헤드 마운트 디스플레이 장치
US9471043B2 (en) Smart watch
KR102297102B1 (ko) 헤드 마운트 디스플레이 장치
WO2015072202A1 (ja) 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
KR101655792B1 (ko) 헤드 마운트 디스플레이 장치
KR200478490Y1 (ko) 헤드 마운트 장치
US9794456B2 (en) Camera device and method for controlling a camera device
JP2013114123A (ja) 透過型表示装置、表示方法および表示プログラム
US9491336B2 (en) Camera device and method for controlling a camera device
US11216066B2 (en) Display device, learning device, and control method of display device
US20160147300A1 (en) Supporting Activation of Function of Device
KR102128582B1 (ko) 카메라를 가지는 전자 장치 및 이를 운영하는 방법
JP2005070308A (ja) 頭部装着型表示装置
KR20130067902A (ko) 안경형 이동 통신 단말 장치
CN108415599A (zh) 一种包括3d摄像和距离感应的触摸屏
KR20160141437A (ko) 블루투스 헤드셋 페어링 시스템 및 방법
JP2015215436A (ja) 情報端末装置
WO2017156689A1 (zh) 可穿戴电子设备
WO2021218652A1 (zh) 一种显示屏控制方法及装置
KR20160001104U (ko) 프레임에 스위치를 내장하는 스마트 안경

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant