KR102088020B1 - 헤드 마운트 디스플레이 및 제어 방법 - Google Patents

헤드 마운트 디스플레이 및 제어 방법 Download PDF

Info

Publication number
KR102088020B1
KR102088020B1 KR1020130114534A KR20130114534A KR102088020B1 KR 102088020 B1 KR102088020 B1 KR 102088020B1 KR 1020130114534 A KR1020130114534 A KR 1020130114534A KR 20130114534 A KR20130114534 A KR 20130114534A KR 102088020 B1 KR102088020 B1 KR 102088020B1
Authority
KR
South Korea
Prior art keywords
hmd
processor
display
content
mounting
Prior art date
Application number
KR1020130114534A
Other languages
English (en)
Other versions
KR20150034448A (ko
Inventor
김지환
김종호
천시내
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130114534A priority Critical patent/KR102088020B1/ko
Priority to US14/161,438 priority patent/US8830142B1/en
Priority to PCT/KR2014/000790 priority patent/WO2015046677A1/en
Publication of KR20150034448A publication Critical patent/KR20150034448A/ko
Application granted granted Critical
Publication of KR102088020B1 publication Critical patent/KR102088020B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 명세서는 헤드 마운트 디스플레이 및 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이로부터 카메라가 분리 또는 장착됨에 따라, 디스플레이 유닛에 제 1 컨텐츠 또는 제 2 컨텐츠를 제공하는 방법에 관한 것이다.

Description

헤드 마운트 디스플레이 및 제어 방법 {A HEAD MOUNTED DISPLAY ANT THE METHOD OF CONTROLLING THEREOF}
본 명세서는 헤드 마운트 디스플레이 및 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이로부터 카메라가 분리 또는 장착됨에 따라, 디스플레이 유닛에 제 1 컨텐츠 또는 제 2 컨텐츠를 제공하는 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
예를 들어, HMD에 마이크와 스피커가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 전화 통화를 수행할 수 있다. 또한, 예를 들어, HMD에 카메라가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 유저가 원하는 방향의 이미지를 캡쳐할 수 있다.
일 실시예로서, 본 명세서는 HMD의 카메라가 장착된 경우와 분리된 경우를 인식하여, 카메라의 장착 여부에 따라 디스플레이 유닛에 각각 상이한 컨텐츠를 디스플레이하고자 하는 목적을 가지고 있다.
또한, 다른 일 실시예로서, 본 명세서는 HMD의 카메라가 분리된 상태에서 재장착되는 경우, 카메라의 액티베이트 여부에 따라 디스플레이 유닛에 각각 상이한 컨텐츠를 디스플레이하고자 하는 목적을 가지고 있다.
또한, 다른 일 실시예로서, 본 명세서는 분리된 HMD의 카메라가 HMD의 본체에 장착되는 경우, 이를 인식하여 HMD에 카메라가 장착되도록 유도하는 장착 인터페이스를 제공하고자 하는 목적을 가지고 있다.
일 실시예에 있어서, 제 1 바디 및 제 2 바디를 포함하는 헤드 마운트 디스플레이(HMD)에 있어서, 상기 제 1 바디는 비주얼 정보를 디스플레이하는 디스플레이 유닛, 데이터를 송/수신하는 제 1 커뮤니케이션 유닛, 상기 디스플레이 유닛, 상기 센서 유닛, 상기 카메라 유닛, 상기 제 1 커뮤니케이션 유닛 및 제 2 커뮤니케이션 유닛을 제어하는 프로세서를 포함하고, 상기 제 2 바디는 이미지를 센싱하는 카메라 유닛, 데이터를 송/수신하는 제 2 커뮤니케이션 유닛, 입력 신호를 디텍트하고, 디텍트된 결과를 상기 프로세서에 전달하는 센서 유닛을 포함하고, 상기 제 2 바디는 상기 제 1 바디로부터 분리장착가능하되, 상기 프로세서는 상기 제 1 바디에 상기 제 2 바디가 장착된 경우, 제 1 컨텐츠를 디스플레이하고, 상기 제 1 바디로부터 상기 제 2 바디의 분리 신호를 디텍트하고, 디텍트된 상기 제 2 바디의 분리 신호에 대응하여, 제 2 컨텐츠를 디스플레이하되, 상기 제 2 컨텐츠는 상기 분리된 제 2 바디에 포함된 상기 카메라 유닛을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당하는, HMD를 제공한다.
다른 일 실시예에 있어서, 제 1 바디 및 제 2 바디를 포함하는 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서, 상기 제 1 바디에 상기 제 2 바디가 장착된 경우, 제 1 컨텐츠를 디스플레이하는 단계로서, 상기 제 2 바디는 상기 제 1 바디로부터 탈부착가능함; 및 상기 제 1 바디로부터 상기 제 2 바디가 분리된 경우, 제 2 컨텐츠를 디스플레이하는 단계로서, 상기 제 2 컨텐츠는 상기 분리된 제 2 바디에 포함된 카메라 유닛을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당하는, 제어 방법을 제공한다.
일 실시예에 의하면, HMD는 카메라가 HMD로부터 분리되는 것을 디텍트하는 경우, 유저에게 카메라를 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스를 용이하게 제공할 수 있다.
다른 일 실시예에 의하면, HMD는 카메라가 분리된 상태에서 HMD에 재장착된 경우, 카메라의 액티베이트 여부에 따라 카메라가 재장착된 상태에서도 이미지 프리뷰 인터페이스를 제공할 수 있다.
다른 일 실시예에 의하면, HMD는 카메라가 분리된 상태에서 HMD에 장착되는 경우, 다양한 조건에서 장착 인터페이스를 디스플레이하여 유저가 용이하게 카메라를 장착할 수 있도록 가이드할 수 있다.
다른 일 실시예에 의하면, HMD는 카메라가 분리된 상태에서 HMD에 장착되려는 경우, 디스플레이 유닛에 다양한 장착 인터페이스를 디스플레이하여 유저가 용이하게 카메라를 장착할 수 있도록 가이드할 수 있다.
도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다.
도 2는 본 명세서의 HMD의 실시예를 나타내는 도면이다.
도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다.
도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다.
도 5a 및 도 5b는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다.
도 6은 본 명세서의 HMD의 장착 인터페이스의 제 1 실시예를 나타내는 도면이다.
도 7은 본 명세서의 HMD의 장착 인터페이스의 제 2 실시예를 나타내는 도면이다.
도 8은 본 명세서의 HMD의 장착 인터페이스의 제 3 실시예를 나타내는 도면이다.
도 9는 본 명세서의 HMD의 장착 인터페이스의 제 4 실시예를 나타내는 도면이다.
도 10은 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다.
본 명세서에서 사용되는 용어는 일 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 본 명세서가 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따른 HMD(100)는 디스플레이 유닛(110), 커뮤니케이션 유닛(120), 센서 유닛(130), 카메라 유닛(140) 및 프로세서(150)를 포함할 수 있다.
한편, HMD(100)는 제 1 바디 및 제 2 바디를 포함할 수 있다. 제 1 바디는 HMD(100)의 본체에 해당하는 것으로서, 디스플레이 유닛(110), 제 1 커뮤니케이션 유닛, 프로세서(150) 등을 포함할 수 있다. 또한, 제 2 바디는 HMD(100)의 본체로부터 분리가능한 바디로서, 카메라 유닛(140), 제 2 커뮤니케이션 유닛, 센서 유닛(130) 등을 포함할 수 있다. 상술한 제 1 바디 및 제 2 바디는 일 실시예로서, 당업자의 필요에 따라, 제 1 바디 및 제 2 바디에 일부 구성 유닛을 변경 또는 새로운 구성 유닛을 추가할 수 있다.
디스플레이 유닛(110)은 비주얼 정보를 디스플레이할 수 있다. 여기에서, 비주얼 정보는 컨텐츠, 애플리케이션, 이미지, 동영상 등을 포함할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(150)의 제어 명령에 기초하여 비주얼 정보를 스크린에 출력할 수 있다. 본 명세서에서, 디스플레이 유닛(110)은 HMD(100)의 제 1 바디에 포함될 수 있다.
한편, 본 명세서에서, HMD(100)는 다양한 방식으로 디스플레이 스크린에 이미지를 출력할 수 있다. 일 예로서, HMD(100)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 디스플레이 스크린이 투명한 것으로, HMD(100)를 착용한 상태에서 유저가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, HMD(100)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다.
또한, 다른 일 예로서, HMD(100)는 암막형(see-closed) 방식으로 이미지를 출력할 수 있다. 여기에서, 암막형 방식은 디스플레이 스크린을 통해 외부 환경을 볼 수 없고, 디스플레이 스크린을 통해 컨텐츠를 이용하는 방식을 나타낸다. 본 명세서에서, HMD(100)는 투시형 또는 전방 주사 방식으로 이미지를 디스플레이하는 것으로 가정하도록 한다.
커뮤니케이션 유닛(120)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(120)은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.
본 명세서에서, 커뮤니케이션 유닛(120)은 제 1 커뮤니케이션 유닛 및 제 2 커뮤니케이션 유닛을 포함할 수 있다. 상술한 바와 같이, 제 1 커뮤니케이션 유닛은 제 1 바디에 구비될 수 있고, 제 2 커뮤니케이션 유닛은 제 2 바디에 구비될 수 있다. 또한, 제 1 커뮤니케이션 및 제 2 커뮤니케이션 유닛은 제 1 바디에 포함된 프로세서(150)로부터 신호를 송/수신하고, 제 2 바디에 포함된 카메라 유닛(140)으로부터 신호를 송/수신할 수 있다.
센서 유닛(130)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여, HMD(100)의 주변 환경을 센싱하고, 이를 신호 형태로 프로세서(150)에 전달할 수 있다.
센서 유닛(130)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 센싱 수단을 포함할 수 있다.
또한, 센서 유닛(130)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 HMD(100)의 환경을 센싱하여, 프로세서(150)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나의 엘리먼트에 통합되어 포함될 수 있다.
본 명세서에서, 센서 유닛(130)은 제 1 바디에 구비될 수 있다. 한편, 본 명세서에서, 센서 유닛(130)은 제 1 바디뿐만 아니라 제 2 바디에도 구비될 수 있다. 또한, 센서 유닛(130)은 유저로부터 이미지의 캡쳐링 신호를 획득할 수 있다. 또한, 센서 유닛(130)은 제 1 바디와 제 2 바디 간의 분리 신호 및 장착 신호를 디텍트할 수 있다.
카메라 유닛(140)은 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(140)은 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라 유닛(140)이 향하고 있는 방향에 해당할 수 있다. 또한, 카메라 유닛(140)은 화각 영역 내의 이미지를 센싱하여 프로세서(150)에 제공할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다.
본 명세서에서, 카메라 유닛(140)은 제 2 바디에 포함될 수 있다. 한편, 본 명세서에서, 카메라 유닛(140)은 제 2 바디뿐만 아니라 제 1 바디에도 구비될 수 있다. 제 2 바디에 포함된 카메라 유닛(140)은 제 1 바디에 장착되어 이미지를 센싱할 수 있다. 또한, 제 2 바디에 포함된 카메라 유닛(140)은 제 1 바디로부터 분리되어 이미지를 센싱할 수 있다. 또한, 카메라 유닛(140)은 장착 인터페이스에서 센싱된 이미지를 전송하여, 제 2 바디가 제 1 바디에 장착될 수 있도록 가이드할 수 있다.
프로세서(150)는 데이터를 프로세싱하고, 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다. 본 명세서에서, 프로세서(150)는 제 1 바디에 포함될 수 있다. 한편, 프로세서(150)는 제 1 바디뿐만 아니라 제 2 바디에서 별도로 구비될 수도 있다.
본 명세서에서, 프로세서(150)는 제 1 바디에 제 2 바디가 장착된 경우, 제 1 컨텐츠를 디스플레이할 수 있다. 또한, 프로세서(150)는 제 1 바디로부터 제 2 바디의 분리 신호를 디텍트할 수 있다. 또한, 프로세서(150)는 디텍트된 제 2 바디의 분리 신호에 대응하여, 제 2 컨텐츠를 디스플레이할 수 있다. 예를 들어, 제 2 컨텐츠는 분리된 제 2 바디에 포함된 카메라 유닛(140)을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당할 수 있다. 이외의 프로세서(150)의 동작과 관련하여, 도 3 내지 도 9에서 자세하게 설명하도록 한다.
본 명세서의 일 실시예로서, HMD(100)가 수행하는 동작들은 프로세서(150)에 의해 제어될 수 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 HMD(100)가 수행/제어하는 것으로 설명하도록 한다.
한편, 도 1에는 도시되지 않았으나, HMD(100)는 파워 유닛, 스토리지 유닛, 오디오 유닛 등을 포함할 수 있다. 파워 유닛은 HMD(100)의 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, HMD(100)에 파워를 공급할 수 있다. 또한, 스토리지 유닛은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다. 또한, 오디오 유닛은 마이크 및 스피커를 통해 오디오 데이터를 수신하거나 출력할 수 있다.
도 1에 도시된 HMD(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 HMD(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 명세서의 HMD의 실시예를 나타내는 도면이다. 보다 상세하게는, 도 2의 (a)는 HMD(100)의 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태를 나타내고, 도 2의 (b)는 HMD(100)의 제 1 바디(10)에 제 2 바디(20)가 장착된 상태를 나타낸다.
도 1에서 상술한 바와 같이, HMD(100)는 제 1 바디(10) 및 제 2 바디(20)를 포함할 수 있다. 또한, 제 1 바디(10)는 HMD(100)의 메인 바디에 해당할 수 있고, 제 2 바디(20)는 HMD(100)의 서브 바디에 해당할 수 있다.
본 명세서에서. 제 1 바디(10)는 디스플레이 유닛, 제 1 커뮤니케이션 유닛, 프로세서 등을 구비할 수 있다. 다만, 제 1 바디(10)는 이외에도 센서 유닛, 카메라 유닛을 추가로 구비할 수도 있다. 또한, 본 명세서에서, 제 2 바디(20)는 카메라 유닛, 제 2 커뮤니케이션 유닛, 센서 유닛 등을 구비할 수 있다. 다만, 제 2 바디(20)는 제 1 바디(10)의 프로세서와 별개로 동작하는 프로세서를 추가로 구비할 수도 있다.
또한, 도 2에 도시된 바와 같이, 제 2 바디(20)는 제 1 바디(10)에 분리장착 가능하다. 예를 들어, 제 1 바디(10) 또는 제 2 바디(20)가 분리 장착되는 부분에 마그네틱 파트가 존재하여, 제 1 바디(10) 및 제 2 바디(20) 간에 분리 장착 가능하도록 구성될 수 있다. 또한, 예를 들어, 제 1 바디(10) 또는 제 2 바디(20)가 분리 장착되는 부분에 분리 장착이 용이하도록 접합 구조로 구성될 수 있다.
도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 3의 (a)는 HMD(100)의 제 1 바디(10)에 제 2 바디(20)가 장착된 상태를 나타내고, 도 3의 (b)는 HMD(100)의 디스플레이 유닛(110)에 디스플레이된 컨텐츠를 나타낸다.
도 3의 (a)에 도시된 바와 같이, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 장착된 상태를 디텍트할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10)에 대한 제 2 바디(20)의 장착 신호를 디텍트할 수 있다. 또한, 장착 신호는 제 1 바디(10)에 제 2 바디(20)가 장착되었음을 나타내는 신호에 해당한다. 예를 들어, 장착 신호는 제 2 바디(20)가 제 1 바디(10)에 완전하게 장착된 경우에 디텍트되고, 제 2 바디(20)가 제 1 바디(10)에 불완전하게 장착된 경우에는 디텍트되지 않을 수도 있다. 여기에서, 장착 신호는 제 1 바디(10) 또는 제 2 바디(20)에 구비된 센서 유닛을 통해 디텍트되어, 프로세서에 전달될 수 있다.
또한, 도 3의 (b)에 도시된 바와 같이, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 장착된 경우, 제 1 컨텐츠(30)를 디스플레이할 수 있다. 여기에서, 제 1 컨텐츠는 홈 스크린 또는 현재 이용중인 컨텐츠에 해당할 수 있다. 즉, 제 1 컨텐츠는 HMD(100)의 카메라 유닛이 액티베이트되지 않은 상태에서, 유저가 이용할 수 있는 컨텐츠에 해당할 수 있다. 예를 들어, 제 1 바디(10)에 제 2 바디(20)가 장착되는 경우, 페이스북과 같은 SNS(Social Network Service)를 이용 중이었다면, HMD(100)는 디스플레이 유닛(110)에 페이스북을 디스플레이할 수 있다. 또한, 도 3의 (b)에 도시된 바와 같이, 홈 스크린에 현재 시간이 디스플레이되도록 설정되어 있다면, 제 1 바디(10)에 제 2 바디(20)가 장착되는 경우, HMD(100)는 디스플레이 유닛(110)에 현재 시간을 디스플레이할 수 있다. 이외에도, 제 1 컨텐츠는 날씨, 달력 등에 해당할 수 있다.
한편, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 장착된 경우, 장착 모드 인디케이터(31)를 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 정확하게 장착된 경우, 장착 모드 인디케이터(31)를 디스플레이할 수 있다. 장착 모드 인디케이터(31)는 제 2 바디(20)가 제 1 바디(10)에 장착되었음을 나타내는 인디케이터로서, 다양한 형태 또는 방식으로 디스플레이될 수 있다. 예를 들어, 도 3의 (b)에 도시된 바와 같이, HMD(100)는 장착 모드 인디케이터(31)로서 '카메라' 아이콘 및 'mounted' 아이콘을 디스플레이할 수 있다. 또한, 예를 들어, 도 3에서 도시되지 않았으나, HMD(100)는 장착 모드 인디케이터(31)로서 아이콘 이외에도 오디오 효과로 제공할 수 있다. 이를 통해, 유저(1)는 제 1 바디(10)에 제 2 바디(20)가 장착되었음을 용이하게 인식할 수 있다.
한편, 도 3에는 도시되지 않았으나, HMD(100)는 제 2 바디(20)가 제 1 바디(10)에 장착된 상태에서 캡쳐링 신호를 디텍트할 수 있다. 여기에서, 캡쳐링 신호는 제 1 바디(10) 또는 제 2 바디(20)에 대한 터치 신호 또는 음성 신호 등을 포함할 수 있다. 또한, 여기에서, 제 2 바디(20)에 구비된 카메라 유닛은 액티베이트 모드인 것으로 가정하도록 한다. 또한, 디텍트된 캡쳐링 신호에 대응하여, HMD(100)는 제 2 바디(20)에 포함된 카메라 유닛의 화각 영역 내의 이미지를 캡쳐할 수 있다. 이 경우, 디스플레이 유닛(110)에는 이미지 프리뷰 인터페이스가 디스플레이되지 않는 경우로서, 유저(1)는 캡쳐되는 이미지를 확인할 수 없고, HMD(100)를 착용한 유저(1)가 향하는 방향의 이미지가 캡쳐되게 된다.
도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 4의 (a)는 HMD(100)의 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태를 나타내고, 도 4의 (b)는 HMD(100)의 디스플레이 유닛(110)에 디스플레이된 컨텐츠를 나타낸다.
도 4의 (a)에 도시된 바와 같이, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태를 디텍트할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)의 분리 신호를 디텍트할 수 있다. 또한, 분리 신호는 제 1 바디(10)로부터 제 2 바디(20)가 분리되었음을 나타내는 신호에 해당한다. 예를 들어, 분리 신호는 제 1 바디(10)로부터 제 2 바디(20)가 완전히 분리된 경우에는 디텍트되고, 제 2 바디(20)가 제 1 바디(10)로부터 완전히 분리되지 않은 경우에는 디텍트되지 않을 수도 있다. 여기에서, 분리 신호는 제 1 바디(10) 또는 제 2 바디(20)에 구비된 센서 유닛을 통해 디텍트되어, 프로세서에 전달될 수 있다.
또한, 도 4의 (b)에 도시된 바와 같이, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 경우, 제 2 컨텐츠(40)를 디스플레이할 수 있다. 여기에서, 제 2 컨텐츠(40)는 분리된 제 2 바디(20)에 포함된 카메라 유닛을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당할 수 있다. 즉, 제 2 컨텐츠(40)는 카메라 유닛을 통해 이미지를 캡쳐하는 경우, 캡쳐하기 전에 센싱되는 이미지를 유저(1)에게 제공하는 이미지 프리뷰 인터페이스에 해당한다. 제 1 바디(10)로부터 제 2 바디(20)가 분리된 경우, 제 2 바디(20)에 포함된 카메라 유닛은 유저(10)의 손(2)의 움직임에 따라 자유자재로 움직일 수 있어, 다양한 화각 영역에서의 이미지를 센싱할 수 있다.
또한, HMD(100)는 이미지 프리뷰 인터페이스를 디스플레이 유닛(110)에 다양한 방식으로 디스플레이할 수 있다. 예를 들어, 도 4의 (b)에 도시된 바와 같이, HMD(100)는 디스플레이 유닛(110)의 약 90%를 차지하는 정도의 크기로 이미지 프리뷰 인터페이스를 디스플레이할 수 있다. 또한, 예를 들어, 도 4에는 도시되지 않았으나, HMD(100)는 디스플레이 유닛(110)의 상하좌우 증 일측에 이미지 프리뷰 인터페이스를 디스플레이할 수 있다. 이 경우, HMD(100)는 이미지 프리뷰 인터페이스 뿐만 아니라 다른 컨텐츠를 디스플레이 유닛(110)에 동시에 디스플레이할 수 있다.
한편, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 경우, 분리 모드 인디케이터(41)를 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 완전히 분리된 경우, 분리 모드 인디케이터(41)를 디스플레이할 수 있다. 분리 모드 인디케이터(41)는 제 1 바디(10)로부터 제 2 바디(20)가 분리되었음을 나타내는 인디케이터로서, 다양한 형태 또는 방식으로 디스플레이될 수 있다. 예를 들어, 도 4의 (b)에 도시된 바와 같이, HMD(100)는 분리 모드 인디케이터(41)로서 '카메라' 아이콘 및 'seperated' 아이콘을 디스플레이할 수 있다. 또한, 예를 들어, 도 4에는 도시되지 않았으나, HMD(100)는 분리 모드 인디케이터(41)로서 아이콘 이외에도 오디오 효과로 제공될 수 있다. 이를 통해, 유저(1) 제 1 바디(10)로부터 제 2 바디(20)가 분리되었음을 용이하게 인식할 수 있다.
한편, 도 4에는 도시되지 않았으나, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서 캡쳐링 신호를 디텍트할 수 있다. 여기에서, 캡쳐링 신호는 제 2 바디(20)에 대한 유저(1)의 터치 신호 또는 유저(1)의 음성 신호 등을 포함할 수 있다. 또한, 디텍트된 캡쳐링 신호에 대응하여, HMD(100)는 이미지 프리뷰 인터페이스(40)에 디스플레이된 이미지를 캡쳐할 수 있다. 이 경우, 디스플레이 유닛(110)에 이미지 프리뷰 인터페이스(40)가 디스플레이되어 있어, 유저(1)는 캡쳐될 이미지를 미리 예상할 수 있다.
도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 5a는 HMD(100)의 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서, 제 1 바디(10)에 제 2 바디(20)가 재장착되는 상태를 나타내고, 도 5b는 제 1 바디(10)에 제 2 바디(20)가 재장착되는 경우에 디스플레이 유닛(110)에 디스플레이되는 컨텐츠를 나타낸다.
도 5a에 도시된 바와 같이, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서, 제 1 바디(10)에 제 2 바디(20)가 재장착된 상태를 디텍트할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10)에 대한 제 2 바디(20)의 재장착 신호를 디텍트할 수 있다. 또한, 재장착 신호는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서 제 1 바디(10)에 제 2 바디(20)가 재장착되었음을 나타내는 신호에 해당한다.
또한, 도 5b에 도시된 바와 같이, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 재장착된 경우, 카메라 유닛의 액티베이트 상태에 따라 제 1 컨텐츠(30) 또는 제 2 컨텐츠를 디스플레이할 수 있다.
일 예로서, 도 5b의 좌측에 도시된 바와 같이, 카메라 유닛이 디액티베이트 모드인 경우, HMD(100)는 디스플레이 유닛(110)에 제 1 컨텐츠를 디스플레이할 수 있다. 여기에서, 제 1 컨텐츠는 도 3에서 상술한 바와 같이, 홈 스크린 또는 현재 이용중인 컨텐츠에 해당할 수 있다. 즉, 먼저, HMD(100)는 제 1 바디(10)와 제 2 바디(20)가 분리된 상태에서 이미지 프리뷰 인터페이스를 디스플레이할 수 있다. 다음으로, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 재장착된 경우, 카메라 유닛이 디액티베이트 모드이면, 도 3의 실시예와 동일하게, 디스플레이 유닛(110)에 제 1 컨텐츠를 디스플레이할 수 있다. 이는, 카메라 유닛이 디액티베이트 모드인 경우, HMD(100)는 더이상 카메라 유닛을 통해 센싱되는 이미지를 디스플레이할 수 없기 때문이다.
다른 일 예로서, 도 5b의 우측에 도시된 바와 같이, 카메라 유닛이 액티베이트 모드인 경우, HMD(100)는 디스플레이 유닛(110)에 제 2 컨텐츠를 디스플레이할 수 있다. 여기에서, 제 2 컨텐츠는 도 4에서 상술한 바와 같이, 카메라 유닛을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당할 수 있다. 즉, 먼저, HMD(100)는 제 1 바디(10)와 제 2 바디(20)가 분리된 상태에서 이미지 프리뷰 인터페이스를 디스플레이할 수 있다. 다음으로, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 재장착된 경우, 카메라 유닛이 액티베이트 모드이면, 도 4의 실시예와 동일하게, 디스플레이 유닛(110)에 제 2 컨텐츠를 디스플레이할 수 있다. 이는, 카메라 유닛이 재장착되더라도 카메라 유닛이 액티베이트 모드인 경우, 유저(1)는 HMD(100)를 통해 이미지 프리뷰 인터페이스를 계속 보기를 원할 수도 있기 때문이다.
또한, 도 5b의 우측에 도시된 바와 같이, HMD(100)는 제 1 컨텐츠(30) 및 제 2 컨텐츠(40)를 동시에 디스플레이할 수 있다. 이는, 이미지 프리뷰 인터페이스가 디스플레이되는 경우에도, 유저(1)가 기존에 이용중인 컨텐츠를 그대로 이용할 수 있게 하기 위함이다. 한편, 도 5a 및 도 5b에는 도시되지 않았으나, 도 3의 (b)와 동일하게, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 재장착된 경우, 장착 모드 인디케이터를 디스플레이할 수도 있다.
한편, 도 5에는 도시되지 않았으나, HMD(100)는 제 1 바디(10)에 제 2 바디(20)가 재장착되는 경우 디스플레이 유닛(110)에 제 3 컨텐츠를 디스플레이할 수 있다. 여기에서, 제 3 컨텐츠는 캡쳐된 이미지들 중 마지막에 캡쳐된 이미지에 해당할 수 있다. 즉, HMD(100)는 제 2 바디(20)가 제 1 바디(10)가 분리된 상태에서 카메라 유닛을 통해 복수의 이미지가 캡쳐될 수 있다. 이 경우, 제 1 바디(10)에 제 2 바디(20)가 재장착되면, HMD(100)는 복수의 캡쳐된 이미지 중 마지막 이미지를 디스플레이 유닛(110)에 디스플레이할 수 있다. 이를 통해, 유저(1)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서 카메라 유닛을 통해 캡쳐된 이미지를 확인할 수 있게 된다.
도 6은 본 명세서의 HMD의 장착 인터페이스의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 6의 (a) 및 도 6의 (b)는 제 1 바디(10)에 대한 제 2 바디(20)를 장착하는 경우에 장착 인터페이스가 액티베이트되는 조건을 나타낸다.
장착 인터페이스는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태에서, 제 2 바디(20)가 다시 제 1 바디(10)에 장착되는 경우, 제 2 바디(20)의 움직임을 가이드하기 위한 인터페이스에 해당한다. 또한, 장착 인터페이스는 디스플레이 유닛(110)에 디스플레이되어 유저가 제 2 바디(20)를 용이하게 제 1 바디(10)에 장착할 수 있도록 가이드할 수 있다. 또한, 장착 인터페이스는 다양한 방식으로 유저(1)에게 제공될 수 있다. 예를 들어, 장착 인터페이스는 디스플레이 유닛에 디스플레이되어 유저에게 제공되거나, 오디오 유닛을 통해 유저에게 오디오로 제공될 수 있다.
도 6의 (a)를 참조하면, HMD(100)는 제 2 바디(20)에 포함된 카메라 유닛이 제 1 바디(10)를 향하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 여기에서, HMD(100)는 카메라 유닛을 통해 센싱되는 이미지가 디스플레이 유닛에 디스플레이되는 상태를 통해 제 2 바디(20)에 포함된 카메라 유닛이 제 1 바디(10)를 향하는 경우임을 인식할 수 있다. 또한, HMD(100)는 카메라 유닛에 의해 제 1 바디(10) 중 적어도 일부가 센싱되는 경우에 장착 인터페이스를 디스플레이할 수 있다. 예를 들어, HMD(100)는 제 2 바디(20)에 포함된 카메라 유닛이 제 1 바디(10) 중 제 2 바디(20)와 접속되는 부분을 센싱하는 경우, 장착 인터페이스를 디스플레이할 수 있다.
도 6의 (b)를 참조하면, HMD(100)는 제 1 바디(10)와 제 2 바디(20) 간의 컨택트가 발생하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 제 1 바디(10) 또는 제 2 바디(20)에 구비된 센서 유닛에서 제 1 바디(10)와 제 2 바디(20) 간의 컨택트의 발생을 인식하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 예를 들어, HMD(100)는 제 1 바디(10)의 기 설정된 부분과 제 2 바디(20)의 기 설정된 부분의 컨택트가 발생하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 여기에서, 제 1 바디(10)의 기 설정된 부분은 제 1 바디(10)에 제 2 바디(20)가 분리 장착되는 부분에 해당할 수 있다. 또한, 여기에서, 제 2 바디(10)의 기 설정된 부분은 도 6의 (b)에 도시된 바와 같이, 제 2 바디(10)의 카메라 유닛이 구비된 면과 반대면에 해당할 수 있다. 또한, 예를 들어, HMD(100)는 제 1 바디(10)의 일부 및 제 2 바디(20)의 일부에 컨택트가 발생하는 경우에 장착 인터페이스를 디스플레이할 수 있다.
또한, 도 6에는 도시되지 않았으나, HMD(100)는 제 2 바디(20)가 제 1 바디(10)로부터 기 설정된 거리 범위에 위치하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 또한, HMD(100)는 카메라 유닛이 제 1 바디(10)를 향하고, 제 2 바디(20)가 제 1 바디(10)로부터 기 설정된 거리 범위에 위치하는 경우에 장착 인터페이스를 디스플레이할 수 있다. 이외에도, 제 1 바디(10) 및 제 2 바디(20) 간에 다양한 조건을 만족하는 경우, HMD(100)는 장착 인터페이스를 디스플레이할 수 있다.
도 7은 본 명세서의 HMD의 장착 인터페이스의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 7은 유저(1)가 디스플레이 유닛에 디스플레이된 장착 인터페이스를 통해 제 2 바디(20)를 제 1 바디(10)에 장착하는 것을 나타낸다.
먼저, 도 6에서 상술한 바와 같이, HMD(100)는 장착 인터페이스를 액티베이트할 수 있다. HMD(100)는 장착 인터페이스(60)를 디스플레이 유닛(110)에 디스플레이하여, 유저(1)가 제 2 바디(20)를 제 1 바디(10)에 장착하도록 가이드할 수 있다. 도 7의 실시예에서, HMD(100)는 AR(Augmented Reality) 장착 가이드를 디스플레이할 수 있다. 장착 인터페이스는 도 7에 도시된 바와 같이, 디스플레이 유닛에 디스플레이되어 그래픽 효과를 통해 제공될 수 있다. 또한, 장착 인터페이스는 오디오 효과를 통해 제공될 수도 있다. 이를 통해, HMD(100)는 유저(1)가 제 2 바디(20)를 제 1 바디(10)에 용이하게 장착할 수 있도록 유도할 수 있다.
도 7을 참조하면, HMD(100)는 장착 인터페이스(50)에 유저(1)의 손(2)에 쥐어진 제 2 바디(20)를 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 분리된 제 2 바디(20)의 위치 및 방향을 인식하여 장착 인터페이스(50)에 그대로 디스플레이할 수 있다. 예를 들어, HMD(100)는 제 2 바디(20)의 위치 및 방향을 제 1 바디(10)에 별도로 구비된 카메라 유닛을 통해 인식할 수 있다. 또한, 예를 들어, HMD(100)는 제 2 바디(20)의 위치 및 방향을 제 1 바디(10) 또는 제 2 바디(20)에 구비된 센서 유닛을 통해 인식할 수 있다.
또한, HMD(100)는 분리된 제 2 바디(20)가 디스플레이된 경우, 장착 인터페이스(50)에 제 2 바디(20)가 제 1 바디(10)에 장착되기 위하여 방향 및 거리 중 적어도 하나를 디스플레이할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, HMD(100)는 장착 인터페이스(50)에 제 2 바디(20)가 제 1 바디(10)에 장착되기 위해 회전되어야 할 방향을 나타내는 화살표를 디스플레이할 수 있다. 이를 통해, 유저(1)는 제 2 바디(20)가 장착되도록 방향 및 거리를 조정하여, 제 2 바디(20)를 제 1 바디(10)에 장착시킬 수 있다.
도 8은 본 명세서의 HMD의 장착 인터페이스의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 8의 (a) 및 도 8의 (b)는 유저(1)가 디스플레이 유닛에 디스플레이된 장착 인터페이스(50)를 통해 제 2 바디(20)를 제 1 바디(10)에 장착하는 것을 나타낸다.
HMD(100)는 장착 인터페이스(60)를 디스플레이 유닛(110)에 디스플레이하여, 유저(1)가 제 2 바디(20)를 제 1 바디(10)에 장착하도록 가이드할 수 있다. 도 8의 실시예에서, HMD(100)는 AR(Augmented Reality) 장착 가이드를 디스플레이할 수 있다.
먼저, 도 8의 (a)를 참조하면, HMD(100)는 장착 인터페이스에 유저의 손에 대한 제 1 AR 장착 가이드(60a)를 디스플레이할 수 있다. 제 1 AR 장착 가이드(60a)는 디스플레이 유닛(110)에 유저(1)의 가상 손 형태를 디스플레이할 수 있다. 또한, 제 1 AR 장착 가이드(60a)는 제 2 바디(20)가 제 1 바디(10)에 용이하게 장착되기 위한 유저(1)의 손(2)의 위치 및 방향과 제 2 바디(20)의 위치 및 방향이 디스플레이된 AR 이미지에 해당할 수 있다. 예를 들어, 도 8의 (a)를 참조하면, 제 2 바디(20)에 포함된 카메라 유닛의 방향이 유저(1)를 향하고 있다. 그러나, 제 2 바디(20)가 제 1 바디(10)에 장착되기 위해서는 제 2 바디(20)의 위치 및 방향이 현재 제 2 바디(20)의 방향과 반대되게 위치해야 한다. 따라서, HMD(100)는 디스플레이 유닛(110)에 제 2 바디(20)가 제 1 바디(10)가 용이하게 장착될 수 있도록, 제 1 AR 장착 가이드(60a)를 디스플레이이하여, 유저(1)가 카메라의 방향을 바꾸도록 유도할 수 있다.
다음으로, 도 8의 (b)를 참조하면, HMD(100)는 장착 인터페이스에 제 2 바디(20)가 제 1 바디(10)에 장착되기 위한 가이드에 대한 제 2 AR 장착 가이드(60b)를 디스플레이할 수 있다. 제 2 AR 장착 가이드(60b)는 유저(1)의 손(2) 및 제 2 바디(20)의 형태가 제 1 AR 장착 가이드(60a)에 디스플레이된 형태와 거의 동일하게 된 경우, 유저(1)의 손(2)이 움직이는 방향을 나타내는 이미지에 해당할 수 있다. 즉, 도 8의 (b)에 도시된 바와 같이, 제 2 AR 장착 가이드(60b)는 유저(1)의 손(2) 및 제 2 바디(20)를 그대로 앞으로 움직이도록 유도할 수 있다. 이를 통해, 유저(1)는 제 1 바디(10)에 제 2 바디(20)를 용이하게 장착할 수 있다.
도 9는 본 명세서의 HMD의 장착 인터페이스의 제 4 실시예를 나타내는 도면이다. 보다 상세하게는, 도 9는 제 2 바디(20)에 포함된 카메라 유닛을 통해 제 1 바디(10)의 기 설정된 패턴을 인식하여 제 1 바디(10)에 제 2 바디(20)가 장착되는 것을 나타낸다.
먼저, HMD(100)는 제 2 바디(20)의 카메라 유닛을 통해 제 1 바디(10)의 접합부(11)에 나타난 기 설정된 패턴을 인식하는 경우, 장착 인터페이스를 액티베이트할 수 있다. 기 설정된 패턴은 제 1 바디(10)에 제 2 바디(20)가 장착되는 경우, 제 2 바디(20)가 장착되어야 하는 방향 및 형태를 나타낼 수 있다. 도 9의 실시예에서, 장착 인터페이스(70)는 제 1 바디(10)의 접합부(11)에 나타난 기 설정된 패턴과 제 2 바디(20)의 접합부(21)에 나타난 기 설정된 패턴의 방향이 일치하도록 제 2 바디(20)의 이동 방향 및 이동 거리를 유도하는 것에 해당할 수 있다.
HMD(100)는 장착 인터페이스(70)를 디스플레이 유닛(110)에 디스플레이하여, 장착 인터페이스(70)에 나타난 기 설정된 패턴과 제 2 바디(20)의 접합부(20)의 기 설정된 패턴의 모양이 동일하게 되도록 가이드할 수 있다. 이를 통해, 유저(10)는 제 2 바디(20)를 쥐고 있는 손(2)을 움직여 장착 인터페이스(70)에 나타난 기 설정된 패턴과 제 2 바디(20)의 접합부(20)의 기 설정된 패턴의 모양이 동일하게 할 수 있다.
다음으로, 도 9에는 도시되지 않았으나, 제 2 바디(20)의 접합부(21)의 기 설정된 패턴이 장착 인터페이스(70)의 기 설정된 패턴과 동일한 것으로 인식되는 경우, HMD(100)는 제 2 바디(20)의 방향을 유지한 채로 제 1 바디(10)에 장착되도록 가이드할 수 있다. 예를 들어, HMD(100)는 장착 인터페이스(70)에 그래픽 효과를 통해 제 2 바디(20)의 이동 방향 및 이동 거리를 유저(1)에게 제공할 수 있다. 또한, 예를 들어, HMD(100)는 오디오 효과를 통해 제 2 바디(20)의 이동 방향 및 이동 거리를 유저(1)에게 제공할 수 있다.
도 10은 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다.
먼저, HMD는 제 1 바디에 제 2 바디가 장착되었는지 결정할 수 있다(S1010). 즉, HMD는 제 1 바디 및 제 2 바디로 구성되며, 제 1 바디가 메인 바디로서 제 2 바디는 제 1 바디에 분리장착가능하다. HMD는 제 1 바디 또는 제 2 바디에 구비된 센서 유닛을 통해 제 1 바디에 제 2 바디가 장착되었는지 결정할 수 있다.
S1010 단계에서, 제 1 바디에 제 2 바디가 장착된 경우, HMD는 제 1 컨텐츠를 디스플레이할 수 있다(S1020). 보다 상세하게는, HMD는 제 1 바디에 대한 제 2 바디의 장착 신호를 디텍트하고, 디텍트된 예를 들어, 제 1 컨텐츠는 홈 스크린 또는 현재 이용중인 컨텐츠에 해당할 수 있다.
한편, S1010 단계에서, 제 1 바디에 제 2 바디가 장착되지 않은 경우, HMD는 분리된 제 2 바디에 포함된 카메라 유닛을 통해 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당하는 제 2 컨텐츠를 디스플레이할 수 있다(S1030).
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 명세서의 권리범위에 속한다.
일 실시예에 따른 헤드 마운트 디스플레이 및 제어 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 헤드 마운트 디스플레이를 제어하는 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.
100 : HMD
110 : 디스플레이 유닛
120 : 커뮤니케이션 유닛
130 : 센서 유닛
140 : 카메라 유닛
150 : 프로세서

Claims (20)

  1. 제 1 바디 및 제 2 바디를 포함하는 헤드 마운트 디스플레이(HMD)에 있어서,
    상기 제 1 바디는
    비주얼 정보를 디스플레이하는 디스플레이 유닛,
    데이터를 송/수신하는 제 1 커뮤니케이션 유닛,
    상기 디스플레이 유닛 및 상기 제 1 커뮤니케이션 유닛을 제어하는 프로세서를 포함하고,
    상기 제 2 바디는
    상기 프로세서를 통해 제어되고, 이미지를 센싱하는 카메라 유닛,
    상기 프로세서를 통해 제어되고, 데이터를 송/수신하는 제 2 커뮤니케이션 유닛,
    상기 프로세서를 통해 제어되고, 입력 신호를 디텍트하고, 디텍트된 결과를 상기 프로세서에 전달하는 센서 유닛을 포함하고,
    상기 제 2 바디는 상기 제 1 바디로부터 분리장착가능하되,
    상기 프로세서는
    상기 제 1 바디에 상기 제 2 바디가 장착된 경우, 제 1 컨텐츠를 상기 디스플레이 유닛에 디스플레이하되, 상기 제1 컨텐츠는 상기 카메라 유닛이 디액티베이트된 상태에서 제공되는 컨텐츠이고,
    상기 제 1 바디로부터 상기 제 2 바디의 분리 신호를 디텍트하고,
    디텍트된 상기 제 2 바디의 분리 신호에 대응하여, 제 2 컨텐츠를 상기 디스플레이 유닛에 디스플레이하되, 상기 제 2 컨텐츠는 상기 분리된 제 2 바디에 포함된 상기 카메라 유닛이 액티페이스된 상태에서 센싱되는 이미지의 이미지 프리뷰 인터페이스에 해당하고,
    상기 제1 바디에 대한 상기 제2 바디의 장착 신호를 디텍트하고, 디텍트된 상기 제2 바디의 장착 신호에 대응하여 상기 제1 컨텐츠를 디스플레이하는, HMD.
  2. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 바디로부터 상기 제 2 바디가 분리된 상태에서 상기 제 1 바디에 상기 제 2 바디가 재장착된 경우,
    상기 카메라 유닛이 액티베이트 모드이면, 상기 제 2 컨텐츠를 디스플레이하고,
    상기 카메라 유닛이 디액티베이트 모드이면, 상기 제 1 컨텐츠를 디스플레이하는 것을 더 포함하는, HMD.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 바디에 상기 제 2 바디를 장착하는 경우, 장착(mounting) 인터페이스를 디스플레이하는 것을 더 포함하는, HMD.
  10. 제 9 항에 있어서,
    상기 장착 인터페이스는 상기 카메라 유닛이 상기 제 1 바디를 향하는 경우, 상기 제1 바디와 상기 제2 바디 간의 컨택트(contact)가 발생하는 경우, 상기 제2 바디가 상기 제1 바디로부터 기 설정 거리 범위에 위치하는 경우, 또는, 상기 제2 바디에 포함된 상기 카메라 유닛의 화각 영역 내에 상기 제1 바디의 접합부의 기 설정 패턴이 인식되는 경우에 디스플레이되는, HMD.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 9 항에 있어서,
    상기 장착 인터페이스는 제 2 바디가 상기 제 1 바디에 대해 장착되기 위한 방향 및 거리 중 적어도 하나를 디스플레이하는, HMD.
  15. 제 9 항에 있어서,
    상기 장착 인터페이스는 AR(Augmented Reality) 장착 가이드를 디스플레이하는, HMD.
  16. 제 15 항에 있어서,
    상기 프로세서는
    상기 AR 장착 가이드에 대응하여, 가상 손 형태를 나타내는 제 1 가이드 이미지를 디스플레이하고,
    유저의 손이 상기 제 1 가이드 이미지와 일치되는 경우, 상기 유저의 손의 이동 방향 및 이동 거리 중 적어도 하나를 디스플레이하는 제 2 가이드 이미지를 디스플레이하는 것을 더 포함하는, HMD.
  17. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 바디로부터 상기 제 2 바디가 분리된 경우, 분리 모드 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
  18. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 바디에 상기 제 2 바디가 장착된 경우, 장착 모드 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
  19. 제 1 항에 있어서,
    상기 HMD는 유저에게 착용된 상태인, HMD.
  20. 삭제
KR1020130114534A 2013-09-26 2013-09-26 헤드 마운트 디스플레이 및 제어 방법 KR102088020B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130114534A KR102088020B1 (ko) 2013-09-26 2013-09-26 헤드 마운트 디스플레이 및 제어 방법
US14/161,438 US8830142B1 (en) 2013-09-26 2014-01-22 Head-mounted display and method of controlling the same
PCT/KR2014/000790 WO2015046677A1 (en) 2013-09-26 2014-01-28 Head-mounted display and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130114534A KR102088020B1 (ko) 2013-09-26 2013-09-26 헤드 마운트 디스플레이 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20150034448A KR20150034448A (ko) 2015-04-03
KR102088020B1 true KR102088020B1 (ko) 2020-03-11

Family

ID=51455226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130114534A KR102088020B1 (ko) 2013-09-26 2013-09-26 헤드 마운트 디스플레이 및 제어 방법

Country Status (3)

Country Link
US (1) US8830142B1 (ko)
KR (1) KR102088020B1 (ko)
WO (1) WO2015046677A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970258B (zh) * 2013-01-28 2018-08-07 联想(北京)有限公司 穿戴式电子设备以及显示方法
CN104702848B (zh) * 2015-03-31 2019-02-12 小米科技有限责任公司 显示取景信息的方法及装置
US10524018B2 (en) 2016-08-30 2019-12-31 Samsung Electronics Co., Ltd. Apparatus and method for displaying image
US10419648B2 (en) * 2017-04-08 2019-09-17 Opkix, Inc. Magnetic camera coupling system
WO2018194273A1 (en) 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
WO2018223403A1 (zh) * 2017-06-09 2018-12-13 深圳市柔宇科技有限公司 一种显示设备的参数调节方法及头戴式显示设备
US10338766B2 (en) 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
CN115327780A (zh) * 2017-09-11 2022-11-11 杜比实验室特许公司 用于ar/vr/mr的模块化拆卸式可穿戴装置
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) * 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194438B2 (en) 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11016303B1 (en) * 2020-01-09 2021-05-25 Facebook Technologies, Llc Camera mute indication for headset user
KR20220009610A (ko) 2020-07-16 2022-01-25 삼성전자주식회사 방열 구조를 포함하는 웨어러블 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197377A (ja) * 2009-01-27 2010-09-09 Jfe Steel Corp 赤外線亀裂検出装置および検出方法
JP5199156B2 (ja) * 2009-03-18 2013-05-15 オリンパスイメージング株式会社 カメラ及び装着型画像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951280B2 (ja) 1998-11-05 2007-08-01 富士フイルム株式会社 腕装着型カメラ
US6560029B1 (en) 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
TWI280036B (en) * 2003-03-11 2007-04-21 Realtek Semiconductor Corp A digital camera with screen detachable from camera
US20060055786A1 (en) * 2004-03-09 2006-03-16 Viosport Portable camera and wiring harness
US20060153409A1 (en) 2005-01-10 2006-07-13 Ming-Hsiang Yeh Structure of a pair of glasses
US7612821B1 (en) * 2006-07-19 2009-11-03 Team Research, Inc. Modular camcorder
JP4946914B2 (ja) 2008-02-26 2012-06-06 株式会社ニコン カメラシステム
CN101813873B (zh) * 2009-02-19 2014-02-26 奥林巴斯映像株式会社 照相机以及佩戴型图像显示装置
US20120212593A1 (en) 2011-02-17 2012-08-23 Orcam Technologies Ltd. User wearable visual assistance system
US20130002559A1 (en) 2011-07-03 2013-01-03 Vardi Nachum Desktop computer user interface
EP2761362A4 (en) 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197377A (ja) * 2009-01-27 2010-09-09 Jfe Steel Corp 赤外線亀裂検出装置および検出方法
JP5199156B2 (ja) * 2009-03-18 2013-05-15 オリンパスイメージング株式会社 カメラ及び装着型画像表示装置

Also Published As

Publication number Publication date
KR20150034448A (ko) 2015-04-03
WO2015046677A1 (en) 2015-04-02
US8830142B1 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
KR102088020B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
US9304320B2 (en) Head-mounted display and method of controlling the same
KR102063076B1 (ko) 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US9898868B2 (en) Display device, method of controlling the same, and program
US9423619B2 (en) Head mounted display and method of outputting a content using the same in which the same identical content is displayed
KR102086510B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
US9058054B2 (en) Image capture apparatus
US10757335B2 (en) Mobile terminal
JP6641763B2 (ja) 表示システム
US20180259775A1 (en) Transmission-type display device, display control method, and computer program
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
KR101969351B1 (ko) 헤드 마운트 디스플레이 및 그 출력 제어 방법
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
KR20170123907A (ko) 이동단말기 및 그 제어방법
KR20160006053A (ko) 글래스 타입 단말기 및 그것의 제어방법
KR20150084200A (ko) 헤드 마운트 디스플레이 및 제어 방법
KR20160125674A (ko) 이동 단말기 및 그 제어 방법
KR102138520B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
KR20180025864A (ko) 카메라 모듈 및 이를 구비하는 이동 단말기
KR20160134334A (ko) 이동 단말기 및 이의 제어방법
KR20170094574A (ko) 헤드 마운트 디스플레이 디바이스
KR20170042164A (ko) 이동단말기 및 그 제어방법
KR20160027813A (ko) 글래스형 단말기
KR20180035045A (ko) 영상표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant