KR20150006128A - 헤드 마운트 디스플레이 장치 및 그 동작방법 - Google Patents

헤드 마운트 디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20150006128A
KR20150006128A KR20130079451A KR20130079451A KR20150006128A KR 20150006128 A KR20150006128 A KR 20150006128A KR 20130079451 A KR20130079451 A KR 20130079451A KR 20130079451 A KR20130079451 A KR 20130079451A KR 20150006128 A KR20150006128 A KR 20150006128A
Authority
KR
South Korea
Prior art keywords
user
head
image
external environment
display device
Prior art date
Application number
KR20130079451A
Other languages
English (en)
Inventor
김형준
손종현
최은지
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20130079451A priority Critical patent/KR20150006128A/ko
Publication of KR20150006128A publication Critical patent/KR20150006128A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/06—Viewing or reading apparatus with moving picture effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작방법은, 소정 영상을 디스플레이에 표시하는 단계와, 외부 대상물과 헤드 마운트 디스플레이 장치 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우, 셔터부를 턴 온하는 단계와, 디스플레이를 오프하는 단계를 포함한다.이에 의해, 사용자 이용 편의성이 향상될 수 있다.

Description

헤드 마운트 디스플레이 장치 및 그 동작방법{Head mount display apparatus and method for operating the same}
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이며, 더욱 상세하게는 사용자 이용 편의성을 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다.
헤드 마운트 디스플레이 장치는 사용자 머리에 착용하여 영상을 볼 수 있는 장치이다. 한편, 헤드 마운트 디스플레이 장치는, 사용자 머리에 착용하므로, 착용 이후에는, 외부 환경 변화에 대한 인식을 원활히 수행하지 못할 가능성이 높게 된다.
본 발명의 목적은, 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작방법은, 소정 영상을 디스플레이에 표시하는 단계와, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하는 단계와, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 개폐 동작에 의해 외부 광을 차단하거나 투과하는 셔터부와, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어하는 프로세서를 포함한다.
본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는, 헤드 마운트 디스플레이 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공한다. 이에 의해, 사용자는 헤드 마운트 디스플레이 장치의 착용 이후, 외부 환경 상황을 인식할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.
특히, 셔터부가 개방되거나, 카메라를 통해 촬영된 외부 환경에 대한 영상을 표시함으로써, 사용자가 간단하게 외부 상황을 인식할 수 있게 된다.
한편, 외부 환경 변화 감지는, 카메라를 통해 촬영된 영상 감지 또는 오디오 입력부를 통해 수신되는 외부 사운드 감지를 통해 수행될 수 있으며, 이에 따라, 신속하게, 외부 환경 변화를 감지할 수 있게 된다.
한편, 영상 표시시, 사용자의 움직임을 감지하여, 영상을 이동 표시함으로써, 헤드 마운트 디스플레이 장치의 흔들림에 따른, 흔들림 보정을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이다.
도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 일예이다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 6 내지 도 10은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 11은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 다른 예이다.
도 12a 내지 도 12c는 도 11의 디스플레이의 일예를 설명하는 도면이다.
도 13 내지 도 14는 도 11의 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 15는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 16은 도 15의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 17 내지 도 20은 도 1의 헤드 마운트 디스플레이 장치의 다양한 동작 방법을 설명하는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 명세서에서 기술되는 헤드 마운트 디스플레이 장치는, 사용자 머리에 착용가능한 헤드 마운트 디스플레 장치로서, 소정 영상을 표시할 수 있다. 특히, 영상을 표시하는 디스플레이와, 표시되는 영상을 확대하는 렌즈부를 구비하여, 사용자가, 디스플레이에 표시되는 영상을 확대된 영상으로 인식하도록 할 수 있다.
이하에서는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치에 대해 기술한다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이고, 도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이고, 도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도의 일예이다.
도면을 참조하면, 사용자(700)는, 헤드 마운트 디스플레이 장치(100)를 머리에 착용할 수 있다. 도 1과 같이, 눈을 덮는 형태로, 착용 가능하며, 표시 영상의 몰입감 향상을 위해, 외부광 등은 차단되도록 하는 것이 바람직하다.
이러한 헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)는, 눕거나 앉아서, 재생되는 영상을 시청할 수 있게 된다.
한편, 도 2와 같이, 헤드 마운트 디스플레이 장치(100)는 렌즈부(195L,195R)를 구비하며, 사용자의 눈에, 렌즈부(195L,195R)를 통해 확대되는 영상을 제공한다.
도 3은, 헤드 마운트 디스플레이 장치(100)의 상측 단면도의 일예를 나타낸다. 사용자(700)의 양안(710L,710R)에 일정 간격 이격되어, 헤드 마운트 디스플레이 장치(100)의 렌즈부(195L,195R)가 위치하며, 디스플레이(300L,300R)에서 각각 표시되는 영상은, 렌즈부(195L,195R)를 거쳐 확대되어, 사용자 양안(710L,710R)에 입사된다. 이에 따라, 사용자(700)는, 도면과 같이, 확대된 영상(300L,300R)을 인식할 수 있게 된다. 이때의 확대된 영상(300L,300R)은 허상 영상(virtual image)이다.
한편, 외부 환경 감지를 위해, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100)는, 카메라(120)와, 오디오 입력부(110)를 구비할 수 있다.
카메라(120)는, 외부 환경의 영상을 촬영할 수 있다. 이를 위해, 카메라(120)는, 헤드 마운트 디스플레이 장치(100)의 외관에 부착 가능하며, 도면에서는, 헤드 마운트 디스플레이 장치(100)의 외관 중 가운데 부분에 배치되는 것을 예시한다.
한편, 도면에서는 1개의 카메라만을 예시하나, 복수개의 카메라를 사용하는 것도 가능하다. 한편, 카메라는 CMOS, CCD 센서 형태일 수 있으나, 이에 한정되지 않고, 외부와의 거리 검출을 위한 적외선 카메라 등을 포함하는 개념일 수 있다.
오디오 입력부(110)는, 주변 환경에서 발생하는 사운드를 획득할 수 있다. 이를 위해, 오디오 입력부(110)는, 마이크를 구비할 수 있다.
도면에서는, 보다 정확한 주변 사운드 획득을 위해, 2개의 오디오 입력부(110R,110R)가 헤드 마운트 디스플레이 장치(100)의 외관에 부착되는 것을 예시하나, 1개의 오디오 입력부 사용도 가능하며, 다양한 예가 가능하다.
한편, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100)는, 개폐동작에 의해, 외부로부터의 광을 차단하거나, 광을 투과하는 셔터부(160)를 더 구비할 수 있다.
도면에서는, 헤드 마운트 디스플레이 장치(100) 내에, 좌안 셔터부(160L), 우안 셔터부(160R)가 각각 배치되는 것을 예시한다.
좌안 셔터부(160L)와, 우안 셔터부(160R)는, 셔터에 의해, 개방되거나 닫힐 수 있다. 좌안 셔터부(160L)와, 우안 셔터부(160R)가 개방되는 경우 외부로부터의 광이, 좌안 셔터부(160L), 우안 셔터부(160R)를 투과하여, 사용자의 양안(710L,710R)으로 전달될 수 있으며, 좌안 셔터부(160L)와, 우안 셔터부(160R)가 닫히는 경우, 외부로부터의 광이, 차단되어, 헤드 마운트 디스플레이 장치(100)로 공급되지 않게 된다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 오디오 입력부(110), 카메라(120), 센서부(130), 통신 모듈(135), 메모리(140), 오디오 출력부(155), 셔터부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195)를 구비할 수 있다.
오디오 입력부(110)는, 외부 사운드를 수신할 수 있다. 그리고, 오디오 입력부(110)는, 수신되는 외부 사운드를 프로세서(170)로 전송할 수 있다.
카메라(120)는, 외부 환경의 영상을 촬영할 수 있다. 예를 들어, 카메라(120)는, 전원 온 이후, 외부 환경에 대한 영상을 촬영할 수 있다. 그리고, 카메라(120)는, 촬영된 영상을 프로세서(170)로 전송할 수 있다.
센서부(130)는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다.
예를 들어, 센서부(130)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 구비할 수 있다.
모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100)의 위치나 움직임 등을 감지한다.
가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
근접센서(미도시)는 헤드 마운트 디스플레이 장치(100)로 접근하는 물체나, 헤드 마운트 디스플레이 장치(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다.
압력센서(미도시)는 헤드 마운트 디스플레이 장치(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.
통신 모듈(135)은, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신 모듈(135)은, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신 모듈(135)은, 이동 단말기로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기로, 헤드 마운트 디스플레이 장치(100)의 상태 정보 등을 전송할 수도 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)로부터, 사용자(700)의 시력 정보를 수신할 수 있다.
메모리(140)는, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
한편, 메모리(140)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.
오디오 출력부(155)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(155)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.
셔터부(160)는, 개폐 동작에 의해 외부 광을 차단하거나 투과한다. 이를 위해, 셔터부(160)는, 사용자의 양안 방향에, 대응하여, 헤드 마운트 디스플레이 장치(100) 내에, 좌안 셔터부(160L), 우안 셔터부(160R)로 구현될 수 있다.
좌안 셔터부(160L)와, 우안 셔터부(160R)는, 셔터에 의해, 개방되거나 닫힐 수 있다. 좌안 셔터부(160L)와, 우안 셔터부(160R)가 개방되는 경우 외부로부터의 광이, 좌안 셔터부(160L), 우안 셔터부(160R)를 투과하여, 사용자의 양안(710L,710R)으로 전달될 수 있으며, 좌안 셔터부(160L)와, 우안 셔터부(160R)가 닫히는 경우, 외부로부터의 광이, 차단되어, 헤드 마운트 디스플레이 장치(100)로 공급되지 않게 된다.
프로세서(170)는, 헤드 마운트 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장된 또는 통신 모듈(1345)을 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(155)에 출력할 수 있다.
다른 예로, 프로세서(170)는, 센서부(130)에서 감지되는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.
본 발명의 실시예와 관련하여, 프로세서(170)는, 헤드 마운트 디스플레이(180) 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
예를 들어, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 셔터부(160)를 개방하도록 제어할 수 있다. 이에 의해, 외부 광이, 사용자 양안으로 전달될 수 있으며, 결국, 사용자는 육안으로 외부 환경을 인식할 수 있게 된다.
다른 예로, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 카메라(120)로부터 촬영된 영상을 디스플레이(180)에 표시하도록 제어할 수 있다. 이때, 셔터부(160)는 닫힌 상태일 수 있으며, 이에 의해, 외부 광이, 사용자 양안으로 전달되지는 않으나, 촬영 영상이 디스플레이(180)에 표시되므로, 결국, 사용자는 촬영 영상을 통해, 외부 환경을 인식할 수 있게 된다.
한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 지에 대해, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화 감지, 및 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화 감지 중 적어도 하나를 수행할 수 있다.
구체적으로, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다. 다른 예로, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다. 또 다른 예로, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 세기 레벨이 제3 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우에도, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 카메라(120)로부터 촬영된 영상에 기초하여, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리를 검출할 수 있으며, 검출된 거리가 소정 거리 이내인 경우, 셔터부(160)를 개방하도록 제어할 수 있다. 이때, 디스플레이(180)는 기존 표시 영상 외에, 다른 정보를 표시하거나, 아예, 디스플레이(180)가 오프(off)되는 것도 가능하다.
한편, 프로세서(170)는, 오디오 입력부(110)를 통해 수신되는 외부 사운드에서 소정 사운드가 반복하여 수신되는 경우, 셔터부(160)를 개방하도록 제어할 수 있다. 이때, 디스플레이(180)는 기존 표시 영상 외에, 다른 정보를 표시하거나, 아예, 디스플레이(180)가 오프(off)되는 것도 가능하다.
한편, 프로세서(170)는, 디스플레이(180)에 영상 표시시에는, 셔터부(160)가 닫히도록 제어할 수 있다.
한편, 프로세서(170)는, 표시되는 영상의 재생이 종료되는 경우, 셔터부(160)를 개방하도록 제어할 수 있다.
한편, 프로세서(170)는, 센서부(135)를 통해 감지되는 사용자의 움직임 방향에 대응하여, 디스플레이(180)에 표시되는 영상을 이동시켜 표시함으로써, 사용자의 흔들림에 따른 영상의 흔들림을 방지할 수 있다.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 통신 모듈(135)을 통해 수신되는 사용자(700)의 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절할 수 있다.
한편, 프로세서(170)는, 디스플레이(180)에 표시되는 영상의 컨텐츠 종류에 따라, 사용자(700)의 움직임에 대응하여 수행되는 동작을 가변할 수 있다.
한편, 프로세서(170)는, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변하도록 제어할 수 있다.
디스플레이(180)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이(180)는, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
한편, 구동부(193)는, 프로세서(170)의 제어에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변할 수 있다. 이를 위해, 구동부(193)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 구비할 수 있다. 이러한 모터의 동작에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리가 가변될 수 있다.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 6 내지 도 10은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.
먼저, 헤드 마운트 디스플레이 장치(100)는, 소정 영상을 디스플레이(180)에 표시한다(S510).
헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 사용자 입력에 따라, 해당하는 영상을 재생하여 디스플레이(180)에 표시하도록 제어할 수 있다. 이에 따라, 사용자(700)는, 렌즈부(195)를 통해 확대되는 허상의 영상을 시청할 수 있게 된다.
도 7(a)는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 소정의 영상(610)을 시청하는 것을 예시한다.
다음, 헤드 마운트 디스플레이 장치(100)는, 외부 환경 변화를 감지한다(520). 다음, 헤드 마운트 디스플레이 장치(100)는, 감지되는 외부 환경 변화가 기준치 이상인 지 여부를 판단하고(S530), 해당하는 경우, 외부 환경 정보를 사용자에게 제공할 수 있다(S540).
본 발명의 실시예와 관련하여, 프로세서(170)는, 헤드 마운트 디스플레이(180) 장치가 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 지에 대해, 카메라(120)로부터의 촬영 영상, 및 오디오 입력부(155)를 통해 수신되는 외부 사운드 중 적어도 하나에 기초하여, 외부 환경 변화가 기준치 이상인 지 여부를 판단할 수 있다.
예를 들어, 프로세서(170)는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 소정의 영상(610)을 시청하는 도중에, 카메라(120) 또는 오디오 입력부(155) 중 적어도 하나를 활성화시켜, 카메라(120)로부터의 촬영 영상, 또는 오디오 입력부(155)를 통해 수신되는 외부 사운드 중 적어도 하나를 수신할 수 있다.
그리고, 프로세서(170)는, 수신되는 촬영 영상 또는 외부 사운드를 프레임 단위로 비교할 수 있다.
예를 들어, 프로세서(170)는, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
다른 예로, 프로세서(170)는, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
또 다른 예로, 프로세서(170)는, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 세기 레벨이 제3 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
또 다른 예로, 프로세서(170)는, 카메라(120)로부터의 촬영 영상의, 프레임 별 영상 변화율이 제1 허용치 이상이며, 오디오 입력부(155)를 통해 수신되는 외부 사운드의 프레임별 사운드 변화율이 제2 허용치 이상인 경우, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
한편, 프로세서(170)는, 외부 대상물과 헤드 마운트 디스플레이 장치(100) 사이의 거리가 소정거리 이내이거나, 외부로부터 수신되는 소정 사운드가 반복되는 경우에도, 외부 환경 변화가 기준치 이상인 것으로 판단할 수도 있다.
한편, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하도록 제어할 수 있다.
예를 들어, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 셔터부(160)를 개방하도록 제어할 수 있다. 이에 의해, 외부 광이, 사용자 양안으로 전달될 수 있으며, 결국, 사용자는 육안으로 외부 환경을 인식할 수 있게 된다.
다른 예로, 프로세서(170)는, 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 사용자에게 제공하기 위해, 카메라(120)로부터 촬영된 영상을 디스플레이(180)에 표시하도록 제어할 수 있다. 이때, 셔터부(160)는 닫힌 상태일 수 있으며, 이에 의해, 외부 광이, 사용자 양안으로 전달되지는 않으나, 촬영 영상이 디스플레이(180)에 표시되므로, 결국, 사용자는 촬영 영상을 통해, 외부 환경을 인식할 수 있게 된다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 외부 환경 감지, 및 소비전력 저감을 위해, 카메라(120) 보다, 우선적으로, 오디오 입력부(110)를 활성화시킬 수 있다. 즉, 오디오 입력부(110)의 전원을 온 시켜놓을 수 있다. 그리고, 오디오 입력부(110)는, 외부로부터 사운드를 획득하여, 획득된 사운드를 프로세서(170)로 전송할 수 있다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 수신되는 사운드가 소정 레벨 이상인 지 여부를 판단할 수 있으며, 소정 레벨 이상인 경우, 헤드 마운트 디스플레이 장치(100)는, 부착되는 카메라의 전원을 온 시킬 수도 있다. 이에 따라, 카메라(120)는, 바로 외부 환경에 대한 영상을 촬영할 수 있다. 그리고, 촬영된 영상을 프로세서(170)로 전송할 수 있다.
한편, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)는, 카메라 촬영 영상에 기초하여, 외부 대상물과의 거리를 검출할 수 있다. 예를 들어, 예를 들어, 촬영된 영상 내의 외부 대상물의 크기를 통해, 외부 대상물과의 거리를 유추할 수 있다. 다른 예로, 카메라(120)가 복수개 구비되는 경우, 각각 촬영된 영상을 비교하여, 양안 시차(disparity)를 산출하고, 양안 시차에 기초하여, 거리를 검출하는 것도 가능하다. 또 다른 예로, 카메라(120)가 TOF(Time of Flight) 방식의 거리 센서를 구비하는 경우, 거리 센서에서 센싱된 신호에 기초하여, 거리를 검출할 수도 있다.
도 7 내지 도 10은 도 5의 동작 방법의 설명에 참조되는 도면이다.
먼저, 도 7은 카메라(120) 촬영 영상에 기초하여, 셔터부가 개방되는 것을 예시한다.
도 7(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 사용자(700) 전면에, 다른 사용자(800)가 위치할 수 있다. 도 7(a)에서는 사용자(700)와 다른 사용자(800) 사이의 거리가, Da로서 충분히 떨어진 것을 예시한다.
이러한 경우, 별도의 주의가 필요없는 상태이므로, 셔터부(160)는 폐쇄되고, 디스플레이(180)는 재생 영상을 계속하여 표시하는 것이 바람직하다.
이때, 카메라(120)는 활성화되어, 헤드 마운트 디스플레이 장치(100)와 다른 사용자(800) 사이의 거리 측정을 위해, 다른 사용자(800)를 포함하는 영상을 촬영할 수 있다. 그리고, 프로세서(170)는 촬영된 영상에 기초하여, 거리 검출을 수행할 수 있다.
도 7(b)와 같이, 다른 사용자(800)가, 사용자(700) 방향으로 다가오는 경우, 카메라(120)는 영상을 촬영하고, 프로세서(170)는 촬영된 영상(617)에 기초하여, 거리 검출을 수행할 수 있다. 그리고, 프로세서(170)는 검출된 거리가 소정 거리 이내인 지 여부를 판단한다.
도면과 같이, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 프로세서(170)는, 외부 환경 변화가 기준치 이상인 것으로 판단하고, 셔터부(160)의 개방을 결정할 수 있다.
이에 따라, 도 7(c)와 같이, 셔터부(160)가 개방되게 된다. 사용자는 개방된 좌안 셔터부(160L), 우안 셔터부(160R)를 통해, 근접 거리 이내로 다가온, 다른 사용자(800)를 육안으로 확인할 수 있게 된다.
다음, 도 8은 오디오 입력부(110)에 수신되는 사운드에 기초하여, 셔터부가 개방되는 것을 예시한다.
도 8(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 사용자(700) 전면에 위치하는, 다른 사용자(800)가 소정 사운드(807)를 출력할 수 있다.
이에 따라, 프로세서(170)는, 오디오 입력부(110)를 통해 소정 사운드(807)를 수신하고, 카메라(110)의 전원을 온시킬 수 있다. 그리고, 촬영된 영상에 기초하여, 거리 검출을 수행하면서, 검출되는 거리가, 설정된 소정 거리 이내인 지 여부를 판단할 수 있다.
한편, 도 8(a)에서는 사용자(700)와 다른 사용자(800) 사이의 거리가, Da로서 충분히 떨어진 것을 예시한다.
이러한 경우, 별도의 주의가 필요없는 상태이므로, 셔터부(160)는 폐쇄되고, 디스플레이(180)는 재생 영상을 계속하여 표시하는 것이 바람직하다.
도 8(b)와 같이, 다른 사용자(800)가 도 8(a)와 같은 위치에서, 동일한 사운드를 반복하여 출력하는 경우, 프로세서(170)는, 오디오 입력부(110)를 통해 반복되는 사운드(808)를 수신하고, 반복되는 사운드(808)에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단하여, 셔터부(160)의 개방을 결정할 수 있다.
이에 따라, 도 8(c)와 같이, 셔터부(160)가 개방되게 된다. 사용자는 개방된 좌안 셔터부(160L), 우안 셔터부(160R)를 통해, 다른 사용자(800)를 육안으로 확인할 수 있게 된다.
도 9는 카메라(120) 촬영 영상에 기초하여, 촬영 영상이 디스플레이에 표시되는 것을 예시한다.
도 9는 도 7과 유사하나, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 셔터부(160)는 폐쇄한 상태에서, 촬영 영상을 디스플레이(180)에 표시하는 것에 그 차이가 있다.
즉, 도 9(c)와 같이, 카메라(120)를 통해 촬영된 영상(617)과 시청하고 있던 영상(612)이 함께 표시될 수 있다. 이에, 사용자는, 촬영된 영상(617)을 통해, 외부 상황을 확인할 수 있게 된다.
다음, 도 10는 오디오 입력부(110)에 수신되는 사운드에 기초하여, 촬영 영상이 디스플레이에 표시되는 것을 예시한다.
도 10은 도 8과 유사하나, 다른 사용자(800)가 동일한 사운드를 반복하여 출력하는 경우, 셔터부(160)는 폐쇄한 상태에서, 촬영 영상을 디스플레이(180)에 표시하는 것에 그 차이가 있다.
즉, 도 10(c)와 같이, 카메라(120)를 통해 촬영된 영상(617)과 시청하고 있던 영상(612)이 함께 표시되게 된다. 이에, 사용자는, 촬영된 영상(617)을 통해, 외부 상황을 확인할 수 있게 된다.
도 11은 도 1의 헤드 마운트 디스플레이(180) 장치의 단면도의 다른 예이다.
도 11(a) 내지 도 11(b)의 헤드마운트 디스플레이 장치(100)는, 도 3의 헤드마운트 디스플레이 장치(100)와 유사하나, 셔터부(160)와 디스플레이(180)가 일렬로 배치되는 것에 그 차이가 있다. 또한, 디스플레이(180)는, 투명 디스플레이인 것에 그 차이가 있다.
도 11(a)는, 제1 프레임 구간 동안, 셔터부(160)가 폐쇄(close)되어, 외부 광이 차단되는 것을 예시하며, 도 11(b)는, 제2 프레임 구간 동안, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 것을 예시한다.
셔터부(160)가 폐쇄(close)되어, 외부 광이 차단되는 제1 프레임 구간 동안, 디스플레이(180)는, 소정 영상을 표시할 수 있으며, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 제2 프레임 구간 동안, 디스플레이(180)는, 외부 환경과 관련한 정보를 표시할 수 있다.
이를 위해, 외부 환경과 관련된 정보는, 상술한 바와 같이, 카메라(120)를 통해 촬영된 영상, 또는 오디오 입력부(110)에 수신되는 사운드에 기초하여 획득할 수 있다.
한편, 셔터부(160)가 개방(open)되어, 외부 광이 투과하는 제2 프레임 구간 동안, 외부 환경과 관련한 정보를 표시하기 위해, 디스플레이(180)는, 투명 디스플레이인 것이 바람직하다.
도 12a 내지 도 12c는 도 11의 디스플레이의 일예를 설명하는 도면이다.
먼저, 도 12a는 본 발명의 일실시예에 따른 디스플레이(180)의 단면도를 예시한다. 디스플레이(180)는, 상판 글래스(910)와 하판 글래스(920), 상판 글래스(910)와 하판 글래스(920) 사이에 배치되는 제1 전극(915) 및 제2 전극(925), 제1 전극(915)과 제2 전극(925) 사이에 배치되는 발광체(930)를 포함할 수 있다.
상판 글래스(910)와 하판 글래스(920)는 투명 글래스일 수 있으며, 상판 글래스(910)와 하판 글래스(920) 사이에 배치되는 제1 전극(915) 및 제2 전극(925)은, ITO와 같은 투명 전극일 수 있다.
제1 전극(915)과 제2 전극(925) 사이에 배치되는 발광체(930)는, 제1 전극(915)과 제2 전극(925) 사이에 인가되는 전원에 따라, 발광하여, 광을 출력할 수 있다.
한편, 제1 전극(915)과 제2 전극(925) 사이에 이방체가 배치되는 것도 가능하다. 이러한 경우, 1 전극(915)과 제2 전극(925) 사이에 인가되는 전원에 따라, 배열 방향을 가변할 수 있게 된다. 한편, 발광체(930)는 액정(liquid crystal)일 수 있다. 발광체(930)가 액정인 경우, 별도로 빛을 발광하는 램프가 더 구비될 수 있다.
다음, 도 12b는 도 12a의 셔터부의 상판 글래스와 제1 전극의 배치를 예시하는 도면이다.
도면에서는, 상판 글래스에 배치되는 제1 전극(915)이, 수직 방향으로 배치되는 것을 예시한다. 도면에서는, m개의 제1 전극들(V1, ,...VmN)이 수직 방향으로 배치되는 것을 예시한다. 한편, 도면에서는 제1 전극들(V1, ,...VmN)이 전기적으로 접속되는 것으로 도시하나, 이와 달리, 서로 이격될 수 있다.
다음, 도 12c는 도 12a의 셔터부의 상판 글래스와 제2 전극의 배치를 예시하는 도면이다.
도면에서는, 하판 글래스에 배치되는 제2 전극(925)이, 수평 방향으로 평행하게 배치되는 것을 예시한다. 도면에서는, n개의 제2 전극들(H1, ,...HN)이 수평방향으로 배치되는 것을 예시한다.
한편, 제1 및 제2 전극들에, 소정 전원이 인가되면, 투명 디스플레이(180) 상에, 소정 영상이 표시되거나, 외부 환경과 관련된 정보가 표시될 수 있다.
특히, 소정 영상 표시시, 투명 디스플레이(180) 뒤에 배치되는 셔터부(160)가 닫히므로, 셔터부(160) 개방시에 비해, 소정 영상의 명암비가 향상될 수 있다. 한편, 외부 환경 관련 정보 표시시에는, 투명 디스플레이(180) 뒤에 배치되는 셔터부(160)가 개방될 수 있다.
도 13 내지 도 14는 도 11의 헤드 마운트 디스플레이(180) 장치의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 13은 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 셔터부(160)를 개방하고, 디스플레이(180)에 외부 환경 정보를 표시하는 것을 예시한다.
도 13(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 다른 사용자(800)가 설정된 허용 거리(Dth) 이내로 다가오는 경우, 프로세서(170)는, 카메라(120)를 통한 촬영 영상에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
이에 따라, 프로세서(170)는, 도 13(b)와 같이, 셔터부(160)를 개방하도록 제어할 수 있다.
그리고, 셔터부(160)에 일렬로 배치되는 투명 디스플레이(180)는, 도 13(c)와 같이, 외부 환경 정보, 예를 들어, '접근중'(1015)를 표시할 수 있다. 이에 따라, 사용자(700)는 육안으로, 실제 외부 환경 영상, 즉 다른 사용자(800) 영상(1010)과, 투명 디스플레이(180)에 표시되는 외부 환경 정보(1015)를 동시에 인식할 수 있게 된다. 따라서, 사용자 이용 편의성이 증대될 수 있다.
한편, 도면에서 표시되는 '접근중'(1015)이라는 정보 외에, 통신 모듈(135) 등을 통해 획득한, 다른 사용자(800)에 대한 정보를, 투명 디스플레이(180)에, 표시하는 것도 가능하다.
다음, 도 14는 오디오 입력부(110)에 수신되는 사운드에 기초하여, 셔터부(160)를 개방하고, 디스플레이(180)에 외부 환경 정보를 표시하는 것을 예시한다.
도 14(a)와 같이, 사용자(700)가, 헤드 마운트 디스플레이 장치(100)를 착용한 상태에서, 다른 사용자(800)가 동일한 사운드(808)를 반복하여 출력하는 경우, 프로세서(170)는, 오디오 입력부(110)를 통해 수신한 사운드에 기초하여, 외부 환경 변화가 기준치 이상인 것으로 판단할 수 있다.
이에 따라, 프로세서(170)는, 도 14(b)와 같이, 셔터부(160)를 개방하도록 제어할 수 있다.
그리고, 셔터부(160)에 일렬로 배치되는 투명 디스플레이(180)는, 도 14(c)와 같이, 외부 환경 정보, 예를 들어, 반복되는 사운드를 나타내는 정보인 '밥먹어'(1025)를 표시할 수 있다. 이에 따라, 사용자(700)는 육안으로, 실제 외부 환경 영상, 즉 다른 사용자(800) 영상(1020)과, 투명 디스플레이(180)에 표시되는 외부 환경 정보(1025)를 동시에 인식할 수 있게 된다. 따라서, 사용자 이용 편의성이 증대될 수 있다.
한편, 도면에서 표시되는 '밥먹어'(1025)이라는 정보 외에, 통신 모듈(135) 등을 통해 획득한, 다른 사용자(800)에 대한 정보를, 투명 디스플레이(180)에, 표시하는 것도 가능하다.
도 15는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 16은 도 15의 동작 방법을 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 소정 영상을 디스플레이(180)에 표시한다(S1310).
다음, 헤드 마운트 디스플레이 장치(100)는, 사용자의 제1 방향 움직임을 감지한다(S1320). 그리고, 헤드 마운트 디스플레이 장치(100)는, 표시 영상의 흔들림 방지를 위해, 제1 방향과 반대 방향으로 표시 영상을 이동시켜 표시한다(S1330).
도 16(a)는, 센서부(130a)가 헤드 마운트 디스플레이 장치(100)의 외관에 부착되는 것을 예시한다.
센서부(130a)는, 사용자의 움직임, 특히, 사용자의 움직임 방향을 감지한다. 이에 따라, 센서부(130a)는, 가속도 센서, 자이로 센서 등에 의한 센싱 신호를 출력할 수 있다. 그리고, 프로세서(170)는, 센서부(130a)로부터의 센싱 신호에 대응하여, 사용자의 움직임 방향, 및 움직임 거리 등을 파악할 수 있게 된다.
한편, 도 16(b)와 같이, 영상 재생 중에, 포커싱이 맞지 않는 영상(1120)이 있는 경우, 프로세서(170)는, 내부 신호 처리에 의해, 포커싱 신호 처리를 수행할 수 있다. 예를 들어, 영상 내의 샤프니스 레벨이 소정 레벨 이하인 경우, 샤프니스 레벨이 높아지도록, 신호 처리를 수행하여, 포커싱 신호 처리를 수행할 수 있다. 이에 따라, 도면과 같이, 포커싱 처리된 영상(1125)을 표시할 수 있다.
도 16(c)는, 사용자의 상,하 움직임에 따라, 표시 영상(1130)의 상부, 하부 영역이 흔들리면서, 포커싱이 흐트러지는 것을 예시한다. 프로세서(170)는, 감지되는 움직임 방향 및 움직임 거리 등에 기초하여, 역방향으로 영상을 이동 시키는 등의 신호 처리를 수행할 수 있다. 이에 따라, 도면과 같이, 움직임 보정된 영상(1135)을 표시할 수 있다.
한편, 도 15 내지 도 16에서 설명한, 사용자 움직임에 따른 영상 보정 및 포커싱 신호 처리는, 앞서 설명한, 도 5의 동작방법, 및 도 7의 동작방법에 대해 모두 적용가능하다.
즉, 제510 단계(S510), 및 제810 단계(S810)에서의 각각 영상 표시시, 사용자 움직임이 발생하거나, 포커싱이 안맞는 경우, 도 15 내지 도 16의 동작방법이 수행될 수 있다.
한편, 헤드 마운트 디스플레이 장치(100)는, 사용자 머리(705)에 착용 가능한 디스플레이 장치이므로, 사용자 시력에 따른, 영상 표시를 수행하는 것이 바람직하다.
사용자 시력에 대응하는 영상 표시의 일 방법으로는, 도 4의 설명에서 언급한 바와 같이, 렌즈부(195)의 위치를 이동시켜, 사용자 눈과, 렌즈부(195)의 위치를 가변하는 방법이 있다.
다른 방법으로는, 렌즈부(195)의 위치 이동 없이, 표시할 영상에 대한 신호 처리를 수행하는 방법이 있다.
이러한 방법들은 모두, 사용자의 시력 정보를 기반으로 수행되는 것이 바람직하다.
이에, 본 발명의 실시예에서는, 사용자의 시력 정보를, 외부 장치로부터 수신하고, 시력 정보에 기초하여, 표시할 영상에 대한 신호 처리를 수행하는 방안을 제시한다.
먼저, 도 17는, 사용자 시력 정보를 외부 장치(1300)로부터 수신하고, 수신되는 시력 정보에 따라, 컨텐츠의 포커싱을 조정하는 것을 예시한다.
도 17(a)과 같이, 표시되는 영상(1310) 중 일부 영역(1315)에 대한 초점이 맞지 않는 경우, 사용자(700)는 이를 잘 인식할 수 없게 된다.
헤드 마운트 디스플레이 장치(100)는, 영상 컨텐츠 재생을 위해, 외부 장치(1300)로 시력 정보 전송 요청을 수행할 수 있으며, 외부 장치(1300)로부터 대응하는 사용자의 시력 정보(1305)를 통신 모듈(135)을 통해 수신할 수 있다.
이때의 외부 장치(1300)는, 사용자의 시력 정보, 예를 들어, 디옵터 정보를 저장하고 있는 이동 단말기(미도시) 또는 서버(미도시) 등일 수 있다.
프로세서(170)는, 수신되는 시력 정보(1305)에 대응하여, 재생할 영상에 대한 영상 신호 처리를 수행할 수 있다.
예를 들어, 프로세서(170)는, 사용자 시력 정보에 대응하여, 영상 내에 포커싱할 영역을 결정하고, 결정된 포커싱 영역에 대한, 샤프니스 등을 강화하여, 포커싱을 강조할 수 있다.
포커싱 영역 결정시, 프로세서(170)는, 영상 내의 깊이를 산출하고, 산출되는 깊이에 따라, 포커싱 영역을 결정할 수 있다. 예를 들어, 사용자가 시력이 안 좋을수록, 먼 영상이 잘 안 보이므로, 깊이가 작은, 영상 영역을 선택하여, 포커싱을 수행할 수 있다.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.
도 2의 헤드 마운트 디스플레이 장치(100)의 배면도에서는 도시하지 않았지만, 좌안 렌즈부(195L)와 우안 렌즈부(195R) 사이에, 사용자 시선을 촬영하기 위한 제2 카메라(미도시)가 더 배치될 수 있다.
프로세서(170)는, 제2 카메라로부터 사용자 시선을 촬영을 수신하고, 사용자의 눈동자의 움직임을 파악할 수 있다.
그리고, 프로세서(170)는, 도 18과 같이, 사용자 시선의 움직임에 따라, 메뉴 표시 영역을 결정하고, 해당 영역에 메뉴를 표시하도록 제어할 수 있다.
도 18(a)는, 사용자의 좌안(710L)과 우안(710R)의 각 눈동자(701L,701R)가 모두 우측으로 이동하는 경우, 표시 영상(1410)의 우측 영역(1420)에 메뉴(1425)가 표시되는 것을 예시한다. 이에 따라, 사용자 이용 편의성이 증대될 수 있다.
그리고, 프로세서(170)는, 메뉴가 표시된 상태에서, 사용자의 머리 움직임에 기초하여, 해당 항목을 선택할 수 있다.
프로세서(170)는, 도 18(b)와 같이, 사용자(700)가 머리(705)을 끄덕이면, 메뉴 내의 포커싱된 항목을 선택하는 것으로 판단할 수 있다.
한편, 프로세서(170)는, 도 18(c)와 같이, 사용자(700)가 머리(705)을 상 또는 하로 움직이면, 메뉴 내의 포커싱을 상 또는 하로 이동시키는 것으로 판단할 수 있다. 이에 의해, 사용자가 간편하게, 메뉴 내의 원하는 항목을 선택할 수 있게 된다.
한편, 프로세서(170)는, 재생되어 표시되는 컨텐츠 종류에 따라, 사용자의 움직임에 대응하는 동작을 가변할 수 있다.
도 19(a)는 영화 컨텐츠(1510)와 컨텐츠 종류를 나타내는 오브젝트(1515)가 함꼐 표시되는 것을 예시한다.
이때, 프로세서(170)는, 도 19(b)와 같이, 사용자(700)가 머리(705)을 끄덕이면, 'yes', 도 19(c)와 같이, 사용자(700)가 머리(705)을 가로 저으면, 'no', 도 19(d)와 같이, 좌로 이동하면, '이전 시점으로 이동 재생', 도 19(e)와 같이 우로 이동하면, '이후 시점으로 이동 재생' 등의 동작을 수행하도록 제어할 수 있다.
도 20(a)는 방송 영상(1610)와 컨텐츠 종류를 나타내는 오브젝트(1615)가 함꼐 표시되는 것을 예시한다.
이때, 프로세서(170)는, 도 20(b)와 같이, 사용자(700)가 머리(705)을 하로 이동하면, '볼륨 다운', 도 20(c)와 같이, 사용자(700)가 머리(705)을 상으로 이동하면, '볼륨 업', 도 20(d)와 같이, 좌로 이동하면, '이전 채널 이동', 도 20(e)와 같이 우로 이동하면, '이후 채널 이동' 등의 동작을 수행하도록 제어할 수 있다.
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 헤드 마운트 디스플레이 장치의 동작방법은 헤드 마운트 디스플레이 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (16)

  1. 사용자 머리에 착용 가능한 헤드 마운트 디스플레이 장치의 동작방법에 있어서,
    소정 영상을 디스플레이에 표시하는 단계;
    상기 헤드 마운트 디스플레이 장치가 상기 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하는 단계;
    상기 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 상기 사용자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  2. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    상기 헤드 마운트 디스플레이 장치의 셔터부를 개방하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  3. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    카메라로부터 촬영된 영상을 상기 디스플레이에 표시하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  4. 제1항에 있어서,
    상기 외부 환경 정보 제공 단계는,
    상기 헤드 마운트 디스플레이 장치의 셔터부를 개방하는 단계; 및
    상기 외부 환경 정보를 상기 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  5. 제1항에 있어서,
    상기 외부 환경 변화 감지 단계는,
    카메라로부터 촬영된 영상의, 프레임 별 영상의 변화를 감지하는 단계; 및
    오디오 입력부를 통해 수신되는 외부 사운드의, 프레임 별 사운드의 변화를 감지하는 단계; 중 적어도 하나를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  6. 제1항에 있어서,
    상기 사용자의 움직임 방향을 감지하는 단계; 및
    상기 움직임 방향에 대응하여, 상기 표시되는 영상을 이동시켜 표시하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  7. 사용자 머리에 착용 가능한 헤드 마운트 디스플레이 장치에 있어서,
    소정 영상을 표시하는 디스플레이;
    상기 디스플레이에 표시되는 영상을 확대하는 렌즈부;
    개폐 동작에 의해 외부 광을 차단하거나 투과하는 셔터부;
    상기 헤드 마운트 디스플레이 장치가 상기 사용자 머리에 착용된 상태에서, 외부 환경 변화를 감지하고, 상기 감지되는 외부 환경 변화가 기준치 이상인 경우, 외부 환경 정보를 상기 사용자에게 제공하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 셔터부를 개방하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  9. 제7항에 있어서,
    영상을 촬영하는 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 카메라로부터 촬영된 영상을 상기 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  10. 제7항에 있어서,
    상기 디스플레이와 상기 셔터부는 일렬로 배치되며,
    상기 프로세서는,
    상기 외부 환경 정보를 상기 사용자에게 제공하기 위해, 상기 셔터부를 개방하도록 제어하며, 상기 외부 환경 정보 상기 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  11. 제10항에 있어서,
    상기 디스플레이는, 투명 디스플레이인 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  12. 제7항에 있어서,
    영상을 촬영하는 카메라; 및
    외부 사운드를 수신하는 오디오 입력부;를 더 포함하고,
    상기 프로세서는,
    상기 카메라로부터의 촬영 영상의, 프레임 별 영상 변화 감지, 및 상기 오디오 입력부를 통해 수신되는 외부 사운드의 프레임별 사운드 변화 감지 중 적어도 하나를 수행하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  13. 제7항에 있어서,
    상기 사용자의 움직임 방향을 감지하는 센서부;를 더 포함하며,
    상기 프로세서는,
    상기 움직임 방향에 대응하여, 상기 디스플레이에 표시되는 영상을 이동시켜 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  14. 제7항에 있어서,
    외부로부터 사용자의 시력 정보를 수신하는 통신 모듈;을 더 포함하고,
    상기 프로세서는,
    상기 수신되는 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  15. 제7항에 있어서,
    상기 프로세서는,
    상기 표시되는 영상의 컨텐츠 종류에 따라, 상기 사용자의 움직임에 대응하여 수행되는 동작을 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  16. 제7항에 있어서,
    상기 사용자의 눈과 상기 렌즈부 사이의 거리를 가변하는 구동부;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
KR20130079451A 2013-07-08 2013-07-08 헤드 마운트 디스플레이 장치 및 그 동작방법 KR20150006128A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130079451A KR20150006128A (ko) 2013-07-08 2013-07-08 헤드 마운트 디스플레이 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130079451A KR20150006128A (ko) 2013-07-08 2013-07-08 헤드 마운트 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20150006128A true KR20150006128A (ko) 2015-01-16

Family

ID=52569609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130079451A KR20150006128A (ko) 2013-07-08 2013-07-08 헤드 마운트 디스플레이 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR20150006128A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
WO2016126110A1 (ko) * 2015-02-05 2016-08-11 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
WO2017003069A1 (ko) * 2015-07-02 2017-01-05 삼성전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20170004816A (ko) * 2015-07-02 2017-01-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN107967885A (zh) * 2017-12-27 2018-04-27 北京枭龙防务科技有限公司 一种自动调整显示内容的透视型近眼显示装置及方法
KR20190000021U (ko) 2017-06-24 2019-01-03 송훈경 메모지부착 거울
US10217435B2 (en) 2015-05-20 2019-02-26 Samsung Electronics Co., Ltd. Electronic device for displaying screen and method of controlling same
US10643579B2 (en) 2016-01-20 2020-05-05 Samsung Electronics Co., Ltd. HMD device and method for controlling same

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016126110A1 (ko) * 2015-02-05 2016-08-11 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
US10217435B2 (en) 2015-05-20 2019-02-26 Samsung Electronics Co., Ltd. Electronic device for displaying screen and method of controlling same
WO2017003069A1 (ko) * 2015-07-02 2017-01-05 삼성전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20170004816A (ko) * 2015-07-02 2017-01-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
US10643579B2 (en) 2016-01-20 2020-05-05 Samsung Electronics Co., Ltd. HMD device and method for controlling same
US11164546B2 (en) 2016-01-20 2021-11-02 Samsung Electronics Co., Ltd. HMD device and method for controlling same
KR20190000021U (ko) 2017-06-24 2019-01-03 송훈경 메모지부착 거울
CN107967885A (zh) * 2017-12-27 2018-04-27 北京枭龙防务科技有限公司 一种自动调整显示内容的透视型近眼显示装置及方法

Similar Documents

Publication Publication Date Title
KR101688298B1 (ko) 입체 영상 관찰 디바이스, 투과율 제어 방법 및 기록 매체
EP3029552B1 (en) Virtual reality system and method for controlling operation modes of virtual reality system
KR20150006128A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US10142618B2 (en) Imaging apparatus and imaging method
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20160299569A1 (en) Autonomous computing and telecommunications head-up displays glasses
KR102155001B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
JP6642430B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
KR20150026336A (ko) 웨어러블 디바이스 및 그 컨텐트 출력 방법
EP3671408B1 (en) Virtual reality device and content adjusting method therefor
US11487354B2 (en) Information processing apparatus, information processing method, and program
KR20170003364A (ko) 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US11327317B2 (en) Information processing apparatus and information processing method
KR20150057064A (ko) 전자 다바이스 및 그 제어방법
JP2014010460A (ja) 映像観察デバイスおよび透過率制御方法
KR20230063667A (ko) 전자 장치 및 그 동작 방법
JP2012205167A (ja) 立体映像用メガネ、立体映像用表示装置および立体映像表示システム
JP2016019257A (ja) 立体映像表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application