KR20170013737A - 헤드 마운트 디스플레이 장치 및 그 동작방법 - Google Patents

헤드 마운트 디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20170013737A
KR20170013737A KR1020150106812A KR20150106812A KR20170013737A KR 20170013737 A KR20170013737 A KR 20170013737A KR 1020150106812 A KR1020150106812 A KR 1020150106812A KR 20150106812 A KR20150106812 A KR 20150106812A KR 20170013737 A KR20170013737 A KR 20170013737A
Authority
KR
South Korea
Prior art keywords
viewpoint
image
head
user
memory
Prior art date
Application number
KR1020150106812A
Other languages
English (en)
Inventor
양달
허훈
정법성
신하림
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150106812A priority Critical patent/KR20170013737A/ko
Publication of KR20170013737A publication Critical patent/KR20170013737A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 사용자의 머리의 움직임을 감지하는 센서부와, 메모리와, 제1 시점 영상을 포함하는 확대 영상을 메모리에 저장하도록 제어하고, 제1 시점에 제1 시점 영상이 표시되도록 제어하며, 시점이 제1 시점에서 제2 시점으로 이동하는 경우, 제1 시점 영상에 포함되지 않은 영역을 메모리에서 독출하여, 제2 시점 영상을 생성하고, 생성된 제2 시점 영상을 표시하도록 제어하는 프로세서를 포함한다. 이에 의해, 시점 이동시에도 영상 신호 처리를 원활하게 수행할 수 있다.

Description

헤드 마운트 디스플레이 장치 및 그 동작방법{Head mount display apparatus and method for operating the same}
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이며, 더욱 상세하게는 시점 이동시에도 영상 신호 처리를 원활하게 수행할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다.
헤드 마운트 디스플레이 장치는 사용자의 머리에 착용하여 영상을 볼 수 있는 장치이다. 한편, 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용하므로, 사용자 입력을 수신하기 위한 수단이 제한적이다.
이에 따라, 헤드 마운트 디스플레이 장치에서 사용자 입력을 위한 다양한 연구가 진행되고 있다.
본 발명의 목적은, 시점 이동시에도 영상 신호 처리를 원활하게 수행할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 사용자의 머리의 움직임을 감지하는 센서부와, 메모리와, 제1 시점 영상을 포함하는 확대 영상을 메모리에 저장하도록 제어하고, 제1 시점에 제1 시점 영상이 표시되도록 제어하며, 시점이 제1 시점에서 제2 시점으로 이동하는 경우, 제1 시점 영상에 포함되지 않은 영역을 메모리에서 독출하여, 제2 시점 영상을 생성하고, 생성된 제2 시점 영상을 표시하도록 제어하는 프로세서를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법은, 제1 시점 영상 표시하는 단계와, 시점 이동에 따라 제1 시점에서 제2 시점으로 이동되는 경우, 저장된 제1 시점 영상로부터의 차분을 이용하여 제2 시점 영상을 생성하는 단계와, 제2 시점 영상을 표시하는 단계와, 시점 이동에 따라, 제2 시점에서 제3 시점으로 이동되는 경우, 저장된 제2 시점 영상로부터의 차분을 이용하여 제3 시점 영상을 생성하는 단계와, 제3 시점 영상을 표시하는 단계를 포함한다.
본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 사용자의 머리의 움직임을 감지하는 센서부와, 메모리와, 제1 시점 영상을 포함하는 확대 영상을 메모리에 저장하도록 제어하고, 제1 시점에 제1 시점 영상이 표시되도록 제어하며, 시점이 제1 시점에서 제2 시점으로 이동하는 경우, 제1 시점 영상에 포함되지 않은 영역을 메모리에서 독출하여, 제2 시점 영상을 생성하고, 생성된 제2 시점 영상을 표시하도록 제어하는 프로세서를 포함함으로써, 시점 이동시에도 영상 신호 처리를 원활하게 수행할 수 있게 된다.
특히, 영상 신호 처리시의, 영상 지연이 발생하지 않게 된다.
특히, 고해상도의 영상 표시시에 더욱, 효과적이게 된다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이다.
도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도 5는 헤드 마운트 디스플레이 장치에서의 헤드 트래킹을 예시하는 도면이다.
도 6은 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 7 내지 도 9는 도 6의 동작 방법을 설명하기 위해 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 명세서에서 기술되는 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용가능한 헤드 마운트 디스플레 장치로서, 소정 영상을 표시할 수 있다. 특히, 영상을 표시하는 디스플레이와, 표시되는 영상을 확대하는 렌즈부를 구비하여, 사용자가, 디스플레이에 표시되는 영상을 확대된 영상으로 인식하도록 할 수 있다.
이하에서는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치에 대해 기술한다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이고, 도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이고, 도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다.
도면을 참조하면, 사용자(700)는, 헤드 마운트 디스플레이 장치(100)를 머리에 착용할 수 있다. 도 1과 같이, 눈을 덮는 형태로, 착용 가능하며, 표시 영상의 몰입감 향상을 위해, 외부광 등은 차단되도록 하는 것이 바람직하다.
이러한 헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)는, 눕거나 앉아서, 재생되는 영상을 시청할 수 있게 된다.
한편, 도 2와 같이, 헤드 마운트 디스플레이 장치(100)는 렌즈부(195L,195R)를 구비하며, 사용자의 눈에, 렌즈부(195L,195R)를 통해 확대되는 영상을 제공한다.
도 3은, 헤드 마운트 디스플레이 장치(100)의 상측 단면도를 나타낸다. 사용자(700)의 양안(710L,710R)에 일정 간격 이격되어, 헤드 마운트 디스플레이 장치(100)의 렌즈부(195L,195R)가 위치하며, 디스플레이(300L,300R)에서 각각 표시되는 영상은, 렌즈부(195L,195R)를 거쳐 확대되어, 사용자 양안(710L,710R)에 입사된다. 이에 따라, 사용자(700)는, 도면과 같이, 확대된 영상(300L,300R)을 인식할 수 있게 된다. 이때의 확대된 영상(300L,300R)은 허상 영상(virtual image)이다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 센서부(130), 통신 모듈(135), 제1 메모리(140), 제2 메모리(145), 오디오 출력부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195)를 구비할 수 있다.
센서부(130)는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다.
예를 들어, 센서부(130)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 구비할 수 있다.
모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100)의 위치나 움직임 등을 감지한다.
가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
근접센서(미도시)는 헤드 마운트 디스플레이 장치(100)로 접근하는 물체나, 헤드 마운트 디스플레이 장치(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다.
압력센서(미도시)는 헤드 마운트 디스플레이 장치(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.
통신 모듈(135)은, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신 모듈(135)은, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신 모듈(135)은, 이동 단말기로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기로, 헤드 마운트 디스플레이 장치(100)의 상태 정보 등을 전송할 수도 있다.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)로부터, 사용자(700)의 시력 정보를 수신할 수 있다.
제1 메모리(140), 제2 메모리(145)는, 각각, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
한편, 제1 메모리(140), 제2 메모리(145)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.
한편, 제1 메모리(140)는, 제1 시점 영상을 포함하는 확대 영상을 저장할 수 있다.
한편, 제2 메모리(145)는, 제2 시점 영상의 일부와 제3 시점 영상을 포함하는 제2 확대 영상을 저장할 수 있다.
한편, 제1 메모리(140), 제2 메모리(145)는, 사용자의 머리 움직임에 대응하는 크기의 확대 영상을 저장하는 것이 바람직하다.
오디오 출력부(160)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(160)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.
프로세서(170)는, 헤드 마운트 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장된 또는 통신 모듈(1345)을 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(160)에 출력할 수 있다.
다른 예로, 프로세서(170)는, 센서부(130)에서 감지되는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.
프로세서(170)는, 제1 해상도의 영상을 수신하며, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시하도록 제어하며, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시하도록 제어할 수 있다.
예를 들어, 프로세서(170)는, 사용자(700) 머리의 상,하,좌, 또는 우 움직임에 대응하여, 제1 해상도의 영상의 다른 일부 영역을 표시하도록 제어할 수 있다.
다른 예로, 프로세서(170)는, 사용자(700) 머리의 앞 또는 뒤 움직임에 대응하여, 표시되는 제1 해상도의 일부 영역을 줌인 하거나 줌아웃하여 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 감지되는 사용자(700) 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변할 수 있다.
한편, 프로세서(170)는, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변하도록 제어할 수 있다.
한편, 본 발명의 실시예와 관련하여, 프로세서(170)는, 제1 시점 영상을 포함하는 확대 영상을 메모리(140)에 저장하도록 제어하고, 제1 시점에 제1 시점 영상이 표시되도록 제어하며, 시점이 제1 시점에서 제2 시점으로 이동하는 경우, 제1 시점 영상에 포함되지 않은 영역을 메모리(140)에서 독출하여, 제2 시점 영상을 생성하고, 생성된 제2 시점 영상을 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 제2 시점 영상이 확대 영상의 경계에 대응하는 경우, 제2 시점 영상의 일부와 제3 시점 영상을 포함하는 제2 확대 영상을 제2 메모리(145)에 저장하도록 제어할 수 있다.
한편, 프로세서(170)는, 시점이 제2 시점에서 제3 시점으로 이동하는 경우, 제2 시점 영상에 포함되지 않은 영역을 제2 메모리(145)에서 독출하여, 제3 시점 영상을 생성하고, 생성된 제3 시점 영상을 표시하도록 제어할 수 있다.
한편, 프로세서(170)는, 제3 시점 영상의 일부가, 확장 이미지를 벗어나는 경우, 확장 이미지를 가변하여 생성하도록 제어할 수 있다.
한편, 프로세서(170)는, 센서부(130)로부터 사용자의 머리 움직임에 대한 각도 정보에 기초하여, 시점 이동 여부를 판단할 수 있다.
디스플레이(180)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이(180)는, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
한편, 구동부(193)는, 프로세서(170)의 제어에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변할 수 있다. 이를 위해, 구동부(193)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 구비할 수 있다. 이러한 모터의 동작에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리가 가변될 수 있다.
도 5는 헤드 마운트 디스플레이 장치에서의 헤드 트래킹을 예시하는 도면이다.
도 5는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 제1 해상도의 영상(610) 중 일부 영역에 해당하는 영상(620)이 표시되는 것을 예시한다. 이때, 일부 영역에 해당하는 영상(620)의 가로 크기는 S1일 수 있다.
한편, 프로세서(170)는, 디스플레이(180)에 제1 해상도의 영상 중 일부 영역에 해당하는 영상(620)과 함께, 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(625)가 표시되도록 제어할 수 있다. 이에 의해, 사용자는, 시청하고 있는 영상이, 전체 영상 영역 중 일부 영상 영역인 것을 인식할 수 있게 된다.
한편, 헤드 마운트 디스플레이 장치(100)는, 센서부(130)를 이용하여, 사용자(700) 머리의 움직임을 감지할 수 있다.
센서부(130)는, 사용자(700)의 머리의 움직임을 감지할 수 있다. 구체적으로, 가속도 센서를 통해, X축, Y축, Z축 방향에 대한 가속도를 감지하고, 자이로 센서를 통해, 각속도를 감지할 수 있다.
프로세서(170)는, 센서부(130)에서 감지되는 센싱 신호에 기초하여, 사용자(700)의 머리의 움직임이, 상,하,좌, 또는 우로 이동인지, 앞, 뒤로 움직인지, 회전 움직임인 지 여부를 판단할 수 있다.
프로세서(170)는, 헤드 마운트 디스플레이 장치(100)는, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시한다(S540).
프로세서(170)는, 감지되는 사용자의 머리 움직임에 따라, 대응하는 동작을 수행한다.
특히, 프로세서(170)는, 제1 해상도의 영상 중 일부 영역을 디스플레이(180)에 출력하고 있는 상태에서, 사용자의 머리 움직임이 감지되면, 제1 해상도의 영상 중 다른 일부 영역을 디스플레이(180)에 출력할 수 있다.
구체적으로, 프로세서(170)는, 사용자(700) 머리의 상,하,좌, 또는 우 움직임에 대응하여, 제1 해상도의 영상의 다른 일부 영역을 표시하도록 제어할 수 있다.
도 5는, 사용자(700)의 머리(705)의 움직임이, 상,하,좌, 또는 우로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상 영역이 그에 대응하여, 상,하,좌, 또는 우로 이동하는 것을 예시한다. 이에 의해, 사용자는, 제1 해상도의 영상 중 미쳐 시청하고 있지 못한 영역 영역을 간단하게 확인할 수 있게 된다.
한편, 헤드 마운트 디스플레이 장치(100)를 통해, 가상 현실 표시(Vitual Reality Dusplay)가 가능하며, 이러한 경우, 도 4 등에는 도시하지 않았지만, 외부 환경 촬영을 위한 카메라가 더 구비될 수 있다.
그리고, 프로세서(170)는, 카메라에서 촬영된 이미지 상에, 가상 현실을 위한 오브젝트가 표시되도록 제어할 수 있다.
이러한 가상 현실 디스플레이를 위해, 사용자(700)의 머리(705)의 위치 변화, 그리고, 사용자의 이동 속도 변화가 중요한 요소로 작용할 수 있다.
즉, 가상 현실 디스플레이를 위해, 사용자(700)의 머리(705)의 위치 변화, 그리고, 사용자의 이동 속도 변화를 센싱하고, 이에 기초하여, 대응하는 가상 현실을 위한 오브젝트 또는 가상 현실 이미지가 표시되도록 할 수 있다.
한편, 이러한 사용자(700)의 머리(705)의 위치 변화 속도는, 사용자(700)의 이동 속도 보다 대략, 10배 이상 빠르다.
따라서, 사용자(700)의 머리(705)의 위치 변화에 의한 영상의 시점 변화가 영상 구현에 더 많은 영향을 미친다. 또한, 시점 변화를 실시간으로 반영하기 위하여, 디스플레이(180)에, 일반적인 방송 구동 속도(30Hz), 또는 영화 구동 속도(24Hz)보다, 더 빠른 60Hz~200Hz의 고속 구동이 필요하게 된다.
한편, 프로세서(170)는, 사용자(700)의 머리(705)의 위치 변화가 있는 경우, 시점 변화에 대응하여, 표시할 영상을 신호 처리하여야 하나, 디스플레이(180) 패널의 응답 속도 보다, 영상 신호 처리가 지연되는 경우, 표시되는 영상이 부드럽지 못하고 끌리는 듯한 영상 지연(Latency)이 발생하게 된다.
이러한 영상 지연(Latency) 현상은, 고해상도 영상 표시시 더욱 문제시 된다.
이에 따라, 본 발명에서는, 시점 이동에도 불구하고, 프로세서(170)에서의 영상 신호 처리시의, 영상 지연이 발생하지 않도록 하는 방안을 제시한다. 즉, 시점 이동시에도 영상 신호 처리를 원활하게 수행할 수 있는 방안을 제시한다. 이에 대해서는 도 6 이하를 참조하여 기술한다.
도 6은 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 7 내지 도 9는 도 6의 동작 방법을 설명하기 위해 참조되는 도면이다.
먼저, 도 6을 참조하면, 헤드 마운트 디스플레이 장치의 프로세서(170)는, 제1 시점 영상을 표시하도록 제어한다(S510).
다음, 프로세서(170)는, 사용자의 머리 이동에 따라, 시점이 제1 시점에서 제2 시점으로 이동하는 경우(S515), 제1 시점 영상로부터의 차분을 이용하여 제2 시점 영상을 생성한다(S515). 그리고, 제2 시점 영상을 표시하도록 제어한다(S515).
다음, 프로세서(170)는, 사용자의 머리 이동에 따라, 시점이 제2 시점에서 제3 시점으로 이동하는 경우(S530), 제2 시점 영상로부터의 차분을 이용하여 제3 시점 영상을 생성한다(S535). 그리고, 제3 시점 영상을 표시하도록 제어한다(S540).
도 7은, 시점 이동시의 영상 처리 방법을 예시하는 도면이다.
프로세서(170)는, 도 7의 (a)와 같이, 사용자(700)의 머리(705)의 위치 변화에 따라, 시점이 제1 시점(VP1)에서 제2 시점(VP2)으로 이동하는 경우, 제1 프레임에서 표시되는 제1 시점 영상(711)이 제2 시점 영상(713)으로 변경되도록 제어한다.
이에 따라, 사용자는, 도 7의 (b)와 같이, 제1 시점에서, 제1 영상(711)을 시청하고, 제2 시점에서 제2 영상(713)을 시청할 수 있게 된다.
한편, 상술한 바와 같이, 디스플레이(180) 패널의 응답 속도 보다, 영상 신호 처리가 지연되는 경우, 표시되는 영상이 부드럽지 못하고 끌리는 듯한 영상 지연(Latency)이 발생하게 된다.
이에 따라, 본 발명에서는, 도 8과 같이, 제1 프레임의 영상 구현시, 제1 프레임의 영상을 포함하는 확대 영상을, 미리 메모리(140)에 저장하였다가, 향후 시점 이동시, 이를 활용하는 것으로 한다.
도 8은, 본 발명의 실시예에 따른 시점 이동시의 영상 처리 방법의 일예를 예시하는 도면이다.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)의 FOV(Field Of View)를 X°라고 하고, 60Hz로 구동한다고 가정할 때, 연구 결과에 따른 인간의 머리 이동 시의 최대 각속도는 550°/sec이기 때문에, 1 프레임(frame) 안에, 인간이 움직일 수 있는 각속도 Y°는 550°/60Hz가 되어 약 9.2°가 된다.
이에 따라, 본 발명에서의 프로세서(170)는, X°+Y°의 FOV를 가지고 있는 영상(800)을 신호 처리하여, 제1 메모리(140)에 저장하였다가, 제1 프레임 표시시, 확대 영상 내의 제1 시점 영상(801)이 표시되도록 제어한다.
제1 메모리(140)에, 머리 이동의 평균 각속도 100°/sec보다 넓은 영역의 영상정보를 1 frame에서 계산해서 저장해두었기 때문에 2 frame에서는 전혀 영상 지연이 없이 영상을 구현할 수 있게 된다
예를 들어, 도 8(a)와 같이, 시점이 Vpa에서 Vpb로 이동하는 경우, 프로세서(170)는, 확대 영상(800) 중 제1 시점 영상에 포함되지 않은 영역을, 제1 메모리(140)에서 독출하고, 상기 제1 메모리(140)에서 독출한 영역에 대한 신호 처리만을 수행하여, 도면과 같이, 제2 시점 영상(803)이 표시되도록 제어할 수 있다.
이와 같이, 미리 제1 메모리(140)에 확대 영상을 신호 처리하여 저장하였다가, 시점 이동시 마다, 시점 이동에 대응하여, 이전에 표시되지 않은 영역을, 메모리(140)에서 독출하고, 상기 제1 메모리(140)에서 독출한 영역에 대한 신호 처리만을 수행하여, 시점 영상(803)이 표시되도록 제어함으로써, 영상 지연 없는 시점 영상의 표시가 가능하게 된다.
도 9는, 본 발명의 실시예에 따른 시점 이동시의 영상 처리 방법의 일예를 예시하는 도면이다.
도면을 참조하면, 도 9(a)와 같이, 시점이 Vpa에서 Vpb로 이동하는 경우, 프로세서(170)는, 확대 영상(800) 중 제1 시점 영상에 포함되지 않은 영역을, 제1 메모리(140)에서 독출하고, 제1 메모리(140)에서 독출한 영역에 대한 신호 처리만을 수행하여, 도면과 같이, 제2 시점 영상(803)이 표시되도록 제어할 수 있다.
한편, 프로세서(170)는, Vpa에서 Vpb로의 시점 이동에 의해, 확대 영상(800) 내의 경계에 제2 시점 영상(803)이 위치하는 경우, 시점 이동 방향을 예측하여, 미리, 예측된 확대 영상에 대한 신호 처리를 수행할 수 있다.
그리고, 프로세서(170)는, 신호 처리된 제2 확대 영상을 제2 메모리(145)에 저장되도록 제어할 수 있다.
한편, 도 9(b)와 같이, 시점이 Vpb에서 Vpc로 이동하는 경우, 프로세서(170)는, 확대 영상(800) 중 제2 시점 영상에 포함되지 않은 영역을, 제2 메모리(145)에서 독출하고, 제2 메모리(145)에서 독출한 영역에 대한 신호 처리만을 수행하여, 도면과 같이, 제3 시점 영상(805)이 표시되도록 제어할 수 있다.
이와 같이, 미리 제1 메모리(140) 또는 제2 메모리(145)에 확대 영상을 신호 처리하여 저장하였다가, 시점 이동시 마다, 시점 이동에 대응하여, 이전에 표시되지 않은 영역을, 제1 메모리(140) 또는 제2 메모리(145)에서 독출하고, 제1 메모리(140) 또는 제2 메모리(145)에서 독출한 영역에 대한 신호 처리만을 수행하여, 시점 영상이 표시되도록 제어함으로써, 영상 지연 없는 시점 영상의 표시가 가능하게 된다.
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 헤드 마운트 디스플레이 장치의 동작방법은 헤드 마운트 디스플레이 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (9)

  1. 사용자의 머리에 착용 가능한 헤드 마운트 디스플레이 장치에 있어서,
    소정 영상을 표시하는 디스플레이;
    상기 디스플레이에 표시되는 영상을 확대하는 렌즈부;
    상기 사용자의 머리의 움직임을 감지하는 센서부;
    메모리;
    제1 시점 영상을 포함하는 확대 영상을 상기 메모리에 저장하도록 제어하고, 상기 제1 시점에 상기 제1 시점 영상이 표시되도록 제어하며, 시점이 제1 시점에서 제2 시점으로 이동하는 경우, 상기 제1 시점 영상에 포함되지 않은 영역을 상기 메모리에서 독출하여, 제2 시점 영상을 생성하고, 상기 생성된 제2 시점 영상을 표시하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  2. 제1항에 있어서,
    상기 메모리는,
    상기 사용자의 머리 움직임에 대응하는 크기의 확대 영상을 저장하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  3. 제1항에 있어서,
    제2 메모리;를 더 구비하고,
    상기 프로세서는,
    상기 제2 시점 영상이 상기 확대 영상의 경계에 대응하는 경우, 상기 제2 시점 영상의 일부와 제3 시점 영상을 포함하는 제2 확대 영상을 상기 제2 메모리에 저장하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    시점이 상기 제2 시점에서 제3 시점으로 이동하는 경우, 상기 제2 시점 영상에 포함되지 않은 영역을 상기 제2 메모리에서 독출하여, 제3 시점 영상을 생성하고, 상기 생성된 제3 시점 영상을 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 센서부로부터 상기 사용자의 머리 움직임에 대한 각도 정보에 기초하여, 시점 이동 여부를 판단하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  6. 사용자의 머리에 착용 가능한 헤드 마운트 디스플레이 장치의 동작방법에 있어서,
    제1 시점 영상 표시하는 단계;
    시점 이동에 따라 제1 시점에서 제2 시점으로 이동되는 경우, 저장된 제1 시점 영상로부터의 차분을 이용하여 제2 시점 영상을 생성하는 단계;
    상기 제2 시점 영상을 표시하는 단계;
    시점 이동에 따라, 제2 시점에서 제3 시점으로 이동되는 경우, 저장된 제2 시점 영상로부터의 차분을 이용하여 제3 시점 영상을 생성하는 단계;
    상기 제3 시점 영상을 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  7. 제6항에 있어서,
    상기 제1 시점 영상을 저장하는 단계;를 포함하며,
    상기 제1 시점 영상 저장시, 상기 제1 시점 영상을 포함하는 확장 이미지를 저장하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  8. 제7항에 있어서,
    상기 제3 시점 영상의 일부가, 상기 확장 이미지를 벗어나는 경우, 상기 확장 이미지를 가변하여 생성하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
  9. 제6항에 있어서,
    사용자의 머리 움직임에 대한 각도 정보에 기초하여, 시점 이동 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.
KR1020150106812A 2015-07-28 2015-07-28 헤드 마운트 디스플레이 장치 및 그 동작방법 KR20170013737A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150106812A KR20170013737A (ko) 2015-07-28 2015-07-28 헤드 마운트 디스플레이 장치 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150106812A KR20170013737A (ko) 2015-07-28 2015-07-28 헤드 마운트 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20170013737A true KR20170013737A (ko) 2017-02-07

Family

ID=58108268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150106812A KR20170013737A (ko) 2015-07-28 2015-07-28 헤드 마운트 디스플레이 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR20170013737A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137816A (ko) * 2017-06-19 2018-12-28 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR101940272B1 (ko) * 2017-08-01 2019-04-11 에스케이텔레콤 주식회사 3차원 가상 컨텐츠 확대 장치 및 방법
WO2019074243A1 (en) * 2017-10-12 2019-04-18 Samsung Electronics Co., Ltd. DISPLAY DEVICE, USER TERMINAL DEVICE, DISPLAY SYSTEM COMPRISING THE SAME, AND ASSOCIATED COMAND METHOD
KR20190042792A (ko) * 2017-10-16 2019-04-25 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
KR20190098302A (ko) * 2018-02-13 2019-08-22 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
WO2019209013A1 (ko) * 2018-04-23 2019-10-31 Park Seung Min 확장현실 영상처리 방법 및 이를 위한 장치
KR20200099049A (ko) * 2019-02-13 2020-08-21 주식회사 싸이큐어 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이
KR20210153016A (ko) * 2019-02-13 2021-12-16 주식회사 싸이큐어 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이
US11573627B2 (en) 2019-01-23 2023-02-07 Samsung Electronics Co., Ltd. Method of controlling device and electronic device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137816A (ko) * 2017-06-19 2018-12-28 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US10754423B2 (en) 2017-06-19 2020-08-25 Kt Corporation Providing virtual reality experience service
KR101940272B1 (ko) * 2017-08-01 2019-04-11 에스케이텔레콤 주식회사 3차원 가상 컨텐츠 확대 장치 및 방법
WO2019074243A1 (en) * 2017-10-12 2019-04-18 Samsung Electronics Co., Ltd. DISPLAY DEVICE, USER TERMINAL DEVICE, DISPLAY SYSTEM COMPRISING THE SAME, AND ASSOCIATED COMAND METHOD
US11367258B2 (en) 2017-10-12 2022-06-21 Samsung Electronics Co., Ltd. Display device, user terminal device, display system including the same and control method thereof
KR20190042792A (ko) * 2017-10-16 2019-04-25 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
KR20190098302A (ko) * 2018-02-13 2019-08-22 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
WO2019209013A1 (ko) * 2018-04-23 2019-10-31 Park Seung Min 확장현실 영상처리 방법 및 이를 위한 장치
US11573627B2 (en) 2019-01-23 2023-02-07 Samsung Electronics Co., Ltd. Method of controlling device and electronic device
KR20200099049A (ko) * 2019-02-13 2020-08-21 주식회사 싸이큐어 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이
KR20210153016A (ko) * 2019-02-13 2021-12-16 주식회사 싸이큐어 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이

Similar Documents

Publication Publication Date Title
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US9858643B2 (en) Image generating device, image generating method, and program
CN107436683B (zh) 显示控制器、电子装置和虚拟现实装置
US9058054B2 (en) Image capture apparatus
US10009603B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
KR102155001B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
EP3379525A1 (en) Image processing device and image generation method
JP6130478B1 (ja) プログラム及びコンピュータ
CN107870715B (zh) 用于提供增强现实图像的方法和装置以及记录介质
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP6422584B2 (ja) 情報処理装置
WO2013070408A1 (en) Velocity-based triggering
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN105939497B (zh) 媒体串流系统及媒体串流方法
KR20150006128A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US20150185971A1 (en) Ring-Based User-Interface
JP2017121082A (ja) プログラム及びコンピュータ
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
CN111902859A (zh) 信息处理装置、信息处理方法和程序
KR102650572B1 (ko) 전자 장치 및 그의 제어 방법
WO2015099215A1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
JP6442619B2 (ja) 情報処理装置
EP4383700A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor