KR20190118040A - 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 - Google Patents

웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 Download PDF

Info

Publication number
KR20190118040A
KR20190118040A KR1020180041164A KR20180041164A KR20190118040A KR 20190118040 A KR20190118040 A KR 20190118040A KR 1020180041164 A KR1020180041164 A KR 1020180041164A KR 20180041164 A KR20180041164 A KR 20180041164A KR 20190118040 A KR20190118040 A KR 20190118040A
Authority
KR
South Korea
Prior art keywords
stereoscopic image
wearable display
display device
image
user
Prior art date
Application number
KR1020180041164A
Other languages
English (en)
Inventor
박봉길
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180041164A priority Critical patent/KR20190118040A/ko
Priority to US16/355,902 priority patent/US10948725B2/en
Priority to EP19784870.8A priority patent/EP3750305A4/en
Priority to PCT/KR2019/003234 priority patent/WO2019198943A1/en
Publication of KR20190118040A publication Critical patent/KR20190118040A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

웨어러블 디스플레이 장치 및 웨어러블 디스플레이 장치의 입체 영상 표시 방법이 개시된다. 웨어러블 디스플레이 장치는, 컨텐츠 수신부, VR 입체 영상이 표시 가능한 디스플레이부, 상기 웨어러블 디스플레이 장치의 움직임을 감지 가능한 센서부, 및 상기 센서부를 통하여 감지된 값에 따라 상기 디스플레이부를 제어하는 프로세서를 포함한다. 여기서, 프로세서는 상기 컨텐츠 수신부를 통하여 복수의 영상들을 포함하는 입체 영상 데이터를 획득하고, 상기 웨어러블 디스플레이 장치의 움직임이 상기 센서부를 통하여 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여 상기 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하고, 생성된 제1 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어한다.

Description

웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 {WEARABLE DISPLAY APPARATUS AND METHOD OF DISPLAYING 3-DIMENSIONAL IMAGES THEREOF}
개시된 발명은 웨어러블 디스플레이 장치 및 입체 영상 표시 방법에 관한 것으로, 더욱 상세하게는 가상 현실(Virtual Reality, VR) 컨텐츠를 표시할 수 있는 웨어러블 디스플레이 장치 및 그 제어 방법에 관한 발명이다.
일반적으로, 디스플레이 장치는 수신되거나 또는 저장된 영상 정보를 사용자에게 시각적으로 표시하는 출력 장치이며, 가정이나 사업장 등 다양한 분야에서 이용되고 있다. 예를 들어, 디스플레이 장치로는 개인용 컴퓨터 또는 서버용 컴퓨터 등에 연결된 모니터 장치나, 휴대용 컴퓨터 장치나, 네비게이션 단말 장치나, 일반 텔레비전 장치나, 인터넷 프로토콜 텔레비전(IPTV, Internet Protocol television) 장치나, 스마트 폰, 태블릿 피씨, 개인용 디지털 보조 장치(PDA, Personal Digital Assistant), 또는 셀룰러 폰 등의 휴대용 단말 장치나, 산업 현장에서 광고나 영화 같은 화상을 재생하기 위해 이용되는 각종 디스플레이 장치나, 또는 이외 다양한 종류의 오디오/비디오 시스템 등이 있다.
디스플레이 장치는 또한 방송국, 인터넷 서버, 영상 재생 장치, 게임 장치 및/또는 휴대용 단말기 등 다양한 컨텐츠 소스로부터 컨텐츠를 수신할 수 있다. 또한, 디스플레이 장치는 컨텐츠로부터 영상과 음향을 복원(또는 디코딩)하고, 복원된 영상과 음향을 출력할 수 있다.
최근에는, 사용자가 착용할 수 있는 웨어러블 디스플레이 장치에 대한 연구가 진행되고 있다. 웨어러블 디스플레이 장치의 대표적인 예로 디스플레이 장치가 사용자의 시야에 고정되는 헤드 마운트 디스플레이(Head Mount Display, HMD)가 있다.
이러한 웨어러블 디스플레이 장치의 연구와 함께, 사용자에게 가상 현실을 제공하기 위한 입체 영상, 360도 VR (Virtual Reality) 영상, 360도 VR 입체 영상 등의 가상 현실 컨텐츠에 대한 연구가 함께 진행되고 있다.
웨어러블 디스플레이 장치를 통하여 게임 또는 영화 등과 같은 컨텐츠가 가상 현실 기술을 이용하여 제공되는 경우, 사용자의 몰입감이 중요시될 수 있다. 일반적인, TV와 같은 디스플레이 장치를 이용하여 컨텐츠를 시청하는 환경에서는 사용자의 머리 또는 양안의 움직임은 디스플레이 장치가 설치된 공간을 크게 벗어나지 않는 편이다. 그러나, 웨어러블 디스플레이 장치를 이용하는 환경에서는, 사용자가 머리 또는 양안을 좀더 적극적으로 움직이는 상황이 자주 발생된다. 이에 따라, 사용자의 양안이 지표면과 수평을 이루지 못하는 상황이 종종 발생될 수 있다.
일반적으로, 360도 VR 입체 영상은, 지표면과 수평이 된 상태에서 촬영된 카메라로부터 촬영된 복수의 영상들을 이용하여 생성될 수 있다. 이 경우, 상기 360도 VR 입체 영상을 시청하는 사용자들은, 사용자의 양안이 지표면과 수평을 이루고 있을 때 최적의 가상 현실 효과 및 시청의 편안함을 느낄 수 있다. 그러나, 상기 사용자들이 머리를 흔들거나 기울임에 따라, 사용자의 양안이 지표면과 수평을 이루지 못할 때에는 사용자는 영상 내의 오브젝트를 잘 인지하지 못하는 상황이 발생될 수 있다. 예로, 사용자는 하나의 물체를 두 개로 보거나, 심한 경우에는 두통이나 현기증과 같은 신체적인 고통까지 경험할 수 있다.
이에 따라, 입체 영상을 시청하는 사용자가 영상을 잘 인지하고 편안하게 감상하기 위한 시인성을 확보 방안이 요구될 수 있다. 개시된 일 측면은, 사용자의 시인성을 확보하기 위한, 웨어러블 디스플레이 장치 및 웨어러블 디스플레이 장치의 입체 영상 표시 방법을 제공하고자 한다.
본 개시의 다양한 실시 예에 따른, 웨어러블 디스플레이 장치는, 컨텐츠 수신부, VR(Virtual Reality) 입체 영상이 표시 가능한 디스플레이부, 상기 웨어러블 디스플레이 장치의 움직임을 감지 가능한 센서부, 및 상기 센서부를 통하여 감지된 값에 따라 상기 디스플레이부를 제어하는 프로세서를 포함할 수 있다. 이 때, 프로세서는, 상기 컨텐츠 수신부를 통하여 복수의 영상들을 포함하는 입체 영상 데이터를 획득하고, 상기 웨어러블 디스플레이 장치의 움직임이 상기 센서부를 통하여 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여 상기 움직임의 방향 성분들 중 롤(roll) 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하고, 상기 생성된 제1 VR 입체 영상을 표시할 수 있다.
본 개시의 다양한 실시 예에 따른, 웨어러블 디스플레이 장치는, 입체 영상 데이터를 획득하는 동작, 상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여, 상기 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하는 동작, 및 상기 생성된 제1 VR 입체 영상을 표시하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예에 따른, 컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품은, 입체 영상 데이터를 획득하는 동작, 상기 웨어러블 디스플레이 장치의, 롤 성분을 가지는 움직임이 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여, 상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하는 동작, 및 상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 표시하는 동작을 컴퓨터가 수행하도록 설정된 적어도 하나의 명령어를 포함할 수 있다.
본 개시에 따르면, 360도 VR 입체 영상을 시청하는 사용자의 시인성이 크게 향상될 수 있다. 예로, 사용자가 입체 영상을 시청하는 상황에서 느낄 수 있는 피로감 및 불편함이 크게 개선될 수 있고, 이에 따라 웨어러블 디스플레이 장치를 이용하는 사용자의 만족도가 향상될 수 있다.
특히, 사용자의 머리를 기울인 경우, 미리 설정된 시간이 진행됨에 따라, 입체 영상이 점차적으로 회전되어 자연스러운 입체감의 오브젝트가 표시될 수 있다. 이에 따라, 사용자가 오브젝트를 바라볼 때 느꼈던 인지 부조화 문제가 해결되고, 입체 영상을 시청하는 사용자의 몰입감이 계속 유지되어 최적의 시청 환경이 제공될 수 있다.
도 1은 일 실시 예에 의한 웨어러블 디스플레이 장치 및 컨텐츠 소스를 도시한다.
도 2는 일 실시 예에 의한 웨어러블 디스플레이 장치를 분해 도시한다.
도 3은 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 영상의 일 예를 도시한다.
도 4는 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 입체 영상의 일 예를 도시한다.
도 5는 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 영상의 다른 일 예를 도시한다.
도 6은 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 입체 영상의 다른 일 예를 도시한다.
도 7은 일 실시 예에 의한 웨어러블 디스플레이 장치의 구성을 도시한다.
도 8a 내지 도 11은 일 실시 예에 의한 웨어러블 디스플레이 장치의 사용도를 나타낸다.
도 12는, 본 개시의 일 실시 예에 따른 웨어러블 디스플레이 장치의 구성을 도시한다.
도 13 및 도 14는, 본 개시의 일 실시 예에 따른 웨어러블 장치가 입체 영상을 표시하는 흐름도이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 의한 웨어러블 디스플레이 장치 및 컨텐츠 소스를 도시한다. 도 2는 일 실시 예에 의한 웨어러블 디스플레이 장치를 분해 도시한다.
도 1 및 도 2를 참조하면, 웨어러블 디스플레이 장치(100)는 외부로부터 수신되는 영상 데이터를 처리하거나 웨어러블 디스플레이 장치(100)에 내장된 저장 매체에 저장된 영상 데이터를 처리하고, 처리된 영상을 시각적으로 표시할 수 있는 장치이다. 웨어러블 디스플레이 장치(100)는 사용자(U)의 신체에 착용되어, 사용자(U)의 신체에 고정될 수 있다. 예를 들어, 웨어러블 디스플레이 장치(100)는 사용자(U)의 머리 또는 안면에 착용되는 헤드 마운트 디스플레이(Head Mount Display, HMD), 스마트 글라스(smart glasses) 또는 스마트 헬멧(smart helmet) 등 다양한 제품 형태로 구현될 수 있다.
이하에서는 웨어러블 디스플레이 장치(100)로서 헤드 마운트 디스플레이가 설명되나, 웨어러블 디스플레이 장치(100)는 사용자(U)의 신체에 착용되어 영상 신호를 시각적으로 재현(reproduce)하는 장치라면 그 형태가 한정되지 않는다.
일 예로, 도 1에 도시된 바와 같이, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스(10)와 무선 또는 유선으로 연결되며, 컨텐츠 소스(10)로부터 비디오와 오디오를 포함하는 컨텐츠를 수신할 수 있다. 또한, 웨어러블 디스플레이 장치(100)는 컨텐츠에 포함된 비디오와 오디오를 출력할 수 있다. 예를 들어, 웨어러블 디스플레이 장치(100)는 방송 수신 장치(예를 들어, 셋탑 박스)로부터 텔레비전 방송 컨텐츠를 수신하거나, 컨텐츠 재생 장치로부터 멀티미디어 컨텐츠를 수신하거나, 컨텐츠 스트리밍 서버로부터 통신망을 통하여 스트리밍 컨텐츠를 수신할 수 있다.
특히, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스로부터 가상 현실(Virtual Reality, VR) 컨텐츠를 수신하고, 가상 현실 컨텐츠를 재현할 수 있다. 사용자(U)의 신체에 착용됨으로 인하여 웨어러블 디스플레이 장치(100)는 입체 영상, 360도 VR 영상, 360도 VR 입체 영상 중 적어도 하나를 재현하기에 적합하다.
도 2에 도시된 바와 같이, 웨어러블 디스플레이 장치(100)는 영상을 표시하기 위한 복수의 부품들을 수용하는 본체(101)와, 본체(101)의 일면에 마련되어 영상(I)을 표시하는 스크린(102)과, 본체(101)를 지지하고 사용자(U)의 신체에 안착되는 안착 부재(103)와, 본체(101) 및 안착 부재(103)를 사용자(U)의 신체에 고정시키는 고정 부재(104)를 포함한다.
본체(101)는 웨어러블 디스플레이 장치(100)의 외형을 형성하며, 본체(101)의 내부에는 웨어러블 디스플레이 장치(100)가 영상과 음향을 출력 위한 부품이 마련될 수 있다. 도 2에는 본체(101)가 평평한 판 형상으로 도시되었으나, 본체(101)의 형상이 도 2에 도시된 바에 한정되는 것은 아니며, 본체(101)는 예를 들어 좌우 양단이 전방으로 돌출되고 중심부가 오목하도록 휘어진 형상일 수 있다.
스크린(102)은 본체(101)의 전면에 형성되며, 스크린(102)에는 시각 정보인 영상이 표시될 수 있다. 예를 들어, 스크린(102)에는 정지 영상 또는 동영상이 표시될 수 있으며, 2차원 평면 영상, 입체 영상, 360도 VR 영상 또는 360도 VR 입체 영상이 표시될 수 있다. 본 개시에서, 입체 영상은 스테레오스코픽(stereoscopic) 영상을 포함할 수 있다.
특히, 스크린(102)는 입체 영상을 표시하기 위하여 우안 스크린(102R)과 좌안 스크린(102L)을 포함할 수 있다. 우안 스크린(102R)과 좌안 스크린(102L)은 각각 동일한 오브젝트를 서로 다른 위치(사람의 좌측 눈의 위치와 우측 눈의 위치)에서 촬영한 영상을 표시할 수 있다. 다시 말해, 우안 스크린(102R)과 좌안 스크린(102L)은 사람의 시차만큼 차이가 있는 영상을 표시할 수 있다. 우안 스크린(102R)에 표시되는 영상과 좌안 스크린(102L)에 표시된 영상 사이의 차이로 인하여 사용자(U)는 입체감을 느낄 수 있다.
우안 스크린(102R)과 좌안 스크린(102L)은 각각 별도의 디스플레이 패널로 구현될 수 있다. 뿐만 아니라, 우안 스크린(102R)과 좌안 스크린(102L)은 하나의 디스플레이 패널로부터 구획될 수 있다.
스크린(102)에는 복수의 픽셀(P)가 형성되며, 스크린(102)에 표시되는 영상(I)은 복수의 픽셀(P)로부터 출사된 광의 조합에 의하여 형성될 수 있다. 예를 들어, 복수의 픽셀(P)가 방출하는 광이 모자이크(mosaic)와 같이 조합됨으로써 스크린(102) 상에 하나의 영상이 형성될 수 있다.
복수의 픽셀(P) 각각은 다양한 밝기 및 다양한 색상의 광을 방출할 수 있다.
다양한 밝기의 광을 방출하기 위하여, 복수의 픽셀(P) 각각은 직접 광을 방출할 수 있는 구성(예를 들어, 유기 발광 다이오드 패널)을 포함하거나 백 라이트 유닛 등에 의하여 방출된 광을 투과하거나 차단할 수 있는 구성(예를 들어, 액정 패널)을 포함할 수 있다.
다양한 색상의 광을 방출하기 위하여, 복수의 픽셀(P) 각각은 서브 픽셀들(PR, PG, PB)을 포함할 수 있다. 서브 픽셀들(PR, PG, PB)은 적색 광을 방출할 수 있는 적색 서브 픽셀(PR)과, 녹색 광을 방출할 수 있는 녹색 서브 픽셀(PG)과, 청색 광을 방출할 수 있는 청색 서브 픽셀(PB)을 포함할 수 있다. 예를 들어, 적색 서브 픽셀(PR)은 파장이 대략 620nm (nanometer, 10억분의 1미터)에서 750nm까지의 적색 광을 방출할 수 있고, 녹색 서브 픽셀(PG)은 파장이 대략 495nm에서 570nm까지의 녹색 광을 방출할 수 있으며, 청색 서브 픽셀(PB)은 파장이 대략 450nm에서 495nm까지의 청색 광을 방출할 수 있다.
적색 서브 픽셀(PR)의 적색 광, 녹색 서브 픽셀(PG)의 녹색 광 및 청색 서브 픽셀(PB)의 청색 광의 조합에 의하여, 복수의 픽셀(P) 각각은 다양한 밝기와 다양한 색상의 광을 출사할 수 있다.
도 2에는 스크린(102)이 평평한 판 형상으로 도시되었으나, 스크린(102)의 형상이 도 2에 도시된 바에 한정되는 것은 아니며, 스크린(102)은 예를 들어 좌우 양단이 전방으로 돌출되고 중심부가 오목하도록 휘어진 형상일 수 있다.
안착 부재(103)는 본체(101)의 전방에 부착될 수 있으며, 본체(101)를 사용자(U)의 신체에 고정시킬 수 있다.
안착 부재(103)는 사용자(U)의 신체와 본체(101) 사이에 마련되며, 사용자(U)의 신체에 안착될 수 있다.
안착 부재(103)는 사용자(U)의 신체에 안착되는 곡면부(103a)를 포함할 수 있다. 곡면부(103a)는 사용자(U)의 신체 예를 들어 사용자(U)의 안면에 밀착될 수 있으며, 사용자(U)의 신체와 밀착되는 부분이 최대화되도록 곡면부(103a)는 외력에 의하여 수축 및 확장이 가능한 탄성을 가지는 재질로 구성될 수 있다. 예를 들어, 사용자(U)의 안면에 밀착될 때 곡면부(103a)의 형태는 사용자(U)의 안면의 형태에 따라 변화할 수 있으며, 사용자(U)의 안면으로부터 분리되면 곡면부(103a)는 원래의 형태로 복원될 수 있다.
안착 부재(103)는 외광을 차단하고 사용자(U)의 시야를 스크린(102)으로 제한할 수 있다.
안착 부재(103)의 중심에는 사용자(U)가 스크린(102)을 볼 수 있도록 중공(103b)이 형성될 수 있다. 사용자(U)는 안착 부재(103)의 중공(103b)을 통하여 스크린(102)을 볼 수 있다. 따라서, 사용자(U)가 스크린(102)에 집중할 수 있도록, 안착 부재(103)는 외광을 차단하고 사용자(U)의 시야를 스크린(102)으로 제한할 수 있다.
또한, 안착 부재(103)가 사용자(U)의 안면에 안착 되므로 인하여 본체(101)는 사용자(U)의 안면에 대하여 고정된 위치에 위치할 수 있다. 다시 말해, 사용자(U)가 이동하거나 고개를 돌려도 본체(101)의 전면에 형성된 스크린(102)은 사용자(U)의 안면에 대하여 일정한 위치에 위치할 수 있다.
고정 부재(104)는 안착 부재(103)의 양단에 부착될 수 있으며, 본체(101) 및 안착 부재(103)를 사용자(U)의 신체에 고정시킬 수 있다.
고정 부재(104)는 띠 형태로 형성될 수 있으며, 고정 부재(104)의 양단은 안착 부재(103)의 양단에 부착될 수 있다. 또한, 고정 부재(104)는 외력에 의하여 확장 및 수축할 수 있는 탄성을 가지는 재질로 구성될 수 있다.
안착 부재(103)는 사용자(U)의 안면에 밀착될 수 있으며, 고정 부재(104)는 사용자(U)의 머리를 둘러쌀 수 있다. 고정 부재(104)의 탄성에 의하여 안착 부재(103)와 는 사용자(U)의 안면에 고정될 수 있다.
고정 부재(104)는 도 2에 도시된 띠 형태에 한정되는 것은 아니며, 안착 부재(103)와 본체(101)는 사용자(U)의 신체에 고정할 수 있는 수단이라면 그 형태가 한정되지 않는다.
이상에서 설명된 바와 같이 웨어러블 디스플레이 장치(100)는 사용자(U)의 안면에 고정되고, 사용자(U)의 안면에 대하여 일정한 위치에 위치할 수 있다. 그 결과, 웨어러블 디스플레이 장치(100)의 스크린(102) 역시 사용자(U)의 안면에 대하여 일정한 위치에 위치할 수 있다.
그 결과, 웨어러블 디스플레이 장치(100)는 입체 영상 및/또는 360도 VR 영상 등 가상 현실 영상을 표시하는데 적합할 수 있다. 그 밖에, 웨어러블 디스플레이 장치(100)는 다양한 방식으로 가상 현실 영상을 표시할 수 있다.
도 3은 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 영상의 일 예를 도시한다. 도 4는 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 입체 영상의 일 예를 도시한다. 도 3은 웨어러블 디스플레이 장치(100)에 표시되는 영상(I1)와 웨어러블 디스플레이 장치(100)를 별도로 도시하였으나, 이는 이해를 돕기 위한 것일 뿐이다. 다시 말해, 영상(I1)은 웨어러블 디스플레이 장치(100)의 스크린(102)에 표시되며, 도 3에 도시된 바와 같이 웨어러블 디스플레이 장치(100)의 외부에 표시되는 것은 아니다.
도 3에 도시된 바와 같이, 웨어러블 디스플레이 장치(100)는 예를 들어 입체 양안 영상(I1)을 표시할 수 있다.
입체 양안 영상(I1)은 좌안 영상(I1L)과 우안 영상(I1R)을 포함할 수 있다. 좌안 영상(I1L)과 우안 영상(I1R)은 공간적으로 분리되어 스크린(102R, 102L) 상에 나란하게 표시될 수 있다.
도 4에 도시된 바와 같이, 좌안 스크린(102L)에 표시되는 좌안 영상(I1L)은 사용자(U)의 좌측 눈에 보여지며, 우안 스크린(102R)에 표시되는 우안 영상(I1R)은 사용자(U)의 우측 눈에 보여질 수 있다. 다시 말해, 사용자(U)는 좌측 눈과 우측 눈을 통하여 서로 다른 영상(I1L, I1R)을 볼 수 있다.
또한, 웨어러블 디스플레이 장치(100)는 좌안 스크린(102L)과 우안 스크린(102R)을 구획하는 격벽(105)을 더 포함할 수 있다. 격벽(105)에 의하여 사용자(U)는 우측 눈을 통하여 좌안 스크린(102L)에 표시되는 좌안 영상(I1L)을 볼 수 없으며, 좌측 눈을 통하여 우안 스크린(102R)에 표시되는 우안 영상(I1R)을 볼 수 없다.
웨어러블 디스플레이 장치(100)는 입체 영상의 포맷에 따라 정해진 방식으로 좌안 영상(I1L)과 우안 영상(I1R)을 각각 좌안 스크린(102L)과 우안 스크린(102R)에 표시할 수 있다.
좌안 영상(I1L)과 우안 영상(I1R)은 서로 상이하거나 동일할 수 있다. 예를 들어, 좌안 영상(I1L)과 우안 영상(I1R)은 각각 동일한 오브젝트를 서로 다른 위치(사람의 좌측 눈의 위치와 우측 눈의 위치)에서 촬영한 영상일 수 있다. 다시 말해, 좌안 영상(I1L)과 우안 영상(I1R)은 사람의 시차만큼 차이가 있을 수 있다. 이때, 사용자(U)는 좌측 눈으로 좌안 영상(I1L)을 볼 수 있으며, 우측 눈으로 우안 영상(I1R)을 볼 수 있다. 좌안 영상(I1L)과 우안 영상(I1R)의 차이로 인하여, 사용자(U)는 입체감을 느낄 수 있다.
이처럼, 웨어러블 디스플레이 장치(100)는 스크린(102)에 좌안 영상(I1L)과 우안 영상(I1R)이 공간적으로 분리된 입체 양안 영상(I1)을 표시할 수 있으며, 좌안 영상(I1L)과 우안 영상(I1R)로 인하여 사용자(U)는 입체감을 경험할 수 있다.
도 5는 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 영상의 다른 일 예를 도시한다. 도 6은 일 실시 예에 의한 웨어러블 디스플레이 장치에 표시되는 입체 영상의 다른 일 예를 도시한다. 도 4는 웨어러블 디스플레이 장치(100)에 표시되는 영상(I2)와 웨어러블 디스플레이 장치(100)를 별도로 도시하였으나, 이는 이해를 돕기 위한 것일 뿐이다. 다시 말해, 영상(I2)은 웨어러블 디스플레이 장치(100)의 스크린(102)에 표시되며, 도 4에 도시된 바와 같이 웨어러블 디스플레이 장치(100)의 외부에 표시되는 것은 아니다.
도 5에 도시된 바와 같이, 웨어러블 디스플레이 장치(100)는 예를 들어 단일 입체 영상(I2)을 표시할 수 있다.
단일 입체 영상(I2)은 도 3에 도시된 입체 양안 영상(I1)과 달리 나란하게 배치된 좌안 영상과 우안 영상을 포함하지 아니할 수 있다. 다시 말해, 단일 입체 영상(I2)은 그 자체만으로 입체감을 표현할 수 있다.
단일 입체 영상(I2)은 서로 다른 라인에 교대로 분포된 좌안 영상(I2L)과 우안 영상(I2R)을 포함할 수 있다. 예를 들어, 단일 입체 영상(I2)의 홀수 열에는 좌안 영상(I2L)이 표시되고, 단일 입체 영상(I2)의 짝수 열에는 우안 영상(I2R)이 표시될 수 있다.
또한, 실시 형태에 따라 단일 입체 영상(I2)은 프레임에 따라 교대로 표시되는 좌안 영상(I2L)과 우안 영상(I2R)을 포함할 수 있다. 예를 들어, 제1 프레임에는 좌안 영상(I2L)이 표시되고, 제2 프레임에는 우안 영상(I2R)이 표시될 수 있다.
또한, 단일 입체 영상(I2)의 좌안 영상(I2L)은 사용자(U)의 좌측 눈에 보여지고, 단일 입체 영상(I2)의 우안 영상(I2R)은 사용자(U)의 우측 눈에 보여질 수 있다.
도 6에 도시된 바와 같이, 단일 입체 영상(I2)을 이용하여 입체 영상을 표시하기 위하여, 웨어러블 디스플레이 장치(100)는 스크린(102)에 부착되거나 스크린(102)과 인접한 위치에 마련된 광학 부재(106)를 포함할 수 있다.
스크린(102)은 띠 형태의 좌안 영상 조각(I2L)과 띠 형태의 우안 영상 조각(I2R)을 서로 나란하게 교대로 표시할 수 있다.
광학 부재(106)는 좌안 영상 조각(I2L)과 우안 영상 조각(I2R)를 분리하기 위하여 다양한 광학 구조를 가질 수 있다.
예를 들어, 광학 부재(106)는 편광 필름을 포함할 수 있다. 편광 필름은 나란하게 배치된 복수의 제1 좌안 편광 필름과 복수의 제1 우안 편광 필름을 포함할 수 있다. 제1 좌안 편광 필름은 좌안 영상 조각(I2L)에 대응되는 위치에 배치되고, 제1 우안 편광 필름은 우안 영상 조각(I2R)에 대응되는 위치에 배치될 수 있다. 또한, 웨어러블 디스플레이 장치(100)는 사용자(U)의 좌측 눈에 대응되는 위치에 마련된 제2 좌안 편광 필름과 사용자(U)의 우측 눈에 대응되는 위치에 마련된 제2 우안 편광 필름을 더 포함할 수 있다. 사용자(U)는 좌측 눈을 통하여 제1 좌안 편광 필름과 제2 좌안 편광 필름을 통과한 좌안 영상 조각(I2L)을 볼 수 있으며, 우측 눈을 통하여 제1 우안 편광 필름과 제2 우안 편광 필름을 통과한 우안 영상 조각(I2R)을 볼 수 있다.
다른 예로, 광학 부재(106)는 렌티큘러 렌즈(lenticular lens)를 포함할 수 있다. 렌티큘러 렌즈는 스크린(102)의 전면에 마련될 수 있다. 스크린(102)의 반대편을 향하여 볼록한 복수의 반원 기둥을 포함할 수 있으며, 복수의 반원 기둥은 좌안 영상 조각(I2L) 및 우안 영상 조각(I2R)에 대응되는 위치에 배치될 수 있다. 좌안 영상(I2L)을 형성하는 광과 우안 영상(I2R)을 형성하는 광은 반원 기둥(108a)에 의하여 서로 다른 방향으로 굴절될 수 있다. 예를 들어, 좌안 영상(I2L)을 형성하는 광은 반원 기둥의 좌측 볼록 면에 의하여 사용자(U)의 좌측 눈을 향하여 굴절되며, 우안 영상(I2R)을 형성하는 광은 반원 기둥의 우측 볼록 면에 의하여 사용자(U)의 우측 눈을 향하여 굴절될 수 있다. 그 결과, 사용자(U)는 좌측 눈을 통하여 반원 기둥의 좌측 볼록 면을 통과한 좌안 영상(I2L)을 볼 수 있으며, 우측 눈을 통하여 반원 기둥의 우측 볼록 면을 통과한 우안 영상(I2R)을 볼 수 있다.
다른 예로, 광학 부재(106)는 시차 장벽을 포함할 수 있다. 시차 장벽은 서로 나란하게 배치된 복수의 광 차단 장벽과 복수의 슬롯을 포함할 수 있다. 좌안 영상(I2L)을 형성하는 광과 우안 영상(I2R)을 형성하는 광은 슬롯을 통과할 수 있다. 좌안 영상(I2L)을 형성하는 광 중 사용자(U)의 좌측 눈을 향하는 광은 슬롯을 통과할 수 있으며, 다른 방향으로 진행하는 광은 광 차단 장벽에 의하여 차단될 수 있다. 또한, 우안 영상(I2R)을 형성하는 광 중 사용자(U)의 우측 눈을 향하는 광은 슬롯을 통과할 수 있으며, 다른 방향으로 진행하는 광은 광 차단 장벽에 의하여 차단될 수 있다. 그 결과, 사용자(U)는 좌측 눈을 통하여 슬롯을 통과한 좌안 영상(I2L)을 볼 수 있으며, 우측 눈을 통하여 슬롯을 통과한 우안 영상(I2R)을 볼 수 있다.
이와 같은 방식으로, 웨어러블 디스플레이 장치(100)는 좌안 영상(I2L)과 우안 영상(I2R) 사이의 시차를 이용하여 사용자(U)에게 입체감을 제공할 수 있다.
이상에서 설명된 바와 같이, 웨어러블 디스플레이 장치(100)는 입체 영상을 표시하기 위하여 좌안 영상(I1L)과 우안 영상(I1R)를 나란히 표시하거나, 좌안 영상(I2L)의 일부와 우안 영상(I2R)의 일부를 교대로 표시할 수 있다.
도 7는 일 실시 예에 의한 웨어러블 디스플레이 장치의 구성을 도시한다.
웨어러블 디스플레이 장치(100)는 사용자로부터 사용자 입력을 수신하는 사용자 입력부(110)와, 컨텐츠 소스(10)로부터 컨텐츠를 수신하는 컨텐츠 수신부(120)와, 웨어러블 디스플레이 장치(100)의 자세를 감지하는 감지부(또는, 센서부)(130)와, 컨텐츠 수신부(120)에 의하여 수신되거나, 메모리(170)에 저장된 컨텐츠를 처리하는 프로세서(140), 프로세서(140)에 의하여 처리된 영상을 표시하는 디스플레이부(150)와, 프로세서(140)에 의하여 처리된 음향을 출력하는 음향부(160)를 포함한다.
다양한 실시 예로, 디스플레이 장치(100)는 감지부(130), 프로세서(140), 디스플레이부(150)를 필수적으로 포함하고, 사용자 입력부(110), 컨텐츠 수신부(120), 음향부(160) 및 메모리(170) 중 적어도 하나 이상을 선택적으로 포함할 수도 있다.
사용자 입력부(110)는 사용자 입력을 수신하는 입력 버튼(111)을 포함할 수 있다. 예를 들어, 사용자 입력부(110)는 웨어러블 디스플레이 장치(100)를 턴온 또는 턴오프시키기 위한 전원 버튼, 컨텐츠 소스(10)를 선택하기 위한 소스 선택 버튼, 웨어러블 디스플레이 장치(100)가 출력하는 음향 볼륨을 조절하기 위한 음향 조절 버튼 등을 포함할 수 있다.
입력 버튼(111)은 각각 사용자 입력을 수신하고 사용자 입력에 대응하는 전기적 신호를 프로세서(140)로 출력할 수 있으며, 푸시 스위치, 터치 스위치, 다이얼, 슬라이드 스위치, 토글 스위치 등 다양한 입력 수단에 의하여 구현될 수 있다.
컨텐츠 수신부(120)는 컨텐츠 소스(10)로부터 유선으로 컨텐츠를 수신하는 유선 수신 모듈(121)과, 컨텐츠 소스(10)로부터 무선으로 컨텐츠를 수신하는 무선 수신 모듈(122)를 포함할 수 있다.
유선 수신 모듈(121)은 다양한 종류의 영상 전송 케이블을 통하여 컨텐츠 소스(10)로부터 컨텐츠를 수신할 수 있다.
예를 들어, 유선 수신 모듈(121)은 컴포넌트(component, YPbPr/RGB) 케이블 또는 컴포지트 (composite video blanking and sync, CVBS) 케이블 또는 고화질 멀티미디어 인터페이스 (High Definition Multimedia Interface, HDMI) 케이블 또는 범용 직렬 버스(Universal Serial Bus, USB) 케이블 또는 이더넷(Ethernet, IEEE 802.3 기술 표준) 케이블 등을 통하여 컨텐츠 소스(10)로부터 컨텐츠를 수신할 수 있다.
유선 수신 모듈(121)을 통하여 컨텐츠 소스(10)로부터 컨텐츠를 수신하는 경우, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스(10)로부터 영상 프레임 데이터를 수신할 수 있다. 여기서, 영상 프레임 데이터는 한 프레임의 영상을 나타내는 비트 스트림으로써, 예로, 압축되지 아니한 영상 데이터를 나타낼 수 있다.
유선 수신 모듈(121)는 영상 전송 케이블을 통하여 영상 데이터를 수신하므로 데이터 전송률의 제한이 크지 않다. 따라서, 유선 수신 모듈(121)는 컨텐츠 소스(10)로부터 영상 프레임 데이터를 그대로 수신할 수 있다.
무선 수신 모듈(122)은 다양한 무선 통신 표준을 이용하여 컨텐츠 소스(10)로부터 컨텐츠를 수신할 수 있다.
예를 들어, 무선 수신 모듈(122)은 와이파이(WiFi™, IEEE 802.11 기술 표준) 또는 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준) 또는 지그비(ZigBee™, IEEE 802.15.4 기술 표준) 등을 이용하여 무선으로 컨텐츠 소스(10)로부터 컨텐츠를 수신할 수 있다. 또한, 무선 수신 모듈(122)은 CDMA, WCDMA, GSM, LET(Long Term Evolution), 와이브로 등을 이용하여 무선으로 컨텐츠 소스(10)로부터 컨텐츠를 수신할 수 있다.
무선 수신 모듈(122)을 통하여 컨텐츠 소스(10)로부터 컨텐츠를 수신하는 경우, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스(10)로부터 압축/인코딩된 영상 데이터를 수신할 수 있다. 여기서, 압축/인코딩된 영상 데이터는 한 프레임의 영상 또는 복수의 프레임의 영상이 압축/인코딩된 비트 스트림을 나타낼 수 있다. 예를 들어, 영상 프레임 데이터는 H.264/MPEG-4 AVC (Moving Picture Experts Group-4 Advance Vide Coding) 또는 H.265/HEVC (High Efficiency Video Coding) 등의 영상 압축 표준에 의하여 압축/인코딩될 수 있다. 영상 프레임 데이터이 압축/인코딩됨으로써 압축/인코딩된 영상 데이터는 본래의 영상 프레임 데이터보다 작은 용량(또는 크기)을 가질 수 있다.
무선 수신 모듈(122)는 무선으로 영상 데이터를 수신하므로 데이터 전송률의 제한되므로, 무선 수신 모듈(122)는 컨텐츠 소스(10)로부터 압축/인코딩된 영상 데이터를 수신할 수 있다.
이처럼, 컨텐츠 수신부(120)는 컨텐츠 소스(10)로부터 유선으로 또는 무선으로 컨텐츠를 수신하고, 수신된 컨텐츠를 프로세서(140)로 출력할 수 있다.
감지부(130)는 3차원 공간에서 웨어러블 디스플레이 장치(100)의 움직임 및 현재 자세를 감지할 수 있다. 예로, 감지부(130)는 사용자(U)가 움직이는 동안 사용자(U)의 신체에 고정된 웨어러블 디스플레이 장치(100)의 선형 이동 가속도, 선형 이동 속도, 선형 이동 변위, 선형 이동 방향, 기울기, 회전 이동 각속도, 회전 이동 각변위 및/또는 회전 방향(회전 이동의 축 방향) 등을 감지할 수 있다.
감지부(130)는 웨어러블 디스플레이 장치(100)의 선형 이동을 감지하는 가속도 센서(131)와 웨어러블 디스플레이 장치(100)의 회전 이동을 감지하는 자이로 센서(132)와 지구 자기장을 감지하는 자자기 센서(133)를 포함할 수 있다.
가속도 센서(131)는 웨어러블 디스플레이 장치(100)의 선형 이동에 의한 x축 가속도, y축 가속도 및/또는 z축 가속도(3축 선형 가속도)를 측정할 수 있다.
예를 들어, 가속도 센서(131)는 지구 중력에 의한 가속도(중력 가속도)를 기준으로 웨어러블 디스플레이 장치(100)의 선형 이동 가속도를 측정할 수 있다. 가속도 센서(131)는 중력 가속도와 선형 이동 가속도의 벡터 합을 측정하고, 측정 값으로부터 선형 이동 가속도를 판단할 수 있다. 가속도 센서(131)는 웨어러블 디스플레이 장치(100)의 선형 이동 가속도로부터 웨어러블 디스플레이 장치(100)의 선형 이동 속도를 산출할 수 있으며, 웨어러블 디스플레이 장치(100)의 선행 이동 속도로부터 웨어러블 디스플레이 장치(100)의 선형 이동 변위를 산출할 수 있다.
또한, 가속도 센서(131)는 중력 가속도의 방향 변화를 기초로 웨어러블 디스플레이 장치(100)의 자세를 판단할 수 있다.
자이로 센서(132)는 웨어러블 디스플레이 장치(100)의 회전 이동에 의한 x축 중심의 각속도, y축 중심의 각속도 및/또는 z축 중심의 각속도(3축 각속도)를 측정할 수 있다.
예를 들어, 자이로 센서(132)는 회전에 의한 코리올리의 힘(Coriolis force)을 이용하여 웨어러블 디스플레이 장치(100)의 회전 이동 각속도를 측정할 수 있다. 자이로 센서(122)는 코리올리의 힘을 측정하고, 코이올리의 힘으로부터 웨어러블 디스플레이 장치(100)의 회전 이동 각속도를 산출할 수 있다.
자이로 센서(132)는 웨어러블 디스플레이 장치(100)의 회전 이동 각속도로부터 웨어러블 디스플레이 장치(100)의 회전 이동 변위를 산출할 수 있다.
지자기 센서(133)는 웨어러블 디스플레이 장치(100)를 통과하는 지구 자기장의 x축 방향 성분과 y축 방향 성분과 z축 방향 성분을 측정할 수 있다.
예를 들어, 지자기 센서(133)는 홀 효과(Hall effect)를 이용하여 웨어러블 디스플레이 장치(100)를 통과하는 지구 자기장을 측정할 수 있다. 홀 효과는 전류가 흐르는 반도체에 전류와 직각 방향으로 자기장이 형성되는 경우 전류 및 자기장의 직각 방향으로 기전력이 발생하는 것을 의미한다. 지자기 센서(133)는 홀 효과에 의한 기전력을 측정하고, 홀 효과에 의한 기전력으로부터 지구 자기장을 산출할 수 있다.
특히, 지자기 센서(133)는 웨어러블 디스플레이 장치(100)가 향하는 방향 즉 웨어러블 디스플레이 장치(100)의 자세를 산출할 수 있다.
이처럼, 감지부(130)는 웨어러블 디스플레이 장치(100)의 선형 이동 가속도, 선형 이동 속도, 선형 이동 변위, 선형 이동 방향, 회전 이동 각속도, 회전 이동 각변위 및/또는 회전 방향(회전 이동의 축 방향) 등 움직임에 관한 정보와 웨어러블 디스플레이 장치(100)의 기울어짐 등 자세에 관한 정보를 프로세서(140)로 출력할 수 있다.
프로세서(140)는 사용자 입력부(110)를 통하여 수신된 사용자 입력에 따라 컨텐츠 수신부(120), 감지부(130), 디스플레이부(150) 및/또는 음향부(160)를 제어할 수 있다. 예를 들어, 컨텐츠 소스(10)의 선택을 위한 사용자 입력이 수신되면 프로세서(140)는 선택된 컨텐츠 소스로부터 컨텐츠 데이터를 수신하도록 컨텐츠 수신부(120)를 제어할 수 있다. 또한, 영상 조절 및/또는 음향 조절을 위한 사용자 입력이 수신되면 프로세서(140)는 영상 및/또는 음향을 조절하기 위하여 디스플레이부(150) 및/또는 음향부(160)를 제어할 수 있다.
프로세서(140)는 컨텐츠 수신부(120)로부터 영상 데이터를 획득하여, 획득된 영상 데이터를 처리할 수 있다. 또는, 프로세서(140)는 메모리(170)로부터 영상 데이터를 획득하여, 획득된 영상 데이터를 처리할 수 있다. 예를 들어, 프로세서(140)는 압축/인코딩된 영상 데이터를 디코딩하여 영상 프레임 데이터를 복원할 수 있다. 구체적으로, 영상 디코더(220)는 H.264/MPEG-4 AVC 또는 H.265/HEVC 등의 영상 압축 표준을 이용하여 압축/인코딩된 영상 데이터를 디코딩할 수 있다.
프로세서(140)는 복원된 영상 프레임 데이터를 처리하여 입체 영상을 렌더링할 수 있다. 구체적으로, 프로세서(140)는 웨어러블 디스플레이 장치(100)의 입체 영상 표시 방식에 따라 사용자가 입체감을 느낄 수 있도록 좌안 영상과 우안 영상을 포함하는 영상 프레임을 처리할 수 있다. 예로, 웨어러블 디스플레이 장치(100)는 도 3에 도시된 바와 같이 양안 입체 영상을 표시할 수 있다. 이러한 경우, 입체 영상 렌더러(230)는 입체 영상을 렌더링하기 위하여 입체 영상을 좌안 영상과 우안 영상으로 분리하고, 좌안 영상과 우안 영상을 나란히 배치할 수 있다. 또는, 웨어러블 디스플레이 장치(100)는 도 5에 도시된 바와 같이 단일 입체 영상을 표시할 수도 있다. 이러한 경우, 프로세서(140)는 좌안 영상과 우안 영상을 띠 형태의 복수의 좌안 영상 조각과 띠 형태의 복수의 우안 영상 조각으로 재단하고, 복수의 좌안 영상 조각과 복수의 우안 영상 조각을 교대로 배치하여 입체 영상을 생성할 수 있다.
이와 같이, 프로세서(140)에 의하여 디코딩된 입체 영상의 영상 프레임은 다양한 포맷을 가질 수 있으며, 프로세서(140)는 영상 프레임의 포맷에 따라 서로 다른 방법으로 영상 프레임으로부터 입체 영상을 렌더링할 수 있다.
프로세서(140)는 감지부(130)에서 센싱된 값에 따라 입체 영상의 전부 또는 일부를 디스플레이부(150)로 출력할 수도 있다.
메모리(170)는 웨어러블 디스플레이 장치(100)에 포함된 구성들을 제어하기 위한 프로그램 및 데이터를 저장하고, 웨어러블 디스플레이 장치(100)에 포함된 구성들을 제어하는 중에 발행하는 임시 제어 데이터를 기억할 수 있다.
메모리(170)는 컨텐츠 수신부(120)에 의하여 수신된 영상 데이터를 디코딩하기 위한 프로그램 및 데이터와 디코딩된 영상 데이터로부터 입체 영상을 재현하기 위한 프로그램 및 데이터를 저장할 수 있다. 또한, 메모리(170)는 영상 데이터를 디코딩하는 중에 발생하거나 입체 영상을 렌더링하는 중에 발생하는 임시 영상 데이터를 기억할 수 있다.
이러한 메모리(170)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다. 또한, 메모리(170)는 외장 메모리를 포함할 수도 있다. 외장 메모리는, 예로, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 웨어러블 디스플레이 장치(100)와 기능적으로 또는 물리적으로 연결될 수 있다. 또한, 외장 메모리는 웨어러블 디스플레이 장치(100)와 탈착이 가능할 수도 있다.
프로세서(140)는 사용자 입력부(110)로부터 사용자 입력을 기초로 컨텐츠 수신부(120), 감지부(130), 디스플레이부(150) 및/또는 음향부(160)를 제어하기 위한 제어 신호를 생성할 수 있다. 또한, 프로세서(140)는 컨텐츠 수신부(120) 또는 메모리(170)로부터 영상 데이터를 획득하고, 메모리(170)에 저장된 프로그램 및 데이터에 따라 영상 데이터를 디코딩하고, 입체 영상을 렌더링할 수 있다.
이러한, 프로세서(140)는 논리 연산 및 산술 연산 등을 수행하는 연산 회로와, 연산된 데이터를 기억하는 기억 회로 등을 포함할 수 있다.
프로세서(140)의 동작은 아래에서 더욱 자세하게 설명된다.
디스플레이부(150)는 영상을 시각적으로 표시하는 디스플레이 패널(152)과, 디스플레이 패널(152)을 구동하는 디스플레이 드라이버(151)를 포함한다.
디스플레이 패널(152)은 영상을 표시하는 단위가 되는 픽셀을 포함할 수 있다. 각각의 픽셀은 디스플레이 드라이버(151)로부터 영상을 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 복수의 픽셀이 출력하는 광학 신호가 조합됨으로써 하나의 영상이 디스플레이 패널(152)에 표시될 수 있다.
예를 들어, 디스플레이 패널(152)에는 복수의 픽셀들이 마련되며, 디스플레이 패널(152)에 표시되는 영상은 복수의 픽셀들로부터 방출된 광의 조합에 의하여 형성될 수 있다. 예를 들어, 복수의 픽셀들이 방출하는 광이 모자이크(mosaic)와 같이 조합됨으로써 디스플레이 패널(152) 상에 하나의 영상이 형성될 수 있다. 앞서 설명된 바와 같이, 복수의 픽셀들 각각은 다양한 밝기 및 다양한 색상의 광을 방출할 수 있으며, 다양한 색상의 광을 방출하기 위하여 복수의 픽셀들 각각은 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀을 포함할 수 있다.
디스플레이 패널(152)은 액정 디스플레이 패널(Liquid Crystal Display Panel, LCD Panel), 발광 다이오드 패널(Light Emitting Diode Panel, LED Panel) 또는 유기 발광 다이오드 패널(Organic Light Emitting Diode Panel, OLED Panel)을 등 다양한 타입의 패널에 의하여 구현될 수 있다.
실시 형태에 따라 디스플레이 패널(152)는 복수의 영역으로 구획될 수 있다. 예를 들어, 디스플레이 패널(152)은 좌측 영상을 표시하기 위한 좌측 영역과 우측 영상을 표시하기 위한 우측 영역으로 구획될 수 있다. 디스플레이 패널(152)의 좌측 영역은 좌안 스크린(102L)을 형성하고, 디스플레이 패널(152)의 우측 영역은 우안 스크린(102R)을 형성할 수 있다.
또한, 실시 형태에 따라 디스플레이부(150)는 복수의 디스플레이 패널들을 포함할 수 있다. 예를 들어, 디스플레이부(150)는 좌안 영상을 표시하는 좌측 디스플레이 패널과 우안 영상을 표시하는 우측 디스플레이 패널을 포함할 수 있다. 좌측 디스플레이 패널은 좌안 스크린(102L)을 형성하고, 우측 디스플레이 패널은 우안 스크린(102R)을 형성할 수 있다.
디스플레이 드라이버(151)는 프로세서(140)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에 대응하는 영상을 표시하도록 디스플레이 패널(152)을 구동할 수 있다. 구체적으로, 디스플레이 드라이버(151)는 디스플레이 패널(152)을 구성하는 복수의 픽셀 각각에 영상 데이터에 대응하는 전기적 신호를 전달할 수 있다.
디스플레이 드라이버(151)가 디스플레이 패널(152)을 구성하는 각각의 픽셀에 영상 데이터에 대응하는 전기적 신호를 전달하면 각각의 픽셀은 수신된 전기적 신호에 대응하는 광을 출력하고, 각각의 픽셀이 출력하는 광들이 조합되어 하나의 영상을 형성할 수 있다.
음향부(160)는 음향을 증폭하는 오디오 앰프(161)와, 증폭된 음향을 청각적으로 출력하는 스피커(162)를 포함한다. 음향부(160)는 선택적으로 마이크(미도시)를 더 포함할 수도 있다.
프로세서(140)는 음향 데이터를 처리하여 음향 신호로 변환할 수 있으며, 오디오 앰프(161)는 프로세서(140)로부터 출력된 음향 신호를 증폭할 수 있다.
스피커(162)는 오디오 앰프(161)에 의하여 증폭된 음향 신호를 음향(음파)으로 변환할 수 있다. 예를 들어, 스피커(162)는 전기적 음향 신호에 따라 진동하는 박막을 포함할 수 있으며, 박막의 진동에 의하여 음파가 생성될 수 있다.
마이크(미도시)는 웨어러블 디스플레이 장치(100)의 주변 음향을 수집하고, 수집된 음향을 전기적 음향 신호로 변환할 수 있다. 마이크(미도시)에 의하여 수집된 음향 신호는 프로세서(140)로 출력될 수 있다.
이상에서 설명된 바와 같이, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스(10) 또는 메모리(170)로부터 영상 데이터를 획득하고, 영상 데이터로부터 입체 영상을 렌더링할 수 있다.
다양한 실시 예로, 프로세서(140)는, 좌안 영상 및 우안 영상을 포함하는 영상 데이터를 획득할 수 있다. 예로, 웨어러블 디스플레이 장치(100)는 컨텐츠 소스(10)로부터 상기 영상 데이터를 획득하거나, 또는 메모리(170)로부터 상기 영상 데이터를 획득할 수 있다. 360도 VR 입체 영상의 생성을 위한 인코딩된 영상 데이터, 또는 상기 360도 VR 입체 영상 중에서 사용자의 시야에 대응되는 VR 입체 영상의 생성을 위한 인코딩된 영상 데이터가 될 수 있다.
프로세서(140)는 획득된 영상 데이터를 처리하여, 360도 VR 입체 영상 중에서 사용자의 시야에 대응되는 제1 VR 입체 영상이 표시되도록 디스플레이부(150)를 제어할 수 있다.
이러한 상황에서, 사용자가 머리를 기울이면, 감지부(130)는 웨어러블 디스플레이 장치(100)의 움직임을 센싱할 수 있다. 감지부(130)에서 감지된 웨어러블 디스플레이 장치(100)의 기울기에 기초하여, 프로세서(140)는 사용자의 변경된 시야에 대응되는 제2 입체 영상이 표시되도록 디스플레이부(150)를 제어할 수 있다. 그리고, 프로세서(140)는 상기 기울기에 대응되는 각도까지 제2 입체 영상이 점차적으로 회전되면서 표시되도록 디스플레이부(150)를 제어할 수 있다.
이 때, 사용자가 머리를 기울이기 전에, 제1 VR 입체 영상의 수평 기준이 되는 영상 수평면은, 사용자의 양안의 수평 기준이 되는 양안 수평면과 평행할 수 있다. 반면에, 사용자가 머리를 기울인 후에, 제2 VR 입체 영상의 수평 기준이 되는 영상 수평면과 상기 양안 수평면이 만나는 교차각은 사용자가 머리를 기울임에 따라 감지부(130)에서 감지된 웨어러블 디스플레이 장치(100)의 기울기와 동일 또는 근사한 값을 가질 수 있다. 또한, 회전되어 표시된 제2 VR 입체 영상의 수평 기준이 되는 영상 수평면은, 사용자가 머리를 기울인 후에, 사용자의 양안의 수평 기준이 되는 양안 수평면과 평행할 수 있다.
다양한 실시 예로, 프로세서(140)는 사용자가 머리를 기울인 후에, 미리 설정된 시간이 진행됨에 따라 제2 입체 영상이 점차적으로 회전하여 표시되도록 디스플레이부(150)를 제어할 수 있다. 또는, 프로세서(140)는 사용자가 머리를 기울이는 동안에, 제2 입체 영상이 점차적으로 회전하여 표시되도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는 제2 VR 입체 영상이 점차적으로 회전되어 제1 VR 입체 영상이 표시되도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는, 제1 VR 입체 영상이 표시되는 경우, 오브젝트의 좌 측면 및 우 측면이 표시되도록 디스플레이부(150)를 제어하고, 제2 VR 입체 영상이 표시되는 경우, 오브젝트의 좌 측면에 대응되는 좌상 측면 및 우 측면에 대응되는 우하 측면이 표시되도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는 기울기가 일정 값 미만인 경우, 제2 VR 입체 영상이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어하고, 기울기가 일정 값 이상인 경우, 제2 VR 입체 영상이 2D 영상으로 표시되도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는, 제2 VR 입체 영상이 표시되는 동안에, 제1 위치에서 제2 VR 입체 영상과 관련된 음향이 출력되도록 스피커(162)를 제어할 수 있다. 또한, 프로세서(140)는 회전된 제2 VR 입체 영상이 표시되는 동안에, 제1 위치와 동일 또는 근사한 위치에서 회전된 제2 VR 입체 영상에 대응되는 음향이 출력되도록 스피커(162)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는 무선 또는 유선으로 연결된 외부에 위치한 컨텐츠 소스(10)로부터 영상 데이터를 획득하거나, 또는 웨어러블 디스플레이 장치(100)의 메모리(170)로부터 영상 데이터를 획득할 수 있다. 이 때, 영상 데이터는, 360도 VR 입체 영상의 생성을 위한 영상 데이터, 또는 상기 360도 VR 입체 영상 중에서 사용자의 시야에 대응되는 VR 입체 영상의 생성을 위한 인코딩된 영상 데이터를 포함할 수 있다.
다양한 실시 예로, 디스플레이부(150)가 좌안 스크린 및 우안 스크린을 포함하는 경우, 프로세서(140)는 상기 좌안 스크린에는 상기 좌안 영상을 표시하고, 상기 우안 스크린에는 상기 우안 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는 사용자의 시야에 관한 정보를 이용하여, 사용자의 시야에 대응되는 제1 VR 입체 영상 및 제2 입체 영상이 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 때, 사용자의 시야에 관한 정보는, 사용자의 눈동자의 위치에 기반하여 획득된 정보 및 상기 웨어러블 장치의 자세에 기반하여 획득된 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시 예로, 프로세서(140)는 컨텐츠 수신부(120)를 통하여 복수의 영상들을 포함하는 입체 영상 데이터를 획득할 수 있다. 이 때, 입체 영상 데이터는 지표면과 수평하거나 또는 대략적으로 수평한 상태에서 촬영된 좌안 영상 및 우안 영상을 포함하는 입체 영상 데이터일 수 있다. 이 경우, 웨어러블 디스플레이 장치(100)의 움직임이 센서부(130)를 통하여 감지됨에 따라, 프로세서(140)는 입체 영상 데이터를 처리하여 웨어러블 디스플레이 장치(100)의 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 입체 영상을 생성할 수 있다. 그리고, 프로세서(140)는 롤 성분이 제외된 움직임에 대응되는 제1 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는, 웨어러블 디스플레이 장치(100)의 움직임이 감지됨에 따라, 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 미리 결정된 시간이 경과된 후, 프로세서(140)는, 제2 VR 입체 영상 대신에 제1 VR 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 이 때, 프로세서(140)는 제2 VR 입체 영상이 표시되는 동안에는 제1 위치에서 음향이 출력되도록 스피커(162)를 제어하고, 제1 VR 입체 영상이 표시되는 동안에는 제1 위치와 동일한 위치에서 음향이 출력되도록 스피커(162)를 제어할 수 있다.
다양한 실시 예로, 프로세서(40)는, 웨어러블 디스플레이 장치(100)의 움직임이 감지됨에 따라, 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시하도록 상기 디스플레이부(150)를 제어할 수 있다. 시간이 경과에 따라 점차적으로, 프로세서(140)는 제2 VR 입체 영상 대신에 제1 VR 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 이 때, 프로세서(140)는 제2 VR 입체 영상이 표시되는 동안에는 제1 위치에서 음향이 출력되도록 스피커(162)를 제어하고, 제1 VR 입체 영상이 표시되는 동안에는 제1 위치와 동일한 위치에서 음향이 출력되도록 스피커(162)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는, 사용자에 시야에 대응되는, 제3 VR 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 제3 VR 입체 영상이 표시되는 동안에, 웨어러블 디스플레이 장치의 움직임이 감지되면, 프로세서(140)는 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상으로서, 제3 VR 입체 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 이 때, 웨어러블 디스플레이 장치(100)의 움직임의 롤 성분의 값이 일정 값 이상이면, 프로세서(140)는 제3 VR 입체 영상을 2D 영상으로 표시하도록 디스플레이부(150)를 제어할 수 있다.
다양한 실시 예로, 프로세서(140)는, 사용자의 시야에 관한 정보를 이용하여 제1 VR 입체 영상을 생성할 수 있다. 이 때, 사용자의 시야에 관한 정보는, 사용자의 눈동자의 위치에 기반하여 획득된 정보 및 웨어러블 디스플레이 장치(100)의 자세에 기반하여 획득된 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시 예로, 입체 영상 데이터는, 지표면과 수평하거나 또는 대략적으로 수평한 상태에서 촬영된 좌안 영상 및 우안 영상을 포함할 수 있다. 또한, 입체 영상 데이터는, 360도 VR 입체 영상에 대응되는 입체 영상 데이터, 또는 사용자의 시야에 대응되는 입체 영상 데이터를 포함할 수 있다.
도 8a 내지 도 8c는 일 실시 예에 따른 웨어러블 디스플레이 장치(100)의 사용도를 나타낸다.
도 8a 내지 도 8c에서, 웨어러블 디스플레이 장치(100)는 360도 VR 입체 영상 중에서 일부가 표시되도록 디스플레이부(150)를 제어할 수 있다.
360도 VR 입체 영상은 뎁스 정보를 가진 VR 서브 영상들로 구성된 것을 가정한다.
예로, 180도 이상의 화각을 가지는 복수 개의 어안 카메라(fish eye lenses)를 이용하여 360도 공간이 촬영될 수 있다. 복수 개의 어안 카메라에 의하여 촬영된 복수의 영상들은 구 표면에 투영되어 좌안 구형 영상 및 우안 구형 영상으로 생성될 수 있다. 이 때, 지정된 화각에 따라 좌안 구형 영상의 서브 영상들 및 우안 구형 영상의 서브 영상들이 추출될 수 있으며, 좌안 구형 영상의 서브 영상들 및 우안 구형 영상의 서브 영상들 간의 오버랩 정보를 이용하여 뎁스 구형 영상이 생성될 수 있다. 그리고, 좌안 구형 영상 및 우안 구형 영상 중 적어도 하나에 상기 뎁스 구형 영상이 렌더링되어 360도 VR 입체 영상이 생성될 수 있다.
360도 VR 입체 영상은, 컨텐츠 수신부를 통하여 획득된 입체 영상 데이터를 처리하여 생성될 수 있다. 이 때, 입체 영상 데이터는, 지표면과 수평하거나 또는 대략적으로 수평한 상태에서 어안 카메라에 의하여 촬영된 좌안 영상 및 우안 영상을 포함할 수 있다.
도 8a의 (a)에서, 웨어러블 디스플레이 장치(100)의 프로세서(140)는 사용자(U)의 시야(U81)에 관한 정보를 획득할 수 있다. 시야(U81)에 관한 정보는 예로, 사용자(U)가 볼 수 있는 범위에 대한 정보를 의미할 수 있다. 예로, 시야에 관한 정보는 시선에 관한 정보, 시야 각에 관한 정보, 시야 방위, 시선 방향에 관한 정보 등을 포함할 수 있다. 시야에 관한 정보는, 예로, 사용자의 눈동자의 위치를 감지한 센싱 값 또는 웨어러블 디스플레이 장치(100)의 자세를 감지한 센싱 값에 기초하여 결정될 수 있다.
프로세서(140)는 360도 VR 입체 영상(800) 중에서 사용자(U)의 시야(U81)에 대응되는 제1 VR 입체 영상(또는, 제1 VR 서브 영상)(831)을 표시할 수 있다. 이 때, 사용자의 머리는 정자세인 상태일 수 있다. 이 경우, 사용자(U)의 시야(U81)에 대응되는 제1 VR 입체 영상(831)의 수평 기준이 되는 영상 수평면(811)은 사용자(U)의 양안의 수평 기준이 되는 양안 수평면(801)과 평행하거나 또는 상기 양안 수평면(801)에 포함될 수 있다. 사용자(U)의 양안의 수평 기준이 되는 양안 수평면(801)은 실제 지표면과 평행할 수 있다.
프로세서(140)는 렌더링된 360도 VR 입체 영상(800)의 VR 서브 영상으로서 제1 VR 입체 영상(831)을 표시할 수도 있으며, 또는 제1 VR 입체 영상(831)에 필요한 영상 데이터만을 렌더링하여 제1 VR 입체 영상(831)을 표시할 수도 있다.
도 8a의 (b)는, 사용자(U)의 시야에 대응되는 제1 VR 입체 영상(831)에 포함된 오브젝트(820)를 나타낸다. 오브젝트(820)는, 예로, 사각 기둥을 포함할 수 있다. 일 예로, 도 4에서 전술한 바와 같이, 사용자(U)는 좌측 눈과 우측 눈을 통하여 서로 다른 영상을 볼 수 있다. 예로, 디스플레이부(150)의 좌안 스크린에는 오브젝트(820)의 좌 측면(821)을 포함하는 좌안 영상이 표시되고, 우안 스크린에는 오브젝트(820)의 우 측면(822)을 포함하는 우안 영상이 표시될 수 있다. 좌안 영상 및 우안 영상의 차이에 따라, 사용자(U)는 오브젝트(820)의 입체감을 느낄 수 있다.
도 8a의 (a)의 상황에서, 도 8b의 (a)와 같이, 사용자(U)가 머리를 일 측으로 기울일 수 있다.
사용자(U)가 머리를 기울임에 따라, 프로세서(140)는 웨어러블 디스플레이 장치(100)의 롤 성분을 가지는 움직임(θ1)에 기초하여 사용자(U)의 변경된 시야(U82)에 관한 정보를 획득할 수 있다. 프로세서(140)는 360도 VR 입체 영상(800) 중에서 사용자의 변경된 시야(U82)에 대응되는 제2 VR 입체 영상(832)이 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 경우, 사용자(U)의 시야(U82)에 대응되는 제2 VR 입체 영상(832)의 수평 기준이 되는 영상 수평면(812)은 도 8a의 (a)의 제1 VR 입체 영상(831)의 수평 기준이 되는 영상 수평면(811)과 동일할 수 있다. 이에, 제2 VR 입체 영상(832)의 영상 수평면(812)과 머리를 기울인 사용자(U)의 양안의 수평 기준이 되는 양안 수평면(802)이 만나는 교차각(θ2)은 머리의 기울기(θ1)와 동일하거나 또는 근사한 값을 가질 수 있다. 또한, 도 8a의 (a)의 제1 VR 입체 영상(831)의 수평 기준이 되는 영상 수평면(811)과 동일한 영상 수평면(812)을 가지는 제2 VR 입체 영상(832)은 롤 성분이 포함된 움직임(θ1)에 대응되는 입체 영상이 될 수 있다.
도 8b의 (b)는, 사용자의 변경된 시야(U82)에 대응되는 제2 VR 입체 영상(832)에 포함된 기울여진 오브젝트(820)를 나타낸다. 도 8b의 (b)의 오브젝트(820)는 도 8a의 (b)의 오브젝트(820)와 동일한 오브젝트일 수 있다. 이 때, 디스플레이부(150)를 통하여 기울여진 오브젝트(820)의 측면들(821~824) 중 일부(821,822)만 표시될 수 있다.
예로, 360도 VR 입체 영상을 생성 시에, 복수 개의 어안 카메라들이 수직 또는 수평으로 이동하며 복수의 영상들을 촬영함에 따라, 오브젝트(820)의 측면들에 대한 영상 정보로서 좌 측면(821) 및 우 측면(822)에 대한 정보만 획득된 상태일 수 있다. 이에 따라, 프로세서(140)는 사용자의 변경된 시야(U82)에 대응되는 도 8b의 (b)의 오브젝트(820)를 렌더링하는 경우, 도 8a의 (b)의 좌 측면(821)에 대응되는 좌상 측면(821) 및 도 8a의 (b)의 우 측면(822)에 대응되는 우하 측면(822)에 대한 영상 정보만 렌더링하고, 오브젝트(820)의 좌하 측면(823) 및 우상 측면(824)에 대한 영상 정보는 렌더링하지 못할 수 있다.
이와 같이, 오브젝트(820)의 측면들의 일부만 표시됨에 따라, 사용자는 오브젝트(820)의 입체감을 부자연스럽게 느낄 수 있다. 심지어, 사용자는 도 8a의 오브젝트(820)와 도 8b의 오브젝트(820)를 서로 다른 오브젝트로 인식할 수도 있다.
이를 해결하기 위하여, 도 8c의 (a)와 같이, 프로세서(140)는 사용자(U)의 관점에서 기울지 않은 오브젝트(820)를 포함하는 제3 VR 입체 영상(833)이 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 경우, 사용자(U)의 시야(U83)에 대응되는 제3 VR 입체 영상(833)의 수평 기준이 되는 영상 수평면(813)은 머리를 기울인 후의 사용자(U)의 양안의 수평 기준이 되는 양안 수평면(802)과 평행하거나 또는 상기 양안 수평면(802)에 포함될 수 있다. 또한, 도 8a의 (a)의 제1 VR 입체 영상(831)의 수평 기준이 되는 영상 수평면(811)과 다른 영상 수평면(813)을 가지는 제3 VR 입체 영상(833)은 움직임(θ1)의 성분들 중에서 롤 성분이 제외된 움직임에 대응되는 입체 영상이 될 수 있다.
이 경우, 프로세서(140)는 미리 설정된 시간이 진행됨에 따라, 도 8b의 (a)에서 감지된 머리의 기울기(θ1)에 대응되는 각도까지 도 8b의 (a)의 제2 VR 입체 영상(832)이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다. 미리 설정된 시간이 경과되면, 프로세서(140)는 회전된 결과로서 도 8c의 (a)의 제3 VR 입체 영상(833)이 표시되도록 디스플레이부(150)를 제어할 수 있다. 제3 VR 입체 영상(833)은 도 8b의 (a)의 제2 VR 입체 영상(832)의 적어도 일부를 포함할 수 있으며, 도 8a의 (a)의 제1 VR 입체 영상(831)과 동일한 영상일 수 있다.
한편, 제2 VR 입체 영상(832) 및 제2 VR 입체 영상(832)과 관련된 오디오의 회전이 급격하게 수행되는 경우, 사용자는 인위적인 회전을 인지하여 혼란을 느끼거나, 제2 VR 입체 영상(832)을 시청하는 몰입감이 저하될 수 있다. 이에 따라, 사용자가 제2 VR 입체 영상(832)의 회전을 거의 느끼지 못하도록, 프로세서(140)는 미리 설정된 시간 이내에 제2 VR 입체 영상(832)을 부드럽게 회전할 필요가 있다.
따라서, 미리 설정된 시간은, 예로, 30ms 이내이며, 바람직하게는 사용자가 오브젝트의 이동 자체를 인지하기 어려운 18ms 이내 일 수 있으나, 전술한 예에 제한되지는 않는다.
도 8c의 (b)는, 도 8c의 (a)의 제3 VR 입체 영상(833)에 포함된 오브젝트(820)를 나타낸다. 이 때, 사용자(U)의 머리는 기울인 상태일 수 있다.
오브젝트(820)는, 예로, 도 8a의 및 도 8b의 오브젝트(820)와 동일한 오브젝트일 수 있다. 제2 VR 입체 영상(832)이 회전됨에 따라, 제2 VR 입체 영상(832)에 포함된 기울여진 오브젝트(820)는 점차적으로 회전되어 사용자(U)의 관점에서 기울지 않은 오브젝트(820)가 표시될 수 있다. 이 때, 기울지 않은 오브젝트(820)의 측면들은 모두 표시될 수 있다. 즉, 오브젝트(820)의 자세에 적합한 좌 측면(821) 및 우 측면(822)이 표시되어 적절한 입체감이 제공될 수 있다.
이에 따라, 사용자는 오브젝트(820)의 입체감을 자연스럽게 느끼고, 도 8b에서 사용자가 오브젝트(820)를 바라볼 때 느꼈던 인지 부조화의 문제가 해결될 수 있다. 즉, 360도 입체 영상을 시청하는 사용자의 몰입감이 계속하여 유지되어 최상의 시청 환경이 제공될 수 있다.
도 9a 및 도 9b, 본 개시의 다양한 실시 예에 따른, 웨어러블 장치의 사용도를 나타낸다.
도 9a는, 전술한 도 8c에서, 사용자가 머리를 기울임에 따라, 프로세서(140)는 제2 VR 입체 영상(832)에 포함된 입체감이 부족한 오브젝트(820)가 회전되어, 제3 입체 영상(833)에 포함된 입체감이 명확한 오브젝트(820)가 표시되도록 디스플레이부(150)를 제어할 수 있다.
예로, 도 9a의 (a) 내지 (c)에서, 프로세서(140)는 사용자(U)가 머리를 기울인 후에, 미리 설정된 시간이 진행됨에 따라, 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다. 예로, 감지부(130)에서 디스플레이 장치(100)의 회전이 감지되고, 미리 결정된 시간 동안 디스플레이 장치(100)의 회전이 더 이상 감지되지 않으면, 도 9a의 (d) 내지 (f)와 같이, 프로세서(140)는 오브젝트(820)의 회전을 시작할 수 있다.
또는, 도 9b의 (a) 내지 (d)와 같이, 프로세서(140)는 사용자(U)의 머리가 기울여지는 동안에, 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 함께 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다. 예로, 프로세서(140)는, 미리 결정된 주기마다 감지된 사용자(U)의 머리의 기울기에 대응되는 기울기로 오브젝트(820)를 회전시킬 수 있다.
프로세서(140)는 사용자(U)가 머리를 기울이는 속도를 고려하여, 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다.
예로, 감지부(130)는 사용자(U)의 머리의 움직임을 약 6개의 방향 성분들(x,y,z,roll,pitch,yaw)로 추적할 수 있다. 이 때, 감지부(130)는 롤(pitch) 성분의 변화를 고려하여 사용자(U)의 머리의 기울기를 측정할 수 있다. 그리고, 롤 성분의 회전 속도를 고려하여 제2 입체 영상(832)의 회전 속도를 결정할 수 있다. 구체적으로, t 시간 동안에, 사용자(U)의 머리의 회전 속도가 Rh(t)이고, 영상의 회전 속도가 Rv(t)인 경우, 프로세서(140)는 Rv(t)가 Rh(t)를 지속적으로 따라가도록 제어할 수 있다. 예로, 사용자(U)의 머리의 회전 속도인 Rh(t)가 크게 변화하고 있는 동안에는, 프로세서(140)는 Rv(t)가 Rh(t)를 따라가는 속도를 상대적으로 빠르게 결정할 수 있다. 반면에, 사용자(U)의 머리의 회전 속도인 Rh(t)가 적게 변화하고 있는 동안에는, 프로세서(140)는 Rv(t)가 Rh(t)를 따라가는 속도를 상대적으로 느리게 결정할 수 있다.
도 10은, 본 개시의 다양한 실시 예에 따른, 웨어러블 디스플레이 장치의 사용도를 나타낸다.
도 10의 (a)에서, 프로세서(140)는 사용자(U)의 시야에 대응되는 입체 영상에 포함된 오브젝트(820)가 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 때, 입체 영상에 포함된 오브젝트(820)는 도 8a의 (b)의 제1 VR 입체 영상(831)에 포함된 오브젝트(820)가 될 수 있다.
이러한 상황에서, 사용자(U)가 머리를 일 측으로 기울이면, 도 10의 (b)와 같이, 프로세서(140)는 사용자(U)의 변경된 시야에 대응되는 입체 영상에 포함된 오브젝트(820)가 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 때, 프로세서(140)는 오브젝트(820)가 입체감 없이 표시되도록 디스플레이부(150)를 제어할 수 있다.
즉, 도 8b에서 전술한 바와 같이, 웨어러블 디스플레이 장치(100)가 오브젝트(820)의 측면들의 일부에 대한 영상 정보만 가지고 있는 경우, 사용자는 오브젝트(820)의 입체감을 부자연스럽게 느낄 수 있다. 이에 따라, 프로세서(140)는 오브젝트(820)의 측면들의 영상 정보를 표시하지 않음으로써, 즉, 오브젝트(820)를 3D 대신 2D로 표시함으로써, 사용자가 오브젝트(820)를 부정확하게 인지하는 것을 방지할 수 있다.
다양한 실시 예로, 프로세서(140)는 사용자(U)의 머리 기울기에 따라 선택적으로 오브젝트(820)를 3D 또는 2D로 표시할 수 있다. 예로, 사용자(U)가 머리를 기울임에 따라, 프로세서(140)는 감지부(130)에 감지된 값에 기초하여 웨어러블 디스플레이 장치(100)의 기울기를 결정할 수 있다. 이 때, 디스플레이 장치(100)의 기울기가 일정 값 미만인 경우, 프로세서(140)는 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다. 반면에, 웨어러블 디스플레이 장치(100)의 기울기가 일정 값 이상인 경우, 프로세서(140)는 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 2D 영상으로 표시되도록 디스플레이부(150)를 제어할 수 있다.
또 다른 예로, 사용자(U)의 머리가 회전되는 회전 각속도가 일정 값 미만인 경우, 프로세서(140)는 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 점차적으로 회전되어 표시되도록 디스플레이부(150)를 제어할 수 있다. 반면에, 사용자(U)의 머리가 회전되는 회전 각속도가 일정 값 이상인 경우, 프로세서(140)는 오브젝트(820)가 포함된 제2 VR 입체 영상(832)이 2D 영상으로 표시되도록 디스플레이부(150)를 제어할 수 있다.
도 11은, 본 개시의 다양한 실시 예에 따른, 웨어러블 디스플레이 장치의 사용도를 나타낸다.
도 11의 (a)에서, 사용자(U)가 머리를 기울임에 따라, 프로세서(140)는 사용자(U)의 변경된 시야(U82)에 대응되는 제2 VR 입체 영상(832)이 표시되도록 디스플레이부(150)를 제어할 수 있다. 이 경우, 프로세서(140)는 제1 위치(1101)로부터 제2 VR 입체 영상(832)과 관련된 음향이 출력되도록 스피커(162)를 제어할 수 있다.
다음으로, 도 11의 (b)와 같이, 미리 설정된 시간이 진행됨에 따라, 프로세서(140)는 머리의 기울기에 대응되는 각도까지 제2 VR 입체 영상(832)이 점차적으로 회전되어 제3 VR 입체 영상(833)이 표시되도록 디스플레이부를(150)를 제어할 수 있다. 이 경우, 프로세서(140)는 제3 VR 입체 영상(833)과 관련된 음향이 제2 위치(1102)로부터 출력되도록 스피커(162)를 제어할 수 있다. 제1 위치(1101) 및 제2 위치(1102)는 서로 동일하거나 또는 근사한 위치일 수 있다.
즉, 제2 VR 입체 영상(832)이 회전하더라도, 프로세서(140)는 동일한 위치로부터 음향이 출력되도록 스피커(162)를 제어하여 입체 영상을 시청하는 사용자의 청각적 혼란을 방지할 수 있다.
도 12는, 본 개시의 일 실시 예에 따른 웨어러블 디스플레이 장치의 구성을 도시한다.
도 12에서, 웨어러블 디스플레이 장치(100)는 감지부(또는, 센서부)(1210) 및 프로세서(1220)을 포함할 수 있다. 도 12의 감지부(1210)는 도 7의 감지부(130)에 대응될 수 있으며, 프로세서(1220)는 도 7의 프로세서(140)에 대응될 수 있다.
도 12에서, 감지부(1210)는 자이로 센서(1211), 가속도 센서(1212), 지자기 센서(1213) 및 온도 센서(1214)를 포함할 수 있다. 여기서, 자이로 센서(1211), 가속도 센서(1212), 지자기 센서(1213)는 전술한 도 7의 자이로 센서(132), 가속도 센서(131) 및 지자기 센서(133)에 대응되어 중복되는 설명은 생략한다. 온도 센서(1214)는 웨어러블 디스플레이 장치(100)의 주변 온도를 감지할 수 있다.
감지부(1210)는 웨어러블 디스플레이 장치(100)의 움직임 및 자세를 감지할 수 있다. 예로, 웨어러블 디스플레이 장치(100)의 움직임이, 자이로 센서(1211), 가속도 센서(1212) 및 지자기 센서(1213) 중 적어도 하나에 의하여 센싱되어 웨어러블 디스플레이 장치(100)의 움직임이 결정될 수 있다. 또는, 또는, 웨어러블 디스플레이 장치(100)의 현재 자세가 자이로 센서(1211), 가속도 센서(1212) 및 지자기 센서(1213) 중 적어도 하나에 의하여 센싱되어, 웨어러블 디스플레이 장치(100)의 자세가 결정될 수 있다.
프로세서(1220)는 시청 자세 변화 추적부(1221), VR 용 3D 그래픽 표시기(1222), VR 용 3D 스테레오스코픽 비디오 렌더러(1223) 및 VR 용 3D 오디오 렌더러(1224)를 포함할 수 있다.
시청 자세 변화 추적부(1221)는 감지부(1210)로부터 획득된 센싱 값(예로, 웨어러블 디스플레이 장치(100)의 기울기)에 기초하여, 웨어러블 디스플레이 장치(100)의 기본 자세 또는 움직임 정보를 결정할 수 있다. 그리고, 시청 자세 변화 추적부(1221)는 지자기 센서(1213) 및 온도 센서(1214)에서 감지된 값을 이용하여, 기본 자세 또는 움직임 정보를 보정하여, 웨어러블 디스플레이 장치(100)의 최종 움직임 또는 자세를 결정할 수 있다.
다양한 실시 예로, 시청 자세 변화 추적부(1221)는 자이로 센서(1211) 및 가속도 센서(1212) 중 적어도 하나로부터 웨어러블 디스플레이 장치(100)의 기본 자세 또는 움직임 정보를 획득할 수 있다. 시청 자세 변화 추적부(1221)는 지자기 센서(1213) 및 온도 센서(1214)에서 감지된 값을 이용하여 결정된 기본 자세 또는 움직임 정보를 보정하여, 웨어러블 디스플레이 장치(100)의 움직임 또는 자세를 결정할 수 있다.
프로세서(1220)는 시청 자세 변화 추적부(1221)에서 결정된 웨어러블 디스플레이 장치(100)의 움직임 또는 자세에 기초하여, 사용자의 시야에 대응되는 입체 영상을 표시할 수 있다. 예로, 프로세서(1220)는 좌안 영상 및 우안 영상을 포함하는 영상 데이터를 획득할 수 있다. 프로세서(1220)는 영상 데이터에서 사용자의 시야에 대응되는 영상 데이터를 VR 입체 영상으로 처리할 수 있다. 예로, VR 용 3D 그래픽 표시기(1222)에서 영상 데이터의 그래픽을 처리하고, VR 용 3D 스테레오스코픽 비디오 렌더러(1223)에서 비디오에 대해 처리를 수행할 수 있다. 구체적으로, 사용자가 머리를 기울이는 경우, VR 용 3D 그래픽 표시기(1222) 및 VR 용 3D 스테레오스코픽 비디오 렌더러(1223)는 VR 3D 영상(1230)이 점차적으로 회전되어 표시되도록 그래픽 및 비디오에 대해 처리를 동시에 수행할 수 있다.
VR 용 3D 오디오 렌더러(1224)는 VR 3D 영상(1230)이 점차적으로 회전되는 동안에 VR 3D 오디오(1240)가 출력되는 위치, 방향 및 각도 중 적어도 하나를 조절할 수 있다. 예로, VR 용 3D 오디오 렌더러(1224)는 VR 3D 영상(1230)이 표시되는 동안에, 제1 위치에서 VR 3D 영상(1230)과 관련된 음향이 출력되도록 오디오 데이터를 렌더링하고, 회전된 V3 3D 영상(1230)이 표시되는 동안에, 제1 위치와 동일 또는 근사한 위치에서 회전된 제2 VR 입체 영상에 대응되는 음향이 출력되도록 오디오 데이터를 렌더링하여 VR 3D 오디오(1240)를 출력할 수 있다.
도 13은 일 실시 예에 의한 웨어러블 디스플레이 장치가 입체 영상을 표시하는 흐름도이다.
먼저, 웨어러블 디스플레이 장치(100)는 좌안 영상 및 우안 영상을 포함하는 영상 데이터를 획득할 수 있다(1301).
웨어러블 디스플레이 장치(100)는 획득된 영상 데이터를 처리하여, 360도 VR 입체 영상 중에서, 사용자의 시야에 대응되는 제1 VR 입체 영상을 표시할 수 있다(1302).
제1 VR 입체 영상이 표시되는 동안에, 웨어러블 디스플레이 장치(100)는 웨어러블 디스플레이 장치가 기울여지는지 판단할 수 있다(1303).
웨어러블 디스플레이 장치가 기울여지는 것으로 판단되면(1303-Y), 웨어러블 디스플레이 장치(100)는, 사용자가 머리를 기울임에 따라 감지된 웨어러블 디스플레이 장치의 기울기에 기반하여, 360도 VR 입체 영상 중에서, 사용자의 변경된 시야에 대응되는 제2 VR 입체 영상을 표시할 수 있다(1304).
웨어러블 디스플레이 장치(100)는 기울기에 대응되는 각도까지 제2 VR 입체 영상을 점차적으로 회전하여 표시할 수 있다(1305).
예로, 웨어러블 디스플레이 장치(100)는 사용자가 머리를 기울인 후에, 미리 설정된 시간이 진행됨에 따라 제2 입체 영상을 점차적으로 회전하여 표시할 수 있다. 또는, 웨어러블 디스플레이 장치(100)는 사용자가 머리를 기울이는 동안에, 제2 입체 영상을 점차적으로 회전하여 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는, 제2 VR 입체 영상을 점차적으로 회전하여 표시하는 경우, 제2 VR 입체 영상을 점차적으로 회전하여 제1 VR 입체 영상을 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는, 제2 VR 입체 영상을 점차적으로 회전하여 표시하는 경우, 기울기가 일정 값 미만인 경우, 제2 VR 입체 영상을 점차적으로 회전하여 표시하고, 기울기가 일정 값 이상인 경우, 제2 VR 입체 영상을 2D 영상으로 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는, 제2 VR 입체 영상이 표시되는 동안에, 제1 위치에서 제2 VR 입체 영상과 관련된 음향을 출력하고, 회전된 제2 VR 입체 영상이 표시되는 동안에는, 상기 제1 위치와 동일 또는 근사한 위치에서 상기 회전된 제2 VR 입체 영상에 대응되는 음향을 출력할 수 있다.
도 14는 일 실시 예에 의한 웨어러블 디스플레이 장치가 입체 영상을 표시하는 흐름도이다.
먼저, 웨어러블 디스플레이 장치(100)는 입체 영상 데이터를 획득할 수 있다(1401). 이 때, 입체 영상 데이터는, 지표면과 수평하거나 또는 대략 수평한 상태에서 촬영된 좌안 영상 및 우안 영상을 포함할 수 있다. 또한, 입체 영상 데이터는, 360도 VR 입체 영상에 대응되는 입체 영상 데이터, 또는 사용자의 시야에 대응되는 입체 영상 데이터를 포함할 수 있다.
웨어러블 디스플레이 장치(100)는 웨어러블 디스플레이 장치(100)가 움직이는지를 판단할 수 있다(1403).
웨어러블 디스플레이 장치(100)의 움직이는 것으로 판단되면(1403-Y), 웨어러블 디스플레이 장치(100)는 획득된 입체 영상 데이터를 처리하여, 상기 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성할 수 있다(1405).
다음으로, 웨어러블 디스플레이 장치(100)는 생성된 제1 VR 입체 영상을 표시할 수 있다(1407).
다양한 실시 예로, 웨어러블 디스플레이 장치(100)의 움직임이 감지됨에 따라, 웨어러블 디스플레이 장치(100)는 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시할 수 있다. 그리고, 미리 결정된 시간이 경과된 후, 웨어러블 디스플레이 장치(100)는 제2 VR 입체 영상 대신에 제1 VR 입체 영상을 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)의 움직임이 감지됨에 따라, 웨어러블 디스플레이 장치(100)는 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시할 수 있다. 그리고, 시간이 경과에 따라 점차적으로, 웨어러블 디스플레이 장치(100)는 제2 VR 입체 영상 대신에 제1 VR 입체 영상을 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는 제2 VR 입체 영상이 표시되는 동안에는, 제1 위치에서 음향이 출력할 수 있다. 이 때, 웨어러블 디스플레이 장치(100)는 제1 VR 입체 영상이 표시되는 동안에는, 상기 제1 위치와 동일한 위치에서 음향을 출력할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는 사용자에 시야에 대응되는, 제3 VR 입체 영상을 표시할 수 있다. 이 때, 웨어러블 디스플레이 장치(100)는 제3 VR 입체 영상이 표시되는 동안에, 웨어러블 디스플레이 장치(100)의 움직임이 감지됨에 따라, 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상으로서, 상기 제3 VR 입체 영상을 표시할 수 있다. 이 때, 웨어러블 디스플레이 장치의 움직임(100)의 롤 성분의 값이 일정 값 이상인 경우, 웨어러블 디스플레이 장치(100)는 제3 VR 입체 영상을 2D 영상으로 표시할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)는 사용자의 시야에 관한 정보를 이용하여, 제1 VR 입체 영상을 생성할 수 있다. 이 때, 사용자의 시야에 관한 정보는, 사용자의 눈동자의 위치에 기반하여 획득된 정보 및 상기 웨어러블 디스플레이 장치의 자세에 기반하여 획득된 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시 예로, 웨어러블 디스플레이 장치(100)의 움직이는 것으로 판단되면, 웨어러블 디스플레이 장치(100)는 입체 영상 데이터를 획득할 수 있다. 그리고, 웨어러블 디스플레이 장치(100)는 획득된 입체 영상 데이터를 처리하여, 상기 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하고, 생성된 제1 VR 입체 영상을 표시할 수 있다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(170) 또는 외장 컨텐츠 소스(10)의 메모리))에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작할 수 있는 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 웨어러블 디스플레이 장치(100))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(140))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM)) 또는 유/무선 네트워크를 통하여 전송 가능한 프로그램을 포함할 수 있다. 예로, 컴퓨터 프로그램 제품은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있으며, 컴퓨터(예로, 웨어러블 디스플레이 장치(100) 또는 컨텐츠 소스(10))는 컴퓨터 프로그램 제품의 적어도 일부를 다운로드하여 컴퓨터의 메모리에 저장할 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
U: 사용자 10: 컨텐츠 소스
100: 웨어러블 디스플레이 장치 101: 본체
102: 스크린 103: 안착 부재
104: 고정 부재 110: 사용자 입력부
120: 컨텐츠 수신부 130: 감지부
140: 프로세서 150: 디스플레이부
160: 음향부 170: 메모리

Claims (20)

  1. 웨어러블 디스플레이 장치에 있어서,
    컨텐츠 수신부;
    VR(Virtual Reality) 입체 영상이 표시 가능한 디스플레이부;
    상기 웨어러블 디스플레이 장치의 움직임을 감지 가능한 센서부; 및
    상기 센서부를 통하여 감지된 값에 따라 상기 디스플레이부를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 컨텐츠 수신부를 통하여 복수의 영상들을 포함하는 입체 영상 데이터를 획득하고,
    상기 웨어러블 디스플레이 장치의 움직임이 상기 센서부를 통하여 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여 상기 움직임의 방향 성분들 중 롤(roll) 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하고,
    상기 생성된 제1 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하는,
    웨어러블 디스플레이 장치.
  2. 제1항에서,
    상기 프로세서는,
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라,
    상기 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하고,
    미리 결정된 시간이 경과된 후, 상기 제2 VR 입체 영상 대신에 상기 제1 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하는,
    웨어러블 디스플레이 장치.
  3. 제1항에서,
    상기 프로세서는,
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라,
    상기 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하고,
    시간이 경과에 따라 점차적으로, 상기 제2 VR 입체 영상 대신에 상기 제1 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하는,
    웨어러블 디스플레이 장치.
  4. 제3항에서,
    상기 웨어러블 디스플레이 장치는,
    스피커를 더 포함하고,
    상기 프로세서는,
    상기 제2 VR 입체 영상이 표시되는 동안에는, 제1 위치에서 음향을 출력하도록 상기 스피커를 제어하고,
    상기 제1 VR 입체 영상이 표시되는 동안에는, 상기 제1 위치와 동일한 위치에서 음향을 출력하도록 상기 스피커를 제어하는,
    웨어러블 디스플레이 장치.
  5. 제1항에서,
    상기 프로세서는,
    사용자에 시야에 대응되는, 제3 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하고,
    상기 제3 VR 입체 영상이 표시되는 동안에, 상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라,
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상으로서, 상기 제3 VR 입체 영상을 표시하도록 상기 디스플레이부를 제어하는,
    웨어러블 디스플레이 장치.
  6. 제5항에서,
    상기 프로세서는,
    상기 웨어러블 디스플레이 장치의 움직임의 롤 성분의 값이 일정 값 이상인 경우,
    상기 제3 VR 입체 영상을 2D 영상으로 표시하도록 상기 디스플레이부를 제어하는,
    웨어러블 디스플레이 장치.
  7. 제1항에서,
    상기 프로세서는,
    사용자의 시야에 관한 정보를 이용하여, 상기 제1 VR 입체 영상을 생성하고,
    상기 사용자의 시야에 관한 정보는, 상기 사용자의 눈동자의 위치에 기반하여 획득된 정보 및 상기 웨어러블 디스플레이 장치의 자세에 기반하여 획득된 정보 중 적어도 하나를 포함하는,
    웨어러블 디스플레이 장치
  8. 제1항에서,
    상기 입체 영상 데이터는,
    지표면과 수평하거나 또는 대략적으로 수평한 상태에서 촬영된 좌안 영상 및 우안 영상을 포함하는 입체 영상 데이터인,
    웨어러블 디스플레이 장치.
  9. 제1항에서,
    상기 입체 영상 데이터는,
    360도 VR 입체 영상에 대응되는 입체 영상 데이터, 또는 사용자의 시야에 대응되는 입체 영상 데이터를 포함하는,
    웨어러블 디스플레이 장치.
  10. 웨어러블 디스플레이 장치의 입체 영상 표시 방법에 있어서,
    입체 영상 데이터를 획득하는 동작;
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여, 상기 움직임의 방향 성분들 중 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하는 동작; 및
    상기 생성된 제1 VR 입체 영상을 표시하는 동작을 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  11. 제10항에서,
    상기 방법은,
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라, 상기 롤 성분이 포함된 움직임에 대응되는 제2 VR 입체 영상을 표시하는 동작을 더 포함하고,
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 표시하는 동작은,
    미리 결정된 시간이 경과된 후, 상기 제2 VR 입체 영상 대신에 상기 제1 VR 입체 영상을 표시하는 동작을 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  12. 제10항에서,
    상기 방법은,
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라, 상기 롤 성분이 포함된 상기 움직임에 대응되는 제2 VR 입체 영상을 표시하는 동작을 더 포함하고,
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 표시하는 동작은,
    시간이 경과에 따라 점차적으로, 상기 제2 VR 입체 영상 대신에 상기 제1 VR 입체 영상을 표시하는 동작을 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  13. 제12항에서,
    상기 방법은,
    상기 제2 VR 입체 영상이 표시되는 동안에는, 제1 위치에서 음향을 출력하는 동작을 더 포함하고,
    상기 제1 VR 입체 영상이 표시되는 동안에는, 상기 제1 위치와 동일한 위치에서 음향을 출력하는 동작을 더 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  14. 제10항에서,
    상기 방법은,
    사용자에 시야에 대응되는, 제3 VR 입체 영상을 표시하는 동작을 더 포함하고,
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 표시하는 동작은,
    상기 제3 VR 입체 영상이 표시되는 동안에, 상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라,
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상으로서, 상기 제3 VR 입체 영상을 표시하는 동작을 포함하는
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  15. 제14항에서,
    상기 제3 VR 입체 영상을 표시하는 동작은,
    상기 웨어러블 디스플레이 장치의 움직임의 롤 성분의 값이 일정 값 이상인 경우,
    상기 제3 VR 입체 영상을 2D 영상으로 표시하는 동작을 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  16. 제10항에서,
    상기 제1 VR 입체 영상을 생성하는 동작은,
    사용자의 시야에 관한 정보를 이용하여, 상기 제1 VR 입체 영상을 생성하는 동작을 포함하고,
    상기 사용자의 시야에 관한 정보는, 상기 사용자의 눈동자의 위치에 기반하여 획득된 정보 및 상기 웨어러블 디스플레이 장치의 자세에 기반하여 획득된 정보 중 적어도 하나를 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  17. 제10항에서,
    상기 입체 영상 데이터는,
    지표면과 수평하거나 또는 대략적으로 수평한 상태에서 촬영된 좌안 영상 및 우안 영상을 포함하는 입체 영상 데이터인,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  18. 제10항에서,
    상기 입체 영상 데이터는,
    360도 VR 입체 영상에 대응되는 입체 영상 데이터, 또는 사용자의 시야에 대응되는 입체 영상 데이터를 포함하는,
    웨어러블 디스플레이 장치의 입체 영상 표시 방법.
  19. 입체 영상 데이터를 획득하는 동작;
    웨어러블 디스플레이 장치의, 롤 성분을 가지는 움직임이 감지됨에 따라, 상기 획득된 입체 영상 데이터를 처리하여, 상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 생성하는 동작; 및
    상기 롤 성분이 제외된 움직임에 대응되는 제1 VR 입체 영상을 표시하는 동작을 컴퓨터가 수행하도록 설정된 적어도 하나의 명령어를 포함하는,
    컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품.
  20. 제19항에서,
    상기 적어도 하나의 명령어는,
    상기 웨어러블 디스플레이 장치의 움직임이 감지됨에 따라, 상기 롤 성분이 포함된 상기 움직임에 대응되는 제2 VR 입체 영상을 표시하는 동작; 및
    상기 제2 VR 입체 영상 대신에 상기 제1 VR 입체 영상을 표시하는 동작을 컴퓨터가 수행하도록 설정된 적어도 하나의 명령어를 더 포함하는,
    컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품.


KR1020180041164A 2018-04-09 2018-04-09 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 KR20190118040A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180041164A KR20190118040A (ko) 2018-04-09 2018-04-09 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
US16/355,902 US10948725B2 (en) 2018-04-09 2019-03-18 Wearable display apparatus and method of displaying three-dimensional images thereon
EP19784870.8A EP3750305A4 (en) 2018-04-09 2019-03-20 BODY PORTABLE DISPLAY DEVICE AND METHOD FOR DISPLAYING THREE-DIMENSIONAL IMAGES ON IT
PCT/KR2019/003234 WO2019198943A1 (en) 2018-04-09 2019-03-20 Wearable display apparatus and method of displaying three-dimensional images thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041164A KR20190118040A (ko) 2018-04-09 2018-04-09 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법

Publications (1)

Publication Number Publication Date
KR20190118040A true KR20190118040A (ko) 2019-10-17

Family

ID=68096068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041164A KR20190118040A (ko) 2018-04-09 2018-04-09 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법

Country Status (4)

Country Link
US (1) US10948725B2 (ko)
EP (1) EP3750305A4 (ko)
KR (1) KR20190118040A (ko)
WO (1) WO2019198943A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095720A (zh) * 2020-08-24 2022-02-25 宏碁股份有限公司 显示系统及裸视立体影像的播放方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
CN111447476B (zh) * 2020-04-29 2021-11-05 厦门奇翼科技有限公司 一种5d沉浸式互动体验空间

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JP3921770B2 (ja) 1998-01-14 2007-05-30 ソニー株式会社 ディスプレイ装置
JP2000308092A (ja) 1999-04-16 2000-11-02 Toshiba Mach Co Ltd 立体視眼鏡装置
US20050263594A1 (en) 2004-06-01 2005-12-01 Therese Onischuk Computerized voting system
JP2011176397A (ja) 2010-02-23 2011-09-08 Seiko Epson Corp 映像信号変換装置及び電子機器
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
US9823745B1 (en) * 2012-08-30 2017-11-21 Atheer, Inc. Method and apparatus for selectively presenting content
KR20140067575A (ko) 2012-11-27 2014-06-05 삼성디스플레이 주식회사 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치
KR20140129654A (ko) 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
US9262999B1 (en) * 2013-05-13 2016-02-16 Amazon Technologies, Inc. Content orientation based on user orientation
KR102086510B1 (ko) 2013-09-26 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
WO2015162946A1 (ja) 2014-04-22 2015-10-29 ソニー株式会社 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
KR20150141461A (ko) 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법
JP2016082462A (ja) * 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10453175B2 (en) * 2016-02-22 2019-10-22 Google Llc Separate time-warping for a scene and an object for display of virtual reality content
US11024014B2 (en) * 2016-06-28 2021-06-01 Microsoft Technology Licensing, Llc Sharp text rendering with reprojection
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
JP2017208809A (ja) 2017-04-04 2017-11-24 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
US10395418B2 (en) * 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095720A (zh) * 2020-08-24 2022-02-25 宏碁股份有限公司 显示系统及裸视立体影像的播放方法
CN114095720B (zh) * 2020-08-24 2023-10-13 宏碁股份有限公司 显示系统及裸视立体影像的播放方法

Also Published As

Publication number Publication date
US10948725B2 (en) 2021-03-16
WO2019198943A1 (en) 2019-10-17
US20190310479A1 (en) 2019-10-10
EP3750305A1 (en) 2020-12-16
EP3750305A4 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
US10948725B2 (en) Wearable display apparatus and method of displaying three-dimensional images thereon
CN112738531B (zh) 全景视频的建议视口指示
US11575876B2 (en) Stereo viewing
CN106413829B (zh) 图像编码和显示
US9241155B2 (en) 3-D rendering for a rotated viewer
EP2365701A1 (en) Display device, terminal device, and display method
JP2018507650A (ja) コンテンツの生成、送信、および／または、再生をサポートするための方法および装置
CA2960427A1 (en) Camera devices with a large field of view for stereo imaging
US9554119B2 (en) Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device
JP6126820B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
WO2019039378A1 (ja) 情報処理装置および画像表示方法
EP3513554A1 (en) Method, apparatus and stream for immersive video format
US10404964B2 (en) Method for processing media content and technical equipment for the same
US20200336730A1 (en) Wearable display device and control method therefor
NL2012462B1 (en) Encoding and decoding of three-dimensional image data.
US20190335153A1 (en) Method for multi-camera device
JP6518645B2 (ja) 情報処理装置および画像生成方法
US20210058611A1 (en) Multiviewing virtual reality user interface
WO2019155934A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP6921204B2 (ja) 情報処理装置および画像出力方法
KR20190080119A (ko) 웨어러블 디스플레이 장치 및 그 제어 방법