KR20180055637A - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20180055637A
KR20180055637A KR1020170022294A KR20170022294A KR20180055637A KR 20180055637 A KR20180055637 A KR 20180055637A KR 1020170022294 A KR1020170022294 A KR 1020170022294A KR 20170022294 A KR20170022294 A KR 20170022294A KR 20180055637 A KR20180055637 A KR 20180055637A
Authority
KR
South Korea
Prior art keywords
image
external device
motion
viewing angle
intensity
Prior art date
Application number
KR1020170022294A
Other languages
English (en)
Other versions
KR102650572B1 (ko
Inventor
전현석
구민수
이용우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/328,439 priority Critical patent/US11366318B2/en
Priority to PCT/KR2017/012281 priority patent/WO2018093075A1/ko
Publication of KR20180055637A publication Critical patent/KR20180055637A/ko
Application granted granted Critical
Publication of KR102650572B1 publication Critical patent/KR102650572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

전자 장치가 개시된다. 본 전자 장치는 디스플레이, 외부 장치로부터 외부 장치가 촬영한 영상 및 영상을 촬영하는 동안 측정된 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신하는 통신부 및 수신된 정보에 기초하여 기설정된 시간 구간 단위로 외부 장치의 움직임 정도를 판단하고, 움직임 정도에 기초하여 영상의 시야각(FOV, Field of View)을 조정하여 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그의 제어 방법 {ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF }
본 발명은 전자 장치 및 그의 제어 방법에 대한 것으로, 보다 상세하게는 VR 영상을 제공하는 전자 장치 및 그의 제어 방법에 대한 것이다.
일반적으로, VR(Virtual Reality: 가상 현실) 기술은 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 기술을 말한다.
이러한, 가상 현실은 머리 착용형 디스플레이 장치(head mounted display)를 통해 체험할 수 있다. 구체적으로, 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상현실을 체험할 수 있다.
그런데, 사용자는 VR 영상을 시청할 때 어지러움을 호소할 수 있다. 이는 영상을 시청하는 시각계와 몸의 평형감각을 감지하는 전정계가 불일치하기 때문이다. 이에 의해, 사용자는 심한 멀미를 느끼고 경우에 따라 구토 증상까지 발생할 수 있다.
최근에는, 이러한 현상을 사이버 멀미(Virtual Reality Motion Sickness)라 칭하기도 하면서, 사이버 멀미 감소를 위한 방안이 VR 업계에서 이슈로 대두되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 컨텐츠의 촬영 환경에 기초하여 디스플레이된 VR 영상의 시야각을 조정함으로써 사용자의 어지러움 증상을 감소시킬 수 있는 전자 장치 및 그의 제어 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 전자 장치는 디스플레이, 외부 장치로부터 상기 외부 장치가 촬영한 영상 및 상기 영상을 촬영하는 동안 측정된 상기 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신하는 통신부 및 상기 수신된 정보에 기초하여 기설정된 시간 구간 단위로 상기 외부 장치의 움직임 정도를 판단하고, 상기 움직임 정도에 기초하여 상기 영상의 시야각(FOV, Field of View)을 조정하여 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
그리고, 상기 영상은 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 생성한 좌안 입체 공간 영상 및 우안 입체 공간 영상을 포함하는 VR 영상이고, 상기 프로세서는 상기 좌안 입체 공간 영상 및 상기 우안 입체 공간 영상에서 사용자의 시점에 대응되는 영역의 영상을 각각 디스플레이하며, 상기 움직임 정도에 기초하여 상기 디스플레이된 영상의 외곽 영역을 영상 처리하여 상기 시야각을 조정할 수 있다.
또한, 상기 프로세서는 상기 움직임 정도에 비례하도록 상기 외곽 영역의 크기를 가변적으로 조정할 수 있다.
그리고, 상기 프로세서는 상기 디스플레이된 영상의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리하여 상기 시야각을 조정할 수 있다.
그리고, 상기 프로세서는 상기 기설정된 시간 구간 단위로, 상기 가속도 정보로부터 상기 외부 장치의 흔들림 강도(SI, Shakint Intensity)를 판단하고 상기 각속도 정보로부터 상기 외부 장치의 회전 강도(RI, Rotation Intensity)를 판단하며, 상기 흔들림 강도 및 회전 강도에 기초하여 상기 움직임 정도를 판단할 수 있다.
여기에서, 상기 움직임 정도는 상기 외부 장치의 기설정된 움직임 범위 내에서 정의된 모션 강도(Motion Intensity)이며, 상기 프로세서는 하기 수학식 1에 기초하여 상기 모션 강도를 판단할 수 있다.
[수학식 1]
MI = min (SI * a + RI * b, MI_MAX)
(MI_MAX= 기설정된 MI의 최댓값, min= 입력값 중 최솟값을 리턴하는 함수, SI= 외부 장치의 흔들림 강도, RI: 외부 장치의 회전 강도, a= 기설정된 SI 가중치, b= 기설정된 RI 가중치).
여기에서, 상기 흔들림 강도의 가중치는 상기 회전 강도의 가중치보다 클 수 있다.
그리고, 상기 프로세서는 하기 수학식 2에 기초하여 상기 시야각을 판단할 수 있다.
[수학식 2]
FOV = FOV_MAX - (FOV_MAX - FOV_MIN) * MI
(FOV_MAX= 기설정된 시야각의 최댓값, FOV_MIN= 기설정된 시야각의 최솟값, MI= 모션 강도)
여기에서, 상기 외곽 영역은 제1 외곽 영역 및 제2 외곽 영역을 포함할 수 있고, 상기 제1 외곽 영역은 상기 수학식 2에서 산출된 시야각에 대응되는 영역의 경계인 제1 외곽 라인 및 상기 수학식 2에서 산출된 시야각에 기설정된 값을 곱한 시야각에 대응되는 영역의 경계인 제2 외곽 라인 사이 영역이고, 상기 제2 외곽 영역은 상기 제2 외곽 라인의 외부 영역이 될 수 있다.
그리고, 상기 프로세서는 상기 제1 외곽 영역은 디밍 처리 또는 블러 처리하고 상기 제2 외곽 영역은 불투명 처리할 수 있다.
또한, 상기 프로세서는 상기 기설정된 시간 구간 단위로, 상기 영상에 포함된 오브젝트의 이동 거리에 기초하여 상기 오브젝트의 가속도를 판단하고 상기 오브젝트의 가속도에 기초하여 상기 영상의 시야각을 조정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 외부 장치로부터 상기 외부 장치가 촬영한 영상 및 상기 영상을 촬영하는 동안 측정된 상기 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신하는 단계 및 상기 수신된 정보에 기초하여 기설정된 시간 구간 단위로 상기 외부 장치의 움직임 정도를 판단하고, 상기 움직임 정도에 기초하여 상기 영상의 시야각(FOV, Field of View)을 조정하여 디스플레이 하는 단계를 포함한다.
그리고, 상기 영상은 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 생성한 좌안 입체 공간 영상 및 우안 입체 공간 영상을 포함하는 VR 영상이고, 상기 디스플레이 하는 단계는 상기 좌안 입체 공간 영상 및 상기 우안 입체 공간 영상에서 사용자의 시점에 대응되는 영역의 영상을 각각 디스플레이 하는 단계 및 상기 움직임 정도에 기초하여 상기 디스플레이된 영상의 외곽 영역을 영상 처리하여 상기 시야각을 조정하여 디스플레이 하는 단계를 포함할 수 있다.
또한, 상기 디스플레이 하는 단계는 상기 움직임 정도에 비례하도록 상기 외곽 영역의 크기를 가변적으로 조정하여 디스플레이 할 수 있다.
그리고, 상기 디스플레이 하는 단계는 상기 디스플레이된 영상의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리하여 상기 시야각을 조정하여 디스플레이 할 수 있다.
그리고, 상기 움직임을 판단하는 단계는 상기 기설정된 시간 구간 단위로, 상기 가속도 정보로부터 상기 외부 장치의 흔들림 강도(SI, Shakint Intensity)를 판단하고 상기 각속도 정보로부터 상기 외부 장치의 회전 강도(RI, Rotation Intensity)를 판단하며, 상기 흔들림 강도 및 회전 강도에 기초하여 상기 움직임 정도를 판단할 수 있다.
여기에서, 상기 움직임 정도는 상기 외부 장치의 기설정된 움직임 범위 내에서 정의된 모션 강도(Motion Intensity)이며, 상기 움직임 정도를 판단하는 단계는 하기 수학식 1에 기초하여 상기 모션 강도를 판단하는 단계를 포함할 수 있다.
[수학식 1]
MI = min (SI * a + RI * b, MI_MAX)
(MI_MAX= 기설정된 MI의 최댓값, min= 입력값 중 최솟값을 리턴하는 함수, SI= 외부 장치의 흔들림 강도, RI: 외부 장치의 회전 강도, a= 기설정된 SI 가중치, b= 기설정된 RI 가중치).
여기에서, 상기 흔들림 강도의 가중치는 상기 회전 강도의 가중치보다 클 수 있다.
그리고, 상기 시야각을 조정하는 단계는 하기 수학식 2에 기초하여 산출된 값에 기초하여 상기 시야각을 조절할 수 있다.
[수학식 2]
FOV = FOV_MAX - (FOV_MAX - FOV_MIN) * MI
(FOV_MAX= 기설정된 시야각의 최댓값, FOV_MIN= 기설정된 시야각의 최솟값, MI= 모션 강도)
여기에서, 상기 외곽 영역은 제1 외곽 영역 및 제2 외곽 영역을 포함할 수 있고, 상기 제1 외곽 영역은 상기 수학식 2에서 산출된 시야각에 대응되는 영역의 경계인 제1 외곽 라인 및 상기 수학식 2에서 산출된 시야각에 기설정된 값을 곱한 시야각에 대응되는 영역의 경계인 제2 외곽 라인 사이 영역이고, 상기 제2 외곽 영역은 상기 제2 외곽 라인의 외부 영역이 될 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 촬영 장치의 움직임 정도에 기초하여 VR 영상의 시야각을 조정함으로써, VR 영상 시청시 발생하는 어지러움 현상을 감소시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 영상 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른, 좌안 영상 및 우안 영상을 포함하는 VR 영상을 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 시야각의 최댓값 및 최솟값을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 시야각이 조정된 영상을 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 전자 장치가 hmd로 구현될 경우에 있어서 시야각이 조정된 영상을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 제1 및 제2 외곽 영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른, 시야각을 가변적으로 조정하여 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 오브젝트의 이동 거리에 기초하여 시야각을 조정하여 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 상세 블록도이다.
도 12는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 디스플레이 장치에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 사용자의 머리에 착용하는 디스플레이 장치인 HMD(head mounted display) 또는, VR 기기에 장착되어 영상을 제공하는 사용자 단말 장치 등으로 구현될 수 있다
예를 들어, 전자 장치(100)는 안경, 헤드셋 또는 헬멧 등의 형상을 갖는 VR 기기 본체의 전면에 부착되어 사용자의 양안에 영상을 제공하는 스마트 폰 또는 태블릿 등으로 구현될 수 있다. 특히, 전자 장치(100)가 스마트 폰으로 구현되는 경우, 스마트 폰에 마련된 디스플레이는 사용자의 양안에 근접하여 영상을 디스플레이할 수 있고, 이에 따라 사용자는 눈앞에서 영상을 제공 받을 수 있다. 이때, VR 기기 본체의 후면에는 사용자의 머리에 착용 가능하도록 하는 안경 다리 또는 밴드 등이 형성될 수 있고 VR 기기 본체에는 조작용 트랙 패드, 리턴 버튼, 음량 조정 키 등이 탑재될 수 있다.
또한, 전자 장치(100)는 자체적으로 디스플레이를 구비하며, 사용자의 머리에 착용 가능한 형상을 갖는 장치인 HMD로 구현될 수도 있다. 이 경우, 디스플레이는 탈부착되는 것이 아니라 고정적으로 설치될 수 있다.
한편, 전자 장치(100)에서 디스플레이되는 화면은 2D 영상이 될 수 있음은 물론, VR 영상이 될 수도 있다.
여기에서, VR 영상이란 여러 시점(view point)을 가진 영상으로서, 좌안 영상 및 우안 영상을 포함하는 3D 영상이 될 수 있다.
예를 들어, VR 영상은 하나의 카메라를 이동시켜 가며 촬영한 하나의 영상을 좌우 영상으로 분리한 후, 분리된 각각의 영상을 가상의 입체 원형 공간에 투영시켜 생성한 좌안 및 우안 영상이 될 수 있다. 또한, 화각이 넓은 한 대의 카메라(예를 들어 360도 카메라)로 촬영한 영상을 좌우 영상으로 분리한 후 가상 공간에 투영시켜 생성한 영상일 수 있다. 한편, 반드시 카메라로 촬영된 영상에 제한되는 것은 아니고, 예컨대 게임 영상과 같이 인위적으로 제작된 영상도 VR 영상에 해당될 수 있다. 한편, 영상은, 정지 영상과 동영상을 모두 포함할 수 있는 개념이다.
일 실시 예에 따라 VR 영상은 360도의 뷰를 가지는 영상을 좌우 영상으로 분리한 후 가상 공간에 투영시켜 생성한 영상이 될 수 있다. 360도의 뷰를 가지는 영상이란, 시작단과 끝단이 동일한 영상을 의미하는 것으로서, 구형 영상, 전 방향 영상 등 다양한 이름으로 불릴 수 있다. 또한, 일 실시 예에 따라, VR 영상은 파노라마 영상이 될 수도 있다.
한편, 전자 장치(100)는 사용자의 머리 움직임을 추적하여 디스플레이된 영상을 즉각적으로 업데이트할 수 있다.
이를 위해, 전자 장치(100)는 적어도 하나의 센서를 포함할 수 있다. 구체적으로, 전자 장치(100)는 전자 장치(100)의 이동 상태를 감지하여 그에 대응하는 신호를 생성하는 가속도 센서, 전자 장치(100)의 회전 상태를 감지하여 그에 대응하는 신호를 생성하는 자이로 센서, 전자 장치(100)에 대한 중력의 작용 방향을 감지하여 그에 대응하는 신호를 생성하는 중력 센서(Gravity Sensor) 및 대기의 압력을 측정하여 고도를 감지하고 그에 대응하는 신호를 생성하는 고도계(Altimeter) 등과 같은 다양한 센서들 중 적어도 어느 하나를 포함할 수 있다.
전자 장치(100)는 이와 같은 센서를 이용하여 사용자가 고개를 위아래 혹은 좌우로 움직이는 것을 감지할 수 있고, 이에 따라, 전자 장치(100)를 착용한 사용자가 머리의 방향을 바꾸면, 전자 장치(100)는 VR 영상에 대응하는 전체 영상 중 머리 방향에 대응하는 시점의 영상을 표시할 수 있다. 또한, 사용자가 전자 장치(100)를 착용하고 걸어가면, 전자 장치(100)는 사용자가 디스플레이에서 보이는 영상 내의 사물에 가까이 다가가는 것과 같은 영상을 제공 할 수 있다.
이에 따라, 사용자는 전자 장치(100)를 이용하여 가상 현실(virtual reality, VR)을 체험할 수 있게 된다.
도 2는 본 발명의 일 실시 예에 따른 영상 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 영상 시스템(1000)은 전자 장치(100) 및 외부 장치(200)를 포함한다.
전자 장치(100)는 외부 장치(200)로부터 다양한 데이터를 수신할 수 있다. 이를 위해, 외부 장치(200)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있고, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식을 이용하여 전자 장치(100)에 접속할 수 있다. 다만, 이에 한정되는 것은 아니고, 외부 장치(200)는 전자 장치(100)와의 케이블 연결 등을 통한 유선 방식을 이용하여 전자 장치(100)에 접속할 수도 있음은 물론이다.
먼저, 전자 장치(100)는 외부 장치(200)로부터 외부 장치(200)가 촬영한 영상을 수신할 수 있다. 여기에서 영상은 정지 영상과 동영상을 모두 포함하는 개념으로써, 동영상은 2D 영상이 될 수 있음은 물론 VR 영상이 될 수도 있다. 특히, VR 영상은 VR 서비스 제공을 위한 좌안 및 우안 영상을 포함하는 VR 영상이 될 수 있다.
이를 위해, 외부 장치(200)는 최대 360도로 외부 장치(200)의 주변을 촬영할 수 있는 360도 카메라로 구현 될 수 있다. 다만, 이에 한정되는 것은 아니고, 외부 장치(200)는 촬영 기능을 구비한 스마트 폰, 캠코더, 카메라나 스마트 글래스(glass), 스마트 와치(watch)와 같은 웨어러블 장치 등 다양한 장치로 구현될 수도 있다.
또한, 전자 장치(100)는 외부 장치(200)로부터 외부 장치(200)가 영상을 촬영하는 동안 녹음한 사운드를 포함하는 오디오 데이터를 수신할 수 있다. 이를 위해, 외부 장치(200)는 주변 사운드를 수집할 수 있는 마이크를 포함할 수 있다.
또한, 전자 장치(100)는 외부 장치(200)로부터 영상을 촬영하는 동안 측정된 외부 장치(200)의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신할 수 있다.
이를 위해, 외부 장치(200)는 가속도 센서 및 자이로 센서 중 적어도 하나를 포함할 수 있다. 구체적으로, 외부 장치(200)는 가속도 센서를 이용하여 영상을 촬영하는 동안 외부 장치(200) 자체의 가속도를 센싱하고, 자이로 센서를 이용하여 외부 장치(200) 자체의 각속도를 센싱할 수 있다. 다만, 센서의 종류가 이에 한정되는 것은 아니고, 외부 장치(200)는 가속도 및 각속도를 센싱하기 위한 다양한 종류의 센서를 더 포함할 수도 있다.
또한, 여기서는 외부 장치(200)에 포함된 가속도 센서 및 자이로 센서 중 적어도 하나를 이용하여 외부 장치(200)의 가속도 및 각속도 중 적어도 하나를 측정하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 외부 장치(200)의 가속도 및 각속도 중 적어도 하나에 대한 정보는 외부 장치(200)에 탈부착 가능한 가속도 센서 및 자이로 센서 중 적어도 하나에 의해서 측정될 수도 있다.
한편, 전자 장치(100)는 외부 장치(200)로부터 상술한 영상 데이터, 오디오 데이터 및, 가속도 및 각속도에 대한 정보가 포함된 데이터를 각각 수신할 수 있음은 물론, 외부 장치(200)에 의해 각각의 데이터가 인코딩된 파일을 수신할 수도 있다. 여기에서, 인코딩된 파일은 적어도 두개 이상의 데이터가 인코딩된 파일이 될 수 있다. 가령, 영상 데이터, 오디오 데이터 및, 가속도 및 각속도에 대한 정보가 포함된 데이터 전부가 인코딩된 파일이 될 수 있음은 물론, 영상 데이터 및 오디오 데이터만 인코딩되어 전송되고 가속도 및 각속도에 대한 정보가 포함된 데이터는 별개로 전송될 수도 있다.
이에 따라, 전자 장치(100)는 외부 장치(200)로부터 수신한 영상 및 영상을 촬영하는 동안 측정된 외부 장치(200)의 가속도 및 각속도 중 적어도 하나에 대한 정보에 기초하여 시야각이 조정된 영상을 디스플레이할 수 있다. 이에 대한 구체적인 설명은 도 3을 중심으로, 도 4 내지 도 7을 참조하여 자세히 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 통신부(110), 디스플레이(120) 및 프로세서(130)를 포함할 수 있다.
통신부(110)는 외부 장치(200)와 통신을 수행하여 다양한 데이터를 수신할 수 있다. 구체적으로, 통신부(110)는 외부 장치(200)로부터 상술한 영상 데이터, 오디오 데이터 및, 가속도 및 각속도에 대한 정보가 포함된 데이터를 수신할 수 있다.
통신부(110)가 외부 장치(200) 와 통신을 수행하기 위해 이용할 수 있는 네트워크는 특정 방식에 구애받지 않는다. 구체적으로, 통신부(110)는 외부 장치(200)와 통신을 수행하기 위해 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 이동 통신 네트워크를 이용할 수 있고, 상술한 이동 통신 네트워크 외, 와이파이(Wi-Fi), 블루투스(Bluetooth) 등과 같은 근거리 통신 네트워크를 이용할 수 있다.
이를 위해, 통신부(110)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있다.
디스플레이(120)는 다양한 영상을 디스플레이할 수 있다. 여기서 영상은 정지 영상과 동영상을 모두 포함하는 개념으로써, 동영상은 2D 영상이 될 수 있음은 물론 VR 영상이 될 수도 있다. 특히, VR 영상은 VR 서비스 제공을 위한 좌안 및 우안 영상을 포함하는 3D 영상이 될 수 있다. 이 경우, 디스플레이(120)는 전자 장치(100)를 착용한 사용자의 움직임에 따라 표시되는 영상의 시점을 변경하여 디스플레이 할 수 있다.
이를 위해, 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(120) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
한편, 도 1에서 언급한 바와 같이 전자 장치(100)가 스마트 폰으로 구현될 경우, 디스플레이(120)는 스마트 폰의 디스플레이로 구현될 수 있다.
한편, 도 3에는 도시되어 있지 않으나, 전자 장치(100)는 스피커를 더 포함할 수 있다. 여기에서, 스피커는 외부 장치(200)가 영상을 촬영하는 동안 녹음한 오디오를 출력할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(130)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(130)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(130)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
먼저, 프로세서(130)는 외부 장치(200)로부터 영상 데이터, 오디오 데이터 및, 가속도 및 각속도 중 적어도 하나에 대한 정보가 포함된 데이터를 수신하도록 통신부(110)를 제어할 수 있다.
여기에서, 전술한 바와 같이, 영상 데이터는 외부 장치(200)가 촬영한 영상을 포함하고, 오디오 데이터는 외부 장치(200)가 영상을 촬영하는 동안 녹음한 사운드를 포함하며, 가속도 및 각속도 중 적어도 하나에 대한 정보는 영상을 촬영하는 동안 측정된 외부 장치(200) 자체의 가속도 및 각속도에 대한 정보가 될 수 있다.
이 경우, 프로세서(130)는 외부 장치(200)로부터 영상 데이터, 오디오 데이터 및, 가속도 및 각속도 중 적어도 하나에 대한 정보를 포함하는 데이터를 각각 수신할 수 있음은 물론, 외부 장치(200)에 의해 인코딩된 파일을 수신할 수도 있다. 가령, 인코딩된 파일을 수신할 경우, 전자 장치(100)는 인코딩된 파일을 각각의 영상 데이터, 오디오 데이터 및, 가속도 및 각속도 중 적어도 하나에 대한 정보를 포함하는 데이터로 디코딩할 수 있다.
여기에서, 영상 데이터에 포함된 영상은 2D 영상이 될 수 있음은 물론 VR 영상이 될 수도 있다. 여기에서, VR 영상은 VR 서비스 제공을 위한 좌안 및 우안 영상을 포함하는 3D 영상이 될 수 있다.
구체적으로, 외부 장치(200)로부터 수신한 영상은 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 생성한 좌안 입체 공간 영상 및 우안 입체 공간 영상을 포함하는 VR 영상일 수 있다.
이 경우, 프로세서(130)는, 도 4에 도시된 바와 같이, 사용자의 좌안이 바라보는 디스플레이 영역에 좌안 입체 공간 영상(121)을, 사용자의 우안이 바라보는 디스플레이 영역에 우안 입체 공간 영상(122)을 디스플레이 할 수 있다.
그리고, 프로세서(130)는 전자 장치(100)에 구비된 가속도 센서나 자이로 센서 등의 센서(미도시)를 이용하여 전자 장치(100)의 움직임을 감지하거나, 적외선 센서(미도시)를 이용하여 사용자의 시선을 감지함으로써, 좌안 입체 공간 영상 및 우안 입체 공간 영상에서 사용자의 시점에 대응되는 영역의 영상을 각각 디스플레이 할 수 있다.
이에 따라, 전자 장치(100)가 HMD 또는 VR 기기에 장착되는 사용자 단말로 구현되는 경우, 전자 장치(100)는 사용자에게 입체 영상을 제공할 수 있다.
한편, 외부 장치(200)로부터 수신한 영상은 외부 장치(200)가 실제로 촬영한 영상이라는 점에서 화면 떨림 현상이 존재할 수 있다. 가령, 사용자가 자전거 주행 중에 촬영한 영상인 경우, 도로 상태에 따라 외부 장치(200)는 좌우 내지 상하로 움직일 수 있고, 이에 따라 외부 장치(200)가 촬영한 영상 역시 좌우 내지 상하로 움직이는 화면 떨림 현상이 존재할 수 있다. 즉, 화면 떨림 현상은 외부 장치(200)의 움직임 정도에 의해서 발생할 수 있다.
그런데, 이와 같은 화면 떨림 현상은 영상을 시청하는 사용자에게 멀미를 유발하는 요소가 될 수 있다. 이에 따라, 외부 장치(200)의 움직임 정도를 판단하여 영상의 시야각을 조정함으로써 사이버 멀미를 감소시킬 필요가 있다. 여기에서, 시야각은 전자 장치(100)를 사용자가 착용한 경우에 있어서, 전자 장치(100)로부터 전자 장치(100)에 의해 디스플레이된 영상의 좌측 및 우측 외곽 라인 사이의 각도가 될 수 있다.
이를 위해, 프로세서(130)는 먼저 외부 장치(200)의 움직임 정도를 판단할 수 있다. 구체적으로, 프로세서(130)는 외부 장치(200)로부터 수신한 가속도 및 각속도에 대한 정보를 이용하여 영상을 촬영하는 동안 발생한 외부 장치(200)의 움직임 정도를 판단할 수 있다.
이때, 프로세서(130)는 외부 장치(200)의 움직임 정도를 기설정된 시간 구간 단위로 판단할 수 있다. 예를 들어, 프로세서(130)는 0.1초 단위로 외부 장치(200)의 움직임 정도를 판단할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고 시간 구간 단위는 사용자 설정에 따라 달라질 수 있다. 특히, 외부 장치(200)의 움직임을 더 정밀하게 판단하고자 할 경우에는 시간 구간 단위를 0.1초마다 작게 설정할 수 있을 것이다. 마찬가지로, 프로세서(130)는 외부 장치(200)의 움직임 정도를 판단하기 위해서 이용하는 후술할 외부 장치(200)의 흔들림 강도 및 회전 강도 역시 기설정된 시간 구간 단위로 판단할 수 있다.
한편, 외부 장치(200)의 움직임 정도는 외부 장치(200)의 기설정된 움직임 범위 내에서 모션 강도(Motion Intensity)로 정의될 수 있다. 예를 들어, 외부 장치(200)의 움직임 정도는 0에서 1사이의 기설정된 값을 갖는 모션 강도로 정의될 수 있고, 모션 강도는 외부 장치(200)의 움직임 정도가 클수록 크게 산출될 수 있다.
구체적으로, 프로세서(130)는 하기 수학식 1을 이용하여 외부 장치(200)의 모션 강도를 판단할 수 있다.
Figure pat00001
(여기에서, MI= 모션 강도, MI= MI_MAX= 기설정된 MI의 최댓값, min= 입력값 중 최솟값을 리턴하는 함수, SI= 외부 장치의 흔들림 강도, RI: 외부 장치의 회전 강도, a= 기설정된 SI 가중치, b= 기설정된 RI 가중치)
여기에서, SI(외부 장치의 흔들림 강도)는 기설정된 범위 내에서 외부 장치(200)의 흔들림 정도에 기초하여 정의된 값이 될 수 있다. 예를 들어, 외부 장치(200)의 흔들림 강도는 0에서 1사이의 기설정된 값을 갖는 값으로 정의될 수 있고, 흔들림 강도는 외부 장치(200)의 흔들림 정도가 클수록 크게 산출될 수 있다.
구체적으로, 프로세서(130)는 외부 장치(200)로부터 수신한 가속도 정보를 이용하여 외부 장치(200)의 흔들림 강도를 판단할 수 있다. 예를 들어, t1 초에서 외부 장치(200)의 가속도가 a1 이고 t2 초에서 가속도가 a2 이며 t3 초에서 가속도가 a3 인 경우, 프로세서(130)는 t1 에서 t2 구간의 가속도 변화량을 a1 및 a2 로부터 판단할 수 있고, t2 에서 t3 구간의 가속도 변화량을 a2 및 a3 로 판단할 수 있다. 이에 따라, 판단한 가속도 변화량이 클수록 프로세서(130)는 외부 장치(200)의 흔들림 강도를 크게 산출할 수 있다.
한편, 외부 장치(200)로부터 수신한 가속도 정보에는 서로 직교하는 x축, y축 및 z축을 포함하는 3축 가속도 센서에 의해 측정된 가속도 정보가 포함되어 있을 수도 있다.
이 경우, 프로세서(130)는 기설정된 시간 구간 단위로 외부 장치(200)의 가속도 변화량을 x축, y축 및 z축 별로 판단할 수 있다. 이에 따라, 프로세서(130)는 앞뒤, 상하, 좌우 방향에 따른 가속도 변화량을 각각 판단할 수 있고, 각 방향에 따른 외부 장치(200)의 가속도 변화량에 기초하여 외부 장치(200)의 흔들림 강도를 산출할 수도 있다. 전술한 바와 마찬가지로, 프로세서(130)는 각 방향에 따른 외부 장치(200)의 가속도 변화량이 클수록 외부 장치(200)의 흔들림 강도를 높게 산출할 수 있다.
한편, RI(외부 장치의 회전 강도)는 기설정된 범위 내에서 외부 장치(200)의 회전 정도에 기초하여 정의된 값이 될 수 있다. 예를 들어, 외부 장치(200)의 회전 강도는 0에서 1사이의 기설정된 값을 갖는 값으로 정의될 수 있고, 회전 강도는 외부 장치(200)의 회전 정도가 클수록 크게 산출될 수 있다.
구체적으로, 프로세서(130)는 외부 장치(200)로부터 수신한 각속도 정보를 이용하여 외부 장치(200)의 회전 강도를 판단 할 수 있다. 예를 들어, t1 초에서 외부 장치(200)의 각속도가 w1 이고 t2 초에서 각속도가 w2 이며 t3 초에서 각속도가 w3 인 경우, 프로세서(130)는 t1 에서 t2 구간의 각속도 변화량을 w1 및 w2 로부터 판단할 수 있고, t2 에서 t3 구간의 각속도 변화량을 w2 및 w3 로 판단할 수 있다. 이에 따라, 판단한 각속도 변화량이 클수록 프로세서(130)는 외부 장치(200)의 회전 강도를 크게 산출할 수 있다.
한편, 외부 장치(200)로부터 수신한 각속도 정보에는 서로 직교하는 피치(pitch)축, 요(yaw)축 및 롤(roll)축을 포함하는 3축 각속도 센서에 의해 측정된 각속도 정보가 포함되어 있을 수도 있다.
이 경우, 프로세서(130)는 기설정된 시간 구간 단위로 외부 장치(200)의 각속도 변화량을 피치축, 요축 및 롤축 별로 판단할 수 있다. 이에 따라, 프로세서(130)는 각 방향에 따른 각속도 변화량을 각각 판단할 수 있고, 각 방향에 따른 외부 장치(200)의 각속도 변화량에 기초하여 외부 장치(200)의 회전 강도를 산출할 수도 있다. 전술한 바와 마찬가지로, 프로세서(130)는 각 방향에 따른 외부 장치(200)의 각속도 변화량이 클수록 외부 장치(200)의 회전 강도를 높게 산출할 수 있다.
한편, 흔들림 강도 가중치(a) 및 회전 강도 가중치(b)는 사용자에 의해 기설정될 수 있다. 예를 들어, 흔들림 강도 가중치(a) 및 회전 강도 가중치(b)는 0에서 1사이의 값으로 설정될 수 있다.
그리고, 흔들림 강도의 가중치는 회전 강도의 가중치보다 크게 설정될 수 있다. 이는 흔들림 정도에 따라 사용자가 느끼는 멀미감이 회전에 따라 느끼는 멀미감보다 보다 클 수 있기 때문이다. 다만, 반드시 이에 한정되는 것은 아니고 경우에 따라 회전 강도의 가중치가 흔들림 강도의 가중치보다 크게 설정될 수도 있음은 물론이다.
한편, 모션 강도의 최댓값(MI_MAX)은 사용자에 의해 설정될 수 있다. 예를 들어, 모션 강도가 0에서 1사이의 값으로 설정되어 있을 경우 모션 강도의 최댓값은 1이 된다.
그리고, 프로세서(130)는 SI * a + RI * b 값 및 MI_MAX 값 중 작은 값을 MI, 즉 모션 강도로 판단할 수 있다. 여기에서, MI 값을 최대 1 이하로 유지하는 이유는 후술할 수학식 2와 관련된다. 후술하겠지만, 수학식 2에서 시야각을 산출할 때, 기설정된 시야각의 최솟값 이하로 시야각이 산출되는 경우를 방지하기 위함이다.
이후, 프로세서(130)는 수학식 1에서 산출한 MI 값 및 하기 수학식 2에 기초하여 시야각을 조정할 수 있다. 여기에서, 시야각은 전자 장치(100)를 사용자가 착용한 경우에 있어서, 전자 장치(100)로부터 전자 장치(100)에 의해 디스플레이된 영상의 좌측 및 우측 외곽 라인 사이의 각도가 될 수 있다.
Figure pat00002
(여기에서, FOV= 시야각, FOV_MAX= 기설정된 시야각의 최댓값, FOV_MIN= 기설정된 시야각의 최솟값, MI= 모션 강도)
여기에서, MI(모션 강도)는 수학식 1에 의해 산출된 값을 의미한다. 그리고, 시야각의 최댓값(FOV_MAX) 및 최솟값(FOV_MIN)은 사용자에 의해 기설정될 수 있다. 예를 들어, 도 5와 같이, 시야각의 최댓값은 θ1으로 설정될 수 있고, 시야각의 최솟값은 θ2로 설정될 수 있다.
먼저, 프로세서(130)는 수학식 2에 기초하여 시야각을 산출할 수 있다. 예를 들어, 시야각의 최댓값이 110°이고 최솟값이 85°로 기설정되어 있고 수학식 1에서 산출한 MI 값이 0.9인 경우, 프로세서(130)는 수학식 2에 기초하여 시야각을 87.5°로 산출할 수 있다.
이후, 프로세서(130)는 산출된 시야각에 기초하여 디스플레이된 영상의 시야각을 조정할 수 있다. 구체적으로, 프로세서(130)는 디스플레이된 영상이 산출된 시야각을 갖도록 이미지 처리하여 시야각을 조정 할 수 있다.
예를 들어, 프로세서(130)는 디스플레이된 영상의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리하여 시야각을 조정할 수 있다.
즉, 도 6에 도시된 바와 같이, 프로세서(130)는 수학식 2에 기초하여 산출한 시야각을 가지도록 좌안 영상(121) 및 우안 영상(122)의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고 프로세서(130)는 외곽 영역을 불투명 처리할 수도 있다.
이에 따라, 도 7에 도시된 바와 같이, 사용자는 산출된 시야각(θ3)을 가지도록 이미지 처리된, 즉 시야각이 θ3로 조정된 영상을 시청하게 됨으로써, 사이버 멀미를 감소시킬 수 있다.
한편, 시야각이 조정된 영상의 외곽 영역은 제1 외곽 영역 및 제2 외곽 영역을 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 제1 및 제2 외곽 영역을 설명하기 위한 도면이다.
여기에서, 제1 외곽 영역은 수학식 2에서 산출된 시야각에 대응되는 영역의 경계인 제1 외곽 라인(123) 및 수학식 2에서 산출된 시야각에 기설정된 값을 곱한 시야각에 대응되는 영역의 경계인 제2 외곽 라인(124) 사이 영역이 될 수 있다.
예를 들어, 수학식 2에서 산출된 시야각이 87.5°인 경우 제1 외곽 라인은 시야각을 87.5°로 조정했을 때의 외곽 라인이 될 수 있다. 또한, 제2 외곽 라인은 제1 외곽 라인인 87.5°에서 기설정된 값, 가령 기설정된 값이 1.2인 경우 87.5°에 1.2를 곱한 105°가 제2 외곽 라인이 될 수 있다.
그리고, 제2 외곽 영역은 제2 외곽 라인의 외부 영역이 될 수 있다. 상술한 일 실시 예에서, 제2 외곽 영역은 시야각인 105°인 경우의 외곽 라인의 외부 영역으로 볼 수 있다.
그리고, 프로세서(130)는 좌안 영상(121) 및 우안 영상(122)의 제1 외곽 영역은 디밍 처리 또는 블러 처리하고, 제2 외곽 영역은 불투명 처리할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 제1 외곽 영역 및 제2 외곽 영역 모두 디밍 처리 또는 블러 처리할 수 있고, 모두 불투명 처리할 수도 있음은 물론이다.
이에 따라, 영상을 시청하는 사용자는 가상 현실을 생생하게 느끼면서도, 효과적으로 사이버 멀미를 방지 할 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 시야각을 가변적으로 조정하여 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
외부 장치(200)의 움직임 정도는 기설정된 시간 구간 단위로 다를 수 있다. 이에 따라, 사이버 멀미를 보다 효과적으로 감소시키기 위해서 프로세서(130)는 시야각을 가변적으로 조정할 필요가 있다.
즉, 프로세서(130)는 외부 장치(200)의 움직임 정도에 비례하도록 디스플레이된 영상의 외곽 영역의 크기를 가변적으로 조정하여 시야각을 조정할 필요가 있다.
이를 위해, 프로세서(130)는 매 시간 구간 단위로 외부 장치(200)의 움직임 정도를 판단하고, 외부 장치(200)의 움직임에 기초한 시야각을 산출하여 영상의 시야각을 조정할 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 프로세서(130)는 자전거를 정지한 상태에서 정면 방향을 촬영한 영상은 좌안 영상(121) 및 우안 영상(122)의 시야각을 조정하지 않고 디스플레이(도 9(a))할 수 있고, 자전거 주행 중에 촬영한 영상은 외부 장치(200)의 움직임 정도가 점점 커진다고 판단되면, 디스플레이된 좌안 영상(121) 및 우안 영상(122)의 외곽 영역의 크기를 점점 작게 조정하여 디스플레이(도 9(b) 및 (도 9(c))) 할 수 있다.
이에 따라, 고정된 크기의 시야각을 제공하는 경우와 비교해서, 사용자는 보다 효과적으로 가상 현실을 생생하게 체험하면서 동시에 사이버 멀미를 감소시킬 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 오브젝트의 이동 거리에 기초하여 시야각을 조정하여 디스플레이하는 전자 장치를 설명하기 위한 도면이다.
프로세서(130)는 기설정된 시간 구간 단위로, 영상에 포함된 오브젝트의 이동 거리에 기초하여 오브젝트의 가속도를 판단하고, 오브젝트의 가속도 에 기초하여 영상의 시야각을 조정할 수 있다.
예를 들어, 도 10을 참조하면, 프로세서(130)는 t1 초 영상(도 10(a))에 포함된 오브젝트의 위치 및 t2 초 영상(도 10(b))에 포함된 동일 오브젝트의 위치를 비교해서 오브젝트의 속도를 판단할 수 있고, 이를 시간으로 미분하여 오브젝트의 가속도를 판단할 수 있다.
이와 같은 방법으로, 프로세서(130)는 기설정된 시간 구간 단위별로 오브젝트의 가속도 변화량을 판단하여, 가속도 변화량이 클수록 좌안 영상(121) 및 우안 영상(122)의 시야각을 작게 조정하여 디스플레이 할 수 있다. 한편, 시야각을 조정하는 방법은 전술한 바 있다.
도 11은 본 발명의 일 실시 예에 따른, 전자 장치를 설명하기 위한 상세 블록도이다. 이하에서는, 상술한 부분과 중복되는 부분은 상세한 설명을 생략하도록 한다.
도 11에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 전자 장치(100')는 통신부(110), 디스플레이(120), 프로세서(130), 저장부(140), 사용자 인터페이스(150) 및 센서(160)를 포함할 수 있다.
저장부(154)는 전자 장치(100')의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(100')의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
이에 따라, 프로세서(130)는 저장부(140)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(100')의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
사용자 인터페이스(150)는 다양한 사용자 명령을 입력받는다. 구체적으로, 사용자 인터페이스(150)는 디스플레이(120)를 통해 제공되는 전자 장치(100')의 기능 제어를 위한 다양한 UI 화면에 대한 사용자 명령을 입력받을 수 있다. 이 경우, 사용자 인터페이스(150)는 전자 장치(100')의 일측에 구비된 키패드, 터치패드 등으로 구현될 수 있으나, 경우에 따라서는 모션 인식을 위한 카메라, 음성 인식을 위한 마이크 등으로 구비될 수 있다.
센서부(160)는 전자 장치(100')의 모션 상태를 센싱한다.
구체적으로, 센서(160)는 모션 상태를 센싱하기 위한 지자기 센서, 자이로 센서, 가속도 센서 등을 포함한다. 지자기 센서는 전자 장치(100')의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이다. 자이로 센서는 전자 장치(100')의 회전각을 감지하기 위한 센서이다. 지자기 센서 및 자이로 센서는 둘 다 구비될 수도 있으나, 이 중 하나만 구비되어 있더라도 전자 장치(100')는 회전 상태를 감지할 수 있다. 가속도 센서는 전자 장치(100')의 기울어진 정도를 감지하기 위한 센서이다.
또한, 센서(160)는 기기에 부착된 터치 패드를 통한 터치 또는 호버링 조작을 감지하는 터치 센서, 근접 센서 등을 더 포함할 수 있다.
이 경우, 프로세서(130)는 센서(160)에서 센싱된 모션 상태에 대응되는 시점에 존재하는 영상을 디스플레이(120)를 통해 디스플레이할 수 있다.
프로세서(130)는 전자 장치(100')의 전반적인 동작을 제어하는 구성이다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 및 버스(136)를 포함한다. 여기서, RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 ~ 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(134)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(134)는 저장부(140)에 저장된 각종 프로그램, 콘텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
RAM(131)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 전자 장치(100')에 전원이 공급되면, 메인 CPU(134)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(134)는 저장부(140)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 외부 장치(200)로부터 수신한 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(120)에 표시된다.
도 12는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치는 외부 장치로부터 외부 장치가 촬영한 영상 및 영상을 촬영하는 동안 측정된 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신할 수 있다(S1210).
그리고, 전자 장치는 수신된 정보에 기초하여 기설정된 시간 구간 단위로 외부 장치의 움직임 정도를 판단하고, 움직임 정도에 기초하여 영상의 시야각을 조정하여 디스플레이 할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치
200: 외부 장치

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    외부 장치로부터 상기 외부 장치가 촬영한 영상 및 상기 영상을 촬영하는 동안 측정된 상기 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신하는 통신부; 및
    상기 수신된 정보에 기초하여 기설정된 시간 구간 단위로 상기 외부 장치의 움직임 정도를 판단하고, 상기 움직임 정도에 기초하여 상기 영상의 시야각(FOV, Field of View)을 조정하여 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 영상은, 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 생성한 좌안 입체 공간 영상 및 우안 입체 공간 영상을 포함하는 VR 영상이고,
    상기 프로세서는,
    상기 좌안 입체 공간 영상 및 상기 우안 입체 공간 영상에서 사용자의 시점에 대응되는 영역의 영상을 각각 디스플레이하며, 상기 움직임 정도에 기초하여 상기 디스플레이된 영상의 외곽 영역을 영상 처리하여 상기 시야각을 조정하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 움직임 정도에 비례하도록 상기 외곽 영역의 크기를 가변적으로 조정하는, 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 디스플레이된 영상의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리하여 상기 시야각을 조정하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 기설정된 시간 구간 단위로, 상기 가속도 정보로부터 상기 외부 장치의 흔들림 강도(SI, Shakint Intensity)를 판단하고 상기 각속도 정보로부터 상기 외부 장치의 회전 강도(RI, Rotation Intensity)를 판단하며, 상기 흔들림 강도 및 회전 강도에 기초하여 상기 움직임 정도를 판단하는, 전자 장치.
  6. 제5항에 있어서,
    상기 움직임 정도는,
    상기 외부 장치의 기설정된 움직임 범위 내에서 정의된 모션 강도(Motion Intensity)이며,
    상기 프로세서는,
    하기 수학식 1에 기초하여 상기 모션 강도를 판단하는, 전자 장치;
    [수학식 1]
    MI = min (SI * a + RI * b, MI_MAX)
    (MI_MAX= 기설정된 MI의 최댓값, min= 입력값 중 최솟값을 리턴하는 함수, SI= 외부 장치의 흔들림 강도, RI: 외부 장치의 회전 강도, a= 기설정된 SI 가중치, b= 기설정된 RI 가중치).
  7. 제6항에 있어서,
    상기 흔들림 강도의 가중치는 상기 회전 강도의 가중치보다 큰, 전자 장치.
  8. 제2항에 있어서,
    상기 프로세서는,
    하기 수학식 2에 기초하여 상기 시야각을 판단하는, 전자 장치;
    [수학식 2]
    FOV = FOV_MAX - (FOV_MAX - FOV_MIN) * MI
    (FOV_MAX= 기설정된 시야각의 최댓값, FOV_MIN= 기설정된 시야각의 최솟값, MI= 모션 강도).
  9. 제8항에 있어서,
    상기 외곽 영역은,
    제1 외곽 영역 및 제2 외곽 영역을 포함하며,
    상기 제1 외곽 영역은,
    상기 수학식 2에서 산출된 시야각에 대응되는 영역의 경계인 제1 외곽 라인 및 상기 수학식 2에서 산출된 시야각에 기설정된 값을 곱한 시야각에 대응되는 영역의 경계인 제2 외곽 라인 사이 영역이고,
    상기 제2 외곽 영역은,
    상기 제2 외곽 라인의 외부 영역인, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 외곽 영역은 디밍 처리 또는 블러 처리하고,
    상기 제2 외곽 영역은 불투명 처리하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 기설정된 시간 구간 단위로, 상기 영상에 포함된 오브젝트의 이동 거리에 기초하여 상기 오브젝트의 가속도를 판단하고 상기 오브젝트의 가속도에 기초하여 상기 영상의 시야각을 조정하는, 전자 장치.
  12. 전자 장치의 제어 방법에 있어서,
    외부 장치로부터 상기 외부 장치가 촬영한 영상 및 상기 영상을 촬영하는 동안 측정된 상기 외부 장치의 가속도 및 각속도 중 적어도 하나에 대한 정보를 수신하는 단계; 및
    상기 수신된 정보에 기초하여 기설정된 시간 구간 단위로 상기 외부 장치의 움직임 정도를 판단하고, 상기 움직임 정도에 기초하여 상기 영상의 시야각(FOV, Field of View)을 조정하여 디스플레이 하는 단계;를 포함하는 전자 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 영상은 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여생성한 좌안 입체 공간 영상 및 우안 입체 공간 영상을 포함하는 VR 영상이고,
    상기 디스플레이 하는 단계는,
    상기 좌안 입체 공간 영상 및 상기 우안 입체 공간 영상에서 사용자의 시점에 대응되는 영역의 영상을 각각 디스플레이 하는 단계; 및
    상기 움직임 정도에 기초하여 상기 디스플레이된 영상의 외곽 영역을 영상 처리하여 상기 시야각을 조정하여 디스플레이 하는 단계;를 포함하는, 전자 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 디스플레이 하는 단계는,
    상기 움직임 정도에 비례하도록 상기 외곽 영역의 크기를 가변적으로 조정하여 디스플레이 하는, 전자 장치의 제어 방법
  15. 제13항에 있어서,
    상기 디스플레이 하는 단계는,
    상기 디스플레이된 영상의 외곽 영역을 디밍(Dimming) 처리 또는 블러(Blur) 처리하여 상기 시야각을 조정하여 디스플레이 하는, 전자 장치의 제어 방법.
  16. 제12항에 있어서,
    상기 움직임을 판단하는 단계는,
    상기 기설정된 시간 구간 단위로, 상기 가속도 정보로부터 상기 외부 장치의 흔들림 강도(SI, Shakint Intensity)를 판단하고 상기 각속도 정보로부터 상기 외부 장치의 회전 강도(RI, Rotation Intensity)를 판단하며, 상기 흔들림 강도 및 회전 강도에 기초하여 상기 움직임 정도를 판단하는, 전자 장치의 제어 방법.
  17. 제16항에 있어서,
    상기 움직임 정도는,
    상기 외부 장치의 기설정된 움직임 범위 내에서 정의된 모션 강도(Motion Intensity)이며,
    상기 움직임 정도를 판단하는 단계는,
    하기 수학식 1에 기초하여 상기 모션 강도를 판단하는 단계;를 포함하는, 전자 장치의 제어 방법;
    [수학식 1]
    MI = min (SI * a + RI * b, MI_MAX)
    (MI_MAX= 기설정된 MI의 최댓값, min= 입력값 중 최솟값을 리턴하는 함수, SI= 외부 장치의 흔들림 강도, RI: 외부 장치의 회전 강도, a= 기설정된 SI 가중치, b= 기설정된 RI 가중치).
  18. 제17항에 있어서,
    상기 흔들림 강도의 가중치는 상기 회전 강도의 가중치보다 큰, 전자 장치의 제어 방법.
  19. 제13항에 있어서,
    상기 시야각을 조정하는 단계는,
    하기 수학식 2에 기초하여 산출된 값에 기초하여 상기 시야각을 조절하는, 전자 장치의 제어 방법;
    [수학식 2]
    FOV = FOV_MAX - (FOV_MAX - FOV_MIN) * MI
    (FOV_MAX= 기설정된 시야각의 최댓값, FOV_MIN= 기설정된 시야각의 최솟값, MI= 모션 강도).
  20. 제19항에 있어서,
    상기 외곽 영역은,
    제1 외곽 영역 및 제2 외곽 영역을 포함하며,
    상기 제1 외곽 영역은,
    상기 수학식 2에서 산출된 시야각에 대응되는 영역의 경계인 제1 외곽 라인 및 상기 수학식 2에서 산출된 시야각에 기설정된 값을 곱한 시야각에 대응되는 영역의 경계인 제2 외곽 라인 사이 영역이고,
    상기 제2 외곽 영역은,
    상기 제2 외곽 라인의 외부 영역인, 전자 장치의 제어 방법.
KR1020170022294A 2016-11-16 2017-02-20 전자 장치 및 그의 제어 방법 KR102650572B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/328,439 US11366318B2 (en) 2016-11-16 2017-11-01 Electronic device and control method thereof
PCT/KR2017/012281 WO2018093075A1 (ko) 2016-11-16 2017-11-01 전자 장치 및 그의 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662422701P 2016-11-16 2016-11-16
US62/422,701 2016-11-16

Publications (2)

Publication Number Publication Date
KR20180055637A true KR20180055637A (ko) 2018-05-25
KR102650572B1 KR102650572B1 (ko) 2024-03-26

Family

ID=62299486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022294A KR102650572B1 (ko) 2016-11-16 2017-02-20 전자 장치 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US11366318B2 (ko)
KR (1) KR102650572B1 (ko)
WO (1) WO2018093075A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805755B (zh) * 2018-10-04 2024-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
CN113242384B (zh) * 2021-05-08 2023-04-18 聚好看科技股份有限公司 一种全景视频显示方法及显示设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150027910A1 (en) * 2013-07-25 2015-01-29 Tiejun Li Protective jewelry display device
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040219980A1 (en) 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US8570344B2 (en) 2010-04-02 2013-10-29 Qualcomm Incorporated Augmented reality direction orientation mask
JP2012100015A (ja) 2010-11-01 2012-05-24 Sharp Corp 三次元映像再生装置
KR20120091585A (ko) 2011-02-09 2012-08-20 삼성전기주식회사 디스플레이 장치 및 삼차원 영상 제공방법
US20120314899A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Natural user interfaces for mobile image viewing
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
KR101564964B1 (ko) 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
JP6620063B2 (ja) * 2016-04-21 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150027910A1 (en) * 2013-07-25 2015-01-29 Tiejun Li Protective jewelry display device

Also Published As

Publication number Publication date
US11366318B2 (en) 2022-06-21
US20210278665A1 (en) 2021-09-09
KR102650572B1 (ko) 2024-03-26
WO2018093075A1 (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
CN110908503B (zh) 跟踪设备的位置的方法
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US10915993B2 (en) Display apparatus and image processing method thereof
WO2017047178A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
JP6576536B2 (ja) 情報処理装置
US11710310B2 (en) Virtual content positioned based on detected object
US20230185099A1 (en) Small field of view display mitigation using transitional visuals
US11366318B2 (en) Electronic device and control method thereof
US11302285B1 (en) Application programming interface for setting the prominence of user interface elements
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101951406B1 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
JP6442619B2 (ja) 情報処理装置
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
JP6503407B2 (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
JP2017026762A (ja) 表示制御装置、表示制御方法、及びプログラム
CN116114012A (zh) 信息处理装置、信息处理方法和程序
JP2019057009A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant