KR102612988B1 - 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 Download PDF

Info

Publication number
KR102612988B1
KR102612988B1 KR1020160136528A KR20160136528A KR102612988B1 KR 102612988 B1 KR102612988 B1 KR 102612988B1 KR 1020160136528 A KR1020160136528 A KR 1020160136528A KR 20160136528 A KR20160136528 A KR 20160136528A KR 102612988 B1 KR102612988 B1 KR 102612988B1
Authority
KR
South Korea
Prior art keywords
image
shake
information
viewing area
camera
Prior art date
Application number
KR1020160136528A
Other languages
English (en)
Other versions
KR20180043609A (ko
Inventor
임경민
이재성
이태미
김창한
이은영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160136528A priority Critical patent/KR102612988B1/ko
Priority to PCT/KR2017/011676 priority patent/WO2018074893A1/ko
Priority to US16/342,047 priority patent/US10915993B2/en
Publication of KR20180043609A publication Critical patent/KR20180043609A/ko
Application granted granted Critical
Publication of KR102612988B1 publication Critical patent/KR102612988B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치의 영상 처리 방법이 개시된다. 본 디스플레이 장치의 영상 처리 방법은 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 단계, 카메라의 흔들림 정보에 기초하여 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하는 단계 및 흔들림 보정값에 기초하여 시청 영역을 조절하고, VR 영상에서 조절된 시청 영역에 대응되는 영상을 디스플레이하는 단계를 포함한다.

Description

디스플레이 장치 및 디스플레이 장치의 영상 처리 방법{DISPLAY APPARATUS AND IMAGE PROCESSING METHOD THEREOF}
본 개시는 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법에 관한 것으로, 보다 상세하게는, VR(Virtual Reality) 영상을 디스플레이하는 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법에 관한 것이다.
최근, HMD(Head Mounted Device) 등과 같은 Large FOV(Field Of View)를 가지는 몰입형 디스플레이(Immersion Display) 시장이 급격히 성장하고 있다.
HMD는 사용자의 머리에 착용되어 영상을 디스플레이하는 장치로서, 착용자의 눈에 가까운 곳에 디스플레이를 배치하고 있어 FMD(Face Mounted Display)라고도 불린다. 이러한 HMD는 360도 영상 컨텐츠와 같은 VR(Virtual Reality) 영상 컨텐츠를 디스플레이하여 시각적 가상현실을 구현할 수 있다.
예를 들어, 사용자는 VR 영상 컨텐츠를 디스플레이하는 HMD를 착용하고 원하는 방향으로 얼굴을 향함으로써, 전체 VR 영상에서 자신이 보고자 하는 영역의 영상을 실제 환경과 같은 느낌으로 시청할 수 있으며, 이로써 자신이 가상공간에 실제로 존재하는 듯한 느낌을 받을 수 있다.
이러한 VR 영상 컨텐츠는 일반 카메라가 아닌 360도 카메라 등과 같은 VR 영상 컨텐츠 제작을 위한 별도의 카메라를 통해 제작되는데, 최근에는 360도 카메라가 개인용으로도 보급되어 개인이 VR(Virtual Reality) 컨텐츠를 제작할 수도 있게 되었다.
한편, 카메라를 통해 영상 컨텐츠를 제작할 때, 카메라를 쥔 사용자의 손떨림이 있거나 흔들림이 있는 촬영 환경(가령, 놀이 기구를 타고 촬영하는 등)에서 영상이 촬영되는 경우 카메라의 흔들림이 촬영되는 영상에 반영되게 된다.
이때, 일반 카메라에는 각종 흔들림 방지(또는 손떨림 방지) 기술이 적용되어 있어 촬영 당시 카메라의 흔들림이 보정된 영상 컨텐츠가 제작될 수 있다.
이에 반해, 360도 카메라에는 흔들림 방지 기술이 적용되어 있지 않아 문제가 된다. 즉, 360도 카메라를 통해 제작된 VR 영상 컨텐츠를 HMD 등과 같은 몰입형 디스플레이 장치를 통해 시청시 사용자는 영상의 흔들림으로 눈의 피로와 부담감을 느끼게 된다. 특히, HMD 착용자는 시야 전체를 통해 영상을 보기 때문에 VR 영상의 흔들림은 일반 영상을 볼 때보다 더 문제가 된다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 흔들림이 저감된 VR(Virtual Reality) 영상을 디스플레이할 수 있는 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치의 영상 처리 방법은 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 상기 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 단계, 상기 카메라의 흔들림 정보에 기초하여 상기 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하는 단계 및 상기 흔들림 보정값에 기초하여 상기 시청 영역을 조정하고, 상기 VR 영상에서 상기 조정된 시청 영역에 대응되는 영상을 디스플레이하는 단계를 포함한다.
또한, 상기 카메라의 흔들림 정보를 판단하는 단계는, 상기 복수의 영상 프레임 각각을 복수의 영역으로 구분하고, 상기 복수의 영상 프레임에서 서로 대응되는 영역별로 특징점을 검출하는 단계 및 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 흔들림 정보를 판단하는 단계를 포함할 수 있다.
또한, 상기 카메라의 흔들림 정보는, 기설정된 방향을 기준으로 상기 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 흔들림 보정값을 산출하는 단계는, 상기 시청 영역을 결정하는 상기 디스플레이 장치의 모션 상태 기초하여 상기 카메라의 흔들림 정보를 상기 시청 영역에 대응되는 영상의 흔들림 정보로 변환하는 단계 및 상기 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 상기 흔들림 보정값을 산출하는 단계를 포함할 수 있다.
또한, 상기 흔들림 보정값을 산출하는 단계는, 상기 영상의 흔들림 정보를 스무딩(smoothing)하는 단계, 상기 영상의 흔들림 정보와 상기 스무딩된 영상의 흔들림 정보의 차이값을 산출하는 단계 및 상기 차이값을 구의 회전 값으로 변환하여 상기 흔들림 보정값을 산출하는 단계를 포함할 수 있다.
또한, 상기 영상의 흔들림 정보는, 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 포함하는 2축 흔들림 정보 또는 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 포함하는 3축 흔들림 정보일 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 VR 영상에서 상기 시청 영역을 상기 흔들림 보정값만큼 이동시켜 상기 시청 영역을 조절하고, 상기 이동된 시청 영역에 대응되는 영상을 디스플레이할 수 있다.
또한, 상기 흔들림 정보를 판단하는 단계는, 상기 복수의 영상 프레임에 대한 분석결과 및 상기 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용하여 상기 흔들림 정보를 판단할 수 있다.
또한, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하는 단계를 더 포함하고, 상기 흔들림 보정값을 산출하는 단계는, 상기 흔들림 보정 모드가 실행되면, 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하는 단계를 더 포함하고, 상기 스무딩하는 단계는, 상기 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 상기 영상의 흔들림 정보의 스무딩 강도를 조정할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치는, VR 영상에서 사용자 시청 영역에 대응되는 영상을 디스플레이하는 디스플레이 및 상기 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 상기 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하고, 상기 카메라의 흔들림 정보에 기초하여 상기 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하고, 상기 흔들림 보정값에 기초하여 상기 시청 영역을 조정하며, 상기 VR 영상에서 상기 조정된 시청 영역에 대응되는 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 복수의 영상 프레임 각각을 복수의 영역으로 구분하고, 상기 복수의 영상 프레임에서 서로 대응되는 영역별로 특징점을 검출하며, 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 흔들림 정보를 판단할 수 있다.
또한, 상기 카메라의 흔들림 정보는, 기설정된 방향을 기준으로 상기 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 시청 영역을 결정하는 상기 디스플레이 장치의 모션 상태에 기초하여 상기 카메라의 흔들림 정보를 상기 시청 영역에 대응되는 영상의 흔들림 정보로 변환하고, 상기 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 영상의 흔들림 정보를 스무딩(smoothing)하고, 상기 영상의 흔들림 정보와 상기 스무딩된 영상의 흔들림 정보의 차이값을 산출하며, 상기 차이값을 구의 회전 값으로 변환하여 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 영상의 흔들림 정보는, 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 포함하는 2축 흔들림 정보 또는 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 포함하는 3축 흔들림 정보일 수 있다.
또한, 상기 프로세서는, 상기 VR 영상에서 상기 시청 영역을 상기 흔들림 보정값만큼 이동시켜 상기 시청 영역을 조절하고, 상기 이동된 시청 영역에 대응되는 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 복수의 영상 프레임에 대한 분석결과 및 상기 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용하여 상기 흔들림 정보를 판단할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 모드가 실행되면, 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 상기 영상의 흔들림 정보의 스무딩 강도를 조정할 수 있다.
또한, 상기 프로세서는, 상기 시청 영역을 결정하는 상기 디스플레이 장치의 모션 상태에 기초하여 상기 카메라의 흔들림 정보를 상기 시청 영역에 대응되는 영상의 2축 흔들림 정보로 변환하고, 상기 시청 영역에 대응되는 영상의 2축 흔들림 정보를 이용하여 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 2축 흔들림 정보는, 상기 시청 영역에 대응되는 영상을 나타내는 복수의 프레임들 간의 x, y축 변위값을 포함하고, 상기 프로세서는, 상기 2축 흔들림 정보를 스무딩(smoothing)하고, 상기 스무딩된 2축 흔들림 정보와 상기 2축 흔들림 정보의 차이값을 산출하며, 상기 차이값을 구의 회전 값으로 변환하여 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 VR 영상에서 상기 시청 영역을 상기 흔들림 보정값만큼 이동시켜 상기 시청 영역을 조절하고, 상기 이동된 시청 영역에 대응되는 영상을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 복수의 영상 프레임에 대한 분석결과 및 상기 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용하여 상기 흔들림 정보를 판단할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 모드가 실행되면, 상기 흔들림 보정값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 상기 2축 흔들림 정보의 스무딩 강도를 조정할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디스플레이 장치의 영상 처리 방법은, VR 영상을 구성하는 복수의 영상 프레임을 분석하여 상기 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 단계, 상기 카메라의 흔들림 정보에 기초하여 상기 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하는 단계 및 상기 흔들림 보정값에 기초하여 상기 시청 영역을 조정하고, 상기 VR 영상에서 상기 조정된 시청 영역에 대응되는 영상을 디스플레이하는 단계를 포함한다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 디스플레이 장치는 흔들림이 저감된 VR(Virtual Reality) 영상을 디스플레이할 수 있게 된다.
도 1은 본 개시의 다양한 실시 예들에 따른 디스플레이 장치의 예시도,
도 2a 내지 도 2c는 VR 영상 및 사용자가 VR 영상을 감상하는 예시도,
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 블럭도,
도 4a 및 도 4b는 본 개시의 일 실시 예에 따라 카메라의 흔들림 정보를 판단하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5d는 본 개시의 일 실시 예에 따라 흔들림 보정값을 산출하는 방법을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따라 흔들림 보정값이 VR 영상에 적용되는 개념을 설명하기 위한 도면,
도 7은 본 개시의 다른 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 상세 블럭도,
도 8은 본 개시의 일 실시 예에 따른 UI 화면의 예시도, 및
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 영상 처리 방법을 나타내는 흐름도이다.
본 개시를 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 상세히 설명한다. 도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구현 형태 및 외관을 도시한 도면이다.
본 개시의 실시 예들에 따른 디스플레이 장치는 사용자의 머리에 착용하기 위한 밴드, HMD의 동작을 제어하기 위한 각종 사용자 입력 인터페이스 및 디스플레이가 하나의 장치로 구성된 일체형 HMD로 구현되거나, 디스플레이가 없는 분리형 HMD에 결합하여 디스플레이를 제공하는 형태의 디스플레이 장치로 구현될 수 있다.
도 1의 (a)는 사용자가 일체형 HMD로 구현된 디스플레이 장치(100-1)를 머리에 착용한 모습을 도시한 것이다. 도 1의 (a)에 도시된 바와 같이, 디스플레이 장치(100-1)는 밴드를 구비하여 사용자의 머리에 디스플레이 장치(100-1)를 고정시킬 수 있으며, HMD 자체에 디스플레이가 포함되어 있다.
본 개시의 일 실시 예에 따르면, 이와 같은 일체형 HMD 형태의 디스플레이 장치(100-1)는 노트북이나 PC(Personal Computer) 등과 같은 외부 장치와 연결되어 외부 장치에서 후술할 바와 같이 처리되어 제공되는 VR 영상을 디스플레이할 수 있다.
또한, 본 개시의 다른 일 실시 예에 따르면, 일체형 HMD 형태의 디스플레이 장치(100-1)는 VR 영상을 저장하는 저장부(미도시)나 VR 영상을 스트리밍으로 수신할 수 있는 통신부(미도시)를 구비하고, VR 영상을 처리할 수 있는 프로세서(미도시)를 구비하여 독립형 장치(Stand alone) 형태로 동작할 수도 있다.
이때, 디스플레이 장치(100-1)가 노트북이나 PC와 연결되어 동작하는 경우, 본 개시의 일 실시 예에 따른 디스플레이 장치(100-1)는 디스플레이 장치(100-1)와 연결된 노트북이나 PC를 포함하는 개념일 수 있다.
도 1의 (b)는 분리형 HMD에 결합하여 사용되도록 구현된 디스플레이 장치(100-2)의 일 예를 도시한 것이다. 도 1의 (b)에 도시된 바와 같이, 디스플레이 장치(100-2)는 스마트폰으로 구현될 수 있으며, HMD의 본체(10)에 결합되어 디스플레이를 제공할 수 있다.
한편, 분리형 HMD에 결합하여 사용하는 디스플레이 장치(100-2)는 스마트폰뿐만 아니라 태블릿 PC(Tablet Personal Computer), 이동전화기(Mobile Phone), 전자책 리더(E-book Reader), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 네비게이션(navigation), 디지털 카메라 등 디스플레이를 구비한 다양한 형태의 디스플레이 장치로 구현될 수도 있다.
이하에서, 디스플레이 장치(100-1, 100-2)는 일체형 HMD(100-1)를 의미하거나 또는 분리형 HMD에 결합하여 사용되는 디스플레이 장치(100-2) 모두를 의미한다.
사용자는 이와 같은 디스플레이 장치(100-1, 100-2)를 착용하고 VR 영상을 볼 수 있다. 도 2는 VR 영상의 예 및 사용자가 VR 영상을 보는 경우의 상황을 설명하기 위한 도면이다.
VR 영상은 360도 전경 시야를 확보할 수 있는 파노라마 영상 또는 360도 영상으로, 360도 카메라로 촬영된 영상일 수 있으나, 이에 한정되는 것은 아니다. 도 2a는 VR 영상을 ERP(Equirectangular Projection) 포맷으로 나타낸 하나의 예이다. 도 2a에 도시된 바와 같이, VR 영상은 촬영 당시 카메라의 특정 위치(예를 들어, 전면)를 기준으로 전, 후, 좌, 우의 360도 전경을 포함할 수 있다.
이러한 VR 영상은 복수의 촬영부를 포함하는 360도 카메라를 이용하여 서로 다른 방향을 촬영하고, 촬영된 영상을 스티칭(stiching)하여 생성될 수 있다. 그러나, 이에 한정되는 것은 아니며, 360도 카메라가 VR 영상을 생성하는 구체적인 내용은 본 개시의 요지를 벗어나므로, 자세한 설명은 생략한다.
한편, 사용자가 디스플레이 장치(100-1, 100-2)를 착용하고 VR 영상을 시청할 때, 사용자는 도 2a와 같은 VR 영상 전체 즉, 360도 영상 전체를 한꺼번에 보는 것이 아니라, 전체 VR 영상 중 사용자의 시야에 해당하는 만큼의 일부 영역에 대한 영상을 보게 되며, 고개를 움직여 다른 영역의 영상을 볼 수 있다.
즉, 디스플레이 장치(100-1, 100-2)를 착용한 사용자의 입장에서 볼 때, 도 2a와 같은 VR 영상이 도 2b와 같은 구 형상에 입혀져 있고, 사용자는 구의 중심에 위치하여 특정 방향의 VR 영상을 보는 것처럼 느껴지게 된다.
이때, 디스플레이 장치(100-1, 100-2)는 전체 VR 영상에서 사용자가 바라보는 방향에 대해 사람의 시야각에 해당하는 영역만큼을 디스플레이할 수 있으며, 사용자가 고개를 움직이는 경우, 이를 감지하여 그 움직임만큼 변경된 위치의 영상을 디스플레이함으로써, 사용자는 마치 현실 세계에 있는 것과 같은 느낌을 받을 수 있게 된다.
여기서, VR 영상의 전체 영역 중 사용자가 보게 되는 일부 영역을 사용자의 시청 영역이라고 하며, 사용자가 고개를 다른 방향으로 향하면, 그에 따라 사용자의 시청 영역이 변경될 수 있다. 이때, 디스플레이 장치(100-1, 100-2)는 VR 영상에서 사용자의 시청 영역에 대응되는 영역의 영상을 디스플레이할 수 있다.
즉, 예를 들면, 도 2c의 (b)에 도시된 바와 같이, 사용자가 디스플레이 장치(100-1, 100-2)를 착용하고 앞을 향하고 있는 경우, 디스플레이 장치(100-1, 100-2)는 도 2a와 같은 VR 영상에서 앞 부분을 중심으로 사용자의 시야에 해당하는 영역의 영상을 디스플레이하고, 사용자가 고개를 왼쪽으로 향하면, 도 2c의 (a)에 도시된 바와 같이, 도 2a의 VR 영상에서 왼쪽 부분을 중심으로 사용자의 시야에 해당하는 영역의 영상을, 그리고, 사용자가 고개를 오른쪽으로 향하면, 도 2c의 (c)에 도시된 바와 같이, 도 2a의 VR 영상에서 오른쪽 부분을 중심으로 사용자의 시야에 해당하는 영역의 영상을 디스플레이할 수 있다.
이와 같이, 사용자의 전, 후, 좌, 우, 상, 하 방향의 고개 움직임에 따라 시청 영역은 연속적으로 변경될 수 있으며, 디스플레이 장치(100-1, 100-2)는 변경된 시청 영역에 대응되는 영상을 디스플레이할 수 있다.
한편, 전술한 바와 같이 360도 카메라에는 흔들림 방지 기술이 적용되어 있지 않은 것이 일반적이므로, 위와 같은 VR 영상이 제작될 때 즉, 360도 카메라를 통해 VR 영상을 촬영할 때 카메라의 흔들림이 있는 경우, 그 떨림이나 흔들림은 고스란히 VR 영상에 반영되게 되며, 이러한 흔들림이 있는 VR 영상을 시청하는 것은 사용자에게 눈의 피로나 부담감을 야기 시키게 된다.
특히, HMD를 통한 VR 영상 시청시 높은 몰입감 및 실제감을 위해 HMD는 사용자의 머리에 착용되어 외부에 대한 시야를 차단하기 때문에, 영상의 흔들림으로 인한 사용자 눈의 피로감은 일반적인 영상을 시청할 때보다 큰 문제가 된다.
따라서, 본 개시의 일 실시 예에 따르면, 디스플레이 장치(100-1, 100-2)는 디스플레이할 VR 영상을 분석하여 해당 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하고, 판단된 카메라의 흔들림 정보를 이용하여 사용자의 현재 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하며, 산출된 흔들림 보정값만큼 조정된 시청 영역에 대응되는 영상을 디스플레이함으로써, 사용자는 흔들림이 저감된 VR(Virtual Reality) 영상을 시청할 수 있게 된다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 예시도이다. 도 3에 따르면, 디스플레이 장치(100)는 디스플레이(110) 및 프로세서(120)를 포함한다.
디스플레이(110)는 각종 영상을 디스플레이할 수 있다. 여기서, 영상은 텍스트, 정지영상, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 영상일 수 있다.
특히, 디스플레이(110)는 VR(Virtual Reality) 영상을 디스플레이할 수 있으며, 이때, VR 영상은 동영상일 수도 있고, 기설정된 개수만큼 연속 촬영된 복수의 정지 영상을 포함하는 영상일 수도 있다. 본 개시의 일 실시 예에 따르면, 디스플레이(110)는 프로세서(120)의 제어를 받아 VR 영상에서 사용자의 시청 영역에 대응되는 영상을 디스플레이할 수 있다.
이를 위해, 디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.
프로세서(120)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단할 수 있다.
VR 영상은 동영상 또는 연속 촬영된 복수의 정지 영상을 포함하므로, 시간의 흐름에 따른 복수의 영상 프레임을 포함할 수 있다. 따라서, 프로세서(120)는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단할 수 있다. 이때, 분석되는 VR 영상은 ERP(Equirectangular Projection) 포맷일 수 있으나, 이에 한정되는 것은 아니며, VR 영상을 촬영한 카메라를 둘러싼 구 형상의 실제 외부 환경을 도 2a와 같은 사각형 형태로 변환하여 표현한 다른 포맷의 영상일 수도 있다.
구체적으로, 프로세서(120)는 VR 영상을 구성하는 복수의 영상 프레임 각각을 복수의 영역으로 구분하여 서로 대응되는 영역별로 특징점을 검출하고, 검출된 특징점들의 변화량에 기초하여 카메라의 흔들림 정보를 판단할 수 있다.
예를 들어, 프로세서(120)는 복수의 영상 프레임 각각을 카메라의 촬영 방향을 기준으로 앞, 뒤, 좌, 우와 같은 복수의 영역으로 구분할 수 있다. 또한, 프로세서(120)는 복수의 영상 프레임 각각에 대해 구분된 영역별로 특징점을 검출할 수 있다. 영상에서 특징점을 검출하는 구체적인 방법은 본 개시의 요지와 무관하므로, 구체적인 내용은 설명을 생략한다.
이에 따라, 프로세서(120)는 구분된 영역별로 복수의 프레임 간의 특징점들의 변화량, 예를 들어, 모션 벡터를 계산할 수 있으며, 이에 기초하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단할 수 있다. 이때, 복수의 영상 프레임은 연속된 2개의 영상 프레임일 수 있으나, 이에 한정되는 것은 아니며, 기설정된 개수의 프레임마다 선택된 복수의 영상 프레임일 수도 있다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따라 카메라의 흔들림 정보를 판단하는 방법을 설명하기 위한 도면이다. 도 4a에 도시된 바와 같이, VR 영상을 촬영하는 카메라(50)의 흔들림은 6가지 움직임 성분을 가질 수 있다. 구체적으로, 카메라(50)의 움직임 성분은 전면 촬영부(51)를 기준으로 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보를 포함할 수 있다.
이러한 카메라(50)의 흔들림 정보를 판단하기 위해, 프로세서(120)는 도 4b와 같은 ERP 포맷의 VR 영상을 분석할 수 있다. 도 4b에는 하나의 VR 영상 프레임만을 도시하였지만, 전술한 바와 같이, VR 영상은 복수의 영상 프레임을 포함하고 있다.
구체적으로, 프로세서(120)는 VR 영상을 구성하는 복수의 영상 프레임 각각을 도 4b에 도시된 VR 입력 영상과 같이, 앞(410), 뒤(440), 좌(420), 우(430)와 같이 4 영역으로 구분하고, 구분된 4 영역별로 영상 프레임 간의 영상의 움직임을 분석하여 카메라(50)의 흔들림 정보를 판단할 수 있다.
예를 들어, 앞 영역(410)에서 영상의 x축 방향 움직임은 카메라(50)의 x축 방향 직선 움직임과 카메라(50)의 요(yaw) 회전 움직임 성분을 포함하며, 앞 영역(410)에서 영상의 y축 방향 움직임은 카메라(50)의 y축 방향 직선 움직임과 카메라(50)의 피치(pitch) 회전 움직임 성분을 포함하게 되므로, 프로세서(120)는 앞 영역(410)에 대해 영상 프레임 간의 x 방향 움직임 성분(Front_x)과 y 방향 움직임 성분(Front_y)을 도 4b의 아래 식(41)과 같이 분석하여 나타낼 수 있다.
나머지 영역(420, 430, 440) 역시 x 방향 움직임 및 y 방향 움직임을 분석하면, 도 4b의 아래 식(42, 43, 44)과 같이 표현될 수 있음을 알 수 있다.
이에 따라, 프로세서(120)는 아래의 수학식을 통해 6가지 움직임 정보를 포함하는 카메라(50)의 흔들림 정보를 판단할 수 있다.
[수학식 1]
요(yaw) = (Front_x+Back_x+Left_x+Right_x)/4
Tx = (Front_x-Back_x)/2
Tz = (Left_x-Right_x)/2
Ty = (Front_y+Back_y+Left_y+Right_y)/4
피치(pitch) = (Front_y-Back_y)/2
롤(roll) = (Left_y-Right_y)/2
여기서, Tx는 카메라(50)의 x축 방향 직선 움직임 정보, Ty는 카메라(50)의 y축 방향 직선 움직임 정보, Tz는 카메라(50)의 z축 방향 직선 움직임 정보, 요(yaw)는 카메라(50)의 요(yaw) 회전 움직임 정보, 피치(pitch)는 카메라(50)의 피치(pitch) 회전 움직임 정보 및 롤(roll)은 카메라(50)의 롤(roll) 회전 움직임 정보를 나타낸다. 또한, Front_x, Front_y, Back_x, Back_y, Left_x, Left_y, Right_x, Right_y는 VR 영상의 앞, 뒤, 좌, 우 영역(410, 440, 420, 430)별 x축 및 y축 방향 움직임 성분을 나타낸다.
이와 같이, 프로세서(120)는 VR 영상을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단할 수 있다.
그러나, 도 4는 하나의 예에 불과할 뿐, VR 영상을 분석하여 카메라의 흔들림 정보를 판단하는 예가 이에 한정되는 것은 아니다. 가령, 프로세서(120)는 VR 영상을 구성하는 복수의 영상 프레임을 4개 미만 또는 5개 이상의 영역으로 구분하고, 구분된 영역별로 영상 프레임 간의 영상의 움직임 성분을 분석하여 다른 식을 통해 카메라(50)의 흔들림 정보를 판단할 수도 있을 것이다.
한편, 프로세서(120)는 전술한 바와 같이 판단된 카메라의 흔들림 정보에 기초하여 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출할 수 있다.
사용자가 디스플레이 장치(100, 100-1, 100-2)를 착용하고 VR 영상을 시청할 때 디스플레이 장치(100, 100-1, 100-2)에는 사용자의 시청 영역에 대응되는 영상만이 디스플레이되며, 위와 같이 판단된 카메라의 흔들림 정보는 사용자의 시청 영역에 각각 다르게 반영되므로, 프로세서(120)는 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 흔들림 정보로 변환할 필요가 있다.
도 5a는 카메라의 흔들림 정보가 사용자의 시청 영역마다 다르게 반영되는 예를 나타낸다. 도 5a에 도시된 바와 같이, VR 영상을 촬영하는 카메라(50)가 x축을 기준으로 좌(②), 우(①)로 흔들린 경우, VR 영상 중 카메라(50)의 전면 영역에 대응되는 영상(510)과 후면 영역에 대응되는 영상(520)에서 카메라(50)의 흔들림이 서로 반대로 영향을 미치는 것을 볼 수 있다. 도 5a에서는 설명의 편의를 위해 VR 영상 중 카메라(50)의 전면 영역과 후면 영역에 대응되는 영상만을 비교하여 도시하였지만, 6가지 움직임 성분의 카메라(50)의 흔들림이 VR 영상의 좌, 우, 상, 하 등 임의의 시청 영역마다 다르게 영향을 미칠 것임은 자명하다.
이때, 카메라(50)의 6가지 움직임 성분은 전체 VR 영상 중 임의의 시청 영역에 대응되는 영상의 x축 흔들림, y축 흔들림 및 회전 흔들림 중 적어도 하나로 나타날 수 있다. 여기서, x축 흔들림은 시청 영역에 대응되는 영상의 좌, 우 방향 흔들림을, 그리고, y축 흔들림은 시청 영역에 대응되는 영상의 상, 하 방향 흔들림을 의미하며, 시청 영역에 대응되는 영상의 회전 흔들림은 시청 영역의 중심을 기준으로 영상이 시계 방향 또는 반 시계 방향으로 회전하는 흔들림을 의미할 수 있다.
따라서, 프로세서(120)는 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 흔들림 정보로 변환하고, 이를 이용하여 흔들림 보정값을 산출할 수 있다. 구체적으로, 프로세서(120)는 사용자의 시청 영역을 결정하는 디스플레이 장치(100)의 모션 상태에 기초하여, 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 2축 흔들림 정보 또는 3축 흔들림 정보로 변환할 수 있다. 여기서, 2축 흔들림 정보는 사용자의 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 의미하고, 3 축 흔들림 정보는 사용자의 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 의미할 수 있다.
전술한 바와 같이, 디스플레이 장치(100)를 착용한 사용자가 고개를 돌리면, 디스플레이 장치(100)는 이를 감지하여 사용자가 고개를 움직인 만큼 변경된 시청 영역에 대응되는 영상을 디스플레이할 수 있다. 즉, 디스플레이 장치(100)가 착용된 상태에서 사용자가 고개를 움직이면 디스플레이 장치(100) 역시 함께 움직이게 되므로, 디스플레이 장치(100)는 후술할 바와 같이 각종 센서를 통해 디스플레이 장치(100)의 모션 상태를 감지하여 사용자의 시청 영역을 결정할 수 있다. 이때, 사용자의 시청 영역은 기준점(예를 들어, 카메라(50)의 전면 중심 부분에 대응되는 VR 영상의 지점)에 대한 요, 피치, 롤 값과 같이 구 좌표값으로 표현될 수 있으나, 이에 한정되는 것은 아니다.
이에 따라, 프로세서(120)는 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 2축 흔들림 정보 또는 3축 흔들림 정보로 변환할 수 있다.
도 5b 및 도 5c는 프로세서(120)가 카메라의 흔들림 정보를 VR 영상 중 앞 영역(510) 및 뒤 영역(520)에 대응되는 영상의 2축 흔들림 정보로 변환하는 예를 도시하고 있다. 도 5b는 6가지 움직임 성분의 카메라 흔들림 정보를 나타내고, 도 5c는 VR 영상 중 전면 영역(510)에 대응되는 영상의 x, y축 흔들림 정보(530) 및 후면 영역(520)에 대응되는 영상의 x, y축 흔들림 정보(540)를 나타내며, 각 정보를 나타내는 그래프에서 x축은 영상 프레임의 번호를 나타내고, y축은 픽셀단위의 변화량을 나타낸다.
프로세서(120)는 예를 들어, 아래의 수학식을 이용하여 도 B와 같은 카메라 흔들림 정보를 도 5c와 같은 사용자의 시청 영역에 대응되는 영상의 2축 흔들림 정보로 변환할 수 있다. 그러나, 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 흔들림 정보로 변환하는 수식이 이에 한정되는 것이 아님은 물론이다.
[수학식 2]
rx = Tx * sinθH - Tz * cosθH + Yawc * cosφH + Rollc * sinφH * sinθH + Pitchc * sinφH * cosθH
ry = Ty * cosφH - Tz * sinφH * sinθH - Tx * cosθH * sinφH + Pitchc * sinθH - Rollc * cosθH
여기서, rx는 사용자의 시청 영역에 대응되는 영상의 x축 흔들림 정보, ry는 사용자의 시청 영역에 대응되는 영상의 y축 흔들림 정보, Tx는 카메라(50)의 x축 방향 직선 움직임 정보, Ty는 카메라(50)의 y축 방향 직선 움직임 정보, Tz는 카메라(50)의 z축 방향 직선 움직임 정보, Yawc는 카메라(50)의 요(yaw) 회전 움직임 정보, Pitchc는 카메라(50)의 피치(pitch) 회전 움직임 정보, Rollc는 카메라(50)의 롤(roll) 회전 움직임 정보, θH는 사용자의 시청 영역의 요(yaw) 좌표, φH는 사용자의 시청 영역의 피치(Pitch)좌표를 나타낸다.
한편, 위 수학식 2에서는 카메라(50)의 6가지 움직임 성분을 사용자의 시청 영역에 대응되는 영상의 2축 흔들림 정보로 변환하기 위해, 사용자의 시청 영역의 롤(roll) 좌표를 0°로 설정하였으나, 이에 한정되는 것은 아니다.
즉, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 사용자의 시청 영역의 롤(roll) 좌표(예를 들어, 사용자의 시청 영역이 수평선을 기준으로 시계 방향 또는 반시계 방향으로 회전된 각도) 및 카메라(50)의 움직임 성분들을 이용하여, 사용자의 시청 영역에 대응되는 영상의 회전 흔들림 정보(rθ)를 계산할 수 있으며, 이 경우, 카메라(50)의 흔들림 정보는 사용자의 시청 영역에 대응되는 영상의 3축 흔들림 정보로 변환될 수 있다.
한편, 도 5c를 보면, 카메라의 동일한 6가지 움직임 정보가 사용자의 시청 영역(도 5c에서는 전면 영역 및 후면 영역)에 따라 서로 다른 흔들림 정보로 나타나는 것을 확인할 수 있다.
이에 따라, 프로세서(120)는 사용자의 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 흔들림 보정값을 산출할 수 있다. 여기서, 사용자의 시청 영역에 대응되는 흔들림 정보는 전술한 2축 흔들림 정보 또는 3축 흔들림 정보일 수 있다. 구체적으로, 프로세서(120)는 2축 또는 3축 흔들림 정보를 스무딩(smoothing)하고, 스무딩된 2축 또는 3축 흔들림 정보와 스무딩 되기 전 2축 또는 3축 흔들림 정보의 차이값을 산출하며, 산출된 차이값을 구의 회전 값으로 변환하여 흔들림 보정값을 산출할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 2축 흔들림 정보에서 고주파 성분을 제거하여 2축 흔들림 정보를 스무딩할 수 있다. 구체적으로, 프로세서(120)는 2축 흔들림 정보에 칼만 필터(Kalman Filter)나 평균 필터(Average Filter)등과 같은 필터를 적용하여 2축 흔들림 정보를 스무딩할 수 있으나, 이에 한정되는 것은 아니다.
또한, 프로세서(120)는 스무딩되기 전 2축 흔들림 정보와 스무딩된 2축 흔들림 정보의 차이값을 산출할 수 있다. 도 5d는 한 시청 영역(예를 들어, 전면 영역)의 2축 흔들림 정보 각각에서 차이값을 산출하는 예를 도시하고 있다. 도 5d의 그래프 역시 x축은 영상 프레임의 번호를 나타내고, y축은 픽셀 단위의 변화량을 나타낸다.
구체적으로, 도 5d의 (a)에서 rx는 x축 흔들림 정보를 나타내고, fx는 스무딩된 x축 흔들림 정보를 나타낸다. 프로세서(120)는 영상 프레임마다 스무딩되기 전 x축 흔들림 정보값(rx)에서 스무딩된 x축 흔들림 정보값(fx)을 빼서 그 차이값(dx)을 산출할 수 있다. 프로세서(120)는 y축 흔들림 정보에 대하여도 같은 연산을 수행하여, 도 5d의 (b)에 도시된 바와 같이 차이값(dy)을 산출할 수 있다.
한편, 도 5d에서 스무딩된 2축 흔들림 정보는 카메라(50) 사용자의 의도된 움직임(예를 들어, 카메라를 들고 특정 방향으로 걸어가면서 VR 영상을 촬영하는 경우, 특정 방향으로 걸어가는 움직임에 따른 카메라(50)의 움직임)에 해당하며, 산출된 차이값(dx, dy)이 ERP 포맷의 영상에서 보정되어야 할 x, y축 흔들림 값, 즉, 카메라(50)의 떨림이 된다. 따라서, 산출된 차이값(dx, dy)이 후술할 바와 같이 사용자의 시청 영역을 조정하는데 이용되게 된다.
한편, 전술한 바와 같이, 사용자의 시청 영역은 일반적으로 기준점에 대한 요, 피치, 롤 값과 같이 구좌표로 표현되므로, 프로세서(120)는 사용자의 시청 영역에 대응되는 영상의 흔들림 보정을 위해 상기 산출된 차이값을 구좌표 상의 회전값로 변환할 수 있다. 즉, 프로세서(120)는 (dx, dy) 값을 (dYaw, dPitch, dRoll)값으로 변환할 수 있다.
예를 들어, VR 영상이 3840*1920의 해상도를 갖는 영상인 경우, 프로세서(120)는 아래의 수학식을 통해 ERP 포맷 영상의 x, y 좌표상의 흔들림 값을 구좌표 상의 회전 값으로 변환할 수 있다. 그러나, 아래 수학식은 하나의 예에 불과할 뿐, 이에 한정되는 것은 아니다.
[수학식 3]
dYaw = (360°/3840) * dx
dPitch = (360°/3840) * dy
dRoll = 0°
이와 같이, 구의 회전값으로 변환된 값이 최종 흔들림 보정값이 된다. 프로세서(120)는 이와 같이 산출된 흔들림 보정값에 기초하여 VR 영상에서 시청 영역을 조정할 수 있다. 구체적으로, 프로세서(120)는 VR 영상에서 흔들림 보정값만큼 시청 영역을 이동시켜 시청 영역을 조정할 수 있다.
한편, 전술한 바와 같이, 프로세서(120)는 카메라의 흔들림 정보를 사용자의 시청 영역에 대응되는 영상의 3축 흔들림 정보(rx, ry, rθ)로 변환할 수도 있으므로, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 3축 흔들림 정보에 칼만 필터나 평균 필터 등을 적용하여 고주파 성분을 제거하여 3축 흔들림 정보를 스무딩하고, 스무딩 되기 전 3축 흔들림 정보와 스무딩된 3축 흔들림 정보의 차이값(dx, dy, dθ)을 산출할 수도 있다.
이에 따라, 프로세서(120)는 상기 산출된 차이값(dx, dy, dθ)을 구 좌표 상의 회전값(dYaw, dPitch, dRoll)으로 변환하여 3축 흔들림 보정값을 산출하고, 산출된 3축 흔들림 보정값을 이용하여 VR 영상에서 사용자의 시청 영역을 조정할 수도 있다.
이에 따라, 프로세서(120)는 VR 영상에서 조정된 시청 영역에 대응되는 영상을 디스플레이하도록 디스플레이(110)를 제어함으로써, 사용자의 시청 영역에 대응되는 영상의 흔들림을 저감시킬 수 있게 된다.
도 6은 본 개시의 일 실시 예에 따라 2축 흔들림 보정값이 VR 영상에 적용되는 개념을 설명하기 위한 도면이다. 도 6의 (a)에서 참조 부호 610, 620은 ERP 포맷의 전체 VR 영상 프레임을 나타내고, 참조 부호 611은 사용자의 시청 영역을 나타낸다. 디스플레이 장치(100) 사용자가 디스플레이 장치(100)를 착용하고 고개를 움직이지 않고 같은 방향을 바라보는 경우, 전체 VR 영상에서 사용자의 시청 영역(611)은 영상 프레임이 바뀌더라도 도시된 바와 같이 동일하다.
그러나, VR 영상을 촬영한 카메라가 흔들리는 등의 이유로 VR 영상 자체에 흔들림이 있는 경우, 시청 영역(611)이 동일하더라도 시청 영역(611)에 포함되어 있는 오브젝트(605)는 흔들림으로 인해 시청 영역(611) 내에서 디스플레이되는 위치가 달라질 수 있으며, 이는 사용자의 눈에 피로나 부담감을 유발하게 된다.
이때, 본 개시의 일 실시 예에 따르면, 시청 영역에 대응되는 영상의 흔들림 보정값만큼 시청 영역을 조정하여 조정된 시청 영역(622)에 대응되는 영상을 디스플레이하게 되므로, VR 영상을 촬영한 카메라의 흔들림으로 인해 VR 영상 자체에 흔들림이 있더라도 사용자는 흔들림이 없거나 흔들림이 저감된 영상을 시청할 수 있게 된다.
도 6의 (a)에 도시된 바와 같이, 프로세서(120)는 먼저 EPR 포맷의 영상을 이용하여 사용자의 시청 영역에 대응되는 영상의 x, y축 흔들림 보정값인 dx, dy를 산출한다. 그러나, 전술한 바와 같이, 사용자의 시청 영역은 기준점에 대한 요, 피치, 롤 값과 같이 구 좌표값으로 결정되므로, x, y축 흔들림 보정값인 dx, dy를 구좌표 상의 회전 값으로 변환하여 시청 영역을 조정하게 된다. 도 6의 (b)는 이와 같이 구좌표 상에서 변환된 회전 값만큼 시청 영역을 조정하여 조정된 시청 영역에 대응되는 영상을 디스플레이하는 개념을 도시하고 있다.
한편, 위와 같은 흔들림 보정값은 도 5d에서 보는 바와 같이 고주파 성분으로 그 크기가 충분히 작기 때문에, 카메라의 회전 움직임 및 직선 움직임 성분의 흔들림을 모두 구의 회전 값으로 근사화하는 것이 합리적일 수 있는 것이다.
한편, 도 6에서는 설명의 편의를 위해 2축 흔들림 보정값이 VR 영상에 적용되는 개념만을 도시하였으나, 3축 흔들림 보정값을 적용하는 경우, x축 흔들림 보정값(dx) 및 y축 흔들림 보정값(dy)에 더하여 회전 흔들림 보정값(dθ) 까지 이용하여 VR 영상의 시청 영역을 조정할 수 있음은 상기 도 6에 관한 설명을 이해한 당업자라면 쉽게 이해할 수 있을 것이다. 이 경우 또한 EPR 포맷의 영상을 이용하여 산출된 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값인 dx, dy, dθ 를, 구좌표 상의 회전 값인 dYaw, dPitch, dRoll 로 변환하여 시청 영역을 조정할 수 있다.
한편, 보통의 시야각을 갖는 일반 카메라 영상에 대해 회전 흔들림을 보정하는 경우, 트리밍(trimming) 또는 크롭핑(cropping) 과정에서 해상도의 손실이 발생될 수 있다. 그러나, VR 영상의 경우 360도 전경을 포함하므로, 회전 흔들림 정보를 이용하여 영상의 회전 흔들림을 보정하더라도, 즉, 시청 영역을 조정하더라도 해상도의 손실이 발생되지 않는다. 따라서, 3축 흔들림 정보를 이용하여 시청 영역을 조정함으로써 VR 영상의 흔들림을 보정하는 경우, 해상도 손실없이 보다 정밀한 흔들림 보정이 가능해 진다.
도 7은 본 개시의 다른 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 상세 블럭도이다. 도 7을 설명함에 있어, 전술한 것과 동일한 구성의 동일한 동작에 관해서는 중복되는 설명을 생략한다. 도 7에 따르면, 디스플레이 장치(100)는 디스플레이(110), 프로세서(120), 통신부(130), 입력부(140), 오디오 출력부(150), 저장부(160) 및 감지부(170)를 포함할 수 있다.
디스플레이(110)는 프로세서(120)의 제어를 받아 각종 UI를 디스플레이할 수 있다. 특히, 디스플레이(110)는 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이할 수 있다. 또한, 디스플레이(110)는 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이할 수도 있다.
통신부(130)는 근거리 통신 모듈(131), 무선 통신 모듈(132) 및 커넥터(133)를 포함할 수 있다. 근거리 통신 모듈(131)은 디스플레이 장치(100)와 주변의 전자 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(131)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈(132)은 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(130)는 상술한 다양한 근거리 통신 및 무선 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(133)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 표준에 따라 외부 장치와의 인터페이스를 제공하는 구성이다.
특히, 통신부(130)는 VR 영상을 촬영하는 360도 카메라를 포함한 외부의 단말과 상술한 각종 유, 무선 방식으로 연결되어 VR 영상 컨텐츠를 송, 수신할 수 있다. 또한, 통신부(130)는 외부 서버로부터 VR 영상 컨텐츠를 수신할 수도 있다. 이때, 통신부(130)는 스트리밍으로 VR 영상 컨텐츠를 수신할 수도 있다. 또한, 통신부(130)는 카메라에 포함된 센서를 통해 획득된 카메라의 흔들림 정보를 수신할 수도 있다.
또한, 실시 예에 따라 통신부(130)는 커넥터(133)를 통해 분리형 HMD와 연결되어 VR 영상 컨텐츠의 재생과 관련된 각종 제어 명령을 송, 수신할 수 있다. 또한, 분리형 HMD에 사용자의 고개 움직임을 감지하기 위한 각종 센서가 구비되어 있는 경우, 디스플레이 장치(100)는 통신부(130)를 통해 사용자의 시청 영역을 결정하기 위한 HMD의 센서 데이터를 수신할 수도 있다.
입력부(140)는 다양한 사용자 명령을 입력받아 프로세서(120)로 전달하기 위한 입력 수단으로써, 마이크(141), 조작부(142), 터치 입력부(143) 및 사용자 통신부(144)를 포함할 수 있다.
마이크(141)는 사용자의 음성을 입력받으며, 조작부(142)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(143)는 디스플레이(110)과 상호 레어어 구조를 이루는 터치 스크린으로 구현될 수 있다. 이 경우, 터치 입력부(143)는 디스플레이(110)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다. 사용자 입력부(144)는 적어도 하나의 주변 기기(미도시)로부터 디스플레이 장치(100)의 동작을 제어하기 위한 각종 유, 무선 신호를 입력받을 수 있다.
오디오 출력부(150)는 각종 컨텐츠의 오디오를 출력할 수 있다. 특히, 오디오 출력부(150)는 오디오 신호 처리된 오디오 데이터를 가청음 형태로 출력할 수 있다.
저장부(160)는 각종 프로그램 및 데이터를 저장할 수 있다. 특히 저장부(160)는 외부 단말이나 서버로부터 수신한 각종 VR 영상을 저장할 수 있다.
특히, 도 2 내지 도 7을 통해 설명되는 프로세서(120)의 동작이 소프트웨어 프로그램 형태로 구현된 경우, 이러한 소프트웨어 모듈을 저장할 수 있다. 예를 들어, 저장부(160)는 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 카메라 흔들림 판단 모듈(미도시), 카메라 흔들림 정보에 기초하여 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하는 흔들림 보정값 산출 모듈(미도시) 및 흔들림 보정값에 기초하여 시청 영역을 조정하고, 조정된 시청 영역에 대응되는 영상을 디스플레이하는 시청 영역 조정 모듈(미도시)를 포함할 수 있다. 이에 따라, 프로세서(120)는 저장부(160)에 저장된 상기 모듈을 읽어 도 2 내지 도 7을 통해 전술한 바와 같이 동작할 수 있다.
또한, 저장부(160)는 디스플레이 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 디스플레이 장치(100)가 턴 온(Turn On)되는 경우, 저장부(160)에서 읽혀지고, 컴파일되어 디스플레이 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
저장부(160)는 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 각종 비휘발성 메모리 및 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
움직임 센서(170)는 디스플레이 장치(100)의 움직임을 감지하기 위한 구성이다. 움직임 센서(170)는 지자기 센서(171), 가속도 센서(172) 및 자이로 센서(173) 중 적어도 하나의 센서를 포함할 수 있다. 움직임 센서(170)에 포함된 각종 센서는 이들 중 하나 또는 둘 이상의 조합을 통하여 디스플레이 장치(100)의 3차원 움직임을 감지할 수 있다.
지자기 센서(171)는 방위각(azimuth)을 측정하는 센서이다. 즉, 지자기 센서(171)는 지구의 남북 방향으로 형성되어 있는 자기장(magnetic field)을 감지하여 방위각을 측정하는 센서를 의미한다. 지자기 센서(171)는 3축 방향의 지자기를 감지할 수 있다. 지자기 센서(171)로 측정되는 북쪽 방향은 자북(magnetic north)일 수 있다. 다만, 지자기 센서(171)가 자북의 방향을 측정한다고 하더라도, 내부적인 연산을 거쳐 진북(true north)의 방향을 출력할 수도 있음은 물론이다.
가속도 센서(172)는 디스플레이 장치(100)의 공간상 움직임을 측정하는 센서이다. 즉, 가속도 센서(172)는 사용자가 디스플레이 장치(100)가 이동할 때 발생하는 가속도의 변화 및/또는 각가속도의 변화를 감지하는 센서를 의미한다. 가속도 센서(172)는 3축 방향의 가속도를 감지할 수 있다. 또한, 가속도 센서(172)는 디스플레이 장치(100)의 기울어짐을 감지할 수 있다.
자이로(gyro) 센서(173)는 디스플레이 장치(100)의 회전 각속도를 측정하는 관성 센서이다. 즉, 회전하는 물체가 가진 관성력을 이용하여 현재의 방향을 알 수 있는 센서를 의미한다. 자이로 센서(173)는 2축 방향의 회전 각속도를 측정할 수 있다.
특히, 움직임 센서(170)는 디스플레이 장치(100)가 사용자에게 착용된 상태에서 디스플레이 장치(100)가 움직이는 방향, 회전 각속도 등을 인식하여 그 데이터를 프로세서(120)로 제공할 수 있다. 이에 따라, 프로세서(120)는 디스플레이되는 VR 영상에서 사용자의 시청 방향을 결정할 수 있다.
한편, 도시하지는 않았지만, 디스플레이 장치(100)는 중력이 어느 방향으로 작용하는지 탐지하는 중력 센서(Gravity Sensor), 사용자의 시선 변화를 감지하는 동공 추적 센서, 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 감지하는 근접 센서 등을 더 포함할 수 있다.
한편, 프로세서(120)는 CPU(124), GPU(125), RAM(126) 및 ROM(127)을 포함할 수 있으며, CPU(124), GPU(125), RAM(126) 및 ROM(127)는 버스(121)를 통해 서로 연결될 수 있다.
CPU(124)는 저장부(160)를 액세스하여, 저장부(160)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(124)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(125)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(125)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(126)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(124)는 ROM(125)에 저장된 명령어에 따라 저장부(160)에 저장된 OS를 RAM(126)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(124)는 저장부(160)에 저장된 각종 프로그램을 RAM(126)에 복사하고, RAM(126)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(120)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수도 있다.
프로세서(120)는 입력부(140)를 통한 사용자 명령에 따라 저장부(160)에 저장된 VR 영상이나 통신부(130)를 통해 스트리밍으로 수신되는 VR 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 또한, VR 영상을 디스플레이할 때 프로세서(120)는 전술한 바와 같이 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하고, 산출된 흔들림 보정값에 따라 시청 영역을 조정하여 조정된 시청 영역에 대응되는 영상을 디스플레이함으로써, 디스플레이되는 VR 영상의 흔들림을 저감시킬 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 VR 영상을 촬영한 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용할 수도 있다. 구체적으로, VR 영상을 촬영하는 360도 카메라에 흔들림을 감지하는 센서가 포함된 경우가 있을 수 있다. 이 경우, 카메라는 VR 영상을 촬영하면서 발생하는 카메라의 흔들림을 감지하여, 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보와 같은 각종 흔들림 정보를 획득할 수 있다.
이 경우, 카메라는 촬영된 VR 영상뿐만 아니라 VR 영상 촬영 당시의 흔들림 정보를 제공할 수 있으므로, 프로세서(120)는 이와 같이 카메라로부터 제공된 카메라의 흔들림 정보를 통신부(130)를 통해 수신하고, 수신된 흔들림 정보를 이용하여도 2 내지 도 6을 통해 전술한 바와 같은 동작을 수행할 수 있다.
또한, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 VR 영상에 포함된 복수의 프레임을 분석한 결과와 카메라에 포함된 센서를 통해 획득된 카메라의 흔들림 정보를 함께 이용하여 카메라의 흔들림 정보를 판단할 수 있다.
예를 들어, 전술한 6가지 카메라의 움직임 정보 중 카메라에 포함된 센서를 통해 획득된 정보가 제공된 것은 이를 이용하고, 나머지는 VR 영상을 분석한 결과를 이용할 수 있을 것이다.
또한, 카메라에 포함된 센서를 통해 획득된 카메라의 움직임 정보가 제공되더라도 VR 영상 분석을 통해 획득한 카메라 움직임 정보와 평균하거나 또는 가중치를 달리 두고 조합하여 카메라의 흔들림 정보를 판단할 수도 있을 것이다.
이와 같이, 프로세서(130)가 VR 영상 분석 결과와 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 함께 이용하는 방법에 제한은 없다.
한편, 개시의 일 실시 예에 따르면, 프로세서(120)는 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 이에 따라, 흔들림 보정 모드가 실행되면 프로세서(120)는 흔들림 보정값을 산출할 수 있다.
즉, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 VR 영상을 촬영한 카메라의 흔들림 정보는 미리 VR 영상을 분석하여 저장부(160)에 저장할 수 있다. 다만, 흔들림 보정값은 사용자의 시청 영역이 결정되어야 산출될 수 있으므로, 사용자가 UI를 통해 흔들림 보정 모드를 실행하고 VR 영상을 시청하는 경우, 흔들림 보정값을 산출할 수 있다.
다만, 실시 예가 이에 한정되는 것은 아니며, 실시 예에 따라 디스플레이 장치(100)를 착용하고 VR 영상을 시청할 때, 카메라의 흔들림 정보와 시청 영역에 대응되는 영상의 흔들림 보정값을 산출할 수도 있을 것이다.
도 8의 (a) 및 (b)는 흔들림 보정 모드 실행 UI의 일 예를 나타내고 있다. 사용자은 VR 영상을 시청하기 전에, 도 8의 (a)와 같은 UI에서 Yes(810)를 선택하거나 도 8의 (b)와 같은 UI에서 흔들림 보정 모드가 실행되도록 설정함으로써, 디스플레이 장치(100)를 통해 VR 영상을 감상할 때, 흔들림이 저감된 영상을 볼 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 프로세서(120)는 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
흔들림 보정 정도 조정 UI를 통한 사용자 조작이 있는 경우, 프로세서(120)는 사용자의 시청 영역에 대응되는 영상의 흔들림 정보의 스무딩 강도를 조정하여 흔들림 보정 정도를 조절할 수 있다.
전술한 바와 같이, 칼만 필터 등과 같은 각종 필터를 적용하여 고주파 성분을 제거함으로써 2축 흔들림 정보 또는 3축 흔들림 정보를 스무딩하게 되므로, 프로세서(120)는 필터의 적용 강도를 조정하여 2축 흔들림 정보 또는 3축 흔들림 정보의 스무딩 강도를 조정할 수 있다.
예를 들어, 도 5d의 예에서 고주파 성분을 많이 제거하여 스무딩을 강하게 하는 경우, 스무딩 전의 x축 흔들림 정보와 스무딩된 x축 흔들림 정보의 차이값 및 스무딩 전의 y축 흔들림 정보와 스무딩된 y축 흔들림 정보의 차이값이 커지게 되므로, 각 흔들림 보정값(dx, dy)이 커지게 되며, 스무딩을 약하게 하는 경우에는 스무딩 전, 후로 차이값이 작아지게 되어 흔들림 보정값(dx, dy)이 작아지게 된다.
한편, 3축 흔들림 정보를 스무딩하는 경우라면, 스무딩을 강하게 하는 경우에는 스무딩 전, 후의, x축, y축 및 회전 흔들림 정보의 차이값이 각각 커지게 되므로, 흔들림 보정값(dx, dy, dθ)이 커지게 되며, 스무딩을 약하게 하는 경우에는 차이값이 작아지게 되어 흔들림 보정값(dx, dy, dθ)이 작아지게 될 것이다.
이에 따라, 프로세서(120)는 흔들림 보정값에 기초하여 사용자의 시청 영역을 조정하게 되므로, 영상의 흔들림 정보의 스무딩 강도 조정을 통해 흔들림 보정 정도가 조절될 수 있다.
도 8의 (c)는 흔들림 보정 정도 조정 UI의 일 예를 나타낸다. 사용자가 흔들림 보정 정도 조정 UI(830)을 조작하여 흔들림 보정 정도를 조정하는 경우, 프로세서(120)는 이에 대응되게 스무딩 강도를 조정하여 흔들림 보정 정도를 조정할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치의 영상 처리 방법을 나타내는 흐름도이다. 도 9에 따르면, 디스플레이 장치(100)는 VR 영상을 구성하는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단할 수 있다(S910).
구체적으로, 디스플레이 장치(100)는 복수의 영상 프레임 각각을 복수의 영역으로 구분하고, 복수의 영상 프레임에서 서로 대응되는 영역별로 특징점을 검출하며, 검출된 특징점 간의 변화량에 기초하여 카메라의 흔들림 정보를 판단할 수 있다.
또한, 디스플레이 장치(100)는 복수의 영상 프레임에 대한 분석결과와 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 함께 이용하여 흔들림 정보를 판단할 수도 있다.
여기서, 카메라의 흔들림 정보는 기설정된 방향을 기준으로 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보 중 적어도 하나를 포함할 수 있다.
이에 따라, 디스플레이 장치(100)는 카메라의 흔들림 정보에 기초하여 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출할 수 있다(S920).
구체적으로, 디스플레이 장치(100)는 시청 영역을 결정하는 디스플레이 장치의 모션 상태에 기초하여 카메라의 흔들림 정보를 시청 영역에 대응되는 영상의 흔들림 정보로 변환하고, 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 흔들림 보정값을 산출할 수 있다.
보다 구체적으로, 디스플레이 장치(100)는 영상의 흔들림 정보를 스무딩(smoothing)하고, 스무딩 전의 영상의 흔들림 정보와 스무딩된 영상의 흔들림 정보의 차이값을 산출하며, 산출된 차이값을 구의 회전 값으로 변환하여 흔들림 보정값을 산출할 수 있다.
이때, 영상의 흔들림 정보는 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 포함하는 2축 흔들림 정보 또는 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 포함하는 3축 흔들림 정보일 수 있다.
이에 따라, 디스플레이 장치(100)는 산출된 흔들림 보정값에 기초하여 시청 영역을 조정하고, VR 영상에서 조정된 시청 영역에 대응되는 영상을 디스플레이할 수 있다(S930).
구체적으로, 디스플레이 장치(100)는 VR 영상에서 시청 영역을 흔들림 보정값만큼 이동시켜 시청 영역을 조절하고, 이동된 시청 영역에 대응되는 영상을 디스플레이할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이할 수 있다. 이에 따라, 흔들림 보정 모드가 실행되면, 디스플레이 장치(100)는 흔들림 보정값을 산출할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이할 수 있다. 이에 따라, 디스플레이 장치(100)는 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 영상의 흔들림 정보의 스무딩 강도를 조정함으로써, VR 영상에서 흔들림 보정 정도를 조절할 수 있다.
이상과 같은 본 개시의 다양한 실시 예들에 따르면, 디스플레이 장치는 흔들림이 저감된 VR(Virtual Reality) 영상을 디스플레이할 수 있게 된다.
구체적으로, 본 개시의 다양한 실시 예들에 따르면, ERP 포맷의 입력 VR 영상을 변환하는 것이 아니라 그대로 사용할 수 있어, 스트리밍으로 VR 영상을 디스플레이하는 경우에도 흔들림이 저감된 영상을 디스플레이할 수 있다.
또한, VR 영상을 촬영한 카메라의 회전 움직임뿐만 아니라 x, y, z 축 방향의 직선형 움직임까지 고려하여 흔들림을 저감시킬 수 있다.
또한, 입력 VR 영상을 변환하는 것이 아니므로, 사용자가 흔들림 보정 수준을 조절할 수 있으며, 흔들림 보정 기능의 On/Off가 가능해진다.
한편, 상술한 다양한 실시 예들에 따른 디스플레이 장치의 프로세서의 동작이나 디스플레이 장치의 영상 처리 방법들은 소프트웨어로 생성되어 디스플레이 장치에 탑재될 수 있다.
예를 들어, VR 영상을 구성하는 복수의 영상 프레임을 분석하여 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 단계, 카메라의 흔들림 정보에 기초하여 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 보정값을 산출하는 단계 및 흔들림 보정값에 기초하여 시청 영역을 조절하고, VR 영상에서 조절된 시청 영역에 대응되는 영상을 디스플레이하는 단계를 포함하는 디스플레이 장치의 영상 처리 방법을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 설치될 수 있다.
여기서, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 미들웨어 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 디스플레이 120: 프로세서

Claims (20)

  1. 디스플레이 장치의 영상 처리 방법에 있어서,
    VR 영상을 구성하는 복수의 영상 프레임을 각각 복수의 영역으로 구분하고, 각각의 영상 프레임에서 각각의 영역에 대응하는 특징 점을 검출하는 단계;
    상기 복수의 영상 프레임 중 인접한 복수의 영상 프레임 간의 상기 검출된 특징 점의 변화량을 식별하고, 상기 식별된 변화 량에 기초하여 상기 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하는 단계;
    상기 카메라의 흔들림 정보에 기초하여 상기 흔들림 정보를 상기 VR 영상에서 사용자의 시청 영역에 대응되는 영상의 흔들림 정보로 변환하여, 상기 시청 영역에 대응하는 흔들림 보정값을 산출하는 단계; 및
    상기 흔들림 보정값에 기초하여 상기 시청 영역을 조정하고, 상기 VR 영상에서 상기 조정된 시청 영역에 대응되는 영상을 디스플레이하는 단계;를 포함하고,
    상기 흔들림 보정값을 산출하는 단계는,
    상기 영상의 흔들림 정보를 스무딩(smoothing)하는 단계;
    상기 영상의 흔들림 정보와 상기 스무딩 된 영상의 흔들림 정보의 차이값을 산출하는 단계; 및
    상기 차이값을 구의 회전 값으로 변환하여 상기 흔들림 보정값을 산출하는 단계;를 포함하는 영상 처리 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 카메라의 흔들림 정보는,
    기설정된 방향을 기준으로 상기 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 흔들림 보정값을 산출하는 단계는,
    상기 시청 영역을 결정하는 상기 디스플레이 장치의 모션 상태 기초하여 상기 카메라의 흔들림 정보를 상기 시청 영역에 대응되는 영상의 흔들림 정보로 변환하는 단계; 및
    상기 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 상기 흔들림 보정값을 산출하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 삭제
  6. 제 4 항에 있어서,
    상기 영상의 흔들림 정보는,
    상기 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 포함하는 2축 흔들림 정보 또는 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 포함하는 3축 흔들림 정보인 것을 특징으로 하는 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 디스플레이하는 단계는,
    상기 VR 영상에서 상기 시청 영역을 상기 흔들림 보정값만큼 이동시켜 상기 시청 영역을 조절하고, 상기 이동된 시청 영역에 대응되는 영상을 디스플레이하는 것을 특징으로 하는 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 흔들림 정보를 판단하는 단계는,
    상기 복수의 영상 프레임에 대한 분석결과 및 상기 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용하여 상기 흔들림 정보를 판단하는 것을 특징으로 하는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하는 단계;를 더 포함하고,
    상기 흔들림 보정값을 산출하는 단계는,
    상기 흔들림 보정 모드가 실행되면, 상기 흔들림 보정값을 산출하는 것을 특징으로 하는 영상 처리 방법.
  10. 제 1 항에 있어서,
    상기 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하는 단계;를 더 포함하고,
    상기 스무딩하는 단계는,
    상기 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 상기 영상의 흔들림 정보의 스무딩 강도를 조정하는 것을 특징으로 하는 영상 처리 방법.
  11. 디스플레이 장치에 있어서,
    VR 영상에서 사용자 시청 영역에 대응되는 영상을 디스플레이하는 디스플레이; 및
    상기 VR 영상을 구성하는 복수의 영상 프레임을 각각 복수의 영역으로 구분하고, 각각의 영상 프레임에서 각각의 영역에 대응하는 특징 점을 검출하고, 상기 복수의 영상 프레임 중 인접한 복수의 영상 프레임 간의 상기 검출된 특징 점의 변화량을 식별하고, 상기 식별된 변화 량에 기초하여 상기 VR 영상을 촬영한 카메라의 흔들림 정보를 판단하고, 상기 카메라의 흔들림 정보에 기초하여 상기 흔들림 정보를 상기 시청 영역에 대응되는 영상의 흔들림 정보로 변환하여, 상기 시청 영역에 대응하는 흔들림 보정값을 산출하고, 상기 흔들림 보정값에 기초하여 상기 시청 영역을 조정하며, 상기 VR 영상에서 상기 조정된 시청 영역에 대응되는 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 영상의 흔들림 정보를 스무딩(smoothing)하고, 상기 영상의 흔들림 정보와 상기 스무딩된 영상의 흔들림 정보의 차이값을 산출하며, 상기 차이값을 구의 회전 값으로 변환하여 상기 흔들림 보정값을 산출하는 것을 특징으로 하는 디스플레이 장치.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 카메라의 흔들림 정보는,
    기설정된 방향을 기준으로 상기 카메라의 x축 방향의 움직임 정보, y축 방향의 움직임 정보, z축 방향의 움직임 정보, 요(yaw) 회전 움직임 정보, 피치(pitch) 회전 움직임 정보 및 롤(roll) 회전 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  14. 제 11 항에 있어서,
    상기 프로세서는,
    상기 시청 영역을 결정하는 상기 디스플레이 장치의 모션 상태에 기초하여 상기 카메라의 흔들림 정보를 상기 시청 영역에 대응되는 영상의 흔들림 정보로 변환하고, 상기 시청 영역에 대응되는 영상의 흔들림 정보를 이용하여 상기 흔들림 보정값을 산출하는 것을 특징으로 하는 디스플레이 장치.
  15. 삭제
  16. 제 14 항에 있어서,
    상기 영상의 흔들림 정보는,
    상기 시청 영역에 대응되는 영상의 x축 흔들림 정보 및 y축 흔들림 정보를 포함하는 2축 흔들림 정보 또는 상기 시청 영역에 대응되는 영상의 x축 흔들림 정보, y축 흔들림 정보 및 회전 흔들림 정보를 포함하는 3축 흔들림 정보인 것을 특징으로 하는 디스플레이 장치.
  17. 제 11 항에 있어서,
    상기 프로세서는,
    상기 VR 영상에서 상기 시청 영역을 상기 흔들림 보정값만큼 이동시켜 상기 시청 영역을 조절하고, 상기 이동된 시청 영역에 대응되는 영상을 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
  18. 제 11 항에 있어서,
    상기 프로세서는,
    상기 복수의 영상 프레임에 대한 분석결과 및 상기 카메라에 포함된 센서를 통해 획득된 흔들림 정보를 이용하여 상기 흔들림 정보를 판단하는 것을 특징으로 하는 디스플레이 장치.
  19. 제 11 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시청 영역에 대응되는 영상의 흔들림을 보정하는 흔들림 보정 모드 실행을 위한 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 모드가 실행되면, 상기 흔들림 보정값을 산출하는 것을 특징으로 하는 디스플레이 장치.
  20. 제 11 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시청 영역에 대응되는 영상의 흔들림 보정 정도를 조절하는 흔들림 보정 정도 조정 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 흔들림 보정 정도 조정 UI를 통한 사용자 조작에 따라 상기 영상의 흔들림 정보의 스무딩 강도를 조정하는 것을 특징으로 하는 디스플레이 장치.
KR1020160136528A 2016-10-20 2016-10-20 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 KR102612988B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160136528A KR102612988B1 (ko) 2016-10-20 2016-10-20 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
PCT/KR2017/011676 WO2018074893A1 (ko) 2016-10-20 2017-10-20 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
US16/342,047 US10915993B2 (en) 2016-10-20 2017-10-20 Display apparatus and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160136528A KR102612988B1 (ko) 2016-10-20 2016-10-20 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20180043609A KR20180043609A (ko) 2018-04-30
KR102612988B1 true KR102612988B1 (ko) 2023-12-12

Family

ID=62018837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160136528A KR102612988B1 (ko) 2016-10-20 2016-10-20 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법

Country Status (3)

Country Link
US (1) US10915993B2 (ko)
KR (1) KR102612988B1 (ko)
WO (1) WO2018074893A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) * 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
WO2019160962A1 (en) 2018-02-13 2019-08-22 Frank Werblin Methods and apparatus for contrast sensitivity compensation
KR102155102B1 (ko) * 2019-01-08 2020-09-11 주식회사 원이멀스 Ｖｒ 체험 공간에서 사용자의 불편감을 해소하기 위한 ｖｒ 컨텐츠 생성 시스템 및 방법
JP7222113B2 (ja) * 2019-10-29 2023-02-14 富士フイルム株式会社 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
US20230109911A1 (en) * 2020-03-09 2023-04-13 Sony Group Corporation Image processing apparatus, image processing method, and program
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113556464B (zh) * 2021-05-24 2023-02-03 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293362A1 (en) * 2012-11-13 2015-10-15 Sony Corporation Image display apparatus, image display method, mobile apparatus, image display system, and computer program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233882A (ja) 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ装置
JP4446041B2 (ja) * 2003-10-02 2010-04-07 株式会社岩根研究所 カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置
JP4845817B2 (ja) * 2007-06-14 2011-12-28 富士フイルム株式会社 撮像装置，レンズユニット，撮像方法及び制御プログラム
KR101284797B1 (ko) * 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US20100103104A1 (en) 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
KR101528860B1 (ko) * 2008-12-11 2015-06-15 삼성전자주식회사 디지털 촬영 장치의 흔들림 보정 방법 및 장치
KR101071352B1 (ko) * 2009-08-31 2011-10-07 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
JP6011072B2 (ja) 2012-06-29 2016-10-19 株式会社ニコン 制御装置、及びプログラム
JP6332996B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 動画像処理装置および撮像装置、動画像処理方法
US20150022677A1 (en) 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US20160191945A1 (en) 2014-12-24 2016-06-30 Sony Corporation Method and system for processing video content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293362A1 (en) * 2012-11-13 2015-10-15 Sony Corporation Image display apparatus, image display method, mobile apparatus, image display system, and computer program

Also Published As

Publication number Publication date
WO2018074893A1 (ko) 2018-04-26
US20190251672A1 (en) 2019-08-15
KR20180043609A (ko) 2018-04-30
US10915993B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
KR102612988B1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
US10955913B2 (en) Adjusting content display orientation on a screen based on user orientation
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
US9818230B2 (en) Environmental interrupt in a head-mounted display and utilization of non field of view real estate
KR102491443B1 (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
US20160321843A1 (en) Display control device, display control method, and program
KR20180073327A (ko) 영상 표시 방법, 저장 매체 및 전자 장치
US20180033211A1 (en) Personal Electronic Device with a Display System
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP2013258614A (ja) 画像生成装置および画像生成方法
US11845007B2 (en) Perspective rotation method and apparatus, device, and storage medium
JP7005161B2 (ja) 電子機器及びその制御方法
US9965029B2 (en) Information processing apparatus, information processing method, and program
US11317072B2 (en) Display apparatus and server, and control methods thereof
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
JP2019211864A (ja) コンピュータプログラム、情報処理装置および情報処理方法
US11366318B2 (en) Electronic device and control method thereof
WO2018192455A1 (zh) 一种生成字幕的方法及装置
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
CN108108019B (zh) 虚拟现实设备及其显示方法
CN118318219A (en) Augmented reality display with eye image stabilization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant