KR102261993B1 - 가상 현실 영상 제공 방법 - Google Patents

가상 현실 영상 제공 방법 Download PDF

Info

Publication number
KR102261993B1
KR102261993B1 KR1020190101761A KR20190101761A KR102261993B1 KR 102261993 B1 KR102261993 B1 KR 102261993B1 KR 1020190101761 A KR1020190101761 A KR 1020190101761A KR 20190101761 A KR20190101761 A KR 20190101761A KR 102261993 B1 KR102261993 B1 KR 102261993B1
Authority
KR
South Korea
Prior art keywords
hmd device
server
virtual reality
rotation speed
control signal
Prior art date
Application number
KR1020190101761A
Other languages
English (en)
Other versions
KR20210022354A (ko
Inventor
민진석
임경빈
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190101761A priority Critical patent/KR102261993B1/ko
Publication of KR20210022354A publication Critical patent/KR20210022354A/ko
Application granted granted Critical
Publication of KR102261993B1 publication Critical patent/KR102261993B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

가상 현실 영상 제공 방법이 개시된다. 서버에서 수행되는 가상 현실 영상 제공 방법은, HMD 장치로부터 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하는 단계, 센싱 정보에 기초하여 HMD 장치의 회전 속도를 계산하는 단계, 및 회전 속도가 임계 값 이상인 경우, HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송하는 단계를 포함하고, HMD 장치는 스킵 제어 신호의 수신에 응답하여, HMD 장치의 위치 변화에 무관하게 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.

Description

가상 현실 영상 제공 방법 {METHOD FOR PROVIDING VIRTUAL REALITY IMAGE}
실시예들은 가상 현실 영상 제공 기술에 관한 것이다.
ATW(Asynchronous Time Warp) 기술은 HMD(Head mounted display) 장치를 착용한 사용자에 의한 HMD 장치의 움직임이 감지된 경우, 전체의 렌더링된 이미지 중 HMD 장치에 출력되는 이미지에 대해 약간 움직임을 줌으로써, 사용자의 머리 움직임의 변화에 맞게 출력되는 이미지를 조정하는 기술이다. 또한, MTP 딜레이는 사용자가 HMD 장치를 착용하고, 사용자의 움직임이 발생되었을 때, 해당 움직임이 HMD 디스플레이에 반영되어 가상 현실 영상이 출력되기까지의 시간을 의미한다.
사용자의 머리의 움직임이 화각보다 작은 경우에, 사용자가 느끼는 가상 현실 영상의 MTP(Motion to Photon) 딜레이는 미미할 수 있다. 그러나 사용자의 움직임이 화각보다 큰 경우가 자주 발생하거나 오랫동안 지속된다면, 사용자가 느끼는 MTP 딜레이가 길어질 수 있다. MTP 딜레이가 길어지면 사용자가 느끼기에 가상 현실 영상에 대한 현실감이 떨어질 수 있다. 또한, 심한 경우에 사용자는 가상 현실 영상으로 인한 멀미 증상을 느끼게 될 수도 있다.
일 실시예에 따른 서버에서 수행되는 가상 현실 영상 제공 방법은 HMD(head mounted display) 장치로부터 상기 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하는 단계; 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하는 단계; 및 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵(skip) 제어 신호를 전송하는 단계를 포함하고, 상기 HMD 장치는, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른 가상 현실 영상 제공 방법은 상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하는 단계를 더 포함할 수 있다.
상기 센싱 정보는, 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함할 수 있다.
상기 HMD 장치의 회전 속도를 계산하는 단계는, 상기 HMD 장치의 이전 위치, 이전 시야 방향, 상기 현재 위치 및 상기 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 상기 HMD 장치의 각속도를 계산하는 단계를 포함할 수 있다.
상기 임계 값은, 화각(FOV:field of view)에 기초하여 결정되고, 상기 회전 속도가 임계 값 이상인 경우는, 상기 HMD 장치의 각속도가 상기 화각보다 크거나 같은 경우를 포함하고, 상기 회전 속도가 임계 값 미만인 경우는, 상기 HMD 장치의 각속도가 상기 화각보다 작은 경우를 포함할 수 있다.
상기 스킵 제어 신호를 전송하는 단계는, 상기 회전 속도에 기초하여 미리 정해진 특정 시간 후의 상기 HMD 장치의 회전 각도를 추정하고, 상기 회전 각도가 상기 화각보다 큰 경우, 상기 HMD 장치에 상기 스킵 제어 신호를 전송하는 단계를 포함할 수 있다.
상기 스킵 제어 신호를 전송하는 단계는, 상기 회전 속도가 상기 임계 값 이상인 구간에서, 상기 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 HMD 장치에서 수행되는 가상 현실 영상 제공 방법은 HMD 장치의 센서를 통해 센싱 정보를 센싱하는 단계; 상기 센싱 정보를 서버에 전송하는 단계; 및 상기 전송에 응답하여 상기 서버로부터 스킵 제어 신호를 수신하는 경우, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력하는 단계를 포함하고, 상기 서버는, 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고, 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송할 수 있다.
상기 서버는, 상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송할 수 있다.
일 실시예에 따른 가상 현실 영상 제공 방법은 상기 스킵 제어 신호를 수신하지 않는 경우, 상기 서버로부터 수신한 가상 현실 영상을 출력하는 단계를 더 포함할 수 있다.
상기 센싱 정보는, 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함할 수 있다.
일 실시예에 따른 가상 현실 영상 제공 방법을 수행하는 서버는 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 서버가, HMD 장치로부터 상기 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하고, 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고, 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵(skip) 제어 신호를 전송하도록 상기 서버를 제어하고, 상기 HMD 장치는, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.
상기 프로세서는 상기 서버가 상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하도록 상기 서버를 제어할 수 있다.
상기 센싱 정보는, 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함할 수 있다.
상기 프로세서는 상기 서버가, 상기 HMD 장치의 이전 위치, 이전 시야 방향, 상기 현재 위치 및 상기 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 상기 HMD 장치의 각속도를 계산하도록 상기 서버를 제어할 수 있다.
상기 임계 값은, 상기 화각에 기초하여 결정되고, 상기 회전 속도가 임계 값 이상인 경우는, 상기 HMD 장치의 각속도가 상기 화각보다 크거나 같은 경우를 포함하고, 상기 회전 속도가 임계 값 미만인 경우는, 상기 HMD 장치의 각속도가 상기 화각보다 작은 경우를 포함할 수 있다.
상기 프로세서는 상기 서버가, 상기 회전 속도에 기초하여 미리 정해진 특정 시간 후의 상기 HMD 장치의 회전 각도를 추정하고, 상기 회전 각도가 상기 화각보다 큰 경우, 상기 HMD 장치에 상기 스킵 제어 신호를 전송하도록 상기 서버를 제어할 수 있다.
상기 프로세서는 상기 서버가, 상기 회전 속도가 상기 임계 값 이상인 구간에서, 상기 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정하도록 상기 서버를 제어할 수 있다.
가상 현실 영상 제공 방법을 수행하는 HMD 장치에 있어서, 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 HMD 장치가, HMD 장치의 센서를 통해 센싱 정보를 센싱하고, 상기 센싱 정보를 서버에 전송하고, 상기 전송에 응답하여 상기 서버로부터 스킵 제어 신호를 수신하는 경우, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력하도록 상기 HMD 장치를 제어하고, 상기 서버는, 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고, 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송할 수 있다.
상기 서버는, 상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송할 수 있다.
상기 프로세서는 상기 HMD 장치가, 상기 스킵 제어 신호를 수신하지 않는 경우, 상기 서버로부터 수신한 가상 현실 영상을 출력하도록 상기 HMD 장치를 제어할 수 있다.
상기 센싱 정보는, 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함할 수 있다.
일 실시예에 따르면 HMD 장치를 착용한 사용자가 일정 속도 이상으로 HMD 장치를 회전시킬 때, 사용자가 영상을 인식하지 못하는 착시현상을 이용하여 보다 효율적으로 가상 현실 영상의 전송 기능을 제공할 수 있다.
일 실시예에 따르면 영상의 렌더링, 인코딩 및 스트리밍을 효율적으로 처리하여 서버 CPU(Central Processing Unit), GPU(Graphics Processing Unit), 메모리 리소스의 사용량을 감소시킬 수 있다.
일 실시예에 따르면 5G(5th Generation) 환경에서 가상 현실 영상을 제공하는 데 있어서 불필요한 렌더링 및 인코딩으로 인한 딜레이를 감소시킬 수 있다.
일 실시예에 따르면 불필요한 렌더링 및 인코딩으로 인한 딜레이를 감소시킴으로써 가상 현실 영상 제공의 지연시간을 감소시킬 수 있다.
일 실시예에 따르면 서버 기반 보정 솔루션으로 HMD 장치가 회전하는 각속도가 화각 이상일 경우, 사용자의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상이 아닌 이전의 가상 현실 영상을 제공하여 사용자가 MTP 딜레이를 감지하지 않도록 할 수 있다.
도 1은 일 실시예에 따른 가상 현실 영상 제공 시스템의 전체적인 개요를 도시하는 도면이다.
도 2는 HMD 장치를 통해 사용자가 제공받는 화면의 일례를 도시하는 도면이다.
도 3은 일 실시예에 따른 서버에서 수행되는 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 HMD 장치에서 수행되는 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 HMD 장치의 각속도와 화각을 비교하는 일례를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 가상 현실 영상 제공 방법에 따라 HMD 장치에서 출력되는 영상의 일례를 도시하는 도면이다.
도 8은 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 9는 일 실시예에 따른 HMD 장치의 구성을 도시하는 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 가상 현실 영상 제공 시스템의 전체적인 개요를 도시하는 도면이다.
가상 현실 영상 제공 시스템은 5G 망의 저지연 특성을 이용한 클라우드 VR(Virtual Reality) 서비스를 원활히 제공하기 위한 기술이 될 수 있다. 가상 현실 영상 제공 방법은 HMD 장치(130)를 착용한 사용자의 머리 회전을 감지하여, 머리 회전의 속도가 화각(또는 시야각) 이상일 경우, HMD 장치(130)를 통해 이전 버퍼에 쌓인 이미지를 출력시킬 수 있다. 이를 통해 가상 현실 영상 제공 방법은 렌더링, 인코딩 및 스트리밍에 필요한 리소스를 절감시킬 수 있다. 또한, 가상 현실 제공 방법은 사용자가 HMD 장치(130)를 통해 가상 현실 영상을 제공받을 때 느낄 수 있는 피로함이나 멀미 증상 등을 완화시킬 수도 있다.
도 1을 참조하면 가상 현실 영상 제공 시스템은 서버(110), 네트워크(120) 및 HMD 장치(130)를 포함할 수 있다.
서버(110)는 네트워크(120)를 통해 HMD 장치(130)로부터 센싱 정보를 수신할 수 있다. 또한, 서버(110)는 네트워크(120)를 통해 HMD 장치(130)에 스킵 제어 신호와 가상 현실 영상을 전송할 수 있다.
일 실시예에서 HMD 장치(130)는 사용자의 머리에 착용될 수 있다. 또한, HMD 장치(130)의 움직임은 사용자의 움직임이나 머리 회전을 통해서 발생될 수 있다.
서버(110)는 센싱 정보에 기초하여 HMD 장치(130)가 회전하는 각속도와 화각에 대한 비교를 수행할 수 있다. 각속도가 화각보다 크거나 같은 경우, 서버(110)는 HMD 장치(130)에 스킵 제어 신호를 전송할 수 있다. 스킵 제어 신호를 수신한 HMD 장치(130)는 스킵 제어 신호를 수신하기 전에 수신한 가상 현실 영상을 출력할 수 있다. 각속도가 화각보다 작은 경우, 서버(110)는 HMD 장치(130)를 착용한 사용자의 시야와 머리 위치에 대응하는 가상 현실 영상을 전송할 수 있고, HMD 장치(130)는 수신한 가상 현실 영상을 출력할 수 있다.
도 2는 HMD 장치를 통해 사용자가 제공받는 화면의 일례를 도시하는 도면이다.
도 2를 참조하면, HMD 장치를 착용한 사용자(210)는 HMD 장치를 통해 가상 현실 영상의 전체 화면 영역(360ºＸ180º, 약 55.7Mbps)(220 및 230) 중에서 사용자의 화각에 대응하는 영역(240)에 기초하여 실제 출력되는 영상(250)을 제공받을 수 있다.
일 실시예에서, 가상 현실 영상의 전체 화면 영역은 세로(220)로는 180º이고, 가로(230)로는 360º일 수 있다. 사용자(210)의 화각(240)은 가로와 세로 모두 100º로 설정될 수 있다. 사용자(210)의 화각(240)에 기초하여 사용자(210)에게 HMD 장치를 통해 제공되는 화면은 참조 번호(250)가 될 수 있다. 즉, 사용자(210) 머리의 회전이나 움직임에 따라, 가상 현실 영상의 전체 화면 영역(220 및 230) 중에서 HMD 장치를 통해 출력되는 화면(100ºＸ100º, 약 7.3Mbps)(250)이 결정될 수 있다.
도 3은 일 실시예에 따른 서버에서 수행되는 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 서버는 단계(310)에서 HMD 장치로부터 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신할 수 있다. 일 실시예에서 센싱 정보는 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 HMD 장치의 센서를 통해 센싱된 정보를 포함할 수 있다. 가속도 센서는 통해 HMD 장치를 착용한 사용자에 의해 발생되는 움직임의 속도를 센싱할 수 있고, 지자기 센서는 움직임의 진행 방향 또는 방위를 센싱할 수 있다. 관성 센서는 HMD 장치의 움직임의 상태 등을 감지할 수 있고, 자이로 센서는 HMD 장치의 움직임에 따른 각도를 센싱할 수 있다.
단계(320)에서 서버는 센싱 정보에 기초하여 HMD 장치의 회전 속도를 계산할 수 있다. 서버는 HMD 장치의 이전 위치, 이전 시야 방향, 현재 위치 및 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 HMD 장치의 각속도를 계산할 수 있다. 즉, 즉 서버는 HMD 장치를 착용한 사용자가 머리 회전을 하기 이전의 위치 및 시야 방향과, HMD 장치를 착용한 사용자가 머리 회전을 한 후의 위치 및 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 사용자의 머리 회전에 따른 HMD 장치의 각속도를 계산할 수 있다.
단계(330)에서 서버가 계산한 회전 속도가 임계 값 이상인 것으로 확인된 경우, 서버는 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송할 수 있다. 일 실시예에서 서버는, 회전 속도에 기초하여 미리 정해진 특정 시간 후의 HMD 장치의 회전 각도를 추정하고, 회전 각도가 화각보다 큰 경우, HMD 장치에 스킵 제어 신호를 전송할 수 있다. 서버는 회전 속도가 임계 값 이상인 구간에서, 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정할 수 있다. 또한, 스킵 제어 신호를 수신한 HMD 장치는, HMD 장치의 위치 변화에 무관하게 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.
다른 실시예에서 회전 속도가 임계 값 미만인 경우, 서버는 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송할 수 있다.
여기서 임계 값은 화각에 기초하여 결정될 수 있다. 위 실시예에서 회전 속도가 임계 값 이상인 경우는 HMD 장치의 각속도가 화각보다 크거나 같은 경우를 포함할 수 있다. 반면에 회전 속도가 임계 값 미만인 경우는 HMD 장치의 각속도가 화각보다 작은 경우를 포함할 수 있다.
도 4는 일 실시예에 따른 HMD 장치에서 수행되는 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면 단계(410)에서 HMD 장치는 HMD 장치의 센서를 통해 센싱 정보를 센싱할 수 있다. HMD 장치는 단계(420)에서 HMD 장치의 이전 위치, 이전 시야 방향, 현재 위치 및 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보를 서버에 전송할 수 있다.
센싱 정보를 수신한 서버는 센싱 정보에 기초하여 HMD 장치에 스킵 제어 신호를 전송하거나 또는, HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송할 수 있다. 일 실시예에서, 서버는 센싱 정보에 기초하여 HMD 장치의 회전 속도를 계산하고, 회전 속도가 임계 값 이상인 경우, HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송할 수 있다.
단계(430)에서 HMD 장치가 서버로부터 스킵 제어 신호를 수신하는 경우, 스킵 제어 신호의 수신에 응답하여, HMD 장치의 위치 변화에 무관하게 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.
다른 실시예에서 회전 속도가 임계 값 미만인 경우, 서버는 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송할 수 있다. 이때, HMD 장치는 서버로부터 수신한 가상 현실 영상을 출력할 수 있다.
도 5는 일 실시예에 따른 가상 현실 영상 제공 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면 HMD 장치(505)는 센싱 정보를 서버(510)에 전송하고, 서버(510)는 센싱 정보에 기초하여 HMD 장치(505) 가상 현실 영상을 제공할 수 있다.
일 실시예에 따르면 단계(515)에서 HMD 장치(505)는 HMD 장치(505)의 센서를 통해 센싱 정보를 센싱할 수 있다. 여기서, HMD 장치(505)의 센서는 가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함할 수 있다.
단계(520)에서 HMD 장치(505)는 서버(510)에 센싱 정보를 전송할 수 있다. 서버(510)는 단계(525)에서, 센싱 정보에 기초하여 HMD 장치(505)의 회전 속도를 계산할 수 있다. 서버(510)는 회전 속도에 기초하여 HMD 장치(505)에 스킵 제어 신호를 전송할지 여부를 결정할 수 있다.
회전 속도가 임계 값 이상인 경우, 서버(510)는 단계(530)에서, HMD 장치(505)에 스킵 제어 신호를 전송할 수 있다. 여기서 임계 값은 화각에 기초하여 결정될 수 있다. 즉, HMD 장치(505)의 각속도가 화각보다 크거나 같은 경우, 서버(510)는 HMD 장치(505)에 스킵 제어 신호를 전송할 수 있다. 다른 실시예에서 HMD 장치(505)의 각속도가 화각보다 작은 경우, 서버(510)는 HMD 장치에 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 전송할 수 있다.
서버(510)로부터 스킵 제어 신호를 수신한 HMD 장치(505)는 단계(535)에서 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력할 수 있다.
도 6은 일 실시예에 따른 HMD 장치의 각속도와 화각을 비교하는 일례를 설명하기 위한 도면이다.
도 6을 참조하면, 참조 번호(610)은 HMD 장치를 착용한 사용자의 머리 회전이 발생하기 이전의 사용자의 시야가 될 수 있다. 일 실시예에서 사용자의 화각은 100º가 될 수 있다. 참조 번호(620)는 참조 번호(610)에서 약 50º/s에 대응하는 각속도의 머리 회전이 발생한 후의 사용자의 시야가 될 수 있다.
일 실시예에 따르면 참조 번호(620)에서 HMD 장치의 각속도는 화각보다 작기 때문에, HMD 장치는 스킵되는 부분 없이 사용자의 시야에 대응하는 모든 영역에 대한 가상 현실 영상을 서버로부터 제공받아 출력할 수 있다.
참조 번호(630)은 참조 번호(610)에서 약 150º/s에 대응하는 각속도의 머리 회전이 발생한 후의 사용자의 시야가 될 수 있다.
참조 번호(630)에서 HMD 장치의 각속도는 화각보다 크기 때문에, HMD 장치는 각속도가 화각보다 큰 구간에 대해서는 스킵 제어 신호를 수신할 수 있다. 이 경우, HMD 장치는, 스킵 제어 신호를 수신하기 전의 가상 현실 영상을 출력할 수 있다. 또한, HMD 장치는 사용자의 현재 시야 및 현재 방향에 대응하는 가상 현실 영상을 서버로부터 수신하여 출력할 수 있다.
도 7은 일 실시예에 따른 가상 현실 영상 제공 방법에 따라 HMD 장치에서 출력되는 영상의 일례를 도시하는 도면이다.
도 7을 참조하면, 참조 번호(710 및 720)은 동일한 패킷이 중복되어 출력되는 것을 알 수 있다. HMD 장치의 회전 속도가 화각보다 크거나 같은 경우, HMD 장치는 이전에 인코딩된 패킷을 그대로 출력할 수 있다. HMD 장치의 회전 속도가 화각보다 크거나 같은 경우에는, 사용자가 가상 현실 영상을 모두 인식하지 못할 만큼의 속도로 HMD 장치가 회전되고 있기 때문에, HMD 장치가 이전에 인코딩된 패킷을 그대로 출력하여도, 사용자는 패킷의 중복을 인식하지 못할 수 있다. 즉, HMD 장치의 회전 속도가 화각보다 크거나 같은 구간이 있을 경우에, 서버는 일부 구간에 대해서 패킷의 인코딩 및 렌더링을 수행하지 않을 수 있고, 이를 통해 불필요한 인코딩, 렌더링 및 스트리밍 리소스를 감소시킬 수 있다.
도 8은 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 8을 참조하면, 서버(800)는 본 명세서에서 설명한 서버에 대응할 수 있다. 서버(800)는 통신 인터페이스(810), 프로세서(820) 및 메모리(830)를 포함할 수 있다. 또한, 실시예에 따라 서버(800)는 데이터베이스(840)를 더 포함할 수도 있다.
메모리(830)는 프로세서(820)에 연결되고, 프로세서(820)에 의해 실행가능한 인스트럭션들, 프로세서(820)가 연산할 데이터 또는 프로세서(820)에 의해 처리된 데이터를 저장할 수 있다. 메모리(830)는, 예를 들어 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신 인터페이스(810)는 외부 장치(예를 들어, HMD 장치)와 통신하기 위한 인터페이스를 제공한다. 통신 인터페이스(810)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
데이터베이스(840)는 서버(800)가 가상 현실 영상 제공 방법을 수행하는 데 있어서 필요한 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(840)는 HMD 장치에 제공될 가상 현실 영상 등을 저장할 수 있다.
프로세서(820)는 서버(800) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행하고, 서버(800)의 전체적인 동작을 제어할 수 있다. 프로세서(820)는 도 3 내지 도 5에서 설명된 서버(800)의 동작과 관련된 하나 이상의 동작을 수행할 수 있다.
예를 들어, 프로세서(820)는 서버(800)가 HMD 장치로부터 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하고 센싱 정보에 기초하여 HMD 장치의 회전 속도를 계산하도록 서버(800)를 제어할 수 있다. 프로세서(820)는 서버(800)가 HMD 장치의 이전 위치, 이전 시야 방향, 현재 위치 및 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 HMD 장치의 각속도를 계산하도록 서버(800)를 제어할 수 있다.
일 실시예에서 회전 속도가 임계 값 이상인 경우, 프로세서(820)는 서버(800)가 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송하도록 서버(800)를 제어할 수 있다. 프로세서(820)는 서버(800)가 회전 속도에 기초하여 미리 정해진 특정 시간 후의 HMD 장치의 회전 각도를 추정하고, 회전 각도가 화각보다 큰 경우, HMD 장치에 스킵 제어 신호를 전송하도록 서버(800)를 제어할 수 있다. 즉, 프로세서(820)는 서버(800)가 회전 속도가 임계 값 이상인 구간에서, 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정하도록 서버(800)를 제어할 수 있다.
다른 실시예에서 프로세서(820)는 회전 속도가 임계 값 미만인 경우, 서버(800)가 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하도록 서버(800)를 제어할 수 있다.
도 9는 일 실시예에 따른 HMD 장치의 구성을 도시하는 도면이다.
도 9를 참조하면, HMD 장치(900)는 본 명세서에서 설명한 HMD 장치에 대응할 수 있다. HMD 장치(900)는 프로세서(910), 메모리(920) 및 통신 인터페이스(930)를 포함할 수 있다. 또한 실시예에 따라, HMD 장치(900)는 센서(940) 및 디스플레이(950)를 더 포함할 수 있다.
메모리(920)는 프로세서(910)에 연결되고, 프로세서(910)에 의해 실행가능한 인스트럭션들, 프로세서(910)가 연산할 데이터 또는 프로세서(910)에 의해 처리된 데이터를 저장할 수 있다. 메모리(920)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신 인터페이스(930)는 외부 장치(예를 들어, 서버)와 통신하기 위한 인터페이스를 제공한다. 예를 들어, 통신 인터페이스(930)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
디스플레이(950)는 서버로부터 수신한 가상 현실 영상을 출력할 수 있다. 또한 센서(940)는 센싱 정보를 센싱할 수 있다. 예를 들어 센서(940)는 HMD 장치(900)가 회전하는 속도를 측정하는 가속도 센서, HMD 장치(900)의 움직임의 진행 방향을 측정하는 지자기 센서, HMD 장치(900)의 움직임의 상태를 감지하는 가속도 센서 및 HMD 장치(900)의 움직임에 따른 각도를 센싱하는 자이로 센서 중 적어도 하나를 포함할 수 있다.
프로세서(910)는 도 3 내지 도 5를 통해 설명된 HMD 장치의 동작과 관련된 하나 이상의 동작을 HMD 장치(900)가 수행할 수 있도록 HMD 장치(900)를 제어할 수 있다.
예를 들어, 프로세서(910)는HMD 장치(900)가 센서(940)를 통해 센싱 정보를 센싱하고, 센싱 정보를 서버에 전송하도록 HMD 장치(900)를 제어할 수 있다.
일 실시예에서 HMD 장치(900)가 서버로부터 스킵 제어 신호를 수신하는 경우, 프로세서(910)는 HMD 장치(900)가 HMD 장치(900)의 위치 변화에 무관하게 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력하도록 HMD 장치(900)를 제어할 수 있다. 다른 실시예에서 프로세서(910)는 HMD 장치(900)가 스킵 제어 신호를 수신하지 않는 경우, HMD 장치(900)가 서버로부터 수신한 가상 현실 영상을 출력하도록 HMD 장치(900)를 제어할 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110, 510, 800: 서버 120: 네트워크
130, 505, 900: HMD 장치 810: 통신 인터페이스
820: 프로세서 830: 메모리
840: 데이터베이스 910: 프로세서
920: 메모리 930: 통신 인터페이스
940: 센서

Claims (23)

  1. 서버에서 수행되는 가상 현실 영상 제공 방법에 있어서,
    HMD(head mounted display) 장치로부터 상기 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하는 단계;
    상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하는 단계; 및
    상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵(skip) 제어 신호를 전송하는 단계를 포함하고,
    상기 서버는, 상기 회전 속도가 임계 값 이상인 경우, 상기 회전 속도가 임계 값 이상인 경우에 대응하는 구간에 대해서 패킷의 인코딩 및 렌더링을 수행하지 않고,
    상기 HMD 장치는, 상기 스킵 제어 신호를 수신한 경우, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전에 인코딩된 패킷을 그대로 출력하는,
    가상 현실 영상 제공 방법.
  2. 제1항에 있어서,
    상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하는 단계
    를 더 포함하는,
    가상 현실 영상 제공 방법.
  3. 제1항에 있어서,
    상기 센싱 정보는,
    가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함하는,
    가상 현실 영상 제공 방법.
  4. 제1항에 있어서,
    상기 HMD 장치의 회전 속도를 계산하는 단계는,
    상기 HMD 장치의 이전 위치, 이전 시야 방향, 현재 위치 및 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 상기 HMD 장치의 각속도를 계산하는 단계
    를 포함하는,
    가상 현실 영상 제공 방법.
  5. 제1항에 있어서,
    상기 임계 값은,
    화각(FOV: field of view)에 기초하여 결정되고,
    상기 회전 속도가 임계 값 이상인 경우는,
    상기 HMD 장치의 각속도가 상기 화각보다 크거나 같은 경우를 포함하고,
    상기 회전 속도가 임계 값 미만인 경우는,
    상기 HMD 장치의 각속도가 상기 화각보다 작은 경우를 포함하는,
    가상 현실 영상 제공 방법.
  6. 제1항에 있어서,
    상기 스킵 제어 신호를 전송하는 단계는,
    상기 회전 속도에 기초하여 미리 정해진 특정 시간 후의 상기 HMD 장치의 회전 각도를 추정하고, 상기 회전 각도가 화각보다 큰 경우, 상기 HMD 장치에 상기 스킵 제어 신호를 전송하는 단계
    를 포함하는,
    가상 현실 영상 제공 방법.
  7. 제6항에 있어서,
    상기 스킵 제어 신호를 전송하는 단계는,
    상기 회전 속도가 상기 임계 값 이상인 구간에서, 상기 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정하는 단계
    를 더 포함하는,
    가상 현실 영상 제공 방법.
  8. HMD 장치에서 수행되는 가상 현실 영상 제공 방법에 있어서,
    HMD 장치의 센서를 통해 센싱 정보를 센싱하는 단계;
    상기 센싱 정보를 서버에 전송하는 단계; 및
    상기 전송에 응답하여 상기 서버로부터 스킵 제어 신호를 수신하는 경우, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력하는 단계를 포함하고,
    상기 서버는, 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고, 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송하고,
    상기 서버는, 상기 회전 속도가 임계 값 이상인 경우, 상기 회전 속도가 임계 값 이상인 경우에 대응하는 구간에 대해서 패킷의 인코딩 및 렌더링을 수행하지 않고,
    상기 가상 현실 영상을 출력하는 단계는, 상기 스킵 제어 신호를 수신한 경우, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전에 인코딩된 패킷을 그대로 출력하는 단계를 포함하는,
    가상 현실 영상 제공 방법.
  9. 제8항에 있어서,
    상기 서버는,
    상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하는,
    가상 현실 영상 제공 방법.
  10. 제8항에 있어서,
    상기 스킵 제어 신호를 수신하지 않는 경우, 상기 서버로부터 수신한 가상 현실 영상을 출력하는 단계
    를 더 포함하는,
    가상 현실 영상 제공 방법.
  11. 제8항에 있어서,
    상기 센싱 정보는,
    가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함하는,
    가상 현실 영상 제공 방법.
  12. 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
  13. 가상 현실 영상 제공 방법을 수행하는 서버에 있어서,
    메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 서버가,
    HMD 장치로부터 상기 HMD 장치의 센서에 의해 센싱된 센싱 정보를 수신하고,
    상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고,
    상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵(skip) 제어 신호를 전송하도록 상기 서버를 제어하고,
    상기 프로세서는, 상기 회전 속도가 임계 값 이상인 경우, 상기 회전 속도가 임계 값 이상인 경우에 대응하는 구간에 대해서 패킷의 인코딩 및 렌더링을 수행하지 않도록 상기 서버를 제어하고,
    상기 HMD 장치는, 상기 스킵 제어 신호를 수신한 경우, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전에 인코딩된 패킷을 그대로 출력하는,
    서버.
  14. 제13항에 있어서,
    상기 프로세서는 상기 서버가
    상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하도록 상기 서버를 제어하는,
    서버.
  15. 제13항에 있어서,
    상기 센싱 정보는,
    가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함하는,
    서버.
  16. 제13항에 있어서,
    상기 프로세서는 상기 서버가,
    상기 HMD 장치의 이전 위치, 이전 시야 방향, 상기 현재 위치 및 상기 현재 시야 방향 중 적어도 하나를 포함하는 센싱 정보에 기초하여 상기 HMD 장치의 각속도를 계산하도록 상기 서버를 제어하는,
    서버.
  17. 제13항에 있어서,
    상기 임계 값은,
    화각에 기초하여 결정되고,
    상기 회전 속도가 임계 값 이상인 경우는,
    상기 HMD 장치의 각속도가 상기 화각보다 크거나 같은 경우를 포함하고,
    상기 회전 속도가 임계 값 미만인 경우는,
    상기 HMD 장치의 각속도가 상기 화각보다 작은 경우를 포함하는,
    서버.
  18. 제13항에 있어서,
    상기 프로세서는 상기 서버가,
    상기 회전 속도에 기초하여 미리 정해진 특정 시간 후의 상기 HMD 장치의 회전 각도를 추정하고, 상기 회전 각도가 화각보다 큰 경우, 상기 HMD 장치에 상기 스킵 제어 신호를 전송하도록 상기 서버를 제어하는,
    서버.
  19. 제18항에 있어서,
    상기 프로세서는 상기 서버가,
    상기 회전 속도가 상기 임계 값 이상인 구간에서, 상기 가상 현실 영상에 대한 렌더링 및 인코딩 과정을 수행하지 않는 것으로 결정하도록 상기 서버를 제어하는,
    서버.
  20. 가상 현실 영상 제공 방법을 수행하는 HMD 장치에 있어서,
    메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 HMD 장치가,
    HMD 장치의 센서를 통해 센싱 정보를 센싱하고,
    상기 센싱 정보를 서버에 전송하고,
    상기 전송에 응답하여 상기 서버로부터 스킵 제어 신호를 수신하는 경우, 상기 스킵 제어 신호의 수신에 응답하여, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전의 가상 현실 영상을 출력하도록 상기 HMD 장치를 제어하고,
    상기 서버는, 상기 센싱 정보에 기초하여 상기 HMD 장치의 회전 속도를 계산하고, 상기 회전 속도가 임계 값 이상인 경우, 상기 HMD 장치에 가상 현실 영상의 재생에 대한 스킵 제어 신호를 전송하고,
    상기 서버는, 상기 회전 속도가 임계 값 이상인 경우, 상기 회전 속도가 임계 값 이상인 경우에 대응하는 구간에 대해서 패킷의 인코딩 및 렌더링을 수행하지 않고,
    상기 프로세서는, 상기 HMD 장치가 상기 스킵 제어 신호를 수신한 경우, 상기 HMD 장치의 위치 변화에 무관하게 상기 스킵 제어 신호를 수신하기 이전에 인코딩된 패킷을 그대로 출력하도록 상기 HMD 장치를 제어하는,
    HMD 장치.
  21. 제20항에 있어서,
    상기 서버는,
    상기 회전 속도가 임계 값 미만인 경우, 상기 HMD 장치의 현재 위치 및 현재 시야 방향에 대응하는 가상 현실 영상을 HMD 장치에 전송하는,
    HMD 장치.
  22. 제20항에 있어서,
    상기 프로세서는 상기 HMD 장치가,
    상기 스킵 제어 신호를 수신하지 않는 경우, 상기 서버로부터 수신한 가상 현실 영상을 출력하도록 상기 HMD 장치를 제어하는,
    HMD 장치.
  23. 제20항에 있어서,
    상기 센싱 정보는,
    가속도 센서, 지자기 센서, 관성 센서 및 자이로 센서 중 적어도 하나를 포함하는 상기 HMD 장치의 센서를 통해 센싱된 정보를 포함하는,
    HMD 장치.

KR1020190101761A 2019-08-20 2019-08-20 가상 현실 영상 제공 방법 KR102261993B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190101761A KR102261993B1 (ko) 2019-08-20 2019-08-20 가상 현실 영상 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101761A KR102261993B1 (ko) 2019-08-20 2019-08-20 가상 현실 영상 제공 방법

Publications (2)

Publication Number Publication Date
KR20210022354A KR20210022354A (ko) 2021-03-03
KR102261993B1 true KR102261993B1 (ko) 2021-06-07

Family

ID=75151195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101761A KR102261993B1 (ko) 2019-08-20 2019-08-20 가상 현실 영상 제공 방법

Country Status (1)

Country Link
KR (1) KR102261993B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569715B1 (ko) * 2021-03-18 2023-08-24 주식회사 엘지유플러스 헤드 마운티드 디스플레이에서의 vr 멀미 저감 방법 및 장치와 그를 이용한 헤드 마운티드 디스플레이

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858637B1 (en) * 2016-07-29 2018-01-02 Qualcomm Incorporated Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system

Also Published As

Publication number Publication date
KR20210022354A (ko) 2021-03-03

Similar Documents

Publication Publication Date Title
US11210993B2 (en) Optimized display image rendering
KR101777820B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
KR102472152B1 (ko) 멀티 서버 클라우드 가상 현실 (ｖｒ) 스트리밍
US11127214B2 (en) Cross layer traffic optimization for split XR
US10750139B2 (en) Reconstructing viewport upon user viewpoint misprediction
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
CN111627116B (zh) 图像渲染控制方法、装置及服务器
ES2726349T3 (es) Métodos, dispositivos y sistemas para hacer zoom automático cuando se reproduce una escena de realidad aumentada
US20160238852A1 (en) Head mounted display performing post render processing
US11375244B2 (en) Dynamic video encoding and view adaptation in wireless computing environments
US20170287097A1 (en) Hybrid client-server rendering in a virtual reality system
US10869013B2 (en) Method and apparatus for buffer management in cloud based virtual reality services
US20220232209A1 (en) Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
KR102261993B1 (ko) 가상 현실 영상 제공 방법
US10684678B1 (en) Method and apparatus for generating mixed reality environment using drone equipped with stereo camera
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
JP7196089B2 (ja) 仮想現実映像の再生方法及びこれを用いたプログラム
KR102437276B1 (ko) 바디 움직임 기반의 클라우드 vr 장치 및 방법
JP5367954B2 (ja) ゲームプログラム、ゲーム装置及び記憶媒体
JP7396639B2 (ja) 移動体制御装置、移動体制御方法、及びプログラム
JP7384513B2 (ja) 移動体制御装置、移動体制御方法、及びプログラム
KR101606060B1 (ko) 네트워크에 기반한 물리 물체 제어를 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2022103557A (ja) コンピュータプログラム、方法、及び、サーバ
JP2016186727A (ja) 映像表示装置、映像表示方法、及びプログラム
KR20220083346A (ko) 영상 표시 장치의 위치를 추정하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant