KR20180038256A - Vr 스트림의 지연을 보상하는 방법 및 시스템 - Google Patents

Vr 스트림의 지연을 보상하는 방법 및 시스템 Download PDF

Info

Publication number
KR20180038256A
KR20180038256A KR1020160129125A KR20160129125A KR20180038256A KR 20180038256 A KR20180038256 A KR 20180038256A KR 1020160129125 A KR1020160129125 A KR 1020160129125A KR 20160129125 A KR20160129125 A KR 20160129125A KR 20180038256 A KR20180038256 A KR 20180038256A
Authority
KR
South Korea
Prior art keywords
image
fov
buffer
stream
terminal
Prior art date
Application number
KR1020160129125A
Other languages
English (en)
Other versions
KR102644833B1 (ko
Inventor
허윤범
김우연
천왕성
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160129125A priority Critical patent/KR102644833B1/ko
Publication of KR20180038256A publication Critical patent/KR20180038256A/ko
Application granted granted Critical
Publication of KR102644833B1 publication Critical patent/KR102644833B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2183—Cache memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

단말에서 VR(Virtual Reality) 스트림의 지연을 보상하는 방법은, FOV(Field Of View)에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 수신하는 단계, 상기 복수의 영상을 각각의 대응하는 버퍼에 저장하는 단계, 상기 버퍼 중 중앙 버퍼에 저장된 영상을 표시하는 단계, 제1 방향에 대한 FOV 이동 신호를 입력 받는 단계, 상기 버퍼 중 상기 제 1 방향에 대응하는 제 1 방향 버퍼에 저장된 영상을 표시하는 단계, 상기 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계, 상기 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고 상기 중앙 버퍼에 저장된 영상을 표시하는 단계 및 상기 제 1 방향 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계를 포함하도록 구성된다.

Description

VR 스트림의 지연을 보상하는 방법 및 시스템{METHOD, AND SYSTEM FOR COMPENSATING DELAY OF VIRTURAL REALITY STREAM}
본 발명은 VR 스트림의 지연을 보상하는 방법 및 시스템에 관한 것이다.
미디어 산업의 성장과 더불어 TV를 시청하는 사용자의 요구사항도 변화하고 있다. 단순한 화면 시청을 통해 정보를 받아 들이는 형태에서 벗어나 TV 시청을 통해서도 실제 본인이 체험하는 듯한 실감형 콘텐츠에 대한 요구가 증대되고 있는 것이다. 이와 더불어 고프로(Gopro)와 같은 액션형 소형 카메라의 성장은 다양한 실감형 콘텐츠에 대한 대중화를 선도하고 있다. 특히 이를 활용한 360도 촬영 기법은 실감형 콘텐츠에 대한 새로운 성장 가능성을 보여준다. 이러한 실감형 컨텐츠의 성장 가능성과 사용자 요구에 맞추어 실감형 콘텐츠와 같은 대용량의 영상을 처리하고 TV를 통해 보여줄 수 있는 디지털 방송 시스템 및 단말에 대한 기술이 개발되고 있다.
이러한 대용량 영상을 처리하는 방법과 관련하여, 선행기술인 한국등록특허 제10-0613752호는 파노라마 영상의 스트리밍 방법에 관한 것으로, 전체 파노라마 영상을 스트립 영상이라는 작은 영상 단위로 잘라 스트립 영상 단위로 압축하여 클라이언트에게 제공하고, 클라이언트로부터 시점 이동 요청을 수신하는 경우, 이동된 영역에 해당하는 영상을 압축하여 전송하는 구성을 개시하고 있다.
사용자의 FOV(Field Of View)에 해당하는 영상 및 주변 영상을 멀티 스트림으로 제공함으로써 VR 스트림의 지연을 효과적으로 보상할 수 있는 VR 스트림의 지연을 보상하는 방법 및 시스템을 제공하고자 한다. 복수의 영상을 각각의 버퍼에 저장하고 FOV 이동 요청 시 버퍼에 저장된 영상을 표시함으로써, 서버로부터 영상을 수신, 처리하여 표시하기까지 발생하는 지연을 보상하고, 반응 속도의 문제를 해결할 수 있는 VR 스트림의 지연을 보상하는 방법 및 시스템을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 단말에서 VR(Virtual Reality) 스트림의 지연을 보상하는 방법에 있어서, FOV(Field Of View)에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 수신하는 단계, 상기 복수의 영상을 각각의 대응하는 버퍼에 저장하는 단계, 상기 버퍼 중 중앙 버퍼에 저장된 영상을 표시하는 단계, 제1 방향에 대한 FOV 이동 신호를 입력 받는 단계, 상기 버퍼 중 상기 제 1 방향에 대응하는 제 1 방향 버퍼에 저장된 영상을 표시하는 단계, 상기 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계, 상기 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고 상기 중앙 버퍼에 저장된 영상을 표시하는 단계 및 상기 제 1 방향 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계를 포함하는, VR 스트림 지연 보상 방법을 제공할 수 있다.
상기 메타 데이터는 해당 영상의 방향 정보 및 좌표 정보 중 적어도 하나를 포함할 수 있다.
상기 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고 상기 중앙 버퍼에 저장된 영상을 표시하는 단계는, 상기 중앙 버퍼에 저장된 영상의 메타 데이터에 기초하여 상기 중앙 버퍼에 저장된 영상의 FOV가 이동되었는지 판단하는 단계; 및 상기 FOV가 이동된 경우 상기 중앙 버퍼의 영상을 표시하는 단계를 포함할 수 있다.
단말에서 VR(Virtual Reality) 스트림의 지연을 보상하는 방법은 상기 제 1 방향에 대한 연속적인 FOV 이동 신호를 입력받는 단계; 상기 제 1 방향 버퍼에 저장된 영상을 표시하는 단계; 상기 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계; 및 상기 나머지 버퍼 중 제 2 방향 버퍼에 저장된 영상을 표시하고, 이후 상기 중앙 버퍼에 저장된 영상을 표시하는 단계를 더 포함할 수 있다.
상기 복수의 영상은 상기 FOV에 대응하는 중앙 영상 및 상기 중앙 영상을 기준으로 상하좌우 방향에 대응하는 적어도 4개의 영상을 포함할 수 있다. 상기 상하좌우 방향에 대응하는 영상은 상기 중앙 영상과 화면의 일부가 오버랩될 수 있다.
또한, 본 발명의 다른 실시예는 서버에서 VR 스트림의 지연을 보상하는 방법에 있어서, 단말로부터 FOV 정보를 수신하는 단계, 상기 FOV 정보에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 생성하는 단계, 상기 단말로 상기 멀티 스트림을 전송하는 단계, 상기 단말로부터 제 1 방향에 대한 FOV 이동 신호를 수신하는 단계, 상기 제 1 방향에 대응하는 영상을 제외한 나머지 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계, 및 상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계를 포함하는, VR 스트림 지연 보상 방법을 제공할 수 있다.
상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계는, 상기 단말로부터 버퍼 이동 신호를 수신한 이후 수행될 수 있다.
상기 멀티 스트림은 각 영상에 대한 복수의 스트림을 포함하고, 상기 각 영상에 대한 메타 데이터는 각 스트림 내의 SEI(Supplemental Enhancement Information) 메타에 저장될 수 있다.
또한, 본 발명의 또 다른 실시예는, VR 스트림의 지연을 보상하는 시스템에 있어서, 복수의 카메라 영상을 스티칭하여 정방형의 VR 영상을 생성하는 스티칭 서버, 상기 정방형의 VR 영상을 구형으로 모델링하고, FOV 정보에 기초하여 상기 VR 영상을 렌더링하여 전송 가능한 영상으로 가공하는 VR 영상 처리 서버, 및 상기 가공된 영상을 단말로 전송하는 스트리머를 포함하고, 상기 VR 영상 처리 서버는, 상기 단말로부터 FOV 정보를 수신하고, 상기 FOV 정보에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 생성하고, 상기 멀티 스트림을 상기 단말로 전송하고, 상기 단말로부터 제1 방향에 대한 FOV 이동 신호를 수신하고, 상기 제 1 방향에 대응하는 영상을 제외한 나머지 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하고, 상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 것인, VR 스트림 지연 보상 시스템을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 FOV(Field Of View)에 해당하는 영상 및 주변 영상을 멀티 스트림으로 제공함으로써 VR 스트림의 지연을 효과적으로 보상할 수 있는 VR 스트림의 지연을 보상하는 방법 및 시스템을 제공할 수 있다. 복수의 영상을 각각의 버퍼에 저장하고 FOV 이동 요청 시 버퍼에 저장된 영상을 표시함으로써, 서버로부터 영상을 수신, 처리하여 표시하기까지 발생하는 지연을 보상하고, 반응 속도의 문제를 해결할 수 있는 VR 스트림의 지연을 보상하는 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 VR 스트림 지연 보상 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 VR 스트림의 지연 보상 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 멀티 스트림 전송 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 VR 스트림의 지연 보상 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 연속적인 FOV 이동 시 VR 스트림의 지연 보상 방법을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 VR 스트림 지연 보상 시스템의 구성도이다.
도 1을 참조하면, VR 스트림 지연 보상 시스템(1)은 스티칭 서버(110), VR 영상 처리 서버(120) 및 스트리머(130)를 포함하는 서버 시스템(100)과 단말(140)을 포함할 수 있다. 도 1에 도시된 스티칭 서버(110), VR 영상 처리 서버(120), 스트리머(130) 및 단말(140)은 VR 스트림 지연 보상 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 VR 스트림 지연 보상 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE 등이 포함되나 이에 한정되지는 않는다.
스티칭 서버(110)는 외부 서버 또는 장치로부터 복수의 카메라 영상을 수신하고, 복수의 영상을 스티칭하여 정방형의 VR 영상을 생성할 수 있다. VR 영상은 360도의 영상을 포함하는 파노라마 영상일 수 있다.
VR 영상 처리 서버(120)는 스티칭 서버(110)에서 생성한 VR 영상을 구형으로 모델링하고 렌더링 처리하여 단말(140)로 전송하기에 적합한 영상으로 변환할 수 있다. VR 영상은 작게는 FHD급 영상으로부터 크게는 8K급 이상의 영상으로 제작될 수 있으며, 이러한 대용량의 영상에 대한 실시간 처리는 고사양의 디바이스를 제외하고는 불가능하므로, FOV에 기초한 일부 영역의 영상에 대해서만 렌더링하여 단말(140)로 전송하기에 적합한 영상으로 변환할 수 있다.
VR 영상 처리 서버(120)는 단말(140)로부터 FOV 정보를 수신할 수 있다. FOV 정보는 단말(140)의 시야각에 대한 정보로서, 전체 VR 영상 중 단말(140)에서 표시할 영상 영역의 좌표 정보 등을 포함할 수 있다.
VR 영상 처리 서버(120)는 단말(140)로부터 수신한 FOV 정보에 기초하여 복수의 영상을 생성할 수 있다. 복수의 영상은 FOV 에 대응하는 영상 및 주변 영상을 포함할 수 있으며, 예컨대 FOV에 대응하는 중앙 영상과, 중앙 영상을 기준으로 상하좌우 방향에 대응하는 4개의 영상을 포함할 수 있다.
VR 영상 처리 서버(120)는 복수의 영상 각각에 대하여 메타 데이터를 생성할 수 있다. 메타 데이터는 각 영상의 방향 정보 및 좌표 정보 중 적어도 하나를 포함할 수 있다.
VR 영상 처리 서버(120)는 복수의 영상과 메타 데이터를 포함하는 멀티 스트림을 생성하여 스트리머(130)를 통해 단말(140)로 전송할 수 있다.
VR 영상 처리 서버(120)는 단말(140)로부터 FOV 이동 신호를 수신할 수 있다. FOV 이동 신호는 FOV의 이동 방향, 이동 거리 또는 이동 위치에 관한 정보 중 하나 이상을 포함할 수 있다.
VR 영상 처리 서버(120)는 FOV 이동 신호에 대응하여 복수의 영상 중 일부에 영상에 대해 FOV를 이동하고, 이동 정보를 메타 데이터에 반영하여 단말(140)로 전송할 수 있다. VR 영상 처리 서버(120)는 단말(140)로부터 버퍼 이동 신호를 수신하거나 또는 미리 설정된 시간이 경과한 경우, 나머지 영상에 대해서 FOV를 이동하고, 이동 정보를 메타 데이터에 반영하여 단말(140)로 전송할 수 있다.
예컨대, VR 영상 처리 서버(120)는 오른쪽 방향 이동에 대한 FOV 이동 신호를 수신한 경우, 오른쪽 방향에 대응하는 영상을 제외한 중앙 영상 및 상하좌 방향에 대응하는 영상에 대해 FOV를 이동하고, 이동 정보를 메타 데이터에 반영하여 단말(140)로 전송할 수 있다. VR 영상 처리 서버(120)는 이후 미리 설정된 이벤트가 발생하면 오른쪽 방향에 대응하는 영상에 대해 FOV를 이동하고, 이동 정보를 메타 데이터에 반영하여 단말(140)로 전송할 수 있다.
스트리머(130) 는 VR 영상 처리 서버(120)에서 생성한 복수의 영상과 메타 데이터를 멀티 스트림으로 단말(140)에 전송할 수 있다.
단말(140)은 스트리머(130)로부터 VR 영상을 수신하여 재생할 수 있는 단말로서, 셋톱박스(STB), 스마트폰(smart phone), 스마트 안경(smart glasses), 스마트 패드(smart pad), 타블랫 PC(Tablet PC), 3G, 4G, 5G 단말, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000 등을 포함할 수 있다.
단말(140)은 리모컨, 터치 스크린, 카메라 등의 입력 수단을 통해 FOV 정보를 입력받아 VR 영상 처리 서버(120)로 전송할 수 있다.
단말(140)은 VR 영상 처리 서버(120)로부터 복수의 영상 및 메타 데이터를 포함하는 멀티 스트림을 수신할 수 있다. 단말(140)은 메타 데이터에 기초하여 복수의 영상을 대응하는 버퍼에 각각 저장할 수 있다. 예컨대, FOV 에 대응하는 중앙 영상을 중앙 버퍼에 저장하고, 상하좌우 방향에 대응하는 영상을 상하좌우 방향에 대응하는 버퍼에 각각 저장할 수 있다.
단말(140)은 중앙 버퍼에 저장된 영상을 재생하여 화면에 표시할 수 있다. 단말(140)은 중앙 버퍼에 저장된 영상의 재생 중 제 1 방향에 대한 FOV 이동 신호를 입력 받으면, 중앙 버퍼에 저장된 영상의 재생을 중단하고 제 1 방향에 대응하는 버퍼에 저장된 영상을 재생하여 표시할 수 있다.
예컨대, 단말(140)은 오른쪽 방향에 대한 FOV 이동 신호를 입력 받으면, 중앙 버퍼에 저장된 영상의 재생을 중단하고 오른쪽 방향에 대응하는 버퍼에 저장된 영상을 재생할 수 있다.
단말(140)은 VR 영상 처리 서버(120)로 FOV 이동 신호를 전송하고, 이에 대응하여 VR 영상 처리 서버(120)로부터 복수의 영상 중 일부에 대해 FOV가 이동된 멀티 스트림을 수신할 수 있다. 예컨대, 멀티 스트림에 포함된 영상 중 오른쪽 방향에 대응하는 영상을 제외한 나머지 중앙 영상 및 상하좌 방향에 대응하는 영상에 대해 FOV가 이동될 수 있다.
단말(140)은 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장할 수 있다. 이 때, 제 1 방향 버퍼에는 FOV가 이동되기 전의 영상이 저장되어 있다.
단말(140)은 중앙 버퍼에 저장되어 있는 메타 데이터를 확인하여 중앙 버퍼에 저장된 영상의 FOV가 이동되었는지 판단할 수 있다. 단말(140)은 중앙 버퍼에 저장된 영상의 FOV가 이동된 경우, 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고, 중앙 버퍼에 저장된 영상을 표시할 수 있다. 중앙 버퍼에는 이동된 FOV에 대응하는 영상이 저장되어 있으며, 이는 FOV를 이동하기 전 제 1 방향 버퍼에 저장되어 있던 영상과 FOV가 동일한 영상일 수 있다.
단말(140)은 제 1 방향 버퍼에서 중앙 버퍼로 이동한 후, VR 영상 처리 서버(120)로 버퍼 이동 신호를 전송할 수 있다.
단말(140)은 VR 영상 처리 서버(120)로부터 멀티 스트림을 수신할 수 있다. 멀티 스트림에 포함된 복수의 영상은 이미 FOV가 이동된 영상을 제외한 나머지 영상에 대해서도 FOV가 이동된 것으로, 결과적으로 복수의 영상 모두에 대해 FOV가 이동되어 있는 것일 수 있다.
단말(140)은 FOV 이동 신호를 연속적으로 입력 받을 수 있다. 예컨대, 리모컨을 통해 우측 버튼을 1회 누르면 FOV 이동 신호가 1회 입력되고, 우측 버튼을 연속으로 누르면 연속적인 FOV 이동 신호가 입력될 수 있다.
단말(140)은 연속적인 FOV 이동 신호를 입력받는 경우, 중앙 버퍼에 저장된 영상의 표시를 중단한 후, 제 1 방향 버퍼에 저장된 영상을 표시하고, 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장한 이후, 나머지 버퍼 중 제 2 방향 버퍼에 저장된 영상을 표시하고, 제 2 방향 버퍼에 저장된 영상의 표시를 중단한 후 상기 중앙 버퍼에 저장된 영상을 표시할 수 있다.
FOV 이동 신호에 따른 단말(140)의 영상 표시 방법에 대해서는 이하 도 5 및 도 6에 따른 실시예에 대한 설명에서 보다 상세하게 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 VR 스트림의 지연 보상 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 실시예에 따른 VR 스트림의 지연 보상 방법은 도 1에 도시된 실시예에 따른 VR 스트림 지연 보상 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1에 도시된 실시예에 따른 VR 스트림 지연 보상 시스템(1)에 관하여 이미 기술된 내용은 도 2에 도시된 실시예에 따른 VR 스트림의 지연 보상 방법에도 적용된다.
도 2를 참조하면, 단계 S201에서 단말(140)은 VR 영상 처리 서버(120)로 FOV 정보를 전송한다. 단계 S203에서 VR 영상 처리 서버(120)는 FOV 정보에 기초하여 복수의 영상 및 메타데이터를 생성한다.
잠시 도 3을 참조하여, FOV 정보에 기초하여 생성된 복수의 영상에 관하여 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따른 복수의 영상을 설명하기 위한 도면이다.
도 3을 참조하면, VR 영상(310)은 360도 시야각을 가지는 파노라마 영상일 수 있다. 복수의 영상은 VR 영상(310)의 일부 영역에 해당하는 영상으로서 단말의 FOV에 대응하는 중앙 영상(320)과 중앙 영상의 주변 영상, 예컨대 상하좌우 방향에 대응하는 영상(330 내지 360)을 포함할 수 있다.
도 3에 도시된 실시예에는 복수의 영상(320 내지 360)이 5개인 경우를 도시하고 있으나, 복수의 영상의 개수는 이에 제한되지 않고 5개 보다 많거나 적을 수 있다.
복수의 영상(320 내지 360)은 일부 영역이 오버랩될 수 있다. 예컨대, 상하좌우 방향에 대응하는 영상(330 내지 360)은 중앙 영상(320)과 화면의 일부가 오버랩될 수 있다.
다시 도 2로 돌아와서, 단계 S205에서 VR 영상 처리 서버(120)는 스트리머(130)로 복수의 영상과 메타데이터를 포함하는 멀티 스트림의 전송을 요청한다. 단계 S207에서 스트리머(130)는 멀티 스트림을 단말(140)로 전송한다.
단계 S209에서 단말(140)은 수신한 복수의 영상을 각각의 대응하는 버퍼에 저장한다. 예컨대, 단말의 FOV에 대응하는 중앙 영상은 중앙 버퍼에 저장하고, 우측 방향에 대응하는 영상은 우측 방향 버퍼에 저장할 수 있다.
단계 S211에서 단말(140)은 중앙 버퍼에 저장된 영상을 표시한다. 중앙 버퍼에 저장된 영상은 단말의 FOV에 대응하는 중앙 영상이다.
잠시 도 4를 참조하여 멀티 스트림에 관하여 상세히 설명하도록 한다. 도 4는 본 발명의 일 실시예에 따른 멀티 스트림 전송 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 복수의 영상을 각각 인코딩(410)하여 멀티 채널 스트림(420)을 통해 단말로 전송할 수 있다. 단말(450)은 각각의 영상을 디코딩(430)하여 복수의 버퍼(440)에 저장할 수 있다.
멀티 채널 스트림(420)은 복수의 스트림(460)으로 구성되며, 각 스트림(460)은 AU(461; Access Unit), SPS(462; Sequence Parameter Set), PPS(463; Picture Parameter Set), SEI(464; Supplemental Enhancement Information), Picture(465), EOS(466; End of Sequence), 및 EOS(467; End of Stream)를 포함할 수 있다. 각 영상은 picture를 통해, 각 영상에 대한 메타 데이터는 SEI를 통해 전달될 수 있다.
단말의 플레이어(450)는 복수의 버퍼(440)에 저장된 영상 중 어느 하나의 영상을 재생하여 표시할 수 있다.
다시 도 2로 돌아와서, 단계 S213에서 단말(140)은 제 1 방향에 대한 FOV 이동 신호를 입력받는다. 단계 S215에서 단말(140)은 중앙 버퍼에 저장된 영상의 표시를 중단하고, 제 1 방향 버퍼에 저장된 제 1 방향 영상을 표시한다.
단계 S217에서 단말(140)은 VR 영상 처리 서버(120)로 FOV 이동 신호를 전송한다. 단계 S219에서 VR 영상 처리 서버(120)는 제 1 방향 영상을 제외한 나머지 영상의 FOV를 이동한다.
VR 영상 처리 서버(120)는 FOV가 이동된 영상의 메타 데이터에 이동 정보를 표시하고, 단계 S221에서 스트리머(130)로 변경된 멀티 스트림의 전송을 요청한다. 단계 S223에서 스트리머(130)는 단말(140)로 멀티 스트림을 전송한다.
단계 S225에서 단말(140)은 멀티 스트림에 포함된 복수의 영상을 각각의 버퍼에 저장한다. 이 때, 제 1 방향 버퍼를 제외한 나머지 버퍼에는 FOV가 이동된 영상이 저장된다.
단계 S227에서 단말(140)은 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고, 중앙 버퍼에 저장된 영상을 표시한다. 단말(140)은 중앙 버퍼에 저장된 영상을 표시하기에 앞서, 중앙 버퍼에 저장된 영상의 메타 데이터를 확인하고, FOV의 이동이 적용되었는지 판단할 수 있다.
단계 S229에서 단말(140)은 VR 영상 처리 서버(120)로 버퍼 이동 신호를 전송한다. 단계 S231에서 VR 영상 처리 서버(120)는 제 1 방향 영상의 FOV를 이동한다. VR 영상 처리 서버(120)는 FOV 이동 정보를 제 1 방향 영상의 메타 데이터에 적용한 후, 단계 S233에서 스트리머(130)로 변경된 멀티스트림의 전송을 요청한다.
단계 S235에서 스트리머(130)는 단말(140)로 변경된 멀티 스트림을 전송한다. 단계 S237에서 단말(140)은 복수의 영상을 각 버퍼에 저장한다. 이 대, 제 1 방향 버퍼에 FOV가 이동된 영상이 저장된다.
상술한 설명에서, 단계 S201 내지 S237은 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
이하에서는, 도 5 및 도 6을 참조하여, 각 단계에서 단말의 버퍼에 저장되어 있는 영상과 단말에 표시되고 있는 영상에 대해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 VR 스트림의 지연 보상 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 도 5는 VR 영상(500) 내에서 단말의 FOV가 우측으로 1회 이동하는 경우에 각 단계에서 단말의 버퍼에 저장되어 있는 영상과, 단말에서 표시되고 있는 영상에 대해 도시하고 있다.
식별기호 510은 단말에 FOV 이동 신호가 입력되었을 때의 단말의 버퍼에 저장된 영상을 나타내며, 도 2의 단계 S209에서의 버퍼의 저장 상태를 나타낸다. 중앙 버퍼(511)에는 이동 전 FOV에 대응하는 영상(501)이 저장되고, 우측 방향 버퍼(512)에는 영상(501)의 우측 방향에 대응하는 영상(502)이 저장되고, 좌측 방향 버퍼(513)에는 영상(501)의 좌측 방향에 대응하는 영상(503)이 저장되고, 상측 방향 버퍼(514)에는 영상(501)의 상측 방향에 대응하는 영상(504)이 저장되고, 하측 방향 버퍼(515)에는 영상(501)의 하측 방향에 대응하는 영상(505)이 저장된다.
단말은 FOV 이동 신호가 입력되기 전에는 중앙 버퍼(511)에 저장된 영상(501)을 표시하고, FOV 이동 신호가 입력되면 중앙 버퍼(511)에 저장된 영상(501)의 표시를 중단하고 우측 방향 버퍼(512)에 저장된 영상(502)을 표시한다.
식별기호 520은 VR 영상 처리 서버로 FOV 이동 신호를 전송한 후, 변경된 멀티 스트림을 받았을 때의 단말의 버퍼에 저장된 영상을 나타낸다. 도 2의 단계 S225에서의 버퍼에 대응될 수 있다.
이 단계에서는 우측 방향 버퍼(512)를 제외한 나머지 중앙 버퍼(511) 및 상하좌측 방향 버퍼(513 내지 515)에 저장된 영상의 FOV가 이동된다. 중앙 버퍼(511)에는 이동 후 FOV에 대응하는 영상(502)이 저장되고, 상하좌측 방향 버퍼(513 내지 515)에는 영상(502)의 상하좌측 방향에 대응하는 영상(501, 507, 508)이 각각 저장된다. 이 단계에서 우측 방향 버퍼(512)에 저장된 영상에 대해서는 FOV가 변경되지 않는다.
단말은 중앙 버퍼(511)에 저장된 영상의 FOV가 이동하였는지 확인한 이후 FOV가 이동한 경우 우측 방향 버퍼(512)에 저장된 영상(502)의 표시를 중단하고, 중앙 버퍼(511)에 저장된 영상(502)을 표시한다.
식별기호 530은 VR 영상 처리 서버로 버퍼 이동 신호를 전송한 후, 변경된 멀티 스트림을 받았을 때의 단말의 버퍼에 저장된 영상을 나타낸다. 도 2의 단계 S237에서의 버퍼에 대응될 수 있다.
이 단계에서는 우측 방향 버퍼(512)에 FOV가 이동된 영상이 저장된다. 예를 들어, 이동 후의 FOV에 대응하는 영상(502)의 우측 방향에 대응하는 영상(506)이 우측 방향 버퍼(512)에 저장된다. 결과적으로, 모든 버퍼에 대해 FOV가 이동된 영상이 저장된다.
이하에서는 도 6을 참조하여 연속적인 FOV 이동 신호가 입력된 경우의 단말의 동작에 대해 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 연속적인 FOV 이동 시 VR 스트림의 지연 보상 방법을 설명하기 위한 도면이다.
도 6에 도시된 실시예는 우측 방향에 대한 FOV 이동 신호가 3회 연속 입력된 경우에 대해 도시하고 있다. VR 영상(600)내의 영상(601)에서 영상(602) 및 영상(603)을 거쳐 영상(606)을 표시하는 과정에 대해 설명하도록 한다.
식별기호 620은 단말에 FOV 이동 신호가 입력되었을 때의 단말의 버퍼에 저장된 영상을 나타낸다. 이 단계에서는 영상(601)과 영상(601)의 상하좌우 방향에 대응하는 영상(602 내지 605)이 각각 중앙 버퍼(611)와 상하좌우측 방향 버퍼(612 내지 615)에 저장된다. 단말은 중앙 버퍼(611)에 저장된 영상(601)을 표시하고, FOV 이동 신호가 입력되면 우측 방향 버퍼(612)에 저장된 영상(602)을 표시한다.
식별기호 630은 VR 영상 처리 서버로 FOV 이동 신호를 전송한 후, 변경된 멀티 스트림을 받았을 때의 단말의 버퍼에 저장된 영상을 나타낸다. 이 단계에서는 3회 이동된 FOV에 대응하는 영상(606)이 중앙 버퍼(611)에 저장되고, 영상(606)의 상하좌우측 방향에 대응하는 영상(607 내지 610)이 상하좌우측 방향 버퍼(612 내지 615)에 저장된다.
단말은 우측 방향 버퍼(612)에 저장된 영상(602)의 표시를 중단하고, 좌측 방향 버퍼(613)에 저장된 영상(608)을 표시한다. 단말은 기 설정된 시간의 경과 후 좌측 방향 버퍼(613)에 저장된 영상(608)의 표시를 중단하고, 중앙 버퍼(611)에 저장된 영상(606)을 표시한다.
식별기호 640은 VR 영상 처리 서버로 버퍼 이동 신호를 전송한 후, 변경된 멀티 스트림을 받았을 때의 단말의 버퍼에 저장된 영상을 나타낸다. 이 단계에서는 영상(606)의 우측 방향에 대응하는 영상(607)이 우측 방향 버퍼(612)에 저장되어 결과적으로 모든 버퍼에 FOV가 이동된 영상이 저장되게 된다.
도 6에서는 FOV 이동 요청이 3회 연속 입력된 경우에 대해 도시하고 있으나, FOV 이동 요청이 4회 이상 연속 입력되는 경우에도 상술한 단계를 반복함으로써 FOV 연속 이동을 수행할 수 있다. 마지막 FOV가 중앙 버퍼가 아닌 버퍼에 저장된 영상에 대응하는 경우에도 최종적으로 중앙 버퍼에 저장된 영상을 재생하도록 조정할 수 있다.
단말은 FOV의 이동 요청이 1회 입력되는지 복수회 연속 입력되는지 판단하고, 이에 따라 단말의 동작을 다르게 할 수 있다.
도 2에서 설명한 본 발명의 일 실시예에 따른 VR 스트림의 지연 보상 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 서버 시스템
110: 스티칭 서버
120: VR 영상 처리 서버
130: 스트리머
140: 단말

Claims (17)

  1. 단말에서 VR(Virtual Reality) 스트림의 지연을 보상하는 방법에 있어서,
    FOV(Field Of View)에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 수신하는 단계;
    상기 복수의 영상을 각각의 대응하는 버퍼에 저장하는 단계;
    상기 버퍼 중 중앙 버퍼에 저장된 영상을 표시하는 단계;
    제1 방향에 대한 FOV 이동 신호를 입력 받는 단계;
    상기 버퍼 중 상기 제 1 방향에 대응하는 제 1 방향 버퍼에 저장된 영상을 표시하는 단계;
    상기 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계;
    상기 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고 상기 중앙 버퍼에 저장된 영상을 표시하는 단계; 및
    상기 제 1 방향 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계
    를 포함하는, VR 스트림 지연 보상 방법.
  2. 제 1 항에 있어서,
    상기 메타 데이터는 해당 영상의 방향 정보 및 좌표 정보 중 적어도 하나를 포함하는 것인, VR 스트림 지연 보상 방법.
  3. 제 1 항에 있어서,
    상기 제 1 방향 버퍼에 저장된 영상의 표시를 중단하고 상기 중앙 버퍼에 저장된 영상을 표시하는 단계는,
    상기 중앙 버퍼에 저장된 영상의 메타 데이터에 기초하여 상기 중앙 버퍼에 저장된 영상의 FOV가 이동되었는지 판단하는 단계; 및
    상기 FOV가 이동된 경우 상기 중앙 버퍼의 영상을 표시하는 단계
    를 포함하는 것인, VR 스트림 지연 보상 방법.
  4. 제 1 항에 있어서,
    상기 제 1 방향에 대한 연속적인 FOV 이동 신호를 입력받는 단계;
    상기 제 1 방향 버퍼에 저장된 영상을 표시하는 단계;
    상기 제 1 방향 버퍼를 제외한 나머지 버퍼에 대하여 FOV가 이동된 영상을 저장하는 단계; 및
    상기 나머지 버퍼 중 제 2 방향 버퍼에 저장된 영상을 표시하고, 이후 상기 중앙 버퍼에 저장된 영상을 표시하는 단계;
    를 더 포함하는 것인, VR 스트림 지연 보상 방법.
  5. 제 1 항에 있어서,
    상기 복수의 영상은 상기 FOV에 대응하는 중앙 영상 및 상기 중앙 영상을 기준으로 상하좌우 방향에 대응하는 적어도 4개의 영상을 포함하는 것인, VR 스트림 지연 보상 방법.
  6. 제 5 항에 있어서,
    상기 상하좌우 방향에 대응하는 영상은 상기 중앙 영상과 화면의 일부가 오버랩되는 것인, VR 스트림 지연 보상 방법.
  7. 서버에서 VR 스트림의 지연을 보상하는 방법에 있어서,
    단말로부터 FOV 정보를 수신하는 단계;
    상기 FOV 정보에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 생성하는 단계;
    상기 단말로 상기 멀티 스트림을 전송하는 단계;
    상기 단말로부터 제 1 방향에 대한 FOV 이동 신호를 수신하는 단계;
    상기 제 1 방향에 대응하는 영상을 제외한 나머지 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계; 및
    상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계
    를 포함하는, VR 스트림 지연 보상 방법.
  8. 제 7 항에 있어서,
    상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 단계는, 상기 단말로부터 버퍼 이동 신호를 수신한 이후 수행되는 것인, VR 스트림 지연 보상 방법.
  9. 제 7 항에 있어서,
    상기 메타 데이터는 해당 영상의 방향 정보 및 좌표 정보 중 적어도 하나를 포함하는 것인, VR 스트림 지연 보상 방법.
  10. 제 7 항에 있어서,
    상기 멀티 스트림은 각 영상에 대한 복수의 스트림을 포함하고, 상기 각 영상에 대한 메타 데이터는 각 스트림 내의 SEI(Supplemental Enhancement Information) 메타에 저장되는 것인, VR 스트림 지연 보상 방법.
  11. 제 7 항에 있어서,
    상기 복수의 영상은 상기 FOV에 대응하는 중앙 영상 및 상기 중앙 영상을 기준으로 상하좌우 방향에 대응하는 적어도 4개의 영상을 포함하는 것인, VR 스트림 지연 보상 방법.
  12. 제 11 항에 있어서,
    상기 상하좌우 방향에 대응하는 영상은 상기 중앙 영상과 화면의 일부가 오버랩되는 것인, VR 스트림 지연 보상 방법.
  13. VR 스트림의 지연을 보상하는 시스템에 있어서,
    복수의 카메라 영상을 스티칭하여 정방형의 VR 영상을 생성하는 스티칭 서버;
    상기 정방형의 VR 영상을 구형으로 모델링하고, FOV 정보에 기초하여 상기 VR 영상을 렌더링하여 전송 가능한 영상으로 가공하는 VR 영상 처리 서버; 및
    상기 가공된 영상을 단말로 전송하는 스트리머
    를 포함하고,
    상기 VR 영상 처리 서버는,
    상기 단말로부터 FOV 정보를 수신하고,
    상기 FOV 정보에 기초하여 복수의 영상 및 각 영상에 대한 메타 데이터를 포함하는 멀티 스트림을 생성하고,
    상기 멀티 스트림을 상기 단말로 전송하고,
    상기 단말로부터 제1 방향에 대한 FOV 이동 신호를 수신하고,
    상기 제 1 방향에 대응하는 영상을 제외한 나머지 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하고,
    상기 제 1 방향에 대응하는 영상에 대해 FOV를 이동시키고, 상기 메타 데이터에 반영하는 것인, VR 스트림 지연 보상 시스템.
  14. 제 13 항에 있어서,
    상기 복수의 영상은 상기 VR 영상의 일부 영역인 것인, VR 스트림 지연 보상 시스템.
  15. 제 13 항에 있어서,
    상기 메타 데이터는 해당 영상의 방향 정보 및 좌표 정보 중 적어도 하나를 포함하는 것인, VR 스트림 지연 보상 시스템.
  16. 제 13 항에 있어서,
    상기 복수의 영상은 상기 FOV에 대응하는 중앙 영상 및 상기 중앙 영상을 기준으로 상하좌우 방향에 대응하는 적어도 4개의 영상을 포함하는 것인, VR 스트림 지연 보상 시스템.
  17. 제 13 항에 있어서,
    상기 상하좌우 방향에 대응하는 영상은 상기 중앙 영상과 화면의 일부가 오버랩되는 것인, VR 스트림 지연 보상 시스템.
KR1020160129125A 2016-10-06 2016-10-06 Vr 스트림의 지연을 보상하는 방법 및 시스템 KR102644833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160129125A KR102644833B1 (ko) 2016-10-06 2016-10-06 Vr 스트림의 지연을 보상하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160129125A KR102644833B1 (ko) 2016-10-06 2016-10-06 Vr 스트림의 지연을 보상하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180038256A true KR20180038256A (ko) 2018-04-16
KR102644833B1 KR102644833B1 (ko) 2024-03-07

Family

ID=62082179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160129125A KR102644833B1 (ko) 2016-10-06 2016-10-06 Vr 스트림의 지연을 보상하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102644833B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020013454A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
CN110809170A (zh) * 2019-10-09 2020-02-18 北京达佳互联信息技术有限公司 延时确定方法及装置、商品链接展示方法及装置和服务器
KR20200086059A (ko) * 2019-01-08 2020-07-16 주식회사 원이멀스 Ｖｒ 체험 공간에서 사용자의 불편감을 해소하기 위한 ｖｒ 컨텐츠 생성 시스템 및 방법
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
WO2021107703A1 (ko) * 2019-11-28 2021-06-03 주식회사 알파서클 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
US11412199B2 (en) 2019-01-31 2022-08-09 Alphacircle Co., Ltd. Method and device for implementing frame synchronization by controlling transit time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020073841A (ko) * 2001-03-16 2002-09-28 한국과학기술원 3차원 볼륨-단면 결합 영상 생성 방법
KR20150079577A (ko) * 2012-10-25 2015-07-08 엘지전자 주식회사 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
US20150287158A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020073841A (ko) * 2001-03-16 2002-09-28 한국과학기술원 3차원 볼륨-단면 결합 영상 생성 방법
KR20150079577A (ko) * 2012-10-25 2015-07-08 엘지전자 주식회사 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
US20150287158A1 (en) * 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
US10834375B2 (en) 2018-07-06 2020-11-10 Lg Electronics Inc. Method and apparatus for transmitting and receiving metadata for coordinate system of dynamic viewpoint
WO2020013454A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
KR20200086059A (ko) * 2019-01-08 2020-07-16 주식회사 원이멀스 Ｖｒ 체험 공간에서 사용자의 불편감을 해소하기 위한 ｖｒ 컨텐츠 생성 시스템 및 방법
WO2020159301A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
KR20200095004A (ko) * 2019-01-31 2020-08-10 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
CN113383539A (zh) * 2019-01-31 2021-09-10 株式会社阿尔法空间 用于控制多个分割影像中再生影像的切换时刻的虚拟现实分割影像切换方法及虚拟现实影像再生装置
US11321845B2 (en) 2019-01-31 2022-05-03 Alphacircle Co., Ltd. Method and device for controlling transit time of reproduced image among a plurality of segmented images
CN113383539B (zh) * 2019-01-31 2022-08-02 株式会社阿尔法空间 虚拟现实分割影像切换方法及虚拟现实影像再生装置
US11412199B2 (en) 2019-01-31 2022-08-09 Alphacircle Co., Ltd. Method and device for implementing frame synchronization by controlling transit time
CN110809170A (zh) * 2019-10-09 2020-02-18 北京达佳互联信息技术有限公司 延时确定方法及装置、商品链接展示方法及装置和服务器
WO2021107703A1 (ko) * 2019-11-28 2021-06-03 주식회사 알파서클 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
US11325032B2 (en) 2019-11-28 2022-05-10 Aplhacircle Co., Ltd. Virtual reality image playing device and method for playing multiple virtual reality images by using one streaming image

Also Published As

Publication number Publication date
KR102644833B1 (ko) 2024-03-07

Similar Documents

Publication Publication Date Title
US10880522B2 (en) Hybrid media viewing application including a region of interest within a wide field of view
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN109416931B (zh) 用于视线跟踪的装置和方法
KR102545195B1 (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US9930270B2 (en) Methods and apparatuses for controlling video content displayed to a viewer
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
US10015527B1 (en) Panoramic video distribution and viewing
US8867886B2 (en) Surround video playback
US9485493B2 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
US20130129304A1 (en) Variable 3-d surround video playback with virtual panning and smooth transition
US8918737B2 (en) Zoom display navigation
US20220103873A1 (en) Computer program, method, and server apparatus
KR20190121867A (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
US10511767B2 (en) Information processing device, information processing method, and program
KR101905638B1 (ko) 동영상 재생 장치 및 방법
US9325776B2 (en) Mixed media communication
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
US20240146863A1 (en) Information processing device, information processing program, and recording medium
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
KR20150073573A (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
CN116112617A (zh) 演播画面的处理方法、装置、电子设备及存储介质
KR102149004B1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
KR102524987B1 (ko) 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant