KR102220091B1 - 시선 기반의 360도 영상 스트리밍 - Google Patents

시선 기반의 360도 영상 스트리밍 Download PDF

Info

Publication number
KR102220091B1
KR102220091B1 KR1020180147076A KR20180147076A KR102220091B1 KR 102220091 B1 KR102220091 B1 KR 102220091B1 KR 1020180147076 A KR1020180147076 A KR 1020180147076A KR 20180147076 A KR20180147076 A KR 20180147076A KR 102220091 B1 KR102220091 B1 KR 102220091B1
Authority
KR
South Korea
Prior art keywords
image
content data
degree
movement
tile
Prior art date
Application number
KR1020180147076A
Other languages
English (en)
Other versions
KR20200061592A (ko
Inventor
류은석
장동민
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020180147076A priority Critical patent/KR102220091B1/ko
Publication of KR20200061592A publication Critical patent/KR20200061592A/ko
Application granted granted Critical
Publication of KR102220091B1 publication Critical patent/KR102220091B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서에 개시된 영상 재생 장치는 영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360 컨텐츠 데이터에 대한 시그널링(signaling) 정보를 수신하는 통신부, 360도 컨텐츠 데이터를 디코딩하는 디코더, 디코딩된 360도 컨텐츠 데이터를 렌더링(rendering)하고 렌더링된 상기 360도 컨텐츠 데이터의 표시를 제어하는 제어부 및 사용자의 머리 움직임 및 시선 움직임을 획득하는 센서부를 포함하고, 제어부는 머리 움직임 또는 시선 움직임 중 적어도 어느 하나와 시그널링 정보에 기반하여 영상 전송 장치로 360도 컨텐츠 데이터를 요청할 수 있다.

Description

시선 기반의 360도 영상 스트리밍{360 DEGREE VIDEO STREAMING BASED ON EYE GAZE TRACKING}
본 명세서는 시선에 기반한 360도 영상을 스트리밍하는 것에 관한 것이다.
최근 가상 현실 기술 및 360도 영상 스트리밍 장비의 발달과 함께 머리 장착형 영상장치(Head-Mounted Display; HMD)와 같은 착용 가능한 기기들이 선보이고 있다. 이를 통한 여러 서비스 시나리오 중에는 대표적으로 영화 관람 및 게임 등이 존재하고, 게임 같은 콘텐츠들은 일반 사용자들이 쉽게 접할 수 있고 머리 장착형 영상장치를 구입하는 요인이 되는 콘텐츠이다.
클라우드 기반 게임 컨텐츠 스트리밍 역시 널리 보급되고 있는데, 이는 서버에서 게임과 관련된 주요 연산들이 처리되고 클라이언트는 서버에 접속하여 게임 화면 컨텐츠를 전송 받아 게임을 즐기는 기술이다. 이 기술은 클라이언트의 연산 성능에 제약 없이 고 사양 게임을 즐기 수 있는 장점이 존재한다.
또한, 가상 현실(VR, Virtual Reality)을 포함한 고화질 영상 컨텐츠에 대한 소비자의 욕구가 증대하고 있으며, 더불어 실시간 및 VOD(Video On-Demand)영상 컨텐츠 스트리밍 기술 및 장비 또한 발전하고 있다. 머리 장착형 영상 재생 장치를 이용하여 고화질 영상 컨텐츠를 실시간 또는 사용자 요구에 따른 스트리밍할 때, 사용자는 매우 넓은 시야각에서 대형 화면으로 영상 컨텐츠를 볼 수 있는 것과 유사한 경험을 가질 수 있다.
무선 네트워크의 발달과 함께 스트리밍 가능한 컨텐츠의 화질은 향상되고 있으나, 사용자 눈에는 매우 넓게 보이는 360도 영상 전체를 담는 비디오 화소 수가 매우 높아야 하므로 처리해야 할 많은 비디오 데이터로 인해 사용자의 머리 움직임에 빠르게 응답하기 어렵다는 문제점이 여전히 존재한다.
종래 360도 영상 컨텐츠 스트리밍 기술의 사용자의 머리 움직임에 빠르게 응답하기 어렵다는 문제점에 대해서, 사용자 시점(뷰 포트, Viewport) 및 시선을 반영한 고해상도 360도 영상 컨텐츠를 전송하는 장치 및 방법이 필요하게 되었다.
또한, 사용자 시점 영역이 변경되었을 때 변경된 시점 영역에 따른 영상 컨텐츠를 표시하는데 걸리는 지연 시간을 최소화하는 장치 및 방법이 필요하다.
또한, 영상의 특성 정보 또는 사용자 시선 추적의 정확성 및 유효성에 기반하여 미리 예상되는 시점 영역에 따른 유효한 영상 컨텐츠를 전송하는 장치 및 방법이 필요하다.
본 명세서는 영상 재생 장치를 제시한다. 상기 영상 재생 장치는 영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360도 컨텐츠 데이터에 대한 시그널링(signaling) 정보를 수신하는 통신부, 상기 360도 컨텐츠 데이터를 디코딩하는 디코더, 디코딩된 상기 360도 컨텐츠 데이터를 렌더링(rendering)하고 렌더링된 상기 360도 컨텐츠 데이터의 표시를 제어하는 제어부 및 사용자의 머리 움직임 및 시선 움직임을 획득하는 센서부를 포함하고, 상기 제어부는 상기 머리 움직임 또는 상기 시선 움직임 중 적어도 어느 하나와 상기 시그널링 정보에 기반하여 상기 영상 전송 장치로 360도 컨텐츠 데이터를 요청할 수 있다.
상기 영상 재생 장치 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
상기 360도 컨텐츠 데이터는 적어도 하나의 타일로 분할되고, 상기 제어부는 상기 시선 움직임과 상기 머리 움직임의 상관 관계가 존재하는 경우, 상기 시선 움직임이 이동하는 것으로 예측되는 타일에 대하여 미리 설정된 기준 이상의 화질로 360도 컨텐츠 데이터를 요청할 수 있다.
상기 시그널링 정보는 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 정보를 포함하고, 상기 제어부는 상기 영상 움직임과 상기 머리 움직임의 상관 관계가 존재하는 경우, 상기 머리 움직임이 이동하는 것으로 예측되는 타일에 대하여 미리 설정된 기준 이상의 화질로 360도 컨텐츠 데이터를 요청할 수 있다.
상기 360도 컨텐츠 데이터는 적어도 하나의 타일로 분할되고, 상기 시그널링 정보는 상기 타일 별 중요도 정보를 포함하고, 상기 제어부는 상기 머리 움직임이 상기 중요도 정보가 미리 설정된 기준 이상의 타일로 이동하는 것으로 판단되는 경우, 상기 중요도 정보가 미리 설정된 기준 이상의 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
상기 시그널링 정보는 상기 수신된 360도 컨텐츠 데이터의 물체 움직임 또는 물체의 존재 정도와 관련된 복잡도 정보를 포함하고, 상기 제어부는 상기 복잡도 정보에 기반하여 상기 시선 움직임이 유효한 것으로 판단한 경우 상기 시선 움직임에 기반하여 예측된 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
한편, 본 명세서는 영상 재생 장치의 동작 방법을 제시한다. 상기 영상 재생장치의 동작 방법은 영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360도 컨텐츠 데이터에 대한 시그널링 정보를 수신하는 동작, 상기 360도 컨텐츠 데이터를 렌더링(rendering)하여 표시하는 동작, 상기 시그널링 정보에 기반하여 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임을 판단하는 동작, 사용자의 머리 움직임 및 시선 움직임을 획득하는 동작 및 상기 머리 움직임 또는 상기 시선 움직임 중 적어도 어느 하나와 상기 시그널링 정보에 기반하여 상기 영상 전송 장치로 360도 컨텐츠 데이터를 요청하는 동작을 포함할 수 있다.
상기 영상 재생장치의 동작 방법은 상기 영상의 움직임이 존재하는 것으로 판단되고 상기 영상의 움직임이 상기 머리 움직임과 상관 관계를 갖는 경우, 360도 컨텐츠 데이터를 요청하는 동작은 상기 머리 움직임에 기반하여 예측된 타일을 미리 설정된 기준 이상의 화질로 요청하는 동작을 포함할 수 있다.
상기 영상 재생장치의 동작 방법은 상기 시그널링 정보에 포함된 타일 별 중요도 정보를 획득하는 동작을 더 포함하고, 상기 영상의 움직임이 존재하지 않는 것으로 판단되는 경우, 상기 360도 컨텐츠 데이터를 요청하는 동작은 상기 중요도 정보가 미리 설정된 기준 이상이고 상기 머리 움직임이 이동하는 것으로 예측되는 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
상기 영상 재생장치의 동작 방법은 상기 시선 움직임과 상기 머리 움직임의 상관 관계를 판단하는 동작을 더 포함하고, 상기 시선 움직임이 상기 머리 움직임과 상관 관계를 갖는 경우, 상기 360도 컨텐츠 데이터를 요청하는 동작은 상기 시선 움직임이 이동하는 것으로 예측되는 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
상기 영상 재생장치의 동작 방법은 상기 시그널링 정보에 포함된 타일 별 중요도 정보를 획득하는 동작, 상기 영상의 움직임이 존재하는 것으로 판단되고 상기 영상의 움직임이 상기 머리 움직임과 상관 관계를 갖지 않는 경우, 상기 머리 움직임이 상기 중요도 정보가 미리 설정된 기준 이상의 타일로 이동하는 지 확인하는 동작 및 상기 시선 움직임과 상기 머리 움직임의 상관 관계를 판단하는 동작을 더 포함하고, 상기 시선 움직임이 상기 머리 움직임과 상관 관계를 갖는 경우, 상기 360도 컨텐츠 데이터를 요청하는 동작은 상기 시선 움직임이 이동하는 것으로 예측되는 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
상기 영상 재생장치의 동작 방법은 상기 시그널링 정보에 포함된 타일 별 중요도 정보를 획득하는 동작, 상기 영상의 움직임이 존재하는 것으로 판단되고 상기 영상의 움직임이 상기 머리 움직임과 상관 관계를 갖지 않는 경우, 상기 머리 움직임이 상기 중요도 정보가 미리 설정된 기준 이상의 타일로 이동하는 지 확인하는 동작 및 상기 시선 움직임의 유효성을 판단하는 동작을 더 포함하고, 상기 시선 움직임이 유효한 경우, 상기 360도 컨텐츠 데이터를 요청하는 동작은 상기 시선 움직임이 이동하는 것으로 예측되는 타일을 미리 설정된 기준 이상의 화질로 요청할 수 있다.
상기 영상 재생장치의 동작 방법의 상기 시선 움직임의 유효성을 판단하는 동작은 상기 시그널링 정보에 포함된 복잡도 정보에 기반하고, 상기 복잡도 정보는 상기 수신된 360도 컨텐츠 데이터의 물체 움직임 또는 물체의 존재 정도에 기반할 수 있다.
한편 본 명세서는 영상 전송 장치의 동작 방법을 제시할 수 있다. 상기 영상전송 장치의 동작 방법은 적어도 하나의 타일 형태로 분할되는 360도 컨텐츠 데이터를 생성하는 동작, 상기 360 컨텐츠 데이터에 대한 시그널링 정보를 생성하는 동작 및 상기 360도 컨텐츠 데이터 및 상기 시그널링 정보를 클라이언트 장치로 전송하는 동작을 포함하고, 상기 시그널링 정보는 상기 타일의 복잡도 정보, 상기 타일의 영상 움직임 정보 및 상기 타일의 중요도 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 영상 전송 장치의 동작 방법의 시그널링 정보는 상기 영상 재생 장치로부터 수신된 뷰포인트(Viewpoint) 내 타일들에 대한 관심 영역의 수량, 관심 영역의 선명도 또는 영상의 시간에 따른 움직임 중 적어도 어느 하나를 더 포함할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 사용자의 머리 움직임 또는 시선 움직에 기반하여 빠르게 고해상도 360도 영상 컨텐츠를 전송하는 기술을 제공할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 사용자 시점 영역이 변경되었을 때 변경된 시점 영역에 따른 영상 컨텐츠를 표시하는데 걸리는 지연 시간을 최소화하는 기술을 제공할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 영상의 특성 정보 또는 사용자 시선 추적의 정확성에 기반하여 미리 예상되는 시점 영역에 따른 유효한 영상 컨텐츠를 전송하는 기술을 제공할 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 360도 영상 컨텐츠 전송 장치에서 다수의 재생 장치들로 360도 영상 컨텐츠 데이터를 전송할 때, 각 사용자 시점 영역들에 따라 고화질 영상을 선택적으로 전송할 수 있어서, 다수의 재생 장치가 연결된 경우에도 통신회선의 대역폭을 유연하게 확보 가능한 기술을 제공할 수 있다.
도 1은 360도 영상 전송 및 재생 시스템을 개략적으로 도시한다.
도 2 및 도 3은 360도 영상 재생 장치의 일 실시예이다.
도 4는 360도 영상 재생 장치의 렌더링의 일 실시예이다.
도 5는 360도 영상 재생 장치의 예시적인 블록 다이어그램이다.
도 6, 도 10, 도 12 및 도 14는 360도 영상 재생 장치의 동작 방법을 나타내는 흐름도이다.
도 7, 도 8, 도, 9, 도 11, 도 13 및 도 15는 360도 영상 재생 장치의 일 실시예이다.
도 16 내지 도 20은 시그널링 정보의 일 실시예이다.
도 21은 360도 영상 전송 장치의 예시적인 블록 다이어그램이다.
본 명세서에 개시된 기술은 네트워크 기반의 360도 영상 컨텐츠 전송 장치 및 재생 장치에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 전자 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 영상 전송 장치 및 영상 재생 장치를 포함하는 예시적인 360도 영상 컨텐츠 전송 시스템을 도시한다.
360도 영상 컨텐츠 전송 시스템은 360도 영상을 생성하는 360도 영상 생성 장치, 상기 입력된 360도 영상을 인코딩하여 전송하는 영상 전송 장치(인코딩은 별도의 장치에서 수행될 수도 있음), 및 상기 전송된 360도 영상을 디코딩하여 사용자에게 출력하는 하나 이상의 영상 재생 장치를 포함하도록 구성될 수 있다.
도 1은 360도 영상 생성 장치(110), 영상 전송 장치(120), 및 하나 이상의 영상 재생 장치(130)가 포함된 360도 영상 컨텐츠 전송 시스템(100)을 도시한다. 상기 360도 영상 컨텐츠 전송 시스템(100)은 가상 현실 영상 제공 시스템, 게임 영상 제공 시스템 등으로 불릴 수 있다. 도 1에 도시된 각 구성요소들의 수는 예시적인 것일 뿐 이에 제한되지 아니한다.
상기 360도 영상 생성 장치(110)는 적어도 하나 이상의 카메라 모듈을 포함하여 자신이 위치하고 있는 공간에 대한 영상을 촬영함으로써 공간 영상을 생성할 수 있다.
상기 영상 전송 장치(120)는 상기 360도 영상 생성 장치(110)에서 생성되어 입력된 영상을 스티칭(Image stitching), 프로젝션(Projection), 맵핑(Mapping), 팩킹(Packing)하여 360도 영상을 생성하고, 상기 생성된 360도 영상을 원하는 품질의 비디오 데이터로 조절한 뒤 인코딩(Encoding; 부호화)할 수 있다.
또한, 영상 전송 장치(120)는 상기 인코딩된 360도 영상에 대한 비디오 데이터와 시그널링(Signaling) 데이터를 포함하는 비트스트림 데이터를 네트워크(통신망)을 통해서 영상 재생 장치(130)로 전송할 수 있다.
상기 영상 재생 장치(130)는 수신된 비트스트림 데이터를 디코딩(Decoding; 복호화)하여 상기 영상 재생 장치(130)를 착용한 사용자에게 360도 영상을 출력할 수 있다. 상기 영상 재생 장치(130)는 머리장착형 영상장치(Head-Mounted Display; HMD)와 같은 근안 디스플레이(Near-eye display) 장치일 수 있다.
한편, 360도 영상 생성 장치(110)는 컴퓨터 시스템으로 구성되어 컴퓨터 그래픽으로 구현된 가상의 360도 공간에 대한 영상을 생성할 수도 있다. 또한, 상기 360도 영상 생성 장치(110)는 가상 현실 게임 등의 가상 현실 콘텐츠의 공급자일 수 있다.
상기 360도 영상 생성 장치(110)는 영상 전송 장치(120)에 통합된 형태로 구현될 수도 있다.
영상 재생 장치(130)는 해당 영상 재생 장치(130)를 사용하는 사용자로부터 사용자 데이터를 획득할 수 있다. 사용자 데이터는 사용자의 영상 데이터, 음성 데이터, 뷰포트 데이터(시점 데이터), 관심 영역 데이터 및 부가 데이터를 포함할 수 있다.
일 예로서, 영상 재생 장치(130)는 사용자의 영상 데이터를 획득하는 2D/3D 카메라 및 Immersive 카메라 중에서 적어도 하나를 포함할 수 있다. 2D/3D 카메라는 180도 이하의 시야각을 가지는 영상을 촬영할 수 있다. Immersive 카메라는 360도 이하의 시야각을 가지는 영상을 촬영할 수 있다.
예를 들어, 영상 재생 장치(130)는 제1 장소에 위치한 제1 사용자의 사용자 데이터를 획득하는 제1 영상 재생 장치(131), 제2 장소에 위치한 제2 사용자의 사용자 데이터를 획득하는 제2 영상 재생 장치(132), 및 제3 장소에 위치한 제3 사용자의 사용자 데이터를 획득하는 제3 영상 재생 장치(133) 중에서 적어도 하나를 포함할 수 있다.
그리고 나서, 각각의 영상 재생 장치(130)는 획득한 사용자 데이터를 네트워크를 통하여 영상 전송 장치(120)로 전송할 수 있다.
영상 전송 장치(120)는 영상 재생 장치(130)로부터 적어도 하나의 사용자 데이터를 수신할 수 있다. 영상 전송 장치(120)는 수신한 사용자 데이터를 기초로 가상 공간에 대한 전체 영상을 생성할 수 있다. 상기 전체 영상은 가상 공간 내에서 360도 방향의 영상을 제공하는 immersive 영상을 나타낼 수 있다. 영상 전송 장치(120)는 사용자 데이터에 포함된 영상 데이터를 가상 공간에 매핑하여 전체 영상을 생성할 수 있다.
그리고 나서, 영상 전송 장치(120)는 360도 전체 영상 또는 일부 그 중 일부 영역의 영상 컨텐츠 데이터를 각 사용자에게 전송할 수 있다.
각각의 영상 재생 장치(130)는 전체 또는 일부 그 중 일부 영역의 영상 컨텐츠 데이터를 수신하고, 각 사용자가 바라보는 영역에 대해 가상 공간에 렌더링 및/또는 표시(디스플레이)할 수 있다.
다른 일 예로서, 영상 재생 장치(130)는 착용한 사용자의 머리 움직임을 파악하기 위해 움직임 센서를 포함할 수 있고, 3축 기울기 센서, 자이로 센서 및/또는 가속도 센서를 포함할 수 있다.
상기 움직임 센서는 영상 재생 장치(130)의 내부 또는 외부의 소정 부위에 장착되고, 영상 재생 장치(130)의 움직임 및 기울기를 실시간으로 감지한다. 따라서, 영상 재생 장치(130)를 착용한 사용자의 머리 움직임을 알 수 있고, 이를 반영하여 영상 전송 장치(120)로 새로운 시점 영역(뷰포트, Viewport) 및 전후좌우 이동에 따라 변경되는 영상 컨텐츠의 전송을 요청할 수 있다.
본 명세서에서 개시되는 네트워크는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network; GPRS), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(metropolitan area network; MAN), 셀룰러 네트워크, 공중전화 교환 네트워크(public switched telephone network; PSTN), 개인 네트워크(personal area network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(UltraWide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
도 2는 영상 재생 장치(130)의 실시예들을 개략적으로 도시한다.
영상 재생 장치(130)는 안경 형태(210), 디스플레이부 및 제어부가 일체화된 형태(220) 또는 스마트폰 등의 기기(232)에서 제어부 및 디스플레이부가 구현되고 마운트 장치(231)와 결합되는 형태로 구현될 수 있다.
안경 형태(210)로 구현된 영상 재생 장치(130)는 디스플레이부 및 제어부가 일체화되어 구현되거나 도 3과 같은 별도의 컴퓨팅 장치(320)와 유선 또는 무선으로 연결되어 360도 영상을 표시할 수 있다.
디스플레이부 및 제어부가 일체화된 형태(220) 또는 스마트폰 등의 기기(232)와 마운트 장치(231)의 결합된 형태의 영상 재생 장치(130)는 디스플레이부 및 제어부가 일체화되어 영상 전송 장치(120)와 네트워크를 통하여 연결하여 360도 영상을 요청 및 수신하고 표시할 수 있다.
스마트폰 등의 기기(232)와 마운트 장치(231)의 결합된 형태의 영상 재생 장치(130)는 마운트 장치에 양안 렌즈 및 사용자 인터페이스 도구를 포함할 수 있고, 스마트폰 등의 기기(232)와 유선 또는 무선으로 연결되어 스마트폰 등의 기기(232)의 디스플레이부에 표시된 360도 영상을 사용자의 양안에 맞게 보여줄 수 있다. 이 경우, 영상 재생 장치(130)는 스마트폰 등의 기기(232)와 마운트 장치(231)가 결합된 형태를 지칭할 수 있다.
도 3은 영상 재생 장치(130)의 실시예를 개략적으로 도시한다.
일 실시예에서, 영상 재생 장치(130)는 디스플레이부(310)와 제어부(320)가 유선 또는 무선으로 연결되는 형태로 분리되어 구현될 수 있다.
이 경우, 영상 재생 장치(130)는 제어부(320)가 디코딩(Decoding, 복호화)한 360도 영상 중에서 디스플레이부(310)를 착용한 사용자의 시점 영역에 적합한 영역의 영상을 디스플레이부(310)로 전송하여 표시하도록 할 수 있다.
상기 제어부(320)는 영상 전송 장치(120)에 사용자가 착용한 디스플레이부(310)의 움직임에 따라 변화된 시점 영역을 계산하고, 변화된 시점 영역에 대한 영상, 또는 변화된 시점 영역을 포함하는 전체 영상 또는 변화된 시점 영역에 대한 고화질 영상을 전송할 것을 요청할 수 있다.
도 4는 타일(Tile) 형태의 360도 영상 컨텐츠의 표시에 대한 실시예를 개략적으로 도시한다.
영상 전송 장치(120)는 네트워크를 통해 적어도 하나의 영상 재생 장치(130)부터 영상 요청과 관련된 정보를 수신할 수 있고, 상기 정보에는 사용자의 시점 영역(뷰포트)에 대한 정보를 포함할 수 있다.
시점 영역에 대한 정보는 사용자가 가상 공간 내에서 어느 영역(지점)을 바라보는지 여부를 지시할 수 있다. 가상 공간 내에서 사용자가 특정 영역을 바라보면, 시점 영역 정보는 전체 360도 영상에서 상기 특정 영역으로 향하는 방향을 지시할 수 있다.
영상 전송 장치(120)는 360도 영상 컨텐츠 데이터 전체를 영상 재생 장치(130)로 전송하면서, 사용자의 시점 영역에 해당하는 영역은 고화질 데이터로 전송하거나, 변화된 시점 영역에 해당하는 영역만 고화질 영상 컨텐츠 데이터로 전송할 수 있다.
영상 전송 장치(120)(또는 인코더)는 360도 영상 컨텐츠 데이터(또는 픽처)를 직사각형 모양을 갖는 여러 타일들로 분할할 수 있다. 예를 들어, 영상 컨텐츠 데이터는 Coding Tree Unit(CTU) 단위를 경계로 분할될 수 있다. 예를 들어, 하나의 CTU는 Y CTB, Cb CTB, 및 Cr CTB를 포함할 수 있다.
전체 영상을 하나의 압축된 영상 컨텐츠 데이터로 수신하고 이를 디코딩하고 사용자가 바라보는 시점 영역을 디스플레이에 렌더링(Rendering)하여 표시하는 기술은 전체 영상(예를 들어, 360도 영역 모두에 대한 영상 컨텐츠 데이터)을 모두 영상 컨텐츠 데이터로 전송받을 수 있다. 해당 영상 컨텐츠 데이터의 총 대역폭은 매우 크므로, 국제 비디오 표준 기술 중 SVC 및 HEVC의 스케일러블 확장 표준인 스케일러블 고효율 비디오 부호화(Scalable High Efficiency Video Coding)와 같은 스케일러블 비디오 기술이 사용될 수 있다.
스케일러블 비디오 기술을 이용하여 타일 형태로 360도 영상 컨텐츠 데이터를 전송하는 경우, 영상 전송 장치(120)는 빠른 사용자 응답을 위해서 기본 계층의 비디오 데이터는 타일로 분할하지 않고 전체적으로 인코딩하고, 하나 이상의 향상 계층들의 영상 컨텐츠 데이터는 필요에 따라서 일부 또는 전체를 여러 타일들로 분할하여 인코딩할 수 있다.
360도 영상 컨텐츠 데이터를 전송하는 경우, 영상 전송 장치(120)는 빠른 사용자 응답을 위해서 사용자의 시점 영역(411)에 해당하는 부분만 고화질(고해상도 또는 고감도 등의 고 비트레이트(Bitrate) 데이터)로 전송하고 그 외 디스플레이에 표시되지 않는 사용자의 시점 영역의 이외 영역(420)은 저화질로 전송할 수 있다.
영상 전송 장치(120)는 타일 형태로 360도 영상 컨텐츠 데이터를 전송하는 경우, 사용자의 시점 영역(411)에 해당하는 타일들(410)은 고화질 데이터로 전송할 수 있고, 또한 영상 재생 장치(430)로부터 부가 데이터로 사용자의 시선 정보(441)를 수신한 경우 사용자의 시선(441)에 해당하는 타일(440)은 초고화질 데이터로 전송하고, 그 외 영역(420)은 저화질 데이터로 전송할 수 있다.
사용자의 움직임에 따라 영상 재생 장치(430)에 표시되는 시점 영역(411)은 변경되며, 영상 전송 장치(120)는 변화된 시점 영역 및 시선 정보에 따라 다시 각 화질에 맞는 영상 컨텐츠 데이터를 전송할 수 있다.
도 5는 영상 재생 장치(130)의 예시적인 구성을 나타낸 도면이다.
영상 재생 장치(130)는 제어부(510), 표시부(520), 센서부(530), 디코더(540) 및/또는 통신부(550)를 포함할 수 있다. 일 실시예로서, 영상 재생 장치(130)는 HMD(Head-Mounted Display)일 수 있고, 앞서 설명한 것처럼 제어부(510)는 표시부(520)와 통합되어 구현되거나 유선 또는 무선 연결되는 형태로 구현될 수 있다.
표시부는 LCD, LED, Micro LED 등의 디스플레이부를 포함할 수 있고, 레이져 광 출력시, 광 도파로 및 미러(Mirror)를 포함하는 홀로그램 방식의 디스플레이부를 포함할 수 있다.
센서부(530)는 사용자 시선의 움직임 및/또는 영상 재생 장치(130)가 착용된 머리의 움직임에 대한 정보를 획득할 수 있다. 예를 들어, 센서부(630)는 물체의 방위 변화를 감지하는 자이로 센서, 이동하는 물체의 가속도나 충격의 세기를 측정하는 가속도 센서, 사용자의 홍채 등을 파악할 수 있는 카메라 및/또는 적외선 센서를 포함할 수 있다.
센서부(530)는 두 쌍의 적외선 LED(Light-Emitting-Diode) 및/또는 적외선 CCD(charge　coupled　device)를 포함할 수 있고, 예를 들어, 센서부(530)는 좌우측 눈동자 영상을 촬영하여 시선을 추적하기 위해 좌측 적외선 LED, 좌측 적외선 CCD, 우측 적외선 LED, 우측 적외선 CCD를 포함할 수 있다.
디코더(540)는 통신부(55)를 통해 수신한 360도 영상 컨텐츠 데이터 및 시그널링 정보를 디코딩할 수 있다.
디코더(540)는 시그널링 정보를 기초로 360도 영상 컨텐츠 데이터를 디캡슐화(Decapsulation)한 후 디코딩할 수 있다. 예를 들어, 디코더(540)는 각 사용자의 시점 영역을 기초로 각 사용자에게 커스터마이즈된 방식으로 전체 영상을 디코딩할 수 있다. 예를 들어, 가상 공간 내에서 사용자가 특정 영역을 바라보는 경우, 디코더(540)는 가상 공간 내의 사용자 시점 영역에 해당하는 영상은 고화질로 디코딩하고, 특정 영역 이외에 해당하는 영상은 저화질로 디코딩할 수 있다.
디코더(540)는 시그널링 정보 또는 센서부(530)에서 측정된 정보를 이용하여 사용자의 시점 영역에 대한 360도 영상 컨텐츠 데이터를 우선적으로 처리할 수도 있다.
제어부(510)는 디코더(540)에서 복호화한 데이터들을 시그널링 정보를 참조하여 렌더링하고 표시부(520)에 표시하도록 제어할 수 있으며, 상기 렌더링은 평면 상에 프로젝션된 360 영상 컨텐츠 데이터를 스티칭하여 3차원 공간에 리-프로젝션(Re-projection)하는 것일 수 있다. 제어부(510)는 파싱된 시그널링 정보에 포함된 3D 모델의 타입 등 메타데이터 정보를 이용하여 360도 영상 컨텐츠 데이터를 렌더링할 수 있다.
제어부(510)는 시그널링 정보 또는 센서부(530)에서 측정된 정보를 이용하여 사용자의 시점 영역에 대한 360도 영상 컨텐츠 데이터를 우선적으로 처리하거나 해당 데이터만 처리할 수도 있다.
시그널링 정보는 360도 영상 컨텐츠 데이터에 대한 다양한 메타데이터들일 수 있으며, 해당 영상을 스티칭, 프로젝션 등의 처리하는 것과 관련될 수 있다.
예를 들어, 시그널링 정보는 360도 영상 컨텐츠 데이터가 평면 이미지 상에 프로젝션될 때 사용된 프로젝션 방식에 대한 정보를 포함할 수 있으며, 등정방형 프로젝션(Equirectangular Projection) 방식, 큐빅(Cubic) 프로젝션 방식, 실린더형(Cyliderical) 프로젝션 방식, 타일-기반(Tile-based) 프로젝션 방식 등을 지시할 수 있다.
시그널링 정보는 세션 정보를 실어 나르는 고수준 구문 프로토콜(High-Level Syntax Protocol), SEI (Supplement Enhancement Information), VUI (video usability information), 슬라이스 헤더(Slice Header) 및 360도 영상 컨텐츠 데이터를 설명하는 별도의 파일(예: DASH의 MPD) 중에서 적어도 하나를 통하여 전송 또는 수신될 수 있다.
실시예에 따라서, 센서부(530)는 영상 입력부(미도시) 및 오디오 입력부(미도시)를 포함할 수도 있다.
통신부(5500)는 방송망, 무선통신망 및/또는 브로드밴드를 통해서 외부의 클라이언트 디바이스 및/또는 서버 디바이스와 통신할 수 있다. 예를 들어, 통신부(550)는 데이터를 전송하는 전송부(미도시) 및/또는 데이터를 수신하는 수신부(미도시)를 포함할 수 있다.
도 6은 영상 재생 장치(130)의 360도 영상 재생 장치의 동작 방법을 나타내는 흐름도이다. 이하에서 설명되는 영상 재생 장치의 동작 방법은, 영상 재생 장치(130)가 수신한 360도 영상 컨텐츠 데이터를 디코딩, 렌더링하여 표시부에 표시하는 동작에서 수행될 수 있다.
영상 재생 장치(130)는 네트워크를 통하여 영상 전송 장치(120)로부터 360도 영상 컨텐츠 데이터 및 시그널링 정보를 수신하고, 이를 각각 디코딩한 후 표시부에 사용자의 시점 영역(뷰포트)에 해당하는 타일들을 디스플레이할 수 있다(S610).
시그널링 정보에는 360도 영상 컨텐츠 데이터에 해당하는 영상의 움직임이 존재하는지 여부에 대한 정보가 포함될 수 있고, 영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하는지 판단할 수 있다(S620).
일 실시예로서, 시간별 프레임에 따른 영상 자체가 회전 또는 이동할 수 있다.
도 7을 참조하면 도 7 (a)와 같이 t1 시간에서의 영상 자체가 t2 시간에서 도 7 (b)와 같이 회전할 수 있고, 시그널링 정보에는 영상 자체의 회전 정보가 포함될 수 있다.
영상 자체의 회전 여부를 지시하는 메타 데이터로서 rotation_flag 필드를 생성해 지시할 수 있고, rotation_flag가 1인 경우 영상 자체의 회전 정도를 지시하는 메타 데이터로서 구체 모델인 경우를 예로 들면 구체 모델에 대한 각 축 방향의 회전 정도를 지시하는 rotation_x, rotation_y, rotation_z로서 회전 정도를 지시할 수 있다.
영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하는 것으로 판단한 경우, 센서부를 통해 측정된 사용자의 머리 움직임과 영상의 움직임의 상관 관계를 판단할 수 있다(S630).
영상 재생 장치(130)는 판단 결과, 머리 움직임과 영상의 움직임의 방향이 미리 설정된 기준 이상의 상관 관계를 가지고 있는 것으로 판단한 경우, 영상 내의 물체를 계속 주시하는 것으로 판단할 수 있다.
이 경우, 일 실시예로서, 영상 재생 장치(130)는 머리 움직임이 도달하는 회전량 또는 이동량을 이용하여 예측되는 시점 영역의 타일을 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고, 이를 선 반입(Pre-fetching)할 수 있다(S640).
예를 들어, 영상 재생 장치(130)는 센서부를 통해 측정된 머리 움직임의 각 축별 속도 및 가속도를 측정할 수 있고, 측정된 값을 통해 추후 시점 영역을 예측할 수 있고, 다른 실시예로서 영상 재생 장치(130)는 머리 움직임과 영상의 움직임이 상관 관계를 가지고 있으므로 시그널링 정보에 포함된 영상의 움직임 정보에 기반해 추후 시점 영역을 예측할 수 있다.
도 7을 참조하여 설명하면, 도 7 (a)와 같이 t1 시간에서의 영상 자체가 t2 시간에서 도 7 (b)와 같이 회전하고, 시그널링 정보에 포함된 영상 자체의 회전 정보 rotation_x, rotation_y, rotation_y라면 해당 회전 정보를 이용하여 t1 시간에서의 머리 움직임에 해당하는 시점 영역(711)이 t2 시간에서의 머리 움직임에 해당하는 시점 영역(712)로 변경할 것으로 예측하여, 해당 시점 영역(712)에 해당하는 고화질 타일들을 선 반입하기 위해 영상 전송 장치(120)로 요청할 수 있다.
다른 실시예로서, 시간별 프레임에 따른 영상 내 물체가 이동할 수 있다.
도 8을 참조하면 도 8 (a)와 같이 t1 시간에서의 영상 내 객체(801)가 t2 시간에서 도 8 (b)의 객체(802)와 같이 이동할 수 있고, 시그널링 정보에는 영상 내 체의 이동 정보가 포함될 수 있다.
일 실시예로서, 도 9 (a)와 같이 t1 시간에서의 영상 내 객체가 t2 시간에서 도 9 (b), t3 시간에서 도 9 (c)와 같이 이동하고, 시그널링 정보에 포함된 객체의 이동 정보로서 object_translation_x[], object_translation_y[], object_translation_z[]로 지시될 수 있고, t1 시간에서의 머리 움직임에 해당하는 시점 영역(911)이 t2 시간에서의 머리 움직임에 해당하는 시점 영역(912)으로 변경할 것으로 예측하여, 해당 시점 영역(921)에 해당하는 고화질 타일들을 선 반입하기 위해 영상 전송 장치(120)로 요청할 수 있다.
다시 t2 시간에서는 t2 시간에서의 머리 움직임에 해당하는 시점 영역(912)이 t3 시간에서의 머리 움직임에 해당하는 시점 영역(913)으로 변경할 것으로 예측하여, 해당 시점 영역(922)에 해당하는 고화질 타일들을 선 반입하기 위해 영상 전송 장치(120)로 요청할 수 있다.
일 실시예로서, 객체의 이동 정보는 영상 생성 장치 또는 영상 전송 장치의 시그널링 정보 생성부(미도시)에서 영상의 프레임별 변화에 따라 생성하거나, 컨텐츠 제작자가 생성하여 제공할 수 있다.
영상 재생 장치(130)는 영상의 움직임이 존재하는 것으로 판단하고 사용자의 머리 움직임과 영상의 움직임이 상관 관계를 가진 것으로 판단한 경우, 사용자의 시선 움직임이 고정되어 있는지 여부를 판단할 수 있다(S650).
일 실시예로서, 영상 재생 장치(130)는 시선 움직임과 머리 움직임이 미리 설정된 기준 이상의 상관 관계를 가지고 있는 것으로 판단한 경우, 영상 내의 물체를 계속 주시하는 것으로 판단할 수 있다.
이 경우, 일 실시예로서, 영상 재생 장치(130)는 시선 움직임이 도달하는 회전량 또는 이동량을 이용하여 예측되는 시선 영역의 타일을 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고, 이를 선 반입할 수 있다(S660).
도 7을 참조하면, 예를 들어, 영상 재생 장치(130)는 센서부를 통해 측정된 시선 움직임의 변화를 측정할 수 있고, 시그널링 정보에 기반해 예측되는 시선 영역(722)을 예측할 수 있고, 예측되는 해당 시선 영역에 해당하는 초 고화질 타일들을 선 반입하기 위해 영상 전송 장치(120)로 요청할 수 있다.
도 10은 영상 재생 장치(130)의 360도 영상 재생 장치의 동작 방법을 나타내는 흐름도이다. 이하에서 설명되는 영상 재생 장치의 동작 방법은, 영상 재생 장치(130)가 수신한 360도 영상 컨텐츠 데이터를 디코딩, 렌더링하여 표시부에 표시하는 동작에서 수행될 수 있다.
영상 재생 장치(130)는 네트워크를 통하여 영상 전송 장치(120)로부터 360도 영상 컨텐츠 데이터 및 시그널링 정보를 수신하고, 이를 각각 디코딩한 후 표시부에 사용자의 시점 영역(뷰포트)에 해당하는 타일들을 디스플레이할 수 있다(S1010).
영상 재생 장치(130)는 앞서 설명한 것처럼 시그널링 정보를 통해 해당 영상의 움직임이 존재하는지 판단할 수 있다(S1020).
영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하는 것으로 판단한 경우, 센서부를 통해 측정된 사용자의 머리 움직임과 영상의 움직임의 상관 관계를 판단할 수 있다(S1030).
판단 결과 머리 움직임과 영상의 움직임의 방향이 미리 설정된 기준의 상관 관계를 가지고 있지 않는 것으로 판단한 경우, 머리 움직임이 시그널링 정보에 기반한 중요 타일로 이동하는지를 판단할 수 있다(S1040).
머리 움직임이 중요 타일로 이동하는 것으로 판단된 경우, 영상 재생 장치(130)는 시선 움직임의 고정성을 판단하고(S1050), 고정된 것으로 판단된 경우 시선 움직임이 예측되는 타일을 초 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고(S1050), 이를 선 반입할 수 있다.
일 실시예로서, 영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하는 것으로 판단한 경우, 센서부를 통해 측정된 사용자의 머리 움직임과 영상의 움직임의 상관 관계를 판단하고, 그 결과 머리 움직임과 영상의 움직임의 방향이 미리 설정된 기준의 상관 관계를 가지고 있지 않는 것으로 판단한 경우, 머리 움직임이 시그널링 정보에 포함된 중요한 타일로 이동하는지 판단할 수 있다.
머리 움직임이 중요한 타일로 이동하는 것으로 판단되면 시선 움직임이 머리 움직임과 미리 설정된 기준 이상의 상관 관계를 가졌는지 여부를 판단하여, 상관 관계가 있다면 시선 움직임이 고정된 것으로 판단하고 시선 움직임이 예측되는 타일을 초 고화질로 전송 요청할 수 있다.
도 11을 참조하면, 일 실시예로서 도 11 (a)와 같이 t1 시간에서의 영상 자체가 t2 시간에서 도 11 (b)와 같이 회전할 수 있고, 시그널링 정보에는 영상 자체의 회전 정보가 포함될 수 있다. 머리 움직임이 상기 시그널링 정보에 포함된 영상 자체의 회전과 기준 이상의 상관 관계가 없고, 머리 움직임이 t1 시간에서 시그널링 정보에서 중요 타일로 지시된 영역(1131) 방향으로 향하고 시선 움직임이 머리 움직임에 고정된 것으로 판단되면 영상 재생 장치(130)는 미리 해당 중요 타일을 초 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고 이를 선 반입할 수 있다.
시그널링 정보에 포함된 메타 데이터로서 타일 내 관심 영역이 존재하는 정도를 지시하는 tile_region_of_intrest_list[] 필드가 기준 이상인 경우 해당 타일을 중요 타일로 판단하도록 설정하거나, 별도의 important_tile_list 필드를 포함한 시그널링 정보로 영상 재생 장치(130)는 중요 타일을 미리 판단할 수 있다.
따라서, 변화가 심한 사용자의 시선 움직임이 유효한지 확인 가능하므로, 사용자 시점 영역이 변경되었을 때 변경된 시점 영역에 따른 영상 컨텐츠를 표시하는데 걸리는 지연 시간을 최소화하고, 정확한 사용자 시선 추적에 기반하여 미리 예상되는 시점 영역에 따른 유효한 영상 컨텐츠를 전송할 수 있는 효과가 있다.
도 12는 영상 재생 장치(130)의 360도 영상 재생 장치의 동작 방법을 나타내는 흐름도이다. 이하에서 설명되는 영상 재생 장치의 동작 방법은, 영상 재생 장치(130)가 수신한 360도 영상 컨텐츠 데이터를 디코딩, 렌더링하여 표시부에 표시하는 동작에서 수행될 수 있다.
영상 재생 장치(130)는 네트워크를 통하여 영상 전송 장치(120)로부터 360도 영상 컨텐츠 데이터 및 시그널링 정보를 수신하고, 이를 각각 디코딩한 후 표시부에 사용자의 시점 영역(뷰포트)에 해당하는 타일들을 디스플레이할 수 있다(S1210).
영상 재생 장치(130)는 앞서 설명한 것처럼 시그널링 정보를 통해 해당 영상의 움직임이 존재하는지 판단할 수 있다(S1220).
영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하지 않는 것으로 판단한 경우, 머리 움직임이 시그널링 정보에 기반한 중요 타일로 이동하는지를 판단할 수 있다(S1230).
머리 움직임이 중요 타일로 이동하는 것으로 판단된 경우, 영상 재생 장치(130)는 머리 움직임이 예측되는 타일을 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고(S1240), 시선 움직임의 머리 움직임에 대한 고정성을 판단하고(S1250), 고정된 것으로 판단된 경우 시선 움직임이 예측되는 타일을 초 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고(S1260) 이를 선 반입할 수 있다.
도 13을 참조하면, 일 실시예로서 도 13 (a) 및 (b)와 같이 t1 시간 및 t2 시간에서의 영상 자체 및 영상 내 물체의 움직임이 존재하지 않을 수 있다.
영상 재생 장치(130)는 시그널링 정보에 기반하여 영상 움직임이 존재하지 않는 것으로 판단하면, 센서부를 통해 측정한 머리 움직임이 t1 시간에서 시그널링 정보에서 중요 타일로 지시된 영역(1331) 방향으로 향하는지 판단할 수 있다.
도 13 (a)에서 t1 시간의 시점 영역(뷰포인트)(1311)이 시그널링 정보에서 중요 타일로 지시된 영역(1331) 방향으로 향하는 것으로 판단되면, 영상 재생 장치(130)는 머리 움직임을 예측하여 현재 시점 영역(1311)에서 중요 타일로 지시된 영역(1331)로 향하는 경로에 해당하는 타일들을 순차적으로 고해상도의 타일로 전송할 것을 영상 전송 장치(120)로 요청할 수 있다.
또한, 시선 움직임이 머리 움직임에 고정된 것으로 판단되면 영상 재생 장치(130)는 미리 현재 시선 영역(1321)에서 중요 타일로 지시된 영역(1331)로 향하는 경로에 해당하는 타일들을 초 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고 이를 선 반입할 수 있다.
도 14는 영상 재생 장치(130)의 360도 영상 재생 장치의 동작 방법을 나타내는 흐름도이다. 이하에서 설명되는 영상 재생 장치의 동작 방법은, 영상 재생 장치(130)가 수신한 360도 영상 컨텐츠 데이터를 디코딩, 렌더링하여 표시부에 표시하는 동작에서 수행될 수 있다.
영상 재생 장치(130)는 네트워크를 통하여 영상 전송 장치(120)로부터 360도 영상 컨텐츠 데이터 및 시그널링 정보를 수신하고, 이를 각각 디코딩한 후 표시부에 사용자의 시점 영역(뷰포트)에 해당하는 타일들을 디스플레이할 수 있다(S1410).
영상 재생 장치(130)는 앞서 설명한 것처럼 시그널링 정보를 통해 해당 영상의 움직임이 존재하는지 판단할 수 있다(S1420).
영상 재생 장치(130)는 시그널링 정보를 통해 해당 영상의 움직임이 존재하지 않는 것으로 판단한 경우, 머리 움직임이 시그널링 정보에 기반한 중요 타일로 이동하는지를 판단할 수 있다(S1430).
머리 움직임이 중요 타일로 이동하지 않는 것으로 판단된 경우, 영상 재생 장치(130)는 센서부에서 측정한 시선 움직임이 유효한지를 판단할 수 있다(S1440).
시선 움직임이 유효한 것으로 판단된 경우, 시선 움직임이 시그널링 정보에 포함된 중요한 타일로 이동하는 지를 판단하고(S1450), 시선 움직임이 예측되는 타일을 초 고화질로 전송할 것을 영상 전송 장치(120)로 요청하고(S1460) 이를 선 반입할 수 있다.
도 15를 참조하면, 일 실시예로서 도 15 (a) 및 (b)와 같이 t1 시간 및 t2 시간에서의 영상 자체 및 영상 내 물체의 움직임이 존재하지 않을 수 있다.
또한, 센서부를 통해 측정한 머리 움직임이 없어 도 t1 시간에서의 시점 영역(1511)과 t2 시간에서의 시점 영역(1512)이 같거나, 머리 움직임이 있다 하더라도 시그널링 정보에서 지시된 중요한 타일이 아닌 방향으로 움직일(미도시) 수 있다.
영상 재생 장치(130)는 시그널링 정보에 기반하여 영상 움직임이 존재하지 않는 것으로 판단하면, 센서부를 통해 측정한 머리 움직임이 t1 시간에서 시그널링 정보에서 중요 타일로 지시된 영역 방향으로 향하는지 판단할 수 있다.
도 15 (a)에서 t1 시간의 머리 움직임이 시그널링 정보에서 중요 타일로 지시된 영역 방향으로 이동하지 않는 것으로 판단되면, 영상 재생 장치(130)는 시선 움직임이 유효한지 판단할 수 있다.
일 실시예로서, 시선 움직임(시선 추적)이 유효한지를 판단하기 위해서 360도 영상 컨텐츠 데이터에 포함된 영상의 타일 별 특성 정보에 기반할 수 있다.
예를 들어, 시그널링 정보에 포함된 메타 데이터로서 tile_region_of_intrest_list [] 필드가 지시하는 타일에 포함된 관심 영역이 존재하는 정도에 기반하여, 미리 설정된 기준 이상의 관심 영역이 존재하는 타일 방향으로 시선이 움직이는 경우 해당 시선 움직임은 유효한 것으로 판단할 수 있다.
다른 실시예로서, 시그널링 정보에 포함된 메타 데이터로서 tile_sharpness_list [] 필드가 지시하는 타일 화질의 선명도에 기반하여, 미리 설정된 기준 이상의 선명도를 가진 타일 방향으로 시선이 움직이는 경우 해당 시선 움직임은 유효한 것으로 판단할 수 있다.
또 다른 실시예로서, 시그널링 정보에 포함된 메타 데이터로서 tile_complexity_list [] 필드가 지시하는 타일 내 물체 움직임과 물체가 존재하는 정도에 기반하여, 미리 설정된 기준 이상의 물체 움직임 또는 물체 존재 정도를 가진 타일 방향으로 시선이 움직이는 경우 해당 시선 움직임은 유효한 것으로 판단할 수 있다.
앞서 설명한 타일 별 특성 정보는 일례일 뿐이며, 타일의 영상 특성을 나타내는 정보는 어떤 것이라도 시그널링 정보를 통해서 시선 움직임의 유효성을 판단하는 기준으로 사용할 수 있다.
따라서, 시선 움직임이 많아 해당 시선 추적을 통하여 초 고화질 타일을 미리 선반입하기에 어려운 경우, 시선 움직임의 유효성을 판단할 수 있으므로 시선 움직임에 따른 영상 컨텐츠를 표시하는데 걸리는 지연 시간을 최소화하고, 정확한 사용자 시선 추적에 기반하여 미리 예상되는 시선 영역에 따른 영상 컨텐츠를 안정적으로 전송할 수 있는 효과가 있다.
시선 움직임이 유효한 것으로 판단되고 영상 재생 장치(130)가 시선 움직임이 시그널링 정보에서 중요 타일로 지시된 영역(1531) 방향으로 향하는 것으로 판단하면, 영상 재생 장치(130)는 시선 움직임을 예측하여 현재 시선 영역(1521)에서 중요 타일로 지시된 영역(1531)로 향하는 경로에 해당하는 타일들을 순차적으로 초 고해상도의 타일로 전송할 것을 영상 전송 장치(120)로 요청할 수 있다.
도 16은 H.264 AVC나 H.265 HEVC 등의 국제 비디오 표준에서의 SEI 메시지 페이로드(payload) 구문의 형식(tile_characteristics)의 실시예이다.
앞서 설명한 것처럼, 시그널링 정보는 세션 정보를 실어 나르는 고수준 구문 프로토콜, SEI, VUI, 슬라이스 헤더 및 DASH의 MPD와 같이 데이터를 설명하는 별도의 파일 중에서 적어도 하나를 통하여 전송 또는 수신될 수 있다.
일 실시예로서, 본 명세서에서 제시되는 신호 체계(시그널링 정보)의 표준 구문이 SEI의 189번으로 정해진 경우 SEI 페이로드 구문에,
if( payloadType = = 189)
tile_characteristics( payloadSize )
으로 추가될 수 있다.
도 17은 360도 영상 컨텐츠 데이터의 픽쳐별 시점 영역(뷰포트)의 신호 체계(시그널링 정보)의 실시예이다.
u(n)는 부호가 없는(unsigned) 'n' 비트 수를 의미하며, 'v'로 표시된 부분은 변화 가능한 비트수(표준에서는 varies로 읽힐 수 있다.)를 의미한다. 또한, i(n)은 부호가 있는(signed) 'n' 비트 수를 의미할 수 있다.
앞서 설명한 것처럼, rotation_flag은 영상 자체의 회전 여부를 지시할 수 있고, rotation_x, rotation_y, rotation_z는 영상 자체의 각 축별 회전 정도를 지시할 수 있다.
또한, translation_flag은 영상 자체의 이동 여부를 지시할 수 있고, translation_x, translation_y, translation_z는 영상 자체의 각 축별 이동 정도를 지시할 수 있다.
또한, tile_region_of_interest_list[], tile_sharpness_list[], tile_complexity_list[]는 타일 별 영상 특성 정보로서, 타일 내 관심 영역의 존재 정도, 타일 별 선명도 정보, 타일 내 물체 움직임과 물체가 존재하는 정도를 지시할 수 있다.
도 18은 360도 영상 컨텐츠 데이터의 파일, 청크, 비디오 픽처 그룹별 시점 영역(뷰포트)의 신호 체계(시그널링 정보)의 실시예이고, 각 구문의 의미론은 앞서 설명한 픽쳐별 시점 영역(뷰포트)의 신호 체계(시그널링 정보)와 유사하다.
그 외, version_info는 신호 체계(시그널링 정보) 규약의 버젼 정보를 지시하고 부호 없는 8비트의 정보로 표현될 수 있으며, file_size는 파일 크기를 지시하고 부호 없는 64 비트의 정보로 표현될 수 있으며, poc_num은 기존의 H.264 AVC 표준에서의 프레임 번호와 유사한 의미로서 HEVC 등의 비디오 표준에서의 POC(Picture Order Count) 정보를 지시하고 부호 없는 32 비트 정보로 표현될 수 잇으며, rotation_flag는 부호 없는 1 비트의 정보로 표현되어 영상이 회전 중이면 1, 회전 중이지 않으면 0으로 표현될 수 있고, translation_flag는 부호 없는 1 비트의 정보로 표현되어 영상이 이동 중이면 1, 이동 중이지 않으면 0으로 표현될 수 있다.
영상의 특성 정보에 대한 구문 의미론을 정리하면 일 실시예로서 도 19와 같을 수 있다.
전술한 정의된 구문과 의미론에 관한 정보들은 MPEG DASH와 같은 HTTP 기반의 영상 통신에서 각각 XML 형태로 표현이 될 수 있다.
도 20은 XML 형태로 표현된 예시적인 타일 정보 구문을 도시한다.
도 20을 참조하면, XML 형태로 타일의 영상 회전은 없고, 이동은 있으며 이동 정도는 각 축 방향으로 X 축 방향으로 2000, Y 축 방향으로 3000, Z 축 방향으로 -2500을 가지고 있고, 타일 개수는 6개이며 각 타일의 관심 영역 정도는 타일 순차 적으로 '15, 1, 3, 2, 2, 2'를 가지고, 각 타일의 선명도는 타일 순차 적으로 '230, 150, 100, 50, 96, 32'를 가지고, 각 타일의 복잡도는 타일 순차 적으로 '23, 60, 31, 45, 44, 240'인 것을 표현한 실시예이다.
도 21은 영상 전송 장치(120)의 360도 영상 전송 장치의 동작 방법을 나타내는 흐름도이다. 이하에서 설명되는 영상 전송 장치의 동작 방법은, 영상 생성 장치로부터 제공 받은 360도 영상 컨텐츠 데이터를 영상 재생 장치로 전송하는 동작에서 수행될 수 있다.
영상 전송 장치(120)는 360도 영상 생성 장치(110)에서 생성되어 입력된 영상을 스티칭, 프로젝션, 맵핑, 팩킹하여 360도 영상을 생성하고, 상기 생성된 360도 영상을 원하는 품질의 비디오 데이터로 조절한 뒤 인코딩하여 360도 영상 컨텐츠 데이터를 생성할 수 있다(S2110).
영상 전송 장치(120)는 상기 생성된 360도 영상에 대한 시그널링 정보를 생성하거나 360도 영상 생성 장치(110)에서 제공 받은 정보를 이용하여 시그널링 정보를 생성할 수 있다(S2120).
상기 시그널링 정보는 앞서 영상 재생 장치의 동작에 대해 설명했던 것과 동일한 구문 및 형식이 사용될 수 있다.
영상 전송 장치(120)는 영상 재생 장치(130)로부터 360도 영상 컨텐츠에 대한 요청을 수신하면, 상기 인코딩된 360도 영상에 대한 360도 영상 컨텐츠 데이터와 시그널링(Signaling) 데이터를 포함하는 비트스트림 데이터를 네트워크(통신망)을 통해서 영상 재생 장치(130)로 전송할 수 있다(S2130).
영상 전송 장치(120)는 영상 재생 장치(130)의 새로운 360도 영상 컨텐츠 데이터의 전부 또는 시점 영역 또는 시선 영역의 변경에 따라 화질이 변경된 새로운 360도 영상 컨텐츠 데이터의 일부에 대한 전송 요청을 수신하는 경우(S2240), 이에 맞게 360도 영상 컨텐츠 데이터의 전부 또는 일부를 영상 재생 장치(130)로 전송할 수 있다.
본 명세서에 제시한 360도 영상 컨텐츠 전송 및 재생 방법들은 타일 분할 기법에 대해서 이야기하고 있지만, 슬라이스(Slice), FMO(Flexible Macro Block) 등의 화면 분할을 지원하는 다른 비디오 병렬처리 기법들에도 적용 가능하다. 또한 비트 스트림을 분할하여 전송하는 스트리밍 서비스인 MPEG DASH, 마이크로소프트(MS)사의 Smooth 스트리밍(Streaming), 애플(Apple)사의 HLS (HTTP Live Streaming; HTTP 라이브 스트리밍)에도 적용 가능하다.
본 문서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록 (logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들어, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.

Claims (16)

  1. 영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360도 컨텐츠 데이터에 대한 시그널링(signaling) 정보를 수신하는 통신부;
    상기 360도 컨텐츠 데이터를 디코딩하는 디코더;
    디코딩된 상기 360도 컨텐츠 데이터를 렌더링(rendering)하고 렌더링된 상기 360도 컨텐츠 데이터의 표시를 제어하는 제어부; 및
    사용자의 머리 움직임 및 시선 움직임을 획득하는 센서부를 포함하고,
    상기 시그널링 정보는 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 정보를 포함하고,
    상기 움직임 정보는 영상 자체의 회전 여부를 나타내는 제1 필드 또는 영상 자체의 각 축 방향의 회전 정도를 나타내는 제2 필드 중 적어도 하나를 포함하며,
    상기 제1 필드가 영상 자체의 회전을 나타내는 값으로 설정된 경우, 상기 제2 필드는 상기 움직임 정보에 포함되며,
    상기 제어부는 상기 시그널링 정보에 기반하여 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임을 판단하고,
    상기 제어부는 상기 머리 움직임 또는 상기 시선 움직임 중 적어도 어느 하나, 상기 시그널링 정보 및 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 판단 결과에 기반하여 상기 영상 전송 장치로 360도 컨텐츠 데이터를 요청하며,
    상기 영상의 움직임이 존재하지 않는 것으로 판단된 경우, 상기 제어부는 상기 머리 움직임이 상기 시그널링 정보에 기반하여 중요 타일로 이동하였는지 판단하고,
    상기 머리 움직임이 상기 중요 타일로 이동하지 않는 것으로 판단된 경우, 상기 제어부는 상기 센서부에 의해 측정된 시선 움직임의 유효 여부를 판단하며,
    상기 시그널링 정보는 타일에 포함된 관심 영역이 존재하는 정도를 나타내는 제3 필드, 타일 화질의 선명도를 나타내는 제4 필드 또는 타일 내 물체 움직임과 물체가 존재하는 정도를 나타내는 제5 필드 중 적어도 하나를 더 포함하며,
    상기 제어부는 상기 제3 필드, 상기 제4 필드 또는 상기 제5 필드 중 적어도 하나에 기초하여 상기 시선 움직임의 유효 여부를 판단하는 영상 재생 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 시선 움직임이 유효한 것으로 판단된 경우, 상기 제어부는 상기 시선 움직임에 기반하여 예측된 타일을 미리 설정된 기준 이상의 화질로 요청하는 영상 재생 장치.
  6. 영상 재생 장치의 동작 방법에 있어서,
    영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360도 컨텐츠 데이터에 대한 시그널링 정보를 수신하는 동작, 상기 시그널링 정보는 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 정보를 포함하고,
    상기 움직임 정보는 영상 자체의 회전 여부를 나타내는 제1 필드 또는 영상 자체의 각 축 방향의 회전 정도를 나타내는 제2 필드 중 적어도 하나를 포함하며,
    상기 제1 필드가 영상 자체의 회전을 나타내는 값으로 설정된 경우, 상기 제2 필드는 상기 움직임 정보에 포함되며;
    상기 360도 컨텐츠 데이터를 렌더링(rendering)하여 표시하는 동작;
    상기 시그널링 정보에 기반하여 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임을 판단하는 동작;
    사용자의 머리 움직임 및 시선 움직임을 획득하는 동작; 및
    상기 머리 움직임 또는 상기 시선 움직임 중 적어도 어느 하나, 상기 시그널링 정보 및 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 판단 결과에 기반하여 상기 영상 전송 장치로 360도 컨텐츠 데이터를 요청하는 동작을 포함하되, 상기 영상 재생 장치의 동작 방법은,
    상기 영상의 움직임이 존재하지 않는 것으로 판단된 경우, 상기 머리 움직임이 상기 시그널링 정보에 기반하여 중요 타일로 이동하였는지 판단하는 동작; 및
    상기 머리 움직임이 상기 중요 타일로 이동하지 않는 것으로 판단된 경우, 센서부에 의해 측정된 시선 움직임의 유효 여부를 판단하는 동작을 더 포함하며,
    상기 시그널링 정보는 타일에 포함된 관심 영역이 존재하는 정도를 나타내는 제3 필드, 타일 화질의 선명도를 나타내는 제4 필드 또는 타일 내 물체 움직임과 물체가 존재하는 정도를 나타내는 제5 필드 중 적어도 하나를 더 포함하며,
    상기 시선 움직임의 유효 여부는 상기 제3 필드, 상기 제4 필드 또는 상기 제5 필드 중 적어도 하나에 기초하여 판단되는 영상 재생 장치의 동작 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제6 항에 있어서,
    상기 시선 움직임이 유효한 것으로 판단되는 경우, 상기 360도 컨텐츠 데이터를 요청하는 동작은 상기 시선 움직임이 이동하는 것으로 예측되는 타일을 미리 설정된 기준 이상의 화질로 요청하는 영상 재생 장치의 동작 방법.
  12. 삭제
  13. 제6 항에 있어서,
    상기 시그널링 정보는 세션 정보를 실어 나르는 고수준 구문 프로토콜(High-Level Syntax Protocol), SEI(Supplement Enhancement Information), VUI(video usability information), 슬라이스 헤더(Slice Header), 및 상기 360도 컨텐츠 데이터를 서술하는 파일 중에서 적어도 하나를 통하여 수신되는 영상 재생 장치의 동작 방법.
  14. 삭제
  15. 삭제
  16. 컴퓨팅 장치에서,
    영상 전송 장치로부터 360도 컨텐츠 데이터 및 상기 360도 컨텐츠 데이터에 대한 시그널링 정보를 수신하는 동작, 상기 시그널링 정보는 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 정보를 포함하고;
    상기 360도 컨텐츠 데이터를 렌더링(rendering)하여 표시하는 동작;
    상기 시그널링 정보에 기반하여 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임을 판단하는 동작,
    상기 움직임 정보는 영상 자체의 회전 여부를 나타내는 제1 필드 또는 영상 자체의 각 축 방향의 회전 정도를 나타내는 제2 필드 중 적어도 하나를 포함하며,
    상기 제1 필드가 영상 자체의 회전을 나타내는 값으로 설정된 경우, 상기 제2 필드는 상기 움직임 정보에 포함되며;
    사용자의 머리 움직임 및 시선 움직임을 획득하는 동작; 및
    상기 머리 움직임 또는 상기 시선 움직임 중 적어도 어느 하나, 상기 시그널링 정보 및 상기 360도 컨텐츠 데이터에 포함된 영상의 움직임 판단 결과에 기반하여 상기 영상 전송 장치로 360도 컨텐츠 데이터를 요청하는 동작을 실행시키되, 상기 컴퓨팅 장치는,
    상기 영상의 움직임이 존재하지 않는 것으로 판단된 경우, 상기 머리 움직임이 상기 시그널링 정보에 기반하여 중요 타일로 이동하였는지 판단하는 동작; 및
    상기 머리 움직임이 상기 중요 타일로 이동하지 않는 것으로 판단된 경우, 센서부에 의해 측정된 시선 움직임의 유효 여부를 판단하는 동작을 더 실행시키며,
    상기 시그널링 정보는 타일에 포함된 관심 영역이 존재하는 정도를 나타내는 제3 필드, 타일 화질의 선명도를 나타내는 제4 필드 또는 타일 내 물체 움직임과 물체가 존재하는 정도를 나타내는 제5 필드 중 적어도 하나를 더 포함하며,
    상기 시선 움직임의 유효 여부는 상기 제3 필드, 상기 제4 필드 또는 상기 제5 필드 중 적어도 하나에 기초하여 판단되는 매체에 저장된 컴퓨터프로그램.
KR1020180147076A 2018-11-26 2018-11-26 시선 기반의 360도 영상 스트리밍 KR102220091B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147076A KR102220091B1 (ko) 2018-11-26 2018-11-26 시선 기반의 360도 영상 스트리밍

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147076A KR102220091B1 (ko) 2018-11-26 2018-11-26 시선 기반의 360도 영상 스트리밍

Publications (2)

Publication Number Publication Date
KR20200061592A KR20200061592A (ko) 2020-06-03
KR102220091B1 true KR102220091B1 (ko) 2021-02-24

Family

ID=71087633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147076A KR102220091B1 (ko) 2018-11-26 2018-11-26 시선 기반의 360도 영상 스트리밍

Country Status (1)

Country Link
KR (1) KR102220091B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130667A (zh) * 2020-09-25 2020-12-25 深圳市佳创视讯技术股份有限公司 一种超高清vr视频的互动方法和系统
CN116320551B (zh) * 2023-05-25 2023-08-29 南方科技大学 一种基于多个多球面图像的多视点视频自适应传输方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656618B1 (ko) * 2015-01-15 2016-09-09 한양대학교 산학협력단 물리 객체에 대한 증강 현실 제공 방법 및 장치
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치

Also Published As

Publication number Publication date
KR20200061592A (ko) 2020-06-03

Similar Documents

Publication Publication Date Title
US10560660B2 (en) Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US11653065B2 (en) Content based stream splitting of video data
US11451838B2 (en) Method for adaptive streaming of media
WO2019202207A1 (en) Processing video patches for three-dimensional content
CN111869221B (zh) Dash对象之间的有效关联
CN112219403B (zh) 沉浸式媒体的渲染视角度量
CN109218755B (zh) 一种媒体数据的处理方法和装置
KR101898822B1 (ko) 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
KR102220091B1 (ko) 시선 기반의 360도 영상 스트리밍
WO2021198553A1 (en) An apparatus, a method and a computer program for video coding and decoding
KR102259540B1 (ko) 시선 기반의 360도 영상 스트리밍
KR102233667B1 (ko) 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
KR102209192B1 (ko) 다시점 360도 영상 처리 및 전송
WO2023284487A1 (zh) 容积媒体的数据处理方法、装置、设备以及存储介质
US20240080501A1 (en) Processing of multi-view video
JP7447298B2 (ja) 遠隔端末用の没入型テレビ会議及びテレプレゼンスのためのビットストリーム構造
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
US20230379554A1 (en) Multi-view video streaming
WO2023194648A1 (en) A method, an apparatus and a computer program product for media streaming of immersive media
KR20220062060A (ko) 폴백 비트스트림을 사용한 뷰포트 기반 스트리밍을 위한 비트스트림 구조
CN116137664A (zh) 点云媒体文件封装方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant