KR102564729B1 - 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치 - Google Patents

복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102564729B1
KR102564729B1 KR1020207031908A KR20207031908A KR102564729B1 KR 102564729 B1 KR102564729 B1 KR 102564729B1 KR 1020207031908 A KR1020207031908 A KR 1020207031908A KR 20207031908 A KR20207031908 A KR 20207031908A KR 102564729 B1 KR102564729 B1 KR 102564729B1
Authority
KR
South Korea
Prior art keywords
viewpoint
viewpoints
metadata
group
content including
Prior art date
Application number
KR1020207031908A
Other languages
English (en)
Other versions
KR20200133387A (ko
Inventor
에릭 입
배재현
양현구
소영완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200133387A publication Critical patent/KR20200133387A/ko
Application granted granted Critical
Publication of KR102564729B1 publication Critical patent/KR102564729B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 메타데이터를 전송하기 위한 방법이 제공된다. 상기 방법은, 상기 복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 식별하는 단계, 및 상기 식별된 메타데이터를 전송하는 단계를 포함하고, 상기 메타데이터는 상기 복수의 뷰포인트들 중 적어도 하나의 뷰포인트를 포함하는 뷰포인트 그룹의 식별자(ID)에 대한 정보를 포함하고, 상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트는 공통의 기준 좌표 시스템을 공유한다.

Description

복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
본 개시는 3차원(3D) 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치에 대한 것으로서, 특히, 복수의 뷰포인트(viewpoint)들을 포함하는 3차원 컨텐트에 대한 메타데이터를 전송하는 방법 및 장치에 관한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things, IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.한편, IoT을 구현을 위한 콘텐트들 역시 진화하고 있다. 즉, 흑백 컨텐트에서 컬러 컨텐트, 고선명(High Definition : HD), 초고선명(Ultra High Definition Television : UHD), 최근의 HDR(high dynamic range) 컨텐트의 표준화 및 배포로 계속 진화해 감에 따라, 오큘러스(Oculus), 삼성 기어 VR(virtual reality) 등과 같은 VR 장치들에서 재생될 수 있는 가상 현실(VR) 콘텐트에 대한 연구가 진행 중이다. VR 시스템은 사용자를 모니터링하여, 사용자가 어떤 종류의 제어기를 사용하여 콘텐트 디스플레이 장치나 프로세싱 유닛으로 피드백 입력을 제공할 수 있게 하면 그 장치나 유닛이 해당 입력을 처리하여 콘텐트를 그에 맞춰 조정함으로써 인터랙션을 가능하게 하는 시스템이다.
VR 디바이스에서 재생되는 3D 이미지는 구형 또는 원통형과 같은 입체적인 이미지일 수 있다. 3D 이미지는 전방향(omnidirectional) 이미지로서 지칭될 수 있다. VR 디바이스는 사용자의 시선 방향 등을 고려하여 3D 이미지의 특정한 영역을 디스플레이할 수 있다.
3D 컨텐트는 사용자에게 다양한 위치들에서의 경험을 제공하기 위해 복수의 뷰포인트들을 포함할 수 있다. 복수의 뷰포인트들은 각각 해당 뷰포인트를 중심으로 하는 3D 이미지에 대응할 수 있다. VR 디바이스는 복수의 뷰포인트들 중 선택된 뷰포인트에서 바라보는 3D 이미지를 디스플레이할 수 있다.
복수의 뷰포인트들 간에 스위칭이 수행되는 경우, 스위칭된 뷰포트를 어떻게 설정할 것인지가 문제될 수 있으며, 뷰포트를 스위칭하기 위한 연산을 수행하는 것은 VR 디바이스의 프로세서에 대한 로드일 수 있다.
본 개시는 복수의 뷰포인트들 간의 용이한 스위칭을 지원하기 위한 3D 컨텐트에 대한 메타데이터의 포맷을 제공하기 위한 것이다.
본 개시의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 개시의 일 실시예에 따른 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 메타데이터를 전송하기 위한 방법은, 상기 복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 식별하는 단계, 및 상기 식별된 메타데이터를 전송하는 단계를 포함하고, 상기 메타데이터는 상기 복수의 뷰포인트들 중 적어도 하나의 뷰포인트를 포함하는 뷰포인트 그룹의 식별자(ID)에 대한 정보를 포함하고, 상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트는 공통의 기준 좌표 시스템을 공유한다.
본 개시의 다른 실시예에 따른 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 정보를 처리하기 위한 방법은, 상기 복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 수신하는 단계, 및 상기 식별된 메타데이터에 기초하여 상기 전방향 컨텐트에 대한 미디어 데이터를 처리하는 단계를 포함하고, 상기 메타데이터는 상기 복수의 뷰포인트들 중 적어도 하나의 뷰포인트를 포함하는 뷰포인트 그룹의 식별자(ID)에 대한 정보를 포함하고, 상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트는 공통의 기준 좌표 시스템을 공유한다.
본 개시의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 본 개시에 의하면, 제공된 메타데이터를 통해 3D 컨텐트에 포함된 복수의 뷰포인트들을 그룹화하여 관리할 수 있다.
또, 본 개시에 의하면, 제공된 메타데이터를 통해 3D 컨텐트에 포함된 복수의 뷰포인트들의 스위칭을 지원할 수 있다.
즉, 본 개시는 임계치들 및 숙련자의 지식에 의존하지 않는 RRH의 결함을 검출하고 예측할 수 있는 방법을 제공할 수 있다.
본 개시에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 개시의 일 실시예에 따른 시스템의 블록도이다.
도 2 는 본 개시의 일 실시예에 따른 서버의 동작을 나타낸 흐름도이다.
도 3은 복수의 뷰포인트들을 그룹화하기 위한 예시적인 방법을 나타낸다.
도 4는 복수의 뷰포인트들을 정렬하기 위한 예시적인 방법을 나타낸다.
도 5는 예시적인 LoS 모드(line of switching)의 정방향(forward) 뷰포트 스위칭 모드를 나타낸다.
도 6은 예시적인 LoS 모드의 역방향(reverse) 뷰포트 스위칭 모드를 나타낸다.
도 7은 좌표계 상에서의 LoS를 나타낸다.
도 8 내지 도 10은 예시적인 중앙 추정 방식의 뷰포인트 스위칭을 나타낸다.
도 11 내지 도 13은 예시적인 깊이 추적(depth tracking) 방식의 뷰포인트 스위칭을 나타낸다.
도 14는 본 개시의 일 실시예에 따른 전자 디바이스의 동작을 나타낸 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 서버의 블록도이다.
도 16은 본 개시의 일 실시예에 따른 전자 디바이스의 블록도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 개시의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
도 1은 본 개시의 일 실시예에 따른 시스템의 블록도이다. 본 개시의 일 실시예에 따른 시스템은, 컨텐트 제공자(110), 서버(120) 및 전자 디바이스(130)를 포함할 수 있다.
컨텐트 제공자(110)는 3D 컨텐트를 생성할 수 있다. 3D 컨텐트는 복수의 뷰포인트들을 포함할 수 있다. 컨텐트 제공자(110)는 복수의 카메라들(140)에 의해 캡처된 복수의 3D 이미지들을 이용하여 3D 컨텐트를 생성할 수 있다. 복수의 카메라들(140)의 위치들은 복수의 뷰포인트들에 각각 대응할 수 있다. 몇몇 실시예들에서, 복수의 뷰포인트들의 위치는 임의로 설정될 수도 있다. 몇몇 실시예들에서 3D 컨텐트를 구성하는 복수의 3D 이미지들은 복수의 카메라들(140)에 의해 캡처된 이미지에 기초하지 않고, 가상으로 생성될 수 있다. 컨텐트 제공자(110)는 서버(120)로 3D 컨텐트에 관한 데이터를 전송할 수 있다. 몇몇 실시예들에서, 컨텐트 제공자(110)는 서버(120)와 독립적인 서버로 구성될 수 있다. 몇몇 실시예들에서, 컨텐트 제공자(110)는 서버(120)와 통합되어 구성될 수 있다.
서버(120)는 컨텐트 제공자(110)로부터 수신된 3D 컨텐트에 관한 데이터에 기초하여, 전자 디바이스(130)로 3D 컨텐트에 대한 미디어 데이터 및 3D 컨텐트에 대한 메타데이터를 전송할 수 있다. 미디어 데이터 및 메타 데이터는 독립적으로 전송될 수 있다. 몇몇 실시예들에 따르면, 미디어 데이터 및 메타데이터는 서로 개별적인 서버들로부터 전송될 수도 있다.
미디어 데이터는 3D 컨텐트를 구성하는 복수의 3D 이미지들에 대한 데이터를 포함할 수 있다. 서버(120)는 복수의 3D 이미지 각각을 프로젝션(예를 들어, ERP: equirectangular projection)하여 2D 이미지를 생성할 수 있다. 서버는 생성된 2D 이미지에 대한 데이터를, MPEG과 같은 기존의 2D 이미지에 대한 데이터를 전송하기 위한 프로토콜에 따라, 3D 컨텐트에 대한 미디어 데이터로서 전자 디바이스(130)로 전송할 수 있다. 몇몇 실시예들에 따르면, 미디어 데이터는 컨텐트 제공자(110)에 의해 생성될 수 있고, 서버(120)는 컨텐트 제공자에 의해 생성된 미디어 데이터를 전자 디바이스(130)로 전달할 수 있다.
메타데이터는 3D 컨텐트에 대한 미디어 데이터를 프로세싱하고, 3D 컨텐트를 재생하기 위해 필요한 정보를 포함할 수 있다. 본 개시의 실시예들에 따르면, 메타데이터는 3D 컨텐트에 포함된 복수의 뷰포인트들을 그룹화하기 위한 정보, 복수의 뷰포인트들을 정렬하기 위한 정보 또는 복수의 뷰포인트들 간의 스위칭을 지원하기 위한 정보를 포함할 수 있다. 몇몇 실시예들에 따르면, 컨텐트 제공자(110)는 메타데이터 생성하여 서버(120)로 제공할 수 있으며, 서버(120)는 메타데이터를 전자 디바이스(130)로 전달할 수 있다.
전자 디바이스(130)는 수신된 미디어 데이터 및 메타데이터에 기초하여 3D 컨텐트를 재생할 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(130)는 3D 컨텐트를 직접 재생하지 않고, 3D 컨텐트를 재생할 수 있는 다른 디바이스에게 3D 컨텐트를 재생하기 위한 신호를 제공할 수 있다. 전자 디바이스(130)는 VR 디바이스이거나, 또는 3D 컨텐트를 재생할 수 있는 디스플레이를 구비한 임의의 디바이스일 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(130)는 VR 디바이스 또는 3D 컨텐트를 재생할 수 있는 디스플레이를 구비한 임의의 디바이스에게 3D 컨텐트를 재생하기 위한 신호를 유선 또는 무선으로 제공할 수 있는 디바이스일 수 있다. 예를 들어, 전자 디바이스(130)는 스마트폰, 텔레비전, 개인용 컴퓨터, 랩탑, 또는 셋탑박스 등일 수 있다. 전자 디바이스(130)는 미디어 데이터에 포함된 2D 이미지에 대한 데이터로부터 3D 이미지를 복원하여, 3D 컨텐트를 재생하거나, 또는 3D 컨텐트를 재생하기 위한 신호를 생성할 수 있다.
도 2 는 본 개시의 일 실시예에 따른 서버의 동작을 나타낸 흐름도이다. 도 2와 관련하여 언급되는 서버는 도 1의 서버(120)와 실질적으로 동일할 수 있다.
서버는 복수의 뷰포인트들을 포함하는 3D 컨텐트에 대한 메타데이터를 식별할 수 있다 (210). 식별된 메타데이터는 컨텐트 제공자(110)로부터 수신되거나 또는 서버에 의해 생성될 수 있다.
서버는 식별된 메타데이터를 전송할 수 있다 (210). 서버는 3D 컨텐트에 대한 데이터를 처리할 수 있는 디바이스(예를 들어, 전자 디바이스(130))로 메타데이터를 전송할 수 있다.
본 개시의 실시예들에 따르면, 메타데이터는 3D 컨텐트에 포함된 복수의 뷰포인트들 중 그룹화된 적어도 하나의 뷰포인트들에 대한 정보를 포함할 수 있다. 일 실시예에서 그룹화된 적어도 하나의 뷰포인트들에 대한 정보는, 뷰포인트 정렬 박스(ViewpointAlignmentBox)와 같은 형태로 제공될 수 있다. 뷰포인트 정렬 박스는 프로젝션된 전방향 비디오 박스(ProjectedOmniVideoBox) 내에 포함될 수 있다. 뷰포인트 정렬 박스는, 파일(즉, 미디어 데이터) 내의 다수의 트랙들에 포함된 다수의 뷰포인트들(즉, 360 비디오들)로서 집합적으로 구성되는 컨텐트와 연관된 다양한 뷰포인트들의 정렬에 대한 정보를 제공한다. 뷰포인트들은 적어도 하나의 뷰포인트 정렬 그룹으로 그룹화되며, 각각의 그룹은 동일한 컨텐트 장면 내(예를 들어, 동일한 물리적 공간(방, 운동장, 콘서트 홀) 내)의 인접한 뷰포인트들을 포함할 수 있다. 뷰포인트들을 그룹화하는 것은 기존에 존재하는 초기 뷰잉 배향(orientation) 메커니즘과는 별개로, 뷰포인트들 사이의 스위칭 시 보다 유연한 뷰포인트 변경 메커니즘들을 허용할 수 있다. 뷰포인트는 (단일 트랙 전달의 경우) 단일 트랙 내에 포함되는 컨텐트에 의해 표현될 수 있거나, 아니면, (다중-트랙 전달의 경우) 타일 기반 트랙을 포함하며, 타일 기반 트랙과 연관되는 모든 타일 트랙들에 의해 표현되는 컨텐트에 의해 표현될 수 있다. 뷰포인트 정렬 박스 내의 신택스(syntax)는 파일들(예를 들어, 동일한 뷰포인트로부터의 컨텐트를 나타내는 트랙 그룹 타입을 갖는 동일한 트랙 그룹 식별자(ID)를 갖는 트랙들) 내의 다양한 뷰포인트들을 식별하는 방법이 존재한다고 가정한다. 예시적인 뷰포인트 정렬 박스의 신택스는 다음과 같다.
Figure 112020117786950-pct00001
위 신택스의 각 필드들의 시맨틱스(semantics)는 다음과 같다.
num_alignment_groups: 동일한 그룹 내의 모든 뷰포인트들에 대해 좌표 축들이 정렬될 수 있는 뷰포인트 정렬 그룹들의 수를 특정한다.
default_viewpoint_id: 뷰포인트 정렬 그룹 내의 모든 뷰포인트 정렬 오프셋들이 정규화되는(normalized) 디폴트 뷰포인트의 ID를 특정한다.
num_aligned_viewpoints: 해당 뷰포인트 정렬 그룹 내에서 뷰포인트 정렬 오프셋들이 주어지는 뷰포인트들의 수를 특정한다.
viewpoint_id: 뷰포인트 정렬 오프셋 회전들이 주어지는 뷰포인트의 ID를 특정한다.
rotation_yaw, rotation_pitch, 및 rotation_roll: 디폴트 뷰포인트의 글로벌 좌표 축들에 대해, 2-16 도의 단위들로, 디폴트 뷰포인트의 글로벌 좌표 축들에 정렬하기 위해 뷰포인트의 글로벌 좌표 축들을 변환하기 위해 단위 구(unit sphere)에 적용되는 요우(yaw), 피치(pitch) 및 롤(roll) 각도들을 특정한다. rotation_yaw는 -180×216 이상 180×216 - 1 이하의 범위에 있을 수 있다. rotation_pitch는 -90×216 이상 90×216 이하의 범위에 있을 수 있다. rotation_roll은 -180×216 이상 180×216 - 1 이하의 범위에 있을 수 있다.
▶ 글로벌 좌표들은 컨텐트의 캡처 동안의 카메라 구성들 및 설정들에 따라 각각의 뷰포인트들에 따라 상이할 수 있으며, GPS 글로벌 좌표들과 같은 임의의 절대적인 실제 세계의 기준에 따라 사전에 정렬되지 않는 것으로 가정된다. 그러나, 글로벌 좌표들은 절대적인 실제 세계의 기준에 관하여 식별가능하다.
▶ 글로벌 좌표들의 정의는 OMAF(omnidirectional media format) v1을 따른다.
이하 도 3을 참조하여, 3D 컨텐트에 포함된 복수의 뷰포인트들을 그룹화하는 방법에 대하여 구체적으로 설명하도록 한다. 도 3은 복수의 뷰포인트들을 그룹화하기 위한 예시적인 방법을 나타낸다. 3D 컨텐트는 V1, V2 ... V8의 복수의 뷰포인트들을 포함할 수 있다. 복수의 뷰포인트들 중 인접한 뷰포인트들은 하나의 그룹을 그룹화될 수 있다. 예를 들어, 서로 인접한 V1, V2, V3, 및 V4는 제 1 그룹(G1)으로 그룹화될 수 있고, 서로 인접한 V5, V6, V7은 제 2 그룹(G2)로 그룹화될 수 있다. 몇몇 실시예들에 따르면, 3D 컨텐트에 포함된 복수의 뷰포인트들 중 적어도 일부는 그룹화되지 않을 수 있다. 예를 들어, V8은 그룹화로부터 배제되어 어떠한 그룹에도 속하지 않을 수 있다.
이하 도 4를 참조하여, 그룹 내에 포함된 복수의 뷰포인트들을 정렬하는 방법에 대하여 설명하도록 한다. 도 4는 복수의 뷰포인트들을 정렬하기 위한 예시적인 방법을 나타낸다. 도 4에 도시된 V1 및 V2는 설명의 편의를 위해 기재된 참조 번호일 뿐이며, 앞서 다른 도면에서 설명된 V1 및 V2와 반드시 동일한 것은 아니다. 이는 이후의 도면들에 대하여도 마찬가지이다. 뷰포인트들를 정렬하는 것은 뷰포인트들의 좌표 축들을 정렬하는 것을 의미할 수 있다. 뷰포인트들의 좌표 축들을 정렬하는 것은 뷰포인트의 좌표 축들 각각이 다른 뷰포인트의 상응하는 좌표 축과 평행하도록 조정하는 것을 의미할 수 있다. 뷰포인트들의 정렬은 단일의 그룹 내에서 이루어질 수 있다. 뷰포인트들의 좌표축들을 정렬하는 것은 뷰포인트들이 공통의 기준 좌표 시스템을 공유하는 것으로 해석될 수 있다. 도 4에서, V1과 V2는 동일한 뷰포인트 그룹 내에 포함된 뷰포인트들이다. V1은 뷰포인트 그룹 내의 디폴트 뷰포인트이다. 뷰포인트 그룹 내의 V1을 제외한 나머지 뷰포인트들의 좌표 축들은 디폴트 뷰포인트인 V1의 좌표 축들을 기준으로 하여 정렬될 수 있다. 예를 들어, V2의 x 축은 x2로부터 V1의 x 축인 x1에 평행하도록 x2로 정렬될 수 있다. x2를 x1으로 변환하기 위한 회전을 나타내는 값인 오프셋은 메타데이터에 포함되어 서버(120)로부터 전자 디바이스(130)로 전달될 수 있다. 도 4에서는 x축을 정렬하는 것에 대하여만 설명하였으나, y 축과 z 축도 x축과 동일한 방식으로 정렬될 수 있다. x, y, z 축들을 사용하는 좌표계 뿐만 아니라, 요우, 피치, 롤 축들을 사용하는 좌표계의 축들 또한 이와 동일한 방식으로 정렬될 수 있다. 요우, 피치, 롤 축들을 정렬하기 위한 오프셋 값들은 앞서 설명된 뷰포인트 정렬 박스내의 rotation_yaw, rotation_pitch, 및 rotation_roll로서 예시된 바 있다.
상술한 바와 같이 서버(120)는 전자 디바이스(130)로 뷰포인트 정렬 박스와 같은 그룹화된 뷰포인트에 대한 정보를 포함하는 메타데이터를 전송할 수 있으며, 전자 디바이스(130)는 수신된 메타데이터에 기초하여 그룹화된 뷰포인트들을 식별하고, 뷰포인트 그룹 내의 뷰포인트들의 좌표축들을 디폴트 뷰포인트의 좌표축들을 기준으로 하여 정렬할 수 있다.
메타데이터는 뷰포인트의 스위칭에 관한 정보를 더 포함할 수 있다. 일 실시예에서, 뷰포인트의 스위칭에 관한 정보는 뷰포인트 스위칭 모드 박스(ViewpointSwitchingModeBox)와 같은 형태로 제공될 수 있다. 뷰포인트 스위칭 모드 박스는 프로젝션된 전방향 비디오 박스(ProjectedOmniVideoBox) 내에 포함될 수 있다. 뷰포인트 스위칭 모드 박스는 파일(즉, 미디어 데이터) 내의 다수의 트랙들에 포함된 다수의 뷰포인트들(즉, 360 비디오들)로서 집합적으로 구성되는 컨텐트와 연관된 다양한 뷰포인트들의 스위칭 모드에 대한 정보를 제공한다. 뷰포인트는 (단일 트랙 전달의 경우) 단일 트랙 내에 포함되는 컨텐트에 의해 표현될 수 있거나, 아니면, (다중-트랙 전달의 경우) 타일 기반 트랙을 포함하며, 타일 기반 트랙과 연관되는 모든 타일 트랙들에 의해 표현되는 컨텐트에 의해 표현될 수 있다. 뷰포인트 스위칭 모드 박스내의 신택스는 파일들(예를 들어, 동일한 뷰포인트로부터의 컨텐트를 나타내는 트랙 그룹 타입을 갖는 동일한 트랙 그룹 식별자(ID)를 갖는 트랙들) 내의 다양한 뷰포인트들을 식별하는 방법이 존재한다고 가정한다. 예시적인 뷰포인트 스위칭 모드 박스의 신택스는 다음과 같다.
Figure 112020117786950-pct00002
위 신택스의 각 필드들의 시맨틱스는 다음과 같다.
num_viewpoints: 스위칭 모드가 특정된 뷰포인트들의 수를 특정한다.
viewpoint_id: 스위칭 모드가 특정된 뷰포인트의 ID를 특정한다.
los_flag: 0과 동일한 los_flag는 뷰포인트에 대해 비-LoS(non-line of switching) 모드를 나타낸다. 1과 동일한 los_flag는 뷰포인트에 대해 LoS 모드를 나타낸다.
los_mode: 0과 동일한 los_mode는 뷰포인트로 스위칭될 때, 해당 뷰포인트에 대한 역방향(reverse) 뷰포트(viewport) 스위칭 모드를 나타낸다. 1과 동일한 los_mode는 뷰포인트로 스위칭될 때, 해당 뷰포인트에 대한 정방향(forward) 뷰포트 스위칭 모드를 나타낸다
몇몇 실시예들에서, 뷰포인트 스위칭 모드 박스와 같은 뷰포인트의 스위칭에 관한 정보는 단일의 뷰포인트 그룹 내의 뷰포인트들 간의 스위칭에 대한 정보를 나타내기 위해 이용될 수 있다. 단일의 뷰포인트 그룹 내의 뷰포인트들의 좌표축들은 정렬될 수 있으므로, 단일의 뷰포인트 그룹 내의 LoS 모드의 뷰포인트 스위칭은 용이하게 수행될 수 있다.
LoS 모드는 뷰포인트들 간의 스위칭이 이루어질 때, 스위칭되기 전의 뷰포인트에서의 뷰포트의 방향과 스위칭된 이후의 뷰포인트에서의 뷰포트의 방향이 동일하도록 설정되는 뷰포인트 스위칭 모드를 지칭할 수 있다. 몇몇 실시예들에서, 스위칭되는 뷰포인트들을 연결하는 직선과 스위칭되기 전의 뷰포인트에서의 뷰포트의 방향이 평행한 경우, 스위칭될 뷰포인트에 대해 LoS 모드가 설정될 수 있다. LoS 모드는 정방향 뷰포트 스위칭 모드 및 역방향 뷰포트 스위칭 모드를 포함할 수 있다.
도 5는 예시적인 LoS 모드의 정방향 뷰포트 스위칭 모드를 나타낸다. 도 5의 예시에서, V1으로부터 V2로 뷰포인트들의 스위칭이 이루어질 수 있다. 정방향 뷰포트 스위칭 모드에서 V1에서의 뷰포트(VP1)의 방향과 V2에서의 뷰포트(VP2)의 방향은 동일할 수 있다. 즉, VP1의 방향과 VP2의 방향의 차이는 0°일 수 있다.
도 6은 예시적인 LoS 모드의 역방향 뷰포트 스위칭 모드를 나타낸다. 도 6의 예시에서, V1으로부터 V2로 뷰포인트들의 스위칭이 이루어질 수 있다. 정방향 뷰포트 스위칭 모드에서 V1에서의 뷰포트(VP1)의 방향과 V2에서의 뷰포트(VP2)의 방향은 반대일 수 있다. 즉, VP1의 방향과 VP2의 방향의 차이는 180°일 수 있다.
도 7은 좌표계 상에서의 LoS를 나타낸다. V1의 뷰포트(VP1)의 좌표는 (φ1, θ1)으로 표현될 수 있다. φ1은 VP1의 방위각(azimuth)를 나타내며 θ1는 VP1의 고도(elevation)을 나타낸다. V1으로부터 V2로부터 LoS 모드의 뷰포트 스위칭이 수행되는 경우, 정방향 뷰포트 스위칭 모드에 따른 V2의 뷰포트(VP2)는 (φ1, θ1)으로 표현될 수 있으며, 역방향 뷰포트 스위칭 모드에 따른 V2의 뷰포트(VP2')는 (φ1 - 180, - θ1)으로 표현될 수 있다.
전자 디바이스(130)은 수신된 메타데이터 내의 뷰포인트 스위칭 모드 박스를 통해, 뷰포인트들 각각 대한 뷰포인트 스위칭 모드가 LoS 모드인지 여부를 식별할 수 있으며, LoS 모드인 경우, 해당 뷰포인트에 정방향 뷰포트 스위칭 모드가 적용되는지 아니면 역방향 뷰포트 스위칭 모드가 적용되는지 여부를 판단할 수 있다. 따라서, 전자 디바이스(130)는 수신된 메타데이터에 따라 특정한 뷰포인트로의 LoS 스위칭을 수행할 수 있다.
뷰포인트에 대한 스위칭 모드 중 비-LoS 모드는 중앙 추정(central estimation) 방식에 따르는 뷰포인트 스위칭 모드를 포함할 수 있다. 중앙 추정 방식은 뷰포인트 스위칭 전의 뷰포트의 방향 상의 타겟 지점을 향하도록 뷰포인트 스위칭 후의 뷰포트를 설정하는 것을 의미한다. 스위칭 전의 뷰포인트로부터 타겟 지점까지의 거리와 스위칭 후의 뷰포인트로부터 타겟 지점까지의 거리가 동일하도록 타겟 지점이 설정될 수 있다. 이하 도 8 내지 도 10을 참고하여 중앙 추정 방식에 대하여 보다 상세히 설명하도록 한다. 도 8 내지 도 10은 예시적인 중앙 추정 방식의 뷰포인트 스위칭을 나타낸다.
도 8은 V1의 Z 축의 좌표의 값(Zv1)과 V2의 Z축의 좌표의 값(Zv2)이 동일한 경우의 중앙 추정 방식을 예시한다. 타겟 지점(O)는 V1에서의 뷰포트(VP1) 상에 위치할 수 있다. V1으로부터 타겟 지점(O)까지의 거리(d1)와 V2로부터의 타겟 지점(O)까지의 거리는 동일할 수 있다. V1으로부터 V2로의 뷰포트 스위칭이 수행되는 경우 VP2는 타겟 지점(O)을 향해 설정될 수 있다. 이 경우, V1에서의 뷰포트(VP1)의 고도(θ1)와 V2에서의 뷰포트(VP2)의 고도(θ2)는 동일할 수 있다. V1에서의 뷰포트(VP1)의 방위각과 V2에서의 뷰포트(VP2)의 방위각은 변경될 수 있다. V2에서의 뷰포트(VP2)의 방위각은 V1의 좌표, V2의 좌표, V1에서의 뷰포트(VP1)의 방위각으로부터 계산될 수 있다.
도 9는 V1의 Z 축의 좌표의 값(Zv1)이 V2의 Z축의 좌표의 값(Zv2)보다 작은 경우의 중앙 추정 방식을 예시한다. 도 8에서 설명한 방식과 동일한 방식으로 타겟 지점(O) 및 스위칭된 V2에서의 뷰포트(VP2)가 설정될 수 있다. V1으로부터 V2로의 뷰포트 스위칭이 수행되는 경우, V1에서의 뷰포트(VP1)의 고도(θ1)의 값은 V2에서의 뷰포트(VP2)의 고도(θ2)의 값보다 클 수 있다. V2에서의 뷰포트(VP2)의 방위각은 V1의 좌표, V2의 좌표, V1에서의 뷰포트(VP1)의 방위각으로부터 계산될 수 있다.
도 10은 V1의 Z 축의 좌표의 값(Zv1)이 V2의 Z축의 좌표의 값(Zv2)보다 큰 경우의 중앙 추정 방식을 예시한다. 도 8에서 설명한 방식과 동일한 방식으로 타겟 지점(O) 및 스위칭된 V2에서의 뷰포트(VP2)가 설정될 수 있다. V1으로부터 V2로의 뷰포트 스위칭이 수행되는 경우, V1에서의 뷰포트(VP1)의 고도(θ1)의 값은 V2에서의 뷰포트(VP2)의 고도(θ2)의 값보다 작을 수 있다. V2에서의 뷰포트(VP2)의 방위각은 V1의 좌표, V2의 좌표, V1에서의 뷰포트(VP1)의 방위각으로부터 계산될 수 있다.
뷰포인트에 대한 스위칭 모드 중 비-LoS 모드는 깊이 추적(depth tracking) 방식(컨텐트 깊이 향상된 비-LoS 뷰포인트 스위칭)에 따르는 뷰포인트 스위칭 모드를 포함할 수 있다. 깊이 추적 방식에서 스위칭 전의 뷰포트 상의 스위칭 전의 뷰포인트로부터 특정한 거리를 갖는 지점이 타겟 지점으로 설정되고, 스위칭된 뷰포트는 타겟 지점을 향해 설정될 수 있다. 이하 도 11 내지 도 13을 통해 깊이 추적 방식의 뷰포인트 스위칭에 대하여 설명하도록 한다. 도 11 내지 도 13은 예시적인 깊이 추적(depth tracking) 방식의 뷰포인트 스위칭을 나타낸다.
도 11은 V1의 Z 축의 좌표의 값(Zv1)과 V2의 Z축의 좌표의 값(Zv2)이 동일한 경우의 깊이 추적 방식을 예시한다. 도 12은 V1의 Z 축의 좌표의 값(Zv1)이 V2의 Z축의 좌표의 값(Zv2)보다 작은 경우의 깊이 추적 방식을 예시한다. 도 13은 V1의 Z 축의 좌표의 값(Zv1)이 V2의 Z축의 좌표의 값(Zv2)보다 큰 경우의 깊이 추적 방식을 예시한다. 도 11 내지 도 13의 경우들에서, 타겟 지점(O)은 V1에서의 뷰포트(VP2) 상에서 미리 결정된 V1으로부터의 거리(d1)에 따라 결정될 수 있다. V1으로부터 타겟 지점(O)까지의 거리(d1)는 V1에 대응되는 3D 이미지의 깊이(depth)에 대응할 수 있다. V1으로부터 V2로 뷰포인트 스위칭이 수행되는 경우 V2에서의 뷰포트(VP2)는 타겟 지점을 향해 설정될 수 있다. V2에서의 뷰포트(VP2)에 대한 고도(θ2) 및 V2로부터 타겟 지점(O)까지의 거리(d2)는 V1으로부터 타겟 지점(O)까지의 거리(d1), V1과 V2 사이의 거리(dv1v2) 및 V1에서의 뷰포트(VP1)에 대한 고도(θ1)로부터 삼각도법(triangulation)에 의해 계산될 수 있다. V1에서의 뷰포트(VP1)의 방위각과 V2에서의 뷰포트(VP2)의 방위각은 변경될 수 있다. V2에서의 뷰포트(VP2)의 방위각은 V1의 좌표, V2의 좌표, V1에서의 뷰포트(VP1)의 방위각으로부터 계산될 수 있다.
깊이 추적(depth tracking) 방식의 LoS모드에서 메타데이터는 컨텐트 깊이를 나타내는 추가적인 정보를 포함할 수 있다. 이에 대한 예시적인 신택스 및 시맨틱스는 다음과 같다.
Figure 112020117786950-pct00003
viewpoint_depth: 공통의 기준 좌표 시스템에 의해 사용되는 것으로서 동일한 단위들에서 뷰포인트를 둘러싸는 관심있는 컨텐트(content of interest)의 깊이를 특정한다. viewpoint_depth는 두 개의 뷰포인트들 사이의 컨텐트 깊이 향상된 비-LoS 뷰포인트 스위칭을 위해 사용될 수 있다.
몇몇 실시예들에서, 메타데이터에 그룹화된 뷰포인트들에 대한 정보 및 뷰포인트들을 정렬하기 위한 정보를 모두 포함하는 박스를 포함할 수 있다. 몇몇 실시예들에서, 뷰포인트 정렬 박스는 그룹화된 뷰포인트들에 대한 정보 및 뷰포인트들을 정렬하기 위한 정보를 모두 포함할 수 있다. 뷰포인트 정렬 박스의 예시적인 신택스는 다음과 같다.
Figure 112020117786950-pct00004
위 신택스의 필드들 중 앞서 설명되지 않은 필드들의 시맨틱스는 다음과 같다.
alignment_group_id: 정렬 오프셋들이 정규화되는 뷰포인트들을 포함하는 정렬 그룹의 ID를 특정한다.
alignment_group_content_coverage_flag: 0과 동일한 alignment_group_content_coverage_flag는 정렬 그룹 컨텐트 커버리지 정보가 존재하지 않는다는 것을 특정한다. 1과 동일한 alignment_group_content_coverage_flag는 정렬 그룹 컨텐트 커버리지 정보가 존재한다는 것을 나타낸다. 정렬 그룹 컨텐트 커버리지 정보는 컨텐트 장면(scene)의 동일한 부분에 의해 커버되는 그룹 내의 다수의 뷰포인트들로부터의 구 영역(sphere region)들을 특정한다.
alignment_group_initial_orientation_flag: 0과 동일한 alignment_group_initial_orientation_flag는 정렬 그룹 초기 배향 정보가 존재하지 않는다는 것을 특정한다. 1과 동일한 alignment_group_initial_orientation_flag는 정렬 그룹 초기 배향 정보가 존재한다는 것을 특정한다. 정렬 그룹 초기 배향 정보는 정렬 그룹 좌표들에 대한 중심 x, y, z 위치에 의해 표현된다.
viewpoint_switch_mode: 뷰포인트로의 뷰포인트 스위치 동안 뷰포트 배향 변경의 모드를 특정한다.
0의 값의 viewpoint_switch_mode는 디폴트이며, 정방향 LoS를 나타낸다. OMAF 재생기(player)(예를 들어, 전자 디바이스(130)는 스위칭이 발생하기 직전의 뷰포인트에서와 동일한 뷰잉 배향을 유지하도록 기대된다.
1의 값의 viewpoint_switch_mode는 역방향 LoS를 나타낸다. OMAF 재생기는 스위칭이 발생하기 직전의 뷰포인트에서의 뷰포트 배향과 역방향이 되도록 뷰포인트 배향을 변경하도록 기대된다.
2의 값의 viewpoint_switch_mode는 은 중앙 비-LoS를 나타낸다. OMAF 재생기는 스위칭이 발생하기 직전의 뷰포인트에서의 뷰포트로서, (새로운 뷰포인트로 변경되더라도) 동일한 컨텐트를 포함하는 중앙으로 추정된 뷰포트 배향에 대응하도록 뷰포트 배향을 변경하도록 기대된다.
3의 값의 viewpoint_switch_mode에서, OMAF 재생기는 뷰포인트의 그룹 초기 배향에 의해 특정되는 바와 같이 글로벌 좌표축들에 대응하도록 뷰포트 배향을 변경하도록 기대된다.
viewpoint_switch_mode의 4 내지 255의 값들은 예비되어(reserved) 있다.
몇몇 실시예들에서, 메타데이터는 뷰포인트 ID들의 리스트 및 뷰포인트의 대응하는 정보 메타데이터를 발견할 위치에 대한 힌트를 위해 뷰포인트 리스트 박스를 더 포함할 수 있다. 뷰포인트 리스트 박스는 무비 박스('moov') 내에 포함된 메타('meta') 박스 내에 정의될 수 있다. 뷰포인트 리스트 박스의 예시적인 신택스는 다음과 같다.
Figure 112020117786950-pct00005
뷰포인트는 오직 하나의 트랙에 의해 표현될 수 있거나, 아니면, 각각이 360 비디오 뷰포인트의 일부를 포함하는 트랙들의 집합적인 그룹에 의해 표현될 수 있다. 각각의 뷰포인트에게는 뷰포인트 ID가 주어진다. 뷰포인트 ID는 트랙 ID들에 대해 무관하며 그리고 독립적일 수 있다. 그러나, 뷰포인트의 ID 및 컨텐트를 반송하는 트랙을 참조하고 링크하기 위한 연관의 형식이 존재해야한다. 가장 단순한 방법은 단일 트랙 전달 뷰포인트들(single track delivered viewpoints)에 대하여 뷰포인트 ID들에게 트랙 ID들의 값을 매칭시키는 것일 수 있다. 다중 트랙 전달 뷰포인트들에 대하여 트랙 그룹ID가 사용될 수 있다. 뷰포인트가 단일 트랙 또는 다중 트랙들을 통해 전달되는지 여부에 따라, 뷰포인트의 뷰포인트 ID는 1) 트랙 ID 또는 2) 트랙 그룹 ID 중 하나에 대응할 수 있다.
위의 신택스에 사용된 필드를에 대한 시맨틱스는 다음과 같다.
num_viewpoints: 파일 내에 존재하는 뷰포인트들의 수를 특정한다.
viewpoint_id: 해당 뷰포인트에 대한 구유의 ID를 나타낸다. viewpoint_delivery_type_flag의 값에 의존하여, viewpoint_id는 track_id 또는 track_group_id 중 하나와 동일하다.
initial_viewpoint_flag: 1과 동일한 initial_viewpoint_flag는 다수의 뷰포인트들을 포함하는 파일을 플레이백할 때, 플레이백될 초기/디폴트 뷰포인트로서 뷰포인트를 나타낸다. 이 플래그는 오직 하나의 뷰포인트에 대하여만 1과 동일해야 한다.
viewpoint_delivery_type_flag: 0과 동일한 viewpoint_delivery_type_flag는 뷰포인트가 단일의 트랙을 통해 반송되고, viewpoint_id에 대한 값이 track_id와 동일하다는 것을 특정한다. 1과 동일한 viewpoint_delivery_type_flag는 뷰포인트가 다수의 트랙들에 의해 반송되고 그리고 viewpoint_id에 대한 값이 동일한 뷰포인트에 속하는 트랙들의 집합적인 그룹(track_group_tyupe은 'vipo'와 동일함)의 track_group_id와 동일하다는 것을 나타낸다.
단일 트랙 뷰포인트 정보 메타데이터의 전송을 위해 새로운 박스 "vpin"(OMAF 뷰포인트 정보 박스)가 트랙 박스('trak'내에 포함된 'meta' 박스 내에서 정의될 수 있다. 임의의 뷰포인트가 뷰포인트 리스트 박스('vpli) 내에서 0과 동일한 viewpoint_delivery_type_flag를 갖는 것으로 특정되면, OMAF 뷰포인트 정보 박스는 뷰포인트에 대응하는 트랙에 대한 트랙 박스 내에 포함된 메타 박스내에 존재해야 한다. OMAF 뷰포인트 정보 박스의 예시적인 신택스는 다음과 같다.
Figure 112020117786950-pct00006
위의 신택스에 대한 시맨틱스는 다음과 같다.
viewpoint_id: 해당 뷰포인트에 대한 고유의 ID를 나타낸다. 이 박스('vpin') 내에 존재하는 경우, viewpoint_id는 이를 포함하는 트랙의 track_id와 항상 동일하다.
viewpoint_switch_mode: 초기 뷰잉(veiwing) 배향 메타데이터의 부재시, 이전의 뷰포인트로부터 해당 뷰포인트로의 뷰포인트 스위칭 동안의 뷰포트 배향 변경의 모드를 특정한다. viewpoint_switch_mode의 값들이 나타내는 내용은 다음과 같다.
0의 값의 viewpoint_switch_mode는 디폴트이며, 정방향 LoS를 나타낸다. OMAF 재생기(player)(예를 들어, 전자 디바이스(130)는 스위칭이 발생하기 직전의 뷰포인트에서와 동일한 뷰잉 배향을 유지하도록 기대된다.
1의 값의 viewpoint_switch_mode는 역방향 LoS를 나타낸다. OMAF 재생기는 스위칭이 발생하기 직전의 뷰포인트에서의 뷰포트 배향과 역방향이 되도록 뷰포인트 배향을 변경하도록 기대된다.
2의 값의 viewpoint_switch_mode는 은 중앙 비-LoS를 나타낸다. OMAF 재생기는 스위칭이 발생하기 직전의 뷰포인트에서의 뷰포트로서, (새로운 뷰포인트로 변경되더라도) 동일한 컨텐트를 포함하는 중앙으로 추정된 뷰포트 배향에 대응하도록 뷰포트 배향을 변경하도록 기대된다.
3의 값의 viewpoint_switch_mode는 정렬 그룹 초기 배향 스위칭을 나타낸다. OMAF 재생기는 뷰포인트의 정렬 그룹 초기 배향에 의해 특정되는 바와 같은 포인트에 대응하도록 뷰포트 배향을 변경하도록 기대된다.
viewpoint_switch_mode의 4 내지 255의 값들은 예비되어(reserved) 있다.
사용자가 두 개의 상이한 뷰포인트들 사이에서 스위칭할 때, 뷰포인트 변경의 이전 및 이후에서의 뷰포트에서의 배향의 변경은 서로에 관련된 뷰포인트들의 위치 및 컨텐트에 의존한다. 따라서, 정방향 LoS, 역방향 LoS, 중앙 (추정) 비-LoS, 컨텐트 깊이 향상된 비-LoS와 같은 복수의 스위칭 모드들을 포함하는, 뷰포트에 대한 다수의 뷰포인트 스위칭 모드들이 존재할 수 있다.
몇몇 실시예들에서, 복수의 뷰포인트들을 포함하는 컨텐트에 대한 메타데이터는 다음과 같은 필드들을 추가적으로 포함할 수 있다.
viewpoint_description: viewpoint_description는 뷰포인트의 원문의(textual) 설명(description)을 제공하는 널-종료된(null-terminated) UTF-8 스트링(string)이다.
viewpoint_pos_x, viewpoint_pos_y, and viewpoint_pos_z: 기준 좌표 시스템의 중심으로서, (0, 0, 0)을 갖는 3D 공간 내의 밀리미터들의 단위들로서 뷰포인트의 위치(x 좌표 값, y 좌표 값, z 좌표 값)을 특정한다.
viewpoint_gcs_yaw, viewpoint_gcs_pitch, and viewpoint_gcs_roll: 2-16도의 단위로서 기준 좌표 시스템에 대한 뷰포인트의 글로벌 좌표 시스템의 X, Y, Z 축들의 회전 각도들의 요우, 피치 및 롤 각도들을 각각 특정한다. viewpoint_gcs_yaw는 -180×216 이상 180×216-1 이하의 범위 내에 있어야 한다. viewpoint_gcs_pitch -90×216 이상 180×216의 범위 내에 있어야 한다. viewpoint_gcs_roll는 -180×216 이상 180×216-1 이하의 범위 내에 있어야 한다.
몇몇 실시예들에서, 트랙 그룹 타입 "vipo"가 정의될 수 있다. "vipo"와 동일한 track_group_type을 갖는 TrackGroupTypeBox 내의 track_group_id의 동일한 값을 포함하는 트랙들은 그들이 동일한 뷰포인트에 속하는 트랙들의 집합적인 그룹임을 나타낸다. 임의의 뷰포인트가 뷰포인트 리스트 박스("vpli") 내의 1과 동일한 viewpoint_delivery_type_flag를 갖는 것으로 특정되는 경우, 동일한 뷰포인트에 속하는 모든 트랙 내에 존재하는 "vipo"와 동일한 track_group_type 및 track_group_id의 동일한 값을 갖는 TrackGroupTypeBox가 존재해야 한다. TrackGroupTypeBox의 플래그들의 비트 0(비트 0은 least significant bit임)은 track_group_id의 고유함(uniqueness)을 나타내기 위해 사용된다. 이와 관련된 예시적인 신택스는 다음과 같다.
Figure 112020117786950-pct00007
위 신택스에 대한 시맨틱스는 다음과 같다.
viewpoint_id: 해당 뷰포인트에 대한 고유의 ID를 나타낸다. 뷰포인트에 대한 컨텐트가 트랙들의 집합적인 그룹 내에서 반송되는 경우, viewpoint_id는 동일한 TrackGroupTypeBox 내에 함께 포함된 track_group_id와 동일한 값에 대응한다.
viewpoint_switch_mode: 초기 뷰잉 배향 메타데이터의 부재 시, 뷰포인트들 모두가 동일한 정렬 그룹에 속하는 경우, 해당 뷰포인트로 이전의 뷰포인트로부터의 뷰포인트 스위칭 동안의 뷰포트배향 변경의 모드를 특정한다. viewpoint_switch_mode 의 값들에 따른 구체적인 의미는 OMAF 뷰포인트 정보 박스에서 설명한 바와 같다.
viewpoint_description: viewpoint_description는 뷰포인트의 원문의(textual) 설명(description)을 제공하는 널-종료된(null-terminated) UTF-8 스트링(string)이다.
viewpoint_pos_x, viewpoint_pos_y, and viewpoint_pos_z: 기준 좌표 시스템의 중심으로서, (0, 0, 0)을 갖는 3D 공간 내의 밀리미터들의 단위들로서 뷰포인트의 위치(x 좌표 값, y 좌표 값, z 좌표 값)을 특정한다.
viewpoint_gcs_yaw, viewpoint_gcs_pitch, and viewpoint_gcs_roll: 2-16도의 단위로서 기준 좌표 시스템에 대한 뷰포인트의 글로벌 좌표 시스템의 X, Y, Z 축들의 회전 각도들의 요우, 피치 및 롤 각도들을 각각 특정한다. viewpoint_gcs_yaw는 -180×216 이상 180×216-1 이하의 범위 내에 있어야 한다. viewpoint_gcs_pitch -90×216 이상 180×216의 범위 내에 있어야 한다. viewpoint_gcs_roll는 -180×216 이상 180×216-1 이하의 범위 내에 있어야 한다.
몇몇 실시예들에서, 새로운 트랙 그룹 타입 "algr"이 정의될 수 있다. "algr"과 동일한 track_group_type을 갖는 TrackGroupTypeBox 내의 track_group_id의 동일한 값을 포함하는 트랙들은, 그들이 동일한 정렬 그룹 내에 속하는 트랙들의 집합적인 그룹임을 나타낸다. TrackGroupTypeBox의 플래그들의 비트 0(비트 0은 least significant bit임)은 track_group_id의 고유함(uniqueness)을 나타내기 위해 사용된다. 이와 관련된 예시적인 신택스는 다음과 같다.
Figure 112020117786950-pct00008
컨텐트는 일부가 서로 상이한 장면들 및 위치들에서 캡처될 수 있는 다수의 뷰포인트들을 가질 수 있다. 모든 뷰포인트들이 동일한 기준 좌표 시스템에 정렬되는 경우, 특정한 뷰포인트 위치들은 뷰포인트 위치 메타데이터로의 표현을 위해 비합리적일 수 있다. 뷰포인트 위치 메타데이터는 두 개의 뷰포인트들 사이의 스위칭 시, 조정된(coordinated) 뷰포트 변경을 갖도록 하기 위해 주로 사용된다. 몇몇 상황들에서, 뷰포인트들의 정렬이 동일한 그룹 내에서만 다른 뷰포인트들에 대하여 존재하도록 뷰포인트들을 그룹화하고, 동일한 정렬 그룹 내에 속하지 않는 뷰포인트들은 필연적으로 정렬되지 않도록 뷰포인트들을 그룹화하는 것이 바람직할 수 있다.
group_common_reference_flag는 대응하는 정렬 그룹 내의 뷰포인트들이 정렬 그룹에 대하여 글로벌하게 아니면 로컬하게 정렬되는지 여부를 나타내기 위해 사용된다.
뷰포인트들의 그룹을 포함하는 정렬 그룹들을 정의하는 것에 의해, 그룹 내의 임의의 뷰포인트가 스위칭을 위해 선택되는 경우라도, 클라이언트 디바이스가 기준 좌표 시스템에 대하여 공간 내에서 정의되는 중심 x, y, z 포인트에 대응하는 뷰포인트들 디스플레이할 수 있도록, 정렬 그룹에 대하여 전체로서 초기 배향이 설정되는 것 또한 가능하다. 위에서 리스팅된 정렬 그룹화 메커니즘은 임의의 뷰포인트 ID를 명시적으로 특정할 필요 없이, 트랙 그룹화 디자인을 이용할 수 있다. 또한, 트랙 그룹화 메커니즘을 이용하여, 정렬 그룹을 정의하기 위해 뷰포인트 ID를 사용하는 뷰포인트들의 세트를 단순히 리스팅하는 것이 가능하며, 트랙이, 자신의 viewpoint_id가 무엇인지를 우선적으로 식별할 필요 없이, 자신의 track_group_id를 통해(track_group_id는 고유하기 때문) 동일한 정렬 그룹에 속하는지 아니면 아닌지 여부를 직접적으로 아는 것이 가능하다. 트랙의 viewpoint_id는 'vipo'와 동일한 그룹 타입을 갖는 트랙 그룹 타입 박스, 또는 OMAF 뷰포인트 정보 박스, 또는 OMAR 뷰포인트 리스트 박스 중 하나를 통해 개별적으로 알려질 수 있다.
위 신택스에 대한 시맨틱스는 다음과 같다.
alignment_group_id: 해당 정렬 그룹에 대한 고유의 ID를 나타낸다. alignment_group_id는 통상적으로 동일한 TrackGroupTypeBox 내에 함께 포함된 track_group_id와 동일한 값에 대응한다.
group_common_reference_flag: 0과 동일한 group_common_reference_flag는 해당 정렬 그룹에 속하는 뷰포인트들이 글로벌 공통 기준 좌표 시스템에 정렬된다는 것을 특정한다. 1과 동일한 group_common_reference_flag는 해당 정렬 그룹에 속하는 뷰포인트들이 해당 정렬 그룹에 고유한 로컬 공통 기존 좌표 시스템에 정렬된다는 것을 특정한다.
alignment_group_initial_orientation_flag: 0과 동일한 alignment_group_initial_orientation_flag는 정렬 그룹 초기 배향 정보가 존재하지 않는다는 것을 특정한다. 1과 동일한 alignment_group_initial_orientation_flag는 해당 정렬 그룹에 의해 사용되는 공통 기준 좌표 시스템에 대한 centre_x, centre_y, centre_z에 의해 특정되는 포인트 위치에 의해 표현되는 정렬 그룹 초기 배향 정보가 존재한다는 것을 특정한다.
이상 메타데이터에 포함될 수 있는 다양한 예시적인 정보들, 박스들, 필드들 및 파라미터들이 설명되었으나, 박스들, 필드들 및 파라미터들의 명칭들은 예시적인 것이 불과하며, 해당 기술 분야의 통상의 기술자는 박스들, 필드들 및 파라미터들의 본질적은 속성은 유지하면서 명칭들은 자유롭게 변경될 수 있다는 것을 자명하게 이해할 수 있을 것이다. 또한, 해당 기술 분야의 통상의 기술자는 필드들 및 파라미터들에 할당될 수 있는 값들과 속성들의 매칭들은 선택에 따라 변경될 수 있다는 것을 자명하게 이해할 수 있을 것이다. 메타데이터는 앞서 설명된 예시적인 박스들 중의 전부 또는 선택된 적어도 하나의 박스를 포함하여 구성될 수 있다. 앞서 설명된 박스들 각각은 해당 박스와 관련하여 설명된 필드들 중의 전부 또는 선택된 적어도 하나의 필드를 포함하여 구성될 수 있다.
도 14는 본 개시의 일 실시예에 따른 전자 디바이스의 동작을 나타낸 흐름도이다. 전자 디바이스(130)는 복수의 뷰포인트들을 포함하는 3D 컨텐트에 대한 메타데이터를 수신할 수 있다 (1410). 전자 디바이스(130)가 수신하는 메타데이터는 앞서 설명된 서버(120)가 전송한 메타데이터일 수 있다.
전자 디바이스(130)는 수신된 메타데이터에 기초하여 3D 컨텐트에 대한 미디어 데이터를 프로세싱할 수 있다 (1420). 3D 컨텐트에 대한 미디어 데이터는 서버(120)로부터 메타데이터와 함께, 또는 메타데이터와 별도로 전송될 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(130)는 메타데이터를 전송하는 서버(120)와는 상이한 서버로부터 미디어 데이터를 수신할 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(130)는 컨텐트 제공자(110)의 서버로부터 미디어 데이터를 수신할 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(130)는 CD-ROM, DVD-ROM, 하드 디스크, 플로피 디스크, 또는 USB 저장 장치와 같은 저장 장치로부터 미디어 데이터를 획득할 수 있다. 전자 디바이스(130)는 수신된 메타데이터에 기초하여 3D 컨텐트에 대한 미디어 데이터를 프로세싱하여, 전자 디바이스(130)에 포함된 디스플레이를 통해 3D 컨텐트를 재생할 수 있다. 몇몇 실시예들에서, 전자 디바이스(130)는 전자 디바이스(130)의 외부의 디스플레이를 통해 3D 컨텐트를 재생하기 위한 신호(비디오 신호 및 오디오 신호)를 외부의 디스플레이를 포함하는 다른 전자 디바이스로 전송할 수 있다.
도 15는 본 개시의 일 실시예에 따른 서버의 블록도이다. 서버(1500)는 도 1의 서버(120)와 동일할 수 있다. 서버(1500)는 제어기(1510), 송수신기(1520) 및 메모리(1530)를 포함할 수 있다.
제어기(1510)는 서버(1500)의 동작에 필요한 연산들 및 기능들을 수행할 수 있다. 제어기(1510)는 송수신기(1520) 및 메모리(1530)를 포함하는 서버(1500)를 구성하는 엘리먼트들과 연결되고, 엘리먼트들의 동작을 제어할 수 있다. 따라서, 서버(1500)의 동작은 실질적으로 제어기(1510)를 통해 수행되는 것으로 해석될 수 있다. 제어기(1510)는 적어도 하나의 프로세서를 통해 구성될 수 있다.
서버(1500)는 송수신기(1520)를 통해 다른 엔티티들과 통신을 수행할 수 있다. 송수신기(1520)는 유선 또는 무선의 통신 인터페이스들을 포함할 수 있다. 송수신기(1520)는 Wi-Fi, LTE, CDMA, Wi-Max, Wi-Bro, USB 와 같은 알려진 유선 또는 무선의 통신 프로토콜들을 이용하여 통신을 수행할 수 있다.
메모리(1530)에는 서버(1500) 및 제어기(1510)의 동작에 필요한 정보들이 저장될 수 있다. 예를 들어, 메모리(1530)는 제어기(1510)의 연산에 필요한 일시적 또는 비일시적 데이터를 저장할 수 있다. 메모리(1530)는 제어기(1510)에서 수행가능한 명령들을 저장할 수 있다. 메모리(1530)는 일시적 메모리, 비일시적 메모리, 재기록가능한(re-writable) 메모리, 재기록불가능한 메모리 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 16은 본 개시의 일 실시예에 따른 전자 디바이스의 블록도이다. 전자 디바이스(1600)는 도 1의 전자 디바이스(130)와 실질적으로 동일할 수 있다. 전자 디바이스(1600)는 제어기(1610), 송수신기(1620), 메모리(1630) 및 디스플레이(1640)을 포함할 수 있다.
제어기(1610), 송수신기(1620), 및 메모리(1630)에 대한 설명은 서버(1500)의 제어기(1510), 송수신기(1520), 및 메모리(1530)에 대한 설명과 실질적으로 동일하므로 생략하도록 한다.
디스플레이(1640)는 제어기(1610)의 제어에 기초하여 3D 컨텐트를 재생할 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(1600)는 디스플레이(1640)가 아니라 다른 전자 디바이스의 디스플레이를 통해 3D 컨텐트를 재생할 수 있다. 몇몇 실시예들에 따르면, 전자 디바이스(1600)는 디스플레이(1640)를 포함하지 않을 수도 있다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (14)

  1. 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 메타데이터를 전송하기 위한 방법으로서,
    상기 복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 식별하는 단계; 및
    상기 식별된 메타데이터를 전송하는 단계를 포함하고,
    상기 메타데이터는 상기 복수의 뷰포인트들 중 적어도 하나의 뷰포인트를 포함하는 뷰포인트 그룹의 식별자(ID)에 대한 정보를 포함하고,
    상기 뷰포인트 그룹 내의 각각의 뷰포인트는 상기 뷰포인트 그룹 내의 디폴트(default) 뷰포인트의 좌표축들에 대해 정렬되고;
    상기 디폴트 뷰포인트의 좌표축들은 상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트 사이에서 공통 기준 좌표 시스템으로서 공유되고,
    상기 복수의 뷰포인트들의 각각은 대응하는 전방향 이미지가 보여지는 위치에 대응하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹의 디스크립션에 대한 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 메타데이터는,
    상기 적어도 하나의 뷰포인트들 중의 뷰포인트의 상기 공통 기준 좌표 시스템에 대한 글로벌 좌표 시스템의 X, Y, Z 축들의 요우, 피치 및 롤 회전 각들을 각각 나타내는 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 메타데이터는,
    상기 적어도 하나의 뷰포인트 중의 뷰포인트의 상기 공통 기준 좌표 시스템에서의 위치를 나타내는 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹 내에서 뷰포인트들 간의 스위칭이 수행될 때, 스위칭될 뷰포인트에 대한 뷰포인트 스위칭 모드를 나타내는 정보를 포함하고,
    상기 뷰포인트 스위칭 모드를 나타내는 정보는 정방향 LoS(line of sight) 모드, 역방향 LoS 모드, 중앙 추정 비-LoS 모드, 및 정렬 그룹 초기 배향 스위칭 모드 중 하나를 나타내는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트 각각의 ID에 대한 정보를 더 포함하고,
    상기 적어도 하나의 뷰포인트 각각의 ID는 대응하는 뷰포인트에 대한 미디어 데이터가 트랙들의 집합적인 그룹에 의해 반송되는 경우, 상기 트랙들의 그룹의 ID와 동일하게 설정되는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 방법.
  7. 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 정보를 처리하기 위한 방법으로서,
    상기 복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 수신하는 단계; 및
    상기 수신된 메타데이터에 기초하여 상기 전방향 컨텐트에 대한 미디어 데이터를 처리하는 단계를 포함하고,
    상기 메타데이터는:
    상기 복수의 뷰포인트들 중 적어도 하나의 뷰포인트를 포함하는 뷰포인트 그룹의 식별자(ID)에 대한 정보를 포함하고,
    상기 뷰포인트 그룹 내의 각각의 뷰포인트는 상기 뷰포인트 그룹 내의 디폴트(default) 뷰포인트의 좌표축들에 대해 정렬되고,
    상기 디폴트 뷰포인트의 좌표축들은 상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트 사이에서 공통 기준 좌표 시스템으로서 공유되고
    상기 복수의 뷰포인트들의 각각은 대응하는 전방향 이미지가 보여지는 위치에 대응하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹의 디스크립션에 대한 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 메타데이터는,
    상기 적어도 하나의 뷰포인트들 중의 뷰포인트의 상기 공통 기준 좌표 시스템에 대한 글로벌 좌표 시스템의 X, Y, Z 축들의 요우, 피치 및 롤 회전 각들을 각각 나타내는 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  10. 제 7 항에 있어서,
    상기 메타데이터는,
    상기 적어도 하나의 뷰포인트 중의 뷰포인트의 상기 공통 기준 좌표 시스템에서의 위치를 나타내는 정보를 더 포함하는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  11. 제 7 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹 내에서 뷰포인트들 간의 스위칭이 수행될 때, 스위칭될 뷰포인트에 대한 뷰포인트 스위칭 모드를 나타내는 정보를 포함하고,
    상기 뷰포인트 스위칭 모드를 나타내는 정보는 정방향 LoS(line of sight) 모드, 역방향 LoS 모드, 중앙 추정 비-LoS 모드, 및 정렬 그룹 초기 배향 스위칭 모드 중 하나를 나타내는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  12. 제 7 항에 있어서,
    상기 메타데이터는,
    상기 뷰포인트 그룹 내의 상기 적어도 하나의 뷰포인트 각각의 ID에 대한 정보를 더 포함하고,
    상기 적어도 하나의 뷰포인트 각각의 ID는 대응하는 뷰포인트에 대한 미디어 데이터가 트랙들의 집합적인 그룹에 의해 반송되는 경우, 상기 트랙들의 그룹의 ID와 동일하게 설정되는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 방법.
  13. 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 메타데이터를 전송하기 위한 장치로서,
    송수신기; 및
    상기 송수신기에 연결된 제어기를 포함하고,
    상기 제어기는 상기 제 1 항 내지 제 6 항 중 어느 한 항의 방법에 따라 동작하도록 구성되는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 메타데이터를 전송하기 위한 장치.
  14. 복수의 뷰포인트들을 포함하는 전방향(omnidirectional) 컨텐트에 대한 정보를 처리하기 위한 장치로서,
    송수신기; 및
    상기 송수신기에 연결된 제어기를 포함하고,
    상기 제어기는 상기 제 7 항 내지 제 12 항 중 어느 한 항의 방법에 따라 동작하도록 구성되는,
    복수의 뷰포인트들을 포함하는 전방향 컨텐트에 대한 정보를 처리하기 위한 장치.
KR1020207031908A 2018-04-05 2019-04-02 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치 KR102564729B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862653127P 2018-04-05 2018-04-05
US62/653,127 2018-04-05
US201862679375P 2018-06-01 2018-06-01
US62/679,375 2018-06-01
PCT/KR2019/003864 WO2019194529A1 (ko) 2018-04-05 2019-04-02 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200133387A KR20200133387A (ko) 2020-11-27
KR102564729B1 true KR102564729B1 (ko) 2023-08-09

Family

ID=68101333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031908A KR102564729B1 (ko) 2018-04-05 2019-04-02 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치

Country Status (4)

Country Link
US (1) US11516454B2 (ko)
EP (1) EP3758370A4 (ko)
KR (1) KR102564729B1 (ko)
WO (1) WO2019194529A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
WO2020009344A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
EP4084481A4 (en) * 2019-12-27 2023-12-27 Nippon Hoso Kyokai TRANSMISSION DEVICE AND RECEIVING DEVICE
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3833155B2 (ja) * 2002-08-05 2006-10-11 キヤノン株式会社 仮想空間呈示装置及び仮想空間提示方法
US7673246B2 (en) 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
KR101697598B1 (ko) * 2008-10-27 2017-02-01 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
US8760495B2 (en) * 2008-11-18 2014-06-24 Lg Electronics Inc. Method and apparatus for processing video signal
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
KR102243662B1 (ko) 2013-09-01 2021-04-23 엘지전자 주식회사 무선 통신 시스템에서 d2d(device-to-device) 통신을 위한 동기화 신호 전송 방법 및 이를 위한 장치
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
KR101661600B1 (ko) * 2014-12-31 2016-09-30 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
WO2017142353A1 (ko) 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102606116B1 (ko) * 2016-03-16 2023-11-24 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US20170359624A1 (en) * 2016-06-08 2017-12-14 Sphere Optics Company, Llc Multi-view point/location omni-directional recording and viewing
WO2018021067A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
KR20180016805A (ko) * 2016-08-08 2018-02-20 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102331041B1 (ko) 2017-03-28 2021-11-29 삼성전자주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
WO2019009319A1 (en) * 2017-07-06 2019-01-10 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR VIEWING INFORMATION SIGNALING FOR VIRTUAL REALITY APPLICATIONS
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
US10791373B2 (en) * 2017-12-29 2020-09-29 Intel Corporation Generating 2D video from 360 video
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
WO2019146601A1 (en) * 2018-01-26 2019-08-01 Sharp Kabushiki Kaisha Systems and methods for signaling position information
CN112219406B (zh) * 2018-03-22 2023-05-05 Vid拓展公司 用于全向视频的等待时间报告方法和系统
US11115451B2 (en) * 2018-03-26 2021-09-07 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest
CN111919452A (zh) * 2018-03-26 2020-11-10 夏普株式会社 用于发送信号通知相机参数信息的系统和方法
EP3777136A4 (en) * 2018-04-03 2021-05-19 Huawei Technologies Co., Ltd. MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204491A1 (ko) * 2016-05-26 2017-11-30 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Also Published As

Publication number Publication date
US20210021798A1 (en) 2021-01-21
EP3758370A1 (en) 2020-12-30
KR20200133387A (ko) 2020-11-27
WO2019194529A1 (ko) 2019-10-10
US11516454B2 (en) 2022-11-29
EP3758370A4 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
KR102564729B1 (ko) 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
KR102545195B1 (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US20160198140A1 (en) System and method for preemptive and adaptive 360 degree immersive video streaming
EP3557845A1 (en) Method and device for transmitting panoramic videos, terminal, server and system
US10869025B2 (en) Switching between multidirectional and limited viewport video content
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
CN111837383A (zh) 发送和接收关于动态视点的坐标系的元数据的方法和装置
CN110876051B (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
CN109155874A (zh) 虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序
US20200244843A1 (en) Information processing apparatus and information processing method
US11223813B2 (en) Method and apparatus for generating metadata for 3D images
US20200077070A1 (en) Generation device, identification information generation method, reproduction device, and image reproduction method
KR20220012658A (ko) 3d xr 미디어 데이터를 전송하는 방법 및 장치
US11688079B2 (en) Digital representation of multi-sensor data stream
KR102147748B1 (ko) 증강현실 지원을 위한 데이터 처리 방법 및 장치
JP2022536182A (ja) データストリームを同期させるシステム及び方法
TWI786572B (zh) 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質
US20190320156A1 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US20220094850A1 (en) Communication terminal, image communication system, and method for displaying image
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
CN110798707B (zh) 传输媒体数据的方法、客户端和服务器
JP2016163342A (ja) 三次元形状情報の配信または放送の方法
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
WO2019048733A1 (en) TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right