KR20190129865A - 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 - Google Patents

Abstract

본 개시는, 보다 다양한 프로젝션 포맷으로 전천구 영상의 영역 정보를 시그널링할 수 있도록 하는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다. 영역 정보는, 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현한다. 또는, 영역 정보는, 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현한다. 본 기술은, 예를 들어 MPEG-DASH에 의해 전천구 영상의 네트워크 배신을 행하는 배신 시스템에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법, 그리고 프로그램

본 개시는, 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이며, 특히 보다 다양한 프로젝션 포맷으로 전천구 영상의 영역 정보를 시그널링할 수 있도록 한 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다.

IPTV(Internet Protocol Television) 등의 인터넷 스트리밍에 있어서의 표준화의 흐름으로서, HTTP(Hypertext Transfer Protocol) 스트리밍에 의한 VOD(Video On Demand) 스트리밍이나, 라이브 스트리밍에 적용되는 방식의 표준화가 행해지고 있다.

특히, ISO/IEC/MPEG로 표준화가 행해지고 있는 MPEG-DASH(Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP)가 주목받고 있다(예를 들어, 비특허문헌 1 참조).

또한, MPEG에서는, VR 표준화(MPEG-I : Coded Representation of Immersive media)가 진행되고 있다. 예를 들어, 전천구 영상의 시청에 일반적으로 사용되는 HMD(Head Mounted Display)에서는, 한 번에 표시되는 영상은 360° 모두가 아니라, 일부의 영역의 영상으로만 된다. 그 때문에, VR에서 사용되는 전천구 영상에서는, 표시되는 일부의 영역을 나타내는 영역 정보를 시그널링할 필요가 있다. 또한, MPEG-DASH에 의해 전천구 영상의 네트워크 배신을 행하는 경우, 대역폭에 제한이 있기 때문에, 그 유효 활용을 목적으로 한 viewport dependent processing가 검토 중이다.

ISO/IEC 23009-1 : 2012 Information technology Dynamic adaptive streaming over HTTP(DASH)

그런데, 종래, OMAF CD(Omnidirectional Media Application Format Committee Draft)에서는, CoverageInformationBox로서 구면상 영역 커버리지를 시그널하고 있다. 그러나, 종래의 OMAF CD에서는 대응할 수 없는 프로젝션 포맷이 있어, 보다 다양한 프로젝션 포맷에 대한 대응이 요구되고 있었다.

본 개시는, 이와 같은 상황을 감안하여 이루어진 것이며, 보다 다양한 프로젝션 포맷으로 전천구 영상의 영역 정보를 시그널링할 수 있도록 하는 것이다.

본 개시의 제1 측면의 정보 처리 장치는, 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비한다.

본 개시의 제1 측면의 정보 처리 방법 또는 프로그램은, 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함한다.

본 개시의 제1 측면에 있어서는, 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보가 생성된다.

본 개시의 제2 측면의 정보 처리 장치는, 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비한다.

본 개시의 제2 측면의 정보 처리 방법 또는 프로그램은, 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함한다.

본 개시의 제2 측면에 있어서는, 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보가 생성된다.

본 개시의 제1 및 제2 측면에 의하면, 보다 다양한 프로젝션 포맷으로 전천구 영상의 영역 정보를 시그널링할 수 있다.

도 1은 viewport dependent processing에 대하여 설명하는 도면이다.
도 2는 viewport 정보를 취급하는 구좌표계를 도시하는 도면이다.
도 3은 MPEG로 규정되어 있는 영역 정보의 일례를 도시하는 도면이다.
도 4는 shape_type에 의한 2종류의 구면상 영역 표현을 도시하는 도면이다.
도 5는 콘텐츠의 커버리지 정보인 covi의 저장 장소를 도시하는 도면이다.
도 6은 종래의 신택스로는 정확하게 표현할 수 없는 예를 설명하는 도면이다.
도 7은 삼각형 면으로 구성되는 프로젝션 포맷의 예를 도시하는 도면이다.
도 8은 제1 실시 형태에 의한 구면상 영역의 시그널의 제1 예를 도시하는 도면이다.
도 9는 제1 실시 형태에 의한 구면상 영역의 시그널의 제2 예를 도시하는 도면이다.
도 10은 입방체의 2개의 면을 시그널하는 것의 응용예에 대하여 설명하는 도면이다.
도 11은 제1 실시 형태에 있어서의 확장된 ISOBMFF의 일례를 도시하는 도면이다.
도 12는 point_yaw/pitch에 의한 표현만으로는, 커버리지가 일의로 정해지지 않는 예를 설명하는 도면이다.
도 13은 제1 실시 형태에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 14는 입방체의 3면을 시그널하는 예를 도시하는 도면이다.
도 15는 입방체의 3면을 시그널하는 경우의 파라미터를 도시하는 도면이다.
도 16은 팔면체의 2면을 시그널하는 예를 도시하는 도면이다.
도 17은 팔면체의 2면을 시그널하는 경우의 파라미터를 도시하는 도면이다.
도 18은 제2 실시 형태에 의한 구면상 영역의 시그널의 일례를 도시하는 도면이다.
도 19는 제2 실시 형태에 있어서의 확장된 ISOBMFF의 일례를 도시하는 도면이다.
도 20은 exclude_flag에 대하여 설명하는 도면이다.
도 21은 제2 실시 형태에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 22는 입방체의 3면을 시그널하는 제1 예를 도시하는 도면이다.
도 23은 입방체의 3면을 시그널하는 제2 예를 도시하는 도면이다.
도 24는 팔면체의 2면을 시그널하는 예를 도시하는 도면이다.
도 25는 삼각형 영역 표현에 한정하여 시그널하는 예를 설명하는 도면이다.
도 26은 도 25의 예에 있어서의 RegionOnSphereStruct의 일례를 도시하는 도면이다.
도 27은 도 25의 예에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 28은 제3 실시 형태에 있어서의 확장된 ISOBMFF에 의한 tcov의 제1 기술예를 도시하는 도면이다.
도 29는 도 28의 예에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 30은 제3 실시 형태에 있어서의 확장된 ISOBMFF에 의한 tcov의 제2 기술예를 도시하는 도면이다.
도 31은 도 30의 예에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 32는 제3 실시 형태에 있어서의 확장된 ISOBMFF에 의한 tcov의 제3 기술예를 도시하는 도면이다.
도 33은 도 32의 예에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 34는 제3 실시 형태에 있어서의 확장된 ISOBMFF에 의한 tcov의 제4 기술예를 도시하는 도면이다.
도 35는 도 34의 예에 있어서의 파라미터의 정의를 도시하는 도면이다.
도 36은 제3 실시 형태에 있어서, main fraction track에만 tcov를 갖는 케이스에 대하여 설명하는 도면이다.
도 37은 제3 실시 형태에 있어서, 모든 fraction track에 tcov를 갖는 케이스에 대하여 설명하는 도면이다.
도 38은 입방체의 6면을 시그널하는 예를 도시하는 도면이다.
도 39는 제4 실시 형태에 있어서의 확장된 DASH MPD의 제1 예를 도시하는 도면이다.
도 40은 파라미터의 정의를 도시하는 도면이다.
도 41은 파라미터의 정의를 도시하는 도면이다.
도 42는 제1 실시 형태의 신택스를 사용할 때의 변형예를 설명하는 도면이다.
도 43은 파라미터의 정의를 도시하는 도면이다.
도 44는 제4 실시 형태에 있어서의 확장된 DASH MPD의 제2 예를 도시하는 도면이다.
도 45는 파라미터의 정의를 도시하는 도면이다.
도 46은 파라미터의 정의를 도시하는 도면이다.
도 47은 제2 실시 형태의 신택스를 사용할 때의 변형예를 설명하는 도면이다.
도 48은 팔면체의 8면을 시그널하는 예를 도시하는 도면이다.
도 49는 도 48의 시그널이 기술된 MPD의 기술예를 도시하는 도면이다.
도 50은 제4 실시 형태의 변형예를 설명하는 도면이다.
도 51은 본 기술을 적용한 배신 시스템의 구성예를 도시하는 블록도이다.
도 52는 생성 장치의 구성예를 도시하는 블록도이다.
도 53은 재생 장치의 구성예를 도시하는 블록도이다.
도 54는 파일 생성 처리를 설명하는 흐름도이다.
도 55는 파일 취득 처리를 설명하는 흐름도이다.
도 56은 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.

이하, 본 기술을 적용한 구체적인 실시 형태에 대하여, 도면을 참조하면서 상세하게 설명한다.

<종래의 전천구 영상의 영역 정보>

먼저, 도 1 내지 도 7을 참조하여, 종래의 전천구 영상의 영역 정보에 대하여 설명한다.

종래, 복수의 영역으로 분할된 전천구 영상에 대하여, 클라이언트의 시점 및 시야에 따라서 적절한 영역의 영상을 취득하여 표시하는 viewport dependent processing라는 기술이 이용되고 있다. 또한, viewport dependent processing에서는, 표시되지 않는 영역은 취득할 필요가 없다.

예를 들어, 도 1에는, 전천구 영상이 등장방형 도법에 의해 평면적으로 전개된 상태가 도시되어 있고, 그 전체가 18의 영역으로 분할되고, 각각의 영역이 개별의 비디오 스트림으로 되어 있다. 그리고, 클라이언트의 시점 및 시야에 따른 영역이 이중선의 직사각형으로 도시되어 있고, 그 영역에 따라서 비디오 스트림이 취득된다. 도 1의 예에서는, 3번, 4번, 9번 및 10번의 영역의 비디오 스트림이 취득되어, 클라이언트의 시점 및 시야에 따른 영역의 표시에 사용된다.

또한, viewport dependent processing을 실현하기 위해서는, 전천구 영상의 각 영역의 위치 정보 및 사이즈 정보를 시그널할 필요가 있다. 그리고, 클라이언트는, 그들 정보를 기초로, viewport에 따른 비디오 영역을 취득하여 표시할 수 있다. 또한, 전천구 영상의 각 영역 정보는, 구면상의 영역 정보(구좌표계)로서 시그널된다.

예를 들어, 클라이언트는, HMD인 것이 상정된다. HMD의 내부에서는, 도 2에 도시한 바와 같은 구좌표계(yaw, pitch, roll)로, viewport 정보가 취급되는 것이 일반적이며, 좌표계를 정렬시킴으로써 처리의 간이화가 가능해진다.

도 3에는, MPEG로 규정되어 있는 영역 정보의 일례가 도시되어 있다.

이와 같은 영역 정보에 있어서, 예를 들어 CoverageInformationBox는, track에 저장되는 전천구 영상이 표시되는 구면상 영역의 정보를 시그널한다. 그리고, center_yaw에 의해 영역 중심의 yaw각이 표시되고, center_pitch에 의해 영역 중심의 pitch각이 표시되고, hor_range에 의해 수평 방향의 각도 레인지가 표시되고, ver_range에 의해 수직 방향의 각도 레인지가 표시된다.

또한, 도 4에 도시한 바와 같이, shape_type에 의해 2종류의 구면상의 영역 표현을 행할 수 있다.

예를 들어, 도 4의 좌측에 도시한 shape_type=0은, four great circles로 둘러싸이는 영역 형상에 의해 구면상의 영역 표현을 행한다. 또한, 도 4의 우측에 도시한 shape_type=1은, two small two grate circles로 둘러싸이는 영역 형상에 의해 구면상의 영역 표현을 행한다. 여기서, great circle는, 구의 중심과 일치하는 중심을 갖는 단면의 원을 나타내고 있고, small circle는, 그 이외의 원을 나타내고 있다. 또한, 현시점에 있어서의 커버리지 표현으로서는, shape_type=1만이 운용되고 있다.

도 5에는, 콘텐츠의 커버리지 정보인 covi의 저장 장소가 도시되어 있다.

그런데, shape_type=0은, 큐브 프로젝션 매핑(Cube Projection Mapping; CMP)의 면 영역을 1면씩 시그널할 수 있어, 등장방형 프로젝션(Equirectangular projection; ERP)의 직사각형 영역을 시그널할 수 있다. 그러나, 종래, 큐브 프로젝션 매핑의 2면 이상의 영역이나, 이들 이외의 프로젝션 포맷에는 대응할 수 없었다.

예를 들어, 도 6의 상측에 있어서, 그레이의 해칭이 실시되어 있는 입방체의 2면의 커버리지를 표현하는 경우, 현재의 신택스로는 정확하게 표현할 수 없었다. 예를 들어, (center_yaw, center_pitch, hor_range, ver_range)=(45, 0, 180, 90)으로 시그널하면, 도 6의 하측에 있어서 굵은 선으로 둘러싸이는 반구 영역이 되어 버린다. 그 때문에, 입방체의 2면으로 커버할 수 있는 구면상 영역이 좁아진다. 즉, 도 6의 상측에 있어서 굵은 선으로 둘러싸는 바와 같이, 구면의 1/3의 영역이 커버되는 것에 반해, 도 6의 하측에 있어서 굵은 선으로 둘러싸는 바와 같이, 구면의 1/4의 영역밖에 커버되지 않게 되어 버린다.

또한, 종래, 도 7에 도시한 바와 같은 삼각형 면으로 구성되는 프로젝션 포맷(OHP : 옥타헤드론 프로젝션, ISP : 이코사헤드론 프로젝션)의 영역 표현에는 대응하고 있지 않았다.

따라서, 종래 기술에서 대응할 수 없는, CMP의 2면 이상의 영역이나, ERP 또는 CMP 이외에서 일반적으로 사용되고 있으며, 장래 OMAF에 채용될 가능성이 있는 프로젝션 포맷(OHP 또는 ISP)의 영역 표현에 대응할 것이 요구되고 있었다. 또한, OHP 및 ISP뿐만 아니라, 다면체를 사용하는 모든 프로젝션 포맷에 대응할 것도 요구되고 있었다.

<ISOBMFF에 있어서의 트랙의 영역 시그널 방법>

도 8 내지 도 17을 참조하여, 본 기술의 제1 실시 형태로서, ISOBMFF에 있어서의 트랙의 영역 시그널 방법의 제1 예에 대하여 설명한다.

제1 실시 형태에서는, ISOBMFF track에 저장되는 콘텐츠의 커버리지에 대하여, 복수의 정점을 yaw 및 pitch로 시그널하고, 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 영역으로 표현한다.

예를 들어, 도 8에는, 3개의 정점을 시그널하고, 그 3개의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역 표현을 행하는 제1 예가 도시되어 있다. 마찬가지로, 도 9에는, 6개의 정점을 시그널하고, 그 6개의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역 표현을 행하는 제2 예가 도시되어 있다.

이때, 각각의 정점을 연결하는 구면상의 선분은 great circle의 일부가 된다. 또한, 이와 같은 시그널에 의해, 도 7에 도시한 바와 같은 OHP 및 ISP뿐만 아니라, 그 밖의 다면체에 대응하는 프로젝션 포맷이 가능해진다.

또한, 도 9에 도시한 바와 같이, 입방체의 2개의 면을 시그널할 수 있기 때문에, 예를 들어 클라이언트의 시점 및 시야에 따른 영역이, 입방체의 2개의 면에 걸치는 경우라도, 효율적으로 스트리밍할 수 있다.

여기서, 도 10을 참조하여, 입방체의 2개의 면을 시그널하는 것의 응용예에 대하여 설명한다.

예를 들어, 큐브 프로젝션 매핑에 있어서, 입방체는, 도시한 바와 같은 6개의 면 A, 면 B, 면 C, 면 D, 면 E 및 면 F에 의해 구성된다.

그리고, 그것들 6개의 면을 2면별로 3개로 분할하여 파일화한다. 즉, 면 B 및 면 C의 2면을 포함하는 파일과, 면 A 및 면 C의 2면을 포함하는 파일과, 면 E 및 면 F의 2면을 포함하는 파일로 파일화된다. 이때, 각각의 파일에서는, 상술한 도 9에 도시한 바와 같이, 각각 2개의 면별로, covi에 의한 구면상 영역에 시그널된다.

여기서, 예를 들어 클라이언트의 시점 및 시야에 따른 영역이 면 B 및 면 C에 걸쳐 있는 경우, 즉, 도 10에 있어서 그레이로 해칭되어 있는 영역을 유저가 보려고 한 경우, covi의 정보를 기초로, 면 B 및 면 C의 2면을 포함하는 파일이 취득된다.

즉, 종래, 큐브 프로젝션 매핑의 2면 이상의 영역을 시그널할 수 없기 때문에, 클라이언트의 시점 및 시야에 따른 영역이 면 B 및 면 C에 걸쳐 있는 경우에는, 효율적으로 스트리밍할 수 없었다. 이에 반해, 복수의 면을 시그널할 수 있음으로써, 클라이언트의 시점 및 시야에 따른 영역이 복수의 면에 걸쳐 있어도, 그것들의 면을 포함하는 파일을 스트리밍함으로써, 스트리밍을 효율적으로 행할 수 있게 된다.

그런데, 복수의 정점을 yaw 및 pitch로 시그널하고, 정점끼리를 구면상의 최단 거리로 연결함으로써 영역 표현을 행하는 경우에는, 종래보다 ISOBMFF를 확장할 필요가 있다.

도 11에는, 확장된 ISOBMFF(CoverageInformationBox) 및 ArbitraryRegionOnSphereStruct의 일례가 도시되어 있다.

도 11에 도시한 ISOBMFF에서는, shape_type=2가 도입되어 있다. 예를 들어, shape_type=2에서는, 각 정점은, i=0과 i=1, i=1과 i=2, ···, i=n-1과 i=n, i=n과 i=0의 규칙으로, 각각이 구면상의 최단 거리로 연결되도록 정의된다.

또한, 도 11에 도시한 ISOBMFF에 있어서, covered_yaw, covered_pitch는, 커버리지에 포함되는 대표점의 yaw, pitch(예를 들어, 영역의 중심점)를 나타내도록 정의된다. 즉, covered_yaw/pitch는, point_yaw/pitch로 표현되는 영역의 내측점을 시그널해야만 한다. 예를 들어, 입방체의 3면을 커버리지하는 경우, point_yaw/pitch에 의한 표현만으로는, 커버리지가 일의로 정해지지 않기 때문에, covered_yaw/pitch에 의한 시그널이 필요해진다.

도 12를 참조하여, point_yaw/pitch에 의한 표현만으로는, 커버리지가 일의로 정해지지 않는 예에 대하여 설명한다.

도 12에 도시한 바와 같이, 입방체를 3면별로 분할하는 경우, 전방측의 3면을 포함하는 형상과 후방측의 3면을 포함하는 형상으로 분할된다. 이 경우, 각각의 형상 커버리지를 시그널하면, 시그널되는 점은 동일하게 된다. 따라서, 이들 2개의 형상을 구별하기 위해서는, covered_yaw/pitch에 의해 방향(전방측의 3면 또는, 후방측의 3면)을 시그널할 필요가 있다.

도 13에는, 이와 같은 확장된 ISOBMFF에 있어서의 트랙의 영역 시그널 방법에 있어서 사용되는 파라미터의 정의가 도시되어 있다.

다음에, 제1 실시 형태에 의한 실제의 시그널예에 대하여 설명한다.

예를 들어, 도 14의 하측에 도시한 바와 같은 좌표계에 따라서, 도 14의 상측에 도시한 바와 같은 입방체의 전방측의 3면을 시그널하는 경우, 도 15에 도시한 바와 같이 파라미터가 설정된다. 또한, 이 좌표계에 있어서, yaw각은, -180° 이상이고, 또한 180°보다 작고, pitch각은, -90° 이상이고, 또한 90° 이하이고, roll각은, -180° 이상이고, 또한 180° 이하가 된다.

마찬가지로, 도 16에 도시한 바와 같은 팔면체의 전방측의 2면을 시그널하는 경우, 도 17에 도시한 바와 같이 파라미터가 설정된다.

이와 같이, 제1 실시 형태에서는, 확장된 ISOBMFF를 사용하여, 구면상의 점을 yaw 및 pitch로 시그널함으로써, 실장상 취급하기 쉽다는 장점이 있다. 예를 들어, 클라이언트측은, 자신의 viewport 정보를 방향과 field of view(FoV)로 갖기 때문에, 그 viewport 범위 내에, 시그널된 점으로 둘러싸인 영역이 포함되는지 여부를 판별하는 것은 용이하다. 그런데, 제1 실시 형태에서는, 비연속 영역의 시그널에는 대응하고 있지 않다.

또한, 제1 실시 형태의 변형예로서, 예를 들어 shape_type 대신에 flags를 사용해도 된다. 또한, ArbitraryRegionOnSphereStruct의 내용을, RegionOnSphereStruct 내에서 시그널하고, 그것들을 shape_type로 전환해도 된다.

<ISOBMFF에 있어서의 트랙의 영역 시그널 방법>

도 18 내지 도 27을 참조하여, 본 기술의 제2 실시 형태로서, ISOBMFF에 있어서의 트랙의 영역 시그널 방법의 제2 예에 대하여 설명한다.

제2 실시 형태에서는, ISOBMFF track에 저장되는 콘텐츠의 커버리지에 대하여, 면마다 그 정점을 yaw 및 pitch로 시그널하고, 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을 면의 수만큼 복수 시그널하여 표현한다.

예를 들어, 도 18에는, 2개의 면별로, 그것들의 면의 정점을 시그널하고, 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역이 되는 2개의 면을 시그널함으로써 영역 표현을 행하는 예가 도시되어 있다.

이때, 각각의 정점을 연결하는 구면상의 선분은 great circle의 일부가 된다. 또한, 이와 같은 시그널에 의해, 도 7에 도시한 바와 같은 OHP 및 ISP뿐만 아니라, 그 밖의 다면체에 대응하는 프로젝션 포맷이 가능해진다.

도 19에는, 확장된 ISOBMFF(CoverageInformationBox) 및 ArbitraryRegionOnSphereStruct의 일례가 도시되어 있다.

도 11에 도시한 ISOBMFF에서는, shape_type=2가 도입되어 있다. 예를 들어, shape_type=2에서는, 각 정점은, i=0과 i=1, i=1과 i=2, ···, i=n-1과 i=n, i=n과 i=0의 규칙으로, 각각이 구면상의 최단 거리로 연결되도록 정의된다. 그리고, ISOBMFF에 나타내는 바와 같이, 면의 수로 for loop를 돌림으로써, 복수의 면을 포함하는 영역을 시그널할 수 있다.

또한, 도 11에 도시한 ISOBMFF에서는, exclude_flag가 도입되어 있다. exclude_flag가 1인 경우, 시그널된 영역 이외가 coverage가 된다.

도 20을 참조하여, exclude_flag에 대하여 설명한다. 도 20에서는, 입방체의 5면분(그레이의 해칭이 실시되어 있는 면 이외)의 커버리지 시그널의 예가 도시되어 있다.

예를 들어, 도 20의 상측에 도시한 바와 같이, exclude_flag=0의 경우에는, 커버리지로서 5면분의 면에 따른 20점의 시그널이 필요해진다. 이에 반해, 도 20의 하측에 도시한 바와 같이, exclude_flag=1의 경우에는, 커버리지로부터 제외한 1면분의 면에 따른 4점의 시그널이면 된다. 이와 같이, exclude_flag를 사용함으로써, 커버리지 시그널에 필요한 비트수의 최적화를 도모하는 것, 즉, 보다 적은 비트수로 커버리지할 수 있다.

도 21에는, 이와 같은 확장된 ISOBMFF에 있어서의 트랙의 영역 시그널 방법에 있어서 사용되는 파라미터의 정의가 도시되어 있다.

다음에, 제2 실시 형태에 의한 실제의 시그널예에 대하여 설명한다.

예를 들어, 도 22에는, shape_type=0의 경우, 즉, 상술한 도 4의 좌측에 도시된 바와 같은 방법으로, 입방체의 3면을 시그널하는 예가 도시되어 있다. 이 경우, 도 22의 하측에 도시한 바와 같이 파라미터가 설정된다.

도 23에는, shape_type=2의 경우, 즉, 제2 실시 형태에서 설명한 방법으로, 입방체의 3면을 시그널하는 예가 도시되어 있다. 이 경우, 도 23의 하측에 도시한 바와 같이 파라미터가 설정된다.

도 24에는, shape_type=2의 경우, 즉, 제2 실시 형태에서 설명한 방법으로, 팔면체의 전방측의 2면을 시그널하는 예가 도시되어 있다. 이 경우, 도 24의 하측에 도시한 바와 같이 파라미터가 설정된다.

이와 같이, 제2 실시 형태에서는, 확장된 ISOBMFF를 사용하여, 구면상의 점을 yaw 및 pitch로 시그널함으로써, 실장상 취급하기 쉽다는 장점이 있다. 예를 들어, 클라이언트측은, 자신의 viewport 정보를 방향과 field of view(FoV)로 갖기 때문에, 그 viewport 범위 내에, 시그널된 점으로 둘러싸인 영역이 포함되는지 여부를 판별하는 것은 용이하다.

또한, 제2 실시 형태에서는, 영역을 면 단위로 복수 시그널할 수 있으므로, 비연속 영역의 시그널이 가능하다. 또한, 상술한 바와 같이 exclude_flag를 이용함으로써, 시그널하는 정점수를 최적화할 수 있다. 그런데, 제2 실시 형태에서는, 상술한 제1 실시 형태와 비교하여, 정점 정보에 중복이 발생하는 경우가 있어, Box의 사이즈가 증가되는 경우가 있다.

또한, 제2 실시 형태의 변형예로서, shape_type 대신에 flags를 사용해도 된다. 예를 들어, ArbitraryRegionOnSphereStrcut의 내용을, RegionOnSphereStruct 내에서 시그널하고, shape_type로 전환해도 된다. 또한, 영역별로 shape_type가 변해도 된다.

또한, num_points를 3으로 한정함으로써, shape_type=2를 삼각형 영역의 표현에만 사용하도록 해도 된다. 예를 들어, 제2 실시 형태를, 삼각형 영역의 표현으로 한정한 경우, 구면상의 삼각형 영역은, 도 25에 도시한 바와 같이 표현할 수도 있다. 이때, classTriangleRegionOnSphereStruct는, 도 26에 도시한 바와 같으며, 파라미터는, 도 27에 도시한 바와 같이 정의된다.

<ISOBMFF에 있어서의 파일 단위의 영역 시그널 방법>

도 28 내지 도 38을 참조하여, 본 기술의 제3 실시 형태로서, ISOBMFF에 있어서의 파일 단위의 영역 시그널 방법에 대하여 설명한다.

제3 실시 형태에서는, ISOBMFF 파일이 저장하는 콘텐츠의 토탈 커버리지에 대하여, 상술한 제1 및 제2 실시 형태의 시그널 방법을 사용하여 표현한다. 즉, 영역의 시그널은, 상술한 제1 및 제2 실시 형태와 마찬가지의 신택스·시맨틱스를 사용한다.

예를 들어, 종래 기술에서는 track 단위의 커버리지 정보만 규정하고 있고, ISOBMFF 파일이 복수 track로 구성되는 경우에 있어서의, 전체 track를 통합한 커버리지(=파일 단위의 토탈 커버리지)는 시그널할 수 없었다.

이에 반해, 제3 실시 형태에서는, 복수 track로 구성되는 ISOBMFF에 대하여, 파일 단위로의 viewport dependent processing가 가능해진다.

또한, 제3 실시 형태에 있어서, 파일 단위로의 토탈 커버리지 정보를 시그널함으로써, 클라이언트는 그 파일 재생 시에 표시 가능한 영역을 용이하게 취득할 수 있다. 예를 들어, 전천구 모두를 커버하고 있지 않은 경우에, 미리 영상 표시할 수 없는 부분을 클라이언트 독자의 영상, 혹은 ISOBMFF로 지정된 데이터로 묻어 둘 수 있다.

예를 들어, 제3 실시 형태에서는, tcov(Total Coverage Information Box)는, povd(ProjectedOmnidirectionalVideoBox) 아래에 배치된다.

여기서, 이하의 설명에 있어서, main fraction track에만 tcov를 갖는 방식을 케이스 1이라 한다. 그리고, 케이스 1에 있어서, tcov가, total coverage 정보만 갖는 방식을 케이스 1-1이라 하고, tcov가, total coverage 정보에 더하여, 모든 fraction track(main 포함함)의 coverage 정보를 갖는 방식을 케이스 1-2라 한다.

또한, 모든 fraction track에 tcov를 갖는 방식을 케이스 2라 한다. 그리고, 케이스 2에 있어서, tcov가, total coverage 정보만 갖는 방식을 케이스 2-1이라 하고, tcov가, total coverage 정보에 더하여, 모든 fraction track(main 포함함)의 coverage 정보를 갖는 방식을 케이스 2-2라 한다.

이와 같이, 각각의 케이스에 기초하여, tcov의 신택스의 베리에이션은 4종류가 된다.

예를 들어, tcov의 신택스의 제1 베리에이션에서는, tcov로 시그널되는 정보는, total coverage 정보만 갖고, 영역 시그널 방법은, 상술한 제1 실시 형태와 동일한 방법으로 된다.

따라서, tcov의 신택스의 제1 베리에이션에서는, 도 28에 도시한 바와 같이 ISOBMFF(CoverageInformationBox)는 기술되고, ArbitraryRegionOnSphereStruct는, 상술한 도 11(제1 실시 형태)과 동일하게 된다. 또한, 파라미터는 도 29에 도시한 바와 같이 정의된다. 또한, 상술한 제1 실시 형태의 변형예도 포함할 수 있다.

또한, tcov의 신택스의 제2 베리에이션에서는, tcov로 시그널되는 정보는, total coverage 정보만 갖고, 영역 시그널 방법은, 상술한 제2 실시 형태와 동일한 방법으로 된다.

따라서, tcov의 신택스의 제2 베리에이션에서는, 도 30에 도시한 바와 같이 ISOBMFF(CoverageInformationBox)는 기술되고, ArbitraryRegionOnSphereStruct는, 상술한 도 19(제2 실시 형태)와 동일하게 된다. 또한, 파라미터는 도 31에 도시한 바와 같이 정의된다. 또한, 상술한 제2 실시 형태의 변형예도 포함할 수 있다.

또한, tcov의 신택스의 제3 베리에이션에서는, tcov로 시그널되는 정보는, total coverage 정보에 더하여, 모든 fraction track(main 포함함)의 coverage 정보를 갖고, 영역 시그널 방법은, 상술한 제1 실시 형태와 동일한 방법으로 된다.

따라서, tcov의 신택스의 제3 베리에이션에서는, 도 32에 도시한 바와 같이 ISOBMFF(CoverageInformationBox)는 기술되고, ArbitraryRegionOnSphereStruct는, 상술한 도 11(제1 실시 형태)과 동일하게 된다. 또한, 파라미터는 도 33에 도시한 바와 같이 정의된다. 또한, 상술한 제1 실시 형태의 변형예도 포함할 수 있다.

또한, tcov의 신택스의 제3 베리에이션의 변형예로서, num_track_partition은, TotalCoverageInformationBox를 갖는 자(自)track를 제외한 수를 설정하고, tp_id로 자track의 track_id를 시그널하지 않아도 된다.

또한, tcov의 신택스의 제4 베리에이션에서는, tcov로 시그널되는 정보는, total coverage 정보에 더하여, 모든 fraction track(main 포함함)의 coverage 정보를 갖고, 영역 시그널 방법은, 상술한 제2 실시 형태와 동일한 방법으로 된다.

따라서, tcov의 신택스의 제4 베리에이션에서는, 도 34에 도시한 바와 같이 ISOBMFF(CoverageInformationBox)는 기술되고, ArbitraryRegionOnSphereStruct는, 상술한 도 19(제2 실시 형태)와 동일하게 된다. 또한, 파라미터는 도 35에 도시한 바와 같이 정의된다. 또한, 상술한 제2 실시 형태의 변형예도 포함할 수 있다.

또한, tcov의 신택스의 제4 베리에이션의 변형예로서, num_track_partition은, TotalCoverageInformationBox를 갖는 자track를 제외한 수를 설정하고, tp_id로 자track의 track_id를 시그널하지 않아도 된다.

도 36을 참조하여, 제3 실시 형태에 있어서, main fraction track에만 tcov를 갖는 케이스 1에 대하여 설명한다.

예를 들어, 케이스 1에서는, tcov를 갖는 것을 main fraction track라 하고, tcov를 갖지 않는 것을 fraction track라 한다. 그리고, main fraction track는 TrackReference('ofrc')로 fraction track를 참조할 수 있고, fraction track는 TrackReference('omfr')로 main fraction track를 참조할 수 있다. 또한, main fraction track에만 TotalCoverageInformationBox를 갖는다.

여기서, 예를 들어 tcov가 total coverage 정보만 갖는 케이스 1-1의 경우, 커버리지에 관하여 중복되는 정보가 없는, 심플한 표현이 가능해진다. 단, total coverage를 취득하기 위해, main fraction track를 참조할 필요가 있고, 다른 fraction track의 coverage는, 각 fraction track를 참조하지 않으면 취득할 수 없다.

또한, 예를 들어 tcov가 total coverage 정보에 더하여, 모든 fraction track(main 포함함)의 coverage 정보를 갖는 케이스 1-2의 경우, fraction track의 coverage를 main fraction track 내에서 취득할 수 있다. 단, total coverage를 취득하기 위해, main fraction track를 참조할 필요가 있다. 또한, 케이스 1의 변형예로서, prfr을 main fraction track에만 갖게 해도 된다. 또한, 케이스 1-2의 경우, tref('ofrc')는 없어도 된다.

도 37을 참조하여, 제3 실시 형태에 있어서, 모든 fraction track에 tcov를 갖는 케이스 2에 대하여 설명한다.

예를 들어, 케이스 2에서는, main fraction track, fraction track의 구별은 없다. 또한, 각 fraction track가 서로 track reference 'omfr'로 참조할 수 있다.

여기서, 예를 들어 tcov가 total coverage 정보만 갖는 케이스 2-1의 경우, 어느 fraction track도 total coverage를 갖기 때문에, total coverage 정보를 취득하는 것이 용이하다. 단, 중복 정보를 갖기 때문에 파일 사이즈는 케이스 1-1과 비교하여 커지고, 다른 fraction track의 coverage는, 각 fraction track를 참조하지 않으면 취득할 수 없다.

또한, 예를 들어 tcov가 total coverage 정보에 더하여, fraction track(main 포함함)의 coverage 정보를 갖는 케이스 2-2의 경우, total coverage, 각 fraction track의 coverage를 하나의 fraction track 내에서 취득할 수 있다. 단, 중복 정보를 갖기 때문에 파일 사이즈는, 케이스 1-1, 케이스 1-2 및 케이스 2-1 중 어느 것과 비교해도 커진다. 또한, 케이스 2-2의 경우, tref('omfr')는 없어도 된다.

다음에, 제3 실시 형태에 의한 실제의 시그널예에 대하여 설명한다.

도 38에서는, 케이스 2-2에서, tcov의 신택스의 제4 베리에이션을 사용하고, 각 면을 region으로서 하나씩 track에 저장한다. 예를 들어, Region[0]은 track_id : 1로 하고, Region[1]은 track_id : 2로 하고, 이하 마찬가지로, Region[5]는 track_id : 6으로 한다. 또한, tcov의 시그널은, 도 38의 하측에 도시한 바와 같이 기술된다.

또한, 제3 실시 형태의 변형예로서, total_full_sphere 대신에, flags를 사용해도 된다.

<DASH MPD에 있어서의 영역 시그널 방법>

도 39 내지 도 50을 참조하여, 본 기술의 제4 실시 형태로서, DASH MPD에 있어서의 영역 시그널 방법에 대하여 설명한다.

예를 들어, DASH MPD에 있어서, 각 Representation이 커버하는 영역을 시그널할 수 있다.

시그널 방법으로서는, EssentialProperty 또는 SupplementalProperty를 사용할 수 있고, EssentialProperty는 AdaptationSet 아래에 저장되고, SupplementalProperty는 Representation 아래에 저장된다.

예를 들어, SupplementalProperty는, 이 Property를 이해할 수 없는 Player는, 이 Property값을 무시하고, 그 AdaptationSet(혹은 Representation, Sub-Representation)을 이용해도 된다. 또한, EssentialProperty는, 이 Property를 이해할 수 없는 Player는, 이 Property가 기입되어 있는 AdaptationSet(혹은 Representation, Sub-Representation)을 무시해야 한다.

도 39에는, 확장된 DASH MPD의 제1 예가 도시되어 있고, 여기에서는, 상술한 제1 실시 형태의 신택스가 사용되고 있다.

이와 같은 신택스에 있어서, coverage : arbitrary, totalcoverage : arbitrary의 경우, 0 내지 2는 mandatory가 되고, 3 이후는 num_points에 따른다. 또한, coverage가 시그널되지 않는 경우, 커버리지는 360degree 풀을 나타낸다. 한편, coverage의 spatial_set_id가 시그널되는 경우에, 토탈 커버리지가 360degree 풀이 아니면, 동일한 spatial_set_id를 갖는 total coverage가 필수가 된다. 또한, Coverage와 TotalCoverage를 하나의 EssentialProperty 또는 SupplementalProperty에 통합해도 된다.

도 40 및 도 41에는, 도 39에 도시한 바와 같은 확장된 DASH MPD에 있어서 사용되는 파라미터의 정의가 도시되어 있다.

또한, 상술한 제1 실시 형태의 신택스를 사용할 때의 변형예로서, Coverage, TotalCoverage의 shape_type=2의 경우에 대하여, 점의 수만큼 도 42에 도시한 EssentialProperty(coverage : arbitrary, totalcoverage: arbitrary)를 시그널한다. 이때, 점을 연결하는 순번은, EssentialProperty 또는 SupplementalProperty의 기재된 순번이어도 되고, EssentialProperty 또는 SupplementalProperty 내에 순번을 나타내는 파라미터를 가져도 된다.

또한, 도 43에는, 도 42에 도시한 신택스에서 사용되는 파라미터의 정의가 기재되어 있다.

도 44에는, 확장된 DASH MPD의 제2 예가 도시되어 있고, 여기에서는, 상술한 제2 실시 형태의 신택스가 사용되고 있다.

이와 같은 신택스에 있어서, coverage : arbitrary, totalcoverage : arbitrary의 경우, k는 2 이상이며, 2부터 num_points-1까지로 되고, l은, 0부터 num_regions-1까지로 된다.

또한, coverage가 시그널되지 않는 경우, 커버리지는 360degree 풀을 나타낸다. 한편, coverage의 spatial_set_id가 시그널되는 경우에, 토탈 커버리지가 360degree 풀이 아니면, 동일한 spatial_set_id를 갖는 total coverage가 필수가 된다. 또한, Coverage와 TotalCoverage를 하나의 EssentialProperty 또는 SupplementalProperty에 통합해도 된다.

도 45 및 도 46에는, 도 44에 도시한 바와 같은 확장된 DASH MPD에 있어서 사용되는 파라미터의 정의가 도시되어 있다.

또한, 상술한 제2 실시 형태의 신택스를 사용할 때의 변형예로서, 영역의 수만큼, 도 47에 도시한 EssentialProperty 또는 SupplementalProperty를 시그널한다. 그리고, 시그널된 영역의 합계가 Coverage 또는 Total Coverage가 된다.

다음에, 제4 실시 형태에 의한 실제의 시그널예에 대하여 설명한다.

도 48에서는, 상술한 바와 같이 확장된 DASH MPD에 있어서, 제2 실시 형태의 신택스를 사용하는 예가 도시되어 있다. 즉, 도 48의 상측에 도시한 바와 같이, 팔면체의 8개의 면이 하나씩 region으로 분할되어 있다. 또한, 도 48의 하측에는, 각 region의 point의 시그널이 도시되어 있고, 도 49에는, 그 시그널이 기술된 MPD의 기술예가 도시되어 있다.

또한, 제4 실시 형태의 변형예로서, shape_type=2의 경우의 coverage, total coverage에 대해서도, shape_type=0, 1과 동일한 syntax를 사용하여 표현해도 된다. 또한, 파라미터는, 도 46에 도시한 파라미터가 사용된다.

이때, center_pitch, center_yaw, hor_range, ver_range로 시그널되는 영역은, 실제의 콘텐츠의 커버리지와 일치하지 않아도 된다. 단, 실제의 콘텐츠 커버리지에 포함되며, 또한 최대의 영역이 시그널된다. 예를 들어, 도 50에 도시한 바와 같이, 대략 삼각형의 실제의 콘텐츠 커버리지에 포함되며, 또한 최대의 영역이 되는 대략 직사각형 영역이 시그널된다.

<시스템의 구성예 및 처리예>

도 51 내지 도 55를 참조하여, 상술한 바와 같이 구면상의 영역을 시그널하여 전천구 화상을 배신하는 시스템에 대하여 설명한다.

도 51은 본 기술을 적용한 배신 시스템의 구성예를 도시하는 블록도이다.

도 51의 배신 시스템(11)은, 촬영 장치(12), 생성 장치(13), 배신 서버(14), 재생 장치(15) 및 헤드 마운트 디스플레이(16)에 의해 구성된다. 배신 시스템(11)은, 촬영 장치(12)에 의해 촬영된 촬영 화상으로부터 전천구 화상을 생성하고, 전천구 화상을 사용하여 시청자의 시야 범위의 표시 화상을 표시한다.

구체적으로는, 배신 시스템(11)의 촬영 장치(12)는, 6개의 카메라(12A-1 내지 12A-6) 및 마이크로폰(12B)에 의해 구성된다. 또한, 이하에서는, 카메라(12A-1 내지 12A-6)를 특별히 구별할 필요가 없는 경우, 그것들을 통합하여 카메라(12A)라 한다.

각 카메라(12A)는 동화상을 촬영하고, 마이크로폰(12B)은 주위의 음성을 취득한다. 배신 시스템(11)은, 각 카메라(12A)에 의해 촬영된 6방향의 동화상인 촬영 화상과 마이크로폰(12B)에 의해 취득된 음성을, 동화상 콘텐츠로서 생성 장치(13)에 공급한다. 또한, 촬영 장치(12)가 구비하는 카메라의 수는, 복수이면, 6개 이외여도 된다.

생성 장치(13)는, 등장방형 도법을 사용한 방법에 의해, 촬영 장치(12)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성하고, 1 이상의 비트 레이트로 부호화하여, 각 비트 레이트의 등장방형 스트림을 생성한다. 또한, 생성 장치(13)는, 큐브 매핑에 의해, 촬영 화상으로부터 전천구 화상을 생성하고, 1 이상의 비트 레이트로 부호화하여, 각 비트 레이트의 큐브 스트림을 생성한다. 또한, 생성 장치(13)는, 촬영 장치(12)로부터 공급되는 음성을 부호화하여, 오디오 스트림을 생성한다.

생성 장치(13)는, 각 비트 레이트의 등장방형 스트림, 각 비트 레이트의 큐브 스트림, 및 오디오 스트림을, ISOBMFF 파일화한다. 생성 장치(13)는, 그 결과 생성된 ISOBMFF 파일을 배신 서버(14)에 업로드한다.

또한, 여기에서는, 등장방형 스트림과 큐브 스트림의 비트 레이트가 1 이상이도록 하지만, 비트 레이트 이외의 조건(예를 들어, 화상의 사이즈 등)이 1 이상이도록 해도 된다.

또한, 생성 장치(13)는, 동화상 콘텐츠의 세그먼트 파일을 관리하는 MPD 파일을 생성하여, 배신 서버(14)에 업로드한다. 세그먼트란, 비디오 스트림, 오디오 스트림을 수초 내지 10초 정도의 시간 단위로 파일화한 것이다. 예를 들어, RegionMappingBox를 포함하는 ISOBMFF가 세그먼트 파일로서 배신된다.

예를 들어 MEPG-DASH(ISO/IEC 23009-1)를 사용한 배신을 행하는 배신 서버(14)는, 생성 장치(13)로부터 업로드된 세그먼트 파일과 MPD 파일을 저장한다. 배신 서버(14)는, 클라이언트로서의 재생 장치(15)로부터의 요구에 따라서, 저장하고 있는 세그먼트 파일을 재생 장치(15)에 송신한다.

재생 장치(15)는, 배신 서버(14)에 ISOBMFF 파일을 요구하고, 그 요구에 따라서 송신되어 오는 ISOBMFF 파일을 수취한다. 또한, 재생 장치(15)는, ISOBMFF 파일에 기초하여, 재생 장치(15)에서 행하는 것이 가능한 매핑에 대응하는 전천구 화상의 생성 방법으로 생성된 전천구 화상의 세그먼트 파일을 요구하고, 그 요구에 따라서 송신되어 오는 세그먼트 파일을 수취한다. 재생 장치(15)는, 수취한 세그먼트 파일에 포함되는 큐브 스트림(또는 등장방형 스트림이어도 됨)을 복호한다. 재생 장치(15)는, 복호의 결과 얻어지는 전천구 화상을 3D 모델에 매핑함으로써, 3D 모델 화상을 생성한다.

또한, 재생 장치(15)는, 카메라(15A)를 내장하고, 헤드 마운트 디스플레이(16)에 부여된 마커(16A)를 촬영한다. 그리고, 재생 장치(15)는, 마커(16A)의 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다. 또한, 재생 장치(15)는, 헤드 마운트 디스플레이(16)의 자이로 센서(16B)의 검출 결과를, 헤드 마운트 디스플레이(16)로부터 수취한다. 재생 장치(15)는, 자이로 센서(16B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 재생 장치(15)는, 시청 위치와 시선 방향에 기초하여, 3D 모델의 내부에 위치하는 시청자의 시야 범위를 결정한다.

재생 장치(15)는, 시청 위치를 초점으로서, 3D 모델 화상을 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 재생 장치(15)는, 표시 화상을 헤드 마운트 디스플레이(16)에 공급한다.

헤드 마운트 디스플레이(16)는, 시청자의 헤드부에 장착되어, 재생 장치(15)로부터 공급되는 표시 화상을 표시한다. 헤드 마운트 디스플레이(16)에는, 카메라(15A)에 의해 촬영되는 마커(16A)가 부여되어 있다. 따라서, 시청자는, 헤드 마운트 디스플레이(16)를 헤드부에 장착한 상태에서, 이동함으로써 시청 위치를 지정할 수 있다. 또한, 헤드 마운트 디스플레이(16)에는, 자이로 센서(16B)가 내장되고, 그 자이로 센서(16B)에 의한 각속도의 검출 결과는 재생 장치(15)에 전송된다. 따라서, 시청자는, 헤드 마운트 디스플레이(16)를 장착한 헤드부를 회전시킴으로써, 시선 방향을 지정할 수 있다.

도 52는 생성 장치의 구성예를 도시하는 블록도이다.

도 52의 생성 장치(13)는, 스티칭 처리부(21), 매핑 처리부(22), region-wise packing 처리부(23), 인코더(24), 음성 처리부(25), 인코더(26), 파일 생성부(27) 및 업로드부(28)에 의해 구성된다.

스티칭 처리부(21)는 프레임마다, 도 51의 카메라(12A)로부터 공급되는 6방향의 촬영 화상의 색이나 밝기를 동일하게 하고, 겹침을 제거하여 접속하는 스티칭 처리를 행한다. 스티칭 처리부(21)는, 스티칭 처리 후의 프레임 단위의 촬영 화상을 매핑 처리부(22)에 공급한다.

매핑 처리부(22)는, 이 예에서는 큐브 매핑에 의해, 스티칭 처리부(21)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성한다. 구체적으로는, 매핑 처리부(22)는, 스티칭 처리 후의 촬영 화상을 텍스처로서 입방체에 매핑하고, 그 입방체의 전개도의 화상을 전천구 화상으로서 생성한다. 매핑 처리부(22)는, 전천구 화상을 region-wise packing 처리부(23)에 공급한다. 또한, 스티칭 처리부(21)와 매핑 처리부(22)는 일체화되어 있어도 된다.

region-wise packing 처리부(23)는 region-wise packing 처리를 행한다. 즉, projected frame를 영역별로 위치와 사이즈를 변경하여 2차원 면 상에 배치하여 패킹(packing)하여, packed frame를 생성한다. region-wise packing 처리부(23)는 또한, margin_flag, region_margin_type를 포함하는 RegionMappingBox를 생성한다.

인코더(24)는, region-wise packing 처리부(23)로부터 공급되는 전천구 화상을 1 이상의 비트 레이트로 부호화하여, 큐브 스트림을 생성한다. 인코더(24)는, 각 비트 레이트의 큐브 스트림을 파일 생성부(27)에 공급한다.

음성 처리부(25)는, 도 51의 마이크로폰(12B)으로부터 공급되는 음성을 취득하여, 인코더(26)에 공급한다. 인코더(26)는, 음성 처리부(25)로부터 공급되는 음성을 부호화하여, 오디오 스트림을 생성한다. 인코더(26)는, 오디오 스트림을 파일 생성부(27)에 공급한다.

파일 생성부(27)는, 각 비트 레이트의 큐브 스트림 및 오디오 스트림을, 세그먼트 단위로 파일화한다. 파일 생성부(27)는, 그 결과 생성된 세그먼트 파일을 업로드부(28)에 공급한다. 파일 생성부(27)는 또한, ISOBMFF 파일을 생성하여, 업로드부(28)에 공급한다.

이때, 파일 생성부(27)는, 상술한 바와 같이 확장된 ISOBMFF를 생성할 수 있고, 그 ISOBMFF에는, 영역 정보가 시그널되어 있다. 즉, 파일 생성부(27)는, 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보(제1 실시 형태)를 생성하여 ISOBMFF에 기술한다. 또한, 파일 생성부(27)는, 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보(제2 실시 형태)를 생성하여 ISOBMFF에 기술한다. 또는, 파일 생성부(27)는, MPD를 생성할 때, 마찬가지로, 확장된 MPD에 영역 정보가 시그널(제4 실시 형태)되도록 해도 된다.

업로드부(28)는, 파일 생성부(27)로부터 공급되는 세그먼트 파일과 ISOBMFF 파일을, 도 51의 배신 서버(14)에 업로드한다.

다음에, 화상을 처리하는 경우를 예로서, 재생 장치(15)의 구성예에 대하여 설명한다.

도 53은 재생 장치의 구성예를 도시하는 블록도이다.

도 53의 재생 장치(15)는, 파일 취득부(31), 스트림 추출부(32), 디코더(33), projected frame 생성부(34), 매핑 처리부(35), 묘화부(36), 수취부(37), 시선 검출부(38) 및 카메라(15A)를 갖고 있다.

파일 취득부(31)는, 도 51의 배신 서버(14)로부터 재생 대상의 파일을 취득한다. 스트림 추출부(32)는, 파일 취득부(31)에 의해 취득된 파일로부터, 비디오 스트림을 추출한다. 디코더(33)는, 스트림 추출부(32)에 의해 추출된 비디오 스트림을 디코드한다. projected frame 생성부(34)는, 디코더(33)에 의해 디코드된 화상 데이터로부터 projected frame를 생성한다.

매핑 처리부(35)는, projected frame 생성부(34)로부터 공급되는 전천구 화상을 입방체의 6면의 각각에 텍스처로서 매핑한다.

묘화부(36)는, 매핑 처리부(35)로부터 공급되는 3D 모델 화상을, 시선 검출부(38)로부터 공급되는 시청 위치를 초점으로서, 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 묘화부(36)는, 표시 화상을 헤드 마운트 디스플레이(16)에 공급한다.

수취부(37)는, 도 51의 자이로 센서(16B)의 검출 결과를, 헤드 마운트 디스플레이(16)로부터 수취하여, 시선 검출부(38)에 공급한다.

시선 검출부(38)는, 수취부(37)로부터 공급되는 자이로 센서(16B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 또한, 시선 검출부(38)는, 카메라(15A)로부터 마커(16A)의 촬영 화상을 취득하고, 그 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다. 시선 검출부(38)는, 3D 모델의 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시야 범위를 결정한다. 시선 검출부(38)는, 시청자의 시야 범위와 시청 위치를 묘화부(36)에 공급한다.

도 54의 흐름도를 참조하여, 도 52의 파일 생성부(27)가 실행하는 파일 생성 처리에 대하여 설명한다.

스텝 S11에 있어서, 파일 생성부(27)는, 전천구 비디오는 복수로 분할되어 있는지 여부를 판정한다.

스텝 S11에 있어서, 전천구 비디오는 복수로 분할되어 있다고 판정된 경우, 처리는 스텝 S12로 진행되어, 파일 생성부(27)는, 모든 전천구 비디오의 영역 정보를 기초로, tcov 및 EssentialProperty(totalcoverage) 정보를 결정한다.

스텝 S13에 있어서, 파일 생성부(27)는, 개개의 전천구 비디오의 영역 정보를 기초로, 각각의 covi 및 EssentialProperty(coverage)를 결정한다.

한편, 스텝 S11에 있어서, 전천구 비디오는 복수로 분할되어 있지 않다고 판정된 경우, 처리는 스텝 S14로 진행되어, 파일 생성부(27)는, 전천구 비디오의 영역 정보를 기초로, covi와 EssentialProperty(coverage) 정보를 결정한다.

스텝 S13 또는 S14의 처리 후, 처리는 스텝 S15로 진행되어, 파일 생성부(27)는, MPD와 ISOBMFF를 생성한 후, 처리는 종료된다.

도 55의 흐름도를 참조하여, 도 53의 파일 취득부(31)가 실행하는 파일 취득 처리에 대하여 설명한다.

스텝 S21에 있어서, 파일 취득부(31)는, MPD의 AdaptationSet의 EssentialProperty(totalcoverage)를 참조하여, 원하는 total coverage가 되는 spatial_set_id를 취득한다.

스텝 S22에 있어서, 파일 취득부(31)는, MPD의 AdaptationSet의 EssentialProperty(coverage)를 참조하여, 스텝 S21에서 취득한 spatial_set_id를 갖고, 또한 시청 방향에 적합한 AdaptationSet를 선택한다.

스텝 S23에 있어서, 파일 취득부(31)는, 선택한 AdaptationSet 중에서, 대역폭에 따라서 Representation을 선택하고, 참조되고 있는 파일을 취득하고, 처리는 종료된다.

이상과 같이, 파일 생성부(27)는, MPD 및 ISOBMFF를 생성할 수 있고, 파일 취득부(31)는 생성 대상의 파일을 취득할 수 있다.

또한, 상술한 흐름도를 참조하여 설명한 각 처리는, 반드시 흐름도로서 기재된 순번에 따라서 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다. 또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.

또한, 상술한 일련의 처리(정보 처리 방법)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에, 프로그램이 기록된 프로그램 기록 매체로부터 인스톨된다.

도 56은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속되어 있다.

버스(104)에는, 또한, 입출력 인터페이스(105)가 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로폰 등을 포함하는 입력부(106), 디스플레이, 스피커 등을 포함하는 출력부(107), 하드 디스크나 불휘발성이 메모리 등을 포함하는 기억부(108), 네트워크 인터페이스 등을 포함하는 통신부(109), 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(111)를 구동하는 드라이브(110)가 접속되어 있다.

이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들어 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통해, RAM(103)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(101))가 실행하는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 혹은 반도체 메모리 등을 포함하는 패키지 미디어인 리무버블 미디어(111)에 기록하거나, 혹은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통해 제공된다.

그리고, 프로그램은, 리무버블 미디어(111)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 통해, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(109)에서 수신하여, 기억부(108)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.

<구성의 조합예>

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비하는 정보 처리 장치.

(2)

상기 영역 정보에는, 복수의 상기 정점을 연결하는 규칙이 도입되는 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 영역 정보에는, 복수의 정점으로 커버되는 영역에 포함되는 대표점이 시그널되는 상기 (1) 또는 (2)에 기재된 정보 처리 장치.

(4)

상기 영역 정보는, 확장된 ISOBMFF에 의해 시그널되는 상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.

(5)

상기 영역 정보는, tcov에 의해 시그널되는 상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.

(6)

상기 영역 정보는, 확장된 DASH MPD에 의해 시그널되는 상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.

(7)

구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리 방법.

(8)

구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는 프로그램.

(9)

구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비하는 정보 처리 장치.

(10)

상기 영역 정보에는, 복수의 상기 정점을 연결하는 규칙이 도입되고, 상기 면의 수에 따라서 루프를 돌림으로써 상기 면 영역이 시그널되는 상기 (9)에 기재된 정보 처리 장치.

(11)

상기 영역 정보에는, 시그널된 영역을 커버할지, 시그널된 영역 이외를 커버할지를 나타내는 플래그가 포함되는 상기 (9) 또는 (10)에 기재된 정보 처리 장치.

(12)

상기 영역 정보는, 확장된 ISOBMFF에 의해 시그널되는 상기 (9) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.

(13)

상기 영역 정보는, tcov에 의해 시그널되는 상기 (9) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.

(14)

상기 영역 정보는, 확장된 DASH MPD에 의해 시그널되는 상기 (9) 내지 (11) 중 어느 것에 기재된 정보 처리 장치.

(15)

구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리 방법.

(16)

구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는 프로그램.

또한, 본 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

11 : 배신 시스템
12 : 촬영 장치
12A : 카메라
12B : 마이크로폰
13 : 생성 장치
14 : 배신 서버
15 : 재생 장치
15A : 카메라
16 : 헤드 마운트 디스플레이
16A : 마커
16B : 자이로 센서
21 : 스티칭 처리부
22 : 매핑 처리부
23 : region-wise packing 처리부
24 : 인코더
25 : 음성 처리부
26 : 인코더
27 : 파일 생성부
28 : 업로드부
31 : 파일 취득부
32 : 스트림 추출부
33 : 디코더
34 : projected frame 생성부
35 : 매핑 처리부
36 : 묘화부
37 : 수취부
38 : 시선 검출부

Claims (16)

1. 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비하는 정보 처리 장치.
2. 제1항에 있어서,
   상기 영역 정보에는, 복수의 상기 정점을 연결하는 규칙이 도입되는 정보 처리 장치.
3. 제1항에 있어서,
   상기 영역 정보에는, 복수의 정점으로 커버되는 영역에 포함되는 대표점이 시그널되는 정보 처리 장치.
4. 제1항에 있어서,
   상기 영역 정보는, 확장된 ISOBMFF에 의해 시그널되는 정보 처리 장치.
5. 제1항에 있어서,
   상기 영역 정보는, tcov에 의해 시그널되는 정보 처리 장치.
6. 제1항에 있어서,
   상기 영역 정보는, 확장된 DASH MPD에 의해 시그널되는 정보 처리 장치.
7. 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리 방법.
8. 구면상의 복수의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는 프로그램.
9. 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 생성부를 구비하는 정보 처리 장치.
10. 제9항에 있어서,
    상기 영역 정보에는, 복수의 상기 정점을 연결하는 규칙이 도입되고, 상기 면의 수에 따라서 루프를 돌림으로써 상기 면 영역이 시그널되는 정보 처리 장치.
11. 제9항에 있어서,
    상기 영역 정보에는, 시그널된 영역을 커버할지, 시그널된 영역 이외를 커버할지를 나타내는 플래그가 포함되는 정보 처리 장치.
12. 제9항에 있어서,
    상기 영역 정보는, 확장된 ISOBMFF에 의해 시그널되는 정보 처리 장치.
13. 제9항에 있어서,
    상기 영역 정보는, tcov에 의해 시그널되는 정보 처리 장치.
14. 제9항에 있어서,
    상기 영역 정보는, 확장된 DASH MPD에 의해 시그널되는 정보 처리 장치.
15. 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리 방법.
16. 구면상의 면별로 각 면의 정점을 시그널하고, 그것들의 정점끼리를 구면상의 최단 거리로 연결함으로써 형성되는 면 영역을, 면의 수에 따라서 시그널함으로써 구면상의 영역을 표현하는 영역 정보를 생성하는 스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는 프로그램.

Images