KR20200107945A - 정보 처리 장치 및 방법 - Google Patents

정보 처리 장치 및 방법 Download PDF

Info

Publication number
KR20200107945A
KR20200107945A KR1020207018530A KR20207018530A KR20200107945A KR 20200107945 A KR20200107945 A KR 20200107945A KR 1020207018530 A KR1020207018530 A KR 1020207018530A KR 20207018530 A KR20207018530 A KR 20207018530A KR 20200107945 A KR20200107945 A KR 20200107945A
Authority
KR
South Korea
Prior art keywords
information
picture
file
sub
stereo
Prior art date
Application number
KR1020207018530A
Other languages
English (en)
Inventor
료헤이 다카하시
미츠히로 히라바야시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200107945A publication Critical patent/KR20200107945A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

본 개시는, 서브픽처의 스트림의 선택을 보다 용이하게 행할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성한다. 본 개시는, 예를 들어 정보 처리 장치, 화상 처리 장치, 화상 부호화 장치, 파일 생성 장치, 파일 송신 장치, 배신 장치, 파일 수신 장치, 화상 복호 장치, 또는 재생 장치 등에 적용할 수 있다.

Description

정보 처리 장치 및 방법
본 개시는 정보 처리 장치 및 방법에 관한 것이며, 특히 서브픽처의 스트림의 선택을 보다 용이하게 행할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.
종래, HTTP(Hypertext Transfer Protocol) 프로토콜에 의한 어댑티브한 콘텐츠 배신 기술의 표준화 규격으로서 MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 있다(예를 들어 비특허문헌 1, 비특허문헌 2 참조).
또한 이 MPEG-DASH의 파일 포맷으로서, 동화상 압축의 국제 표준 기술 「MPEG-4(Moving Picture Experts Group-4)」의 파일 컨테이너 사양인 ISOBMFF(International Organization for Standardization Base Media File Format)가 있다(예를 들어 비특허문헌 3 참조).
그런데, 이른바 전천구 영상과 같은, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 입체 구조에 투영한 화상인 입체 구조 화상을 평면 화상에 매핑한 전천구 화상(투영 평면 화상이라고도 칭함)의 배신에 MPEG-DASH를 이용하는 것을 생각할 수 있다. 예를 들어 입체 구조 화상을 단수의 평면에 매핑하여, 그 입체 구조 화상이 평면에 매핑된 투영 평면 화상으로서 배신함으로써 MPEG-DASH를 적용할 수 있다. 그때, 하나의 전천구 영상의 투영 평면 화상(전체 픽처라고도 칭함)을 복수의 서브픽처(sub-picture)로 분할하여 복수의 트랙(track)에 저장하는 것도 제안되어 있다. 또한 sub-picture의 표시 영역을 식별하는 경우에는, 먼저 sub-picture 분할 정보에 기초하여 sub-picture로부터 전체 픽처를 구축한 후에, region-wise packing 정보에 기초하여 region-wise packing된 전체 픽처를 다시 배치하는 처리가 필요하다(예를 들어 비특허문헌 4 참조).
그러나 현재 제안되어 있는 방법에서는, sub-picture화가 이루어진 경우, 픽처 영역별로 사이즈·위치를 변경한 배치 정보(분할 전의 전체 픽처의 region-wise packing 정보)는, Sub Picture Composition Box 아래의 Region Wise Packing Box에 시그널된다. 그 때문에, sub-picture track을 선택·재생하는 경우, sub-picture track의 projected picture 상의 표시 영역을 식별하기 위하여, Sub Picture Composition Box를 파스하고 region-wise packing 정보와 sub-picture 분할 정보를 식별할 필요가 있어서, sub-picture track이 아닌 track을 선택·재생하는 경우에 비해 그 처리의 부하가 증대될 우려가 있었다.
본 개시는 이와 같은 상황을 감안하여 이루어진 것이며, 서브픽처의 스트림의 선택을 보다 용이하게 행할 수 있도록 하는 것이다.
본 기술의 일 측면의 정보 처리 장치는, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부를 구비하는, 정보 처리 장치이다.
본 기술의 일 측면의 정보 처리 방법은, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는, 정보 처리 방법이다.
본 기술의 다른 측면의 정보 처리 장치는, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와, 상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부를 구비하는, 정보 처리 장치이다.
본 기술의 다른 측면의 정보 처리 방법은, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는, 정보 처리 방법이다.
본 기술의 일 측면의 정보 처리 장치 및 방법에 있어서는, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일이 생성된다.
본 기술의 다른 측면의 정보 처리 장치 및 방법에 있어서는, 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일이 취득되고, 그 취득된 제어 파일에 포함되는 그 영역에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택이 행해진다.
본 개시에 따르면 정보를 처리할 수 있다. 특히 서브픽처의 스트림의 선택을 보다 용이하게 행할 수 있다.
도 1은 ISOBMFF의 sub-picture track의 Box 계층 구조의 예를 나타내는 도면이다.
도 2는 ISOBMFF의 sub-picture track이 아닌 track의 Box 계층 구조의 예를 나타내는 도면이다.
도 3은 Sub Picture Composition Box의 신택스의 예를 나타내는 도면이다.
도 4는 Sub Picture Region Box의 신택스의 예를 나타내는 도면이다.
도 5는 Sub Picture Region Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 6은 Region Wise Packing Box의 신택스의 예를 나타내는 도면이다.
도 7은 Region Wise Packing Struct의 신택스의 예를 나타내는 도면이다.
도 8은 Region Wise Packing Struct 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 9는 RectRegionPacking의 신택스의 예를 나타내는 도면이다.
도 10은 RectRegionPacking 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 11은 파일 생성 장치의 주된 구성예를 나타내는 블록도이다.
도 12는 클라이언트 장치의 주된 구성예를 나타내는 블록도이다.
도 13은 표시 영역 정보의 예를 나타내는 도면이다.
도 14는 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 16은 2D Coverage Information Box의 신택스의 예를 나타내는 도면이다.
도 17은 2D Coverage Information Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 18은 표시 영역 정보의 예를 나타내는 도면이다.
도 19는 불연속인 영역을 포함하는 sub-picture의 예를 나타내는 도면이다.
도 20은 2D Coverage Information Box의 신택스의 예를 나타내는 도면이다.
도 21은 이 경우에 추가되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 22는 Region Wise Packing Struct의 신택스의 예를 나타내는 도면이다.
도 23은 이 경우에 추가되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 24는 RectProjectedRegion의 신택스의 예를 나타내는 도면이다.
도 25는 RectProjectedRegion 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 26은 Region Wise Packing Struct의 신택스의 예를 나타내는 도면이다.
도 27은 RectRegionPacking의 신택스의 예를 나타내는 도면이다.
도 28은 Coverage Information Box의 신택스의 예를 나타내는 도면이다.
도 29는 Coverage Information Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 30은 Spherical offset projection SEI message의 신택스의 예를 나타내는 도면이다.
도 31은 Spherical offset projection SEI message 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 32는 2D Coverage Information Sample Entry의 신택스의 예를 나타내는 도면이다.
도 33은 2D Coverage Information Sample의 신택스의 예를 나타내는 도면이다.
도 34는 Sample Table Box의 예를 나타내는 도면이다.
도 35는 2D Coverage Information Sample Group Entry의 신택스의 예를 나타내는 도면이다.
도 36은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 37은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 38은 2D coverage information descriptor의 속성값의 예를 나타내는 도면이다.
도 39는 2D coverage information descriptor의 속성값의 예를 나타내는 도면이다.
도 40은 데이터 타입의 예를 나타내는 도면이다.
도 41은 Region Wise Packing descriptor의 속성값의 예를 나타내는 도면이다.
도 42는 Region Wise Packing descriptor의 속성값의 예를 나타내는 도면이다.
도 43은 Content coverage descriptor의 속성값의 예를 나타내는 도면이다.
도 44는 Content coverage descriptor의 속성값의 예를 나타내는, 도 43에 이은 도면이다.
도 45는 데이터 타입의 예를 나타내는 도면이다.
도 46은 데이터 타입의 예를 나타내는, 도 45에 이은 도면이다.
도 47은 데이터 타입의 예를 나타내는, 도 46에 이은 도면이다.
도 48은 sub-picture화의 예를 나타내는 도면이다.
도 49는 sub-picture화의 예를 나타내는 도면이다.
도 50은 sub-picture화의 예를 나타내는 도면이다.
도 51은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 52는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 53은 Original Stereo Video Box의 신택스의 예를 나타내는 도면이다.
도 54는 Original Stereo Video Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 55는 표시 사이즈의 시그널의 예를 나타내는 도면이다.
도 56은 Pixel Aspect Ratio Box의 신택스의 예를 나타내는 도면이다.
도 57은 Pixel Aspect Ratio Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 58은 표시 시의 픽셀 종횡비의 시그널의 예를 나타내는 도면이다.
도 59는 Original Scheme Information Box의 신택스의 예를 나타내는 도면이다.
도 60은 2D Coverage Information Box의 신택스의 예를 나타내는 도면이다.
도 61은 2D Coverage Information Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 62는 stereo_presentation_suitable의 시그널의 예를 나타내는 도면이다.
도 63은 Track Stereo Video Box의 신택스의 예를 나타내는 도면이다.
도 64는 2D Coverage Information Box의 신택스의 예를 나타내는 도면이다.
도 65는 2D Coverage Information Box 내에서 정의되는 필드의 시맨틱스의 예를 나타내는 도면이다.
도 66은 view_idc의 시그널의 예를 나타내는 도면이다.
도 67은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 68은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 69는 2D coverage information descriptor의 속성값의 예를 나타내는 도면이다.
도 70은 2D coverage information descriptor의 속성값의 예를 나타내는, 도 69에 이은 도면이다.
도 71은 데이터 타입의 예를 나타내는 도면이다.
도 72는 컴퓨터의 주된 구성예를 나타내는 블록도이다.
도 73은 Sub Picture Composition Box의 신택스의 예를 나타내는 도면이다.
도 74는 Supplemental Property의 신택스의 예를 나타내는 도면이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라 함)에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.
1. sub-picture에 관한 정보의 시그널
2. 제1 실시 형태(sub-picture의 표시 영역의 시그널, ISOBMFF의 확장)
3. 제2 실시 형태(sub-picture의 표시 영역의 시그널, MPD의 확장)
4. 제3 실시 형태(전체 픽처의 스테레오 정보의 시그널, ISOBMFF의 확장)
5. 제4 실시 형태(전체 픽처의 스테레오 정보의 시그널, MPD의 확장)
6. 부기
<1. sub-picture에 관한 정보의 시그널>
<기술 내용·기술 용어를 서포트하는 문헌 등>
본 기술에서 개시되는 범위는, 실시 형태에 기재되어 있는 내용뿐 아니라, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.
비특허문헌 1: (상술)
비특허문헌 2: (상술)
비특허문헌 3: (상술)
비특허문헌 4: (상술)
즉, 상술한 비특허문헌에 기재되어 있는 내용도, 서포트 요건을 판단할 때의 근거로 된다. 예를 들어 파스(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 실시 형태에 있어서 직접적인 기재가 없는 경우에도, 본 기술의 개시 범위 내이며 청구의 범위의 서포트 요건을 만족시키는 것으로 한다.
<MPEG-DASH>
종래, 예를 들어 비특허문헌 1이나 비특허문헌 2에 기재된 바와 같이, HTTP(Hypertext Transfer Protocol) 프로토콜에 의한 어댑티브한 콘텐츠 배신 기술의 표준화 규격으로서 MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 있다.
이 MPEG-DASH에 의하여, 예를 들어 웹 사이트로부터 인터넷의 웹 페이지를 다운로드하는 경우와 마찬가지의 통신 프로토콜인 HTTP을 이용하여, 네트워크 대역의 변동에 따른 최적의 비트 레이트에서의 비디오 재생을 실현할 수 있다.
이 표준 규격에 의하여, 동화상 배신 서비스를 위한 인프라나 동화상 재생 클라이언트용의 기술 개발을 보다 용이하게 할 수 있다. 특히 배신 서비스를 취급하는 사업자의 경우에는, 동화상 배신 서비스와 동화상 재생 클라이언트 사이의 호환성이 향상되는 것 외에 기존의 콘텐츠 자산을 활용하기 쉽다는 이점이 있어서, 시장의 성장을 촉진하는 효과가 기대된다.
MPEG-DASH는 주로 2개의 기술 기획으로 구성되어 있다. 동화상이나 음성 파일을 관리하는 메타데이터를 기술한 MPD(Media Presentation Description)라 칭하는 매니페스트 파일 사양을 정한 규격과, 실제로 동화상 콘텐츠를 전달하기 위한 세그먼트 포맷(segment format)이라 칭하는 파일 포맷의 운용 규격이다.
이 파일 포맷으로서, 예를 들어 비특허문헌 3에 기재된 바와 같이, 동화상 압축의 국제 표준 기술 「MPEG-4(Moving Picture Experts Group-4)」의 파일 컨테이너 사양인 ISOBMFF(International Organization for Standardization Base Media File Format)가 있다. ISOBMFF에는, MPEG-DASH의 요건을 만족시키기 위한 기능 확장이 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) 14496-12의 확장 사양으로서 추가되었다.
<MPEG-DASH를 이용한 전천구 영상의 배신>
그런데, 이른바 전천구 영상과 같이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 입체 구조에 투영한 입체 구조 화상을 평면 화상에 매핑한 투영 평면 화상이 있다. 예를 들어 시점에서 본 주변의 화상(전천구 영상)을, 그 시점을 중심으로 하는 입체 구조로 렌더링하여 입체 구조 화상으로 함으로써 시점의 주변의 화상을 보다 자연스럽게 표현하거나, 그 입체 구조 화상으로부터 원하는 시선 방향의 화상을 용이하게 생성하거나 할 수 있다.
근년, 이 투영 평면 화상(전천구 영상 등)의 배신에 MPEG-DASH를 이용하는 것을 생각할 수 있다. 예를 들어 비특허문헌 4에 기재된 바와 같이, 입체 구조 화상을 단수의 평면에 매핑하여, 그 입체 구조 화상이 평면에 매핑된 투영 평면 화상으로서 배신함으로써 MPEG-DASH를 적용할 수 있다.
입체 구조에 투영하고 평면에 매핑하는 방법(프로젝션 포맷(projection format)이라고도 칭함)으로서, 예를 들어 ERP(Equirectangular projection(정거 원통))나 CMP(Cubemap projection(큐브 맵)) 등이 있다. 예를 들어 ERP의 경우, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 구 형상의 입체 구조에 투영된 입체 구조 화상이, 단수의 평면에, 구 형상의 입체 구조의 위도 방향과 경도 방향이 직교하도록 매핑된다. 또한, 예를 들어 CMP의 경우, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 입방체의 각 면에 투영된 입체 구조 화상의 각 면이 전개되어 단수의 평면에 소정의 차례로 나열되도록 매핑된다.
이와 같이 전천구 영상이 투영·매핑된 투영 평면 화상을 프로젝티드 픽처(projected picture)라고도 칭한다. 즉, projected picture란, projection format별로 정해지는, 전천구 영상을 표현하는 2차원 화상(2차원 picture)을 말한다.
비특허문헌 4에 기재된 MPEG-I Part2 Omnidirectional Media Format (ISO/IEC23090-2) FDIS(Final Draft International Standards)(이하, OMAF라고도 칭함)에서는, 하나의 전천구 영상의 투영 평면 화상(전체 픽처라고도 칭함)을 복수의 서브픽처(sub-picture)로 분할하여 복수의 트랙(track)에 저장하는 기술의 논의가 이루어져 있다.
예를 들어 특정 시야 영역별로, 시야에 대응하는 서브픽처 트랙(sub-picture track)을 구성하고, 클라이언트는 자신의 시야 영역에 따라 그 sub-picture track을 선택·재생하는 유스 케이스가 있다.
<ISOBMFF 파일의 Box 계층 구조>
도 1의 Box 계층 구조(11)는, 전천구 영상을 sub-picture track화하는 경우의 ISOBMFF 파일의 Box 계층 구조의 예를 나타낸다.
Box 계층 구조(11)에 나타난 바와 같이, 이 경우, Track Group Box 아래에 전체 픽처에 대한 정보가 저장된다. 예를 들어 Sub Picture Composition Box(spco)에는, 픽처가 sub-picture화되어 있는지 등의, sub-picture track의 grouping에 사용되는 정보가 저장된다. 또한 그 아래에는, Sub Picture Region Box(sprg), Region Wise Packing Box(rwpk), Stereo Video Box(stvi) 등의 Box가 형성된다.
Sub Picture Region Box에는, sub-picture의 분할의 방식 등을 나타내는 sub-picture 분할 정보가 저장된다. 또한 Region Wise Packing Box에는, 분할 전의 전체 픽처의 region-wise packing 정보가 저장된다. 또한 Stereo Video Box에는, 전체 픽처의 스테레오 표시(입체시 표시)에 관한 정보(스테레오 정보)가 저장된다. 스테레오 정보란, 예를 들어 사이드 바이 사이드(side by side)나 톱 앤드 보텀(top & bottom) 등, 입체시 표시용 화상의 종류 등을 나타내는 정보이다.
또한 Media Box(mdia) 아래의 Media Information Box(minf) 아래의 Sample Table Box(stbl) 아래의 Sample Description Box(stsd) 아래의 Restricted Sample Entry(resv)(Sample Entry의 1종) 아래의 Restricted Scheme Information Box(rinf) 아래의 Scheme Information Box(schi) 아래에는, Projected Omnidirectional Video Box(povd), Stereo Video Box(stvi) 등의 Box가 형성된다.
Projected Omnidirectional Video Box에는, 전천구 영상에 관련되는 메타데이터가 저장된다. Stereo Video Box에는, 그 Box가 대응하는 sub-picture에 대한 스테레오 정보가 저장된다.
도 2의 Box 계층 구조(12)는, 전천구 영상을 sub-picture track화하지 않는 경우의 ISOBMFF 파일의 Box 계층 구조의 예를 나타낸다.
Box 계층 구조(12)에 나타난 바와 같이, 이 경우, Track Group Box는 형성되지 않으며, Region Wise Packing Box는 Projected Omnidirectional Video Box 아래에 형성된다.
즉, sub-picture화가 이루어진 경우, 픽처 영역별로 사이즈·위치를 변경한 배치 정보를 나타내는 Region Wise Packing Box는 Sub Picture Composition Box에만 시그널되고, 분할 전의 전체 픽처의 region-wise packing 정보를 갖는다. 이에 비해, sub-picture화가 이루어져 있지 않은 경우, Region Wise Packing Box는 Projected Omnidirectional Video Box에 시그널되고, track에 저장된 픽처의 region-wise packing 정보를 갖는다. 이하에 있어서, Sub Picture Composition Box를 갖는 track을 sub-picture track이라 칭한다.
<sub-picture track의 선택>
그 때문에, 트랙(track)이 sub-picture track인지, sub-picture화가 이루어져 있지 않은 통상의 track인지에 따라, 클라이언트가 그 track의 화상의, 투영 평면 화상(projected picture) 상에 있어서의 표시 영역을 식별하기 위한 처리가 다르다. 예를 들어 sub-picture track을 선택·재생하는 경우, sub-picture track의 projected picture 상의 표시 영역을 식별하기 위하여, Sub Picture Composition Box를 파스하고 region-wise packing 정보와 sub-picture 분할 정보를 식별할 필요가 있다. 이에 비해, sub-picture track이 아닌 track을 선택·재생하는 경우, 이 처리는 불필요하다.
도 3의 신택스(21)는, Sub Picture Composition Box의 신택스의 예를 나타낸다. 신택스(21)에 나타난 바와 같이, 이 Sub Picture Composition Box에 있어서, Sub Picture Region Box와 Region Wise Packing Box가 세트된다.
도 4의 신택스(22)는, Sub Picture Region Box의 신택스의 예를 나타낸다. 신택스(22)에 나타난 바와 같이, 이 Sub Picture Region Box에 있어서, track_x, track_y, track_width, track_height, composition_width, composition_height 등의 필드가 정의된다.
도 5의 시맨틱스(23)는, Sub Picture Region Box 내에서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(23)에 나타난 바와 같이 track_x는, track에 저장되는 sub-picture의, 전체 픽처 상에서의 수평 방향 위치를 나타낸다. track_y는, track에 저장되는 sub-picture의, 전체 픽처 상에서의 수직 방향 위치를 나타낸다. track_width는, track에 저장되는 sub-picture의 폭을 나타낸다. track_height는, track에 저장되는 sub-picture의 높이를 나타낸다. composition_width는 전체 픽처의 폭을 나타낸다. composition_height는 전체 픽처의 높이를 나타낸다.
도 6의 신택스(24)는, Region Wise Packing Box의 신택스의 예를 나타낸다. 신택스(24)에 나타난 바와 같이, 이 Region Wise Packing Box에 있어서, Region Wise Packing Struct가 세트된다.
도 7의 신택스(25)는, Region Wise Packing Struct의 신택스의 예를 나타낸다. 신택스(25)에 나타난 바와 같이, 이 Region Wise Packing Struct에 있어서, constituent_picture_matching_flag, num_regions, proj_picture_width, proj_picture_height, packed_picture_width, packed_picture_height, guard_band_flag[i], packing_type[i], GuardBand(i) 등의 필드가 세트된다.
도 8의 시맨틱스(26)는, Region Wise Packing Struct 내에서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(26)에 나타난 바와 같이 constituent_picture_matching_flag는, 픽처가 스테레오인 경우, 좌안용 뷰(Left view) 및 우안용 뷰(Right view)에 대하여 동일한 region-wise packing이 적용되는지 여부를 나타내는 플래그 정보이다. 예를 들어 이 필드의 값이 0인 경우, 모노(단시점 뷰)이거나, 또는 Left view 및 Right view에 서로 다른 packing이 적용됨을 나타낸다. 또한 이 필드의 값이 1인 경우, Left view 및 Right view에 대하여 동일한 packing이 적용됨을 나타낸다.
또한 num_regions는 packed region의 수를 나타낸다. proj_picture_width는 projected picture의 폭을 나타낸다. proj_picture_height는 projected picture의 높이를 나타낸다. packed_picture_width는 packed picture(region-wise packing 된 picture)의 폭을 나타낸다. packed_picture_height는 packed picture의 높이를 나타낸다.
또한 guard_band_flag[i]는, 가드 밴드가 존재하는지 여부를 나타내는 플래그 정보이다. 예를 들어 이 필드의 값이 0인 경우, packed region에 가드 밴드가 존재하지 않음을 나타내고, 이 필드의 값이 1인 경우, packed region에 가드 밴드가 존재함을 나타낸다. packing_type[i]는 packed region의 형상을 나타낸다. 예를 들어 이 필드의 값이 0인 경우, packed region이 직사각형임을 나타낸다. GuardBand(i)는 영역 주위의 가드 밴드 정보이다.
또한 신택스(25)에 나타난 바와 같이, Region Wise Packing Struct에 있어서는, 또한, RectRegionPacking이 세트된다. 도 9의 신택스(27)는 이 RectRegionPacking의 신택스의 예를 나타낸다. 신택스(27)에 나타난 바와 같이, 이 RectRegionPacking에 있어서, proj_reg_width[i], proj_reg_height[i], proj_reg_top[i], proj_reg_left[i], transform_type[i], packed_reg_width[i], packed_reg_height[i], packed_reg_top[i], packed_reg_left[i] 등의 필드가 세트된다.
도 10의 시맨틱스(28)는, RectRegionPacking 내에서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(28)에 나타난 바와 같이 proj_reg_width[i]는, region-wise packing 적용원인 projected region의 폭을 나타낸다. proj_reg_height[i]는, region-wise packing 적용원인 projected region의 높이를 나타낸다. proj_reg_top[i]는, region-wise packing 적용원인 projected region의 수직 방향 위치를 나타낸다. proj_reg_left[i]는, region-wise packing 적용원인 projected region의 수평 방향 위치를 나타낸다. transform_type[i]는 packed region의 회전이나 미러링을 나타낸다. packed_reg_width[i]는, region-wise packing으로 재배치된 packed region의 폭을 나타낸다. packed_reg_height[i]는, region-wise packing으로 재배치된 packed region의 높이를 나타낸다. packed_reg_top[i]는, region-wise packing으로 재배치된 packed region의 수직 방향 위치를 나타낸다. packed_reg_left[i]는, region-wise packing으로 재배치된 packed region의 수평 방향 위치를 나타낸다.
즉, 예를 들어 클라이언트가 유저의 시야에 따라 sub-picture track을 선택 하는 경우, 이들 정보를 파스할 필요가 있어서, sub-picture track이 아닌 track을 선택·재생하는 경우에 비해 그 처리의 부하가 증대될 우려가 있었다.
<스테레오 정보의 식별>
또한 스테레오 전천구 영상의 전체 픽처를 sub-picture화한 경우, 전체 픽처의 스테레오 정보(전체 픽처가 어떠한 종류의 입체시 표시용 화상인지 등)를 나타내는 Stereo Video Box는 Sub Picture Composition Box에 시그널되고, sub-picture의 스테레오 정보(sub-picture가 어떠한 종류의 입체시 표시용 화상인지 등)를 나타내는 Stereo Video Box는, track의 Sample Entry의 Scheme Information Box 아래에 시그널된다. 이에 비해, sub-picture화가 이루어져 있지 않은 경우, Stereo Video Box는 Scheme Information Box 아래에만 시그널되고, track에 저장된 픽처의 스테레오 정보를 갖는다.
그 때문에, track이 sub-picture track인지, sub-picture화가 이루어져 있지 않은 통상의 track인지에 따라, 클라이언트가 그 track의 스테레오 정보를 식별하기 위한 처리가 다르다. 예를 들어 전체 픽처가 스테레오 화상(입체시용 화상)인 경우, 분할된 sub-picture track은 L view 및 R view를 포함하지만, 프레임 패킹 어레인지먼트가 top & bottom도 side by side도 아닌 경우가 있다.
따라서 이와 같은 sub-picture가 스테레오로 표시 가능한지 여부를 식별하는 경우, Sub Picture Composition Box를 파스하고 region-wise packing 정보와 sub-picture 분할 정보, 및 스테레오 정보를 식별하는 처리가 필요해진다. 이에 비해, sub-picture track이 아닌 track을 선택·재생하는 경우, 이 처리는 불필요하다.
즉, 예를 들어 클라이언트가 자신의 스테레오 표시 능력에 따라 sub-picture track을 선택하는 경우, sub-picture track이 아닌 track을 선택·재생하는 경우에 비해 그 처리의 부하가 증대될 우려가 있었다.
이상에 있어서는, ISOBMFF 파일에 있어서의 sub-picture track의 선택에 대하여 설명하였지만, MPD 파일에서는, sub-picture는 어댑테이션 세트(Adaptation Set)로서 관리된다. 이 MPD 파일에 있어서의 sub-picture를 참조하는 Adaptation Set의 선택에 대해서도, 마찬가지의 이유에 의하여 처리의 부하가 증대될 우려가 있었다. 즉, ISOBMFF 파일의 경우 또는 MPD 파일의 경우에 관계없이 스트림의 선택의 부하가 증대될 우려가 있었다.
<sub-picture의 표시 영역의 시그널>
그래서, 전체 픽처를 서브픽처(sub-picture)화하는 경우, 그 sub-picture의 표시 영역에 관한 정보를 시그널하도록(콘텐츠의 재생측에 제공하도록) 한다. 표시 영역이란, 전체 픽처에 있어서의 영역임을 나타낸다. 즉, sub-picture의 표시 영역에 관한 정보란, 그 sub-picture에 대응하는 픽처 전체에 있어서의 영역에 관한 정보, 즉, sub-picture가 전체 픽처의 어느 부분의 화상인지를 나타내는 정보이다. 이 정보에 의하여, 예를 들어 sub-picture에 대응하는 영역의 위치, 크기, 형상 등이 나타난다. 영역의 표현 방법은 임의이며, 예를 들어 영역의 범위가 좌표 등에 의하여 나타나도록 해도 된다.
이와 같이 함으로써, 콘텐츠를 재생하는 클라이언트는 이 정보에 기초하여, sub-picture가 전천구 영상에 있어서 어느 곳에 표시되는지를 파악할 수 있다.
그때, 이 sub-picture의 표시 영역에 관한 정보를 sub-picture별 정보로서 시그널하도록 한다. 이와 같이 함으로써 클라이언트는 용이하게 이 정보를 얻을 수 있다. 따라서 클라이언트는 원하는 서브픽처의 스트림을 용이하게 선택할 수 있다. 예를 들어 유저의 시야에 따라 스트림을 선택하는 경우에 클라이언트는, 그 시야의 방향이나 범위에 대응하는 적절한 스트림을 용이하게 선택할 수 있다.
<sub-picture화되는 전체 픽처의 스테레오 정보의 시그널>
또한 sub-picture화되는 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 시그널하도록 한다. 이와 같이 함으로써, 콘텐츠를 재생하는 클라이언트는 이 정보에 기초하여, 전체 픽처가 스테레오 화상(입체시용 화상)인지 여부나, 스테레오 화상인 경우에는 그 종류(타입) 등을 용이하게 파악할 수 있다. 이것에 의하여 클라이언트는, sub-picture에 포함되는 화상이 어떠한 화상인지(예를 들어 어떠한 타입의 스테레오 화상(또는 모노 화상(단시점 화상))의 어느 부분에 대응하는 것인지 등)를 용이하게 파악할 수 있다.
따라서 클라이언트는 원하는 스트림을 용이하게 선택할 수 있다. 예를 들어 자신의 능력(capability)에 따라 스트림을 선택하는 경우에 클라이언트는, 그 자신의 능력(capability)에 따른 적절한 스트림을 용이하게 선택할 수 있다.
<파일 생성 장치>
다음에, sub-picture에 관한 시그널을 행하는 장치의 구성에 대하여 설명한다. 도 11은, 본 기술을 적용한 정보 처리 장치의 일 양태인 파일 생성 장치의 구성의 일례를 나타내는 블록도이다. 도 11에 나타나는 파일 생성 장치(100)는, ISOBMFF 파일(세그먼트 파일)이나 MPD 파일을 생성하는 장치이다. 예를 들어 파일 생성 장치(100)는, 비특허문헌 1 내지 비특허문헌 4에 기재되어 있는 기술을 실장하며, MPEG-DASH에 준거한 방법으로, 스트림을 포함하는 ISOBMFF 파일이나, 스트림의 배신 제어에 이용되는 제어 파일인 MPD 파일을 생성하고, 그 파일들을 네트워크를 통하여, 그 파일들을 배신하는 서버에 업로드(송신)한다.
또한 도 11에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 11에 나타나는 것이 전부인 것만은 아니다. 즉, 파일 생성 장치(100)에 있어서, 도 11에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 11에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 11에 나타난 바와 같이 파일 생성 장치(100)는 제어부(101), 메모리(102) 및 파일 생성부(103)를 갖는다.
제어부(101)는 파일 생성 장치(100) 전체의 동작을 제어한다. 예를 들어 제어부(101)는 파일 생성부(103)를 제어하여 ISOBMFF 파일이나 MPD 파일을 생성시키거나, 생성된 ISOBMFF 파일이나 MPD 파일을 업로드시키거나 한다. 제어부(101)는 이와 같은 제어에 관한 처리를 메모리(102)를 이용하여 행한다. 예를 들어 제어부(101)는 원하는 프로그램 등을 메모리(102)에 로드하여 실행함으로써, 상술한 바와 같은 제어에 관한 처리를 행한다.
파일 생성부(103)는 제어부(101)의 제어에 따라 ISOBMFF 파일이나 MPD 파일의 생성이나 업로드(송신)에 관한 처리를 행한다. 도 11에 나타난 바와 같이 파일 생성부(103)는 데이터 입력부(111), 데이터 부호화·생성부(112), MPD 파일 생성부(113), 기록부(114) 및 업로드부(115)를 갖는다.
데이터 입력부(111)는, 데이터 입력의 접수에 관한 처리를 행한다. 예를 들어 데이터 입력부(111)는, 텍스처나 메쉬의 생성에 필요한 화상 등의 데이터나, MPD 파일의 생성에 필요한 메타데이터 등의 입력을 접수한다. 또한 데이터 입력부(111)는, 접수한 데이터를 데이터 부호화·생성부(112)나 MPD 파일 생성부(113)에 공급한다.
데이터 부호화·생성부(112)는, 데이터의 부호화나 파일의 생성에 관한 처리를 행한다. 예를 들어 데이터 부호화·생성부(112)는, 데이터 입력부(111)로부터 공급된 화상 등의 데이터에 기초하여 텍스처나 메쉬 등의 스트림을 생성한다. 또한 데이터 부호화·생성부(112)는, 생성한 스트림을 저장하는 ISOBMFF 파일을 생성한다. 또한 데이터 부호화·생성부(112)는, 생성한 ISOBMFF 파일을 기록부(114)에 공급한다.
도 11에 나타난 바와 같이 데이터 부호화·생성부(112)는 전처리부(121), 인코드부(122) 및 세그먼트 파일 생성부(123)를 갖는다.
전처리부(121)는, 부호화 전의 화상 등의 데이터에 대한 처리를 행한다. 예를 들어 전처리부(121)는, 데이터 입력부(111)로부터 공급된 화상 등의 데이터에 기초하여 텍스처나 메쉬의 스트림을 생성한다. 또한, 예를 들어 전처리부(121)는, 그 생성한 스트림을 인코드부(122)에 공급한다.
인코드부(122)는, 스트림의 부호화에 관한 처리를 행한다. 예를 들어 인코드부(122)는, 전처리부(121)로부터 공급된 스트림을 부호화한다. 또한, 예를 들어 인코드부(122)는, 그 부호화에 의하여 얻어진 부호화 데이터를 세그먼트 파일 생성부(123)에 공급한다.
세그먼트 파일 생성부(123)는, 세그먼트 파일의 생성에 관한 처리를 행한다. 예를 들어 세그먼트 파일 생성부(123)는, 데이터 입력부(111)로부터 공급된 메타데이터 등에 기초하여, 인코드부(122)로부터 공급된 부호화 데이터를 세그먼트 단위로 파일화한다(세그먼트 파일을 생성함). 또한, 예를 들어 세그먼트 파일 생성부(123)는, 세그먼트 파일의 생성에 관한 처리로서, 이상과 같이 생성한 ISOBMFF 파일을 기록부(114)에 공급한다. 예를 들어 세그먼트 파일 생성부(123)는 세그먼트 파일로서 ISOBMFF 파일을 생성하고, 생성한 ISOBMFF 파일을 기록부(114)에 공급한다.
MPD 파일 생성부(113)는, MPD 파일의 생성에 관한 처리를 행한다. 예를 들어 MPD 파일 생성부(113)는, 데이터 입력부(111)로부터 공급된 메타데이터 등에 기초하여 MPD 파일을 생성한다. 또한, 예를 들어 MPD 파일 생성부(113)는, 생성한 MPD 파일을 기록부(114)에 공급한다. 또한 MPD 파일 생성부(113)는, MPD 파일의 생성에 필요한 메타데이터 등을 세그먼트 파일 생성부(123)로부터 취득하도록 해도 된다.
기록부(114)는, 예를 들어 하드 디스크나 반도체 메모리 등의 임의의 기록 매체를 갖고 데이터의 기록 등에 관한 처리를 행한다. 예를 들어 기록부(114)는, MPD 파일 생성부(113)로부터 공급된 MPD 파일을 기록한다. 또한, 예를 들어 기록부(114)는, 세그먼트 파일 생성부(123)로부터 공급된 세그먼트 파일(예를 들어 ISOBMFF 파일)을 기록한다.
업로드부(115)는, 파일의 업로드(송신)에 관한 처리를 행한다. 예를 들어 업로드부(115)는, 기록부(114)에 기록되어 있는 MPD 파일을 판독한다. 또한, 예를 들어 업로드부(115)는, 판독한 MPD 파일을 네트워크 등을 통하여, MPD 파일을 클라이언트 등에 배신하는 서버(도시하지 않음)에 업로드(송신)한다.
또한, 예를 들어 업로드부(115)는, 기록부(114)에 기록되어 있는 세그먼트 파일(예를 들어 ISOBMFF 파일)을 판독한다. 또한, 예를 들어 업로드부(115)는, 판독한 그 세그먼트 파일들을 네트워크 등을 통하여, 세그먼트 파일을 클라이언트 등에 배신하는 서버(도시하지 않음)에 업로드(송신)한다.
즉, 업로드부(115)는, MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 서버에 송신하는 통신부로서 기능한다. 또한 업로드부(115)에 의한 MPD 파일의 송신처와 세그먼트 파일(예를 들어 ISOBMFF 파일)의 송신처는 서로 동일해도 되고 서로 상이해도 된다. 또한 여기서는, 파일 생성 장치(100)가 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을, 그 파일들을 클라이언트에 배신하는 서버에 업로드하는 장치로서 기능하는 예에 대하여 설명하지만, 파일 생성 장치(100)가 그 서버로서 기능하도록 해도 된다. 그 경우, 파일 생성 장치(100)의 업로드부(115)가 네트워크를 통하여 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 클라이언트에 배신하도록 하면 된다.
<클라이언트 장치>
도 12는, 본 기술을 적용한 정보 처리 장치의 일 양태인 클라이언트 장치의 구성의 일례를 나타내는 블록도이다. 도 12에 나타나는 클라이언트 장치(200)는 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득하고, 그 파일들에 기초하여 콘텐츠를 재생하는 장치이다. 예를 들어 클라이언트 장치(200)는, 비특허문헌 1 내지 비특허문헌 4에 기재되어 있는 기술을 실장하며, MPEG-DASH에 준거한 방법으로 세그먼트 파일을 서버(또는 상술한 파일 생성 장치(100))로부터 취득하고, 그 세그먼트 파일에 포함되는 스트림(콘텐츠)을 재생한다. 그때, 클라이언트 장치(200)는 MPD 파일을 서버(또는 상술한 파일 생성 장치(100))로부터 취득하고, 그 MPD 파일을 이용하여 원하는 세그먼트 파일을 선택하여 서버로부터 취득하도록 해도 된다.
또한 도 12에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 12에 나타나는 것이 전부인 것만은 아니다. 즉, 클라이언트 장치(200)에 있어서, 도 12에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 12에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 12에 나타난 바와 같이 클라이언트 장치(200)는 제어부(201), 메모리(202) 및 재생 처리부(203)를 갖는다.
제어부(201)는 클라이언트 장치(200) 전체의 동작을 제어한다. 예를 들어 제어부(201)는 재생 처리부(203)를 제어하여 서버로부터 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득시키거나, 세그먼트 파일에 포함되는 스트림(콘텐츠)을 재생시키거나 한다. 제어부(201)는 이와 같은 제어에 관한 처리를 메모리(202)를 이용하여 행한다. 예를 들어 제어부(201)는 원하는 프로그램 등을 메모리(202)에 로드하여 실행함으로써, 상술한 바와 같은 제어에 관한 처리를 행한다.
재생 처리부(203)는 제어부(201)의 제어에 따라, 세그먼트 파일에 포함되는 스트림(콘텐츠)의 재생에 관한 처리를 행한다. 도 12에 나타난 바와 같이 재생 처리부(203)는 계측부(211), MPD 파일 취득부(212), MPD 파일 처리부(213), 세그먼트 파일 취득부(214), 표시 제어부(215), 데이터 해석·복호부(216) 및 표시부(217)를 갖는다.
계측부(211)는 계측에 관한 처리를 행한다. 예를 들어 계측부(211)는, 클라이언트 장치(200)와 서버 사이의 네트워크의 전송 대역을 계측한다. 또한, 예를 들어 계측부(211)는 그 계측 결과를 MPD 파일 처리부(213)에 공급한다.
MPD 파일 취득부(212)는, MPD 파일의 취득에 관한 처리를 행한다. 예를 들어 MPD 파일 취득부(212)는, 원하는 콘텐츠(재생하는 콘텐츠)에 대응하는 MPD 파일을 네트워크를 통하여 서버로부터 취득한다. 또한, 예를 들어 MPD 파일 취득부(212)는, 취득한 MPD 파일을 MPD 파일 처리부(213)에 공급한다.
MPD 파일 처리부(213)는, MPD 파일에 기초하는 처리를 행한다. 예를 들어 MPD 파일 처리부(213)는, MPD 파일 취득부(212)로부터 공급된 MPD 파일에 기초하여, 취득할 스트림을 선택한다. 또한, 예를 들어 MPD 파일 처리부(213)는 그 선택 결과를 세그먼트 파일 취득부(214)에 공급한다. 또한 취득할 스트림의 선택에 있어서는, 계측부(211)로부터 공급된 계측 결과나, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보도 적당히 이용된다.
세그먼트 파일 취득부(214)는, 세그먼트 파일(예를 들어 ISOBMFF 파일)의 취득에 관한 처리를 행한다. 예를 들어 세그먼트 파일 취득부(214)는, 원하는 콘텐츠의 재생에 필요한 스트림이 저장된 세그먼트 파일을 네트워크를 통하여 서버로부터 취득한다. 또한, 예를 들어 세그먼트 파일 취득부(214)는, 취득한 세그먼트 파일을 데이터 해석·복호부(216)에 공급한다.
또한 세그먼트 파일 취득부(214)가 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득하는 서버는, MPD 파일 취득부(212)가 MPD 파일을 취득하는 서버와 동일해도 되고 상이해도 된다. 또한 세그먼트 파일 취득부(214)가, MPD 파일 처리부(213)로부터 공급되는 스트림의 선택 결과에 기초하여 세그먼트 파일을 취득하도록 해도 된다. 즉, 세그먼트 파일 취득부(214)가, MPD 파일 등에 기초하여 선택된 스트림이 저장된 세그먼트 파일을 서버로부터 취득하도록 해도 된다.
표시 제어부(215)는, 콘텐츠의 재생(표시)의 제어에 관한 처리를 행한다. 예를 들어 표시 제어부(215)는, 콘텐츠를 시청하는 유저의 시점 위치나 시선 방향의 검출 결과를 취득한다. 또한, 예를 들어 표시 제어부(215)는, 그 취득한 검출 결과(유저의 시점 위치나 시선 방향에 관한 정보)를 MPD 파일 처리부(213)나 데이터 해석·복호부(216)에 공급한다.
데이터 해석·복호부(216)는, 데이터의 해석이나 복호 등에 관한 처리를 행한다. 예를 들어 데이터 해석·복호부(216)는, 세그먼트 파일 취득부(214)로부터 공급된 ISOBMFF 파일을 처리하여 콘텐츠의 표시용 화상을 생성한다. 또한 데이터 해석·복호부(216)는 그 표시용 화상의 데이터를 표시부(217)에 공급한다.
도 12에 나타난 바와 같이 데이터 해석·복호부(216)는 세그먼트 파일 처리부(221), 디코드부(222) 및 표시 정보 생성부(223)를 갖는다.
세그먼트 파일 처리부(221)는, 세그먼트 파일(예를 들어 ISOBMFF 파일)에 대한 처리를 행한다. 예를 들어 세그먼트 파일 처리부(221)는, 세그먼트 파일 취득부(214)로부터 공급된 ISOBMFF 파일로부터 원하는 스트림의 부호화 데이터를 추출한다. 또한, 예를 들어 세그먼트 파일 처리부(221)는, 추출한 부호화 데이터를 디코드부(222)에 공급한다.
또한 세그먼트 파일 처리부(221)가, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보나 계측부(211)에 있어서 계측된 전송 대역 등에 기초하여 스트림을 선택하고, 그 스트림의 부호화 데이터를 세그먼트 파일로부터 추출하도록 해도 된다.
디코드부(222)는, 복호에 관한 처리를 행한다. 예를 들어 디코드부(222)는, 세그먼트 파일 처리부(221)로부터 공급된 부호화 데이터를 복호한다. 또한, 예를 들어 디코드부(222)는, 그 복호에 의하여 얻어진 스트림을 표시 정보 생성부(223)에 공급한다.
표시 정보 생성부(223)는, 표시용 화상의 데이터 생성에 관한 처리를 행한다. 예를 들어 표시 정보 생성부(223)는, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보와, 디코드부(222)로부터 공급된 스트림에 기초하여, 유저의 시점 위치나 시선 방향에 따른 표시용 화상의 데이터를 생성한다. 또한, 예를 들어 표시 정보 생성부(223)는, 생성된 표시용 화상의 데이터를 표시부(217)에 공급한다.
표시부(217)는, 예를 들어 액정 표시 패널 등을 이용한 디스플레이나 프로젝터 등의 임의의 표시 디바이스를 갖고, 그 표시 디바이스를 이용한 화상 표시에 관한 처리를 행한다. 예를 들어 표시부(217)는, 표시 정보 생성부(223)로부터 공급된 데이터에 기초하여 화상 표시 등의 콘텐츠 재생을 행한다.
<2. 제1 실시 형태>
<ISOBMFF에 의한 sub-picture의 표시 영역 정보의 시그널>
상술한 sub-picture의 표시 영역에 관한 정보의 시그널을, 세그먼트 파일인 ISOBMFF 파일에 있어서 행하도록 해도 된다.
즉, 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한, 그 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 생성부(123)가, 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한, 그 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 세그먼트 파일 생성부(123))를 구비하도록 해도 된다.
이와 같이 함으로써, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 ISOBMFF 파일에 있어서는, 스트림은 트랙(track)으로서 관리된다. 즉, ISOBMFF 파일을 이용하는 경우, track을 선택함으로써 스트림의 선택이 행해진다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 전천구 영상은, 시점을 중심으로 하는 전방위의 화상(즉, 시점에서 본 주변의 화상)이다. 이 전천구 영상은, 입체 구조로 렌더링하여 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상으로 할 수 있다. 상술한 바와 같이 입체 구조 화상을 단수의 평면에 매핑하여 투영 평면 화상으로 함으로써, MPEG-DASH를 적용한 스트림 배신 제어가 가능해진다. 즉, 파일 생성 장치(100)가 이와 같은 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화하는 경우에 있어서, 상술한 바와 같이 본 기술을 적용할 수 있다. 또한 투영 평면 화상의 일부를 전체 픽처로 한 경우에 있어서도, sub-picture의 투영 평면 화상 전부에 있어서의 표시 영역에 관한 정보가 시그널된다.
예를 들어 도 13에 나타난 바와 같이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 Cubemap projection에 의하여 입체 구조(입방체)에 투영되어 입체 구조 화상(301)이 생성된다. 또한 그 입체 구조 화상(301)이 소정의 방법으로 단수의 평면에 매핑되어 투영 평면 화상(projected picture)(302)이 생성된다. 파일 생성 장치(100)는 이와 같은 투영 평면 화상(302)을 sub-picture화하여 sub-pictures(sub-picture(303) 내지 sub-picture(308))를 생성하고, 각각을 서로 다른 track에 저장하는 ISOBMFF 파일을 생성한다.
그때, 파일 생성 장치(100)는, 화살표(311)에 나타난 바와 같이, 어느 sub-picture가 전체 픽처(투영 평면 화상(302))의 어느 부분에 대응하는지를 나타내는 정보(표시 영역 정보)를 ISOBMFF 파일에 있어서 시그널한다.
이와 같이 함으로써, 전천구 영상을 배신하는 경우에 있어서도, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 ISOBMFF 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트는, sub-picture track의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<업로드 처리의 흐름>
그 경우의 도 11의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 14의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는 스텝 S101에 있어서, 화상과 메타데이터를 취득한다.
스텝 S102에 있어서, 세그먼트 파일 생성부(123)는 sub-picture별 정보로서, projected picture에 있어서의 표시 영역 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S103에 있어서, 기록부(114)는, 스텝 S102의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S104에 있어서, 업로드부(115)는, 스텝 S103에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S104의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써, 파일 생성 장치(100)는 sub-picture별 정보로서, projected picture에 있어서의 표시 영역 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는 그 정보에 기초하여, 유저의 시야 등에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<ISOBMFF에 시그널된 sub-picture의 표시 영역 정보의 이용>
또한 ISOBMFF 파일에 시그널된 sub-picture의 표시 영역에 관한 정보를 이용하여 스트림의 선택이나 재생을 행하도록 해도 된다.
즉, 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한, 그 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고, 그 취득된 파일에 포함되는 그 영역에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, 세그먼트 파일 취득부(214)가, 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한, 그 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 파일 취득부에 의하여 취득된 파일에 포함되는 그 영역에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 세그먼트 파일 취득부(214))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 클라이언트 장치(200)가, 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화한 스트림을 취득하여 재생하는 경우에 있어서도, 상술한 바와 같이 본 기술을 적용할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 ISOBMFF 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트 장치(200)는, sub-picture track의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 15의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는 스텝 S121에 있어서, sub-picture별 정보로서, projected picture에 있어서의 표시 영역 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S122에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S123에 있어서, 계측부(211)는 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역 폭을 계측한다.
스텝 S124에 있어서, 세그먼트 파일 처리부(221)는, 클라이언트 장치(200)의 유저의 시야에 상당하는(대응하는) sub-picture track을, 그 sub-picture의 projected picture에 있어서의 표시 영역 정보에 기초하여 선택한다.
스텝 S125에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S124에 있어서 선택된 track의 스트림의 부호화 데이터를, 스텝 S121에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S126에 있어서, 디코드부(222)는, 스텝 S125에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S127에 있어서, 표시 정보 생성부(223)는, 스텝 S126에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S127의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 sub-picture의 표시 영역에 관한 정보를 이용하여 보다 용이하게 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 그 정보에 기초하여, 유저의 시야에 따른 적절한 스트림을 용이하게 선택할 수 있다.
<2D Coverage Information Box에 의한 정의>
상술한 바와 같이, 파일 생성 장치(100)의 세그먼트 파일 생성부(123)는 OMAF의 ISOBMFF 파일에 있어서, sub-picture가 projected picture에 있어서 어느 부분의 표시에 상당하는지를 나타내는 sub-picture의 표시 영역 정보를 신규 정의하고 track에 시그널한다. 즉, 세그먼트 파일 생성부(123)는 sub-picture의 표시 영역 정보를 서브픽처별 정보로서 정의한다.
예를 들어 세그먼트 파일 생성부(123)는 그 sub-picture의 표시 영역 정보로서 2D Coverage Information Box를 정의하고, Region Wise Packing Box와 다른 Box로서 시그널한다. 예를 들어 세그먼트 파일 생성부(123)는 그 2D Coverage Information Box를 Scheme Information Box에 정의한다. 예를 들어 세그먼트 파일 생성부(123)가 그 2D Coverage Information Box를, Scheme Information Box 아래의 Projected Omnidirectional Video Box에 정의하도록 해도 된다. 또한 세그먼트 파일 생성부(123)가 그 2D Coverage Information Box를, 그 외의 Box에 정의하도록 해도 된다.
즉, sub-picture의 표시 영역 정보(트랙에 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는, Region Wise Packing Box와는 다른, ISOBMFF 파일의 Scheme Information Box, 또는 그 Scheme Information Box의 아랫계층의 Box에 저장되도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는 Sub Picture Composition Box를 파스하지 않고 용이하게 sub-picture track을 선택하여 재생할 수 있다.
또한 이 2D Coverage Information Box는, track에 저장되는 픽처(picture)가 sub-picture가 아닌 경우나, Region Wise Packing Box가 존재하지 않는 경우(픽처가 Region Wise Packing되지 않는 경우)에도 표시 영역 정보의 시그널에 사용 가능하다.
도 16의 신택스(331)는, 이 2D Coverage Information Box의 신택스의 예를 나타낸다. 신택스(331)에 나타난 바와 같이, 2D Coverage Information Box에 있어서는, proj_picture_width, proj_picture_height, proj_reg_width, proj_reg_height, proj_reg_top, proj_reg_left 등의 필드가 세트된다.
도 17의 시맨틱스(332)는, 이 2D Coverage Information Box에 있어서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(332)에 나타난 바와 같이 proj_picture_width는 projected picture의 폭을 나타낸다. proj_picture_height는 projected picture의 높이를 나타낸다. proj_reg_width는, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. proj_reg_height는, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다. proj_reg_top은, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. proj_reg_left는, track의 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
즉, 도 18에 나타난 바와 같은 각종 정보가 2D Coverage Information Box에 있어서 정의된다.
또한 이들 각 필드는 실제의 픽셀 수로 나타나도록 해도 되고, proj_reg_width, proj_reg_height, proj_reg_top 및 proj_reg_left가, proj_picture_width 및 proj_picture_height에 대한 상대값으로 나타나도록 해도 된다. 실제의 픽셀 수로 나타나는 경우, 클라이언트의 디스플레이의 해상도에 따라 track을 선택하는 경우에 유용하다.
클라이언트 장치(200)는, 이와 같은 구성의 sub-picture track의 2D Coverage Information Box를 참조함으로써, Sub Picture Composition Box를 파스하는 일 없이 sub-picture track의 표시 영역을 용이하게 식별할 수 있다. 그것에 의하여 클라이언트 장치(200)는, 예를 들어 유저의 시야에 따른 sub-picture track의 선택을 보다 용이하게 행할 수 있다. 또한 sub-picture track이 아닌 track에 대해서도, 클라이언트 장치(200)는 마찬가지의 처리에 의하여 선택할 수 있다.
또한 도 3의 신택스(21)에 나타내는 Sub Picture Composition Box에 있어서, 도 73의 신택스(1001)에 나타낸 바와 같이 identical_to_proj_pic_flag 필드를 추가로 정의하고, 전체 픽처가 projected picture와 동일한지 여부를 나타내고, 전체 픽처가 projected picture와 동일한 경우에 있어서, 도 4의 신택스(22)에 나타내는 Sub Picture Region Box가 sub-picture track의 표시 영역 정보를 나타내는 것으로 해도 된다. identical_to_proj_pic_flag 필드의 값은, 예를 들어 0이, 전체 픽처가 projected picture와 다름을 나타내고, 1이, 전체 픽처가 projected picture와 동일함을 나타낸다.
이때, identical_to_proj_pic_flag 필드가 1인 경우에 있어서 전체 픽처는, region-wise packing 처리가 이루어져 있지 않고, 도 5의 시맨틱스(23)에 나타내는 Sub Picture Region Box의 track_x, track_y, track_width, track_height, composition_width, composition_height 필드의 시맨틱스는 각각, 도 17의 시맨틱스(332)에 나타나는 2D Coverage Information Box의 proj_reg_left, proj_reg_top, proj_reg_width, proj_reg_height, proj_picture_width, proj_picture_height 필드의 시맨틱스와 동일해진다.
또한 identical_to_proj_pic_flag 필드는 Sub Picture Region Box에 추가로 정의되어도 되고, 그 외의 Box에서 정의해도 된다. 또한 특정 Box의 유무로, 전체 픽처가 projected picture와 동일한지 여부를 나타내도 된다.
또한 Sub Picture Composition Box나, FullBox를 확장한 그 외의 Box가 공통으로 갖는 24bit의 flags의 1bit를 이용하여, 전체 픽처가 projected picture와 동일한지 여부를 나타내도 된다.
<sub-picture에 불연속으로 되는 영역이 포함되는 경우>
또한 도 16의 신택스(331)에서는, 도 19와 같이 sub-picture가 projected picture 상에서 불연속으로 되는 영역을 포함하는 경우에는 대응할 수 없다. 도 19의 예의 경우, projected picture(351)가 sub-picture화되어 sub-picture(352) 내지 sub-picture(355)가 형성된다. 이 경우, sub-picture(352)에는, 입체 구조 화상에 있어서의 Left면 및 Right면이 포함되어 있다(Left면 및 Right면이 인접해 있음). 이 Left면 및 Right면은 projected picture(351)에 있어서 불연속이다. 또한 sub-picture(353)에는, 입체 구조 화상에 있어서의 Top면 및 Bottom면이 포함되어 있다(Top면 및 Bottom면이 인접해 있음). 이 Top면 및 Bottom면은 projected picture(351)에 있어서 불연속이다.
도 16의 신택스(331)에서는 projected picture의 하나의 통합된 영역밖에 지정할 수 없으므로, 이와 같은 불연속인 복수의 영역을 지정할 수 없다.
그래서, 2D Coverage Information Box에 있어서 복수의 영역을 지정할 수 있도록 하고, projected picture에 있어서의 불연속인 복수의 영역을 지정할 수 있도록 해도 된다.
도 20의 신택스(371)는, 이 경우의 2D Coverage Information Box의 신택스의 예를 나타낸다. 신택스(371)에 나타난 바와 같이, 이 경우, num_regions 필드가, 정의되는 필드에 추가된다. 도 21의 시맨틱스(372)는, 이 경우의 2D Coverage Information Box에 있어서 추가되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(372)에 나타난 바와 같이 num_regions는, 그 sub-picture에 포함되는 projected picture 상의 영역 수를 나타낸다.
즉, 이 경우, 2D Coverage Information Box에 있어서, num_regions 필드를 이용하여 projected picture의 영역별로(서로 독립적으로), 도 17에 나타나는 각 필드를 정의하도록 하고 있다. 따라서 projected picture의 복수의 영역을 지정할 수 있다. 이것에 의하여, projected picture가 불연속인 표시 영역의 시그널이 가능해진다.
또한 2D Coverage Information Box가 Sub Picture Composition Box에 시그널된 경우, 전체 픽처(projected picture)에 있어서의 표시 영역을 시그널하도록 해도 된다.
또한 2D Coverage Information Box가 track의 Projected Omnidirectional Video Box에 존재하지 않으면, 그 track이 360°전천구의 영상을 저장하고 있음을 나타내는 것으로 해도 된다. 마찬가지로 2D Coverage Information Box가 Sub Picture Composition Box에 존재하지 않으면, sub-picture track이 구성하는 전체 픽처는 360°전천구의 영상임을 나타내는 것으로 해도 된다.
<Region Wise Packing Box의 확장>
OMAF로 규정되어 있는 Region Wise Packing Box 내의 Region Wise Packing Struct를 확장하고, track의 sub-picture가 projected picture의 어느 부분의 표시 영역에 상당하는지를 시그널하도록 해도 된다. Region Wise Packing Box의 시그널 장소는, sub-picture track의 Sample Entry의 Projected Omnidirectional Video Box 아래이다. 또한 이 Region Wise Packing Box가 그 외의 장소에 시그널되도록 해도 된다.
예를 들어 새로이 sub-picture의 표시 영역 정보를 시그널함을 나타내는 플래그와, sub-picture의 표시 영역 정보를 시그널하는 Rect Projected Region 구조를 정의하고, Region Wise Packing Struct로 시그널한다. 또한 이 Region Wise Packing Struct는, track에 저장되는 picture가 sub-picture가 아닌 경우에도 이 표시 영역 정보의 시그널에 사용 가능하다.
도 22의 신택스(373)는, 그 경우의 Region Wise Packing Struct의 신택스의 예를 나타낸다. 신택스(373)에 나타난 바와 같이, 이 경우, 2D_coverage_flag 필드가, Region Wise Packing Struct에 있어서 정의되는 필드에 추가된다. 도 23의 시맨틱스(374)는, 이 경우의 Region Wise Packing Struct에 있어서 추가적으로 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(374)에 나타난 바와 같이 2D_coverage_flag는, projected picture 상에서의 표시 영역만을 시그널하는지 여부를 나타내는 플래그 정보이다. 예를 들어 이 필드의 값이 0인 경우, region-wise packing 정보를 시그널함을 나타낸다. 또한 이 필드의 값이 1인 경우, projected picture 상에서의 표시 영역을 시그널함을 나타낸다.
또한 이 경우의 Region Wise Packing Struct에 있어서는, 또한, RectProjetedRegion이 정의된다. 도 24의 신택스(375)는, 그 RectProjetedRegion의 신택스의 예를 나타낸다. 신택스(375)에 나타난 바와 같이, 이 RectProjetedRegion에 있어서는 proj_reg_width[i], proj_reg_height[i], proj_reg_top[i], proj_reg_left[i] 등의 필드가 정의된다.
도 25의 시맨틱스(376)는, 이 RectProjetedRegion에 있어서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(376)에 나타난 바와 같이 proj_reg_width는, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. proj_reg_height는, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다. proj_reg_top은, track의 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. proj_reg_left는, track의 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
또한 상기 각 필드는 실제의 픽셀 수로 나타나도록 해도 되고, proj_reg_width, proj_reg_height, proj_reg_top 및 proj_reg_left가 Region Wise Packing Struct로 시그널되는 proj_picture_width 및 proj_picture_height에 대한 상대값으로 나타나도록 해도 된다.
또한 Rect Wise Packing Struct를 확장하고, 2D_coverage_flag==1일 때 projected picture에 있어서의 표시 영역 정보만을 시그널하도록 해도 된다.
도 26의 신택스(377)는, 그 경우의 Rect Wise Packing Struct의 신택스의 예를 나타낸다. 도 27의 신택스(378)는, 이 경우의 Rect Wise Packing Struct에 있어서 세트되는 RectRegionPacking의 신택스의 예를 나타내는 도면이다.
<Coverage Information Box의 확장>
OMAF로 정의된 track의 구면 상에 있어서의 표시 영역을 나타내는 Coverage Information Box를 확장하고, 새로이 정의하는 2D Content Coverage Struct에 의하여 projected picture 상에 있어서의 표시 영역을 시그널 가능하게 하도록 해도 된다.
즉, sub-picture의 표시 영역 정보(트랙에 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는, ISOBMFF 파일의, 트랙의 구면 상에 있어서의 표시 영역을 나타내는 Coverage Information Box에 저장되도록 해도 된다.
도 28의 신택스(379)는, 확장한 Coverage Information Box의 신택스의 예를 나타낸다. 신택스(379)에 나타난 바와 같이, 이 경우의 Coverage Information Box에 있어서, 2D_coverage_flag, ContentCoverageStruct(), 2D ContentCoverageStruct()가 정의된다.
도 29의 시맨틱스(380)는, 이들 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(380)에 나타난 바와 같이 2D_coverage_flag는, 표시 영역 정보의 타입을 시그널하는 플래그 정보이다. 이 값이 0인 경우, 구면 상 표시 영역 정보를 시그널함을 나타내고, 이 값이 1인 경우, projected picture 상에서의 표시 영역을 시그널함을 나타낸다. ContentCoverageStruct()는, track의 구면 상 표시 영역을 시그널한다. 2D ContentCoverageStruct()는, track의 projected picture 상에서의 표시 영역을 시그널한다. 2D Content Coverage Struct 내의 필드는, 도 20의 경우의 2D Coverage Information Box와 마찬가지이다.
또한 Content Coverage Struct를 확장하고, 구면 상 표시 영역 외에, projected picture 상에서의 표시 영역을 시그널하도록 해도 된다.
<sub-picture의 분할 방법이 동적으로 변화되는 경우의 시그널링>
이상에 있어서는, sub-picture의 분할 방법이 스트림 중에서 동적으로 변화되지 않는 경우의 시그널링에 대하여 설명하였다. 이에 비해, 분할 방법이 동적으로 변화되는 경우, projected picture에 있어서의 sub-picture의 표시 영역 정보가 스트림 중에서 동적으로 변화된다. 그 경우, 상술한 예로는 대응할 수 없다.
그래서, sub-picture의 동적으로 변화되는 표시 영역 정보를 시그널하기 위한 추가 시그널링예를 이하에 설명한다. 또한 시그널되는 정보는, 상술한 2D Coverage Information Box에서 시그널되는 정보(예를 들어 도 16 등)와 동일하다.
<Supplemental Enhancement Information(SEI) message>
HEVC, AVC에 있어서, 2D Coverage Information SEI message를 신규 정의하고, 그 중에 있어서, 스트림 중에서 동적으로 변화되는 sub-picture의 표시 영역 정보를 액세스 유닛 단위로 시그널하도록 해도 된다.
즉, sub-picture의 표시 영역 정보(트랙에 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는, ISOBMFF 파일의 Supplemental Enhancement information message에 저장되도록 해도 된다.
도 30의 신택스(381)는, 그 경우의 2D Coverage Information SEI message의 신택스의 예를 나타낸다. 신택스(381)에 나타난 바와 같이, 2D Coverage Information SEI message에 있어서는, 2D_coverage_information_cancel_flag, 2D_coverage_information_persistence_flag, 2D_coverage_information reserved_zero_6bits, proj_picture_width, proj_picture_height, num_regions, proj_reg_width[i], proj_reg_height[i], proj_reg_top[i], proj_reg_left[i] 등이 세트된다.
도 31의 시맨틱스(382)는, 그 2D Coverage Information SEI message에 있어서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(382)에 나타난 바와 같이 2D_coverage_information_cancel_flag는, 2D_coverage_information의 캔슬에 관한 플래그 정보이다. 이 값이 1인 경우, 출력순으로 선행하는 SEI의 지속적 적용이 캔슬된다. 또한 이 값이 0인 경우, 2D coverage 정보가 시그널된다.
2D_coverage_information_persitence_flag는, SEI의 적용 범위에 관한 플래그 정보이다. 이 값이 0인 경우, SEI가 포함되는 픽처에만 SEI의 정보가 적용된다. 또한 이 값이 1인 경우, SEI의 적용은, 새로운 coded video sequence가 개시되거나 스트림의 말미에 도달하거나 할 때까지 지속된다.
2D_coverage_information_reserved_zero_6bits는 0으로 채워진다. proj_picture_width는 projected picture의 폭을 나타낸다. proj_picture_height는 projected picture의 높이를 나타낸다. num_regions는, projected picture 상의 영역 수를 나타낸다. proj_reg_width는, 스트림이 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. proj_reg_height는, 스트림이 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다. proj_reg_top은, 스트림이 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. proj_reg_left는, 스트림이 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
또한 상기 각 필드는 실제의 픽셀 수로 나타나도록 해도 되고, proj_reg_width, proj_reg_height, proj_reg_top 및 proj_reg_left가, proj_picture_width 및 proj_picture_height에 대한 상대값으로 나타나도록 해도 된다.
<Timed metadata>
또한 시계열로 변화되는 메타데이터를 저장하는 스트림인 timed metadata의 구조를 이용하여 2D Coverage Information timed metadata를 신규 정의하고, 그 중에 있어서, 참조할 스트림 내에서 동적으로 변화되는 sub-picture의 표시 영역 정보를 시그널하도록 해도 된다. 2D Coverage Information timed metadata가 연관지어지는 track에 대한 track reference type으로서는, 예를 들어 '2dco'를 이용한다.
즉, sub-picture의 표시 영역 정보(트랙에 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는 ISOBMFF 파일의 timed metadata에 저장되도록 해도 된다.
timed metadata를 사용함으로써 클라이언트는, sub-picture 스트림을 디코드하지 않지 않더라도 동적으로 변하는 표시 영역을 사전에 식별하여, 어느 스트림을 선택할지의 기준으로 할 수 있다.
도 32의 신택스(383)는, 2D Coverage Information Sample Entry의 신택스의 예를 나타낸다. 도 33의 신택스(384)는, 2D Coverage Information Sample의 신택스의 예를 나타낸다.
2D Coverage Information Sample Entry에는, 일반적으로 스트림 중에서 불변으로 되는 proj_picture_width, proj_picture_height가 시그널된다. 또한 이들이 스트림 중에서 변화되는 경우에는, 2D Coverage Information Sample 내에 있어서 시그널되도록 해도 된다.
또한 2D Coverage Information Sample Entry 및 2D Coverage Information Sample 내의 각 필드(field)의 시맨틱스는 도 17 및 도 21과 마찬가지이다.
<Sample Group>
ISOBMFF로 정의되는, sample 단위로 메타 정보를 연관짓는 구조인 Sample Group이라는 툴을 사용하여, 스트림 내에서 동적으로 변화되는 sub-picture의 표시 영역 정보를 sample 단위로 시그널하도록 해도 된다.
메타 정보가 기술되는 Sample Group은, 도 34에 나타난 바와 같이, 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)에 그룹 엔트리(Group Entry)로서 시그널되고, 샘플 투 그룹 박스(Sample To Group Box)를 통하여 sample과 연관지어진다.
도 34에 나타난 바와 같이 Sample To Group Box의 그루핑 타입(grouping_type)은, 연관지어지는 Sample Group Description Box의 grouping_type을 나타낸다. 1엔트리(1 entry)에 대해 샘플 카운트(sample_count)와 그룹 디스크립션 인덱스(group_description_index)가 시그널되고, 그group_description_index는, 연관짓는 그룹 엔트리(Group Entry)의 인덱스(index)을 나타내고, sample_count는, 그 Group Entry에 속하는 샘플(sample)의 수를 나타낸다.
예를 들어 새로이 2D Coverage Information Sample Group Entry를 정의하고, 스트림 내에서 동적으로 변화되는 sub-picture의 표시 영역 정보를 그 안에 저장하도록 해도 된다.
즉, sub-picture의 표시 영역 정보(트랙에 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는 ISOBMFF 파일의 Sample Group Entry에 저장되도록 해도 된다.
도 35의 신택스(391)는, 그 2D Coverage Information Sample Group Entry의 신택스의 예를 나타낸다. 이 Sample Group Entry는, 상술한 바와 같이 Sample Group Description Box에 시그널되고, Sample To Group Box에 의하여 sample과 Sample Group Entry가 연관지어진다. grouping_type은 '2cgp'로 된다.
또한 이 2D Coverage Information Sample Group Entry 내의 각 필드의 시맨틱스는 도 16 및 도 21과 마찬가지이다.
또한 상술한 3개의 예(Supplemental Enhancement Information(SEI) message, Timed metadata, Sample Group)는, track에 저장되는 picture가 sub-picture가 아닌 경우에 있어서도, 동적으로 변화되는 표시 영역 정보의 시그널로 사용할 수 있다.
또한 이상과 같이 sub-picture의 projected picture 상에 있어서의 표시 영역이 동적으로 변화되는 경우, Projected Omnidirectional Video Box에 시그널되는 2D Coverage Information Box의 정보는, 스트림의 표시 영역의 초기값으로 할 수 있다.
또한 스트림 중에서 sub-picture의 projected picture에 있어서의 표시 영역이 동적으로 변화됨을 나타내는 플래그를 2D Coverage Information Box 또는 그 외의 Box 내에서 시그널하도록 해도 된다. 이 정보에 의하여 클라이언트는 용이하게, 동적으로 표시 영역이 변화되는 스트림임을 식별할 수 있다.
<3. 제2 실시 형태>
<MPD 파일에 의한 sub-picture의 표시 영역에 관한 정보의 시그널>
상술한 sub-picture의 표시 영역에 관한 정보의 시그널을 MPD 파일에 있어서 행하도록 해도 된다. 즉, 클라이언트가, sub-picture를 참조하는 Adaptation Set를, 예를 들어 유저의 시야에 따라 선택·재생하는 것을 가능하게 하기 위하여, MPD 파일에 있어서, sub-picture의 projected picture 상에 있어서의 표시 영역 정보를 신규 정의하고 Adaptation Set에 시그널하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
이와 같이 함으로써, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 MPD 파일에 있어서는, 스트림별 메타데이터는 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)으로서 관리된다. 즉, MPD 파일을 이용하는 경우, 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)을 선택함으로써 스트림의 선택이 행해진다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 파일 생성 장치(100)가, 이와 같은 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화하는 경우에 있어서, 상술한 바와 같이 본 기술을 적용할 수 있다.
이와 같이 함으로써, 전천구 영상을 배신하는 경우에 있어서도, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 MPD 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트는, Adaptation Set가 참조하는 sub-picture의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<업로드 처리의 흐름>
그 경우의 도 11의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 36의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S201에 있어서, 화상과 메타데이터를 취득한다.
스텝 S202에 있어서, 세그먼트 파일 생성부(123)는 그 화상의 세그먼트 파일을 생성한다.
스텝 S203에 있어서, MPD 파일 생성부(113)는 sub-picture별 정보로서, projected picture에 있어서의 표시 영역 정보를 포함하는 MPD 파일을 생성한다.
스텝 S204에 있어서, 기록부(114)는, 스텝 S202의 처리에 의하여 생성된 세그먼트 파일을 기록한다. 또한 기록부(114)는, 스텝 S203의 처리에 의하여 생성된 MPD 파일을 기록한다.
스텝 S205에 있어서, 업로드부(115)는, 스텝 S204에 있어서 기록된 세그먼트 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S204에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S204의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써, 파일 생성 장치(100)는 sub-picture별 정보로서, projected picture에 있어서의 표시 영역 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는 그 표시 영역 정보에 기초하여, 예를 들어 유저의 시야에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<MPD 파일에 시그널된 sub-picture의 표시 영역에 관한 정보의 이용>
또한 MPD 파일에 시그널된 sub-picture의 표시 영역에 관한 정보를 이용하여 스트림의 선택을 행하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 그 취득된 제어 파일에 포함되는 그 영역에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, MPD 파일 취득부(212)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 그 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부로서 기능하고, MPD 파일 처리부(213)가, 그 파일 취득부에 의하여 취득된 제어 파일에 포함되는 그 영역에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 MPD 파일 취득부(212))와 화상 처리부(예를 들어 MPD 파일 처리부(213))를 구비하도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 클라이언트 장치(200)가, 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화한 스트림을 취득하여 재생하는 경우에 있어서도, 상술한 바와 같이 본 기술을 적용할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 MPD 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트 장치(200)는, Adaptation Set가 참조하는 sub-picture의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 37의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S221에 있어서, sub-picture별 정보로서 projected picture에 있어서의 표시 영역 정보를 포함하는 MPD 파일을 취득한다.
스텝 S222에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S223에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역 폭을 계측한다.
스텝 S224에 있어서, MPD 파일 처리부(213)는, 클라이언트 장치(200)의 유저의 시야에 상당하는(대응하는) sub-picture를 참조하는 Adaptation Set를, 그 sub-picture의 projected picture에 있어서의 표시 영역 정보에 기초하여 선택한다.
스텝 S225에 있어서, MPD 파일 처리부(213)는, 스텝 S224에 있어서 선택된 Adaptation Set 중에서, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역 폭 등에 따른 리프리젠테이션(Representation)을 선택한다.
스텝 S226에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S225에 있어서 선택된 리프리젠테이션(Representation)에 대응하는 세그먼트 파일을 취득한다.
스텝 S227에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S226에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S228에 있어서, 디코드부(222)는, 스텝 S227에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S229에 있어서, 표시 정보 생성부(223)는, 스텝 S228에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S229의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 sub-picture의 표시 영역에 관한 정보를 이용하여 보다 용이하게 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 그 정보에 기초하여, 유저의 시야에 따른 적절한 스트림을 용이하게 선택할 수 있다.
<2D Coverage Information descriptor에 의한 정의>
상술한 바와 같이 파일 생성 장치(100)의 MPD 파일 생성부(113)는, OMAF의 MPD 파일에 있어서, Adaptation set가 참조하는 sub-picture가 projected picture에 있어서 어느 부분의 표시에 상당하는지를 나타내는 sub-picture의 표시 영역 정보를 신규 정의하고 시그널한다. 즉, MPD 파일 생성부(113)는 sub-picture의 표시 영역 정보를 서브픽처별 정보로서 정의한다.
예를 들어 MPD 파일 생성부(113)는 그 sub-picture의 표시 영역 정보로서 2D Coverage Information descriptor를 정의하고, Region wise packing descriptor와 다른 descriptor로서 시그널한다. 예를 들어 MPD 파일 생성부(113)는, @schemeIdUri="urn:mpeg:mpegI:omaf:2017:2dco"의 Supplemental Property를 2D coverage information descriptor로서 정의한다. 또한 MPD 파일 생성부(113)가, 동일한 schemeIdUri의 Essential Property를 이용하여 2D coverage information descriptor를 정의하도록 해도 된다.
즉, 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고, 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고, sub-picture의 표시 영역 정보(어댑테이션 세트에 의하여 참조되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는, MPD 파일의 Supplemental Property 또는 Essential Property로 정의되도록 해도 된다.
또한 Essential Property의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 Property가 기입되어 있는 Adaptation Set(Representation 등이어도 됨)는 무시해야만 한다. 또한 Supplemental Property의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 Property값을 무시하고 Adaptation Set(Representation 등이어도 됨)를 이용해도 된다.
또한 이 2D Coverage Information descriptor는, Adaptation Set 이외에 MPD나 Representation에 존재하도록 해도 된다. 또한 이 2D Coverage Information descriptor는, Adaptation Set가 참조하는 picture가 sub-picture가 아니더라도, 또는 region-wise packing 처리가 이루어져 있지 않더라도 적용 가능하다.
도 38의 속성값(411)은, 이 2D coverage information descriptor의 속성값의 예를 나타낸다. 속성값(411)에 나타난 바와 같이 omaf:@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. omaf:@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다. omaf:@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. omaf:@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다. omaf:@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. omaf:@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
상기 각 속성값은 실제의 픽셀 수로 나타나도록 해도 되고, omaf:@proj_reg_width, omaf:@proj_reg_height, omaf:@proj_reg_top 및 omaf:@proj_reg_left가, omaf:@proj_picture_width 및 omaf:@proj_picture_height에 대한 상대값으로 나타나도록 해도 된다.
또한 전체 픽처가 projected picture와 동일함을 나타내는 정보를, MPD 파일의 Supplemental Property 또는 Essential Property로 정의되도록 해도 된다. 예를 들어 MPD 파일 생성부(113)는, 도 74에 나타내는 @schemeIdUri="urn:mpeg:mpegI:omaf:2017:prid"의 Supplemental Property를 Projected picture identical descriptor로서 정의한다. 예를 들어 이 descriptor가 Adaptation Set에 존재하는 경우, Adaptation Set가 참조하는 sub-picture로 구성되는 전체 픽처는, region-wise packing 처리가 이루어져 있지 않고, projected picture와 동일함을 나타낸다.
이때, Projected picture identical descriptor가 존재하는 Adaptation Set가 참조하는 sub-picture의 표시 영역을, 예를 들어 전체 픽처를 2 이상의 영역으로 분할하여 독립적으로 부호화하였을 때의 각 영역의 표시 영역을 나타내는 MPEG-DASH SRD(Spatial Relationship Description)로 나타내도 된다. 도시는 하지 않지만, SRD에서는, 도 4의 신택스(22)에 나타내는 Sub Picture Region Box와 마찬가지로, sub-picture의 분할의 방식 등을 나타내는 sub-picture 분할 정보가 나타난다.
이때, Projected picture identical descriptor가 존재하는 Adaptation Set에 있어서, 도시는 하지 않지만, SRD의 속성값인 object_x, object_y, object_width, object_height, total_width, total_height의 시맨틱스는, 각각 도 38의 속성값(441)에 나타나는 2D coverage information descriptor의 속성값인omaf:@proj_reg_left, omaf:@proj_reg_top, omaf:@proj_reg_width, omaf:@proj_reg_height, omaf:@proj_picture_width, omaf:@proj_picture_height의 시맨틱스와 동일해진다.
또한 이 Projected picture identical descriptor는, Adaptation Set 이외에, MPD나 Representation에 존재하도록 해도 되고, 전체 픽처가 projected picture와 동일함을 나타내는 정보를 그 외의 descriptor, 요소, 속성에 따라 정의되도록 해도 된다.
<sub-picture에 불연속으로 되는 영역이 포함되는 경우>
또한 상기 예에서는, sub-picture가 projected picture 상에서 불연속으로 되는 영역을 포함하는 경우의 표시 영역 정보를 시그널할 수 없다. 그래서, 2D Coverage Information descriptor가, sub-picture가 projected picture 상에서 불연속으로 되는 영역을 포함하는 경우에도 대응할 수 있도록 해도 된다.
도 39의 속성값(412)은, 그 경우의 2D Coverage Information descriptor의 속성값의 예를 나타낸다. 속성값(412)에 나타난 바와 같이 twoDCoverage는, 데이터 타입이 omaf:twoDCoverageType인 컨테이너 요소이다. twoDCoverage@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. twoDCoverage@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다.
twoDCoverage.twoDCoverageInfo는, 데이터 타입이 omaf:twoDCoverageInfoType이며, projected picture 상에 있어서의 영역 정보를 나타내는 요소를 나타낸다. 이 속성값은 복수 시그널할 수 있다. twoDCoverage.twoDCoverageInfo@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. twoDCoverage.twoDCoverageInfo@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다.
twoDCoverage.twoDCoverageInfo@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. twoDCoverage.twoDCoverageInfo@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
도 40의 데이터 타입(413)은, 이 2D Coverage Information descriptor의 데이터 타입의 정의의 예를 나타낸다.
이상과 같이 projected picture 상의 복수 영역을 시그널 가능하게 함으로써, projected picture 상에서 불연속인 표시 영역의 시그널이 가능해진다.
<Region-wise packing descriptor의 확장>
OMAF로 정의되어 있는 Region-wise packing descriptor를 확장하고, Adaptation Set가 참조하는 sub-picture의, projected picture 상에 있어서의 표시 영역 정보를 시그널하도록 해도 된다.
도 41의 속성값(414)은, 도 38의 속성값(411)의 시그널에 기초하여 확장한 Region-wise packing descriptor의 속성값의 예를 나타낸다. 데이터 타입은 도 40과 마찬가지이다.
속성값(414)에 나타난 바와 같이 omaf:@packing_type은, 데이터 타입이 omaf:OptionallistofUnsignedByte이며, region-wise packing의 패킹 타입을 나타낸다. 이 속성값이 0인 경우, 직사각형 영역의 패킹임을 나타낸다.
omaf:@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. omaf:@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다. omaf:@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. omaf:@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다.
omaf:@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. omaf:@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표이다.
상기 각 속성값은 실제의 픽셀 수로 나타나도록 해도 되고, omaf:@proj_reg_width, omaf:@proj_reg_height, omaf:@proj_reg_top 및 omaf:@proj_reg_left가 omaf:@proj_picture_width 및 omaf:@proj_picture_height에 대한 상대값으로 나타나도록 해도 된다.
도 42의 속성값(415)은, 도 39의 속성값(412)의 시그널에 기초하여 확장한 Region-wise packing descriptor의 속성값, 즉, 불연속인 영역을 포함하는 경우에 대응한 Region-wise packing descriptor의 속성값의 예를 나타낸다. 데이터 타입은 도 40과 마찬가지이다.
속성값(415)에 나타난 바와 같이 omaf:@packing_type은, 데이터 타입이 omaf:OptionallistofUnsignedByte이며, region-wise packing의 패킹 타입을 나타낸다. 이 속성값이 0인 경우, 직사각형 영역의 패킹임을 나타낸다.
twoDCoverage는, 데이터 타입이 omaf:twoDCoverageType인 컨테이너 요소이다. twoDCoverage@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. twoDCoverage@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다. twoDCoverage.twoDCoverageInfo는, 데이터 타입이 omaf:twoDCoverageInfoType이며, projected picture 상에 있어서의 영역 정보를 나타내는 요소를 나타낸다. 이 속성값은 복수 시그널할 수 있다.
twoDCoverage.twoDCoverageInfo@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. twoDCoverage.twoDCoverageInfo@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다.
twoDCoverage.twoDCoverageInfo@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. twoDCoverage.twoDCoverageInfo@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
<Content coverage descriptor의 확장>
또한 OMAF로 정의된, Adaptation Set의 구면 상에 있어서의 표시 영역을 나타내는 Content coverage descriptor를 확장하고, projected picture 상에 있어서의 표시 영역을 시그널 가능하게 하도록 해도 된다.
즉, 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고, 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고, sub-picture의 표시 영역 정보(어댑테이션 세트에 참조되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보)는, MPD 파일의, Adaptation Set의 구면 상에 있어서의 표시 영역을 나타내는 Coverage Information descriptor에 있어서 정의되도록 해도 된다.
도 43의 속성값(416) 및 도 44의 속성값(417)은, 확장한 Content coverage descriptor의 속성값의 예를 나타낸다. Content coverage descriptor를 확장하는 경우, 상술한 ISOBMFF 파일에 있어서 Content coverage Box를 확장하는 경우와 마찬가지로 2D_coverage_flag 속성에 따라, 구면 상 영역을 시그널할지, projected picture 상에 있어서의 표시 영역을 시그널할지의 전환을 행한다.
속성값(416)에 나타난 바와 같이 cc는, 데이터 타입이 omaf:CCType인 컨테이너 요소이다. cc@2D_coverage_flag는, 데이터 타입이 xs:boolean이며, 표시 영역이 구면 상에서 정의될지 projected picture 상에서 정의될지를 나타내는 플래그 정보이다. 이 속성값이 0인 경우, 구면 상에서 정의됨을 나타내고, 이 값이 1인 경우, projected picture 상에서 정의됨을 나타낸다.
cc.sphericalCoverage는, 데이터 타입이 omaf:sphericalCoverageType인, 구면 상 표시 영역 정보의 컨테이너 요소이다. 이 요소는, cc@2D_coverage_flag=0일 때만 존재한다. cc.sphericalCoverage@shape_type은, 데이터 타입이 xs:unsignedByte이며, 구면 상 영역의 형상을 나타낸다. 이 속성값이 0인 경우, 4 great circles로 둘러싸이는 영역임을 나타낸다. 또한 이 속성값이 1인 경우, 2개의 azimuth circle과 2개의 elevation angle로 둘러싸이는 영역임을 나타낸다.
cc.sphericalCoverage@view_idc_presence_flag는, 데이터 타입이 xs:boolean이며, view_idc 속성이 존재하는지 여부를 나타내는 플래그 정보이다. 이 속성값이 0인 경우, view_idc 속성이 존재하지 않음을 나타내고, 이 속성값이 1인 경우, view_idc 속성이 존재함을 나타낸다.
cc.sphericalCoverage@default_view_idc는, 데이터 타입이 omaf:ViewType이며, 영역 모두에 공통인 view를 나타낸다. 예를 들어 이 속성값이 0인 경우, sub-picture에 포함되는 모든 영역의 뷰 타입(view_idc)이 모노 뷰(mono view)임을 나타낸다. 또한 이 속성값이 1인 경우, sub-picture에 포함되는 모든 영역의 뷰 타입(view_idc)이 레프트 뷰(left view)임을 나타낸다. 또한 이 속성값이 2인 경우, sub-picture에 포함되는 모든 영역의 뷰 타입(view_idc)이 라이트 뷰(right view)임을 나타낸다. 또한 이 속성값이 3인 경우, sub-picture에 포함되는 모든 영역의 뷰 타입(view_idc)이 스테레오 뷰(stereo view)임을 나타낸다. 이 속성값은, cc@view_idc_presence_flag=0일 때, 반드시 존재한다. 또한 cc@view_idc_presence_flag=1일 때, 이 속성은 존재해서는 안 된다.
cc.sphericalCoverage.coverageInfo는, 데이터 타입이 omaf:coverageInfoType이며, 구면 상 영역 정보를 나타내는 요소이다. 이 요소는 복수 시그널할 수 있다.
cc.sphericalCoverage.coverageInfo@view_idc는, 데이터 타입이 omaf:ViewType이며, 영역별 view를 나타낸다. 예를 들어 이 속성값이 0인 경우, 그 속성값이 대응하는 영역의 뷰 타입(view_idc)이 모노 뷰(mono view)임을 나타낸다. 또한 이 속성값이 1인 경우, 그 속성값이 대응하는 영역의 뷰 타입(view_idc)이 레프트 뷰(left view)임을 나타낸다. 또한 이 속성값이 2인 경우, 그 속성값이 대응하는 영역의 뷰 타입(view_idc)이 라이트 뷰(right view)임을 나타낸다. 또한 이 속성값이 3인 경우, 그 속성값이 대응하는 영역의 뷰 타입(view_idc)이 스테레오 뷰(stereo view)임을 나타낸다. 이 속성값은, cc@view_idc_presence_flag=0일 때, 존재해서는 안 된다. 또한 cc@view_idc_presence_flag=1일 때, 이 속성은 반드시 존재한다.
cc.sphericalCoverage.coverageInfo@center_azimuth는, 데이터 타입이 omaf:Range1이며, 구면 상 표시 영역 중심의 방위각을 나타낸다. cc.sphericalCoverage.coverageInfo@center_elevation은, 데이터 타입이 omaf:Range2이며, 구면 상 표시 영역 중심의 앙각을 나타낸다. cc.sphericalCoverage.coverageInfo@center_tilt는, 데이터 타입이 omaf:Range1이며, 구면 상 표시 영역 중심의 틸트각을 나타낸다. cc.sphericalCoverage.coverageInfo@azimuth_range는, 데이터 타입이 omaf:HRange이며, 구면 상 표시 영역의 방위각 레인지를 나타낸다. cc.sphericalCoverage.coverageInfo@elevation_range는, 데이터 타입이 omaf:VRange이며, 구면 상 표시 영역의 앙각 레인지를 나타낸다.
cc.twoDCoverage는, 데이터 타입이 omaf:twoDCoverageType인 projected picture 상에 있어서의 표시 영역 정보의 컨테이너 요소이다. cc@2D_coverage_flag=1일 때만 존재한다.
cc.twoDCoverage@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. cc.twoDCoverage@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다. cc.twoDCoverage.twoDCoverageInfo는, 데이터 타입이 omaf:twoDCoverageInfoType이며, projected picture 상에 있어서의 영역 정보를 나타내는 요소이다. 이 요소는 복수 시그널할 수 있다.
cc.twoDCoverage.twoDCoverageInfo@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. cc.twoDCoverage.twoDCoverageInfo@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다.
cc.twoDCoverage.twoDCoverageInfo@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. cc.twoDCoverage.twoDCoverageInfo@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
도 45의 데이터 타입(418), 도 46의 데이터 타입(419) 및 도 47의 데이터 타입(420)은, 이 확장한 Content coverage descriptor의 데이터 타입의 정의의 예를 나타낸다.
<sub-picture의 분할 방법이 동적으로 변화되는 경우의 시그널링>
또한 스트림 중에서 projected picture에 있어서의 표시 영역이 동적으로 변화되는 경우, 상술한 시그널링에 더해, 2D coverage information descriptor, region-wise packing descriptor 및 Content coverage descriptor에 추가로 플래그를 시그널하고, projected picture에 있어서의 표시 영역이 동적으로 변화되는 스트림임을 나타내도록 해도 된다.
<4. 제3 실시 형태>
<스테레오 정보의 시그널>
<1. sub-picture에 관한 정보의 시그널>의 <스테레오 정보의 식별>에 있어서 상술한 바와 같이 스테레오 전천구 영상의 전체 픽처를 sub-picture화한 경우, 전체 픽처의 스테레오 정보는, Sub Picture Composition Box 아래에 시그널되는 Stereo Video Box에서 시그널되고, sub-picture의 스테레오 정보는, Sample Entry의 Scheme Information Box 아래의 Stereo Video Box에서 시그널된다.
전체 픽처가 스테레오 화상인 경우, 생성 가능한 sub-picture의 베리에이션으로서, 예를 들어 이하의 3패턴이 있다.
도 48은, sub-picture화의 제1 패턴의 모습의 예를 나타내는 도면이다. 이 경우, projected picture(전체 픽처)(431)가 sub-picture화되어 sub-picture(432) 내지 sub-picture(437)가 생성된다. projected picture(431)는, 사이드 바이 사이드(side by side)의 스테레오 화상에 의하여 구성된다. sub-picture(432) 내지 sub-picture(437)는 각각, projected picture(431) 상에서 동일한 표시 영역으로 되는 Left view와 Right view를 포함하며, top & bottom이나 side by side와 같은, Stereo Video Box에서 시그널 가능한 프레임 패킹 어레인지먼트로 되어 있다.
도 49는, sub-picture화의 제2 패턴의 모습의 예를 나타내는 도면이다. 이 경우, projected picture(전체 픽처)(441)가 sub-picture화되어 sub-picture(442) 내지 sub-picture(446)가 생성된다. projected picture(441)는, 사이드 바이 사이드(side by side)의 스테레오 화상에 의하여 구성된다. sub-picture(442) 내지 sub-picture(446)는 각각 Left view 및 Right view를 포함하지만, 각 view의 projected picture(441) 상의 표시 영역이 일치하지 않으며, top & bottom이나 side by side와 같은, Stereo Video Box에서 시그널 가능한 프레임 패킹 어레인지먼트로 되지 않는다.
도 50은, sub-picture화의 제3 패턴의 모습의 예를 나타내는 도면이다. 이 경우, projected picture(전체 픽처)(451)가 sub-picture화되어 sub-picture(452) 및 sub-picture(453)가 생성된다. projected picture(451)는, 사이드 바이 사이드(side by side)의 스테레오 화상에 의하여 구성된다. sub-picture(452)는, Left view만을 포함하는 모노 픽처로 되어 있다. sub-picture(453)는, Right view만을 포함하는 모노 픽처로 되어 있다.
제1 패턴의 경우, sub-picture track의 Sample Entry/rinf/schi에 Stereo Video Box가 시그널되고, 적절한 프레임 패킹 어레인지먼트 정보가 시그널된다. 예를 들어 도 48의 경우, side by side로 된다. 또한 sub-picture의 프레임 패킹 어레인지먼트 정보가 아니라 전체 픽처의 프레임 패킹 어레인지먼트 정보가 시그널되어도 된다.
제2 패턴의 경우, Sample Entry/rinf/schi에는 Stereo Video Box가 시그널되지 않는다. 따라서 클라이언트는, sub-picture가 모노 픽처인 것인지, Left view 및 Right view를 포함하고 있지만 top & bottom이나 side by side와 같은 프레임 패킹 어레인지먼트가 적용되어 있지 않은 것인지를 식별하지 못할 우려가 있었다.
제3 패턴의 경우, Sample Entry/rinf/schi에는 Stereo Video Box가 시그널되지 않는다. 따라서 클라이언트는, 분할 전의 전체 픽처가 모노 픽처인 것인지 스테레오 화상인 것인지를 식별하지 못할 우려가 있었다. 렌더링 시의 업스케일(upscale)이 필요한지 여부는, 분할 전의 전체 픽처가 모노 픽처인 것인지 스테레오 화상인 것인지에 따라 다르기 때문에, 그 식별을 하지 못하면 클라이언트가 적절히 렌더링하지 못할 우려가 있었다.
예를 들어 도 50과 같이, 전체 픽처가 side by side의 스테레오 화상이고, 그 중 Left view만을 갖는 sub-picture에 대해서는, 렌더링 시, 수평 방향으로 2배의 upscale이 필요하다. 이에 비해, 전체 픽처가 모노 픽처인 경우, 이 처리는 불필요하다.
<ISOBMFF에 의한, sub-picture화될 전체 픽처의 스테레오 정보의 시그널>
그래서, sub-picture화될 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를, 세그먼트 파일인 ISOBMFF 파일에 있어서 행하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 그 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 생성부(123)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 그 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 세그먼트 파일 생성부(123))를 구비하도록 해도 된다.
이와 같이 함으로써, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 파일 생성 장치(100)가, 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화하는 경우에 있어서, 상술한 바와 같이 본 기술을 적용할 수 있다.
이와 같이 함으로써, 전천구 영상을 배신하는 경우에 있어서도, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 이 전체 픽처의 스테레오 정보는 서브픽처(sub-picture)별 정보로서 ISOBMFF 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트는, sub-picture track의 정보를 참조하기만 하면, 그 전체 픽처의 스테레오 정보(예를 들어 전체 픽처 스테레오 화상인지 여부나, 어떠한 타입의 스테레오 화상인지 등)를 용이하게 파악할 수 있다.
<업로드 처리의 흐름>
그 경우의 도 11의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 51의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S301에 있어서, 화상과 메타데이터를 취득한다.
스텝 S302에 있어서, 세그먼트 파일 생성부(123)는 sub-picture별 정보로서, 전체 픽처(projected picture)의 스테레오 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S303에 있어서, 기록부(114)는, 스텝 S302의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S304에 있어서, 업로드부(115)는, 스텝 S303에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S304의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써, 파일 생성 장치(100)는 sub-picture별 정보로서, projected picture의 스테레오 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는 그 정보에 기초하여, 자신의 능력(capability) 등에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<ISOBMFF에 시그널된, sub-picture화될 전체 픽처의 스테레오 정보의 이용>
또한 ISOBMFF 파일에 시그널된, sub-picture화될 전체 픽처의 스테레오 정보를 이용하여 스트림의 선택이나 재생을 행하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 그 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 취득하고, 그 취득된 파일에 포함되는 스테레오 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, 세그먼트 파일 취득부(214)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 그 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 파일 취득부에 의하여 취득된 파일에 포함되는 스테레오 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 세그먼트 파일 취득부(214))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 클라이언트 장치(200)가, 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화한 스트림을 취득하여 재생하는 경우에 있어서도, 상술한 바와 같이 본 기술을 적용할 수 있다.
또한 이 전체 픽처의 스테레오 정보는 서브픽처(sub-picture)별 정보로서 ISOBMFF 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트 장치(200)는, sub-picture track의 정보를 참조하기만 하면, 그 전체 픽처의 스테레오 정보(예를 들어 전체 픽처 스테레오 화상인지 여부나, 어떠한 타입의 스테레오 화상인지 등)를 용이하게 파악할 수 있다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 52의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S321에 있어서, sub-picture별 정보로서 전체 픽처(projected picture)의 스테레오 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S322에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S323에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역 폭을 계측한다.
스텝 S324에 있어서, 세그먼트 파일 처리부(221)는, 클라이언트 장치(200)가 스테레오 재생을 행할지 여부(또는 스테레오 재생을 행하는 기능(capability)을 갖는지 여부)를 판정한다. 스테레오 재생을 행하는 것으로(또는 스테레오 재생의 기능을 갖는 것으로) 판정된 경우, 처리는 스텝 S325로 진행된다.
스텝 S325에 있어서, 세그먼트 파일 처리부(221)는, 스테레오 표시 가능한 sub-picture track을 선택 후보로 한다. 그때, 세그먼트 파일 처리부(221)는, 스텝 S321에 있어서 취득된 ISOBMFF 파일에 포함되는 전체 픽처의 스테레오 정보를 참조함으로써, 제2 패턴의 프레임 패킹 어레인지먼트가 적용되어 있지 않은, 스테레오 표시 가능한 sub-picture track(예를 들어 도 49의 sub-picture(445)나 sub-picture(446))도 선택 후보에 포함시킬 수 있다. 스텝 S325의 처리가 종료되면 처리는 스텝 S327로 진행된다.
또한 스텝 S324에 있어서, 클라이언트 장치(200)가 스테레오 재생을 행하지 않는 것으로(또는 스테레오 재생의 기능을 갖고 있지 않는 것으로) 판정된 경우, 처리는 스텝 S326으로 진행된다.
스텝 S326에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S321에 있어서 취득된 ISOBMFF 파일에 포함되는 전체 픽처의 스테레오 정보 등에 기초하여 모노 픽처의 sub-picture track을 선택 후보로 한다. 그때, 세그먼트 파일 처리부(221)는, 스텝 S321에 있어서 취득된 ISOBMFF 파일에 포함되는 전체 픽처의 스테레오 정보를 참조함으로써, 제3 패턴의 sub-picture track(예를 들어 도 50의 sub-picture(452)나 sub-picture(453))에 대하여, 렌더링 시에 수평 방향으로 2배의 업스케일(upscale)이 필요함을 파악할 수 있다. 스텝 S326의 처리가 종료되면 처리는 스텝 S327로 진행된다.
스텝 S327에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S325 또는 스텝 S326에 있어서 설정한 후보 중에서, 클라이언트 장치(200)의 유저의 시야에 따른 sub-picture track을 선택한다.
스텝 S328에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S327에 있어서 선택된 sub-picture track의 스트림의 부호화 데이터를, 스텝 S321에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S329에 있어서, 디코드부(222)는, 스텝 S328에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S330에 있어서, 표시 정보 생성부(223)는, 스텝 S329에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S330의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는, sub-picture화될 전체 픽처의 스테레오 정보를 이용하여 보다 용이하게 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 그 정보에 기초하여, 자신의 능력(capability) 등에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<전체 픽처의 스테레오 정보를 Sample Entry에 시그널>
예를 들어 분할 전의 전체 픽처가 스테레오 화상인 경우, 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, sub-picture track의 Sample Entry에 있어서, 전체 픽처의 스테레오 정보를 시그널하도록 해도 된다.
예를 들어 ISOBMFF 파일의, 그 Sample Entry 아래의 Scheme Information Box, 또는 그 Scheme Information Box의 아랫계층의 Box에 전체 픽처의 스테레오 정보가 저장되도록 해도 된다.
<Original Stereo Video Box>
예를 들어 분할 전의 전체 픽처의 스테레오 정보를 시그널하기 위하여, 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가 Original Stereo Video Box를 신규 정의하고, sub-picture track의 Sample Entry의 Scheme Information Box(schi) 아래에 그 Box를 시그널하도록 해도 된다. 즉, 이 Original Stereo Video Box에, 분할 전의 전체 픽처의 스테레오 정보가 저장되도록 해도 된다.
또한 이 Original Stereo Video Box의 장소는 임의이며, 상술한 Scheme Information Box에 한정되지 않는다. 또한 Original Stereo Video Box에서 시그널되는 정보는 Stereo Video Box와 마찬가지이다.
도 53의 신택스(461)는, 이 Original Stereo Video Box의 신택스의 예를 나타낸다. 신택스(461)에 나타난 바와 같이, Original Stereo Video Box에 있어서는, single_view_allowed, stereo_scheme, length, stereo_indication_type 등의 필드가 정의된다.
도 54의 시맨틱스(462)는, 이 Original Stereo Video Box에 있어서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(462)에 나타난 바와 같이 single_view_allowed는, 허용되는 뷰의 종류를 나타내는 정보이다. 예를 들어 이 필드의 값이 0인 경우, 콘텐츠는, 스테레오스코픽 대응의 디스플레이에서만 표시되는 것을 의도하고 있음을 나타낸다. 또한 이 필드의 값이 1인 경우, 콘텐츠는, 모노스코픽 디스플레이에서 right view의 표시가 허용되어 있음을 나타낸다. 또한 이 필드의 값이 2인 경우, 콘텐츠는, 모노스코픽 디스플레이에서 left view의 표시가 허용되어 있음을 나타낸다.
stereo_scheme는, 프레임 패킹 방법에 관한 정보이다. 예를 들어 이 필드의 값이 1인 경우, 프레임 패킹 방법은, ISO/IEC 14496-10의 Frame packing arrangement SEI에 따름을 나타낸다. 또한 이 필드의 값이 2인 경우, 프레임 패킹 방법은, ISO/IEC 13818-2의 Annex.L에 따름을 나타낸다. 또한 이 필드의 값이 3인 경우, 프레임 패킹 방법은, ISO/IEC 23000-11의frame/sevice compatible 및 2D/3D Mixed sevice에 따름을 나타낸다.
length는 stereo_indication_type의 바이트 길이를 나타낸다. 또한 stereo_indication_type은, stereo_shceme에 따른, 프레임 패킹 방법을 나타낸다.
클라이언트 장치(200)의 세그먼트 파일 처리부(221)는, Original Stereo Video Box 및 2D Coverage Information Box를 참조함으로써 전체 픽처의 스테레오 정보를 취득할 수 있다. 그리고 세그먼트 파일 처리부(221)는 이 정보에 기초하여, sub-picture track의 Sample Entry에 Stereo Video Box가 시그널되어 있지 않은 경우, sub-picture가 모노인 것인지, Left view 및 Right view를 포함하기는 하지만 Stereo Video Box에서 시그널되는 프레임 패킹 어레인지먼트가 적용되어 있지 않은 것인지를, Sub Picture Composition Box를 파스하지 않고 용이하게 식별할 수 있다. 즉, sub-picture track이 아닌 track의 경우와 마찬가지로, Sample Entry에 저장된 정보만으로부터 스테레오 정보의 식별이 가능해진다.
즉, 클라이언트 장치(200)는, Sub Picture Composition Box를 파스하지 않고 sub-picture track 단독의 선택·재생하는 것이 가능하다.
<표시 사이즈의 시그널>
또한, 스테레오인 전체 픽처를 분할하여 생성한 모노 sub-picture(모노 픽처인 sub-picture)를 저장하는 sub-picture track의 Track Header의 width 및 height에, 전체 픽처의 프레임 패킹 어레인지먼트에 기초하여 upscale한 표시 사이즈를 시그널하도록 해도 된다.
즉, ISOBMFF 파일에, sub-picture의 표시 사이즈에 관한 정보가 포함되도록 해도 된다.
그 모습의 예를 도 55에 나타낸다. 도 55에 나타난 바와 같이, 스테레오 화상의 전체 픽처로부터 생성된 sub-picture(471) 및 sub-picture(472)는, 각 영역의 화상이 수평 방향으로 다운 스케일되어 있다. 따라서 표시 시(렌더링)에 있어서는 수평 방향으로 upscale할 필요가 있다. 그래서 이 표시 시의 화상(473)의 표시 사이즈를 Track Header의 width 및 height로서 시그널하도록 한다. 이것에 의하여 클라이언트 장치(200)가 모노 sub-picture를 적절히 렌더링할 수 있다.
또한 이 Track Header의 width 및 height에 있어서의 시그널링 대신, ISOBMFF로 정의되는, 표시 시의 픽셀 종횡비 정보를 시그널하는 Pixel Aspect Ratio Box(pasp)를 Visual Sample Entry에 시그널하도록 해도 된다. 이 경우에도, 상술한 Track Header의 width 및 height에 있어서 시그널하는 경우와 동등한 효과를 얻을 수 있다.
도 56의 신택스(481)는, Pixel Aspect Ratio Box의 신택스의 예를 나타낸다. 신택스(481)에 나타난 바와 같이, Pixel Aspect Ratio Box에 있어서는, 예를 들어hSpacing, vSpacing 등의 필드가 정의된다.
도 57의 시맨틱스(482)는, 이 Pixel Aspect Ratio Box에 있어서 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(482)에 나타난 바와 같이, hSpacing 및 vSpacing은 상대적인 픽셀 높이, 폭을 나타내는 정보이다. 렌더링 시에는, 이 정보에 기초하여 픽셀 폭이 vSpace/hSpace 배로 되어 표시된다.
그 모습의 예를 도 58에 나타낸다. 도 58에 나타나는 sub-picture(491) 및 sub-picture(492)는, 스테레오 화상의 전체 픽처로부터 생성된 sub-picture이며, 각 영역의 화상이 수평 방향으로 다운 스케일되어 있다. 그래서, hSpace=1, vSpase=2를 시그널함으로써 클라이언트 장치(200)는, 예를 들어 sub-picture(491)를 표시(렌더링)할 때, 이들 정보에 기초하여 픽셀 폭을 2배로 하여 렌더링하여, 화상(493)과 같이 적절한 애스펙트비로 화상을 표시시킬 수 있다. 즉, 클라이언트 장치(200)가 모노 sub-picture(모노 화상으로 이루어지는 sub-picture)를 적절히 렌더링할 수 있다.
<Original Scheme Information Box>
또한 sub-picture track의 Sample Entry의 Restricted Scheme Information Box(rinf) 아래에 Original Scheme Information Box를 신규 정의하고, 그 Box 내에 분할 전의 전체 픽처의 스테레오 정보를 시그널하도록 해도 된다. 또한 Original Scheme Information Box를 정의하는 장소는 임의이며, 상술한 rinf에 한정되지 않는다.
도 59의 신택스(501)는, 그 경우의 Original Scheme Information Box의 신택스의 예를 나타낸다. 신택스(501)에 나타난 바와 같이, Original Scheme Information Box에 있어서는, 예를 들어 scheme_specific_data가 정의된다.
이 scheme_specific_data에는, sub-picture로 분할되기 전의 전체 픽처에 대한 정보가 시그널된다. 예를 들어 전체 픽처가 스테레오였던 경우에는, 전체 픽처의 스테레오 정보를 갖는 Stereo Video Box가 시그널되도록 해도 된다. 이와 같이 함으로써 클라이언트 장치(200)는, Sub Picture Composition Box를 파스하지 않고 sub-picture track 단독의 선택·재생하는 것이 가능하다.
또한 이 scheme_specific_data에는, Stereo Video Box에 한하지 않고 전체 픽처에 관한 포스트 프로세싱 정보가 시그널되도록 해도 된다(예를 들어 Region Wise Packing Box 등).
<sub-picture track 선택을 용이하게 하는 추가 정보>
또한 2D Coverage Information Box를 확장하고, track 선택을 용이하게 하는 스테레오 관련 정보를 시그널하도록 해도 된다.
예를 들어 2D Coverage Information Box에stereo_presentation_suitable_flag를 추가하고, sub-picture track이 스테레오 표시 가능한지 여부를 시그널하도록 해도 된다. 이 정보를 참조함으로써 클라이언트 장치(200)는, 제3 실시 형태에 있어서 상술한 전체 픽처의 스테레오 정보와, 제1 실시 형태에 있어서 정의한 2D Coverage Information Box에서 시그널되는 projected picture 상에 있어서의 영역 정보에 기초하여 스테레오 표시가 가능한지 여부를 식별하는 처리를 행하지 않더라도, 스테레오 표시가 가능한지 여부를 식별할 수 있다.
즉, ISOBMFF 파일이, 서브픽처별 스테레오 표시에 관한 정보인 서브 스테레오 정보를 더 포함하도록 해도 된다.
도 60의 신택스(502)는, 이 경우의 2D Coverage Information Box의 예를 나타낸다. 신택스(502)에 나타난 바와 같이, 이 경우, stereo_presentation_suitable이 더 정의된다(정의되는 필드에 stereo_presentation_suitable이 추가됨).
도 61의 시맨틱스(503)는, 이 추가되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(503)에 나타난 바와 같이 stereo_presentation_suitable는, track의 픽처의 스테레오 표시에 관한 정보이다. 이 필드의 값이 0인 경우, track의 픽처가 모노이거나, 또는 L view, R view를 포함하지만 스테레오 표시 불가능함을 나타낸다. 이 필드의 값이 1인 경우, track의 픽처는, 일부 영역의 스테레오 표시가 가능함을 나타낸다. 이 필드의 값이 2인 경우, track의 픽처는, 모든 영역이 스테레오 표시 가능함을 나타낸다.
도 62는, stereo_presentation_suitable의 시그널예를 나타내는 도면이다. 예를 들어 도 62의 상측에 나타난 바와 같이, side by side의 스테레오 화상인 전체 픽처(projected picture)(511)를 sub-picture화하여 생성된 sub-picture(512) 내지 sub-picture(517)는 L view와 R view를 포함하고 스테레오 표시 가능하다. 따라서 이들 sub-picture에는 stereo_presentation_suitable=2가 세트된다.
이에 비해, 도 62의 하측에 나타난 바와 같이, side by side의 스테레오 화상인 전체 픽처(projected picture)(521)를 sub-picture화하여 생성된 sub-picture(522) 내지 sub-picture(526)는 L view와 R view를 포함한다. 단, sub-picture(522) 내지 sub-picture(524)는 스테레오 표시할 수 없다. 따라서 이들 sub-picture에는 stereo_presentation_suitable=0이 세트된다.
또한 sub-picture(525) 및 sub-picture(526)는 일부의 영역을 스테레오 표시할 수 있다. 따라서 이들 sub-picture에는 stereo_presentation_suitable=1이 세트된다.
또한 스테레오 표시 가능한지 여부의 정보를, 개별 Box(그 정보를 저장하기 위한 전용 Box), 예를 들어 Track Stereo Video Box를 신규 정의하고, sub-picture track의 schi 아래에 시그널하도록 해도 된다.
도 63의 신택스(531)는, 그 경우의 Track Stereo Video Box의 신택스의 예를 나타낸다.
또한 sub-picture track의 Sample Entry의 Projected Omnidirectional Video Box 아래에서 시그널되는 Region Wise Packing Box, 또는 제1 실시 형태에 있어서 상술한 RectProjected Region 구조를 확장하고, stereo_presentation_suitable_flag를 시그널하도록 해도 된다. 또한 그 외의 Box에 stereo_presentation_suitable_flag를 시그널하도록 해도 된다.
또한 스테레오 표시가 불가능한 경우에 있어서는, Track HeaderBox의 track_not_intended_for_presentation_alone 플래그를 이용하여, sub-picture 단독 재생이 바람직하지 않다는 것을 시그널하도록 해도 된다.
또한 상술한 각종 정보는, track에 저장되는 picture가 sub-picture가 아닌 경우에 있어서도 적용 가능하다.
<view 정보의 시그널>
또한 2D Coverage Information Box를 확장하고, sub-picture의 projected picture 상에 있어서의 표시 영역에 대하여 view 정보를 추가로 시그널하도록 해도 된다. 이 정보를 참조함으로써 클라이언트 장치(200)는, 제3 실시 형태에 있어서 상술한 전체 픽처의 스테레오 정보와, 제3 실시 형태에 있어서 정의한 2D Coverage Information Box에서 시그널되는 projected picture 상에 있어서의 영역 정보로부터 각 영역의 view 정보를 식별하는 처리를 행하지 않더라도, sub-picture가 모노 화상인지, L view 및 R view를 포함하는 것인지를 용이하게 식별할 수 있다.
즉, ISOBMFF 파일이, 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하도록 해도 된다.
도 64의 신택스(532)는, 이 경우의 2D Coverage Information Box의 신택스의 예를 나타내는 도면이다. 신택스(532)에 나타난 바와 같이, 이 경우, 2D Coverage Information Box에 있어서, view_idc_presence_flag, default_view_idc, view_idc 등의 필드가 추가적으로 정의된다.
도 65의 시맨틱스(533)는, 이 2D Coverage Information Box에 있어서 추가적으로 정의되는 필드의 시맨틱스의 예를 나타낸다. 시맨틱스(533)에 나타난 바와 같이 view_idc_presense_flag는, 각 영역에 개별 view_idc가 존재하는지 여부를 나타낸다. 예를 들어 이 필드의 값이 0인 경우, 각 영역에 개별 view_idc가 존재하지 않음을 나타낸다. 또한 이 필드의 값이 1인 경우, 각 영역에 개별 view_idc가 존재함을 나타낸다.
즉, ISOBMFF 파일이, 뷰 정보가 영역별로 존재하는지를 나타내는 정보를 더 포함하도록 해도 된다.
default_view_idc는, 영역 모두에 공통인 view를 나타낸다. 예를 들어 이 필드의 값이 0인 경우, 이 sub-picture 내의 모든 영역이 mono view임을 나타낸다. 또한 이 필드의 값이 1인 경우, 이 sub-picture 내의 모든 영역이 left view임을 나타낸다. 또한 이 필드의 값이 2인 경우, 이 sub-picture 내의 모든 영역이 right view임을 나타낸다. 또한 이 필드의 값이 3인 경우, 이 sub-picture 내의 모든 영역이 stereo view임을 나타낸다.
view_idc는 영역별 view를 나타낸다. 예를 들어 이 필드의 값이 0인 경우, 그 영역이 mono view임을 나타낸다. 또한 이 필드의 값이 1인 경우, 그 영역이 left view임을 나타낸다. 또한 이 필드의 값이 2인 경우, 그 영역이 right view임을 나타낸다. 또한 이 필드의 값이 3인 경우, 그 영역이 stereo view임을 나타낸다. 또한 이 필드가 존재하지 않는 경우, default_view_idc가 각 영역의 view를 나타냄을 나타낸다.
즉, 뷰 정보는, 서브픽처에 포함되는 영역별 정보여도 된다.
도 66은, 이 view_idc를 시그널하는 모습의 예를 나타내는 도면이다. 도 66에 나타난 바와 같이, side by side의 전체 픽처(541)를 sub-picture(542) 및 sub-picture(543)와 같이 sub-picture화하는 경우, 이들 sub-picture에는 각각 view_idc=3이 세트된다.
이에 비해, 전체 픽처(541)를 sub-picture(544) 및 sub-picture(545)와 같이 sub-picture화하는 경우, sub-picture(544)에 대해서는 view_idc=1이 세트되고, sub-picture(545)에 대해서는 view_idc=2가 세트된다.
또한 track에 저장되는 picture가 sub-picture가 아닌 경우에 있어서도, 이들 추가 정보를 적용할 수 있다.
마찬가지로, Region Wise Packing Box, 및 제1 실시 형태에 있어서 정의한 Rect Projected Region 구조를 확장하고, view 정보를 시그널하도록 해도 된다.
<5. 제4 실시 형태>
<MPD 파일에 의한, sub-picture화될 전체 픽처의 스테레오 정보의 시그널>
상술한, sub-picture화될 전체 픽처의 스테레오 정보의 시그널을 MPD 파일에 있어서 행하도록 해도 된다. 즉, 클라이언트가, sub-picture를 참조하는 Adaptation Set를, 예를 들어 클라이언트의 능력(capability)에 따라 선택·재생하는 것을 가능하게 하기 위하여, MPD 파일에 있어서, sub-picture화될 전체 픽처의 스테레오 정보를 신규 정의하고, Adaptation Set에 시그널하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 그 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 그 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
이와 같이 함으로써, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 파일 생성 장치(100)가, 이와 같은 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화하는 경우에 있어서, 상술한 바와 같이 본 기술을 적용할 수 있다.
이와 같이 함으로써, 전천구 영상을 배신하는 경우에 있어서도, 상술한 바와 같이 클라이언트는 이 정보에 기초하여 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 MPD 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트는, Adaptation Set가 참조하는 sub-picture의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<업로드 처리의 흐름>
그 경우의 도 11의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 67의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S401에 있어서, 화상과 메타데이터를 취득한다.
스텝 S402에 있어서, 세그먼트 파일 생성부(123)는 그 화상의 세그먼트 파일을 생성한다.
스텝 S403에 있어서, MPD 파일 생성부(113)는 sub-picture별 정보로서, 전체 픽처(projected picture)의 스테레오 정보를 포함하는 MPD 파일을 생성한다.
스텝 S404에 있어서, 기록부(114)는, 스텝 S402의 처리에 의하여 생성된 세그먼트 파일을 기록한다. 또한 기록부(114)는, 스텝 S403의 처리에 의하여 생성된 MPD 파일을 기록한다.
스텝 S405에 있어서, 업로드부(115)는, 스텝 S404에 있어서 기록된 세그먼트 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S404에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S404의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써, 파일 생성 장치(100)는 sub-picture별 정보로서, 전체 픽처의 스테레오 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는 그 표시 영역 정보에 기초하여, 예를 들어 클라이언트 장치(200)의 기능(capability)에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<MPD 파일에 시그널된, sub-picture화될 전체 픽처의 스테레오 정보의 이용>
또한 MPD 파일에 시그널된, sub-picture화될 전체 픽처의 스테레오 정보를 이용하여 스트림의 선택을 행하도록 해도 된다.
즉, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 그 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 그 취득된 제어 파일에 포함되는 스테레오 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, MPD 파일 취득부(212)가, 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 그 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부로서 기능하고, MPD 파일 처리부(213)가, 그 취득된 제어 파일에 포함되는 스테레오 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 MPD 파일 취득부(212))와 화상 처리부(예를 들어 MPD 파일 처리부(213))를 구비하도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는 스트림의 선택을 보다 용이하게 행할 수 있다.
또한 상술한 픽처(전체 픽처)는 전천구 영상(수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 투영·매핑한 투영 평면 화상)의 전부 또는 일부이도록 해도 된다. 즉, 클라이언트 장치(200)가, 투영 평면 화상의 전부 또는 일부를 전체 픽처로 하고 그것을 sub-picture화한 스트림을 취득하여 재생하는 경우에 있어서도, 상술한 바와 같이 본 기술을 적용할 수 있다.
또한 이 영역에 관한 정보(표시 영역 정보)는 서브픽처(sub-picture)별 정보로서 MPD 파일에 포함되도록 해도 된다. 이와 같이 함으로써 클라이언트 장치(200)는, Adaptation Set가 참조하는 sub-picture의 정보를 참조하기만 하면, 그 sub-picture가 전체 픽처의 어느 부분에 대응하는지를 용이하게 파악할 수 있다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 68의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S421에 있어서, sub-picture별 정보로서 전체 픽처(projected picture)의 스테레오 정보를 포함하는 MPD 파일을 취득한다.
스텝 S422에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S423에 있어서, 계측부(211)는 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역 폭을 계측한다.
스텝 S424에 있어서, MPD 파일 처리부(213)는, 클라이언트 장치(200)가 스테레오 재생을 행할지 여부(또는 스테레오 재생을 행하는 기능(capability)을 갖는지 여부)를 판정한다. 스테레오 재생을 행하는 것으로(또는 스테레오 재생의 기능을 갖는 것으로) 판정된 경우, 처리는 스텝 S425로 진행된다.
스텝 S425에 있어서, MPD 파일 처리부(213)는, 스테레오 표시 가능한 sub-picture를 참조하는 Adaptation Set를 선택 후보로 한다. 그때, MPD 파일 처리부(213)는, 스텝 S421에 있어서 취득된 MPD 파일에 포함되는 전체 픽처의 스테레오 정보를 참조함으로써, 제2 패턴의 프레임 패킹 어레인지먼트가 적용되어 있지 않은, 스테레오 표시 가능한 sub-picture(예를 들어 도 49의 sub-picture(445)나 sub-picture(446))를 참조하는 Adaptation Set도 선택 후보에 포함시킬 수 있다. 스텝 S425의 처리가 종료되면 처리는 스텝 S427로 진행된다.
또한 스텝 S424에 있어서, 클라이언트 장치(200)가 스테레오 재생을 행하지 않는 것으로(또는 스테레오 재생의 기능을 갖고 있지 않는 것으로) 판정된 경우, 처리는 스텝 S426으로 진행된다.
스텝 S426에 있어서, MPD 파일 처리부(213)는, 스텝 S421에 있어서 취득된 MPD 파일에 포함되는 전체 픽처의 스테레오 정보 등에 기초하여, 모노 픽처의 sub-picture를 참조하는 Adaptation Set를 선택 후보로 한다. 그때, MPD 파일 처리부(213)는, 스텝 S421에 있어서 취득된 MPD 파일에 포함되는 전체 픽처의 스테레오 정보를 참조함으로써, 제3 패턴의 sub-picture(예를 들어 도 50의 sub-picture(452)나 sub-picture(453))에 대하여, 렌더링 시에 수평 방향으로 2배의 업스케일(upscale)이 필요함을 파악할 수 있다. 스텝 S426의 처리가 종료되면 처리는 스텝 S427로 진행된다.
스텝 S427에 있어서, MPD 파일 처리부(213)는, 스텝 S425 또는 스텝 S426에 있어서 설정한 후보 중에서, 클라이언트 장치(200)의 유저의 시야에 상당하는(대응하는) sub-picture를 참조하는 Adaptation Set를 선택한다.
스텝 S428에 있어서, MPD 파일 처리부(213)는, 스텝 S424에 있어서 선택된 Adaptation Set 중에서, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역 폭 등에 따른 리프리젠테이션(Representation)을 선택한다.
스텝 S429에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S428에 있어서 선택된 리프리젠테이션(Representation)에 대응하는 세그먼트 파일을 취득한다.
스텝 S430에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S429에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S431에 있어서, 디코드부(222)는, 스텝 S430에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S432에 있어서, 표시 정보 생성부(223)는, 스텝 S431에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S432의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 sub-picture의 표시 영역에 관한 정보를 이용하여 보다 용이하게 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 그 정보에 기초하여, 자신의 능력(capability) 등에 따른 적절한 스트림을 보다 용이하게 선택하여 재생할 수 있다.
<MPD 파일에 있어서의 스테레오 정보의 시그널 상세>
예를 들어 2D coverage information descriptor를 확장하고, 제3 실시 형태에 있어서 설명한 경우와 마찬가지로 stereo_presentation_suitable 필드 및 view 정보를 시그널하도록 해도 된다.
즉, MPD 파일은, 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하도록 해도 된다.
또한, 그 뷰 정보는, 서브픽처에 포함되는 영역별 정보이도록 해도 된다.
또한 MPD 파일은, 그 뷰 정보가 영역별로 존재하는지를 나타내는 정보를 더 포함하도록 해도 된다.
도 69의 속성값(551) 및 도 70의 속성값(552)은, 확장한 2D coverage information descriptor의 속성값의 예를 나타낸다. 속성값(551) 및 속성값(552)에 나타난 바와 같이 twoDCoverage는, 데이터 타입이 omaf:twoDCoverageType인 컨테이너 요소이다. twoDCoverage@stereo_presentation_suitable는, 데이터 타입이 omaf:StereoPresentationType이며, Adaptation Set가 스테레오 표시 가능한지 여부를 나타낸다. 예를 들어 이 속성값이 0인 경우, Adaptation Set가 참조하는 픽처가 모노이거나, 또는 스테레오 표시 불가능함을 나타낸다. 또한 이 속성값이 1인 경우, Adaptation Set가 참조하는 픽처는, 일부의 영역의 스테레오 표시가 가능함을 나타낸다. 또한 이 속성값이 2인 경우, Adaptation Set가 참조하는 픽처는, 모든 영역의 스테레오 표시가 가능함을 나타낸다.
twoDCoverage@view_idc_presence_flag는, 데이터 타입이 xs:boolean이며, 각 영역에 개별 view_idc가 존재하는지 여부를 나타낸다. 예를 들어 이 속성값이 0인 경우, 각 영역에 개별 view_idc가 존재하지 않음을 나타낸다. 또한 이 속성값이 1인 경우, 각 영역에 개별 view_idc가 존재함을 나타낸다. twoDCoverage@default_view_idc는, 데이터 타입이 omaf:ViewType이며, 영역 모두에 공통인 view를 나타낸다. 예를 들어 이 속성값이 0인 경우, mono view임을 나타내고, 이 속성값이 1인 경우, left view임을 나타내고, 이 속성값이 2인 경우, right view임을 나타내고, 이 속성값이 3인 경우, stereo view임을 나타낸다. 또한 twoDCoverage@view_idc_presence_flag=0일 때, 이 속성은 반드시 존재한다. 또한 twoDCoverage@view_idc_presence_flag=1일 때, 이 속성은 존재해서는 안 된다.
twoDCoverage@proj_picture_width는, 데이터 타입이 xs:unsignedInt이며, projected picture의 폭을 나타낸다. twoDCoverage@proj_picture_height는, 데이터 타입이 xs:unsignedInt이며, projected picture의 높이를 나타낸다. twoDCoverage.twoDCoverageInfo는, 데이터 타입이 omaf:twoDCoverageInfoType이며, projected picture 상에 있어서의 영역 정보를 나타내는 요소이다. 이 요소는 복수 시그널할 수 있다.
twoDCoverage.twoDCoverageInfo@view_idc는, 데이터 타입이 omaf:ViewType이며, 영역별 view를 나타낸다. 예를 들어 이 속성값이 0인 경우, mono view임을 나타내고, 이 속성값이 1인 경우, left view임을 나타내고, 이 속성값이 2인 경우, right view임을 나타내고, 이 속성값이 3인 경우, stereo view임을 나타낸다. 또한 twoDCoverage@view_idc_presence_flag=0일 때, 이 속성은 존재해서는 안 된다. 또한 twoDCoverage@view_idc_presence_flag=1일 때, 이 속성은 반드시 존재한다.
twoDCoverage.twoDCoverageInfo@proj_reg_width는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 폭을 나타낸다. twoDCoverage.twoDCcoverageInfo@proj_reg_height는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 높이를 나타낸다.
twoDCoverage.twoDCoverageInfo@proj_reg_top은, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역의 수직 방향 좌표를 나타낸다. twoDCoverage.twoDCoverageInfo@proj_reg_left는, 데이터 타입이 xs:unsignedInt이며, Adaptation Set가 참조하는 picture가 대응하는, projected picture 상에 있어서의 영역 수평 방향 좌표를 나타낸다.
도 71의 데이터 타입(553)은, 이 경우의 데이터 타입의 정의의 예를 나타낸다.
또한 제2 실시 형태에 있어서 설명한, 확장한 Region-wise packing descriptor 및 Content coverage descriptor를 더 확장하고, stereo_presentation_suitable 및 view 정보를 시그널하도록 해도 된다. 또한 그 외의 descriptor를 이용하여 이들 정보를 시그널하도록 해도 된다.
<6. 부기>
<컴퓨터>
상술한 일련의 처리는 하드웨어에 의하여 실행시킬 수도 있고 소프트웨어에 의하여 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의하여 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 퍼스널 컴퓨터 등이 포함된다.
도 72는, 상술한 일련의 처리를 프로그램에 의하여 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
도 72에 나타나는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은 버스(904)를 통하여 상호 간에 접속되어 있다.
버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.
입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을 입출력 인터페이스(910) 및 버스(904)를 통하여 RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적당히 기억된다.
컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써 입출력 인터페이스(910)를 통하여 기억부(913)에 인스톨할 수 있다.
또한 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은 유선 또는 무선 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은 통신부(914)에서 수신하여 기억부(913)에 인스톨할 수 있다.
그 외에 이 프로그램은 ROM(902)이나 기억부(913)에 미리 인스톨해 둘 수도 있다.
<본 기술의 적용 대상>
이상에 있어서는, ISOBMFF 파일 또는 MPD 파일에 본 기술을 적용하는 경우에 대하여 설명하였지만, 본 기술은 이들 예에 한하지 않고, 입체 구조 화상을 단수의 평면에 매핑한 투영 평면 화상의 스트림을 배신하는 임의의 규격의 파일에 대하여 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 배신 제어, 파일 형식, 부호화·복호 방식 등의 각종 처리의 사양은 임의이다. 또한 본 기술과 모순되지 않는 한, 상술한 일부의 처리나 사양을 생략해도 된다.
또한 이상에 있어서는, 본 기술의 적용예로서 파일 생성 장치(100)나 클라이언트 장치(200)에 대하여 설명하였지만, 본 기술은 임의의 구성에 적용할 수 있다.
예를 들어 본 기술은, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신, 및 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 리코더나 카메라) 등의 다양한 전자 기기에 적용될 수 있다.
또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 이용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 이용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 그 외의 기능을 더 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부의 구성으로서 실시할 수도 있다.
또한, 예를 들어 본 기술은, 복수의 장치에 의하여 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어 본 기술을, 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.
또한 본 명세서에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서 별개의 하우징에 수납되고 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.
<본 기술을 적용 가능한 분야·용도>
본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등 임의의 분야에 이용할 수 있다. 또한 그 용도도 임의이다.
예를 들어 본 기술은, 관상용 콘텐츠 등의 제공용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 보안용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 기계 등의 자동 제어용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 농업이나 축산업용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한 본 기술은, 예를 들어 화산, 삼림, 해양 등의 자연의 상태나 야생 생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 스포츠용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다.
<그 외>
또한 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 참(1) 또는 거짓(0)의 2상태를 식별할 때 이용하는 정보뿐 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2값이어도 되고 3값 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit 수는 임의이며, 1bit여도 복수 bit여도 된다. 또한 식별 정보(플래그도 포함함)는, 그 식별 정보를 비트 스트림에 포함시키는 형태뿐 아니라, 어느 기준으로 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함시키는 형태도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는 그 정보뿐 아니라, 기준으로 되는 정보에 대한 차분 정보도 포함한다.
또한 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면 어떠한 형태로 전송 또는 기록되도록 해도 된다. 여기서 「관련짓다」라는 용어는, 예를 들어 한쪽 데이터를 처리할 때 다른 쪽 데이터를 이용할 수 있도록(링크시킬 수 있도록) 함을 의미한다. 즉, 서로 관련지어진 데이터는 하나의 데이터로서 통합되어도 되고, 각각 개별 데이터로 해도 된다. 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한 이 「관련짓기」는, 데이터 전체가 아니라 데이터의 일부여도 된다. 예를 들어 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1 프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어지도록 해도 된다.
또한 본 명세서에 있어서, 「합성하다」, 「다중화하다」, 「부가하다」, 「일체화하다」, 「포함시키다」, 「저장하다」, 「집어넣다」, 「꽂아넣다」, 「삽입하다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 하나의 데이터로 통합한다고 하는, 복수의 사물을 하나로 통합함을 의미하고, 상술한 「관련짓다」 중 하나의 방법을 의미한다.
또한 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한 각 장치(또는 각 처리부)의 구성에, 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어느 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.
또한, 예를 들어 상술한 프로그램은 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가 필요한 기능(기능 블록 등)을 갖고 필요한 정보를 얻을 수 있도록 하면 된다.
또한, 예를 들어 하나의 흐름도의 각 스텝을 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 또한 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 달리 말하건대, 하나의 스텝에 포함되는 복수의 처리를 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합하여 실행할 수도 있다.
또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.
또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.
또한 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한 상기 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(2) 상기 픽처는 전천구 영상인,
(1)에 기재된 정보 처리 장치.
(3) 상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 파일에 포함되는,
(1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 픽처 영역별 배치 정보는, Region Wise Packing Box에 시그널되는 정보이고,
상기 영역에 관한 정보는, Region Wise Packing Box와는 다른, 상기 ISOBMFF 파일의 Scheme Information Box, 또는 상기 Scheme Information Box의 아랫계층의 Box에 저장되는,
(3)에 기재된 정보 처리 장치.
(5) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는, 트랙의 구면 상에 있어서의 표시 영역을 나타내는 Coverage Information Box에 저장되는,
(3)에 기재된 정보 처리 장치.
(6) 상기 영역에 관한 정보는 스트림 중에서 동적으로 변화되는,
(1) 내지 (5) 중 어느 것에 기재된 정보 처리 장치.
(7) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 Supplemental Enhancement information message에 저장되는,
(6)에 기재된 정보 처리 장치.
(8) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 timed metadata에 저장되는,
(6)에 기재된 정보 처리 장치.
(9) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 Sample Group Entry에 저장되는,
(6)에 기재된 정보 처리 장치.
(10) 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한 상기 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는,
정보 처리 방법.
(11) 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한 상기 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(12) 상기 픽처는 전천구 영상인,
(11)에 기재된 정보 처리 장치.
(13) 상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 파일에 포함되는,
(11) 또는 (12)에 기재된 정보 처리 장치.
(14) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는, 상기 ISOBMFF 파일의 Scheme Information Box, 또는 상기 Scheme Information Box의 아랫계층의 Box에 저장되는,
(13)에 기재된 정보 처리 장치.
(15) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는, 트랙의 구면 상에 있어서의 표시 영역을 나타내는 Coverage Information Box에 저장되는,
(13)에 기재된 정보 처리 장치.
(16) 상기 영역에 관한 정보는 스트림 중에서 동적으로 변화되는,
(11) 내지 (15) 중 어느 것에 기재된 정보 처리 장치.
(17) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 Supplemental Enhancement information message에 저장되는,
(16)에 기재된 정보 처리 장치.
(18) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 timed metadata에 저장되는,
(16)에 기재된 정보 처리 장치.
(19) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 영역에 관한 정보는 Sample Group Entry에 저장되는,
(16)에 기재된 정보 처리 장치.
(20) 저장되는 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하고, 또한 상기 서브픽처가 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(21) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 상기 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(22) 상기 픽처는 전천구 영상인,
(21)에 기재된 정보 처리 장치.
(23) 상기 스테레오 정보는 상기 서브픽처별 정보로서 상기 파일에 포함되는,
(21) 또는 (22)에 기재된 정보 처리 장치.
(24) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 스테레오 정보는, 상기 ISOBMFF 파일의 Scheme Information Box, 또는 상기 Scheme Information Box의 아랫계층의 Box에 저장되는,
(23)에 기재된 정보 처리 장치.
(25) 상기 파일은, 상기 서브픽처의 표시 사이즈에 관한 정보를 더 포함하는,
(21) 내지 (24) 중 어느 것에 기재된 정보 처리 장치.
(26) 상기 파일은, 상기 서브픽처별 스테레오 표시에 관한 정보인 서브 스테레오 정보를 더 포함하는,
(21) 내지 (25) 중 어느 것에 기재된 정보 처리 장치.
(27) 상기 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
(21) 내지 (26) 중 어느 것에 기재된 정보 처리 장치.
(28) 상기 뷰 정보는, 상기 서브픽처에 포함되는 영역별 정보인,
(27)에 기재된 정보 처리 장치.
(29) 상기 파일은, 상기 뷰 정보가 상기 영역별로 존재하는지를 나타내는 정보를 더 포함하는,
(28)에 기재된 정보 처리 장치.
(30) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 상기 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 생성하는,
정보 처리 방법.
(31) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 상기 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 파일에 포함되는 상기 스테레오 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(32) 상기 픽처는 전천구 영상인,
(31)에 기재된 정보 처리 장치.
(33) 상기 스테레오 정보는 상기 서브픽처별 정보로서 상기 파일에 포함되는,
(31) 또는 (32)에 기재된 정보 처리 장치.
(34) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 스테레오 정보는, 상기 ISOBMFF 파일의 Scheme Information Box, 또는 상기 Scheme Information Box의 아랫계층의 Box에 저장되는,
(33)에 기재된 정보 처리 장치.
(35) 상기 파일은, 상기 서브픽처의 표시 사이즈에 관한 정보를 더 포함하는,
(31) 내지 (34) 중 어느 것에 기재된 정보 처리 장치.
(36) 상기 파일은, 상기 서브픽처별 스테레오 표시에 관한 정보인 서브 스테레오 정보를 더 포함하는,
(31) 내지 (35) 중 어느 것에 기재된 정보 처리 장치.
(37) 상기 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
(31) 내지 (36) 중 어느 것에 기재된 정보 처리 장치.
(38) 상기 뷰 정보는, 상기 서브픽처에 포함되는 영역별 정보인,
(37)에 기재된 정보 처리 장치.
(39) 상기 파일은, 상기 뷰 정보가 상기 영역별로 존재하는지를 나타내는 정보를 더 포함하는,
(38)에 기재된 정보 처리 장치.
(40) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 데이터를 각 트랙에 저장하고, 상기 픽처 전체의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 스테레오 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(41) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(42) 상기 픽처는 전천구 영상인,
(41)에 기재된 정보 처리 장치.
(43) 상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 제어 파일에 포함되는,
(41) 또는 (42)에 기재된 정보 처리 장치.
(44) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
상기 영역에 관한 정보는, 상기 MPD 파일의 Supplemental Property 또는 Essential Property로 정의되는,
(43)에 기재된 정보 처리 장치.
(45) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
상기 영역에 관한 정보는 상기 MPD 파일의 Content coverage descriptor에 정의되는,
(43)에 기재된 정보 처리 장치.
(46) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
정보 처리 방법.
(51) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(52) 상기 픽처는 전천구 영상인,
(51)에 기재된 정보 처리 장치.
(53) 상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 제어 파일에 포함되는,
(51) 또는 (52)에 기재된 정보 처리 장치.
(54) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
상기 영역에 관한 정보는, 상기 MPD 파일의 Supplemental Property 또는 Essential Property로 정의되는,
(53)에 기재된 정보 처리 장치.
(55) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
상기 영역에 관한 정보는 상기 MPD 파일의 Content coverage descriptor에 정의되는,
(53)에 기재된 정보 처리 장치.
(56) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 픽처 전체에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고,
취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(61) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 상기 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(62) 상기 픽처는 전천구 영상인,
(61)에 기재된 정보 처리 장치.
(63) 상기 제어 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
(61) 또는 (62)에 기재된 정보 처리 장치.
(64) 상기 뷰 정보는, 상기 서브픽처에 포함되는 영역별 정보인,
(63)에 기재된 정보 처리 장치.
(65) 상기 제어 파일은, 상기 뷰 정보가 상기 영역별로 존재하는지를 나타내는 정보를 더 포함하는,
(63) 또는 (64)에 기재된 정보 처리 장치.
(66) 상기 제어 파일은, 어댑테이션 세트가 스테레오 표시 가능한지 여부를 나타내는 정보를 더 포함하는,
(63) 내지 (65) 중 어느 것에 기재된 정보 처리 장치.
(67) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 상기 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
정보 처리 방법.
(71) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 상기 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 스테레오 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(72) 상기 픽처는 전천구 영상인,
(71)에 기재된 정보 처리 장치.
(73) 상기 제어 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
(71) 또는 (72)에 기재된 정보 처리 장치.
(74) 상기 뷰 정보는, 상기 서브픽처에 포함되는 영역별 정보인,
(73)에 기재된 정보 처리 장치.
(75) 상기 제어 파일은, 상기 뷰 정보가 상기 영역별로 존재하는지를 나타내는 정보를 더 포함하는,
(73) 또는 (74)에 기재된 정보 처리 장치.
(76) 상기 제어 파일은, 어댑테이션 세트가 스테레오 표시 가능한지 여부를 나타내는 정보를 더 포함하는,
(73) 내지 (75) 중 어느 것에 기재된 정보 처리 장치.
(77) 픽처 전체가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 어댑테이션 세트별로 관리하고, 상기 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고,
취득된 상기 제어 파일에 포함되는 상기 스테레오 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
100: 파일 생성 장치
101: 제어부
102: 메모리
103: 파일 생성부
111: 데이터 입력부
112: 데이터 부호화·생성부
113: MPD 파일 생성부
114: 기록부
115: 업로드부
121: 전처리부
122: 인코드부
123: 세그먼트 파일 생성부
200: 클라이언트 장치
201: 제어부
202: 메모리
203: 재생 처리부
211: 계측부
212: MPD 파일 취득부
213: MPD 파일 처리부
214: 세그먼트 파일 취득부
215: 표시 제어부
216: 데이터 해석·복호부
217: 표시부
221: 세그먼트 파일 처리부
222: 디코드부
223: 표시 정보 생성부
900: 컴퓨터

Claims (20)

  1. 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 전체 픽처는 전천구 영상인,
    정보 처리 장치.
  3. 제1항에 있어서,
    상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 제어 파일에 포함되는,
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
    상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
    상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
    상기 영역에 관한 정보는, 상기 MPD 파일의 Supplemental Property 또는 Essential Property로 정의되는,
    정보 처리 장치.
  5. 제1항에 있어서,
    상기 제어 파일은, 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 더 포함하는,
    정보 처리 장치.
  6. 제5항에 있어서,
    상기 전체 픽처는 전천구 영상인
    정보 처리 장치.
  7. 제1항에 있어서,
    상기 제어 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
    정보 처리 장치.
  8. 제7항에 있어서,
    상기 뷰 정보는, 상기 서브픽처에 포함되는 영역별 정보인,
    정보 처리 장치.
  9. 제8항에 있어서,
    상기 제어 파일은, 상기 뷰 정보가 상기 영역별로 존재하는지를 나타내는 정보를 더 포함하는,
    정보 처리 장치.
  10. 제7항 중 어느 한 항에 있어서,
    상기 제어 파일은, 어댑테이션 세트가 스테레오 표시 가능한지 여부를 나타내는 정보를 더 포함하는,
    정보 처리 장치.
  11. 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
    정보 처리 방법.
  12. 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와,
    상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
    를 구비하는, 정보 처리 장치.
  13. 제12항에 있어서,
    상기 전체 픽처는 전천구 영상인,
    정보 처리 장치.
  14. 제12항에 있어서,
    상기 영역에 관한 정보는 상기 서브픽처별 정보로서 상기 제어 파일에 포함되는,
    정보 처리 장치.
  15. 제14항에 있어서,
    상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
    상기 서브픽처별 화상 부호화 데이터는 어댑테이션 세트별로 관리되고,
    상기 픽처 영역별 배치 정보는 Region-wise packing descripitor에 저장되고,
    상기 영역에 관한 정보는, 상기 MPD 파일의 Supplemental Property 또는 Essential Property로 정의되는,
    정보 처리 장치.
  16. 제12항에 있어서,
    상기 제어 파일은, 어댑테이션 세트의 스테레오 표시에 관한 정보인 스테레오 정보를 더 포함하는,
    정보 처리 장치.
  17. 제16항에 있어서,
    상기 전체 픽처는 전천구 영상인,
    정보 처리 장치.
  18. 제12항에 있어서,
    상기 제어 파일은, 상기 서브픽처의 뷰 타입을 나타내는 뷰 정보를 더 포함하는,
    정보 처리 장치.
  19. 제18항 중 어느 한 항에 있어서,
    상기 제어 파일은, 어댑테이션 세트가 스테레오 표시 가능한지 여부를 나타내는 정보를 더 포함하는,
    정보 처리 장치.
  20. 전체 픽처가 복수의 서브픽처로 분할되어 부호화된 서브픽처별 화상 부호화 데이터를 관리하고, 상기 서브픽처에 대응하는 전체 픽처에 있어서의 영역에 관한 정보를, 픽처 영역별 배치 정보와는 다른 정보로서 포함하는, 상기 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고,
    취득된 상기 제어 파일에 포함되는 상기 영역에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
    정보 처리 방법.
KR1020207018530A 2018-01-12 2018-12-28 정보 처리 장치 및 방법 KR20200107945A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018003796 2018-01-12
JPJP-P-2018-003796 2018-01-12
JP2018127665 2018-07-04
JPJP-P-2018-127665 2018-07-04
PCT/JP2018/048424 WO2019138929A1 (ja) 2018-01-12 2018-12-28 情報処理装置および方法

Publications (1)

Publication Number Publication Date
KR20200107945A true KR20200107945A (ko) 2020-09-16

Family

ID=67218624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018530A KR20200107945A (ko) 2018-01-12 2018-12-28 정보 처리 장치 및 방법

Country Status (11)

Country Link
US (2) US20210084282A1 (ko)
EP (1) EP3734982A4 (ko)
JP (2) JP7396047B2 (ko)
KR (1) KR20200107945A (ko)
CN (1) CN111567057B (ko)
BR (1) BR112020013705A2 (ko)
MX (1) MX2020007074A (ko)
RU (1) RU2020122086A (ko)
SG (1) SG11202005090TA (ko)
TW (1) TW201937937A (ko)
WO (1) WO2019138929A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7472292B2 (ja) * 2019-12-31 2024-04-22 ノキア テクノロジーズ オサケユイチア ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
JPWO2022210661A1 (ko) * 2021-03-30 2022-10-06

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266737B2 (ja) * 2003-07-31 2009-05-20 キヤノン株式会社 画像処理方法および装置
JP2006107163A (ja) * 2004-10-06 2006-04-20 Konica Minolta Photo Imaging Inc 受付端末及びファイル編集プログラム並びに注文処理方法
JP4993578B2 (ja) * 2007-01-15 2012-08-08 オリンパスイメージング株式会社 画像ファイル再生装置，画像ファイル加工編集装置
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
WO2010038365A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 3d映像に係る記録媒体、再生装置、システムlsi、再生方法、眼鏡、表示装置
JP5089658B2 (ja) * 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
JP5144789B2 (ja) * 2011-06-24 2013-02-13 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
CN104113632B (zh) * 2013-04-22 2016-12-28 联想(北京)有限公司 一种信息处理方法及电子设备
RU2671946C2 (ru) * 2013-07-19 2018-11-08 Сони Корпорейшн Устройство и способ обработки информации
CN106464943B (zh) * 2014-06-30 2020-09-11 索尼公司 信息处理装置和方法
US20190141311A1 (en) * 2016-04-26 2019-05-09 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, apparatus for receiving 360-degree video
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
GB202108749D0 (en) 2016-05-23 2021-08-04 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
US10547879B2 (en) 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
WO2018169176A1 (ko) 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US10523913B2 (en) * 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
GB2567624B (en) 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
CN110612723B (zh) 2017-10-24 2022-04-29 Lg电子株式会社 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
WO2020009344A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
WO2020050577A1 (ko) * 2018-09-07 2020-03-12 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Information technology. Dynamic adaptive streaming over HTTP (DASH). Part 1: Media presentation description and segment formats AMENDMENT2: Spatial relationship description, generalized URL parameters and other extensions", ISO/IEC 23009-1: 2014/Amd 2:2015, 2015/07
"Information technology. Dynamic adaptive streaming over HTTP (DASH). Part 1: Media presentation description and segment formats", ISO/IEC23009-1, 2014/05
"Information technology-Coding of audio-visual objects-Part 12: ISO base media file format", ISO/IEC 14496-12, 2005-10-01
Ye-Kui Wang, Youngkwon Lim, "MPEG#120 OMAF meeting agenda and minutes", ISO/IEC JTC1/SC29/WG11 MPEG2017/M41823, October 2017, Macau, China

Also Published As

Publication number Publication date
US11729366B2 (en) 2023-08-15
EP3734982A4 (en) 2020-11-25
US20210084282A1 (en) 2021-03-18
CN111567057B (zh) 2022-11-04
BR112020013705A2 (pt) 2020-12-01
EP3734982A1 (en) 2020-11-04
US20220224874A1 (en) 2022-07-14
JPWO2019138929A1 (ja) 2021-01-21
MX2020007074A (es) 2020-09-09
TW201937937A (zh) 2019-09-16
RU2020122086A (ru) 2022-01-04
JP7396047B2 (ja) 2023-12-12
WO2019138929A1 (ja) 2019-07-18
CN111567057A (zh) 2020-08-21
JP2024003189A (ja) 2024-01-11
SG11202005090TA (en) 2020-06-29

Similar Documents

Publication Publication Date Title
US10991066B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
JP6960528B2 (ja) メディアコンテンツを生成および処理するための方法、装置、およびコンピュータプログラム
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
EP3451675A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, apparatus for receiving 360-degree video
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
JP2024003189A (ja) 情報処理装置および方法
CN111919452A (zh) 用于发送信号通知相机参数信息的系统和方法
KR20200107948A (ko) 정보 처리 장치 및 방법
JP2019125865A (ja) 情報処理装置および方法
KR20200108420A (ko) 정보 처리 장치 및 방법
CN116781913A (zh) 点云媒体的编解码方法及相关产品