KR20200108420A - 정보 처리 장치 및 방법 - Google Patents

정보 처리 장치 및 방법 Download PDF

Info

Publication number
KR20200108420A
KR20200108420A KR1020207018879A KR20207018879A KR20200108420A KR 20200108420 A KR20200108420 A KR 20200108420A KR 1020207018879 A KR1020207018879 A KR 1020207018879A KR 20207018879 A KR20207018879 A KR 20207018879A KR 20200108420 A KR20200108420 A KR 20200108420A
Authority
KR
South Korea
Prior art keywords
projection
information
image
file
dimensional structure
Prior art date
Application number
KR1020207018879A
Other languages
English (en)
Inventor
료헤이 다카하시
미츠히로 히라바야시
노부아키 이즈미
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200108420A publication Critical patent/KR20200108420A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성한다. 본 개시는, 예를 들어 정보 처리 장치, 화상 처리 장치, 화상 부호화 장치, 파일 생성 장치, 파일 송신 장치, 배신 장치, 파일 수신 장치, 화상 복호 장치 또는 재생 장치 등에 적용할 수 있다.

Description

정보 처리 장치 및 방법
본 개시는 정보 처리 장치 및 방법에 관한 것이며, 특히 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.
종래, HTTP(Hypertext Transfer Protocol) 프로토콜에 의한 어댑티브한 콘텐츠 배신 기술의 표준화 규격으로서 MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 있다(예를 들어 비특허문헌 1 참조).
또한 이 MPEG-DASH의 파일 포맷으로서, 동화상 압축의 국제 표준 기술 「MPEG-4(Moving Picture Experts Group-4)」의 파일 컨테이너 사양인 ISOBMFF(International Organization for Standardization Base Media File Format)가 있다(예를 들어 비특허문헌 2 참조).
그런데, 소위 전천구 영상과 같이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 입체 구조에 투영한 화상인 입체 구조 화상을 평면 화상에 매핑한 전천구 화상(투영 평면 화상이라고도 칭함)이 있으며, 근년, 이 입체 구조 화상의 배신에 MPEG-DASH를 이용하는 것을 생각할 수 있다. 예를 들어 입체 구조 화상을 단수의 평면에 매핑하여, 그 입체 구조 화상이 평면에 매핑된 투영 평면 화상으로서 배신함으로써, MPEG-DASH를 적용할 수 있다(예를 들어 비특허문헌 3 참조).
비특허문헌 3에 기재된 MPEG-I Part2 Omnidirectional Media Format (ISO/IEC 23090-2) FDIS(Final Draft International Standards)(이하, OMAF라고도 칭함)에서는, 이 투영 방법(프로젝션 포맷(projection format)이라고도 칭함)으로서 ERP(Equirectangular projection(정거 원통))와 CMP(Cubemap projection(큐브맵))의 2가지가 채용되어 있다.
그러나 이들 투영 방법은, 화질을 향상시키는 구성을 특별히 갖고 있지 않아서, 화질면에서 우수한 projection format이라고는 할 수 없다. 예를 들어 근년, 전천구 영상의 배신에 있어서, 대역폭을 유효 활용하여 유저 체험을 최적화할 수 있도록 전천구 영상 중의 특정 방향의 고화질화(뷰포인트 디스펜트(viewport dependent)한 고화질화라고도 칭함)를 행하는 것을 생각할 수 있다. 그러나 이들 projection format은 viewport dependent한 고화질화에 비대응이다.
그 때문에, 고화질화를 행하고자 하면, 모든 투영 평면 화상을 고화질화해야만 하여 대역폭을 압박해 버릴 우려가 있었다. 또한 대역폭을 유효 활용하여 유저 체험을 최적화하도록 부호화 효율의 저감을 억제하면서 고화질화를 도모하는 경우, 상술한 바와 같은 viewport dependent한 특성을 갖는 새로운 projection format을 채용할 필요가 있다. 그러나 그로 인해서는, 오소링 워크플로우나 클라이언트 실장에 대한 영향이 매우 큰 것으로 되어 버릴 우려가 있었다. 그 때문에, 시장 도입의 허들이 높아서 실현이 곤란해질 우려가 있었다.
본 개시는 이와 같은 상황을 감안하여 이루어진 것이며, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있도록 하는 것이다.
본 기술의 일 측면의 정보 처리 장치는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.
본 기술의 일 측면의 정보 처리 방법은, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하는 정보 처리 방법이다.
본 기술의 또 다른 측면의 정보 처리 장치는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.
본 기술의 또 다른 측면의 정보 처리 방법은, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하는 정보 처리 방법이다.
본 기술의 또 다른 측면의 정보 처리 장치는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.
본 기술의 또 다른 측면의 정보 처리 방법은, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하는 정보 처리 방법이다.
본 기술의 또 다른 측면의 정보 처리 장치는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.
본 기술의 또 다른 측면의 정보 처리 방법은, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 정보 처리 방법이다.
본 기술의 또 다른 측면의 정보 처리 장치는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부를 구비하는 정보 처리 장치이다.
본 기술의 또 다른 측면의 정보 처리 방법은, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 정보 처리 방법이다.
본 기술의 일 측면의 정보 처리 장치 및 방법에 있어서는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일이 생성된다.
본 기술의 다른 측면의 정보 처리 장치 및 방법에 있어서는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일이 생성된다.
본 기술의 또 다른 측면의 정보 처리 장치 및 방법에 있어서는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 그 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일이 생성된다.
본 기술의 또 다른 측면의 정보 처리 장치 및 방법에 있어서는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 입체 구조 화상이 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일이 생성된다.
본 기술의 또 다른 측면의 정보 처리 장치 및 방법에 있어서는, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 입체 구조 화상이 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 그 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일이 생성된다.
본 개시에 따르면 정보를 처리할 수 있다. 특히 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
도 1은 projection format의 예를 나타내는 도면이다.
도 2는 프로젝션 확장의 예를 나타내는 도면이다.
도 3은 편심 구면 매핑의 모습의 예를 나타내는 도면이다.
도 4는 파일 생성 장치의 주된 구성예를 나타내는 블록도이다.
도 5는 클라이언트 장치의 주된 구성예를 나타내는 블록도이다.
도 6은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 7은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 8은 ISOBMFF의 Box 계층 구조의 예를 나타내는 도면이다.
도 9는 Projected Omnidirectional Video Box의 신택스의 예를 나타내는 도면이다.
도 10은 Projection Enhancement Box의 신택스의 예를 나타내는 도면이다.
도 11은 enhancement_type의 시맨틱스의 예를 나타내는 도면이다.
도 12는 Projection Format Box의 신택스의 예를 나타내는 도면이다.
도 13은 Projection Format Struct의 신택스의 예를 나타내는 도면이다.
도 14는 projection_type의 시맨틱스의 예를 나타내는 도면이다.
도 15는 enhancement_type의 시맨틱스의 예를 나타내는 도면이다.
도 16은 projection_type의 시맨틱스의 예를 나타내는 도면이다.
도 17은 enhancement_type의 시맨틱스의 예를 나타내는 도면이다.
도 18은 Projected Omnidirectional Video Box의 신택스의 예를 나타내는 도면이다.
도 19는 Offset Spherical Projection Box의 신택스의 예를 나타내는 도면이다.
도 20은 Projection Format Struct의 신택스의 예를 나타내는 도면이다.
도 21은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 22는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 23은 Projection enhancement descriptor의 속성값의 예를 나타내는 도면이다.
도 24는 데이터 타입의 예를 나타내는 도면이다.
도 25는 EssentialProperty의 예를 나타내는 도면이다.
도 26은 Projection format descriptor의 속성값의 예를 나타내는 도면이다.
도 27은 Projection enhancement descriptor의 속성값의 예를 나타내는 도면이다.
도 28은 Projection format descriptor의 속성값의 예를 나타내는 도면이다.
도 29는 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 30은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 31은 Projection_Enhancement_Box의 신택스의 예를 나타내는 도면이다.
도 32는 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 33은 Spherical offset projection SEI message의 신택스의 예를 나타내는 도면이다.
도 34는 Spherical offset projection SEI message의 필드의 시맨틱스의 예를 나타내는 도면이다.
도 35는 Offset Sample Entry의 신택스의 예를 나타내는 도면이다.
도 36은 Offset Sample의 신택스의 예를 나타내는 도면이다.
도 37은 Sample Table Box의 예를 나타내는 도면이다.
도 38은 Offset Spherical Projection Sample Group Entry의 신택스의 예를 나타내는 도면이다.
도 39는 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 40은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 41은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 42는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 43은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 44는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 45는 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 46은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 47은 Quality ranking 영역의 예를 나타내는 도면이다.
도 48은 Sphere Region Quality Ranking Box의 신택스의 예를 나타내는 도면이다.
도 49는 2D Region Quality Ranking Box의 신택스의 예를 나타내는 도면이다.
도 50은 Quality ranking 영역의 예를 나타내는 도면이다.
도 51은 Sphere Region Quality Ranking Box의 신택스의 예를 나타내는 도면이다.
도 52는 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 53은 Quality ranking 영역의 예를 나타내는 도면이다.
도 54는 Sphere Region Quality Ranking Box의 신택스의 예를 나타내는 도면이다.
도 55는 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 56은 Quality ranking 영역의 예를 나타내는 도면이다.
도 57은 Sphere Region Quality Ranking Box의 신택스의 예를 나타내는 도면이다.
도 58은 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 59는 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 60은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 61은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 62는 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 63은 Projected Omnidirectional Video Box의 신택스의 예를 나타내는 도면이다.
도 64는 Quality Emphasized Viewport Information Box의 신택스의 예를 나타내는 도면이다.
도 65는 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 66은 업로드 처리의 흐름의 예를 설명하는 흐름도이다.
도 67은 콘텐츠 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 68은 Quality emphasized viewport info descriptor의 속성값의 예를 나타내는 도면이다.
도 69는 데이터 타입의 예를 나타내는 도면이다.
도 70은 Projection Enhancement Box의 신택스의 예를 나타내는 도면이다.
도 71은 Recommended viewport information Box의 신택스의 예를 나타내는 도면이다.
도 72는 추가된 필드의 시맨틱스의 예를 나타내는 도면이다.
도 73은 전천구 영상의 Track과 recommended viewport timed metadata의 Track의 연관짓기의 모습의 예를 나타내는 도면이다.
도 74는 Recommended viewport information descriptor의 속성값의 예를 나타내는 도면이다.
도 75는 데이터 타입의 예를 나타내는 도면이다.
도 76은 MPD의 신택스의 예를 나타내는 도면이다.
도 77은 Projection Enhancement Box의 신택스의 예를 나타내는 도면이다.
도 78은 컴퓨터의 주된 구성예를 나타내는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라 함)에 대하여 설명한다. 또한 설명은 이하의 순서로 행한다.
1. 프로젝션 확장에 관한 정보의 시그널
2. 제1 실시 형태(ISOBMFF의 확장)
3. 제2 실시 형태(MPD의 확장)
4. 제3 실시 형태(편심 구면 매핑 스트림 배신)
5. 부기
<1. 프로젝션 확장에 관한 정보의 시그널>
<기술 내용·기술 용어를 서포트하는 문헌 등>
본 기술에서 개시되는 범위는, 실시 형태에 기재되어 있는 내용뿐 아니라, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.
비특허문헌 1: (상술)
비특허문헌 2: (상술)
비특허문헌 3: (상술)
즉, 상술한 비특허문헌에 기재되어 있는 내용도, 서포트 요건을 판단할 때의 근거로 된다. 예를 들어 파스(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 실시 형태에 있어서 직접적인 기재가 없는 경우에도 본 기술의 개시 범위 내이며 청구의 범위의 서포트 요건을 만족시키는 것으로 한다.
<MPEG-DASH>
종래, 예를 들어 비특허문헌 1에 기재된 바와 같이, HTTP(Hypertext Transfer Protocol) 프로토콜에 의한 어댑티브한 콘텐츠 배신 기술의 표준화 규격으로서 MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 있다.
이 MPEG-DASH에 의하여, 예를 들어 웹 사이트로부터 인터넷의 웹 페이지를 다운로드하는 경우와 마찬가지의 통신 프로토콜인 HTTP을 이용하여, 네트워크 대역의 변동에 따른 최적의 비트 레이트로의 비디오 재생을 실현할 수 있다.
이 표준 규격에 의하여, 동화상 배신 서비스를 위한 인프라나 동화상 재생 클라이언트에 적합한 기술 개발을 보다 용이하게 할 수 있다. 특히 배신 서비스를 취급하는 사업자의 입장에서는, 동화상 배신 서비스와 동화상 재생 클라이언트 사이의 호환성이 향상되는 것 외에, 기존의 콘텐츠 자산을 활용하기 쉽다는 이점이 있어서, 시장의 성장을 촉진하는 효과가 기대된다.
MPEG-DASH는 주로 2개의 기술 기획으로 구성되어 있다. 동화상이나 음성 파일을 관리하는 메타데이터를 기술한 MPD(Media Presentation Description)라 칭하는 매니페스트 파일 사양을 정한 규격과, 실제로 동화상 콘텐츠를 전달하기 위한 세그먼트 포맷(segment format)이라 칭하는 파일 포맷의 운용 규격이다.
이 파일 포맷으로서, 예를 들어 비특허문헌 2에 기재된 바와 같이, 동화상 압축의 국제 표준 기술 「MPEG-4(Moving Picture Experts Group-4)」의 파일 컨테이너 사양인 ISOBMFF(International Organization for Standardization Base Media File Format)가 있다. ISOBMFF에는, MPEG-DASH의 요건을 만족시키기 위한 기능 확장이 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) 14496-12의 확장 사양으로서 추가되었다.
<MPEG-DASH를 이용한 전천구 영상의 배신>
그런데, 이른바 전천구 영상과 같이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 입체 구조에 투영된 화상인 입체 구조 화상이 있다. 예를 들어 시점에서 본 주변의 화상을, 그 시점을 중심으로 하는 입체 구조로 렌더링하여 입체 구조 화상으로 함으로써, 시점의 주변 화상을 보다 자연스럽게 표현하거나, 그 입체 구조 화상으로부터 원하는 시선 방향의 화상을 용이하게 생성하거나 할 수 있다.
근년, 이 입체 구조 화상의 배신에 MPEG-DASH를 이용하는 것을 생각할 수 있다. 예를 들어 비특허문헌 3에 기재된 바와 같이, 입체 구조 화상을 단수의 평면에 매핑하여, 그 입체 구조 화상이 평면에 매핑된 투영 평면 화상으로서 배신함으로써 MPEG-DASH를 적용할 수 있다.
비특허문헌 3에 기재된 MPEG-I Part2 Omnidirectional Media Format (ISO/IEC 23090-2) FDIS(Final Draft International Standards)(이하, OMAF라고도 칭함)에서는, 이 투영 방법(프로젝션 포맷(projection format)이라고도 칭함)으로서 ERP(Equirectangular projection(정거 원통))와 CMP(Cubemap projection(큐브맵))의 2개가 채용되어 있다.
도 1의 상측에 나타나는 ERP의 경우, 좌측에 나타낸 바와 같은 구 형상의 입체 구조에 투영된 입체 구조 화상이, 우측에 나타낸 바와 같은 단수의 평면에, 입체 구조 화상의 위도 방향과 경도 방향이 직교하도록 매핑된다.
도 1의 하측에 나타나는 CMP의 경우, 좌측에 나타낸 바와 같은 입방체에 투영된 입체 구조 화상의 각 면이 전개되어, 우측에 나타낸 바와 같은 단수의 평면에 소정의 순으로 나열되도록 매핑된다.
이와 같이 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 투영·매핑된 투영 평면 화상을 프로젝티드 픽처(projected picture)라고도 칭한다. 즉, projected picture란, projection format별로 정해지는, 전천구 영상을 표현하는 2차원 화상(2차원 picture)이다.
<전천구 영상 배신에 있어서의 viewport dependent한 고화질화>
이와 같은 ERP나 CMP는 모두 시장에서 널리 서포트되고 있다. 단, 이들 투영 방법은, 화질을 향상시키는 구성을 특별히 갖고 있지 않아서, 화질면에서 우수한 projection format이라고는 할 수 없다. 예를 들어 근년, 전천구 영상의 배신에 있어서, 대역폭을 유효 활용하여 유저 체험을 최적화할 수 있도록 전천구 영상 중의 특정 방향의 고화질화(뷰포인트 디스펜트(viewport dependent)한 고화질화라고도 칭함)를 행하는 것을 생각할 수 있다. 그러나 이들 projection format은 viewport dependent한 고화질화에 비대응이다.
그 때문에, 대역폭을 유효 활용하여 유저 체험을 최적화하도록 부호화 효율의 저감을 억제하면서 고화질화를 도모하는 경우, 상술한 바와 같은 viewport dependent한 특성을 갖는 새로운 projection format을 채용할 필요가 있다. 그러나 그로 인해서는 오소링 워크플로우나 클라이언트 실장에 대한 영향이 매우 큰 것으로 되어 버릴 우려가 있었다. 그 때문에, 시장 도입의 허들이 높아서 실현이 곤란해질 우려가 있었다.
<프로젝션 확장에 관한 정보의 제공>
그래서, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 시그널하도록(콘텐츠의 재생측에 제공하도록) 한다.
이와 같이 함으로써, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 따라서 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<프로젝션 확장 타입>
다음에, 투영 방법(projection format)의 확장 방법인 프로젝션 확장의 타입의 예에 대하여 설명한다. 프로젝션 확장의 타입으로서, 예를 들어 EAC(Equi-Angular Cubemap)가 있다. EAC는, 도 2에 나타난 바와 같이, 큐브면으로의 투영 시의 화소 배치를 등각도로 하는 매핑 방법이다. 이와 같이 함으로써 표시 시의 구면 상에 있어서 화소 배치가 등간격으로 되기 때문에, 투영면 상에서 화소 배치가 등간격으로 되는 CMP에 비해 시야 변경 시의 화질 변화가 매끄러워진다는 장점이 있다. EAC는, CMP에 적용되는 프로젝션 확장이다.
또한, 예를 들어 프로젝션 확장의 타입으로서 편심 구면 매핑이 있다. 편심 구면 매핑은, 도 3에 나타난 바와 같이 프로젝션 구조를 정규화하여 구면으로 하고, 어긋난 위치로부터 구면 화소를 보았을 때의 불균일한 화소 배치를 적용하는 매핑 방법이다. 이와 같이 함으로써 viewport dependent한 고화질화를 실현할 수 있다. 편심 구면 매핑은 ERP와 CMP 중 어느 것에도 적용 가능하다. 또한 편심 구면 매핑은 EAC에도 적용 가능하고, 그 외의 projection format에 대한 적용도 가능하다.
<프로젝션 확장에 관한 정보>
다음에, 시그널할(파일에 포함시켜 클라이언트에 제공할) 프로젝션 확장에 관한 정보의 예에 대하여 설명한다. 상술한 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용된 스트림(이하에 있어서, 프로젝션 확장 스트림이라고도 칭함)을 클라이언트가 올바르게 처리하기 위하여 유용한 정보라면 어떠한 정보여도 된다. 예를 들어 프로젝션 확장에 관한 정보로서 이하와 같은 정보를 시그널하도록 해도 된다.
(A) 프로젝션 확장이 적용되어 있는지 여부
(B) 적용되어 있다면 어느 확장 방법이 적용되어 있는지 여부
(C) 프로젝션 확장이 이루어진 스트림을 클라이언트가 올바르게 렌더링하기 위한 정보
정보 (A)를 시그널함으로써, 콘텐츠의 재생측에 있어서, 그 시그널된 정보 (A)에 기초하여, 스트림에 프로젝션 확장이 적용되어 있는지 여부를 용이하게 파악할 수 있다. 따라서 콘텐츠의 재생측에 있어서, 자신의 프로젝션 확장에 관한 능력(capability)에 따른 스트림의 선택, 즉, 프로젝션 확장의 적용의 유무의 선택을 행할 수 있다.
또한 정보 (B)를 시그널함으로써, 콘텐츠의 재생측에 있어서, 그 시그널된 정보 (B)에 기초하여, 스트림에 적용된 프로젝션 확장의 타입을 용이하게 파악할 수 있다. 따라서 콘텐츠의 재생측에 있어서, 자신의 프로젝션 확장에 관한 능력(capability)에 따른 스트림의 선택, 즉, 프로젝션 확장의 타입의 선택을 행할 수 있다.
또한 정보 (C)를 시그널함으로써, 콘텐츠의 재생측에 있어서, 그 시그널된 정보 (B)에 기초하여, 프로젝션 확장이 적용된 스트림의 화상의 렌더링에 필요한 정보를 용이하게 파악할 수 있다. 따라서 콘텐츠의 재생측에 있어서, 자신의 프로젝션 확장에 관한 능력(capability)에 따른 스트림의 선택, 즉, 프로젝션 확장에 수반하는 처리 내용의 선택을 행할 수 있다. 또한 선택한 스트림의 화상의 렌더링을 올바르게 행할 수 있다.
즉, 예를 들어 프로젝션 확장이 적용된 스트림을 처리할 수 있는 클라이언트는, 프로젝션 확장이 적용된 스트림을 선택하고, 처리할 수 없는 클라이언트는, 프로젝션 확장이 미적용된 스트림을 선택할 수 있다. 따라서 클라이언트의 호환성 담보가 가능해진다.
<파일 생성 장치>
다음에, 프로젝션 확장에 관한 시그널을 행하는 장치의 구성에 대하여 설명한다. 도 4는, 본 기술을 적용한 정보 처리 장치의 일 양태인 파일 생성 장치의 구성의 일례를 나타내는 블록도이다. 도 4에 나타나는 파일 생성 장치(100)는, ISOBMFF 파일(세그먼트 파일)이나 MPD 파일을 생성하는 장치이다. 예를 들어 파일 생성 장치(100)는, 비특허문헌 1 내지 비특허문헌 3에 기재되어 있는 기술을 실장하며, MPEG-DASH에 준거한 방법으로, 스트림을 포함하는 ISOBMFF 파일이나, 스트림의 배신 제어에 이용되는 제어 파일인 MPD 파일을 생성하고, 그 파일들을 네트워크를 통하여, 그 파일들을 배신하는 서버에 업로드(송신)한다.
또한 도 4에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 4에 나타나는 것이 전부인 것은 아니다. 즉, 파일 생성 장치(100)에 있어서, 도 4에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 4에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 4에 나타난 바와 같이 파일 생성 장치(100)는 제어부(101), 메모리(102) 및 파일 생성부(103)를 갖는다.
제어부(101)는 파일 생성 장치(100) 전체의 동작을 제어한다. 예를 들어 제어부(101)는 파일 생성부(103)를 제어하여 ISOBMFF 파일이나 MPD 파일을 생성시키거나, 생성된 ISOBMFF 파일이나 MPD 파일을 업로드시키거나 한다. 제어부(101)는 이와 같은 제어에 관한 처리를, 메모리(102)를 이용하여 행한다. 예를 들어 제어부(101)는 원하는 프로그램 등을 메모리(102)에 로드하여 실행함으로써, 상술한 바와 같은 제어에 관한 처리를 행한다.
파일 생성부(103)는 제어부(101)의 제어에 따라 ISOBMFF 파일이나 MPD 파일의 생성이나 업로드(송신)에 관한 처리를 행한다. 도 4에 나타난 바와 같이 파일 생성부(103)는 데이터 입력부(111), 데이터 부호화·생성부(112), MPD 파일 생성부(113), 기록부(114) 및 업로드부(115)를 갖는다.
데이터 입력부(111)는, 데이터 입력의 접수에 관한 처리를 행한다. 예를 들어 데이터 입력부(111)는, 텍스처나 메쉬의 생성에 필요한 화상 등의 데이터나, MPD 파일의 생성에 필요한 메타데이터 등의 입력을 접수한다. 또한 데이터 입력부(111)는, 접수한 데이터를 데이터 부호화·생성부(112)나 MPD 파일 생성부(113)에 공급한다.
데이터 부호화·생성부(112)는, 데이터의 부호화나 파일의 생성에 관한 처리를 행한다. 예를 들어 데이터 부호화·생성부(112)는, 데이터 입력부(111)로부터 공급된 화상 등의 데이터에 기초하여 텍스처나 메쉬 등의 스트림을 생성한다. 또한 데이터 부호화·생성부(112)는, 생성한 스트림을 저장하는 ISOBMFF 파일을 생성한다. 또한 데이터 부호화·생성부(112)는, 생성한 ISOBMFF 파일을 기록부(114)에 공급한다.
도 4에 나타난 바와 같이 데이터 부호화·생성부(112)는 전처리부(121), 인코드부(122) 및 세그먼트 파일 생성부(123)를 갖는다.
전처리부(121)는, 부호화 전의 화상 등의 데이터에 대한 처리를 행한다. 예를 들어 전처리부(121)는, 데이터 입력부(111)로부터 공급된 화상 등의 데이터에 기초하여 텍스처나 메쉬의 스트림을 생성한다. 또한, 예를 들어 전처리부(121)는, 그 생성한 스트림을 인코드부(122)에 공급한다.
인코드부(122)는, 스트림의 부호화에 관한 처리를 행한다. 예를 들어 인코드부(122)는, 전처리부(121)로부터 공급된 스트림을 부호화한다. 또한, 예를 들어 인코드부(122)는, 그 부호화에 의하여 얻어진 부호화 데이터를 세그먼트 파일 생성부(123)에 공급한다.
세그먼트 파일 생성부(123)는, 세그먼트 파일의 생성에 관한 처리를 행한다. 예를 들어 세그먼트 파일 생성부(123)는, 데이터 입력부(111)로부터 공급된 메타데이터 등에 기초하여, 인코드부(122)로부터 공급된 부호화 데이터를 세그먼트 단위로 파일화한다(세그먼트 파일을 생성함). 또한, 예를 들어 세그먼트 파일 생성부(123)는, 세그먼트 파일의 생성에 관한 처리로서, 이상과 같이 생성한 ISOBMFF 파일을 기록부(114)에 공급한다. 예를 들어 세그먼트 파일 생성부(123)는 세그먼트 파일로서 ISOBMFF 파일을 생성하고, 생성한 ISOBMFF 파일을 기록부(114)에 공급한다.
MPD 파일 생성부(113)는, MPD 파일의 생성에 관한 처리를 행한다. 예를 들어 MPD 파일 생성부(113)는, 데이터 입력부(111)로부터 공급된 메타데이터 등에 기초하여 MPD 파일을 생성한다. 또한, 예를 들어 MPD 파일 생성부(113)는, 생성한 MPD 파일을 기록부(114)에 공급한다. 또한 MPD 파일 생성부(113)는, MPD 파일의 생성에 필요한 메타데이터 등을 세그먼트 파일 생성부(123)로부터 취득하도록 해도 된다.
기록부(114)는, 예를 들어 하드 디스크나 반도체 메모리 등의 임의의 기록 매체를 갖고 데이터의 기록 등에 관한 처리를 행한다. 예를 들어 기록부(114)는, MPD 파일 생성부(113)로부터 공급된 MPD 파일을 기록한다. 또한, 예를 들어 기록부(114)는, 세그먼트 파일 생성부(123)로부터 공급된 세그먼트 파일(예를 들어 ISOBMFF 파일)을 기록한다.
업로드부(115)는, 파일의 업로드(송신)에 관한 처리를 행한다. 예를 들어 업로드부(115)는, 기록부(114)에 기록되어 있는 MPD 파일을 판독한다. 또한, 예를 들어 업로드부(115)는, 판독한 MPD 파일을 네트워크 등을 통하여, MPD 파일을 클라이언트 등에 배신하는 서버(도시하지 않음)에 업로드(송신)한다.
또한, 예를 들어 업로드부(115)는, 기록부(114)에 기록되어 있는 세그먼트 파일(예를 들어 ISOBMFF 파일)을 판독한다. 또한, 예를 들어 업로드부(115)는, 판독한 그 세그먼트 파일들을 네트워크 등을 통하여, 세그먼트 파일을 클라이언트 등에 배신하는 서버(도시하지 않음)에 업로드(송신)한다.
즉, 업로드부(115)는, MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 서버에 송신하는 통신부로서 기능한다. 또한 업로드부(115)에 의한 MPD 파일의 송신처와 세그먼트 파일(예를 들어 ISOBMFF 파일)의 송신처는 서로 동일해도 되고 서로 상이해도 된다. 또한 여기서는, 파일 생성 장치(100)가, MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을, 그 파일들을 클라이언트에 배신하는 서버에 업로드하는 장치로서 기능하는 예에 대하여 설명하지만, 파일 생성 장치(100)가 그 서버로서 기능하도록 해도 된다. 그 경우, 파일 생성 장치(100)의 업로드부(115)가 네트워크를 통하여 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 클라이언트에 배신하도록 하면 된다.
<클라이언트 장치>
도 5는, 본 기술을 적용한 정보 처리 장치의 일 양태인 클라이언트 장치의 구성의 일례를 나타내는 블록도이다. 도 5에 나타나는 클라이언트 장치(200)는 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득하고, 그 파일들에 기초하여 콘텐츠를 재생하는 장치이다. 예를 들어 클라이언트 장치(200)는, 비특허문헌 1 내지 비특허문헌 3에 기재되어 있는 기술을 실장하며, MPEG-DASH에 준거한 방법으로 세그먼트 파일을 서버(또는 상술한 파일 생성 장치(100))로부터 취득하고, 그 세그먼트 파일에 포함되는 스트림(콘텐츠)을 재생한다. 그때, 클라이언트 장치(200)는 MPD 파일을 서버(또는 상술한 파일 생성 장치(100))로부터 취득하고, 그 MPD 파일을 이용하여 원하는 세그먼트 파일을 선택하여 서버로부터 취득하도록 해도 된다.
또한 도 5에 있어서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 5에 나타나는 것이 전부인 것은 아니다. 즉, 클라이언트 장치(200)에 있어서, 도 5에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 5에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 5에 나타난 바와 같이 클라이언트 장치(200)는 제어부(201), 메모리(202) 및 재생 처리부(203)를 갖는다.
제어부(201)는 클라이언트 장치(200) 전체의 동작을 제어한다. 예를 들어 제어부(201)는 재생 처리부(203)를 제어하여 서버로부터 MPD 파일이나 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득시키거나, 세그먼트 파일에 포함되는 스트림(콘텐츠)을 재생시키거나 한다. 제어부(201)는 이와 같은 제어에 관한 처리를, 메모리(202)를 이용하여 행한다. 예를 들어 제어부(201)는 원하는 프로그램 등을 메모리(202)에 로드하여 실행함으로써, 상술한 바와 같은 제어에 관한 처리를 행한다.
재생 처리부(203)는 제어부(201)의 제어에 따라, 세그먼트 파일에 포함되는 스트림(콘텐츠)의 재생에 관한 처리를 행한다. 도 5에 나타난 바와 같이 재생 처리부(203)는 계측부(211), MPD 파일 취득부(212), MPD 파일 처리부(213), 세그먼트 파일 취득부(214), 표시 제어부(215), 데이터 해석·복호부(216) 및 표시부(217)를 갖는다.
계측부(211)는, 계측에 관한 처리를 행한다. 예를 들어 계측부(211)는, 클라이언트 장치(200)와 서버 사이의 네트워크의 전송 대역을 계측한다. 또한, 예를 들어 계측부(211)는 그 계측 결과를 MPD 파일 처리부(213)에 공급한다.
MPD 파일 취득부(212)는, MPD 파일의 취득에 관한 처리를 행한다. 예를 들어 MPD 파일 취득부(212)는, 원하는 콘텐츠(재생할 콘텐츠)에 대응하는 MPD 파일을 네트워크를 통하여 서버로부터 취득한다. 또한, 예를 들어 MPD 파일 취득부(212)는, 취득한 MPD 파일을 MPD 파일 처리부(213)에 공급한다.
MPD 파일 처리부(213)는, MPD 파일에 기초하는 처리를 행한다. 예를 들어 MPD 파일 처리부(213)는, MPD 파일 취득부(212)로부터 공급된 MPD 파일에 기초하여, 취득할 스트림을 선택한다. 또한, 예를 들어 MPD 파일 처리부(213)는 그 선택 결과를 세그먼트 파일 취득부(214)에 공급한다. 또한 취득할 스트림의 선택에 있어서는, 계측부(211)로부터 공급된 계측 결과나, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보도 적당히 이용된다.
세그먼트 파일 취득부(214)는, 세그먼트 파일(예를 들어 ISOBMFF 파일)의 취득에 관한 처리를 행한다. 예를 들어 세그먼트 파일 취득부(214)는, 원하는 콘텐츠의 재생에 필요한 스트림이 저장된 세그먼트 파일을 네트워크를 통하여 서버로부터 취득한다. 또한, 예를 들어 세그먼트 파일 취득부(214)는, 취득한 세그먼트 파일을 데이터 해석·복호부(216)에 공급한다.
또한 세그먼트 파일 취득부(214)가 세그먼트 파일(예를 들어 ISOBMFF 파일)을 취득하는 서버는, MPD 파일 취득부(212)가 MPD 파일을 취득하는 서버와 동일해도 되고 상이해도 된다. 또한 세그먼트 파일 취득부(214)가, MPD 파일 처리부(213)로부터 공급되는 스트림의 선택 결과에 기초하여 세그먼트 파일을 취득하도록 해도 된다. 즉, 세그먼트 파일 취득부(214)가, MPD 파일 등에 기초하여 선택된 스트림이 저장된 세그먼트 파일을 서버로부터 취득하도록 해도 된다.
표시 제어부(215)는, 콘텐츠의 재생(표시)의 제어에 관한 처리를 행한다. 예를 들어 표시 제어부(215)는, 콘텐츠를 시청하는 유저의 시점 위치나 시선 방향의 검출 결과를 취득한다. 또한, 예를 들어 표시 제어부(215)는, 그 취득한 검출 결과(유저의 시점 위치나 시선 방향에 관한 정보)를 MPD 파일 처리부(213)나 데이터 해석·복호부(216)에 공급한다.
데이터 해석·복호부(216)는, 데이터의 해석이나 복호 등에 관한 처리를 행한다. 예를 들어 데이터 해석·복호부(216)는, 세그먼트 파일 취득부(214)로부터 공급된 ISOBMFF 파일을 처리하여 콘텐츠의 표시용 화상을 생성한다. 또한 데이터 해석·복호부(216)는 그 표시용 화상의 데이터를 표시부(217)에 공급한다.
도 5에 나타난 바와 같이 데이터 해석·복호부(216)는 세그먼트 파일 처리부(221), 디코드부(222) 및 표시 정보 생성부(223)를 갖는다.
세그먼트 파일 처리부(221)는, 세그먼트 파일(예를 들어 ISOBMFF 파일)에 대한 처리를 행한다. 예를 들어 세그먼트 파일 처리부(221)는, 세그먼트 파일 취득부(214)로부터 공급된 ISOBMFF 파일로부터 원하는 스트림의 부호화 데이터를 추출한다. 또한, 예를 들어 세그먼트 파일 처리부(221)는, 추출한 부호화 데이터를 디코드부(222)에 공급한다.
또한 세그먼트 파일 처리부(221)가, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보나 계측부(211)에 있어서 계측된 전송 대역 등에 기초하여 스트림을 선택하고, 그 스트림의 부호화 데이터를 세그먼트 파일로부터 추출하도록 해도 된다.
디코드부(222)는, 복호에 관한 처리를 행한다. 예를 들어 디코드부(222)는, 세그먼트 파일 처리부(221)로부터 공급된 부호화 데이터를 복호한다. 또한, 예를 들어 디코드부(222)는, 그 복호에 의하여 얻어진 스트림을 표시 정보 생성부(223)에 공급한다.
표시 정보 생성부(223)는, 표시용 화상의 데이터 생성에 관한 처리를 행한다. 예를 들어 표시 정보 생성부(223)는, 표시 제어부(215)로부터 공급된 유저의 시점 위치나 시선 방향에 관한 정보와, 디코드부(222)로부터 공급된 스트림에 기초하여, 유저의 시점 위치나 시선 방향에 따른 표시용 화상의 데이터를 생성한다. 또한, 예를 들어 표시 정보 생성부(223)는, 생성된 표시용 화상의 데이터를 표시부(217)에 공급한다.
표시부(217)는, 예를 들어 액정 표시 패널 등을 이용한 디스플레이나 프로젝터 등의 임의의 표시 디바이스를 가지며, 그 표시 디바이스를 이용한 화상 표시에 관한 처리를 행한다. 예를 들어 표시부(217)는, 표시 정보 생성부(223)로부터 공급된 데이터에 기초하여 화상 표시 등의 콘텐츠 재생을 행한다.
<2. 제1 실시 형태>
<ISOBMFF에 의한 프로젝션 확장에 관한 정보의 시그널>
상술한 프로젝션 확장에 관한 정보의 시그널을, 세그먼트 파일인 ISOBMFF 파일에 있어서 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 생성부(123)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 세그먼트 파일 생성부(123))를 구비하도록 해도 된다.
또한 ISOBMFF 파일에 있어서는, 스트림은 트랙(track)으로서 관리된다. 즉, ISOBMFF 파일을 이용하는 경우, 트랙을 선택함으로써 스트림의 선택이 행해진다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 6의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S101에 있어서, 화상과 메타데이터를 취득한다.
스텝 S102에 있어서, 세그먼트 파일 생성부(123)는, 프로젝션 확장에 관한 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S103에 있어서, 기록부(114)는, 스텝 S102의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S104에 있어서, 업로드부(115)는, 스텝 S103에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S104의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장에 관한 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는, 그 프로젝션 확장에 관한 정보에 기초하여, 자신의 능력(capability)에 따른 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 예를 들어 프로젝션 확장이 적용된 스트림을 처리할 수 있는 클라이언트는, 프로젝션 확장이 적용된 스트림을 선택하고, 처리할 수 없는 클라이언트는, 프로젝션 확장이 미적용된 스트림을 선택할 수 있다. 따라서 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<ISOBMFF로 시그널된 프로젝션 확장에 관한 정보의 이용>
또한 ISOBMFF 파일에 시그널된 프로젝션 확장에 관한 정보를 이용하여 스트림의 선택이나 렌더링을 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고, 그 취득된 파일에 포함되는 그 프로젝션 확장에 관한 정보에 기초하여 그 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, 세그먼트 파일 취득부(214)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 파일 취득부에 의하여 취득된 파일에 포함되는 그 프로젝션 확장에 관한 정보에 기초하여, 그 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 세그먼트 파일 취득부(214))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 7의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S121에 있어서, 프로젝션 확장에 관한 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S122에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S123에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S124에 있어서, 세그먼트 파일 처리부(221)는, 그 클라이언트 장치(200)가 대응하고 있는 프로젝션 포맷(projection format)을 사용하고 있는 트랙(track)을 선택 후보로 한다.
스텝 S125에 있어서, 세그먼트 파일 처리부(221)는, 그 클라이언트 장치(200)가 확장 프로젝션에 대응하고 있는지 여부를 판정한다. 대응하고 있다고 판정된 경우, 처리는 스텝 S126으로 진행된다.
스텝 S126에 있어서, 세그먼트 파일 처리부(221)는, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 트랙(track)을 선택한다. 그때, 세그먼트 파일 처리부(221)는, 스텝 S124에 있어서 설정된 선택 후보 중, 클라이언트 장치(200)가 대응하는 확장 타입의 트랙, 및 프로젝션 확장을 미적용한 트랙 중에서 원하는 트랙을 선택한다. 스텝 S126의 처리가 종료되면 처리는 스텝 S128로 진행된다.
또한 스텝 S125에 있어서, 그 클라이언트 장치(200)가 확장 프로젝션에 대응하고 있지 않다고 판정된 경우, 처리는 스텝 S127로 진행된다.
스텝 S127에 있어서, 세그먼트 파일 처리부(221)는, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 트랙(track)을 선택한다. 그때, 세그먼트 파일 처리부(221)는, 스텝 S124에 있어서 설정된 선택 후보 중, 프로젝션 확장을 미적용한 트랙 중에서 원하는 트랙을 선택한다. 스텝 S127의 처리가 종료되면 처리는 스텝 S128로 진행된다.
즉, 세그먼트 파일 처리부(221)는, ISOBMFF 파일에 포함되는 프로젝션 확장에 관한 정보에 기초하여, 클라이언트 장치(200)의 기능(capability)에 대응하는 트랙을 후보로 하고, 그 중에서 원하는 트랙을 선택한다.
스텝 S128에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S126 또는 스텝 S127에 있어서 선택된 트랙의 스트림 부호화 데이터를, 스텝 S121에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S129에 있어서, 디코드부(222)는, 스텝 S128에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S130에 있어서, 표시 정보 생성부(223)는, 스텝 S129에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S130의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 프로젝션 확장에 관한 정보를 이용하여, 그 ISOBMFF 파일에 포함되는 스트림(그 스트림에 대응하는 콘텐츠)을 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 프로젝션 확장에 관한 정보에 기초하여, 자신의 능력(capability)에 따른 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 예를 들어 프로젝션 확장이 적용된 스트림을 처리할 수 있는 클라이언트는, 프로젝션 확장이 적용된 스트림을 선택하고, 처리할 수 없는 클라이언트는, 프로젝션 확장이 미적용된 스트림을 선택할 수 있다. 따라서 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<프로젝션 확장에 관한 정보의 상세>
또한 프로젝션 확장에 관한 정보에, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))가 포함되어 있도록 해도 된다. 예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))를 포함하는 프로젝션 확장에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는 프로젝션 확장에 관한 정보의, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))에 기초하여, 프로젝션 확장이 적용되어 있는지의 식별을 행하고, 그 식별의 결과에 기초하여 스트림을 선택하도록 해도 된다.
또한 프로젝션 확장에 관한 정보에, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))를 포함하는 프로젝션 확장에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는 프로젝션 확장에 관한 정보의, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))에 기초하여, 적용될 프로젝션 확장의 타입의 식별을 행하고, 그 식별의 결과에 기초하여 스트림을 선택하도록 해도 된다.
또한 이 정보가 나타내는 프로젝션 확장의 타입에 상술한 EAC가 포함되도록 해도 된다. 또한 이 정보가 나타내는 프로젝션 확장의 타입에 상술한 편심 구면 매핑이 포함되도록 해도 된다.
또한 프로젝션 확장에 관한 정보에, 입체 구조로의 렌더링에 필요한 정보(정보 (C))가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, 입체 구조로의 렌더링에 필요한 정보(정보 (C))를 포함하는 프로젝션 확장에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는 프로젝션 확장에 관한 정보의, 입체 구조로의 렌더링에 필요한 정보(정보 (C))를 이용하여, 스트림의 선택이나, 선택한 스트림으로부터 얻어지는 화상의 입체 구조로의 렌더링을 행하도록 해도 된다.
이상과 같은 프로젝션 확장에 관한 정보를 시그널함으로써 클라이언트는, 프로젝션 확장 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<투영 방법>
다음에, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 입체 구조에 투영된 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 예에 대하여 설명한다. 이 투영 방법은 어떠한 방법이어도 된다. 예를 들어 이 투영 방법에 상술한 ERP가 포함되도록 해도 된다. 또한, 예를 들어 이 투영 방법에 상술한 CMP가 포함되도록 해도 된다.
<파일 구성>
ISOBMFF 파일에 있어서, 스트림은 트랙으로서 관리되고, 메타데이터는 계층 구조의 Box에 저장된다. 도 8은, ISOBMFF 파일의 Box 계층 구조의 예를 나타내는 도면이다. 도 8에 나타난 바와 같이 Movie Box(moov) 아래에, 대응하는 트랙에 관한 메타데이터를 저장하는 Track Box(trak)가 정의된다. 각 트랙의 메타데이터는, 그 Track Box 내에 있어서 더 계층 구조화되는 각종 Box 내에 저장된다.
상술한 프로젝션 확장에 관한 정보가 이와 같은 파일에 화상 부호화 데이터의 스트림별 정보로서 포함되도록 해도 된다. 예를 들어 파일 생성부가, 프로젝션 확장에 관한 정보를, 그 프로젝션 확장을 적용한 투영 방법에 의하여 입체 구조 화상이 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 스트림별 정보로서 포함하는 파일을 생성하도록 해도 된다.
예를 들어 OMAF의 ISOBMFF 파일에 있어서, Sample Entry 아래의 Restricted Scheme Information Box(rinf) 아래의 Scheme Information Box(schi) 아래에 시그널되는 Projected Omnidirectional Video Box(povd)에 프로젝션 확장에 관한 정보를 저장하도록 해도 된다.
예를 들어 그 Projected Omnidirectional Video Box(povd) 내에 새로이 Projection Enhancement Box를 정의하고, 그 Box 내에 프로젝션 확장에 관한 정보를 저장하도록 해도 된다.
도 9에 나타나는 신택스(syntax)(301)는, Projected Omnidirectional Video Box(povd)의 신택스의 예를 나타내고 있다. 프로젝션 확장을 적용하는 경우, 이 신택스(301)에 나타난 바와 같이, Projected Omnidirectional Video Box(povd) 내에, 적용되어 있는 프로젝션 확장에 관한 정보를 저장하는 Projection Enhancement Box가 정의된다.
도 10에 나타나는 신택스(302)는, Projection Enhancement Box의 신택스의 예를 나타내고 있다. 이 신택스(302)에 나타난 바와 같이, Projection Enhancement Box 내에, 적용되는 확장 타입을 나타내는 enhancement_type 필드가 정의된다.
도 11에 나타나는 시맨틱스(semantics)(303)는, 이 enhancement_type 필드의 시맨틱스의 예를 나타내고 있다. 이 경우, enhancement_type==0은, 편심 구면 매핑이 적용되는 것을 나타낸다. 또한 enhancement_type==1은, EAC가 적용되는 것을 나타낸다. 또한 enhancement_type==2는, EAC 및 편심 구면 매핑이 적용되는 것을 나타낸다. 또한 이 예의 경우, 투영 방법으로서 ERP가 적용되는 경우, 프로젝션 확장 타입으로서 EAC를 적용할 수 없으므로, enhancement_type의 값은 1 및 2로 되어서는 안 된다.
또한 신택스(302)에 나타난 바와 같이, 3행째 이하의 if문 내에 있어서, 확장 타입별로(enhancement_type의 값별로) 렌더링에 필요한 정보가 저장된다.
이상과 같이 Projection Enhancement Box가 track(Projected Omnidirectional Video Box(povd) 내)에 존재할 때, 그 track의 스트림에는 프로젝션 확장이 적용되어 있는 것을 나타낸다. 즉, Projection Enhancement Box의 유무가, 프로젝션 확장이 적용되어 있는지 여부를 나타내는 정보(상술한 정보 (A))이다.
달리 말하면, 프로젝션 확장에 관한 정보에, Projected Omnidirectional Video Box에 저장되는, 당해 Box가 존재함으로써 프로젝션 확장이 적용되어 있는 것을 나타내는 Projection Enhancement Box가 포함되도록 해도 된다.
또한 그 Projection Enhancement Box 내에 정의되는 enhancement_type 필드는, 어떤 프로젝션 확장이 적용된 스트림인지를 나타내는 정보(상술한 정보 (B))이다. 달리 말하면, 프로젝션 확장에 관한 정보에, Projection_Enhancement_Box에 저장되는, 적용되는 프로젝션 확장의 타입을 나타내는 enhancement_type이 포함되도록 해도 된다.
또한 그 Projection Enhancement Box 내에 있어서 enhancement_type의 값별로 정의되는 정보는, 확장 타입별로 시그널되는 렌더링에 필요한 정보(상술한 정보 (C))이다. 달리 말하면, 프로젝션 확장에 관한 정보에, Projection Enhancement Box에 저장되는, 프로젝션 확장의 타입별의, 입체 구조로의 렌더링에 필요한 정보가 포함되도록 해도 된다.
이와 같이 함으로써 클라이언트 장치(200)는, Projection Enhancement Box의 유무와, enhancement_type의 값에 기초하여, 프로젝션 확장의 적용의 유무의 식별, 및 적용된 확장 타입의 식별을 행할 수 있다. 또한 클라이언트 장치(200)는, enhancement_type별로 정의된 정보에 기초하여 렌더링에 필요한 정보를 얻을 수 있다. 따라서 클라이언트 장치(200)는, 자신의 능력(capability)에 따른 트랙(track)의 선택을 행할 수 있다.
따라서 클라이언트 장치(200)는, 프로젝션 확장 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
또한 신택스(301)(도 9)에 나타난 바와 같이, Projected Omnidirectional Video Box(povd) 내에 있어서 Projection Format Box도 정의된다. 도 12에 나타나는 신택스(304)는, 그 Projection Format Box의 신택스의 예를 나타내고 있다. 이 신택스(304)에 나타난 바와 같이, Projection Format Box 내에 Prjection Format Struct가 정의된다.
도 13에 나타나는 신택스(305)는, 그 Projection Format Struct의 신택스의 예를 나타내고 있다. 이 신택스(305)에 나타난 바와 같이, Projection Format Struct 내에, 적용되는 투영 방법(스트림에서 이용되고 있는 projection format)이 나타나는 projection_type 필드가 정의된다. 예를 들어 이 projection_type에 의하여 ERP인지 CMP인지 등이 시그널된다.
<Projection Enhancement Box의 다른 예>
또한 Projection Enhancement Box의 위치는, Projected Omnidirectional Video Box 아래에 한정되지 않는다. 예를 들어 Sample Entry 아래 등, 그 외의 Box 아래에 Projection Enhancement Box가 시그널되도록 해도 된다.
이와 같이 하더라도 클라이언트 장치(200)는, Projection Enhancement Box의 유무와, enhancement_type의 값에 기초하여, 프로젝션 확장의 적용의 유무의 식별, 및 적용된 확장 타입의 식별을 행할 수 있다. 또한 클라이언트 장치(200)는, enhancement_type별로 정의된 정보에 기초하여 렌더링에 필요한 정보를 얻을 수 있다. 따라서 클라이언트 장치(200)는, 자신의 능력(capability)에 따른 트랙(track)의 선택을 행할 수 있다.
<projection_type, enhancement_type의 다른 예>
또한, 예를 들어 OMAF로 규정 완료된 Projection Format Box 내의 Projection Format Struct가 갖는 projection_type 필드에서 프로젝션 확장 스트림인 것을 시그널하고, Projection Enhancement Box의 enhancement_type 필드에서 projection format 및 확장 타입을 시그널하도록 해도 된다.
도 14의 시맨틱스(306)는, 그 경우의 projection_type의 시맨틱스의 예를 나타낸다. 시맨틱스(306에 나타난 바와 같이 이 경우, projection_type==0은, 투영 방법(Projection format)으로서 ERP가 적용되는 것을 나타낸다. 또한 projection_type==1은, 투영 방법(Projection format)으로서 CMP가 적용되는 것을 나타낸다. 또한 projection_type==2는, 프로젝션 확장이 적용되는 것을 나타낸다.
도 15의 시맨틱스(307)는, 그 경우의 enhancement_type의 시맨틱스의 예를 나타낸다. 시맨틱스(307에 나타난 바와 같이 이 경우, enhancement_type==0은, 투영 방법(Projection format)으로서 ERP가 적용되고, 프로젝션 확장의 타입으로서 편심 구면 매핑이 적용되는 것을 나타낸다. 또한 enhancement_type==1은, 투영 방법(Projection format)으로서 CMP가 적용되고, 프로젝션 확장의 타입으로서 편심 구면 매핑이 적용되는 것을 나타낸다. 또한 enhancement_type==2는, 프로젝션 확장의 타입으로서 EAC가 적용되는 것을 나타낸다. 또한 enhancement_type==3은, 프로젝션 확장의 타입으로서 EAC 및 편심 구면 매핑이 적용되는(EAC와 편심 구면 매핑의 조합이 적용되는) 것을 나타낸다.
이와 같이 하더라도 클라이언트 장치(200)는, Projection Enhancement Box의 유무와, enhancement_type의 값에 기초하여, 프로젝션 확장의 적용의 유무의 식별, 및 적용된 타입의 식별을 행할 수 있다. 또한 클라이언트 장치(200)는, enhancement_type별로 정의된 정보에 기초하여 렌더링에 필요한 정보를 얻을 수 있다. 따라서 클라이언트 장치(200)는, 자신의 능력(capability)에 따른 트랙(track)의 선택을 행할 수 있다.
또한 변형예로서, 렌더링을 행하는 데 있어서, 확장 타입 이외의 추가 정보가 불필요한 경우, Projection Format Box 내의 Projection Format Struct가 갖는 projection_type 필드에서 그 타입을 시그널하고, 확장 타입 이외의 추가 정보가 필요한 것만 Projection Enhancement Box의 enhancement_type으로 시그널하도록 해도 된다.
도 16의 시맨틱스(308)는, 이 경우의 projection_type의 시맨틱스의 예를 나타낸다. 시맨틱스(308)에 나타난 바와 같이 이 경우, projection_type==0은, 투영 방법(Projection format)으로서 ERP가 적용되는 것을 나타낸다. 또한 projection_type==1은, 투영 방법(Projection format)으로서 CMP가 적용되는 것을 나타낸다. 또한 projection_type==2는, 프로젝션 확장의 타입으로서, 렌더링에 추가 정보가 불필요한 EAC가 적용되는 것을 나타낸다.
도 17의 시맨틱스(309)는, 그 경우의 enhancement_type의 시맨틱스의 예를 나타낸다. 시맨틱스(309)에 나타난 바와 같이 이 경우, enhancement_type==0은, 프로젝션 확장의 타입으로서, 렌더링에 추가 정보가 필요한 편심 구면 매핑이 적용되는 것을 나타낸다.
이 경우에도 클라이언트 장치(200)는, projection_type 필드와 enhancement_type 필드의 값에 따라, 프로젝션 확장의 적용의 유무의 식별, 및 적용된 확장 타입의 식별을 행할 수 있다. 또한 클라이언트 장치(200)는, enhancement_type별로 정의된 추가 정보에 기초하여 렌더링에 필요한 정보를 얻을 수 있다. 따라서 클라이언트 장치(200)는, 자신의 능력(capability)에 따른 트랙(track)의 선택을 행할 수 있다.
<프로젝션 확장의 타입 전용의 Box>
상술한 Projection Enhancement Box를 이용하는 대신, 확장의 타입별로 개별 Box(적용되는 확장의 타입 전용의 Box)를 Projected Omnidirectional Video Box(povd) 아래에 시그널하도록 해도 된다.
즉, 프로젝션 확장에 관한 정보가, ISOBMFF 파일에 저장되는, 프로젝션 확장의 타입 전용의 Box를 포함하도록 해도 된다.
도 18에 나타나는 신택스(310)는, 적용되는 프로젝션 확장의 타입이 편심 구면 매핑인 경우의 Projected Omnidirectional Video Box의 신택스의 예를 나타낸다. 신택스(310)에 나타난 바와 같이 이 경우, Projected Omnidirectional Video Box 아래에 Offset Spherical Projection Box가 새로이 정의된다. 이 Offset Spherical Projection Box는 편심 구면 매핑 전용의 Box이다.
도 19에 나타나는 신택스(311)는, 그 Offset Spherical Projection Box의 신택스의 예를 나타낸다. 신택스(311)에 나타난 바와 같이, 이 Offset Spherical Projection Box 내에는, 렌더링에 필요한 정보가 시그널된다.
이 경우, 클라이언트 장치(200)는, Projected Omnidirectional Video Box 아래에 Offset Spherical Projection Box가 정의됨으로써 프로젝션 확장이 적용되고, 그 적용된 프로젝션 확장의 타입이 편심 구면 매핑인 것을 식별할 수 있다. 또한 클라이언트 장치(200)는, Offset Spherical Projection Box 내에 정의된 정보에 기초하여 렌더링에 필요한 정보를 얻을 수 있다. 따라서 클라이언트 장치(200)는, 자신의 능력(capability)에 따른 트랙(track)의 선택을 행할 수 있다.
이 경우에도 또한, 프로젝션 확장 스트림에 적용되어 있는 확장 타입을 나타내는 enhancement_type을, Projection Format Box에 저장되는 Projection Format Struct 내에 시그널하도록 해도 된다. 그 경우의 enhancement_type의 시맨틱스는 도 11과 마찬가지이다.
또한 렌더링을 행하는 데 있어서, 확장 타입 이외의 추가 정보가 불필요한 경우, 적용된 확장 타입의 전용의 Box(확장 타입별 개별 Box)를 시그널하지 않고 enhancement_type만을 시그널하도록 해도 된다.
도 20에 나타나는 신택스(312)는, 이 경우의 Projection Format Struct의 신택스의 예를 나타낸다. 신택스(312)에 나타난 바와 같이 이 경우, Projection Format Struct 내에 있어서, projection_type과 함께 enhancement_type이 정의된다.
이 경우, Offset Spherical Projection Box가 track에 존재할 때, 그 track의 스트림에는 편심 구면 매핑이 적용되어 있는 것을 나타낸다. 그 외의 프로젝션 확장 타입의 경우에 대해서도 마찬가지로, 그 프로젝션 확장 타입 전용의 Box가 설정된다. 또한 enhancement_type은, 어떤 프로젝션 확장 타입이 적용된 스트림인지를 나타낸다.
클라이언트 장치(200)는 프로젝션 확장 방법별의 개별 Box의 존재나, enhancement_type의 값으로부터 프로젝션 확장의 적용의 유무, 적용되어 있다면 그 타입을 식별하여, 자신의 능력(capability)에 따른 track 선택을 행할 수 있다.
또한 이 경우에도 업로드 처리의 흐름은, 도 6의 흐름도를 참조하여 설명한 경우와 마찬가지이다. 또한 이 경우의 콘텐츠 재생 처리의 흐름도, 도 7의 흐름도를 참조하여 설명한 경우와 마찬가지이다.
또한 Offset Spherical Projecction Box 등, 프로젝션 확장 방법별의 개별 Box의 위치는, Projected Omnidirectional Video Box 아래에 한정되지 않는다. 예를 들어 Sample Entry 아래 등, 그 외의 Box 아래에 프로젝션 확장 방법별의 개별 Box가 시그널되도록 해도 된다.
<3. 제2 실시 형태>
<MPD 파일에 의한 프로젝션 확장에 관한 정보의 시그널>
상술한 프로젝션 확장에 관한 정보의 시그널을 MPD 파일에 있어서 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
또한 MPD 파일에 있어서는, 스트림별 메타데이터는 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)으로서 관리된다. 즉, MPD 파일을 이용하는 경우, 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)을 선택함으로써 스트림의 선택이 행해진다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 21의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S151에 있어서, 화상과 메타데이터를 취득한다.
스텝 S152에 있어서, 세그먼트 파일 생성부(123)는, 그 화상에 대응하는 세그먼트 파일을 생성한다.
스텝 S153에 있어서, MPD 파일 생성부(113)는, 스텝 S151에 있어서 취득된 화상과 메타데이터(그리고 스텝 S152에 있어서 생성된 세그먼트 파일)에 대응하는, 프로젝션 확장에 관한 정보를 포함하는 MPD 파일을 생성한다.
스텝 S154에 있어서, 기록부(114)는, 스텝 S153의 처리에 의하여 생성된 MPD 파일과, 스텝 S152의 처리에 의하여 생성된 세그먼트 파일을 기록한다.
스텝 S155에 있어서, 업로드부(115)는, 스텝 S154에 있어서 기록된 MPD 파일 및 세그먼트 파일을 기록부(114)로부터 판독하고 그것들을 서버에 업로드한다.
스텝 S155의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장에 관한 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는, 그 프로젝션 확장에 관한 정보에 기초하여, 자신의 능력(capability)에 따른 세그먼트 파일(스트림)을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<MPD 파일에 시그널된 프로젝션 확장에 관한 정보의 이용>
또한 MPD 파일에 시그널된 프로젝션 확장에 관한 정보를 이용하여 스트림의 선택을 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 그 취득된 제어 파일에 포함되는 프로젝션 확장에 관한 정보에 기초하여 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 클라이언트 장치(200)에 있어서, MPD 파일 취득부(212)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부로서 기능하고, MPD 파일 처리부(213)가, 그 파일 취득부에 의하여 취득된 제어 파일에 포함되는 프로젝션 확장에 관한 정보에 기초하여, 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 MPD 파일 취득부(212))와 화상 처리부(예를 들어 MPD 파일 처리부(213))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 22의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S171에 있어서, 프로젝션 확장에 관한 정보를 포함하는 MPD 파일을 취득한다.
스텝 S172에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S173에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S174에 있어서, MPD 파일 처리부(213)는, 그 클라이언트 장치(200)가 대응하고 있는 프로젝션 포맷(projection format)을 사용하고 있는 어댑테이션 세트(Adaptation Set)를 선택 후보로 한다.
스텝 S175에 있어서, MPD 파일 처리부(213)는, 그 클라이언트 장치(200)가 확장 프로젝션에 대응하고 있는지 여부를 판정한다. 대응하고 있다고 판정된 경우, 처리는 스텝 S176으로 진행된다.
스텝 S176에 있어서, MPD 파일 처리부(213)는, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 어댑테이션 세트(Adaptation Set)를 선택한다. 그때, MPD 파일 처리부(213)는, 스텝 S174에 있어서 설정된 선택 후보 중, 클라이언트 장치(200)가 대응하는 확장 타입의 어댑테이션 세트, 및 프로젝션 확장을 미적용한 어댑테이션 세트 중에서, 원하는 어댑테이션 세트를 선택한다. 스텝 S176의 처리가 종료되면 처리는 스텝 S178로 진행된다.
또한 스텝 S175에 있어서, 그 클라이언트 장치(200)가 확장 프로젝션에 대응하고 있지 않다고 판정된 경우, 처리는 스텝 S177로 진행된다.
스텝 S177에 있어서, MPD 파일 처리부(213)는, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 어댑테이션 세트(Adaptation Set)를 선택한다. 그때, MPD 파일 처리부(213)는, 스텝 S174에 있어서 설정된 선택 후보 중, 프로젝션 확장을 미적용한 어댑테이션 세트 중에서, 원하는 어댑테이션 세트를 선택한다. 스텝 S177의 처리가 종료되면 처리는 스텝 S178로 진행된다.
즉, MPD 파일 처리부(213)는, MPD 파일에 포함되는 프로젝션 확장에 관한 정보에 기초하여, 클라이언트 장치(200)의 기능(capability)에 대응하는 어댑테이션 세트를 후보로 하고, 그 중에서 원하는 어댑테이션 세트를 선택한다.
스텝 S178에 있어서, MPD 파일 처리부(213)는, 스텝 S176 또는 스텝 S177에 있어서 선택된 어댑테이션 세트(Adaptation Set) 중에서, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 리프리젠테이션(Representation)을 선택한다.
스텝 S179에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S178에 있어서 선택된 리프리젠테이션(Representation)에 대응하는 세그먼트 파일을 취득한다.
스텝 S180에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S179에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S181에 있어서, 디코드부(222)는, 스텝 S180에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S182에 있어서, 표시 정보 생성부(223)는, 스텝 S181에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S182의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 프로젝션 확장에 관한 정보를 이용하여 적절히 스트림을 선택하고, 세그먼트 파일에 포함되는 그 스트림(그 스트림에 대응하는 콘텐츠)을 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 프로젝션 확장에 관한 정보에 기초하여, 자신의 능력(capability)에 따른 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<프로젝션 확장에 관한 정보의 상세>
또한 제1 실시 형태의 경우와 마찬가지로, 프로젝션 확장에 관한 정보에, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))가 포함되어 있도록 해도 된다. 예를 들어 파일 생성 장치(100)의 MPD 파일 생성부(113)가, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))를 포함하는 프로젝션 확장에 관한 정보를 MPD 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 MPD 파일 처리부(213)가, MPD 파일에 포함되는 프로젝션 확장에 관한 정보의, 프로젝션 확장이 적용되어 있는지를 나타내는 정보(정보 (A))에 기초하여, 프로젝션 확장이 적용되어 있는지의 식별을 행하고, 그 식별의 결과에 기초하여 스트림을 선택하도록 해도 된다.
또한 제1 실시 형태의 경우와 마찬가지로, 프로젝션 확장에 관한 정보에, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 MPD 파일 생성부(113)가, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))를 포함하는 프로젝션 확장에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 MPD 파일 처리부(213)가, MPD 파일에 포함되는 프로젝션 확장에 관한 정보의, 적용될 프로젝션 확장의 타입을 나타내는 정보(정보 (B))에 기초하여, 적용될 프로젝션 확장의 타입의 식별을 행하고, 그 식별의 결과에 기초하여 스트림을 선택하도록 해도 된다.
또한 제1 실시 형태의 경우와 마찬가지로, 이 정보가 나타내는 프로젝션 확장의 타입에 상술한 EAC가 포함되도록 해도 된다. 또한 이 정보가 나타내는 프로젝션 확장의 타입에 상술한 편심 구면 매핑이 포함되도록 해도 된다.
또한 제1 실시 형태의 경우와 마찬가지로, 프로젝션 확장에 관한 정보에, 입체 구조로의 렌더링에 필요한 정보(정보 (C))가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 MPD 파일 생성부(113)가, 입체 구조로의 렌더링에 필요한 정보(정보 (C))를 포함하는 프로젝션 확장에 관한 정보를 MPD 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 MPD 파일 처리부(213)가, MPD 파일에 포함되는 프로젝션 확장에 관한 정보의, 입체 구조로의 렌더링에 필요한 정보(정보 (C))를 이용하여 스트림의 선택을 행하도록 해도 된다. 또한 데이터 해석·복호부(216)가, 그 입체 구조로의 렌더링에 필요한 정보(정보 (C))를 이용하여 렌더링을 행하도록 해도 된다.
이상과 같은 프로젝션 확장에 관한 정보를 시그널함으로써 클라이언트는, 프로젝션 확장 스트림을 적절히 취득하여 렌더링하는 것이 가능해진다. 즉, 클라이언트의 호환성을 담보한 채, projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<투영 방법>
다음에, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 입체 구조에 투영된 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 예에 대하여 설명한다. 이 투영 방법은 어떠한 방법이어도 된다. 예를 들어 이 투영 방법에 상술한 ERP가 포함되도록 해도 된다. 또한, 예를 들어 이 투영 방법에 상술한 CMP가 포함되도록 해도 된다.
<Projection enhancement descriptor에 의한 시그널>
MPD 파일에 있어서 프로젝션 확장에 관한 정보를 시그널하는 경우에도, 제1 실시 형태의 경우와 마찬가지로, 프로젝션 확장에 관한 정보가 화상 부호화 데이터의 스트림별 정보로서 포함되도록 해도 된다. 예를 들어 파일 생성부가, 프로젝션 확장에 관한 정보를 화상 부호화 데이터의 스트림별 정보로서 포함하는 제어 파일을 생성하도록 해도 된다.
예를 들어 MPD 파일에 있어서, 새로이 @schemeIdUri="urn:mpeg:mpegI:omaf:2017:preh"의 에센셜 프로퍼티(Essential Property)를 프로젝션 인핸스먼트 디스크립터(Projection enhancement descriptor)로서 정의한다. 또한 동일한 schemeIdUri의 서플리멘털 프로퍼티(Supplemental Property)를 이용해도 된다.
또한 EssentialProperty의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 프로퍼티(Property)가 기입되어 있는 Adaptation Set(Representation 등이어도 됨)는 무시해야만 한다. 또한 SupplementalProperty의 schemeIdUri에 대응하고 있지 않은 DASH 클라이언트는, 이 Property값을 무시하고 Adaptation Set(Representation 등이어도 됨)를 이용해도 된다.
또한 이 Projection enhancement descriptor는, 예를 들어 MPD, AdaptationSet, 또는 Representation 레벨에 존재 가능하다.
도 23에 나타나는 속성값(331)은 이 Projection enhancement descriptor의 속성값이다. 이 속성값 omaf;@enhancement_type이 0인 경우, 편심 구면 매핑이 적용되는 것을 나타낸다. 또한 이 속성값이 1인 경우, EAC가 적용되는 것을 나타낸다.
도 24의 데이터 타입(332)은, 이 Projection enhancement descriptor에 있어서 정의되는 데이터 타입의 예를 나타낸다.
예를 들어 Adaptation Set가, CMP에 대하여 프로젝션 확장을 행한 EAC의 스트림이고, 또한 편심 구면 매핑이 적용되어 있는 경우, 도 25에 나타낸 바와 같은 디스크립터(descriptor)가 그 Adaptation Set에 시그널된다. 도 25에 나타나는 신택스(333)는, EssentialProperty의 신택스의 예를 나타낸다.
즉, 프로젝션 확장에 관한 정보에, MPD 파일에 정의되는 Projection enhancement descriptor의, 적용된 프로젝션 확장의 타입을 나타내는 속성값인 omaf:@enhancement_type이 포함되도록 해도 된다.
이 descriptor가 Adaptation Set에 존재할 때, 그 Adaptation Set가 참조하는 비디오 스트림에 프로젝션 확장이 적용되어 있는 것을 나타내고(정보 (A)), enhancement_type에 의하여 적용된 확장 타입을 나타낸다(정보 (B)).
클라이언트 장치(200)는, 이와 같은 Projection enhancement descriptor의 유무나, enhancement_type의 값에 기초하여, 프로젝션 확장의 적용의 유무나 적용되는 확장 타입을 식별하여, 자신의 능력(capability)에 따른 Adaptaton Set 선택을 행할 수 있다.
또한 프로젝션 포맷 디스크립터(Projection format descriptor)의 프로젝션 타입(projection_type) 필드에서 프로젝션 확장 스트림인 것을 시그널하고, Projection enhancement descriptor의 enhancement_type으로 projection format 및 확장 타입을 시그널하도록 해도 된다.
즉, 프로젝션 확장에 관한 정보가 추가로, MPD 파일에 정의되는 Projection format descriptor의, 프로젝션 확장의 적용의 유무를 나타내는 속성값인 omaf:@projection_type을 포함하도록 해도 된다.
Projection format descriptor는 @schemeIdUri="urn:mpeg:mpegI:omaf:2017:pf"의 Essential Property로 시그널된다. 도 26의 속성값(334)은, 이 descriptor의 확장된 속성값의 예를 나타낸다.
예를 들어 어떠한 값이 어떠한 투영 방법을 나타내는지는 임의이다. 이 속성값 omaf:@projection_type의 값이 0인 경우, 적용된 투영 방법이 ERP인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@projection_type의 값이 1인 경우, 적용된 투영 방법이 CMP인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@projection_type의 값이 2인 경우, 프로젝션 확장이 적용되는 것을 나타내는 것으로 봐도 된다.
또한 이 경우의 Projection enhancement descriptor의 enhancement_type의 예를 도 27에 나타낸다. 도 27에 나타나는 속성값(335)은, 이 descriptor의 속성값의 예를 나타낸다.
어떠한 값이 어떠한 타입을 나타내는지는 임의이다. 예를 들어 이 속성값 omaf:@enhancement_type의 값이 0인 경우, 적용되는 프로젝션 확장의 타입이 ERP 및 편심 구면 매핑인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@enhancement_type의 값이 1인 경우, 적용되는 프로젝션 확장의 타입이 CMP 및 편심 구면 매핑인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@enhancement_type의 값이 2인 경우, 적용되는 프로젝션 확장의 타입이 EAC인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@enhancement_type의 값이 3인 경우, 적용되는 프로젝션 확장의 타입이 EAC 및 편심 구면 매핑인 것을 나타내는 것으로 봐도 된다.
또한 이상에 있어서는, DASH 배신 시의 클라이언트에 의한 스트림 선택 시에 필수는 아니기 때문에, 렌더링에 필요한, 확장 타입 이외의 추가 정보(정보 (C))의 시그널은 행하지 않는 예를 나타내었지만, 이에 한하지 않고 추가 정보(정보 (C))의 시그널을 행해도 된다.
<프로젝션 확장의 타입 전용의 descriptor>
상술한 Projection enhancement descriptor를 이용하는 대신, 확장의 타입별로 개별 descriptor(적용되는 확장의 타입 전용의 descriptor)를 시그널하도록 해도 된다.
예를 들어 편심 구면 매핑이 적용된 프로젝션 확장 스트림의 경우, 새로이 @schemeIdUri="urn:mpeg:mpegI:omaf:2017:ofsp"의 Essential Property를 오프셋 스페리컬 프로젝션 디스크립터(Offset spherical projection descriptor)로서 정의한다. 상술한 Projection enhancement descriptor의 경우와 마찬가지로, 이 경우에도, 동일한 schemeIdUri의 Supplemental Property를 이용해도 된다.
또한 상술한 Projection enhancement descriptor의 경우와 마찬가지로, Offset spherical projection descriptor는 MPD, AdaptationSet, Representation 레벨에 존재 가능하다.
또한 도 28에 나타나는 속성값(336)의 예와 같이, 프로젝션 확장 스트림에 적용되어 있는 확장 타입을 나타내는 속성값인 인핸스먼트 타입(enhancement_type)을, OMAF로 정의되어 있는 Projection format descriptor에 시그널하도록 해도 된다.
어떠한 값이 어떠한 타입을 나타내는지는 임의이다. 예를 들어 이 속성값 omaf:@enhancement_type의 값이 0인 경우, 적용되는 프로젝션 확장의 타입이 편심 구면 매핑인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값 omaf:@enhancement_type의 값이 1인 경우, 적용되는 프로젝션 확장의 타입이 EAC인 것을 나타내는 것으로 봐도 된다.
이상과 같이 함으로써 클라이언트 장치(200)는, 프로젝션 확장 방법별의 개별 descriptor의 유무나 enhancement_type의 값에 기초하여, 프로젝션 확장의 적용의 유무나 적용되는 확장 타입을 식별하여, 자신의 능력(capability)에 따른 Adaptaton Set 선택을 행할 수 있다.
또한 이상에 있어서는, DASH 배신 시의 클라이언트에 의한 스트림 선택 시에 필수는 아니기 때문에, 렌더링에 필요한, 확장 타입 이외의 추가 정보(정보 (C))의 시그널은 행하지 않는 예를 나타내었지만, 이에 한하지 않고 추가 정보(정보 (C))의 시그널을 행해도 된다.
<4. 제3 실시 형태>
<편심 구면 매핑 스트림 배신>
다음에, 프로젝션 확장 방법의 하나인, 편심 구면 매핑을 적용한 스트림(편심 구면 매핑 스트림이라고도 칭함)을 배신하기 위한 시그널링예를 설명한다.
<ISOBMFF 파일에 있어서의 렌더링에 관한 정보의 시그널>
프로젝션 확장이 적용된 스트림을 포함하는 ISOBMFF 파일의 경우, 그 프로젝션 확장에 대응하는 렌더링에 관한 정보도 시그널하도록 해도 된다. 이 렌더링에 관한 정보는, 화상을 입체 구조로 렌더링할 때 이용되는 정보를 포함한다. 예를 들어 렌더링에 관한 정보에, 화상의 입체 구조에 대한 투영의 오프셋에 관한 정보가 포함되어 있어도 된다. 예를 들어 편심 구면 매핑 스트림을 포함하는 ISOBMFF 파일의 경우, 그 편심 구면 매핑의 오프셋에 관한 정보가 포함되도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 생성부(123)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 세그먼트 파일 생성부(123))를 구비하도록 해도 된다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 29의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S201에 있어서, 화상과 메타데이터를 취득한다.
스텝 S202에 있어서, 세그먼트 파일 생성부(123)는, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S203에 있어서, 기록부(114)는, 스텝 S202의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S204에 있어서, 업로드부(115)는, 스텝 S203에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S204의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는, 그 렌더링에 관한 정보를 이용하여 용이하게, 프로젝션 확장이 적용된 스트림의 화상을 입체 구조에 적절히 렌더링할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<ISOBMFF로 시그널된 렌더링에 관한 정보의 이용>
또한 ISOBMFF 파일에 시그널된 렌더링에 관한 정보를 이용하여 렌더링을 행하도록 해도 된다. 예를 들어 편심 구면 매핑 스트림을 포함하는 ISOBMFF 파일의 경우, 그 ISOBMFF 파일에 시그널된 편심 구면 매핑의 오프셋에 관한 정보를 이용하여 렌더링을 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 그 입체 구조에 대한 투영의 오프셋에 관한 정보와, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고, 그 취득된 파일에 포함되는 오프셋에 관한 정보에 기초하여, 그 화상 부호화 데이터로부터 얻어진 그 투영 평면 화상의 입체 구조로의 렌더링을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 취득부(214)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 그 입체 구조에 대한 투영의 오프셋에 관한 정보와, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 취득된 파일에 포함되는 오프셋에 관한 정보에 기초하여, 그 화상 부호화 데이터로부터 얻어진 그 투영 평면 화상의 입체 구조로의 렌더링을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 세그먼트 파일 취득부(214))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 30의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S221에 있어서, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S222에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S223에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S224에 있어서, 세그먼트 파일 처리부(221)는, 유저의 시점 위치 및 시선 방향이나 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따른 트랙(track)을 선택한다.
스텝 S225에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S224에 있어서 선택된 트랙의 스트림 부호화 데이터를, 스텝 S221에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S226에 있어서, 디코드부(222)는, 스텝 S225에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S227에 있어서, 표시 정보 생성부(223)는, 스텝 S226에 있어서 복호되어 얻어진 스트림(콘텐츠)을, ISOBMFF 파일에 포함되는 렌더링에 관한 정보를 이용하여 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S227의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 이용하여, 그 ISOBMFF 파일에 포함되는 스트림(그 스트림에 대응하는 콘텐츠)을 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 렌더링에 관한 정보를 이용하여 용이하게, 프로젝션 확장이 적용된 스트림의 화상을 입체 구조에 적절히 렌더링할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<렌더링에 관한 정보의 상세>
렌더링에 관한 정보에 포함되는, 투영의 오프셋에 관한 정보에, 그 오프셋의 방향에 관한 정보와, 그 오프셋의 크기에 관한 정보가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, 오프셋의 방향에 관한 정보 및 오프셋의 크기에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는, 오프셋의 방향에 관한 정보 및 오프셋의 크기에 관한 정보에 기초하여 렌더링을 행하도록 해도 된다.
예를 들어 편심 구면 매핑 스트림을 포함하는 ISOBMFF 파일의 경우, 그 편심 구면 매핑의 오프셋 방향에 관한 정보와 오프셋의 크기에 관한 정보가 포함되도록 해도 된다.
또한 그 오프셋의 방향에 관한 정보에, 오프셋의 방향의 방위각에 관한 정보와, 오프셋의 방향의 앙각에 관한 정보가 포함되도록 해도 된다. 예를 들어 편심 구면 매핑의 오프셋 방향에 관한 정보에, 편심 구면 매핑의 오프셋 방향의 방위각에 관한 정보와, 편심 구면 매핑의 오프셋 방향의 앙각에 관한 정보가 포함되도록 해도 된다.
또한 이 오프셋에 관한 정보의 값은, 화상 부호화 데이터의 스트림 중에 있어서 고정이도록 해도 된다.
그 경우, ISOBMFF 파일에는, 오프셋에 관한 정보가 화상 부호화 데이터의 스트림별 정보로서 포함되도록 해도 된다.
이들 정보는, 예를 들어 제1 실시 형태에 있어서 설명한 Projection Enhancement Box에서 시그널되도록 해도 된다. 도 31의 신택스(351)는, 그 경우의 Projection Enhancement Box의 신택스의 예를 나타낸다. 이 신택스(351)에 나타난 바와 같이 enhancement_type별로 offset_azimuth, offset_elevation, offset_value 등의 필드가 정의된다.
도 32의 시맨틱스(352)는, 이 추가된 필드(field)의 시맨틱스의 예를 나타낸다.
시맨틱스(352)에 나타난 바와 같이 offset_azimuth는, 편심 구면 매핑의 오프셋(offset)의 방향의 방위각을 나타내는 정보이다. 값의 범위는, 예를 들어 -180*216 내지 180*216-1이다. offset_elevation은, 그 offset의 방향의 앙각을 나타내는 정보이다. 값의 범위는, 예를 들어 -90*216 내지 90*216-1이다. offset_value는, 그 offset의 값을 나타내는 정보이다. 이 값은, 예를 들어 2-32단위로 시그널된다. 또한 값의 범위는, 예를 들어 0 내지 2-32-1이다.
즉, 오프셋에 관한 정보가, ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Projection Enhancement Box에 저장되는, 오프셋의 방향의 방위각을 나타내는 offset_azimuth, 오프셋의 방향의 앙각을 나타내는 offset_elevation, 및 오프셋의 크기를 나타내는 offset_value를 포함하도록 해도 된다.
클라이언트 장치(200)는 원래의 projection format을 Projection Format Box로부터 식별하고, 또한 Projection Enhancement Box에서 시그널되는 offset 방향과 offset값을 참조함으로써 편심 구면 매핑 스트림을 적절히 렌더링할 수 있다.
또한 제1 실시 형태에 있어서 설명한, 편심 구면 매핑 스트림 고유의 Offset Spherical Projection Box의 경우에도 마찬가지의 field를 시그널할 수 있다.
또한 여기서는 1종류의 offset 방향 및 offset값이 시그널되는 예를 나타내었지만 이들 수는 임의이다. 복수의 offset 방향 및 offset값을 시그널함으로써, 하나의 편심 구면 매핑 스트림에 복수 offset가 적용되어 있는 것을 나타내도 된다.
지금까지, ISOBMFF 파일의 track의 Sample Entry 내에 있어서의 시그널링에 대하여 설명하였다. 이 방법에 따르면, 스트림 중에서 offset 방향 및 offset값 등의 렌더링에 관한 정보가 불변, 즉, 고화질화되는 방향이 변화하지 않는 편심 구면 매핑 스트림에 대하여, 렌더링에 필요한 정보를 시그널링할 수 있어서, 클라이언트가 적절히 렌더링하는 것이 가능해진다.
<렌더링에 관한 정보의 동적인 변화>
또한 렌더링에 관한 정보(offset 방향 및 offset값 등)는 스트림 중에서 동적으로 변화해도 된다. 그 경우, track의 Sample Entry 내에서의 정보 시그널링만으로는 대응할 수 없다. 그로 인한 추가 시그널링예를 나타낸다.
<SEI(Supplemental Enhancement Information) message>
스트림 중에 동적으로 변화하는 렌더링에 관한 정보에 대응하기 위하여, HEVC(High Efficiency Video Coding)나 AVC(Advanced Video Coding)에 있어서 이용되는 SEI(Supplemental Enhancement Information) message를 확장하도록 해도 된다.
예를 들어 Spherical offset projection SEI message를 신규 정의하고, 스트림 내에서 동적으로 변화하는 렌더링에 관한 정보(예를 들어 offset 방향 및 offset값 등)를 그 안에 저장하도록 해도 된다. Spherical offset projection SEI message에 있어서, 렌더링에 관한 정보는, 예를 들어 액세스 유닛 단위로 시그널된다.
도 33의 신택스(353)는, 이 Spherical offset projection SEI message의 신택스의 예를 나타낸다. 또한 도 34의 시맨틱스(354)는, 그 필드의 시맨틱스의 예를 나타낸다.
offset_projection_cancel_flag는, 오프셋에 관한 정보를 캔슬할지를 나타내는 플래그이다. 어떠한 값이 어떠한 상태를 나타내는지는 임의이다. 예를 들어 이 플래그의 값이 1인 경우, 출력순으로 선행하는 SEI의 지속적 적용을 캔슬하도록 해도 된다. 또한 이 플래그의 값이 0인 경우, offset 정보가 시그널되도록 해도 된다.
offset_projection_persitence_flag는, SEI의 적용 범위를 제어하는 플래그이다. 어떠한 값이 어떠한 상태를 나타내는지는 임의이다. 예를 들어 이 플래그의 값이 0인 경우, SEI가 포함되는 픽처에만 SEI의 정보가 적용되도록 해도 된다. 또한 이 플래그의 값이 1인 경우, SEI의 적용은, 새로운 코디드 비디오 시퀀스(coded video sequence)가 개시되거나 또는 스트림의 말미에 도달할 때까지 지속되도록 해도 된다.
offset_projection_reserved_zero_6bits는 0으로 채워진다.
offset_azimuth는, offset의 방향의 방위각을 나타내는 정보이다. 예를 들어 2-16degree 단위로 시그널된다. 값의 범위는, 예를 들어 -180*216 내지 180*216-1이다.
offset_elevation은, offset의 방향의 앙각을 나타내는 정보이다. 예를 들어 2-16degree 단위로 시그널된다. 값의 범위는, 예를 들어 -90*216 내지 90*216-1이다.
offset_value는, offset의 값을 나타내는 정보이다. 예를 들어 2-32단위로 시그널된다. 값의 범위는, 예를 들어 0 내지 2-32-1이다.
<Timed metadata>
시계열로 변화하는 메타데이터를 저장하는 스트림인 타임드 메타데이터(timed metadata)의 시스템을 이용하도록 해도 된다. 예를 들어 Offset timed metadata를 신규 정의하고, 스트림 내에서 동적으로 변화하는 렌더링에 관한 정보(예를 들어 offset 방향 및 offset값 등)를 그 안에 저장하도록 해도 된다. Offset timed metadata에 있어서, 렌더링에 관한 정보는, 예를 들어 샘플 단위로 시그널된다. 이와 같이 함으로써, 참조할 편심 구면 매핑 스트림 내에서 동적으로 변화하는 offset 방향 및 offset값을 시그널할 수 있다.
또한 그때, Offset timed metadata가 연관지어지는 편심 구면 매핑 스트림을 저장하는 track에 대한 트랙 레퍼런스 타입(track reference type)으로서는, 예를 들어 'ofsp'를 이용하도록 해도 된다.
Timed metadata를 사용함으로써 클라이언트는, 편심 구면 매핑 스트림을 취득·디코드하지 않더라도, 고화질화되는 방향을 사전에 식별하여, 어떤 스트림을 선택할지의 기준으로 할 수 있다.
도 35의 신택스(355)는, 이 경우의 Offset Sample Entry의 신택스의 예를 나타낸다. 도 36의 신택스(356)는, 이 경우의 Offset Sample의 신택스의 예를 나타낸다. 또한 OffsetSample 내의 각 필드의 시맨틱스는 도 32와 마찬가지이다.
<Sample Group>
ISOBMFF 파일에서 정의되는, 샘플(sample) 단위로 메타 정보를 연관짓는 짜임새인 샘플 그룹(Sample Group)이라는 툴을 사용하여, 스트림 내에서 동적으로 변화하는 렌더링에 관한 정보(예를 들어 offset 방향 및 offset값 등)를 sample 단위로 연관짓도록 해도 된다.
메타 정보가 기술되는 Sample Group은, 도 37에 나타난 바와 같이, 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)에 그룹 엔트리(Group Entry)로서 시그널되고, 샘플 투 그룹 박스(Sample To Group Box)를 통하여 sample과 연관지어진다.
도 37에 나타난 바와 같이 Sample To Group Box의 그루핑 타입(grouping_type)은, 연관지어지는 Sample Group Description Box의 grouping_type을 나타낸다. 1엔트리(1 entry)에 대해 샘플 카운트(sample_count)와 그룹 디스크립션 인덱스(group_description_index)가 시그널되며, 그 group_description_index는, 연관지어지는 그룹 엔트리(Group Entry)의 인덱스(index)를 나타내고, sample_count는 그 Group Entry에 속하는 샘플(sample)의 수를 나타낸다.
예를 들어 Offset Spherical Projection Sample Group Entry를 신규 정의하고, 스트림 내에서 동적으로 변화하는 렌더링에 관한 정보(예를 들어 offset 방향 및 offset값 등)를 그 안에 저장하도록 해도 된다.
도 38의 신택스(371)는, 그 Offset Spherical Projection Sample Group Entry의 신택스의 예를 나타낸다. grouping_type은 'ofgp'로 된다. Offset Spherical Projection Sample Group Entry내의 각 필드의 시맨틱스는 도 32와 마찬가지이다.
이와 같이 함으로써, 참조할 편심 구면 매핑 스트림 내에서 동적으로 변화하는 offset 방향 및 offset값을 시그널할 수 있다.
또한 이들 동적으로 변화하는 offset 방향 및 offset값의 시그널링이 행해지는 경우, Projection Enhancement Box에서 시그널되는 편심 구면 매핑 스트림의 렌더링을 위한 정보는, 예를 들어 맨 처음의 픽처에 대한 정보가 시그널된다.
또한 스트림 중에서 동적으로 offset 방향 및 offset값이 변화하는 것을 나타내는 플래그를 Projection Enhancement Box, 혹은 그 외 Box 내에서 시그널하도록 해도 된다. 즉, 오프셋에 관한 정보에, 그 오프셋에 관한 정보가 스트림 중에 있어서 동적으로 변화하는지를 나타내는 정보가 포함되도록 해도 된다. 이 정보를 참조함으로써 클라이언트 장치(200)는, 동적으로 고화질화 방향이 변화하는 편심 구면 매핑 스트림인 것을 용이하게 식별할 수 있다.
<MPD 파일에 있어서의 렌더링에 관한 정보의 시그널>
제2 실시 형태에 있어서 설명한 바와 같이 프로젝션 확장에 관한 정보를 MPD 파일에 있어서 시그널하는 경우에도 마찬가지로, 그 프로젝션 확장에 대응하는 렌더링에 관한 정보도 시그널하도록 해도 된다. 이 렌더링에 관한 정보는, 화상을 입체 구조로 렌더링할 때 이용되는 정보를 포함한다. 예를 들어 렌더링에 관한 정보에, 화상의 입체 구조에 대한 투영의 오프셋에 관한 정보가 포함되어 있어도 된다. 예를 들어 편심 구면 매핑 스트림을 배신 제어하는 MPD 파일의 경우, 그 편심 구면 매핑의 오프셋에 관한 정보(예를 들어 offset 방향 및 offset값 등)가 포함되도록 해도 된다.
또한 그 오프셋에 관한 정보로서, 스트림 중에서 동적으로 오프셋에 관한 정보가 변화하는 것을 나타내는 플래그를 시그널하도록 해도 된다. 그 경우, 그 플래그를 Projection enhancement descriptor나 Offset spherical projection descriptor에 있어서 시그널하도록 하면 된다. 그렇게 함으로써, 상술한 ISOBMFF 파일의 경우와 마찬가지의 효과를 얻을 수 있다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 39의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S241에 있어서, 화상과 메타데이터를 취득한다.
스텝 S242에 있어서, 세그먼트 파일 생성부(123)는, 스텝 S241에 있어서 취득한 화상의 세그먼트 파일을 생성한다.
스텝 S243에 있어서, MPD 파일 생성부(113)는, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 MPD 파일을 생성한다. 예를 들어 편심 구면 매핑 스트림에 대응하는 MPD 파일을 생성하는 경우, MPD 파일 생성부(113)는, 편심 구면 매핑에 대응하는 렌더링에 관한 정보를 포함하는 MPD 파일을 생성한다.
스텝 S244에 있어서, 기록부(114)는, 스텝 S242의 처리에 의하여 생성된 세그먼트 파일을 기록한다. 또한 기록부(114)는, 스텝 S243의 처리에 의하여 생성된 MPD 파일을 기록한다.
스텝 S245에 있어서, 업로드부(115)는, 스텝 S244에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S244에 있어서 기록된 세그먼트 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S245의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는, 그 렌더링에 관한 정보를 이용하여 용이하게, 재생 가능한 스트림을 선택하거나, 프로젝션 확장이 적용된 스트림의 화상을 입체 구조에 적절히 렌더링하거나 할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<MPD 파일에 시그널된 렌더링에 관한 정보의 이용>
또한 MPD 파일에 시그널된 렌더링에 관한 정보를 이용하여 스트림을 선택하거나, 렌더링을 행하거나 하도록 해도 된다. 예를 들어 편심 구면 매핑 스트림의 배신을 제어하는 MPD 파일의 경우, 그 MPD 파일에 시그널된 편심 구면 매핑의 오프셋에 관한 정보를 이용하여, 배신 요구할 스트림을 선택하거나, 렌더링을 행하거나 하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 그 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 그 취득된 파일에 포함되는 오프셋에 관한 정보에 기초하여, 그 화상 부호화 데이터로부터 얻어진 그 투영 평면 화상의 입체 구조로의 렌더링을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 취득부(212)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 그 입체 구조에 대한 투영의 오프셋에 관한 정보와, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 취득된 파일에 포함되는 오프셋에 관한 정보에 기초하여, 그 화상 부호화 데이터로부터 얻어진 그 투영 평면 화상의 입체 구조로의 렌더링을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 MPD 파일 취득부(212))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 40의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S261에 있어서, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 포함하는 MPD 파일을 취득한다.
스텝 S262에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S263에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S264에 있어서, MPD 파일 처리부(213)는, 스텝 S261에 있어서 취득된 MPD 파일에 기초하여(특히 그 MPD 파일에 포함되는, 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보 등에 기초하여) 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)을 선택한다.
스텝 S265에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S264에 있어서 선택된 어댑테이션 세트(Adaptation Set)나 리프리젠테이션(Representation)을 포함하는 세그먼트 파일을 취득한다.
스텝 S266에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S265에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S267에 있어서, 디코드부(222)는, 스텝 S266에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S268에 있어서, 표시 정보 생성부(223)는, 스텝 S267에 있어서 복호되어 얻어진 스트림(콘텐츠)을, MPD 파일에 포함되는 렌더링에 관한 정보를 이용하여 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S268의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 프로젝션 확장 방법에 대응하는 렌더링에 관한 정보를 이용하여, 그 MPD 파일에 의하여 배신 제어되는 스트림(그 스트림에 대응하는 콘텐츠)을 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 렌더링에 관한 정보를 이용하여 용이하게, 프로젝션 확장이 적용된 스트림의 화상을 입체 구조에 적절히 렌더링할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<ISOBMFF 파일에 있어서의 스트림 선택에 관한 정보의 시그널>
이상에 있어서는, 렌더링에 관한 정보의 시그널링에 대하여 설명하였지만, 프로젝션 확장이 적용된 스트림을 포함하는 ISOBMFF 파일의 경우, 그 프로젝션 확장에 대응하는 스트림의 선택에 관한 정보도 시그널하도록 해도 된다. 이 스트림의 선택에 관한 정보는, 재생할 콘텐츠의 스트림을 선택할 때 이용되는 정보를 포함한다. 예를 들어 이 스트림에 관한 정보에, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보가 포함되어 있어도 된다. 예를 들어 편심 구면 매핑 스트림을 포함하는 ISOBMFF 파일의 경우, 그 편심 구면 매핑에 의하여 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보가 포함되도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 41의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S281에 있어서, 화상과 메타데이터를 취득한다.
스텝 S282에 있어서, 세그먼트 파일 생성부(123)는, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S283에 있어서, 기록부(114)는, 스텝 S282의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S284에 있어서, 업로드부(115)는, 스텝 S283에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S284의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는, 그 스트림의 선택에 관한 정보를 이용하여 보다 용이하게, 프로젝션 확장이 적용된 스트림의 선택을 행할 수 있다. 예를 들어 클라이언트는 보다 용이하게, 유저의 시야가 고화질화되어 있는 화상을 선택하여 재생할 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<ISOBMFF로 시그널된 스트림의 선택에 관한 정보의 이용>
또한 ISOBMFF 파일에 시그널된 스트림의 선택에 관한 정보를 이용하여 스트림의 선택을 행하도록 해도 된다. 예를 들어 편심 구면 매핑 스트림을 포함하는 ISOBMFF 파일의 경우, 그 ISOBMFF 파일에 시그널된 편심 구면 매핑에 의하여 입체 구조 화상이 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보를 이용하여 렌더링을 행하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 그 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고, 그 취득된 파일에 포함되는 투영 평면 화상의 화질에 관한 정보에 기초하여 그 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, 세그먼트 파일 취득부(214)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 그 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부로서 기능하고, 데이터 해석·복호부(216)가, 그 파일 취득부에 의하여 취득된 파일에 포함되는 투영 평면 화상의 화질에 관한 정보에 기초하여, 그 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 세그먼트 파일 취득부(214))와 화상 처리부(예를 들어 데이터 해석·복호부(216))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 42의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S301에 있어서, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S302에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S303에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S304에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S301에 있어서 취득된 ISOBMFF 파일에 포함되는 스트림의 선택에 관한 정보, 유저의 시점 위치 및 시선 방향, 그리고 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 기초하여, 클라이언트의 시야가 고화질화되어 있는 트랙(track)을 선택한다.
스텝 S305에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S304에 있어서 선택된 트랙의 스트림 부호화 데이터를, 스텝 S301에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S306에 있어서, 디코드부(222)는, 스텝 S305에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S307에 있어서, 표시 정보 생성부(223)는, 스텝 S306에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S307의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 이용하여 보다 용이하게 보다 적절한 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 보다 용이하게, 유저의 시야가 고화질화되어 있는 화상을 선택하여 재생할 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<MPD 파일에 있어서의 스트림 선택에 관한 정보의 시그널>
제2 실시 형태에 있어서 설명한 바와 같이 프로젝션 확장에 관한 정보를 MPD 파일에 있어서 시그널하는 경우에도 마찬가지로, 그 프로젝션 확장에 대응하는 스트림의 선택에 관한 정보도 시그널하도록 해도 된다.
이 스트림의 선택에 관한 정보는, 재생할 콘텐츠의 스트림을 선택할 때 이용되는 정보를 포함한다. 예를 들어 이 스트림에 관한 정보에, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보가 포함되어 있어도 된다. 예를 들어 편심 구면 매핑 스트림을 배신 제어하는 MPD 파일의 경우, 그 편심 구면 매핑에 의하여 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보가 포함되도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 그 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 생성부(113)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 그 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 파일 생성 장치(100))가 파일 생성부(예를 들어 MPD 파일 생성부(113))를 구비하도록 해도 된다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 43의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S321에 있어서, 화상과 메타데이터를 취득한다.
스텝 S322에 있어서, 세그먼트 파일 생성부(123)는, 스텝 S321에 있어서 취득한 화상의 세그먼트 파일을 생성한다.
스텝 S323에 있어서, MPD 파일 생성부(113)는, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 MPD 파일을 생성한다. 예를 들어 편심 구면 매핑 스트림에 대응하는 MPD 파일을 생성하는 경우, MPD 파일 생성부(113)는, 편심 구면 매핑에 대응하는 스트림의 선택에 관한 정보를 포함하는 MPD 파일을 생성한다.
스텝 S324에 있어서, 기록부(114)는, 스텝 S322의 처리에 의하여 생성된 세그먼트 파일을 기록한다. 또한 기록부(114)는, 스텝 S323의 처리에 의하여 생성된 MPD 파일을 기록한다.
스텝 S325에 있어서, 업로드부(115)는, 스텝 S324에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S324에 있어서 기록된 세그먼트 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S325의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는, 그 스트림의 선택에 관한 정보를 이용하여 보다 용이하게 보다 적절한 스트림을 선택할 수 있다. 예를 들어 클라이언트는 보다 용이하게, 유저의 시야가 고화질화되어 있는 화상을 선택하여 재생할 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<MPD 파일에 시그널된 렌더링에 관한 정보의 이용>
또한 MPD 파일에 시그널된 스트림의 선택에 관한 정보를 이용하여 스트림을 선택하도록 해도 된다. 예를 들어 편심 구면 매핑 스트림의 배신을 제어하는 MPD 파일의 경우, 그 MPD 파일에 시그널된 편심 구면 매핑에 의하여 평면에 매핑된 투영 평면 화상(projected picture)의 화질에 관한 정보를 이용하여, 배신 요구할 스트림을 선택하도록 해도 된다.
즉, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 그 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고, 그 취득된 제어 파일에 포함되는 투영 평면 화상의 화질에 관한 정보에 기초하여 그 화상 부호화 데이터의 스트림의 선택을 행하도록 해도 된다.
예를 들어 정보 처리 장치인 파일 생성 장치(100)에 있어서, MPD 파일 취득부(212)가, 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 그 프로젝션 확장을 적용한 투영 방법에 의하여 그 입체 구조 화상이 그 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 그 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부로서 기능하고, MPD 파일 처리부(213)가, 그 파일 취득부에 의하여 취득된 그 제어 파일에 포함되는 그 투영 평면 화상의 화질에 관한 정보에 기초하여, 그 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부로서 기능하도록 해도 된다. 즉, 정보 처리 장치(예를 들어 클라이언트 장치(200))가 파일 취득부(예를 들어 MPD 파일 취득부(212))와 화상 처리부(예를 들어 MPD 파일 처리부(213))를 구비하도록 해도 된다.
<콘텐츠 재생 처리의 흐름>
그 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 44의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S341에 있어서, 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 포함하는 MPD 파일을 취득한다.
스텝 S342에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S343에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S344에 있어서, MPD 파일 처리부(213)는, 스텝 S341에 있어서 취득된 MPD 파일에 포함되는 스트림의 선택에 관한 정보, 유저의 시점 위치 및 시선 방향, 그리고 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 기초하여, 클라이언트의 시야가 고화질화되어 있는 어댑테이션 세트(Adaptation Set)를 선택한다.
스텝 S345에 있어서, MPD 파일 처리부(213)는 또한, 스텝 S344에 있어서 선택된 Adaptation Set로부터 원하는 리프리젠테이션(Representation)을 선택한다.
스텝 S346에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S344 및 S345에 있어서 선택된 Adaptation Set나 Representation을 포함하는 세그먼트 파일을 취득한다.
스텝 S347에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S346에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S348에 있어서, 디코드부(222)는, 스텝 S347에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S349에 있어서, 표시 정보 생성부(223)는, 스텝 S348에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S349의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 프로젝션 확장 방법에 대응하는 스트림의 선택에 관한 정보를 이용하여 보다 용이하게 보다 적절한 스트림을 선택할 수 있다. 예를 들어 클라이언트 장치(200)는 보다 용이하게, 유저의 시야가 고화질화되어 있는 화상을 선택하여 재생할 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<편심 구면 매핑 스트림>
편심 구면 매핑 스트림에는, 고화질화하는 방향이 스트림 중에서 불변인 스태틱(static)한 편심 구면 매핑 스트림과, 고화질화하는 방향이 스트림 중에서 변화하는 다이내믹(dynamic)한 편심 구면 매핑 스트림의 2종류 존재한다. 각각에 있어서, 스트림 선택에 필요한 정보가 다르다.
<static한 편심 구면 매핑 스트림>
static한 편심 구면 매핑 스트림의 경우, 클라이언트의 유저의 시야 변경이 행해지면, 시야 방향이 고화질화된 스트림을 취득·렌더링함으로써, 항시 고화질의 영상을 그 유저로 하여금 시청하게 할(유저에게 제공할) 수 있다. 그래서, 예를 들어 스트림의 영역별 퀄러티 랭킹(Quality ranking)을 시그널함으로써, 클라이언트에게 있어서 유저의 시야 변경에 따른 스트림의 전환이 가능해진다.
<dynamic한 편심 구면 매핑 스트림>
dynamic한 편심 구면 매핑 스트림의 경우, 예를 들어 통계상 가장 자주 시청되고 있는 방향이나, 특정 등장 인물의 움직임에 따라 고화질 방향이 동적으로 변화한다. 그때, 클라이언트의 유저의 시야에 따른 스트림 전환은 행해지지 않는 것이 상정된다. 그래서, 예를 들어 스트림 중에서 고화질화되어 있는 영역의 속성을 시그널함으로써, 클라이언트에게 있어서 재생 개시 시에 유저 프레퍼런스에 따른 스트림 선택이 가능해진다. 여기서, 고화질화되어 있는 영역의 속성이란, 예를 들어 통계상 유저가 가장 자주 보는 영역이나, 특정 등장 인물, 디렉터스 컷 등이다.
<ISOBMFF 파일에 있어서의 Quality ranking의 시그널>
이상의 2개 중, 먼저, static한 편심 구면 매핑 스트림에 대하여 설명한다. offset 방향 및 offset값으로부터 편심 구면 매핑 스트림 사이의 Quality 비교가 가능하다. 단, 이 방법에서는, 편심 구면 매핑 스트림 이외와의 Quality 비교는 할 수 없다.
OMAF로 정의되어 있는 Quality ranking이라는 공통의 화질 지표를 이용함으로써, 편심 구면 매핑 스트림 사이의 전환뿐 아니라, 다른 프로젝션 확장이나 viewport dependent한 고화질화 처리(예를 들어 region-wise packing 등)이 이루어진 스트림 사이에서의 Quality 비교와, 그에 기초한 스트림 전환이 가능해진다.
즉, 상술한 프로젝션 확장에 대응하는, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상의 화질에 관한 정보에, 이 Quality ranking에 관한 정보가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, Quality ranking에 관한 정보를 포함하는 투영 평면 화상의 화질에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는 투영 평면 화상의 화질에 관한 정보의, Quality ranking에 관한 정보에 기초하여 스트림을 선택하도록 해도 된다.
이와 같이 Quality ranking에 관한 정보를 이용함으로써, 클라이언트에게 있어서, 보다 용이하게 보다 고화질의 화상을 선택하여 유저에게 제공할 수 있다. 즉, 클라이언트의 시야에 따라, 시야 영역이 고화질로 되어 있는 편심 구면 매핑이 적용된 스트림을 선택할 수 있다. 이것에 의하여 클라이언트의 유저의 시야 영역을 항시 고화질화하는 것이 가능해져 유저 체험을 향상시킬 수 있다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 45의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S361에 있어서, 화상과 메타데이터를 취득한다.
스텝 S362에 있어서, 세그먼트 파일 생성부(123)는, Quality ranking에 관한 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S363에 있어서, 기록부(114)는, 스텝 S362의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S364에 있어서, 업로드부(115)는, 스텝 S363에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S364의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, Quality ranking에 관한 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는, 그 Quality ranking에 관한 정보를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택할 수 있다. 즉, 보다 고화질의 화상을 보다 용이하게 유저에게 제공할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<콘텐츠 재생 처리의 흐름>
다음에, 이와 같은, Quality ranking에 관한 정보를 포함하는 ISOBMFF 파일의 콘텐츠를 재생하는 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 46의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S381에 있어서, 프로젝션 확장 방법에 대응하는 Quality ranking에 관한 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S382에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S383에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S384에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S381에 있어서 취득한 ISOBMFF 파일에 포함되는 Quality ranking에 관한 정보, 유저의 시점 위치 및 시선 방향, 그리고 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따라, 클라이언트 장치(200)의 유저의 시야가 고화질화되어 있는 트랙(track)을 선택한다.
스텝 S385에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S384에 있어서 선택된 트랙의 스트림 부호화 데이터를, 스텝 S381에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S386에 있어서, 디코드부(222)는, 스텝 S385에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S387에 있어서, 표시 정보 생성부(223)는, 스텝 S386에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는, 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S387의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 프로젝션 확장 방법에 대응하는 Quality ranking에 관한 정보를 이용하여 보다 고화질의 화상의 track을 선택하여 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 Quality ranking에 관한 정보를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택하고, 그 스트림의 화상(보다 고화질의 화상)을 유저에게 제공할 수 있다.
즉, 클라이언트 장치(200)의 유저의 시야에 따라, 시야 영역이 고화질로 되어 있는 편심 구면 매핑이 적용된 스트림을 선택할 수 있다. 이것에 의하여 클라이언트 장치(200)의 유저의 시야 영역을 항시 고화질화하는 것이 가능해져 유저 체험을 향상시킬 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<네스트된 Quality Ranking 영역의 시그널링>
편심 구면 매핑의 화질은, 최고화질의 방향으로부터 최저화질의 방향을 향하여 화질이 매끄럽게 변화하는 특성이 있다. 그 때문에, 도 47에 나타낸 바와 같은 네스트(nest)된 영역(네스트된 구조의 영역)의 Quality ranking의 시그널링이 유효하다. 또한 Quality ranking이 시그널되는 영역(이하, Quality ranking 영역이라고도 칭함) 내의 Quality는 대략 일정하다는 전제이며, Quality ranking값이 작은 쪽이 고화질이다.
도 47에 나타나는 화상(400)에는 Quality ranking 영역(401) 내지 Quality ranking 영역(403)이 설정되어 있다. Quality ranking 영역(401)은 Quality ranking 영역(402)에 내포되고, Quality ranking 영역(402)은 Quality ranking 영역(403)에 내포되어 있다. 즉, Quality ranking 영역(401) 내지 Quality ranking 영역(403)은 네스트된 구조를 형성하고 있다(네스트된 영역임).
도 47의 예의 경우, Quality ranking 영역(401)에는 Quality ranking값 「1」이 세트되어 있다. 또한 Quality ranking 영역(402)에는 Quality ranking값 「2」가 세트되어 있다. 또한 Quality ranking 영역(403)에는 Quality ranking값 「3」이 세트되어 있다. 즉, 이들 중, Quality ranking 영역(401)의 화상이 가장 고화질이고 Quality ranking 영역(403)의 화상이 가장 저화질이다. 또한 영역(404)은, Quality ranking값이 설정되어 있지 않은 그 외의 영역이다.
이와 같은 네스트된 영역별 Quality ranking값을, 상술한 Quality ranking에 관한 정보로서 이용하도록 해도 된다. 즉, Quality ranking에 관한 정보에, 네스트된 구조의 영역별 Quality ranking에 관한 정보가 포함되도록 해도 된다.
<Quality ranking을 시그널하는 Box>
OMAF에 있어서, Quality ranking은, 구면상 영역에 대한 Quality ranking을 시그널하는 Sphere Region Quality Ranking Box와, 2차원 직사각형 영역에 대한 Quality ranking을 시그널하는 2D Region Quality Ranking Box가 정의되어 있다.
도 48에 나타나는 신택스(421)는, Sphere Region Quality Ranking Box의 신택스의 예를 나타낸다. 또한 도 49에 나타나는 신택스(422)는, 2D Region Quality Ranking Box의 신택스의 예를 나타낸다.
Sphere Region Quality Ranking Box, 2D Region Quality Ranking Box 중 어느 것에 있어서도, num_regions으로 나타나는 수의 Qualitry ranking 영역을 가지며, 그 영역별로 quality_ranking이 시그널된다. Sphere Region Quality Ranking Box에서는, 구면 상에 있어서의 Qualitry ranking 영역이 Sphere Region Struct로 시그널되고, 2D Region Quality Ranking Box에 있어서는, 2차원 직사각형의 형상의 Quality ranking 영역이 left_offset, top_offset, region_width 및 region_hegiht에서 시그널된다. remaining_area_flag는, 시그널된 Quality ranking 영역 이외의 모든 영역에 대하여 quality_ranking을 시그널하기 위하여 이용된다.
이들 Box에 있어서, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 시그널하도록 해도 된다. 달리 말하면, Quality ranking에 관한 정보에 Sphere Region Quality Ranking Box가 포함되도록 해도 된다. 또한 Quality ranking에 관한 정보에 2D Region Quality Ranking Box가 포함되도록 해도 된다.
여기서, Quality ranking 영역 [i]의 Quality ranking은, Quality ranking 영역 [i]로부터 Quality ranking 영역 [i]에 겹쳐지는 i>j인 모든 Quality ranking 영역 [j]를 제외한 영역에 적용된다고 정의된다. 이 정의에 따라, 네스트된 Quality ranking 영역의 시그널이 이루어진다. 즉, 도 47의 화상(400)의 경우, Quality ranking 영역(401) 내지 Quality ranking 영역(403)은, 도 50에 나타낸 바와 같은 형상의 영역으로서 정의된다.
<Quality ranking 영역의 겹쳐짐에 관한 정보>
또한 Quality ranking 영역에 겹쳐짐이 있는 상태에 있어서, 클라이언트가 어느 Quality ranking 영역을 식별하는 경우, 그 영역 상에 겹쳐지는 영역의 유무를 식별하여, 겹쳐지는 영역이 있다면 그 영역분을 제외한다는 처리를 행할 필요가 있다. 이에 비해, 겹쳐지는 영역이 존재하지 않는 경우, 이 처리는 불필요하다. 즉, 항시 상술한 처리를 행하도록 하면, 겹쳐지는 영역이 존재하지 않는 경우의 처리의 부하가 불필요하게 증대될 우려가 있다.
그래서 Quality ranking 영역에 겹쳐지는 영역이 존재하는지 여부를 플래그로 명시하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보에, Quality ranking 영역의 겹쳐짐에 관한 정보가 포함되도록 해도 된다. 예를 들어 화상 전체에 대하여 Quality ranking 영역의 겹쳐짐의 유무를 나타내는 정보가 포함되도록 해도 된다. 또한, 예를 들어 그 정보에 대응하는 Quality ranking 영역에 대하여 다른 Quality ranking 영역과의 겹쳐짐의 유무를 나타내는 정보가 포함되도록 해도 된다. 이와 같은 정보를 이용함으로써 클라이언트는, 겹쳐지는 영역이 존재하지 않는 영역에 대하여, 겹쳐지는 영역을 제거하는 처리가 불필요해지므로(처리를 생략할 수 있으므로), 클라이언트 처리의 효율을 향상시킬 수 있다.
도 51에 나타나는 신택스(423)는, 이 경우의 Sphere Region Quality Ranking Box의 신택스의 예를 나타낸다. 또한 도 52에 나타나는 시맨틱스(424)는, 이 Box에 추가된 필드의 시맨틱스의 예를 나타낸다.
overlapped_region_presence_flag는, 화상 전체에 대하여 Quality ranking 영역의 겹쳐짐의 유무를 나타내는 정보이다. 어떠한 값이 어떠한 상태를 나타내는지는 임의이다. 예를 들어 이 필드의 값이 0인 경우, 모든 Quality ranking 영역 중에서 서로 겹쳐지는 영역이 없는 것을 나타내는 것으로 봐도 된다. 또한 이 필드의 값이 1인 경우, Quality ranking 영역 중에서 서로 겹쳐지는 영역이 있는 것을 나타내는 것으로 봐도 된다. 즉, 이 경우, overlapped_region_presence_flag가 0인 경우, 화상 내의 모든 Quality ranking 영역에 대하여, 겹쳐지는 영역을 제거하는 처리가 불필요하다. 달리 말하면, overlapped_region_presence_flag가 1인 경우에만, 각 Quality ranking 영역에 대하여, 겹쳐지는 영역을 제거하는 처리가 필요한지를 확인하도록 하면 된다.
overlapped_region_flag는, 그 정보에 대응하는 Quality ranking 영역에 대하여 다른 Quality ranking 영역과의 겹쳐짐의 유무를 나타내는 정보이다. 이 overlapped_region_flag는, 예를 들어 도 53에 나타난 바와 같이 각 Quality ranking 영역에 대하여 세트된다.
어떠한 값이 어떠한 상태를 나타내는지는 임의이다. 예를 들어 이 필드의 값이 0인 경우, 이 영역(i=x) 상에 다른 영역(i=y, y는 y<x)이 겹쳐져 있지 않은 것을 나타내는 것으로 봐도 된다. 또한 이 필드의 값이 1인 경우, 이 영역(i=x) 상에 다른 영역(i=y, y는 y<x)이 겹쳐져 있는 것을 나타내는 것으로 봐도 된다. 즉, 이 경우, overlapped_region_flag가 0인 영역은, 겹쳐지는 영역을 제거하는 처리가 불필요하다. 달리 말하면, overlapped_region_flag가 1인 영역에만, 겹쳐지는 영역을 제거하는 처리를 행하도록 하면 된다.
이와 같이 함으로써, 클라이언트의 처리의 부하의 불필요한 증대를 억제할 수 있다.
또한, 어느 Quality ranking 영역 상에 다른 영역이 겹쳐져 있을 때, 어느 영역이 겹쳐져 있는 것인지를 명시하도록 해도 된다. 예를 들어 상술한 Quality ranking에 관한 정보에, 그 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보가 포함되도록 해도 된다. 또한, 예를 들어 상술한 Quality ranking에 관한 정보에, 그 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보가 포함되도록 해도 된다. 이와 같은 정보를 이용함으로써, 겹쳐지는 영역을 제외한 Quality ranking 영역을 식별하는 클라이언트 처리를 보다 용이하게 할 수 있다.
도 54에 나타나는 신택스(425)는, 이 경우의 Sphere Region Quality Ranking Box의 신택스의 예를 나타낸다. 또한 도 55에 나타나는 시맨틱스(426)는, 이 Box에 추가된 필드의 시맨틱스의 예를 나타낸다.
num_overlapped_regions는, 도 56에 나타난 바와 같이 각 QualityRanking 영역에 세트되는 정보이며, 그 값은, 그 num_overlapped_regions가 세트된 QualityRanking 영역 상에 겹쳐져 있는 다른 QualityRanking 영역의 수를 나타낸다.
overlapped_region_index는, 도 56에 나타난 바와 같이 각 QualityRanking 영역에 세트되는 정보이며, 그 값은, 그 overlapped_region_index가 세트된 QualityRanking 영역(당해 영역) 상에 겹쳐져 있는 QualityRanking 영역의 인덱스(index)를 나타낸다. 즉, 이 필드의 값은, 당해 영역에 어느 QualityRanking 영역이 겹쳐져 있는지를 나타낸다. 겹쳐지는 영역이 존재하지 않는 경우, 이 필드는 생략할 수 있다. 달리 말하면, 이 필드가 생략되어 있는 경우, 겹쳐지는 영역이 존재하지 않는 것을 나타낸다.
overlapped_region_index를 참조함으로써, 그 Quality ranking 영역에 겹쳐지는 영역의 인덱스를 식별할 수 있기 때문에, Quality ranking 영역을 전부 다 확인할 필요가 없게 되어, 겹쳐지는 영역을 제외한 Quality ranking 영역을 식별하는 클라이언트 처리를 보다 용이화할 수 있다.
또한 이상에 있어서는 Sphere Region Quality Ranking Box를 예로 들어 설명하였지만, 이들의 확장은 2D Region Quality Ranking Box에도 적용 가능하다.
<최고·최저화질의 QualityRanking만의 시그널링>
편심 구면 매핑의 화질은, 최고화질의 방향으로부터 최저화질의 방향을 향하여 화질이 매끄럽게 변화하는 특성이 있다. 따라서 최고화질 및 최저화질의 Quality ranking만 시그널되어 있으면, Quality ranking이 시그널되지 않는 영역의 Quality ranking에 대해서는, 시그널된 그 최고화질 및 최저화질의 Quality ranking으로부터 유추가 가능하다.
그래서, 최고화질 및 최저화질의 Quality ranking만을 시그널하고 그 외의 화질의 Quality ranking의 시그널은 생략하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보가, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하도록 해도 된다. 그리고 클라이언트는, 그 최고화질 및 최저화질의 Quality ranking만에 관한 정보에 기초하여 그 외의 Quality ranking을 유추하도록 해도 된다.
또한 그때, 최고 및 최저화질의 Quality ranking만을 시그널하는 것을 플래그에 의하여 명시하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보가 추가로, 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하도록 해도 된다.
예를 들어 Sphere Region Quality Ranking Box를 확장하여, 최고 및 최저화질의 Quality ranking만을 시그널하는 것을 플래그에 의하여 명시하도록 해도 된다. 도 57에 나타나는 신택스(427)는, 그 경우의 Sphere Region Quality Ranking Box의 신택스의 예를 나타낸다. 또한 도 58의 시맨틱스(428)는, 이 Box에 있어서 추가된 필드의 시맨틱스의 예를 나타낸다.
min_max_only_flag는, 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보이다. 이 필드의 값이 1인 경우, 이 Box에서 시그널되는 Quality ranking은, 최고화질 및 최저화질의 Quality ranking만인 것을 나타낸다. 그리고 그 경우(min_max_only_flag=1인 경우), 상술한 num_regions의 값은 2이다.
또한 이상에 있어서는, Sphere Region Quality Ranking Box를 예로 들어 설명하였지만, 이 확장은 2D Region Quality Ranking Box에도 적용 가능하다.
또한 상술한 2종류의 Box를 이용하는 대신, 최고화질 및 최저화질의 Quality Ranking만을 시그널하는 전용의 Box를 신규 정의하도록 해도 된다.
<최고화질의 Quality Ranking만의 시그널링>
편심 구면 매핑은 특정 일 방향을 고화질화하는 것이며, 그 최고화질의 영역만 식별할 수 있으면 스트림을 선택하는 것이 가능하다. 그래서, 최고화질의 Quality ranking만을 시그널하고 그 외의 화질의 Quality ranking의 시그널은 생략하도록 해도 된다.
예를 들어 상술한 Quality ranking에 관한 정보가, 최고화질의 Quality ranking만에 관한 정보를 포함하도록 해도 된다. 또한 그 Quality ranking에 관한 정보가, 대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking을 더 포함하도록 해도 된다.
이와 같이 함으로써 클라이언트는, 많은 Quality ranking 영역을 식별할 필요가 없어서 처리의 간이화가 가능해진다. 또한 콘텐츠 생성측도, 많은 영역의 Quality를 산출하거나 시그널하거나 할 필요가 없기 때문에 처리의 간이화가 가능해진다.
최고화질의 Quality ranking만의 시그널링은, 예를 들어 Sphere Region Quality Ranking Box의 시맨틱스에 있어서, quality_ranking의 특정 값에 대하여, "Quality ranking이 미정의이고, 또한 그 quality_ranking값의 영역은, 그 값 이외의 quality_ranking을 갖는 어느 영역의 Quality보다도 낮다는 정의를 행함으로써 실현할 수 있다. 예를 들어 quality_ranking=0인 영역은, 그 영역의 Quality ranking이 미정의이고, 또한 그 값 이외의 quality_ranking을 갖는 어느 영역의 Quality보다도 Quality가 낮은 것으로 보면 된다.
이때, 최고화질의 Quality ranking만의 시그널링은, 최고화질 영역의 Quality ranking과, 그 이외의 화질 미정의 영역(quality_ranking=0)의 시그널링에 의하여 실현할 수 있다. 즉, 신택스의 변경은 불필요하다.
물론 이 시맨틱스의 확장은 2D Region Quality Ranking Box에도 적용 가능하다.
또한 Sphere Region Quality Ranking Box나 2D Region Quality Ranking Box를 이용하는 대신, 최고화질의 Quality ranking만을 시그널하는 Box를 신규 정의하도록 해도 된다.
<MPD 파일에 있어서의 Quality ranking의 시그널>
제2 실시 형태에 있어서 설명한 바와 같이 프로젝션 확장에 관한 정보를 MPD 파일에 있어서 시그널하는 경우에도, 상술한 ISOBMFF 파일의 경우와 마찬가지로, OMAF로 정의되어 있는 Quality ranking을 이용함으로써, 편심 구면 매핑 스트림 사이의 전환뿐 아니라, 다른 프로젝션 확장이나 viewport dependent한 고화질화 처리(예를 들어 region-wise packing 등)가 이루어진 스트림 사이에서의 Quality 비교와, 그에 기초한 스트림 전환이 가능해진다.
즉, 상술한 프로젝션 확장에 대응하는, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상의 화질에 관한 정보에, 이 Quality ranking에 관한 정보가 포함되도록 해도 된다. 예를 들어 파일 생성 장치(100)의 MPD 파일 생성부(113)가, Quality ranking에 관한 정보를 포함하는 투영 평면 화상의 화질에 관한 정보를 MPD 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 MPD 파일 처리부(213)가, MPD 파일에 포함되는 투영 평면 화상의 화질에 관한 정보의, Quality ranking에 관한 정보에 기초하여 스트림을 선택하도록 해도 된다.
이와 같이 Quality ranking에 관한 정보를 이용함으로써, 클라이언트에게 있어서, 보다 용이하게 보다 고화질의 화상을 선택하여 유저에게 제공할 수 있다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 59의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S401에 있어서, 화상과 메타데이터를 취득한다.
스텝 S402에 있어서, 세그먼트 파일 생성부(123)는 그 화상의 세그먼트 파일을 생성한다.
스텝 S403에 있어서, MPD 파일 생성부(113)는, Quality ranking에 관한 정보를 포함하는 MPD 파일을 생성한다.
스텝 S404에 있어서, 기록부(114)는, 스텝 S403의 처리에 의하여 생성된 MPD 파일을 기록한다. 또한 기록부(114)는, 스텝 S402의 처리에 의하여 생성된 세그먼트 파일을 기록한다.
스텝 S405에 있어서, 업로드부(115)는, 스텝 S404에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S404에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S405의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, Quality ranking에 관한 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는, 그 Quality ranking에 관한 정보를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택할 수 있다. 즉, 보다 고화질의 화상을 보다 용이하게 유저에게 제공할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 오소링 워크플로우나 클라이언트 실장의 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<콘텐츠 재생 처리의 흐름>
다음에, 이와 같은, Quality ranking에 관한 정보를 포함하는 MPD 파일의 콘텐츠를 재생하는 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 60의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S421에 있어서, 프로젝션 확장 방법에 대응하는 Quality ranking에 관한 정보를 포함하는 MPD 파일을 취득한다.
스텝 S422에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S423에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S424에 있어서, MPD 파일 처리부(213)는, 스텝 S421에 있어서 취득한 MPD 파일에 포함되는 Quality ranking에 관한 정보, 유저의 시점 위치 및 시선 방향, 그리고 클라이언트와 서버 사이의 네트워크의 전송 대역폭 등에 따라, 클라이언트 장치(200)의 유저의 시야가 고화질화되어 있는 어댑테이션 세트(Adaptation Set)를 선택한다.
스텝 S425에 있어서, MPD 파일 처리부(213)는, 스텝 S424에 있어서 선택된 Adatation Set로부터 원하는 리프리젠테이션(Representation)을 선택한다.
스텝 S426에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S424 및 S425에 있어서 선택된 Adaptation Set나 Representation을 포함하는 세그먼트 파일을 취득한다.
스텝 S427에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S426에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S428에 있어서, 디코드부(222)는, 스텝 S427에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S429에 있어서, 표시 정보 생성부(223)는, 스텝 S428에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S429의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 프로젝션 확장 방법에 대응하는 Quality ranking에 관한 정보를 이용하여 보다 고화질의 화상의 Adaptation Set를 선택하여 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 Quality ranking에 관한 정보를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택하고, 그 스트림의 화상(보다 고화질의 화상)을 유저에게 제공할 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<네스트된 Quality Ranking 영역의 시그널링>
MPD 파일에 있어서 Quality ranking을 시그널하는 경우에도, 상술한 바와 같이 ISOBMFF 파일에 있어서 시그널하는 경우와 마찬가지로, 네스트된 영역별 Quality ranking값을 Quality ranking에 관한 정보로서 이용하도록 해도 된다. 즉, Quality ranking에 관한 정보에, 네스트된 구조의 영역별 Quality ranking에 관한 정보가 포함되도록 해도 된다.
<Quality ranking을 시그널하는 descriptor>
OMAF에서는, Sphere Region Quality Ranking Box와, 2D Region Quality Ranking Box 각각에 대응하는 DASH MPD의 descriptor로서, spherical region-wise quality ranking descriptor 및 2D region-wise quality ranking descriptor도 정의되어 있다.
이들 descriptor를 이용하여, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 시그널하도록 해도 된다. 달리 말하면, Quality ranking에 관한 정보에 spherical region-wise quality ranking descriptor가 포함되도록 해도 된다. 또한 Quality ranking에 관한 정보에 2D region-wise quality ranking descriptor가 포함되도록 해도 된다.
<Quality ranking 영역의 겹쳐짐에 관한 정보>
MPD 파일에 Quality ranking에 관한 정보를 시그널하는 경우에도, 상술한 ISOBMFF 파일의 경우와 마찬가지로, Quality ranking 영역에 겹쳐지는 영역이 존재하는지 여부를 플래그로 명시하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보에, Quality ranking 영역의 겹쳐짐에 관한 정보가 포함되도록 해도 된다. 예를 들어 화상 전체에 대하여 Quality ranking 영역의 겹쳐짐의 유무를 나타내는 정보가 포함되도록 해도 된다. 또한, 예를 들어 그 정보에 대응하는 Quality ranking 영역에 대하여 다른 Quality ranking 영역과의 겹쳐짐의 유무를 나타내는 정보가 포함되도록 해도 된다. 이와 같은 정보를 이용함으로써 클라이언트는, 겹쳐지는 영역이 존재하지 않는 영역에 대하여, 겹쳐지는 영역을 제거하는 처리가 불필요해지므로(처리를 생략할 수 있으므로), 클라이언트 처리의 효율을 향상시킬 수 있다.
또한, 어느 Quality ranking 영역 상에 다른 영역이 겹쳐져 있을 때, 어느 영역이 겹쳐져 있는 것인지를 명시하도록 해도 된다. 예를 들어 상술한 Quality ranking에 관한 정보에, 그 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보가 포함되도록 해도 된다. 또한, 예를 들어 상술한 Quality ranking에 관한 정보에, 그 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보가 포함되도록 해도 된다. 이와 같은 정보를 이용함으로써, 겹쳐지는 영역을 제외한 Quality ranking 영역을 식별하는 클라이언트 처리를 보다 용이하게 할 수 있다.
즉, 예를 들어 상술한 descriptor에 대하여 overlapped_region_presence_flag 속성, overlapped_region_flag 속성, num_overlapped_regions 속성, overlapped_region_index 속성 등을 추가하도록 해도 된다.
overlapped_region_presence_flag 속성은, 상술한 overlapped_region_presence_flag와 마찬가지로, 화상 전체에 대하여 Quality ranking 영역의 겹쳐짐의 유무를 나타내는 정보이다. 이 시맨틱스는 overlapped_region_presence_flag와 마찬가지이다.
overlapped_region_flag 속성은, 상술한 overlapped_region_flag와 마찬가지로, 그 정보에 대응하는 Quality ranking 영역에 대하여 다른 Quality ranking 영역과의 겹쳐짐의 유무를 나타내는 정보이다. 이 시맨틱스는 overlapped_region_flag와 마찬가지이다.
num_overlapped_regions 속성은, 상술한 num_overlapped_regions와 마찬가지로 각 QualityRanking 영역에 세트되는 정보이다. 그 값은, 그 num_overlapped_regions 속성이 세트된 QualityRanking 영역 상에 겹쳐져 있는 다른 QualityRanking 영역의 수를 나타낸다. 이 시맨틱스는 num_overlapped_regions와 마찬가지이다.
overlapped_region_index 속성은, 상술한 overlapped_region_index와 마찬가지로 각 QualityRanking 영역에 세트되는 정보이며, 그 값은, 그 overlapped_region_index 속성이 세트된 QualityRanking 영역(당해 영역) 상에 겹쳐져 있는 QualityRanking 영역의 인덱스(index)를 나타낸다. 즉, 이 필드의 값은, 당해 영역에 어느 QualityRanking 영역이 겹쳐져 있는지를 나타낸다. 이 시맨틱스는 num_overlapped_regions와 마찬가지이다.
즉, DASH에 있어서의 Quality ranking 정보에 기초한 Adaptation Set 선택 시에 있어서도, 상술한 ISOBMFF 파일의 경우와 마찬가지의 효과를 얻을 수 있다.
<최고·최저화질의 QualityRanking만의 시그널링>
MPD 파일의 경우에도, 상술한 ISOBMFF 파일의 경우와 마찬가지로, 최고화질 및 최저화질의 Quality ranking만을 시그널하고 그 외의 화질의 Quality ranking의 시그널은 생략하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보가, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하도록 해도 된다. 그리고 클라이언트는, 그 최고화질 및 최저화질의 Quality ranking만에 관한 정보에 기초하여 그 외의 Quality ranking을 유추하도록 해도 된다.
또한 그때, 최고 및 최저화질의 Quality ranking만을 시그널하는 것을 플래그에 의하여 명시하도록 해도 된다. 즉, 상술한 Quality ranking에 관한 정보가 추가로, 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하도록 해도 된다.
예를 들어 상술한 spherical region-wise quality ranking descriptor나 2D region-wise quality ranking descriptor에 대하여 min_max_only_flag 속성을 추가하도록 해도 된다. min_max_only_flag 속성은, 상술한 min_max_only_flag와 마찬가지로, 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보이다. 이 시맨틱스는 min_max_only_flag와 마찬가지이다. 이와 같이 함으로써, DASH에 있어서의 Quality ranking 정보에 기초한 Adaptation Set 선택 시에 있어서도, track 선택의 경우와 마찬가지의 효과를 얻을 수 있에서 적용 가능하다.
또한 최고화질 및 최저화질의 Quality Ranking만을 시그널하는 descriptor를 신규 정의하도록 해도 된다.
<최고화질의 Quality Ranking만의 시그널링>
MPD 파일의 경우에도, 상술한 ISOBMFF 파일의 경우와 마찬가지로, 최고화질의 Quality ranking만을 시그널하고 그 외의 화질의 Quality ranking의 시그널은 생략하도록 해도 된다.
예를 들어 상술한 Quality ranking에 관한 정보가, 최고화질의 Quality ranking만에 관한 정보를 포함하도록 해도 된다. 또한 그 Quality ranking에 관한 정보가, 대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking을 더 포함하도록 해도 된다.
이와 같이 함으로써 클라이언트는, 많은 Quality ranking 영역을 식별할 필요가 없어서 처리의 간이화가 가능해진다. 또한 콘텐츠 생성측도, 많은 영역의 Quality를 산출하거나 시그널하거나 할 필요가 없기 때문에 처리의 간이화가 가능해진다.
또한 최고화질의 Quality Ranking만을 시그널하는 descriptor를 신규 정의하도록 해도 된다.
<ISOBMFF 파일에 있어서의 고화질화 영역의 속성 시그널링>
다음에, 스트림 중에서 동적으로 고화질화되는 영역이 변화하는 dynamic한 편심 구면 매핑 스트림에 대하여 설명한다. 다음에, 스트림 중에서 동적으로 고화질화되는 영역이 변화하는 경우, 고화질화되어 있는 영역의 속성을 시그널함으로써, 유저 프레퍼런스에 따른 스트림 선택을 가능하게 한다.
예를 들어 ISOBMFF 파일에 포함되는, 상술한 프로젝션 확장에 대응하는, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상의 화질에 관한 정보에, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보가 포함되도록 해도 된다.
예를 들어 파일 생성 장치(100)의 세그먼트 파일 생성부(123)가, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 투영 평면 화상의 화질에 관한 정보를 ISOBMFF 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 데이터 해석·복호부(216)가, ISOBMFF 파일에 포함되는 투영 평면 화상의 화질에 관한 정보의, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보에 기초하여 스트림을 선택하도록 해도 된다.
이와 같이 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 이용함으로써, 유저 프레퍼런스에 따라, 원하는 영역이 고화질화되어 있는 편심 구면 매핑이 적용된 스트림을 선택할 수 있다. 이것에 의하여, 원하는 영역이 고화질로 된 스트림을 유저로 하여금 시청하게 할 수 있어서 유저 체험을 향상시킬 수 있다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 61의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S441에 있어서, 화상과 메타데이터를 취득한다.
스텝 S442에 있어서, 세그먼트 파일 생성부(123)는 track별 고화질화 영역의 속성에 관한 정보를 포함하는 ISOBMFF 파일을 생성한다.
스텝 S443에 있어서, 기록부(114)는, 스텝 S442의 처리에 의하여 생성된 ISOBMFF 파일을 기록한다.
스텝 S444에 있어서, 업로드부(115)는, 스텝 S443에 있어서 기록된 ISOBMFF 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S444의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 ISOBMFF 파일을 생성할 수 있다.
따라서 클라이언트는, 그 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택할 수 있다. 즉, 보다 고화질의 화상을 보다 용이하게 유저에게 제공할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<콘텐츠 재생 처리의 흐름>
다음에, 이와 같은, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 ISOBMFF 파일의 콘텐츠를 재생하는 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 62의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 세그먼트 파일 취득부(214)는, 스텝 S461에 있어서, track별 고화질화 영역에 관한 정보를 포함하는 ISOBMFF 파일을 취득한다.
스텝 S462에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S463에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S464에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S461에 있어서 취득한 ISOBMFF 파일에 포함되는 고화질화 영역의 속성에 관한 정보에 기초하여, track별 고화질화 영역의 속성을 식별하여 표시하고, 그 표시에 기초하여 입력되는 유저의 선호에 따라 track을 선택한다.
스텝 S465에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S464에 있어서 선택된 트랙의 스트림 부호화 데이터를, 스텝 S461에 있어서 취득된 ISOBMFF 파일로부터 추출한다.
스텝 S466에 있어서, 디코드부(222)는, 스텝 S465에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S467에 있어서, 표시 정보 생성부(223)는, 스텝 S466에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S467의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, ISOBMFF 파일에 포함되는 프로젝션 확장 방법에 대응하는 고화질화 영역의 속성에 관한 정보를 이용하여 보다 고화질의 화상의 track을 선택하여 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 고화질화 영역의 속성에 관한 정보를 이용하여 보다 용이하게, 원하는 영역이 고화질로 된 스트림을 유저로 하여금 시청하게 할 수 있어서 유저 체험을 향상시킬 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<비디오 스트림의 부가 정보로서 시그널>
예를 들어 이 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」로서, ISOBMFF 파일의 Projected Omnidirectional Video Box에 있어서, Quality Emphasized Viewport Information Box를 새로이 정의하도록 해도 된다.
도 63의 신택스(441)는, Projected Omnidirectional Video Box의 신택스의 예를 나타낸다. 신택스(441)(Projected Omnidirectional Video Box의 신택스)의 위에서부터 3행째에 있어서, Quality Emphasized Viewport Information Box가 정의되어 있다.
도 64의 신택스(442)는, 그 Quality Emphasized Viewport Information Box의 신택스의 예를 나타낸다. 도 65의 시맨틱스(443)는, 그 Quality Emphasized Viewport Information Box에 있어서 추가된 필드의 시맨틱스의 예를 나타낸다.
예를 들어 viewport_type은, 고화질화되어 있는 영역의 속성을 나타내는 정보이다. 어떠한 값이 어떠한 속성을 나타내는지는 임의이다. 예를 들어 이 필드의 값이 0인 경우, 디렉터스 컷을 나타내는 것으로 봐도 된다. 또한 이 필드의 값이 1인 경우, 유저에게 가장 자주 시청되고 있는 영역을 나타내는 것으로 봐도 된다. 또한 이 필드의 값이 2인 경우, 특정 출연자를 추종하는 것을 나타내는 것으로 봐도 된다. 또한 이 필드의 값이 240 내지 255인 경우, 애플리케이션별로 결정되는 타입인 것을 나타내는 것으로 봐도 된다.
또한, 예를 들어 viewport_description은, viewport_type의 보충 정보로서의 문자열이 정의되는 정보이다.
예를 들어 유저로 하여금, 디렉터스 컷이 고화질화된 전천구 영상을 시청하게 하려는 경우, 클라이언트 장치(200)는 viewport_type=0인 track을 선택하여 재생하면 된다. 이때, viewport_description은, 예를 들어 viewport_type=0일 때는 영화 감독의 이름이, viewport_type=2일 때는 출연자의 이름이 시그널되어 스트림 선택 화면의 표시 등에 이용되도록 해도 된다.
이상과 같이, 이 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」가, ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Quality Emphasized Viewport Information Box에 저장되는, 상기 고화질화 영역의 속성을 나타내는 viewport_type을 포함하도록 해도 된다.
<ProjectionEnhancementBox의 확장>
또한 제1 실시 형태에 있어서 설명한 ISOBMFF 파일의 Projection Enhancement Box를 확장하여, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 시그널하도록 해도 된다.
도 66의 신택스(444)는, 그 경우의 Projection Enhancement Box의 신택스의 예를 나타낸다.
또한 편심 구면 매핑 스트림에 한하지 않고, 그 외의 스트림 중에서 다이내믹하게 변화하는 viewport dependent한 고화질화에도 적용 가능하다.
<Timed metadata의 부가 정보로서 시그널>
recommended viewport timed metadata에, 전천구 영상의 고화질화 영역과 recommended viewport가 일치하는 것을 나타내는 플래그를 추가하도록 해도 된다. recommended viewport timed metadata에 따라, 클라이언트의 시야 변경에 관계없이 recommended viewport를 표시함으로써, 항시 고화질화 영역을 표시할 수 있다. 또한 recommended viewport timed metadata의 track과 전천구 영상의 track은, track reference에 의한 참조 관계로 연관지어진다.
또한 편심 구면 매핑 스트림에 한하지 않고, 그 외의 스트림 중에서 다이내믹하게 변화하는 viewport dependent한 고화질화에도 적용 가능하다.
이와 같은 플래그의 시그널을 위하여, OMAF로 정의된 Recommended viewport information Box(RcvpInfoBox)를 확장하도록 해도 된다. RvcpInfoBox는 recommended viewport timed metadata의 SampleEntry에 시그널된다.
즉, 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」가, ISOBMFF 파일의 recommended viewport timed metadata의 RcvpInfoBox에 저장되는, 그 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 플래그 정보를 포함하도록 해도 된다.
도 67의 신택스(445)는 그 RcvpInfoBox의 신택스의 예를 나타낸다. 또한 도 68의 시맨틱스(446)는, 그 RcvpInfoBox에 추가된 필드의 시맨틱스의 예를 나타낸다.
quality_emphasized_region_matching_flag는, 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 플래그이다. 이 필드의 값이 「1」인 경우, 연관지어지는 전천구 영상의 고화질화 영역과 recommended viewport가 일치하는 것을 나타낸다.
또한 도 69에 나타난 바와 같이, quality_emphasized_region_matching_flag를 시그널하지 않고 recommended viewport timed metadata의 track과 전천구 영상의 track을 연관짓는 track reference에 있어서, 특정 reference type이, timed metadata로 시그널된 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 것으로 봐도 된다. 예를 들어 reference_type="empr"를 참조하는 경우에, recommended viewport가 전천구 영상의 고화질화 영역과 일치하는 것을 나타내는 것으로 보자.
또한 전천구 영상을 저장하는 track에 연관지어지는 recommended viewport timed metadata로 시그널되는 recommended viewport가, 전천구 영상의 고화질화 영역과 일치하는지 여부를 나타내는 플래그를 시그널해도 된다. 도 70에 나타나는 신택스(461)는, Projection Enhancement Box의 신택스의 예를 나타낸다. 이 신택스(461)에 나타난 바와 같이 Projection Enhancement Box에 있어서, 전천구 영상을 저장하는 track에 연관지어지는 recommended viewport timed metadata로 시그널되는 recommended viewport가, 전천구 영상의 고화질화 영역과 일치하는지 여부를 나타내는 플래그 recommended_viewport_matching_flag를 설정하도록 해도 된다. 이 recommended_viewport_matching_flag의 값이 1인 경우, recommended viewport가 전천구 영상의 고화질화 영역과 일치하는 것을 나타낸다.
<MPD 파일에 있어서의 고화질화 영역의 속성 시그널링>
제2 실시 형태에 있어서 설명한 바와 같이 프로젝션 확장에 관한 정보를 MPD 파일에 있어서 시그널하는 경우에도, 상술한 ISOBMFF 파일의 경우와 마찬가지로, 고화질화되어 있는 영역의 속성을 시그널함으로써, 동적으로 고화질화되는 영역이 변화하는 스트림에 대하여 유저 프레퍼런스에 따른 스트림 선택을 가능하게 한다.
예를 들어 MPD 파일에 포함되는, 상술한 프로젝션 확장에 대응하는, 입체 구조에 투영된 화상인 입체 구조 화상이 그 프로젝션 확장을 적용한 투영 방법에 의하여 단수의 평면에 매핑된 투영 평면 화상의 화질에 관한 정보에, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보가 포함되도록 해도 된다.
예를 들어 파일 생성 장치(100)의 MPD 파일 생성부(113)가, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 투영 평면 화상의 화질에 관한 정보를 MPD 파일에 포함시키도록 해도 된다. 또한, 예를 들어 클라이언트 장치(200)의 MPD 파일 처리부(213)가, MPD 파일에 포함되는 투영 평면 화상의 화질에 관한 정보의, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보에 기초하여 스트림을 선택하도록 해도 된다.
이와 같이 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 이용함으로써, 유저 프레퍼런스에 따라, 원하는 영역이 고화질화되어 있는 편심 구면 매핑이 적용된 스트림을 선택할 수 있다. 이것에 의하여, 원하는 영역이 고화질로 된 스트림을 유저로 하여금 시청하게 할 수 있어서 유저 체험을 향상시킬 수 있다.
<업로드 처리의 흐름>
그 경우의 도 4의 파일 생성 장치(100)에 의하여 실행되는 업로드 처리의 흐름의 예를, 도 71의 흐름도를 참조하여 설명한다.
업로드 처리가 개시되면, 파일 생성 장치(100)의 데이터 입력부(111)는, 스텝 S481에 있어서, 화상과 메타데이터를 취득한다.
스텝 S482에 있어서, 세그먼트 파일 생성부(123)는 그 화상의 세그먼트 파일을 생성한다.
스텝 S483에 있어서, MPD 파일 생성부(113)는, Adaptation Set별 고화질화 영역의 속성에 관한 정보를 포함하는 MPD 파일을 생성한다.
스텝 S484에 있어서 기록부(114)는, 스텝 S483의 처리에 의하여 생성된 MPD 파일을 기록한다. 또한 기록부(114)는, 스텝 S482의 처리에 의하여 생성된 세그먼트 파일을 기록한다.
스텝 S485에 있어서, 업로드부(115)는, 스텝 S484에 있어서 기록된 MPD 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다. 또한 업로드부(115)는, 스텝 S484에 있어서 기록된 세그먼트 파일을 기록부(114)로부터 판독하고 그것을 서버에 업로드한다.
스텝 S485의 처리가 종료되면 업로드 처리가 종료된다.
이상과 같이 업로드 처리를 행함으로써 파일 생성 장치(100)는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 MPD 파일을 생성할 수 있다.
따라서 클라이언트는, 그 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」를 이용하여 보다 용이하게 보다 고화질의 화상의, 프로젝션 확장 방법이 적용된 스트림을 선택할 수 있다. 즉, 보다 고화질의 화상을 보다 용이하게 유저에게 제공할 수 있다. 즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<콘텐츠 재생 처리의 흐름>
다음에, 이와 같은, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는 MPD 파일의 콘텐츠를 재생하는 경우의 클라이언트 장치(200)에 의하여 실행되는 콘텐츠 재생 처리의 흐름의 예를, 도 72의 흐름도를 참조하여 설명한다.
콘텐츠 재생 처리가 개시되면, 클라이언트 장치(200)의 MPD 파일 취득부(212)는, 스텝 S501에 있어서, Adaptation Set별 고화질화 영역에 관한 정보를 포함하는 MPD 파일을 취득한다.
스텝 S502에 있어서, 표시 제어부(215)는 유저의 시점 위치(및 시선 방향)의 계측 결과를 취득한다.
스텝 S503에 있어서, 계측부(211)는, 서버와 클라이언트 장치(200) 사이의 네트워크의 전송 대역폭을 계측한다.
스텝 S504에 있어서, MPD 파일 처리부(213)는, 스텝 S501에 있어서 취득한 MPD 파일에 포함되는 고화질화 영역의 속성에 관한 정보에 기초하여, Adaptation Set별 고화질화 영역의 속성을 식별하여 표시하고, 그 표시에 기초하여 입력되는 유저의 선호에 따라 Adaptation Set를 선택한다.
스텝 S505에 있어서, MPD 파일 처리부(213)는, 스텝 S504에 있어서 선택된 Adatation Set로부터 원하는 리프리젠테이션(Representation)을 선택한다.
스텝 S506에 있어서, 세그먼트 파일 취득부(214)는, 스텝 S504 및 S505에 있어서 선택된 Adaptation Set나 Representation을 포함하는 세그먼트 파일을 취득한다.
스텝 S507에 있어서, 세그먼트 파일 처리부(221)는, 스텝 S506에 있어서 취득된 세그먼트 파일로부터 부호화 데이터를 추출한다.
스텝 S508에 있어서, 디코드부(222)는, 스텝 S507에 있어서 추출된 스트림의 부호화 데이터를 복호한다.
스텝 S509에 있어서, 표시 정보 생성부(223)는, 스텝 S508에 있어서 복호되어 얻어진 스트림(콘텐츠)을 재생한다. 보다 구체적으로는, 표시 정보 생성부(223)는 그 스트림으로부터 표시용 화상의 데이터를 생성하고, 그것을 표시부(217)에 공급하여 표시시킨다.
스텝 S509의 처리가 종료되면 콘텐츠 재생 처리가 종료된다.
이상과 같이 콘텐츠 재생 처리를 행함으로써 클라이언트 장치(200)는, MPD 파일에 포함되는 프로젝션 확장 방법에 대응하는 고화질화 영역의 속성에 관한 정보를 이용하여 보다 고화질의 화상의 Adaptation Set를 선택하여 재생할 수 있다.
따라서 클라이언트 장치(200)는, 그 고화질화 영역의 속성에 관한 정보를 이용하여 보다 용이하게, 원하는 영역이 고화질로 된 스트림을 유저로 하여금 시청하게 할 수 있어서 유저 체험을 향상시킬 수 있다.
즉, 새로운 projection format의 채용 등과 같은 대폭적인 규격 변경을 필요로 하지 않고 projection format을 viewport dependent한 고화질화에 대응시킬 수 있다. 즉, 부호화 효율의 저감을 억제하는 보다 고화질의 화상 제공을 보다 용이하게 실현할 수 있다.
<비디오 스트림의 부가 정보로서 시그널>
MPD 파일에 있어서 시그널하는 경우, 예를 들어 이 「다른 영역보다도 고화질인 고화질화 영역에 관한 정보」로서, MPD 파일에 있어서 새로이 Quality emphasized viewport info descriptor를 정의하도록 해도 된다.
예를 들어 @schemeIdUri="urn:mpeg:mpegI:omaf:2017:qevi"의 Supplemental Property를 Quality emphasized viewport info descriptor로서 정의하도록 해도 된다. 또한 동일한 schemeIdUri의 Essential Property를 이용해도 된다. 또한 Quality emphasized viewport info descriptor는 상술한 예에 한하지 않고, 예를 들어 AdaptationSet나 Representation 레벨에도 존재 가능하다.
도 73의 속성값(471)은, 이 Quality emphasized viewport info descriptor의 속성값의 예를 나타낸다. 이 속성값(471)에 나타나는 omaf:@viewport_type은, 데이터 타입이 xs:unsignedByte이고 고화질화되어 있는 영역의 속성을 나타낸다.
어떠한 값이 어떠한 속성을 나타내는지는 임의이다. 예를 들어 이 속성값이 0인 경우, 디렉터스 컷인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값이 1인 경우, 유저에게 가장 자주 시청되고 있는 영역인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값이 2인 경우, 특정 출연자를 추종하는 것을 나타내는 것으로 봐도 된다. 또한, 예를 들어 이 속성값이 240 내지 255인 경우, 애플리케이션별로 결정되는 타입인 것을 나타내는 것으로 봐도 된다.
또한 속성값(471)에 나타나는 omaf:@viewport_description은, 데이터 타입이 xs:string이고 viewport_type의 보충 정보로서의 문자열을 나타낸다.
도 74에 나타나는 데이터 타입(472)은, 이 경우의 데이터 타입의 정의의 예를 나타낸다.
즉, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보는, MPD 파일에 정의되는 Quality emphasized viewport info descriptor의, 그 고화질화 영역의 속성을 나타내는 속성값인 omaf:@viewport_type을 포함하도록 해도 된다.
<ProjectionEnhancementBox의 확장>
또한 Projection enhancement descriptor를 확장하여, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 시그널하도록 해도 된다.
또한 편심 구면 매핑 스트림에 한하지 않고, 그 외의 스트림 중에서 다이내믹하게 변화하는 viewport dependent한 고화질화에도 적용 가능하다.
<Timed metadata의 부가 정보로서 시그널>
또한 Recommended viewport information descriptor를 새로이 정의하고, 전천구 영상의 고화질화 영역의 속성과, 고화질화 영역이 recommended viewport와 일치하는지 여부를 나타내는 플래그를 시그널하도록 해도 된다.
그 경우, @schemeIdUri="urn:mpeg:mpegI:omaf:2017:rvif"의 Supplemental Property를 Projection enhancement descriptor로서 정의한다. 또한 동일한 schemeIdUri의 Essential Property를 이용해도 된다. 또한 이 descriptor는 상술한 예에 한하지 않고, Adaptation Set나 Representation 레벨에도 존재 가능하다.
또한 recommended viewport timed metadata의 Representation과 전천구 영상의 Representation은, @associationId 및 @associationType에 의하여 연관지어진다.
도 75에 나타나는 속성값(473)은, Recommended viewport information descriptor의 속성값의 예를 나타낸다. omaf:@viewport_type은, 데이터 타입이 xs:unsignedByte이고 recommended viewport의 타입을 나타내는 속성값이다.
어떠한 값이 어떠한 타입을 나타내는지는 임의이다. 예를 들어 이 속성값의 값이 0인 경우, 디렉터스 컷인 것을 나타내는 것으로 봐도 된다. 또한 이 속성값의 값이 1인 경우, 유저에게 가장 자주 시청되고 있는 영역을 나타내는 것으로 봐도 된다. 또한 이 속성값의 값이 3인 경우, 특정 출연자를 추종하는 것을 나타내는 것으로 봐도 된다. 또한 이 속성값이 240 내지 255인 경우, 애플리케이션별로 결정되는 타입을 나타내는 것으로 봐도 된다.
또한 omaf:@viewport_description은, 데이터 타입이 xs:string이고 viewport_type의 보충 정보로서의 문자열을 나타내는 속성값이다.
또한 omaf:@quality_emphasized_region_matching_flag는, 데이터 타입이 xs:boolean이고 전천구 영상의 고화질화 영역과 recommended viewport가 매치되는 것을 나타내는 속성값이다. 예를 들어 이 속성값의 값이 1인 경우, 연관지어지는 전천구 영상의 고화질화 영역과 recommended viewport가 매치되는 것을 나타내는 것으로 봐도 된다.
즉, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보가, MPD 파일에 정의되는 Recommended viewport information descriptor의, 그 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 속성값인 omaf:@quality_emphasized_region_matching_flag를 포함하도록 해도 된다.
또한 도 76의 데이터 타입(474)은, 이 경우의 데이터 타입의 정의의 예를 나타낸다.
클라이언트는, 이 descriptor로부터 연관지어지는 스트림의 고화질화 영역의 속성을 식별하여 스트림 선택을 행할 수 있다.
또한 omaf:@quality_emphasized_region_matching_flag를 시그널하지 않고 recommended viewport timed metadata의 Representation이, 전천구 영상의 Representation과 @associationId 및 @associationType으로 연관지어질 때, 특정 @associationType가, timed metadata로 시그널되는 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 것으로 봐도 된다. 예를 들어 @associationType="empr"으로 연관지어지는 경우에, recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 것으로 보자. 도 77의 MPD(475)는, 그 경우의 MPD의 예를 나타낸다.
또한 Projection enhancement descriptor를 확장하여, 전천구 영상을 저장하는 track에 연관지어지는 recommended viewport timed metadata로 시그널되는 recommended viewport가, 전천구 영상의 고화질화 영역과 일치하는지 여부를 나타내는 플래그 recommended_viewport_matching_flag를 설정하도록 해도 된다.
지금까지, 고화질화되는 영역의 결정은 콘텐츠 생성측에서 행해지고 있는 예를 다루었지만, 클라이언트 장치(200)가 프레퍼런스 정보(예를 들어 특정 등장 인물 등)를, 스트림을 배신하는 서버에 송신함으로써, 그 서버가 동적으로, 클라이언트가 원하는 대상을 고화질화한 스트림을 인코드하여 배신하도록 해도 된다.
<5. 부기>
<컴퓨터>
상술한 일련의 처리는 하드웨어에 의하여 실행시킬 수도 있고 소프트웨어에 의하여 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의하여 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 퍼스널 컴퓨터 등이 포함된다.
도 78은, 상술한 일련의 처리를 프로그램에 의하여 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
도 78에 나타나는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은 버스(904)를 통하여 상호 간에 접속되어 있다.
버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.
입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을 입출력 인터페이스(910) 및 버스(904)를 통하여 RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적당히 기억된다.
컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써 입출력 인터페이스(910)를 통하여 기억부(913)에 인스톨할 수 있다.
또한 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은 유선 또는 무선 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은 통신부(914)에서 수신하여 기억부(913)에 인스톨할 수 있다.
그 외에 이 프로그램은 ROM(902)이나 기억부(913)에 미리 인스톨해 둘 수도 있다.
<본 기술의 적용 대상>
이상에 있어서는, ISOBMFF 파일 또는 MPD 파일에 본 기술을 적용하는 경우에 대하여 설명하였지만, 본 기술은 이들 예에 한하지 않고, 프로젝션 확장을 적용하여 입체 구조 화상을 단수의 평면에 매핑한 투영 평면 화상의 스트림을 배신하는 임의의 규격의 파일에 대하여 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 배신 제어, 파일 형식, 부호화·복호 방식 등의 각종 처리의 사양은 임의이다. 또한 본 기술과 모순되지 않는 한, 상술한 일부의 처리나 사양을 생략해도 된다.
또한 이상에 있어서는, 본 기술의 적용예로서 파일 생성 장치(100)나 클라이언트 장치(200)에 대하여 설명하였지만, 본 기술은 임의의 구성에 적용할 수 있다.
예를 들어 본 기술은, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신, 및 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 리코더나 카메라) 등의 다양한 전자 기기에 적용될 수 있다.
또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 이용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 이용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 그 외의 기능을 더 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부의 구성으로서 실시할 수도 있다.
또한, 예를 들어 본 기술은, 복수의 장치에 의하여 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어 본 기술을, 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.
또한 본 명세서에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서 별개의 하우징에 수납되고 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는 모두 시스템이다.
<본 기술을 적용 가능한 분야·용도>
본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등 임의의 분야에 이용할 수 있다. 또한 그 용도도 임의이다.
예를 들어 본 기술은, 관상용 콘텐츠 등의 제공용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 보안용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 기계 등의 자동 제어용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들어 본 기술은, 농업이나 축산업용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한 본 기술은, 예를 들어 화산, 삼림, 해양 등의 자연의 상태나 야생 생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들어 본 기술은, 스포츠용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다.
<그 외>
또한 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 참(1) 또는 거짓(0)의 2상태를 식별할 때 이용하는 정보뿐 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2값이어도 되고 3값 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit 수는 임의이며, 1bit여도 복수 bit여도 된다. 또한 식별 정보(플래그도 포함함)는, 그 식별 정보를 비트 스트림에 포함시키는 형태뿐 아니라, 어떤 기준으로 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함시키는 형태도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는 그 정보뿐 아니라, 기준으로 되는 정보에 대한 차분 정보도 포함한다.
또한 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면 어떠한 형태로 전송 또는 기록되도록 해도 된다. 여기서 「관련짓다」라는 용어는, 예를 들어 한쪽 데이터를 처리할 때 다른 쪽 데이터를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 관련지어진 데이터는 하나의 데이터로서 통합되어도 되고, 각각 개별 데이터로 해도 된다. 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한 이 「관련짓기」는, 데이터 전체가 아니라 데이터의 일부여도 된다. 예를 들어 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어지도록 해도 된다.
또한 본 명세서에 있어서, 「합성하다」, 「다중화하다」, 「부가하다」, 「일체화하다」, 「포함시키다」, 「저장하다」, 「집어넣다」, 「꽂아넣다」, 「삽입하다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 하나의 데이터로 통합한다고 하는, 복수의 물건을 하나로 통합함을 의미하며, 상술한 「관련짓다」 중 하나의 방법을 의미한다.
또한 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한 각 장치(또는 각 처리부)의 구성에, 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.
또한, 예를 들어 상술한 프로그램은 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가 필요한 기능(기능 블록 등)을 갖고 필요한 정보를 얻을 수 있도록 하면 된다.
또한, 예를 들어 하나의 흐름도의 각 스텝을 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 또한 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 달리 말하면, 하나의 스텝에 포함되는 복수의 처리를 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합하여 실행할 수도 있다.
또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.
또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.
또한 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(2) 상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보를 포함하는,
(1)에 기재된 정보 처리 장치.
(3) 상기 프로젝션 확장에 관한 정보는, 적용되는 프로젝션 확장의 타입을 나타내는 정보를 포함하는,
(1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 프로젝션 확장의 타입은 EAC(Equi-Angular Cubemap)를 포함하는,
(3)에 기재된 정보 처리 장치.
(5) 상기 프로젝션 확장의 타입은 편심 구면 매핑을 포함하는,
(3) 또는 (4)에 기재된 정보 처리 장치.
(6) 상기 프로젝션 확장에 관한 정보는, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하는,
(1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7) 상기 투영 방법은 ERP(Equirectanglar projection)를 포함하는,
(1) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8) 상기 투영 방법은 CMP(Cubemap projection)를 포함하는,
(1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.
(9) 상기 파일 생성부는, 상기 프로젝션 확장에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는 상기 파일을 생성하는,
(1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(10) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box에 저장되는,
(9)에 기재된 정보 처리 장치.
(11) 상기 프로젝션 확장에 관한 정보는, 상기 Projected Omnidirectional Video Box에 저장되는, 당해 Box가 존재함으로써 프로젝션 확장이 적용되어 있는 것을 나타내는 Projection_Enhancement_Box를 포함하는,
(10)에 기재된 정보 처리 장치.
(12) 상기 프로젝션 확장에 관한 정보는, 상기 Projection_Enhancement_Box에 저장되는, 적용되는 상기 프로젝션 확장의 타입을 나타내는 enhancement_type을 포함하는,
(11)에 기재된 정보 처리 장치.
(13) 상기 프로젝션 확장에 관한 정보는, 상기 Projection_Enhancement_Box에 저장되는, 상기 프로젝션 확장의 타입별의, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하는,
(12)에 기재된 정보 처리 장치.
(14) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 ISOBMFF 파일에 저장되는, 상기 프로젝션 확장의 타입 전용의 Box를 포함하는,
(9) 내지 (13) 중 어느 한 항에 기재된 정보 처리 장치.
(15) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는,
정보 처리 방법.
(21) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 파일에 포함되는 상기 프로젝션 확장에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(22) 상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보를 포함하고,
상기 화상 처리부는, 상기 프로젝션 확장이 적용되어 있는지를 나타내는 정보에 기초하여 프로젝션 확장이 적용되어 있는지의 식별을 행하고, 상기 식별의 결과에 기초하여 상기 스트림을 선택하도록 구성되는,
(21)에 기재된 정보 처리 장치.
(23) 상기 프로젝션 확장에 관한 정보는, 적용되는 프로젝션 확장의 타입을 나타내는 정보를 포함하고,
상기 화상 처리부는, 상기 프로젝션 확장의 타입을 나타내는 정보에 기초하여 적용되는 프로젝션 확장의 타입의 식별을 행하고, 상기 식별의 결과에 기초하여 상기 스트림을 선택하도록 구성되는,
(21) 또는 (22)에 기재된 정보 처리 장치.
(24) 상기 프로젝션 확장의 타입은 EAC(Equi-Angular Cubemap)를 포함하는,
(23)에 기재된 정보 처리 장치.
(25) 상기 프로젝션 확장의 타입은 편심 구면 매핑을 포함하는,
(23) 또는 (24)에 기재된 정보 처리 장치.
(26) 상기 프로젝션 확장에 관한 정보는, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하고,
상기 화상 처리부는, 상기 입체 구조로의 렌더링에 필요한 정보를 이용하여, 선택한 스트림으로부터 얻어지는 화상의 상기 입체 구조로의 렌더링을 행하는,
(21) 내지 (25) 중 어느 한 항에 기재된 정보 처리 장치.
(27) 상기 투영 방법은 ERP(Equirectanglar projection)를 포함하는,
(21) 내지 (26) 중 어느 한 항에 기재된 정보 처리 장치.
(28) 상기 투영 방법은 CMP(Cubemap projection)를 포함하는,
(21) 내지 (27) 중 어느 한 항에 기재된 정보 처리 장치.
(29) 상기 파일은, 상기 프로젝션 확장에 관한 정보를, 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는,
(21) 내지 (28) 중 어느 한 항에 기재된 정보 처리 장치.
(30) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box에 저장되는,
(29)에 기재된 정보 처리 장치.
(31) 상기 프로젝션 확장에 관한 정보는, 상기 Projected Omnidirectional Video Box에 저장되는, 당해 Box가 존재함으로써 프로젝션 확장이 적용되어 있는 것을 나타내는 Projection_Enhancement_Box를 포함하는,
(30)에 기재된 정보 처리 장치.
(32) 상기 프로젝션 확장에 관한 정보는, 상기 Projection_Enhancement_Box에 저장되는, 적용되는 상기 프로젝션 확장의 타입을 나타내는 enhancement_type을 포함하는,
(31)에 기재된 정보 처리 장치.
(33) 상기 프로젝션 확장에 관한 정보는, 상기 Projection_Enhancement_Box에 저장되는, 상기 프로젝션 확장의 타입별의, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하는,
(32)에 기재된 정보 처리 장치.
(34) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 ISOBMFF 파일에 저장되는, 상기 프로젝션 확장의 타입 전용의 Box를 포함하는,
(29) 내지 (33) 중 어느 한 항에 기재된 정보 처리 장치.
(35) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 프로젝션 확장에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(41) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(42) 상기 화질에 관한 정보는, Quality ranking에 관한 정보를 포함하는,
(41)에 기재된 정보 처리 장치.
(43) 상기 Quality ranking에 관한 정보는, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 포함하는,
(42)에 기재된 정보 처리 장치.
(44) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 Quality ranking에 관한 정보는 Sphere_Region_Quality_Ranking_Box를 포함하는,
(43)에 기재된 정보 처리 장치.
(45) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 Quality ranking에 관한 정보는 2D_Region_Quality_Ranking_Box를 포함하는,
(43) 또는 (44)에 기재된 정보 처리 장치.
(46) 상기 Quality ranking에 관한 정보는, 상기 영역의 겹쳐짐에 관한 정보를 포함하는,
(43) 내지 (45) 중 어느 한 항에 기재된 정보 처리 장치.
(47) 상기 영역의 겹쳐짐에 관한 정보는, 화상 전체에 대하여 상기 영역의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(46)에 기재된 정보 처리 장치.
(48) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 대하여 다른 영역과의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(46) 또는 (47)에 기재된 정보 처리 장치.
(49) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보를 포함하는,
(46) 내지 (48) 중 어느 한 항에 기재된 정보 처리 장치.
(50) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보를 포함하는,
(46) 내지 (49) 중 어느 한 항에 기재된 정보 처리 장치.
(51) 상기 Quality ranking에 관한 정보는, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하는,
(42)에 기재된 정보 처리 장치.
(52) 상기 Quality ranking에 관한 정보는 추가로, 상기 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하는,
(51)에 기재된 정보 처리 장치.
(53) 상기 Quality ranking에 관한 정보는,
최고화질의 Quality ranking만에 관한 정보와,
대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking
을 포함하는, (42)에 기재된 정보 처리 장치.
(54) 상기 화질에 관한 정보는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는,
(41) 내지 (53) 중 어느 한 항에 기재된 정보 처리 장치.
(55) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Quality Emphasized Viewport Information Box에 저장되는, 상기 고화질화 영역의 속성을 나타내는 viewport_type을 포함하는,
(54)에 기재된 정보 처리 장치.
(56) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 ISOBMFF 파일의 recommended viewport timed metadata의 RcvpInfoBox에 저장되는, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 플래그 정보를 포함하는,
(54) 또는 (55)에 기재된 정보 처리 장치.
(57) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, recommended viewport timed metadata의 track과 전천구 영상의 track을 연관짓는 track reference의, timed metadata로 시그널된 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 reference_type을 포함하는,
(54) 내지 (56) 중 어느 한 항에 기재된 정보 처리 장치.
(58) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(41) 내지 (57) 중 어느 한 항에 기재된 정보 처리 장치.
(59) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는,
정보 처리 방법.
(61) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 파일에 포함되는 상기 투영 평면 화상의 화질에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(62) 상기 화질에 관한 정보는, Quality ranking에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 Quality ranking에 관한 정보에 기초하여 상기 스트림의 선택을 행하도록 구성되는,
(61)에 기재된 정보 처리 장치.
(63) 상기 Quality ranking에 관한 정보는, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 포함하는,
(62)에 기재된 정보 처리 장치.
(64) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 Quality ranking에 관한 정보는 Sphere_Region_Quality_Ranking_Box를 포함하는,
(63)에 기재된 정보 처리 장치.
(65) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 Quality ranking에 관한 정보는 2D_Region_Quality_Ranking_Box를 포함하는,
(63) 또는 (64)에 기재된 정보 처리 장치.
(66) 상기 Quality ranking에 관한 정보는, 상기 영역의 겹쳐짐에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 영역의 겹쳐짐에 관한 정보에 기초하여 상기 스트림의 선택을 행하는,
(63) 내지 (65)에 기재된 정보 처리 장치.
(67) 상기 영역의 겹쳐짐에 관한 정보는, 화상 전체에 대하여 상기 영역의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(66)에 기재된 정보 처리 장치.
(68) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 대하여 다른 영역과의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(66) 또는 (67)에 기재된 정보 처리 장치.
(69) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보를 포함하는,
(66) 내지 (68) 중 어느 한 항에 기재된 정보 처리 장치.
(70) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보를 포함하는,
(66) 내지 (69) 중 어느 한 항에 기재된 정보 처리 장치.
(71) 상기 Quality ranking에 관한 정보는, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하는,
(62) 중 어느 한 항에 기재된 정보 처리 장치.
(72) 상기 Quality ranking에 관한 정보는 추가로, 상기 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하는,
(71)에 기재된 정보 처리 장치.
(73) 상기 Quality ranking에 관한 정보는,
최고화질의 Quality ranking만에 관한 정보와,
대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking
을 포함하는, (62)에 기재된 정보 처리 장치.
(74) 상기 화질에 관한 정보는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 고화질 영역에 관한 정보에 기초하여 상기 스트림의 선택을 행하도록 구성되는,
(61) 내지 (73) 중 어느 한 항에 기재된 정보 처리 장치.
(75) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Quality Emphasized Viewport Information Box에 저장되는, 상기 고화질화 영역의 속성을 나타내는 viewport_type을 포함하는,
(74)에 기재된 정보 처리 장치.
(76) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 ISOBMFF 파일의 recommended viewport timed metadata의 RcvpInfoBox에 저장되는, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 플래그 정보를 포함하는,
(74) 또는 (75)에 기재된 정보 처리 장치.
(77) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 고화질화 영역에 관한 정보는, recommended viewport timed metadata의 track과 전천구 영상의 track을 연관짓는 track reference의, timed metadata로 시그널된 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 reference_type을 포함하는,
(74) 내지 (76) 중 어느 한 항에 기재된 정보 처리 장치.
(78) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(61) 내지 (77)에 기재된 정보 처리 장치.
(79) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보와, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 투영 평면 화상의 화질에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(81) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(82) 상기 오프셋에 관한 정보는, 상기 오프셋의 방향에 관한 정보 및 상기 오프셋의 크기에 관한 정보를 포함하는,
(81)에 기재된 정보 처리 장치.
(83) 상기 오프셋의 방향에 관한 정보는, 상기 오프셋의 방향의 방위각에 관한 정보 및 상기 오프셋의 방향의 앙각에 관한 정보를 포함하는,
(82)에 기재된 정보 처리 장치.
(84) 상기 오프셋에 관한 정보는, 상기 화상 부호화 데이터의 스트림 중에 있어서 고정인,
(81) 내지 (83) 중 어느 한 항에 기재된 정보 처리 장치.
(85) 상기 파일 생성부는, 상기 오프셋에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는 상기 파일을 생성하는,
(84)에 기재된 정보 처리 장치.
(86) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Projection Enhancement Box에 저장되는, 상기 오프셋의 방향의 방위각을 나타내는 offset_azimuth, 상기 오프셋의 방향의 앙각을 나타내는 offset_elevation, 및 상기 오프셋의 크기를 나타내는 offset_value를 포함하는,
(85)에 기재된 정보 처리 장치.
(87) 상기 오프셋에 관한 정보는, 상기 화상 부호화 데이터의 스트림 중에 있어서 동적으로 변화하는,
(81) 내지 (83) 중 어느 한 항에 기재된 정보 처리 장치.
(88) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 Supplemental Enhancement information message에 저장되는,
(87)에 기재된 정보 처리 장치.
(89) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 timed metadata에 저장되는,
(87) 또는 (88)에 기재된 정보 처리 장치.
(90) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 Sample Group Enty에 저장되는,
(87) 내지 (89) 중 어느 한 항에 기재된 정보 처리 장치.
(91) 상기 오프셋에 관한 정보는, 상기 오프셋에 관한 정보가 상기 스트림 중에 있어서 동적으로 변화하는지를 나타내는 정보를 포함하는,
(87) 내지 (90) 중 어느 한 항에 기재된 정보 처리 장치.
(92) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(81) 내지 (91) 중 어느 한 항에 기재된 정보 처리 장치.
(93) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 생성하는,
정보 처리 방법.
(101) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 파일에 포함되는 상기 오프셋에 관한 정보에 기초하여, 상기 화상 부호화 데이터로부터 얻어진 상기 투영 평면 화상의 입체 구조로의 렌더링을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(102) 상기 오프셋에 관한 정보는, 상기 오프셋의 방향에 관한 정보 및 상기 오프셋의 크기에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 오프셋의 방향에 관한 정보 및 상기 오프셋의 크기에 관한 정보에 기초하여 상기 렌더링을 행하는,
(101)에 기재된 정보 처리 장치.
(103) 상기 오프셋의 방향에 관한 정보는, 상기 오프셋의 방향의 방위각에 관한 정보 및 상기 오프셋의 방향의 앙각에 관한 정보를 포함하는,
(102)에 기재된 정보 처리 장치.
(104) 상기 오프셋에 관한 정보는, 상기 화상 부호화 데이터의 스트림 중에 있어서 고정인,
(101) 내지 (103) 중 어느 한 항에 기재된 정보 처리 장치.
(105) 상기 파일은, 상기 오프셋에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는,
(104)에 기재된 정보 처리 장치.
(106) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Projection Enhancement Box에 저장되는, 상기 오프셋의 방향의 방위각을 나타내는 offset_azimuth, 상기 오프셋의 방향의 앙각을 나타내는 offset_elevation, 및 상기 오프셋의 크기를 나타내는 offset_value를 포함하는,
(105)에 기재된 정보 처리 장치.
(107) 상기 오프셋에 관한 정보는, 상기 화상 부호화 데이터의 스트림 중에 있어서 동적으로 변화하는,
(101) 내지 (103) 중 어느 한 항에 기재된 정보 처리 장치.
(108) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 Supplemental Enhancement information message에 저장되는,
(107)에 기재된 정보 처리 장치.
(109) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 timed metadata에 저장되는,
(107) 또는 (108)에 기재된 정보 처리 장치.
(110) 상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
상기 오프셋에 관한 정보는 Sample Group Enty에 저장되는,
(107) 내지 (109) 중 어느 한 항에 기재된 정보 처리 장치.
(111) 상기 오프셋에 관한 정보는, 상기 오프셋에 관한 정보가 상기 스트림 중에 있어서 동적으로 변화하는지를 나타내는 정보를 포함하는,
(107) 내지 (110) 중 어느 한 항에 기재된 정보 처리 장치.
(112) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(101) 내지 (111) 중 어느 한 항에 기재된 정보 처리 장치.
(113) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보와, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 오프셋에 관한 정보에 기초하여, 상기 화상 부호화 데이터로부터 얻어진 상기 투영 평면 화상의 입체 구조로의 렌더링을 행하는,
정보 처리 방법.
(121) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(122) 상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보를 포함하는,
(121)에 기재된 정보 처리 장치.
(123) 상기 프로젝션 확장에 관한 정보는, 적용되는 프로젝션 확장의 타입을 나타내는 정보를 포함하는,
(121) 또는 (122)에 기재된 정보 처리 장치.
(124) 상기 프로젝션 확장의 타입은 EAC(Equi-Angular Cubemap)를 포함하는,
(123)에 기재된 정보 처리 장치.
(125) 상기 프로젝션 확장의 타입은 편심 구면 매핑을 포함하는,
(123) 또는 (124)에 기재된 정보 처리 장치.
(126) 상기 프로젝션 확장에 관한 정보는, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하는,
(121) 내지 (125) 중 어느 한 항에 기재된 정보 처리 장치.
(127) 상기 투영 방법은 ERP(Equirectanglar projection)를 포함하는,
(121) 내지 (126) 중 어느 한 항에 기재된 정보 처리 장치.
(128) 상기 투영 방법은 CMP(Cubemap projection)를 포함하는,
(121) 내지 (127) 중 어느 한 항에 기재된 정보 처리 장치.
(129) 상기 파일 생성부는, 상기 프로젝션 확장에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는 상기 제어 파일을 생성하는,
(121) 내지 (128) 중 어느 한 항에 기재된 정보 처리 장치.
(130) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 MPD 파일에 정의되는 Projection enhancement descriptor의, 적용된 상기 프로젝션 확장의 타입을 나타내는 속성값인 omaf:@enhancement_type을 포함하는,
(129)에 기재된 정보 처리 장치.
(131) 상기 프로젝션 확장에 관한 정보는 추가로, 상기 MPD 파일에 정의되는 Projection format descriptor의, 상기 프로젝션 확장의 적용의 유무를 나타내는 속성값인 omaf:@projection_type을 포함하는,
(130)에 기재된 정보 처리 장치.
(132) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
정보 처리 방법.
(141) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 프로젝션 확장에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(142) 상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보를 포함하고,
상기 화상 처리부는, 상기 프로젝션 확장이 적용되어 있는지를 나타내는 정보에 기초하여 프로젝션 확장이 적용되어 있는지의 식별을 행하고, 상기 식별의 결과에 기초하여 상기 스트림을 선택하도록 구성되는,
(141)에 기재된 정보 처리 장치.
(143) 상기 프로젝션 확장에 관한 정보는, 적용되는 프로젝션 확장의 타입을 나타내는 정보를 포함하고,
상기 화상 처리부는, 상기 프로젝션 확장의 타입을 나타내는 정보에 기초하여 적용되는 프로젝션 확장의 타입의 식별을 행하고, 상기 식별의 결과에 기초하여 상기 스트림을 선택하도록 구성되는,
(141) 또는 (142)에 기재된 정보 처리 장치.
(144) 상기 프로젝션 확장의 타입은 EAC(Equi-Angular Cubemap)를 포함하는,
(143)에 기재된 정보 처리 장치.
(145) 상기 프로젝션 확장의 타입은 편심 구면 매핑을 포함하는,
(143) 또는 (144)에 기재된 정보 처리 장치.
(146) 상기 프로젝션 확장에 관한 정보는, 상기 입체 구조로의 렌더링에 필요한 정보를 포함하고,
상기 화상 처리부는, 상기 입체 구조로의 렌더링에 필요한 정보를 이용하여, 선택한 스트림으로부터 얻어지는 화상의 상기 입체 구조로의 렌더링을 행하는,
(141) 내지 (145) 중 어느 한 항에 기재된 정보 처리 장치.
(147) 상기 투영 방법은 ERP(Equirectanglar projection)를 포함하는,
(141) 내지 (146) 중 어느 한 항에 기재된 정보 처리 장치.
(148) 상기 투영 방법은 CMP(Cubemap projection)를 포함하는,
(141) 내지 (147) 중 어느 한 항에 기재된 정보 처리 장치.
(149) 상기 제어 파일은, 상기 프로젝션 확장에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는,
(141) 내지 (148) 중 어느 한 항에 기재된 정보 처리 장치.
(150) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 프로젝션 확장에 관한 정보는, 상기 MPD 파일에 정의되는 Projection enhancement descriptor의, 적용된 상기 프로젝션 확장의 타입을 나타내는 속성값인 omaf:@enhancement_type을 포함하는,
(149)에 기재된 정보 처리 장치.
(151) 상기 프로젝션 확장에 관한 정보는 추가로, 상기 MPD 파일에 정의되는 Projection format descriptor의, 상기 프로젝션 확장의 적용의 유무를 나타내는 속성값인 omaf:@projection_type을 포함하는,
(150)에 기재된 정보 처리 장치.
(152) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고,
취득된 상기 제어 파일에 포함되는 상기 프로젝션 확장에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
(161) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
를 구비하는, 정보 처리 장치.
(162) 상기 화질에 관한 정보는, Quality ranking에 관한 정보를 포함하는,
(161)에 기재된 정보 처리 장치.
(163) 상기 Quality ranking에 관한 정보는, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 포함하는,
(162)에 기재된 정보 처리 장치.
(164) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 Quality ranking에 관한 정보는 spherical region-wise quality ranking descriptor를 포함하는,
(163)에 기재된 정보 처리 장치.
(165) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 Quality ranking에 관한 정보는 2D region-wise quality ranking descriptor를 포함하는,
(163) 또는 (164)에 기재된 정보 처리 장치.
(166) 상기 Quality ranking에 관한 정보는, 상기 영역의 겹쳐짐에 관한 정보를 포함하는,
(163) 내지 (165) 중 어느 한 항에 기재된 정보 처리 장치.
(167) 상기 영역의 겹쳐짐에 관한 정보는, 화상 전체에 대하여 상기 영역의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(166)에 기재된 정보 처리 장치.
(168) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 대하여 다른 영역과의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(166) 또는 (167)에 기재된 정보 처리 장치.
(169) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보를 포함하는,
(166) 내지 (168) 중 어느 한 항에 기재된 정보 처리 장치.
(170) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보를 포함하는,
(166) 내지 (169) 중 어느 한 항에 기재된 정보 처리 장치.
(171) 상기 Quality ranking에 관한 정보는, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하는,
(162)에 기재된 정보 처리 장치.
(172) 상기 Quality ranking에 관한 정보는 추가로, 상기 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하는,
(171)에 기재된 정보 처리 장치.
(173) 상기 Quality ranking에 관한 정보는,
최고화질의 Quality ranking만에 관한 정보와,
대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking
을 포함하는, (162)에 기재된 정보 처리 장치.
(174) 상기 화질에 관한 정보는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는,
(161) 내지 (173) 중 어느 한 항에 기재된 정보 처리 장치.
(175) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 MPD 파일에 정의되는 Quality emphasized viewport info descriptor의, 상기 고화질화 영역의 속성을 나타내는 속성값인 omaf:@viewport_type을 포함하는,
(174)에 기재된 정보 처리 장치.
(176) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 MPD 파일에 정의되는 Recommended viewport information descriptor의, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 속성값인 omaf:@quality_emphasized_region_matching_flag를 포함하는,
(174) 또는 (175)에 기재된 정보 처리 장치.
(177) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, recommended viewport timed metadata의 Representation이 전천구 영상의 Representation과 @associationId 및 @associationType으로 연관지어질 때의, timed metadata로 시그널되는 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 상기 @associationType을 포함하는,
(174) 내지 (176) 중 어느 한 항에 기재된 정보 처리 장치.
(178) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(161) 내지 (177) 중 어느 한 항에 기재된 정보 처리 장치.
(179) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
정보 처리 방법.
(181) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하는 파일 취득부와,
상기 파일 취득부에 의하여 취득된 상기 제어 파일에 포함되는 상기 투영 평면 화상의 화질에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는 화상 처리부
를 구비하는, 정보 처리 장치.
(182) 상기 화질에 관한 정보는, Quality ranking에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 Quality ranking에 관한 정보에 기초하여 상기 스트림의 선택을 행하는,
(181)에 기재된 정보 처리 장치.
(183) 상기 Quality ranking에 관한 정보는, 네스트된 구조의 영역별 Quality ranking에 관한 정보를 포함하는,
(182)에 기재된 정보 처리 장치.
(184) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 Quality ranking에 관한 정보는 spherical region-wise quality ranking descriptor를 포함하는,
(183)에 기재된 정보 처리 장치.
(185) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 Quality ranking에 관한 정보는 2D region-wise quality ranking descriptor를 포함하는,
(183) 또는 (184)에 기재된 정보 처리 장치.
(186) 상기 Quality ranking에 관한 정보는, 상기 영역의 겹쳐짐에 관한 정보를 포함하는,
(183) 내지 (185) 중 어느 한 항에 기재된 정보 처리 장치.
(187) 상기 영역의 겹쳐짐에 관한 정보는, 화상 전체에 대하여 상기 영역의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(186)에 기재된 정보 처리 장치.
(188) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 대하여 다른 영역과의 겹쳐짐의 유무를 나타내는 정보를 포함하는,
(186) 또는 (187)에 기재된 정보 처리 장치.
(189) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역의 수를 나타내는 정보를 포함하는,
(186) 내지 (188) 중 어느 한 항에 기재된 정보 처리 장치.
(190) 상기 영역의 겹쳐짐에 관한 정보는, 상기 정보에 대응하는 영역에 겹쳐지는 다른 영역을 나타내는 정보를 포함하는,
(186) 내지 (189) 중 어느 한 항에 기재된 정보 처리 장치.
(191) 상기 Quality ranking에 관한 정보는, 최고화질 및 최저화질의 Quality ranking만에 관한 정보를 포함하는,
(182)에 기재된 정보 처리 장치.
(192) 상기 Quality ranking에 관한 정보는 추가로, 상기 최고화질 및 상기 최저화질의 Quality ranking만에 관한 정보가 포함되는지를 나타내는 정보를 포함하는,
(191)에 기재된 정보 처리 장치.
(193) 상기 Quality ranking에 관한 정보는,
최고화질의 Quality ranking만에 관한 정보와,
대응하는 영역의 Quality ranking이 미정의된 것을 나타내는 값의 Quality ranking
을 포함하는, (182)에 기재된 정보 처리 장치.
(194) 상기 화질에 관한 정보는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하고,
상기 화상 처리부는, 상기 고화질 영역에 관한 정보에 기초하여 상기 스트림의 선택을 행하는,
(181) 내지 (193) 중 어느 한 항에 기재된 정보 처리 장치.
(195) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 MPD 파일에 정의되는 Quality emphasized viewport info descriptor의, 상기 고화질화 영역의 속성을 나타내는 속성값인 omaf:@viewport_type을 포함하는,
(194)에 기재된 정보 처리 장치.
(196) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, 상기 MPD 파일에 정의되는 Recommended viewport information descriptor의, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 속성값인 omaf:@quality_emphasized_region_matching_flag를 포함하는,
(194) 또는 (195)에 기재된 정보 처리 장치.
(197) 상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
상기 고화질화 영역에 관한 정보는, recommended viewport timed metadata의 Representation이 전천구 영상의 Representation과 @associationId 및 @associationType으로 연관지어질 때의, timed metadata로 시그널되는 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 상기 @associationType을 포함하는,
(194) 내지 (196) 중 어느 한 항에 기재된 정보 처리 장치.
(198) 상기 프로젝션 확장의 타입은 편심 구면 매핑인,
(181) 내지 (196) 중 어느 한 항에 기재된 정보 처리 장치.
(199) 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 취득하고,
취득된 상기 제어 파일에 포함되는 상기 투영 평면 화상의 화질에 관한 정보에 기초하여 상기 화상 부호화 데이터의 스트림의 선택을 행하는,
정보 처리 방법.
100: 파일 생성 장치
101: 제어부
102: 메모리
103: 파일 생성부
111: 데이터 입력부
112: 데이터 부호화·생성부
113: MPD 파일 생성부
114: 기록부
115: 업로드부
121: 전처리부
122: 인코드부
123: 세그먼트 파일 생성부
200: 클라이언트 장치
201: 제어부
202: 메모리
203: 재생 처리부
211: 계측부
212: MPD 파일 취득부
213: MPD 파일 처리부
214: 세그먼트 파일 취득부
215: 표시 제어부
216: 데이터 해석·복호부
217: 표시부
221: 세그먼트 파일 처리부
222: 디코드부
223: 표시 정보 생성부
900: 컴퓨터

Claims (20)

  1. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보, 적용되는 프로젝션 확장의 타입을 나타내는 정보, 및 상기 입체 구조로의 렌더링에 필요한 정보 중 하나 이상을 포함하는,
    정보 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 파일 생성부는, 상기 프로젝션 확장에 관한 정보를, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 스트림별 정보로서 포함하는 상기 파일을 생성하는,
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
    상기 프로젝션 확장에 관한 정보는, 상기 ISOBMFF 파일의 Projected Omnidirectional Video Box에 저장되는,
    정보 처리 장치.
  5. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는 파일을 생성하는,
    정보 처리 방법.
  6. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  7. 제6항에 있어서,
    상기 화질에 관한 정보는, 다른 영역보다도 고화질인 고화질화 영역에 관한 정보를 포함하는,
    정보 처리 장치.
  8. 제7항에 있어서,
    상기 파일은 ISOBMFF(International Organization for Standardization Base Media File Format) 파일이고,
    상기 고화질화 영역에 관한 정보는,
    상기 ISOBMFF 파일의 Projected Omnidirectional Video Box 내의 Quality Emphasized Viewport Information Box에 저장되는, 상기 고화질화 영역의 속성을 나타내는 viewport_type,
    상기 ISOBMFF 파일의 recommended viewport timed metadata의 RcvpInfoBox에 저장되는, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 플래그 정보,
    및 recommended viewport timed metadata의 track과 전천구 영상의 track을 연관짓는 track reference의, timed metadata로 시그널된 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 reference_type
    중 하나 이상을 포함하는,
    정보 처리 장치.
  9. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는 파일을 생성하는,
    정보 처리 방법.
  10. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  11. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 화상의 상기 입체 구조에 대한 투영의 오프셋에 관한 정보를 포함하는 파일을 생성하는,
    정보 처리 방법.
  12. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  13. 제12항에 있어서,
    상기 프로젝션 확장에 관한 정보는, 프로젝션 확장이 적용되어 있는지를 나타내는 정보, 적용되는 프로젝션 확장의 타입을 나타내는 정보, 및 상기 입체 구조로의 렌더링에 필요한 정보 중 하나 이상을 포함하는,
    정보 처리 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 파일 생성부는, 상기 프로젝션 확장에 관한 정보를 상기 화상 부호화 데이터의 스트림별 정보로서 포함하는 상기 제어 파일을 생성하는,
    정보 처리 장치.
  15. 제14항에 있어서,
    상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
    상기 프로젝션 확장에 관한 정보는, 상기 MPD 파일에 정의되는 Projection enhancement descriptor의, 적용된 상기 프로젝션 확장의 타입을 나타내는 속성값인 omaf:@enhancement_type을 포함하는,
    정보 처리 장치.
  16. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 관한 정보를 포함하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
    정보 처리 방법.
  17. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는 파일 생성부
    를 구비하는, 정보 처리 장치.
  18. 제17항에 있어서,
    상기 화질에 관한 정보는, Quality ranking에 관한 정보, 및 다른 영역보다도 고화질인 고화질화 영역에 관한 정보 중 적어도 어느 한쪽을 포함하는,
    정보 처리 장치.
  19. 제18항에 있어서,
    상기 제어 파일은 MPD(Media Presentation Description) 파일이고,
    상기 Quality ranking에 관한 정보는,
    화상 전체에 대하여 영역의 겹쳐짐의 유무를 나타내는 정보,
    및 상기 정보에 대응하는 영역에 대하여 다른 영역과의 겹쳐짐의 유무를 나타내는 정보
    중 적어도 어느 한쪽을 포함하고,
    상기 고화질화 영역에 관한 정보는,
    상기 MPD 파일에 정의되는 Quality emphasized viewport info descriptor의, 상기 고화질화 영역의 속성을 나타내는 속성값인 omaf:@viewport_type,
    상기 MPD 파일에 정의되는 Recommended viewport information descriptor의, 상기 고화질화 영역과 권장되는 속성에 대응하는 영역이 일치하는지를 나타내는 속성값인 omaf:@quality_emphasized_region_matching_flag,
    및 recommended viewport timed metadata의 Representation이 전천구 영상의 Representation과 @associationId 및 @associationType으로 연관지어질 때의, timed metadata로 시그널되는 recommended viewport와 전천구 영상의 고화질화 영역이 일치하는 것을 나타내는 소정의 값의 상기 @associationType
    중 하나 이상을 포함하는,
    정보 처리 장치.
  20. 입체 구조에 투영된 화상인 입체 구조 화상을 단수의 평면에 매핑하는 투영 방법의 확장 방법인 프로젝션 확장에 대응하는, 상기 프로젝션 확장을 적용한 투영 방법에 의하여 상기 입체 구조 화상이 상기 평면에 매핑된 투영 평면 화상의 화질에 관한 정보를 포함하는, 상기 투영 평면 화상이 부호화된 화상 부호화 데이터의 배신 제어에 이용되는 제어 파일을 생성하는,
    정보 처리 방법.
KR1020207018879A 2018-01-12 2018-12-28 정보 처리 장치 및 방법 KR20200108420A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018003727 2018-01-12
JPJP-P-2018-003727 2018-01-12
PCT/JP2018/048422 WO2019138927A1 (ja) 2018-01-12 2018-12-28 情報処理装置および方法

Publications (1)

Publication Number Publication Date
KR20200108420A true KR20200108420A (ko) 2020-09-18

Family

ID=67219021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018879A KR20200108420A (ko) 2018-01-12 2018-12-28 정보 처리 장치 및 방법

Country Status (7)

Country Link
US (1) US20200342568A1 (ko)
EP (1) EP3739899A1 (ko)
JP (1) JPWO2019138927A1 (ko)
KR (1) KR20200108420A (ko)
CN (1) CN111543063A (ko)
TW (1) TW201939964A (ko)
WO (1) WO2019138927A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Information technology. Dynamic adaptive streaming over HTTP(DASH). Part 1: Media presentation description and segment formats, AMENDMENT 4: Segment Independent SAP Signalling(SISSI), MPD chaining, MPD reset and other extensions", ISO/IEC 23009-1:2014/PDAM 4, ISO/IEC JTC 1/SC 29/WG 11, 2015-10-23
"Information technology-Coded representation of immersive media (MPEG-I)-Part 2: Omnidirectional media format", ISO/IEC FDIS 23090-12:201x (E), ISO/IEC JTC 1/SC 29/WG 11, 2017-12-11
"Information technology-Coding of audio-visual objects-Part 12: ISO base media file format", ISO/IEC 14496-12, 2005-10-01

Also Published As

Publication number Publication date
JPWO2019138927A1 (ja) 2020-12-24
TW201939964A (zh) 2019-10-01
US20200342568A1 (en) 2020-10-29
CN111543063A (zh) 2020-08-14
EP3739899A4 (en) 2020-11-18
WO2019138927A1 (ja) 2019-07-18
EP3739899A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US10991066B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
CN109644262A (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
WO2021117859A1 (ja) 画像処理装置および方法
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
CN111919452A (zh) 用于发送信号通知相机参数信息的系统和方法
US11729366B2 (en) Information processing apparatus and method
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
JP2019125865A (ja) 情報処理装置および方法
US20210092374A1 (en) Information processing apparatus and method
KR20200108420A (ko) 정보 처리 장치 및 방법
WO2023058258A1 (ja) 画像処理システム、並びに、画像処理装置および方法
US20230396808A1 (en) Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media
US20230043591A1 (en) Information processing apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal