KR20180063063A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20180063063A
KR20180063063A KR1020187007197A KR20187007197A KR20180063063A KR 20180063063 A KR20180063063 A KR 20180063063A KR 1020187007197 A KR1020187007197 A KR 1020187007197A KR 20187007197 A KR20187007197 A KR 20187007197A KR 20180063063 A KR20180063063 A KR 20180063063A
Authority
KR
South Korea
Prior art keywords
image data
format
basic
extended
frame rate
Prior art date
Application number
KR1020187007197A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180063063A publication Critical patent/KR20180063063A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 전송한다. 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는다. 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 2개 또는 1개의 확장 비디오 스트림을 생성한다. 기본 스트림 및 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 상세하게는, 하이 프레임 레이트로 초고해상도의 화상 데이터를 송신하는 송신 장치 등에 관한 것이다.
고정 수신기와 모바일 수신기가 동일한 전송 대역을 공유하는 수신 환경에 있어서, 전송 비트 레이트의 효율적인 이용을 행하기 위해서, 해상도가 높은 고정 수신기용 화상 서비스(영상 서비스)와 중 정도의 해상도로 되는 모바일 수신기용 화상 서비스가 스트림을 공유함으로써, 고정 수신기용 서비스와 모바일 수신기용 서비스를 별도로 행하는, 소위 사이멀캐스트 서비스에 비하여, 전체의 비트 레이트를 저감할 수 있다고 생각되고 있다. 예를 들어, 특허문헌 1에는, 미디어 부호화를 스케일러블로 행하여, 저해상도의 화상 서비스를 위한 기본 레이어의 스트림과, 고해상도의 화상 서비스를 위한 확장 레이어의 스트림을 생성하고, 이들을 포함하는 방송 신호를 송신하는 것이 기재되어 있다.
한편, 스포츠 장면 등 움직임의 원활함이나 선명함이 요구되는 경우, 셔터 속도를 고속으로 하여 프레임 레이트를 높게 하는, 소위 하이 프레임 레이트의 영상 서비스가 요구된다. 하이 프레임 레이트의 서비스를 행하는 경우, 고속 프레임 셔터로 카메라 촬영된 동화상을, 그보다도 저주파수의 동화상 시퀀스로 변환하여 송신하는 것이 생각된다. 고속 프레임 셔터의 화상은, 움직임 흐려짐을 개선하여 선명도가 높은 화질을 실현하는 효과가 있는 한편, 종래의 노멀 프레임 레이트의 수신기와의 호환성을 취하는 경우에는, 하이 프레임 레이트의 영상 전체를 표시하지 않고 일부만을 표시하게 되는 것에 의한 스트로빙(strobing) 효과의 문제가 있다. 본 출원인은, 우선, 고속 프레임 셔터로 촬영된 화상에 의한 소재를 변환하여, 노멀 프레임 레이트의 디코드를 행하는 종래의 수신기에서 일정 이상의 화상 품질로 표시시키는 기술을 제안하였다(특허문헌 2 참조).
일본 특허공표 제2008-543142호 공보 국제 공개 제2015/076277호
본 기술의 목적은, 하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 전송하는 데 있다.
본 기술의 개념은,
하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리부와,
상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화부와,
상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 처리부는,
상기 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 기본 프레임 레이트로 초고해상도의 제1 화상 데이터를 얻음과 함께, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 상기 제2 확장 포맷의 화상 데이터를 얻고, 또한, 상기 제1 화상 데이터에 다운 스케일 처리를 실시하여 상기 기본 포맷의 화상 데이터를 얻음과 함께, 해당 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 상기 제1 확장 포맷의 화상 데이터를 얻는 송신 장치에 있다.
본 기술에 있어서, 화상 처리부에 의해, 하이 프레임 레이트 및 초고해상도의 화상 데이터가 처리되고, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터가 얻어진다.
여기서, 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리가 실시됨으로써 얻어진다. 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리가 실시됨으로써 얻어진다. 또한, 제1 확장 포맷의 화상 데이터는, 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 화상 제2 화상 데이터와 제1 화상 데이터 사이의 차분을 취함으로써 얻어진다.
화상 부호화부에 의해, 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림이 생성된다. 그리고, 송신부에 의해, 기본 스트림 및 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 송신된다.
이와 같이 본 기술에 있어서는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터와 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 2개 또는 1개의 확장 비디오 스트림이 송신된다. 그로 인해, 하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 전송된다.
예를 들어, 기본 프레임 레이트로 고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 표시가 가능해진다. 또한, 예를 들어 기본 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 표시가 가능해진다. 또한, 예를 들어 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 하이 프레임 레이트로 초고해상도의 화상 표시가 가능해진다.
또한, 본 기술에 있어서는, 기본 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리가 실시됨으로써 얻어진 것이다. 그로 인해, 기본 비디오 스트림만을 처리하여 표시되는 기본 프레임 레이트로 고해상도의 화상은 스트로빙 효과가 억제된 매끄러운 화상으로 된다.
또한, 본 기술에 있어서, 예를 들어 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는 이 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하도록 되어도 된다. 이 식별 정보의 삽입에 의해, 수신측에서는, 제1 확장 포맷의 화상 데이터가, 초고해상도의 화상 데이터를 얻기 위한 것임을 용이하게 인식할 수 있다.
이 경우, 예를 들어 정보 삽입부는, 공간 스케일러블의 비율을 나타내는 정보를 더 삽입하도록 되어도 된다. 수신측에서는, 이 공간 스케일러블의 비율을 나타내는 정보를 이용함으로써 공간 스케일러블의 처리를 적절하게 행하는 것이 가능하게 되어, 초고해상도의 화상 데이터를 양호하게 얻는 것이 가능해진다.
또한, 본 기술에 있어서, 예를 들어 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는 이 부호화 화상 데이터에 대응한 컨테이너 위치에, 시간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하도록 되어도 된다. 이 식별 정보의 삽입에 의해, 수신측에서는, 제2 확장 포맷의 화상 데이터가, 하이 프레임 레이트의 화상 데이터를 얻기 위한 것임을 용이하게 인식할 수 있다.
이 경우, 예를 들어 정보 삽입부는, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보를 더 삽입하도록 되어도 된다. 이 식별 정보의 삽입에 의해, 수신측에서는, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 용이하게 인식할 수 있다.
또한, 이 경우, 예를 들어 정보 삽입부는, 혼합 처리에 있어서의 비율 정보(제1 비율의 정보 및 제2 비율의 정보)를 더 삽입하도록 되어도 된다. 수신측에서는, 이 혼합 처리에 있어서의 비율 정보를 이용함으로써 시간 스케일러블의 처리를 적절하게 행하는 것이 가능하게 되어, 하이 프레임 레이트의 화상 데이터를 양호하게 얻는 것이 가능해진다.
또한, 본 기술에 있어서, 예를 들어 기본 비디오 스트림과 2개 또는 1개의 확장 비디오 스트림을 수신 장치에서 취득시키기 위한 메타 정보를 갖는 메타파일을 송신하는 송신부를 더 구비하고, 메타파일에는 스케일러빌리티의 대응을 나타내는 정보가 삽입되도록 되어도 된다. 수신측에서는, 이와 같이 메타파일에 삽입되는 스케일러빌리티의 대응을 나타내는 정보로부터, 스케일러빌리티의 대응을 용이하게 인식할 수 있어, 필요한 스트림 혹은 부호화 화상 데이터만을 취득하여 효율적으로 처리하는 것이 가능해진다.
또한, 본 기술의 다른 개념은,
기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상 데이터를 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부를 구비하고,
상기 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이며,
상기 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이며,
상기 제1 확장 포맷의 화상 데이터는, 상기 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이며,
상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리부를 더 구비하는 수신 장치에 있다.
본 기술에 있어서, 수신부에 의해, 기본 비디오 스트림과 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 기본 비디오 스트림은, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다. 2개 또는 1개의 확장 비디오 스트림은, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다.
여기서, 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이다. 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이다. 제1 확장 포맷의 화상 데이터는, 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 화상 제2 화상 데이터와 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이다.
처리부에 의해, 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터가 얻어지거나, 혹은 기본 비디오 스트림 및 확장 비디오 스트림의 양쪽이 처리되어 기본 프레임 레이트로 초고해상도의 화상의 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터가 얻어진다.
이와 같이 본 기술에 있어서는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻을 수 있다. 즉, 기본 프레임 레이트로 고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 표시가 가능하게 되어, 하위 호환을 실현할 수 있다.
여기서, 기본 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리가 실시됨으로써 얻어진 것이다. 그로 인해, 기본 비디오 스트림만을 처리하여 표시되는 기본 프레임 레이트로 고해상도의 화상은 스트로빙 효과가 억제된 매끄러운 화상으로 된다.
또한, 기본 비디오 스트림 및 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻을 수 있다. 즉, 기본 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 표시가 가능해진다. 또한, 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 하이 프레임 레이트로 초고해상도의 화상 표시가 가능해진다.
또한, 본 기술에 있어서, 예를 들어 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 이 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며, 처리부는, 기본 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 이 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보를 이용하도록 되어도 된다. 이 경우, 공간 스케일러블의 처리를 적절하게 행하는 것이 가능하게 되어, 기본 프레임 레이트로 초고해상도의 화상 데이터를 양호하게 얻는 것이 가능해진다.
또한, 본 기술에 있어서, 예를 들어 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 이 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며, 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 이 부호화 화상 데이터에 대응한 컨테이너 위치에 제1 비율의 정보 및 제2 비율의 정보가 삽입되어 있으며, 처리부는, 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 이 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보, 제1 비율의 정보 및 제2 비율의 정보를 이용하도록 되어도 된다. 이 경우, 공간 스케일러블 및 시간 스케일러블의 처리를 적절하게 행하는 것이 가능하게 되어, 하이 프레임 레이트로 초고해상도의 화상 데이터를 양호하게 얻는 것이 가능해진다.
본 기술에 의하면, 하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 전송할 수 있다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 더욱 부가적인 효과가 있어도 된다.
도 1은, MPEG-DASH 베이스의 스트림 배신 시스템의 구성예를 나타내는 블록도이다.
도 2는, MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 나타내는 도면이다.
도 3은, 실시 형태로서의 송수신 시스템의 구성예를 나타내는 블록도이다.
도 4는, 혼합비에 따라 변화하는 셔터 개구율을 설명하기 위한 도면이다.
도 5는, 서비스 송신 시스템 및 서비스 수신기의 처리의 개요를 나타내는 도면이다.
도 6은, 기본 비디오 스트림 STb와 확장 스트림 STe1, STe2의 3스트림 구성의 전송의 경우에서의 스트림 구성예를 나타내는 도면이다.
도 7은, 3스트림 구성의 전송의 경우에서의 DASH/MP4의 트랙 구성을 나타내는 도면이다.
도 8은, 트랙 B, 트랙 E1, 트랙 E2의 각 트랙의 데이터를 포함하는 MP4 스트림(파일)의 구성예를 나타내는 도면이다.
도 9는, SPS(VPS)의 요소의 일례를 나타내는 도면이다.
도 10은, 비디오 스케일러빌리티 SEI의 구조예를 나타내는 도면이다.
도 11은, 비디오 스케일러빌리티 SEI의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 12는, 비디오 스케일러빌리티 인포메이션 디스크립터의 구조예를 나타내는 도면이다.
도 13은, 3스트림 구성의 전송의 경우에서의 MPD 파일의 기술예를 나타내는 도면이다.
도 14는, 기본 비디오 스트림 STb와 확장 스트림 STe의 2스트림 구성의 전송의 경우에서의 스트림 구성예를 나타내는 도면이다.
도 15는, 2스트림 구성의 전송의 경우에서의 DASH/MP4의 트랙 구성을 나타내는 도면이다.
도 16은, 트랙 B, 트랙 EH의 각 트랙의 데이터를 포함하는 MP4 스트림(파일)의 구성예를 나타내는 도면이다.
도 17은, 2스트림 구성의 전송의 경우에서의 MPD 파일의 기술예를 나타내는 도면이다.
도 18은, 서비스 송신 시스템의 구성예를 나타내는 블록도이다.
도 19는, 비디오 인코더의 구성을 개략적으로 나타내는 도면이다.
도 20은, 비디오 인코더에 있어서의 프로세스 1의 처리를 행하는 신호 처리부와 프로세스 2의 처리를 행하는 신호 처리부의 부분을 나타내는 도면이다.
도 21은, 프로세스 1의 처리를 행하는 신호 처리부의 구성예를 나타내는 블록도이다.
도 22는, 프로세스 1의 처리를 행하는 신호 처리부에 있어서의 입력 데이터(화상 데이터 Va)와 출력 데이터(화상 데이터 Vb, Vc)의 관계의 일례를 모식적으로 나타내는 도면이다.
도 23은, 프로세스 2의 처리를 행하는 신호 처리부의 구성예를 나타내는 블록도이다.
도 24는, 하이 프레임 레이트로 초고해상도의 동화상 데이터를 처리 가능한 서비스 수신기의 구성예를 나타내는 블록도이다.
도 25는, 비디오 디코더의 구성을 개략적으로 나타내는 도면이다.
도 26은, 비디오 디코더에 있어서의 인버스 프로세스 1의 처리를 행하는 신호 처리부와 인버스 프로세스 2의 처리를 행하는 신호 처리부의 부분을 나타내는 도면이다.
도 27은, 인버스 프로세스 2의 처리를 행하는 신호 처리부의 구성예를 나타내는 블록도이다.
도 28은, 인버스 프로세스 1의 처리를 행하는 신호 처리부의 구성예를 나타내는 블록도이다.
도 29는, 기본 프레임 레이트로 초고해상도의 동화상 데이터를 처리 가능한 서비스 수신기의 구성예를 나타내는 블록도이다.
도 30은, 기본 프레임 레이트로 고해상도의 동화상 데이터를 처리 가능한 서비스 수신기의 구성예를 나타내는 블록도이다.
도 31은, 3스트림 구성의 전송의 경우에서의 트랜스포트 스트림의 구성예를 나타내는 도면이다.
도 32는, 2스트림 구성의 전송의 경우에서의 트랜스포트 스트림의 구성예를 나타내는 도면이다.
도 33은, 3스트림 구성의 전송의 경우에서의 MMT 스트림의 구성예를 나타내는 도면이다.
도 34는, 2스트림 구성의 전송의 경우에서의 MMT 스트림의 구성예를 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[MPEG-DASH 베이스의 스트림 배신 시스템의 개요]
처음에, 본 기술을 적용할 수 있는 MPEG-DASH 베이스의 스트림 배신 시스템의 개요를 설명한다.
도 1의 (a)는, MPEG-DASH 베이스의 스트림 배신 시스템(30A)의 구성예를 나타내고 있다. 이 구성예에서는, 미디어 스트림과 MPD 파일이, 통신 네트워크 전송로(통신 전송로)를 통해 송신된다. 이 스트림 배신 시스템(30A)은, DASH 스트림 파일 서버(31) 및 DASH MPD 서버(32)에, N개의 서비스 수신기(33-1, 33-2, …, 33-N)가, CDN(Content Delivery Network)(34)을 통해 접속된 구성으로 되어 있다.
DASH 스트림 파일 서버(31)는, 소정의 콘텐츠의 미디어 데이터(비디오 데이터, 오디오 데이터, 자막 데이터 등)에 기초하여, DASH 사양의 스트림 세그먼트(이하, 적절히, 「DASH 세그먼트」라고 함)를 생성하고, 서비스 수신기로부터의 HTTP 요구에 따라서 세그먼트를 송출한다. 이 DASH 스트림 파일 서버(31)는, 스트리밍 전용의 서버여도 되고, 또한, 웹(Web) 서버와 겸용되는 경우도 있다.
또한, DASH 스트림 파일 서버(31)는, 서비스 수신기[33(33-1, 33-2, …, 33-N)]로부터 CDN(34)을 통해 보내져 오는 소정 스트림의 세그먼트의 요구에 대응하여, 그 스트림의 세그먼트를, CDN(34)을 통해 요구원의 수신기로 송신한다. 이 경우, 서비스 수신기(33)는, MPD(Media Presentation Description) 파일에 기재되어 있는 레이트의 값을 참조하여, 클라이언트가 놓여 있는 네트워크 환경의 상태에 따라서, 최적의 레이트의 스트림을 선택하여 요구를 행한다.
DASH MPD 서버(32)는, DASH 스트림 파일 서버(31)에 있어서 생성되는 DASH 세그먼트를 취득하기 위한 MPD 파일을 생성하는 서버이다. 콘텐츠 매니지먼트 서버(도시생략)로부터의 콘텐츠 메타 데이터와, DASH 스트림 파일 서버(31)에 있어서 생성된 세그먼트의 어드레스(url)를 기초로, MPD 파일을 생성한다. 또한, DASH 스트림 파일 서버(31)와 DASH MPD 서버(32)는, 물리적으로 동일한 것이어도 된다.
MPD의 포맷에서는, 비디오나 오디오 등의 각각의 스트림마다 리프리젠테이션(Representation)이라는 요소를 이용하여, 각각의 속성이 기술된다. 예를 들어, MPD 파일에는, 레이트가 서로 다른 복수의 비디오 데이터 스트림마다, 리프리젠테이션을 나누어 각각의 레이트가 기술된다. 서비스 수신기(33)에서는, 그 레이트의 값을 참고로 하여, 전술한 바와 같이, 서비스 수신기(33)가 놓여 있는 네트워크 환경의 상태에 따라서, 최적의 스트림을 선택할 수 있다.
도 1의 (b)는, MPEG-DASH 베이스의 스트림 배신 시스템(30B)의 구성예를 나타내고 있다. 이 구성예에서는, 미디어 스트림과 MPD 파일이, RF 전송로(방송 전송로)를 통하여 송신된다. 이 스트림 배신 시스템(30B)는, DASH 스트림 파일 서버(31) 및 DASH MPD 서버(32)가 접속된 방송 송출 시스템(36)과, M개의 서비스 수신기(35-1, 35-2, …, 35-M)로 구성되어 있다.
이 스트림 배신 시스템(30B)의 경우, 방송 송출 시스템(36)은, DASH 스트림 파일 서버(31)에서 생성되는 DASH 사양의 스트림 세그먼트(DASH 세그먼트) 및 DASH MPD 서버(32)에서 생성되는 MPD 파일을, 방송파에 실어 송신한다.
도 2는, MPD 파일에 계층적으로 배치되어 있는 각 구조체의 관계의 일례를 나타내고 있다. 도 2의 (a)에 도시한 바와 같이, MPD 파일 전체로서의 미디어 프리젠테이션(Media Presentation)에는, 시간 간격으로 구획된 복수의 피리어드(Period)가 존재한다. 예를 들어, 최초의 피리어드는 스타트가 0초부터, 다음 피리어드는 스타트가 100초부터 등과 같이 되어 있다.
도 2의 (b)에 도시한 바와 같이, 피리어드에는, 복수의 어댑테이션 세트(AdaptationSet)가 존재한다. 각 어댑테이션 세트는 비디오나 오디오 등의 미디어 타입의 차이나, 동일한 미디어 타입이라도 언어의 차이, 시점의 차이 등에 의존한다. 도 2의 (c)에 도시한 바와 같이, 어댑테이션 세트에는 복수의 리프리젠테이션(Representation)이 존재한다. 각 리프리젠테이션은 스트림 속성, 예를 들어 레이트의 차이 등에 의존한다.
도 2의 (d)에 도시한 바와 같이, 리프리젠테이션에는, 세그먼트 인포(SegmentInfo)가 포함되어 있다. 이 세그먼트 인포에는, 도 2의 (e)에 도시한 바와 같이, 이니셜라이제이션 세그먼트(Initialization Segment)와, 피리어드를 더 미세하게 구획한 세그먼트(Segment)마다의 정보가 기술되는 복수의 미디어 세그먼트(Media Segment)가 존재한다. 미디어 세그먼트에는, 비디오나 오디오 등의 세그먼트 데이터를 실제로 취득하기 위한 어드레스(url)의 정보 등이 존재한다.
또한, 어댑테이션 세트에 포함되는 복수의 리프리젠테이션의 사이에서는, 스트림의 스위칭을 자유롭게 행할 수 있다. 이에 의해, 수신측의 네트워크 환경의 상태에 따라서, 최적의 레이트의 스트림을 선택할 수 있어, 도중에 끊김이 없는 비디오 배신이 가능해진다.
[송수신 시스템의 구성예]
도 3은, 실시 형태로서의 송수신 시스템(10)의 구성예를 나타내고 있다. 이 송수신 시스템(10)은, 서비스 송신 시스템(100)과 서비스 수신기(200)에 의해 구성되어 있다. 이 송수신 시스템(10)에 있어서, 서비스 송신 시스템(100)은, 전술한 도 1의 (a)에 도시한 스트림 배신 시스템(30A)의 DASH 스트림 파일 서버(31) 및 DASH MPD 서버(32)에 대응한다. 또한, 이 송수신 시스템(10)에 있어서, 서비스 송신 시스템(100)은, 전술한 도 1의 (b)에 도시한 스트림 배신 시스템(30B)의 DASH 스트림 파일 서버(31), DASH MPD 서버(32) 및 방송 송출 시스템(36)에 대응한다.
또한, 이 송수신 시스템(10)에 있어서, 서비스 수신기(200)는, 전술한 도 1의 (a)에 도시한 스트림 배신 시스템(30A)의 서비스 수신기[33(33-1, 33-2, …, 33-N)]에 대응한다. 또한, 이 송수신 시스템(10)에 있어서, 서비스 수신기(200)는, 전술한 도 1의 (b)에 도시한 스트림 배신 시스템(30B)의 서비스 수신기[35(35-1, 35-2, …, 35-M)]에 대응한다.
서비스 송신 시스템(100)은, DASH/MP4, 즉 메타파일로서의 MPD 파일과, 비디오나 오디오 등의 미디어 스트림(미디어 세그먼트)이 포함되는 MP4를, 통신 네트워크 전송로(도 1의 (a) 참조) 또는 RF 전송로(도 1의 (b) 참조)를 통하여 송신한다.
이 실시 형태에 있어서, 미디어 스트림은, 하이 프레임 레이트(HFR: High Frame Rate)로 초고해상도(UHD: Ultra High Definition)의 화상 데이터(동화상 데이터)가 처리되어 얻어진, 기본 비디오 스트림과, 2개 또는 1개의 확장 비디오 스트림이다. 하이 프레임 레이트로 초고해상도의 화상 데이터는, 예를 들어 120fps에서 4K/8K인 화상 데이터이다.
기본 비디오 스트림은, 기본 프레임 레이트(노멀 프레임 레이트)로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다. 2개 또는 1개의 확장 비디오 스트림은, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다.
여기서, 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이다. 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이다. 제1 확장 포맷의 화상 데이터는, 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이다.
여기서, 하이 프레임 레이트의 화상 데이터는, 도 4의 (a)에 도시한 바와 같이, 오리지널 화상 시퀀스(고속 셔터 화상 시퀀스)인 것으로 한다. 도면에 있어서, "A", "B"는, 각각, 시간적으로 연속하는 2개의 픽처 단위에서 1번째의 픽처의 화상 데이터, 2번째의 픽처의 화상 데이터를 나타내고 있다. 이 오리지널 화상 시퀀스의 셔터 개구율은 1(100%)이다. 도시는 하지 않았지만, 이 하이 프레임 레이트의 화상 데이터로부터 단순히 추출되는 "A" 혹은 "B"의 화상 시퀀스의 셔터 개구율은 1/2(50%)이다.
이에 반하여, 도 4의 (b) 내지 (d)에 도시한 바와 같이, 시간적으로 연속하는 2개의 픽처 단위에서 혼합 처리를 실시하여 얻어진 혼합 화상 시퀀스의 셔터 개구율은, 1/2(50%) 내지 1(100%)의 사이로 된다. 도면에 있어서, "C"는, 2개의 픽처 단위에서 제1 비율로 혼합 처리를 하여 얻어지는 기본 프레임 레이트의 화상 데이터를 나타내고, "D"는, 2개의 픽처 단위에서 제2 비율로 혼합 처리를 하여 얻어지는 하이 프레임 레이트의 확장 프레임의 화상 데이터를 나타내고 있다. 여기에서는, "C"의 혼합 화상 시퀀스에 착안하고 있다.
예를 들어, 도 4의 (b)에 도시한 바와 같이, 1번째의 픽처의 계수 α가 1이고, 2번째의 픽처의 계수 β가 0일 때, 혼합 화상 시퀀스의 셔터 개구율은 1/2(50%)이다. 또한, 예를 들어 도 4의 (c)에 도시한 바와 같이, 1번째의 픽처의 계수 α가 3/4이고, 2번째의 픽처의 계수 β가 1/4일 때, 혼합 화상 시퀀스의 셔터 개구율은 3/4(75%)이다. 또한, 예를 들어 도 4의 (d)에 도시한 바와 같이, 1번째의 픽처의 계수 α가 1/2이고, 2번째의 픽처의 계수 β가 1/2일 때, 혼합 화상 시퀀스의 셔터 개구율은 1(100%)이다.
제1 확장 포맷의 화상 데이터의 부호화 화상 데이터와 이 부호화 화상 데이터에 대응한 컨테이너 위치의 한쪽 또는 양쪽에, 이 실시 형태에서는 양쪽에, 공간 스케일러블임을 나타내는 식별 정보, 나아가서는 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 이 실시 형태에 있어서, 이들 정보를 갖는 SEI NAL 유닛이 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)에 삽입되고, 또한, 이들 정보를 갖는 디스크립터가 MP4의 제1 확장 포맷의 화상 데이터에 대응한 "moof"의 박스에 삽입된다. 수신측에서는, 이들 정보에 의해, 제1 확장 포맷의 화상 데이터가 공간 스케일러블에 따른 화상 데이터인 점, 나아가 그 공간 스케일러블의 비율을 용이하게 인식 가능해진다.
제2 확장 포맷의 화상 데이터의 부호화 화상 데이터와 이 부호화 화상 데이터에 대응한 컨테이너 위치의 한쪽 또는 양쪽에, 이 실시 형태에서는 양쪽에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가서는 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
이 실시 형태에 있어서, 이들 정보를 갖는 SEI NAL 유닛이 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)에 삽입되고, 또한, 이들 정보를 갖는 디스크립터가 MP4의 제2 확장 포맷의 화상 데이터에 대응한 "moof"의 박스에 삽입된다. 수신측에서는, 이들 정보에 의해, 제2 확장 포맷의 화상 데이터가 시간 스케일러블에 따른 화상 데이터인 점, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터인 점, 나아가서는 혼합 비율(제1, 제2 비율)을 용이하게 인식 가능해진다.
또한, 이 실시 형태에 있어서, MPD 파일에, 스케일러빌리티의 대응을 나타내는 정보가 삽입된다. 즉, 기본 포맷의 화상 데이터의 상에 제1 확장 포맷의 화상 데이터를 사용한 확장에 의해 기본 프레임 레이트로 초고해상도의 화상 데이터가 얻어지는 것이 나타난다. 또한, 기본 포맷의 화상 데이터의 상에 제1, 제2 확장 포맷의 화상 데이터를 사용한 확장에 의해 하이 프레임 레이트로 초고해상도의 화상 데이터가 얻어지는 점이 나타난다. 수신측에서는, 이 정보에 의해, 스케일러빌리티의 대응을 용이하게 인식할 수 있어, 필요한 스트림 혹은 부호화 화상 데이터만을 취득하여 효율적으로 처리하는 것이 가능해진다.
서비스 수신기(200)는, 서비스 송신 시스템(100)으로부터 통신 네트워크 전송로(도 1의 (a) 참조) 또는 RF 전송로(도 1의 (b) 참조)를 통하여 보내져 오는 전술한 MP4를 수신한다. 서비스 수신기(200)는, 기본 프레임 레이트로 고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림만을 처리하여, 기본 프레임 레이트로 고해상도의 화상 데이터를 얻어 화상 재생을 행한다.
또한, 서비스 수신기(200)는, 기본 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여, 기본 프레임 레이트로 초고해상도의 화상 데이터를 얻어 화상 재생을 행한다. 또한, 서비스 수신기(200)는, 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여, 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻어 화상 재생을 행한다.
서비스 수신기(200)는, 제1 확장 포맷의 화상 데이터를 사용한 공간 스케일러블의 처리를 행하는 경우, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터나 이 부호화 화상 데이터에 대응한 컨테이너 위치에 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보를 이용한다. 이에 의해, 서비스 수신기(200)는, 공간 스케일러블의 처리를 적절하게 행하는 것이 가능해진다.
또한, 서비스 수신기(200)는, 제2 확장 포맷의 화상 데이터를 사용한 시간 스케일러블의 처리를 행하는 경우, 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터나 이 부호화 화상 데이터에 대응한 컨테이너 위치에 삽입되어 있는 혼합 비율(제1, 제2 비율)의 정보를 이용한다. 이에 의해, 서비스 수신기(200)는, 시간 스케일러블의 처리를 적절하게 행하는 것이 가능해진다.
도 5는, 서비스 송신 시스템(100) 및 서비스 수신기(200)의 처리의 개요를 나타내고 있다. 서비스 송신 시스템(100)에는, 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상 데이터 「HFR/UHD video」가 입력된다. 이 서비스 송신 시스템(100)에서는, 비디오 인코더(102)에서 화상 데이터 「HFR/UHD video」가 처리되어, 기본 비디오 스트림 STb와, 2개의 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와, 1개의 확장 비디오 스트림 STe가 얻어지고, 송신된다.
여기서, 기본 비디오 스트림 STb는, 기본 프레임 레이트(LFR)로 고해상도(HD)의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다. 확장 비디오 스트림 STe1은, 기본 프레임 레이트(LFR)로 초고해상도(UHD)의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다. 확장 비디오 스트림 STe2는, 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다. 확장 비디오 스트림 STe는, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 갖고 있다.
하이 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 서비스 수신기(200A)에서는, 디코더(203A)에 있어서, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 처리되어, 하이 프레임 레이트로 초고해상도의 화상 데이터 「HFR/UHD video」가 얻어지고, 화상 재생된다.
또한, 기본 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 서비스 수신기(200B)에서는, 디코더(203B)에 있어서, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 처리되어, 기본 프레임 레이트로 초고해상도의 화상 데이터 「LFR/UHD video」가 얻어지고, 화상 재생된다. 또한, 기본 프레임 레이트로 고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 서비스 수신기(200C)에서는, 디코더(203C)에 있어서, 기본 비디오 스트림 STb가 처리되어, 기본 프레임 레이트로 고해상도의 화상 데이터 「LFR/HD video」가 얻어지고, 화상 재생된다.
도 6은, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2의 3스트림 구성의 전송의 경우에서의 스트림 구성예를 나타내고 있다. 도시한 예에서는, 하이 프레임 레이트가 120㎐인 경우를 나타내고 있다. 횡축은 표시 순(POC: picture order of composition)을 나타내고, 좌측은 표시 시각이 앞이고, 우측은 표시 시각이 뒤가 된다. 직사각형 프레임 각각이 픽처를 나타내고, 화살표는, 예측 부호화 처리에 있어서의 픽처의 참조 관계의 일례를 나타내고 있다. 레이어 간, 레이어 내의 양쪽 모두 예측은 블록마다 대상 픽처가 바뀌고, 또한, 예측의 방향, 참조 수는 도시한 예로 한정되는 것은 아니다.
최하단에, 레이어 링 ID(layering_id)가 "0"인 기본 비디오 스트림 STb에 포함되는 기본 포맷의 화상 데이터 「HD 60㎐ Base」의 시퀀스가 존재하고 있다. 이 화상 데이터 「HD 60㎐ Base」의 레이어 ID(Layer_id)는 "0"이다.
그 상단에, 레이어 링 ID(layering_id)가 "1"인 확장 비디오 스트림 STe1에 포함되는 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」의 시퀀스가 존재하고 있다. 이 「UHD 60㎐ Enhanced」는, 화상 데이터 「HD 60㎐ Base」에 대한 공간 방향의 스케일러빌리티다. 이 화상 데이터 「UHD 60㎐ Enhanced」의 레이어 ID(Layer_id)는 "1"이다.
그 상단에, 레이어 링 ID(layering_id)가 "2"인 확장 비디오 스트림 STe2에 포함되는 제2 확장 포맷의 화상 데이터 「UHD HFR Enhanced」의 시퀀스가 존재하고 있다. 이 「UHD HFR Enhanced」는, 화상 데이터 「UHD 60㎐ Enhanced」에 대한 시간 방향의 스케일러빌리티이다. 이 화상 데이터 「UHD HFR Enhanced」의 레이어 ID(Layer_id)는 "2"이다.
기본 포맷의 화상 데이터 「HD 60㎐ Base」에 기초하여, 기본 프레임 레이트로 고해상도(HD)의 화상(60㎐ HD 화상)의 재생이 가능하다. 또한, 기본 포맷의 화상 데이터 「HD 60㎐ Base」 및 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」에 기초하여, 기본 프레임 레이트로 초고해상도(UHD)의 화상(60㎐ UHD 화상)의 재생이 가능하다. 또한, 기본 포맷의 화상 데이터 「HD 60㎐ Base」, 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」 및 제2 확장 포맷의 화상 데이터 「UHD HFR Enhanced」에 기초하여, 하이 프레임 레이트로 초고해상도(UHD)의 화상(120㎐ UHD 화상)의 재생이 가능하다.
도 7은, 3스트림 구성의 전송의 경우에서의 DASH/MP4의 트랙 구성을 나타내고 있다. 이 경우, 기본 비디오 스트림 STb(HD Base stream)에 대응한 트랙 B(Track B)와, 확장 비디오 스트림(UHD E1 stream)에 대응한 트랙 E1(Track E1)과, 확장 비디오 스트림(UHD E2 stream)에 대응한 트랙 E2(Track E2)가 존재한다.
직사각형 프레임 각각이 픽처를 나타내고, 화살표는, 스케일러빌리티의 대응을 나타내고 있다. 즉, 트랙 B에 포함되는 기본 포맷의 화상 데이터 상에 트랙 E1에 포함되는 제1 확장 포맷의 화상 데이터를 사용한 공간 스케일러블의 확장에 의해, 기본 프레임 레이트로 초고해상도(UHD)의 화상, 즉 60㎐ UHD 화상의 화상 데이터가 얻어진다. 또한, 트랙 B에 포함되는 기본 포맷의 화상 데이터의 상에 트랙 E1에 포함되는 제1 확장 포맷의 화상 데이터와 트랙 E2에 포함되는 제2 확장 포맷의 화상 데이터를 사용한 공간 스케일러블, 시간 스케일러블의 확장에 의해, 하이 프레임 레이트로 초고해상도(UHD)의 화상, 즉 120㎐ UHD 화상의 화상 데이터가 얻어진다.
도 8은, 트랙 B, 트랙 E1, 트랙 E2의 각 트랙의 데이터를 포함하는 MP4 스트림(파일)의 구성예를 나타내고 있다. 도시한 예는, 플래그멘티드 MP4(Fragmented MP4)의 경우의 예이다. MP4 스트림에는, 제어 정보가 들어가는 "moof" 박스와 미디어 데이터 본체가 들어가는 "mdat" 박스로 구성되는 무비 프래그먼트(Movie Fragment)가 소정 개수 배치된다. "mdat" 박스에는, 트랙 데이터가 단편화되어 얻어진 단편이 들어가므로, "moof" 박스에 들어가는 제어 정보는 그 단편에 관한 제어 정보로 된다. 또한, 상세 설명은 생략하지만, 트랙 간에 걸치는 예측 참조 관계는, 익스트랙터(extractor)라는 NAL 타입(NAL type)의 패킷을 액세스 유닛마다 트랙에 배치함으로써 정의된다.
트랙 B에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 기본 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)가 소정 픽처 수만큼, 예를 들어 1GOP만큼만 배치된다. 여기서, 각 액세스 유닛은, 「VPS」, 「SPS」, 「PPS」, 「PSEI」, 「SLICE」, 「SSEI」등의 NAL 유닛에 의해 구성된다. 또한, 「VPS」, 「SPS」는, 예를 들어 GOP의 선두 픽처에 삽입된다.
도 9의 (b)는, SPS(VPS)의 요소의 일례를 나타내고 있다. 이 예는, 기본 비디오 스트림 STb(HD Base stream), 확장 비디오 스트림(UHD E1 stream) 및 확장 비디오 스트림(UHD E2 stream)이, 도 9의 (a)에 도시한 바와 같은 구성으로 되어 있는 경우의 예이다. 「general_level_idc」의 값은 "156"으로 되고, 확장 비디오 스트림 STe2, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 레벨(스케일러블의 부호화 화소 레이트의 복잡 차)이 "level 5.2"인 것이 나타난다. 또한, 「general_profile_idc」의 값은 "7"로 되고, 이 스트림 전체의 프로파일(스케일러블의 부호화 타입)이 "Scalable Main 10 Profile"인 것이 나타난다.
또한, 「sublayer_level_present_flag[j-1]」은 "1"로 되고, 「sublayer_level_idc[j-1]」의 값은 "153"으로 되고, 「sublayer_profile_idc[j-1]」은 "7"로 된다. 이에 의해, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 레벨이 "level 5.1"인 것이 나타나고, 그 프로파일이 "Scalable Main 10 Profile"인 것이 나타난다.
또한, 「sublayer_level_present_flag[j-2]」는 "1"로 되고, 「sublayer_level_idc[j-2]」의 값은 "123"으로 되고, 「sublayer_profile_idc[j-1]」은 "2"로 된다. 이에 의해, 기본 비디오 스트림 STb의 레벨이 "level 4.1"인 것이 나타나고, 그 프로파일이 "Main 10 Profile"인 것이 나타난다.
도 8로 되돌아가서, 트랙 B에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스 내에 "traf" 박스가 존재하고, 그 박스 내에 "tfdt" 박스가 존재한다. 이 "tfdt" 박스에, "moof" 박스의 뒤의 최초의 액세스 유닛의 디코드 타임 "baseMediaDecodeTime"의 기재가 있다.
또한, "moof" 박스 내에 "tfdt" 박스가 존재하고, 그 중에 "sgpd" 박스가 존재하고, 또한, 그 중에 "tscl" 박스가 존재한다. 이 "tscl" 박스에, 「temporalLayerId」, 「tllevel_idc」, 「Tlprofile」, 「tlConstantFrameRate」의 4개의 파라미터의 기재가 있다. 「temporalLayerId」는, 템포럴 ID(temporal_id)를 나타낸다. 「tlConstantFrameRate」는 "1"로 됨으로써, 프레임 레이트가 일정함을 나타낸다.
「tllevel_idc」는, 기본 비디오 스트림 STb의 레벨을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-2]」와 일치시킨다. 여기에서는, 「tllevel_idc」는 "123"으로 된다. 「Tlprofile」은, 기본 비디오 스트림 STb의 프로파일을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_profile_idc[j-2]」와 일치시킨다. 여기에서는, 「Tlprofile」은 "2"로 된다.
트랙 E1에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)가 소정 픽처 수만큼, 예를 들어 1GOP만큼만 배치된다. 여기서, 각 액세스 유닛은, 「PPS」, 「PSEI」, 「SLICE」, 「SSEI」등의 NAL 유닛에 의해 구성된다.
트랙 E1에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스 내에 "traf" 박스가 존재하고, 그 박스 내에 "tfdt" 박스가 존재한다. 이 "tfdt" 박스에, "moof" 박스의 뒤의 최초의 액세스 유닛의 디코드 타임 "baseMediaDecodeTime"의 기재가 있다.
또한, "moof" 박스 내에 "tfdt" 박스가 존재하고, 그 중에 "sgpd" 박스가 존재하며, 나아가, 그 중에 "tscl" 박스가 존재한다. 이 "tscl" 박스에, 「temporalLayerId」, 「tllevel_idc」, 「Tlprofile」, 「tlConstantFrameRate」의 4개의 파라미터의 기재가 있다. 「temporalLayerId」는, 템포럴 ID(temporal_id)를 나타낸다. 「tlConstantFrameRate」는 "1"로 됨으로써, 프레임 레이트가 일정함을 나타낸다.
「tllevel_idc」는, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 레벨을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-1]」과 일치시킨다. 여기에서는, 「tllevel_idc」는 "153"으로 된다. 「Tlprofile」은, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 프로파일을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_profile_idc[j-1]」과 일치시킨다. 여기에서는, 「Tlprofile」은 "7"로 된다.
트랙 E2에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)가 소정 픽처 수만큼, 예를 들어 1GOP만큼만 배치된다. 여기서, 각 액세스 유닛은, 「PPS」, 「PSEI」, 「SLICE」, 「SSEI」등의 NAL 유닛에 의해 구성된다.
트랙 E2에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스 내에 "traf" 박스가 존재하고, 그 박스 내에 "tfdt" 박스가 존재한다. 이 "tfdt" 박스에, "moof" 박스의 뒤의 최초의 액세스 유닛의 디코드 타임 "baseMediaDecodeTime"의 기재가 있다.
또한, "moof" 박스 내에 "tfdt" 박스가 존재하고, 그 중에 "sgpd" 박스가 존재하고, 또한, 그 중에 "tscl" 박스가 존재한다. 이 "tscl" 박스에, 「temporalLayerId」, 「tllevel_idc」, 「Tlprofile」, 「tlConstantFrameRate」의 4개의 파라미터의 기재가 있다. 「temporalLayerId」는, 템포럴 ID(temporal_id)를 나타낸다. 「tlConstantFrameRate」는 "1"로 됨으로써, 프레임 레이트가 일정함을 나타낸다.
「tllevel_idc」는, 확장 비디오 스트림 STe2, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 레벨을 나타내고, 전술한 SPS(VPS)의 요소의 「general_level_idc」와 일치시킨다. 여기에서는, 「tllevel_idc」는 "156"으로 된다. 「Tlprofile」은, 확장 비디오 스트림 STe2, 확장 비디오 스트림 STe1, 기본 비디오 스트림 STb의 스트림 전체의 프로파일을 나타내고, 전술한 SPS(VPS)의 요소의 「general_profile_idc」와 일치시킨다. 여기에서는, 「Tlprofile」은 "7"로 된다.
트랙 E1에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 전술한 바와 같이 제1 확장 포맷의 화상 데이터의 액세스 유닛이 소정 픽처 수만큼 배치된다. 각 액세스 유닛에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보를 갖는 SEI NAL 유닛이 삽입된다. 이 실시 형태에 있어서는, 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는, 비디오 스케일러빌리티 SEI(video_scalability_SEI)가 삽입된다.
또한, 트랙 E2에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 전술한 바와 같이 제2 확장 포맷의 화상 데이터의 액세스 유닛이 소정 픽처 수만큼 배치된다. 각 액세스 유닛에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가, 혼합 비율(제1, 제2 비율)의 정보를 갖는 SEI NAL 유닛이 삽입된다. 이 실시 형태에 있어서는, 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는, 비디오 스케일러빌리티 SEI(video_scalability_SEI)가 삽입된다.
도 10은, 비디오 스케일러빌리티 SEI의 구조예(Syntax)를 나타내고, 도 11은, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「temporal_scalable_flag」의 1비트 필드는, 시간 스케일러블의 스트림인지를 나타낸다. 예를 들어, "1"은 시간 스케일러블임을 나타내고, "0"은 시간 스케일러블이 아님을 나타낸다.
제1 확장 포맷의 화상 데이터의 액세스 유닛에 삽입되는 비디오 스케일러빌리티 SEI에 있어서는, 「temporal_scalable_flag」는 "0"으로 설정되고, 시간 스케일러블의 스트림이 아님이 나타난다. 한편, 제2 확장 포맷의 화상 데이터의 액세스 유닛에 삽입되는 비디오 스케일러빌리티 SEI에 있어서는, 「temporal_scalable_flag」는 "1"로 설정되고, 시간 스케일러블의 스트림임이 나타난다.
「spatial_scalable_flag」의 1비트 필드는, 공간 스케일러블의 스트림인지를 나타낸다. 예를 들어, "1"은 공간 스케일러블임을 나타내고, "0"은 공간 스케일러블이 아님을 나타낸다. 제1 확장 포맷의 화상 데이터의 액세스 유닛에 삽입되는 비디오 스케일러빌리티 SEI에 있어서는, 「spatial_scalable_flag」는 "1"로 설정되고, 공간 스케일러블의 스트림임이 나타난다. 한편, 제2 확장 포맷의 화상 데이터의 액세스 유닛에 삽입되는 비디오 스케일러빌리티 SEI에 있어서는, 「spatial_scalable_flag」는 "0"으로 설정되고, 공간 스케일러블의 스트림이 아님이 나타난다.
「spatial_scalable_flag」가 "1"일 때, 「scaling_ratio」의 3비트 필드가 존재한다. 이 필드는, 공간 스케일러블의 비율, 즉 기본과 확장의 1차원 방향의 확대 비율을 나타낸다. 예를 들어, "001"은 2배를 나타내고, "010"은 3배를 나타내며, "011"은 4배를 나타낸다. 예를 들어, 초고해상도(UHD)가 4K 해상도일 때, 「scaling_ratio」는 "001"로 설정되고, 초고해상도(UHD)가 8K 해상도일 때, 「scaling_ratio」는 "011"로 설정된다.
「temporal_scalable_flag」가 "1"일 때, 「picture_blending_flag」의 1비트 필드가 존재한다. 이 필드는, 기본 스트림(기본 포맷의 화상 데이터)에 픽처의 혼합 처리가 이루어져 있는지를 나타낸다. 예를 들어, "1"은 혼합 처리가 이루어져 있음을 나타내고, "0"은 혼합 처리가 이루어져 있지 않음을 나타낸다.
「picture_blending_flag」가 "1"일 때, 혼합 비율(제1, 제2 비율)을 나타내는 필드, 즉, 「blend_coef_alpha_alternatte_picture」, 「blend_coef_beta_alternate_picture」, 「blend_coef_alpha_current_picture」, 「blend_coef_beta_current_picture」의 각 3비트 필드가 존재한다. 「blend_coef_alpha_alternatte_picture」의 필드는, 기본 레이어의 픽처에 곱하는 계수(후술하는 계수 p에 대응)이다. 「blend_coef_beta_alternate_picture」의 필드는, 현재의 픽처(확장 스트림 중)에 곱하는 계수(후술하는 계수 r에 대응)이다. 「blend_coef_alpha_current_picture」의 필드는, 확장 레이어의 픽처에 곱하는 계수(후술하는 계수 q에 대응)이다. 「blend_coef_beta_current_picture」의 필드는, 현재의 픽처(확장 스트림 중)에 곱하는 계수(후술하는 계수 s에 대응)이다.
도 8로 되돌아가서, 트랙 E1에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 이 실시 형태에 있어서는, "moof" 박스의 아래에, "udta" 혹은 "lays"의 박스가 설치되고, 신규 정의하는, 비디오 스케일러빌리티 인포메이션 디스크립터(video_scalability_information_ descriptor)의 신택스(Syntax)가 전송된다.
또한, 트랙 E2에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가 혼합 비율(제1, 제2 비율)의 정보가 삽입된다. 이 실시 형태에 있어서는, "moof" 박스의 아래에, "udta" 혹은 "lays"의 박스가 설치되고, 신규 정의하는, 비디오 스케일러빌리티 인포메이션 디스크립터(video_scalability_ information_ descriptor)의 신택스(Syntax)가 전송된다.
도 12는, 비디오 스케일러빌리티 인포메이션 디스크립터의 구조예(Syntax)를 나타내고 있다. 또한, 이 구조예에 있어서의 주요한 정보의 내용(Semantics)은, 전술한 비디오 스케일러빌리티 SEI와 마찬가지이므로, 그 설명은 생략한다.
도 13은, 3스트림 구성의 전송의 경우(도 6 참조)에 있어서의 MPD 파일의 기술예를 나타내고 있다. 이 MPD 파일에는, 기본 비디오 스트림 STb(HD Base stream), 확장 비디오 스트림 STe1(UHD E1 stream) 및 확장 비디오 스트림 STe2(UHD E2 stream)에 각각 대응한 리프리젠테이션(Representation)이 존재한다.
기본 비디오 스트림 STb(HD Base stream)에 관련된 리프리젠테이션에 있어서, 「framerate = "60"」, 「codecs = "hev1.A.L123,xx"」, 「id = "tag0」의 기술이 존재한다. 「framerate= "60" & L123 with no dependencyid」는, 2K 60P의 기본 스트림을 나타내고, 「"A"」는 「Main 10 Profile」을 나타내는, 2의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-2]」, 「sublayer_profile_idc[j-2]」와 일치하고 있다. 덧붙여서 말하자면,「sublayer_profile_idc[j-2]」=「Main 10 Profile」이며, 「sublayer_level_idc[j-2]」= "level 4.1" = "123"이다. 또한, 「<BaseURL>video-basesubbitstream.mp4</BaseURL>」의 기술에 의해, 기본 비디오 스트림 STb(HD Base stream)의 로케이션처가, 「video-basesubbitstream.mp4」로서 나타나 있다.
확장 비디오 스트림 STe1(UHD E1 stream)에 관련된 리프리젠테이션에 있어서, 「framerate= "60"」, 「codecs="hev1.B.L153,xx"」, 「id = "tag1」, 「dependencyid = "tag0"」의 기술이 존재한다. 「Framerate= "60" & L153 with dependencyid tagged tag0」은, 기본 스트림의 상에 확장에 의해 4K 60P의 스트림을 실현하는 것을 나타내고, 「"B"」는 「Scalable Main 10 Profile」을 나타내는, 7의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-1]」, 「sublayer_profile_idc[j-1]」과 일치하고 있다. 덧붙여서 말하자면,「sublayer_profile_idc[j-1]」=「Scalable Main 10 Profile」이며, 「sublayer_level_idc[j-1]」="level 5.1" = "153"이다. 또한, 「<BaseURL>video-e1subbitstream.mp4</BaseURL>」의 기술에 의해, 확장 비디오 스트림 STe1(UHD E1 stream)의 로케이션처가, 「video-e1subbitstream.mp4」로서 나타나 있다.
확장 비디오 스트림 STe2(UHD E2 stream)에 관련된 리프리젠테이션에 있어서, 「framerate= "120"」, 「codecs="hev1.C.L156,xx"」, 「id = "tag2」, 「dependencyid= "tag0, tag1"」의 기술이 존재한다. 「framerate= "120" & L156 with dependencyid tagged tag0, tag1」은, 기본 스트림의 상에 4K 60P로 확장하고, 또한 그 상에 확장 성분을 더하여 4K 120P의 스트림을 실현함을 나타내고, 「"C"」는 「Scalable Main 10 Profile」을 나타내는, 7의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「general_level_idc」, 「general_profile_idc」와 일치하고 있다. 덧붙여서 말하자면,「general_level_idc」= 「Scalable Main 10 Profile」이며, 「general_level_idc」= "level 5.2" = "156"이다. 또한, 「<BaseURL>video-e2subset.mp4</BaseURL>」의 기술에 의해, 확장 비디오 스트림 STe2(UHD E2 stream)의 로케이션처가, 「video-e2subset.mp4」로서 나타나 있다.
이와 같이 MPD 파일에는, 스케일러빌리티의 대응을 나타내는 정보가 삽입되어 있으며, 공간 스케일러빌리티, 그리고 시간 스케일러빌리티를 동시에 실현하는 것이 나타나 있다.
도 14는, 기본 비디오 스트림 STb와 확장 스트림 STe의 2스트림 구성의 전송의 경우에서의 스트림 구성예를 나타내고 있다. 도시한 예에서는, 하이 프레임 레이트가 120㎐인 경우를 나타내고 있다. 횡축은 표시순(POC: picture order of composition)을 나타내고, 좌측은 표시 시각이 앞이고, 우측은 표시 시각이 뒤가 된다. 직사각형 프레임의 각각이 픽처를 나타내고, 화살표는, 예측 부호화 처리에 있어서의 픽처의 참조 관계의 일례를 나타내고 있다. 레이어 간, 레이어 내의 양쪽 모두 예측은 블록마다 대상 픽처가 바뀌고, 또한, 예측의 방향, 참조 수는 도시한 예로 한정되는 것은 아니다.
최하단에, 레이어 링 ID(layering_id)가 "0"인 기본 비디오 스트림 STb에 포함되는 기본 포맷의 화상 데이터 「HD 60㎐ Base」의 시퀀스가 존재하고 있다. 이 화상 데이터 「HD 60㎐ Base」의 레이어 ID(Layer_id)는 "0"이다.
그 상단에, 레이어 링 ID(layering_id)가 "1"인 확장 비디오 스트림 STe에 포함되는 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」의 시퀀스가 존재하고 있다. 이 「UHD 60㎐ Enhanced」는, 화상 데이터 「HD 60㎐ Base」에 대한 공간 방향의 스케일러빌리티이다. 이 화상 데이터 「UHD 60㎐ Enhanced」의 레이어 ID(Layer_id)는 "1"이다. 또한, 이 화상 데이터 「UHD 60㎐ Enhanced」의 템포럴 ID(Temporal_id)는, 소정의 임계값 TH 이하로 된다.
그 상단에, 레이어 링 ID(layering_id)가 "2"인 확장 비디오 스트림 STe에 포함되는 제2 확장 포맷의 화상 데이터 「UHD HFR Enhanced」의 시퀀스가 존재하고 있다. 이 「UHD HFR Enhanced」는, 화상 데이터 「UHD 60㎐ Enhanced」에 대한 시간 방향의 스케일러빌리티이다. 이 화상 데이터 「UHD HFR Enhanced」의 레이어 ID(Layer_id)는 "1"이다. 또한, 이 화상 데이터 「UHD HFR Enhanced」의 템포럴 ID(Temporal_id)는, 소정의 임계값 TH보다 크게 된다.
전술한 바와 같이, 화상 데이터 「UHD 60㎐ Enhanced」의 템포럴 ID는 임계값 TH 이하로 되고, 한편, 화상 데이터 「UHD HFR Enhanced」의 템포럴 ID는 임계값 TH보다 크게 된다. 이에 의해, 템포럴 ID가 임계값 TH 이하인지 여부에 따라, 화상 데이터 「UHD 60㎐ Enhanced」와 화상 데이터 「UHD HFR Enhanced」의 구별을 하는 것이 가능해진다.
기본 포맷의 화상 데이터 「HD 60㎐ Base」에 기초하여, 기본 프레임 레이트로 고해상도(HD)의 화상(60㎐ HD 화상)의 재생이 가능하다. 또한, 기본 포맷의 화상 데이터 「HD 60㎐ Base」 및 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」에 기초하여, 기본 프레임 레이트로 초고해상도(UHD)의 화상(60㎐ UHD 화상)의 재생이 가능하다. 또한, 기본 포맷의 화상 데이터 「HD 60㎐ Base」, 제1 확장 포맷의 화상 데이터 「UHD 60㎐ Enhanced」 및 제2 확장 포맷의 화상 데이터 「UHD HFR Enhanced」에 기초하여, 하이 프레임 레이트로 초고해상도(UHD)의 화상(120㎐ UHD 화상)의 재생이 가능하다.
도 15는, 2스트림 구성의 전송의 경우에서의 DASH/MP4의 트랙 구성을 나타내고 있다. 이 경우, 기본 비디오 스트림 STb(HD Base stream)에 대응한 트랙 B(Track B)와, 확장 비디오 스트림(UHD EH stream)에 대응한 트랙 EH(Track EH)가 존재한다.
직사각형 프레임의 각각이 픽처를 나타내고, 화살표는, 스케일러빌리티의 대응을 나타내고 있다. 즉, 트랙 B에 포함되는 기본 포맷의 화상 데이터의 상에 트랙 EH에 포함되는 제1 확장 포맷의 화상 데이터를 사용한 공간 스케일러블의 확장에 의해, 기본 프레임 레이트로 초고해상도(UHD)의 화상, 즉 60㎐ UHD 화상의 화상 데이터가 얻어진다. 또한, 트랙 B에 포함되는 기본 포맷의 화상 데이터의 상에 트랙 EH에 포함되는 제1, 제2 확장 포맷의 화상 데이터를 사용한 공간 스케일러블, 시간 스케일러블의 확장에 의해, 하이 프레임 레이트로 초고해상도(UHD)의 화상, 즉 120㎐ UHD 화상의 화상 데이터가 얻어진다.
도 16은, 트랙 B, 트랙 EH의 각 트랙의 데이터를 포함하는 MP4 스트림(파일)의 구성예를 나타내고 있다. 도시한 예는, 플래그멘티드 MP4(Fragmented MP4)의 경우의 예이다. MP4 스트림에는, 제어 정보가 들어가는 "moof" 박스와 미디어 데이터 본체가 들어가는 "mdat" 박스로 구성되는 무비 프래그먼트(Movie Fragment)가 소정 개수 배치된다. "mdat" 박스에는, 트랙 데이터가 단편화되어 얻어진 단편이 들어가므로, "moof" 박스에 들어가는 제어 정보는 그 단편에 관한 제어 정보로 된다. 또한, 상세 설명은 생략하였지만, 트랙 간에 걸치는 예측 참조 관계는, 익스트랙터(extractor)라는 NAL 타입(NAL type)의 패킷을 액세스 유닛마다 트랙에 배치함으로써 정의된다.
트랙 B에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 기본 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)가 소정 픽처 수만큼, 예를 들어 1GOP만큼만 배치된다. 여기서, 각 액세스 유닛은, 「VPS」, 「SPS」, 「PPS」, 「PSEI」, 「SLICE」, 「SSEI」등의 NAL 유닛에 의해 구성된다. 또한, 「VPS」, 「SPS」는, 예를 들어 GOP의 선두 픽처에 삽입된다.
트랙 B에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스 내에 "traf" 박스가 존재하고, 그 박스 내에 "tfdt" 박스가 존재한다. 이 "tfdt" 박스에, "moof" 박스의 뒤의 최초의 액세스 유닛의 디코드 타임 "baseMediaDecodeTime"의 기재가 있다.
또한, "moof" 박스 내에 "tfdt" 박스가 존재하고, 그 중에 "sgpd" 박스가 존재하며, 또한, 그 중에 "tscl" 박스가 존재한다. 이 "tscl" 박스에, 「temporalLayerId」, 「tllevel_idc」, 「Tlprofile」, 「tlConstantFrameRate」의 4개의 파라미터의 기재가 있다. 「temporalLayerId」는, 템포럴 ID(temporal_id)를 나타낸다. 「tlConstantFrameRate」는 "1"로 됨으로써, 프레임 레이트가 일정함을 나타낸다.
「tllevel_idc」는, 기본 비디오 스트림 STb의 레벨을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-2]」와 일치시킨다. 여기에서는, 「tllevel_idc」는 "123"으로 된다. 「Tlprofile」은, 기본 비디오 스트림 STb의 프로파일을 나타내고, 전술한 SPS(VPS)의 요소의 「sublayer_profile_idc[j-2]」와 일치시킨다. 여기에서는, 「Tlprofile」은 "2"로 된다.
트랙 EH에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛), 혹은 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터(액세스 유닛)가 소정 픽처 수만큼, 예를 들어 1GOP분만큼 배치된다. 여기서, 각 액세스 유닛은, 「PPS」, 「PSEI」, 「SLICE」, 「SSEI」등의 NAL 유닛에 의해 구성된다.
트랙 EH에 대응한 MP4 스트림 「video-basesubbitstream」에 있어서, 각 무비 프래그먼트의 "moof" 박스 내에 "traf" 박스가 존재하고, 그 박스 내에 "tfdt" 박스가 존재한다. 이 "tfdt" 박스에, "moof" 박스의 뒤의 최초의 액세스 유닛의 디코드 타임 "baseMediaDecodeTime"의 기재가 있다.
또한, "moof" 박스 내에 "tfdt" 박스가 존재하고, 그 중에 "sgpd" 박스가 존재하고, 또한, 그 중에 "tscl" 박스가 존재한다. 이 "tscl" 박스에, 「temporalLayerId」, 「tllevel_idc」, 「Tlprofile」, 「tlConstantFrameRate」의 4개의 파라미터의 기재가 있다. 「temporalLayerId」는, 템포럴 ID(temporal_id)를 나타낸다. 「tlConstantFrameRate」는 "1"로 됨으로써, 프레임 레이트가 일정함을 나타낸다.
제1 확장 포맷의 화상 데이터에 대응한 각 무비 프래그먼트의 "moof" 박스에 있어서, 「tllevel_idc」는, 제1 확장 비디오 스트림(제1 확장 포맷의 화상 데이터의 액세스 유닛으로 구성됨), 기본 비디오 스트림 STb의 스트림 전체의 레벨을 나타내고, SPS(VPS)의 요소의 「sublayer_level_idc[j-1]」과 일치시킨다. 여기에서는, 「tllevel_idc」는 "153"으로 된다. 「Tlprofile」은, 제1 확장 비디오 스트림, 기본 비디오 스트림 STb의 스트림 전체의 프로파일을 나타내고, SPS(VPS)의 요소의 「sublayer_profile_idc[j-1]」과 일치시킨다. 여기에서는, 「Tlprofile」은 "7"로 된다.
또한, 제2 확장 포맷의 화상 데이터에 대응한 각 무비 프래그먼트의 "moof" 박스에 있어서, 「tllevel_idc」는, 확장 비디오 스트림 STe, 기본 비디오 스트림 STb의 스트림 전체의 레벨을 나타내고, SPS(VPS)의 요소의 「general_level_idc」와 일치시킨다. 여기에서는, 「tllevel_idc」는 "156"으로 된다. 「Tlprofile」은, 확장 비디오 스트림 STe, 기본 비디오 스트림 STb의 스트림 전체의 프로파일을 나타내고, SPS(VPS)의 요소의 「general_profile_idc」와 일치시킨다. 여기에서는, 「Tlprofile」은 "7"로 된다.
트랙 EH에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 각 무비 프래그먼트의 "mdat" 박스에는, 전술한 바와 같이 제1 확장 포맷의 화상 데이터의 액세스 유닛, 혹은 제1 확장 포맷의 화상 데이터의 액세스 유닛이 소정 픽처 수만큼 배치된다.
제1 확장 포맷의 화상 데이터의 각 액세스 유닛에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보를 갖는 SEI NAL 유닛이 삽입된다. 또한, 제2 확장 포맷의 화상 데이터의 각 액세스 유닛에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가, 혼합 비율(제1, 제2 비율)의 정보를 갖는 SEI NAL 유닛이 삽입된다. 이 실시 형태에 있어서는, 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다.
또한, 트랙 EH에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 제1 확장 포맷의 화상 데이터의 액세스 유닛을 갖는 "mdat"에 대응한 "moof" 박스에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보가 삽입된다.
또한, 트랙 EH에 대응한 MP4 스트림 「video-e1subbitstream」에 있어서, 제2 확장 포맷의 화상 데이터의 액세스 유닛을 갖는 "mdat"에 대응한 "moof" 박스에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가, 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
이 실시 형태에 있어서는, "moof" 박스의 아래에, "udta" 혹은 "lays"의 박스가 설치되고, 신규 정의하는, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)의 신택스가 전송된다.
도 17은, 2스트림 구성의 전송의 경우(도 14 참조)에 있어서의 MPD 파일의 기술예를 나타내고 있다. 이 MPD 파일에는, 기본 비디오 스트림 STb(HD Base stream), 확장 비디오 스트림 STe(UHD EH stream)에 각각 대응한 리프리젠테이션(Representation)이 존재한다. 또한, 확장 비디오 스트림 STe의 리프리젠테이션 중에, 제1 확장 비디오 스트림(제1 확장 포맷의 화상 데이터의 액세스 유닛으로 구성됨)에 대응한 서브 리프리젠테이션(Subrepresentation)이 존재함과 함께, 제2 확장 비디오 스트림(제2 확장 포맷의 화상 데이터의 액세스 유닛으로 구성됨)에 대응한 서브 리프리젠테이션(Subrepresentation)이 존재한다.
기본 비디오 스트림 STb(HD Base stream)에 관련된 리프리젠테이션에 있어서, 「framerate = "60"」, 「codecs = "hev 1.A.L 123,xx"」, 「id ="tag0」의 기술이 존재한다. 「framerate= "60" & L123 with no dependencyid」는, 2K 60P의 기본 스트림을 나타내고, 「"A"」는 「Main 10 Profile」을 나타내는, 2의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-2]」, 「sublayer_profile_idc[j-2]」와 일치하고 있다. 덧붙여서 말하자면,「sublayer_profile_idc[j-2]」=「Main 10 Profile」이며, 「sublayer_level_idc[j-2]」= "level 4.1" = "123"이다. 또한, 「<BaseURL>video-basesubbitstream.mp4</BaseURL>」의 기술에 의해, 기본 비디오 스트림 STb(HD Base stream)의 로케이션처가, 「video-basesubbitstream.mp4」로서 나타나 있다.
제1 확장 비디오 스트림에 관련한 리프리젠테이션에 있어서, 「framerate= "60"」, 「codecs="hev1.B.L 153, xx"」, 「id = "tag1」, 「dependencyid = "tag0"」의 기술이 존재한다. 「Framerate="60" & L153 with dependencyid tagged tag0」은, 기본 스트림 상에 확장에 의해 4K 60P의 스트림을 실현함을 나타내고, 「"B"」는 「Scalable Main 10 Profile」을 나타내는, 7의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「sublayer_level_idc[j-1]」, 「sublayer_profile_idc[j-1]」과 일치하고 있다. 덧붙여서 말하자면,「sublayer_profile_idc[j-1]」=「Scalable Main 10 Profile」이며, 「sublayer_level_idc[j-1]」= "leve 5.1" = "153"이다.
제2 확장 비디오 스트림에 관련한 리프리젠테이션에 있어서, 「framerate= "120"」, 「codecs="hev1.C.L156,xx"」, 「id = "tag2」, 「dependencyid = "tag0, tag1"」의 기술이 존재한다. 「framerate= "120" & L156 with dependencyid tagged tag0, tag1」은, 기본 스트림 상에 4K 60P로 확장하고, 또한 그 상에 확장 성분을 더하여 4K 120P의 스트림을 실현함을 나타내고, 「"C"」는 「Scalable Main 10 Profile」을 나타내는, 7의 값임을 나타낸다. 레벨 및 프로파일의 정보는, 전술한 SPS(VPS)의 요소의 「general_level_idc」, 「general_profile_idc」와 일치하고 있다. 덧붙여서 말하자면,「general_level_idc」= 「Scalable Main 10 Profile」이며, 「general_level_idc」="level 5.2"="156"이다.
또한, 확장 비디오 스트림 STe(UHD EH stream)에 관련된 리프리젠테이션에 있어서, 「<BaseURL>video-enhancedsubstream.mp4</BaseURL>」의 기술에 의해, 확장 비디오 스트림 STe(UHD EH stream)의 로케이션처가, 「video-enhancedsubstream.mp4」로서 나타나 있다.
이와 같이 MPD 파일에는, 스케일러빌리티의 대응을 나타내는 정보가 삽입되어 있으며, 공간 스케일러빌리티, 그리고 시간 스케일러빌리티를 동시에 실현하는 것이 나타나 있다.
「서비스 송신 시스템의 구성예」
도 18은, 서비스 송신 시스템(100)의 구성예를 나타내고 있다. 이 서비스 송신 시스템(100)은, 제어부(101)와, 비디오 인코더(102)와, 컨테이너 인코더(103)와, 송신부(104)를 갖고 있다.
제어부(101)는, CPU(Central Processing Unit)를 구비하여 구성되고, 제어 프로그램에 기초하여, 서비스 송신 시스템(100)의 각 부의 동작을 제어한다. 비디오 인코더(102)는, 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상 데이터 Va를 입력하고, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe를 출력한다.
도 19는, 비디오 인코더(102)의 구성을 개략적으로 나타내고 있다. 비디오 인코더(102)는, 프로세스 1(Process 1)의 처리를 행하는 신호 처리부(102a)와, 프로세스 2(Process 2)의 처리를 행하는 신호 처리부(102b)와, 일반적인 부호화 처리를 행하는 부호화 처리부(102c)로 이루어져 있다.
도 20은, 비디오 인코더(102)에 있어서의 신호 처리부(102a) 및 신호 처리부(102b)의 부분을 나타내고 있다. 도시한 예에서는, 하이 프레임 레이트가 120㎐인 경우를 나타내고 있다. 신호 처리부(102a)는, 하이 프레임 레이트로 초고해상도의 화상 데이터 Va(120㎐ UHD)를 처리하여, 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb(UHD 60㎐ Base)와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2로 되는 화상 데이터 Vc(UHD HFR Enhanced)를 얻는다.
신호 처리부(102b)는, 화상 데이터 Vb(UHD 60㎐ Base)를 처리하여, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터 BS로 되는 화상 데이터 Vd(HD 60㎐ Base)를 얻음과 함께, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터 ES1로 되는 화상 데이터 Ve(UHD 60㎐ Enhanced)를 얻는다.
도 21의 (a)는, 신호 처리부(102a)의 구성예를 나타내고 있다. 이 신호 처리부(102a)는, 120fps의 1 프레임분 지연시키는 지연 회로(111)와, 연산 회로(112)와, 60㎐의 래치 펄스로 래치하는 래치 회로(113)를 갖고 있다. 또한, 연산 회로(112)는, 계수 승산부(112a, 112b, 112c, 112d)와, 가산부(112e, 112f)를 갖고 있다.
계수 승산부(112a, 112b) 및 가산부(112e)는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하기 위해서 사용된다. 계수 승산부(112a)에서는 계수 p가 승산되고, 계수 승산부(112b)에서는 계수 q가 승산된다. 또한, p=0 내지 1이며, q=1-p이다. 또한, 계수 승산부(112c, 112d) 및 가산부(112f)는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하기 위해 사용된다. 계수 승산부(112c)에서는 계수 r이 승산되고, 계수 승산부(112d)에서는 계수 s가 승산된다. 또한, r=0 내지 1이며, s=1-r이다.
하이 프레임 레이트로 초고해상도의 화상 데이터 Va(120㎐ UHD)는, 지연 회로(111)에서 1 프레임 지연된 후, 연산 회로(112)를 구성하는 계수 승산부(112a, 112c)에 입력된다. 또한, 이 화상 데이터 Va는, 그대로 연산 회로(112)를 구성하는 계수 승산부(112b, 112d)에 입력된다. 계수 승산부(112a, 112b)의 출력은 가산부(112e)에 입력되어 가산된다. 또한, 계수 승산부(112c, 112d)의 출력은 가산부(112f)에 입력되어 가산된다.
여기서, 화상 데이터 P의 시간적으로 연속하는 2개의 픽처의 화상 데이터를 A, B로 할 때, 지연 회로(111)의 출력이 A가 되는 타이밍에, 가산부(112e)의 출력으로서 C(=p*A+q*B)의 혼합 출력이 얻어짐과 함께, 가산부(112f)의 출력으로서 D(=r*A+s*B)의 혼합 출력이 얻어진다. 도 21의 (b)는, 연산 회로(112)에 있어서의 혼합 처리를 위한 연산을 수식으로 나타낸 것이다.
연산 회로(112)의 가산부(112e, 112f)의 출력은, 래치 회로(113)에 입력된다. 래치 회로(113)에서는, 연산 회로(112)의 가산부(112e, 112f)의 출력이, 60㎐의 래치 펄스로 래치되고, 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb(UHD 60㎐ Base)와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2로 되는 화상 데이터 Vc(UHD HFR Enhanced)가 얻어진다.
여기서, 화상 데이터 Vb는, 화상 데이터 Va에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 것이다. 또한, 화상 데이터 Vb는, 화상 데이터 Va에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이다.
도 22는, 신호 처리부(102a)의 입력 데이터(화상 데이터 Va)와, 이 신호 처리부(102a)의 출력 데이터(화상 데이터 Vb, Vc)와의 관계의 일례를, 모식적으로 나타내고 있다. 도 22의 (a)는 화상 데이터 Va를 나타내고, 도 22의 (b)는 화상 데이터 Vb를 나타내고, 도 22의 (c)는 화상 데이터 Vc를 나타내고 있다. 120fps의 화상 데이터 Va의 각 픽처의 화상 데이터 F1, F2, F3, F4, F5, F6, F7, F8, …에 대응하여, 60fps의 화상 데이터 Vb의 각 픽처의 화상 데이터 F1', F3', F5', …와, 60fps의 화상 데이터 Vc의 각 픽처의 화상 데이터 F2', F4', F6',…가 얻어진다.
도 23은, 신호 처리부(102b)의 구성예를 나타내고 있다. 이 신호 처리부(102b)는, 다운 스케일 회로(121)와, 업스케일 회로(122)와, 연산 회로(123)를 갖고 있다. 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb(UHD 60㎐ Base)는, 다운 스케일 회로(121)에 입력된다. 이 다운 스케일 회로(121)에서는, 화상 데이터 Vb에 대하여 초고해상도로부터 고해상도로의 다운 스케일 처리가 실시되고, 기본 포맷의 화상 데이터 BS로 되는 화상 데이터 Vd(HD 60㎐ Base)가 얻어진다.
또한, 다운 스케일 회로(121)에서 얻어진 화상 데이터 Vd는, 업스케일 회로(122)에 입력된다. 이 업스케일 회로(122)에서는, 화상 데이터 Vd에 대하여 고해상도로부터 초고해상도로의 업스케일 처리가 실시되고, 기본 프레임 레이트로 초고해상도의 화상 데이터가 얻어진다. 이 화상 데이터는, 화상 데이터 Vb와 동일한 해상도로 되지만, 화상 데이터 Vb에 대해서 다운 스케일 처리가 실시되고, 또한 업스케일 처리가 실시되어 얻어진 것이며, 다운 스케일 처리에서 소실된 정보는 재현되어 있지 않다.
화상 데이터 Vb와 업스케일 회로(122)에서 얻어진 화상 데이터는, 연산 회로(123)에 입력된다. 연산 회로(123)에서는, 2개의 화상 데이터 간의 차분이 취해지고, 제1 확장 포맷의 화상 데이터 ES1로 되는 화상 데이터 Ve(UHD 60㎐ Enhanced)가 얻어진다.
도 18로 되돌아가서, 비디오 인코더(102)는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는, 전술한 비디오 스케일러빌리티 SEI(도 10 참조)를 삽입한다.
이에 의해, 제1 확장 포맷의 화상 데이터 ES1의 각 액세스 유닛에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 또한, 제2 확장 포맷의 화상 데이터 ES2의 각 액세스 유닛에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
컨테이너 인코더(103)는, 비디오 인코더(102)에서 얻어진 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe를 포함하는 컨테이너, 여기에서는 MP4(도 8, 도 16 참조)를, 배신 스트림 STM으로서 생성한다.
이때, 컨테이너 인코더(103)는, 확장 비디오 스트림 STe1, STe2, 혹은 확장 비디오 스트림 STe에 대응한 MP4 스트림에 있어서, "moof" 박스의 아래에, "udta" 혹은 "lays"의 박스를 설치하고, 전술한 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)를 삽입한다.
이에 의해, 제1 확장 포맷의 화상 데이터 ES1의 액세스 유닛을 갖는 "mdat" 박스에 대응한 "moof" 박스에는, 공간 스케일러블임을 나타내는 식별 정보, 나아가 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 또한, 제2 확장 포맷의 화상 데이터 ES2의 액세스 유닛을 갖는 "mdat" 박스에 대응한 "moof" 박스에는, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
송신부(104)는, 컨테이너 인코더(103)에서 얻어진 MP4의 배신 스트림 STM을, 방송파 혹은 네트의 패킷에 실어, 서비스 수신기(200)로 송신한다.
도 18에 도시한 서비스 송신 시스템(100)의 동작을 간단히 설명한다. 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상 데이터 Va가 비디오 인코더(102)에 입력된다. 비디오 인코더(102)에서는, 이 화상 데이터 Va가 처리되어, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 얻어진다.
여기서, 기본 비디오 스트림 STb에는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터 BS의 액세스 유닛이 포함된다. 확장 비디오 스트림 STe1에는, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터 ES1의 액세스 유닛이 포함된다. 확장 비디오 스트림 STe2에는, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2의 액세스 유닛이 포함된다. 또한, 확장 비디오 스트림 STe에는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛이 포함된다.
비디오 인코더(102)에서는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛(AU)의 "SEIs"의 부분에, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다. 이에 의해, 화상 데이터 ES1의 각 액세스 유닛에, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 또한, 화상 데이터 ES2의 각 액세스 유닛에, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가, 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
비디오 인코더(102)에서 얻어진 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe는, 컨테이너 인코더(103)에 공급된다. 컨테이너 인코더(103)에서는, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 스트림 STe를 포함하는 MP4(도 8, 도 16 참조)가, 배신 스트림 STM으로서 생성된다.
이때, 컨테이너 인코더(103)에서는, 확장 비디오 스트림 STe1, STe2, 혹은 확장 비디오 스트림 STe에 대응한 MP4 스트림에 있어서, "moof" 박스의 아래에, "udta" 혹은 "lays"의 박스가 설치되고, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
이에 의해, 화상 데이터 ES1의 액세스 유닛을 갖는 "mdat" 박스에 대응한 "moof" 박스에는, 공간 스케일러블임을 나타내는 식별 정보, 나아가, 공간 스케일러블의 비율을 나타내는 정보가 삽입된다. 또한, 화상 데이터 ES2의 액세스 유닛을 갖는 "mdat" 박스에 대응한 "moof" 박스에는, 시간 스케일러블임을 나타내는 식별 정보, 기본 포맷의 화상 데이터가 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보, 나아가, 혼합 비율(제1, 제2 비율)의 정보가 삽입된다.
컨테이너 인코더(103)에서 생성된 배신 스트림 STM은 송신부(104)에 공급된다. 송신부(104)에서는, MP4의 배신 스트림 STM을 방송파 혹은 네트의 패킷에 실어, 서비스 수신기(200)에 송신하는 것이 행해진다.
「서비스 수신기의 구성예」
도 24는, 하이 프레임 레이트로 초고해상도의 동화상 데이터를 처리 가능한 서비스 수신기(200A)의 구성예를 나타내고 있다. 이 서비스 수신기(200A)는, 제어부(201)와, 수신부(202)와, 컨테이너 디코더(203)와, 비디오 디코더(204)를 갖고 있다.
제어부(201)는, CPU(Central Processing Unit)를 구비하여 구성되고, 제어 프로그램에 기초하여, 서비스 수신기(200A)의 각 부의 동작을 제어한다. 수신부(202)는, 서비스 송신 시스템(100)으로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 MP4의 배신 스트림 STM을 수신한다.
컨테이너 디코더(203)는, MP4로부터, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe를 추출한다. 전술한 바와 같이, 기본 비디오 스트림 STb에는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터 BS의 액세스 유닛이 포함되어 있다.
또한, 확장 비디오 스트림 STe1에는, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터 ES1의 액세스 유닛이 포함되어 있다. 확장 비디오 스트림 STe2에는, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2의 액세스 유닛이 포함되어 있다. 또한, 확장 비디오 스트림 STe에는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛이 포함되어 있다.
또한, 컨테이너 디코더(203)는, MP4로부터 메타 정보를 추출하고, 제어부(201)에 보낸다. 이 메타 정보에는, 확장 비디오 스트림 STe1, STe2, 혹은 확장 비디오 스트림 STe에 대응한 MP4 스트림에 있어서, "moof" 박스의 아래에 설치된 "udta" 혹은 "lays"의 박스에 삽입되어 있는 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)도 포함된다.
제어부(201)는, 이 비디오 스케일러빌리티 인포메이션 디스크립터로부터, 제1 확장 포맷의 화상 데이터 ES1에 의한 확장이 공간 스케일러블인 점, 또한 공간 스케일러블의 비율 등을 인식한다. 또한, 제어부(201)는, 이 비디오 스케일러빌리티 인포메이션 디스크립터로부터, 제2 확장 포맷의 화상 데이터 ES2에 의한 확장이 시간 스케일러블인 점, 기본 포맷의 화상 데이터 BS가 혼합 처리를 실시하여 얻어진 화상 데이터인 점, 또한 혼합 비율(제1, 제2 비율) 등을 인식한다.
비디오 디코더(204)는, 컨테이너 디코더(203)에서 추출된 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe를 처리하여, 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상 데이터 Va'를 얻는다.
여기서, 비디오 디코더(204)는, 각 비디오 스트림을 구성하는 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI를 추출하고, 제어부(201)에 보낸다. 이 SEI에는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛(AU)에 삽입되어 있는 비디오 스케일러빌리티 SEI(도 10 참조)도 포함된다.
제어부(201)는, 이 비디오 스케일러빌리티 SEI로부터, 제1 확장 포맷의 화상 데이터 ES1에 의한 확장이 공간 스케일러블인 점, 또한 공간 스케일러블의 비율 등을 인식한다. 또한, 제어부(201)는, 이 비디오 스케일러빌리티 SEI로부터, 제2 확장 포맷의 화상 데이터 ES2에 의한 확장이 시간 스케일러블인 점, 기본 포맷의 화상 데이터 BS가 혼합 처리를 실시하여 얻어진 화상 데이터인 점, 또한 혼합 비율(제1, 제2 비율) 등을 인식한다.
도 25는, 비디오 디코더(204)의 구성을 개략적으로 나타내고 있다. 비디오 디코더(204)는, 인버스 프로세스 1(Inverse Process 1)의 처리를 행하는 신호 처리부(204a)와, 인버스 프로세스 2(Inverse Process 2)의 처리를 행하는 신호 처리부(204b)와, 일반적인 복호화 처리를 행하는 복호화 처리부(204c)로 이루어져 있다. 여기서, 인버스 프로세스 1의 처리는, 전술한 비디오 인코더(102)의 신호 처리부(102a)에서 행해지는 프로세스 1의 처리의 역처리로 된다. 마찬가지로, 인버스 프로세스 2의 처리는, 전술한 비디오 인코더(102)의 신호 처리부(102b)에서 행해지는 프로세스 2의 처리의 역처리로 된다.
도 26은, 비디오 디코더(204)에 있어서의 신호 처리부(204a) 및 신호 처리부(204b)의 부분을 나타내고 있다. 도시한 예에서는, 하이 프레임 레이트가 120㎐인 경우를 나타내고 있다. 신호 처리부(204b)는, 기본 포맷의 화상 데이터 BS'인 화상 데이터 Vd'(HD 60㎐ Base)와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터 ES1'인 화상 데이터 Ve'(UHD 60㎐ Enhanced)를 처리하여, 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb'(UHD 60㎐ Base)를 얻는다.
신호 처리부(204a)는, 화상 데이터 Vb'(UHD 60㎐ Base)와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2'인 화상 데이터 Vc'(UHD HFR Enhanced)를 처리하여, 하이 프레임 레이트로 초고해상도의 화상 데이터 Va'(120㎐ UHD)를 얻는다.
도 27은, 신호 처리부(204b)의 구성예를 나타내고 있다. 이 신호 처리부(204b)는, 업스케일 회로(211)와, 연산 회로(212)를 갖고 있다. 기본 포맷의 화상 데이터 BS'인 화상 데이터 Vd'(HD 60㎐ Base)는, 업스케일 회로(211)에 입력된다. 이 업스케일 회로(211)에서는, 화상 데이터 Vd'에 대해서 고해상도로부터 초고해상도로의 업스케일 처리가 실시되고, 기본 프레임 레이트로 초고해상도의 화상 데이터가 얻어진다. 여기서, 업스케일 회로(211)에서는, 전술한 바와 같이 비디오 스케일러빌리티 SEI(도 10 참조) 혹은 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)에 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보가 사용되고, 적절한 업스케일 처리가 실시된다.
제1 확장 포맷의 화상 데이터 ES1'인 화상 데이터 Ve'(UHD 60㎐ Enhanced)와, 업스케일 회로(211)에서 얻어진 화상 데이터는, 연산 회로(212)에 입력된다. 연산 회로(212)에서는, 2개의 화상 데이터가 가산되고, 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb'(UHD 60㎐ Base)가 얻어진다.
도 28은, 신호 처리부(204a)의 구성예를 나타내고 있다. 이 신호 처리부(204a)는, 연산 회로(241)와, 스위치 회로(242)를 갖고 있다. 또한, 연산 회로(241)는, 계수 승산부(241a, 241b, 241c, 241d)와, 가산부(241e, 241f)를 갖고 있다. 연산 회로(241)는, 도 21의 (a)의 신호 처리부(102a)에 있어서의 연산 회로(112)에 있어서의 혼합 처리와는 반대의 처리(역혼합 처리)를 한다.
계수 승산부(241a, 241b) 및 가산부(241e)는, 화상 데이터 Vb' 및 화상 데이터 Vc'로부터, 상기 시간적으로 연속하는 2개의 픽처 단위에서 1번째의 픽처의 화상 데이터를 얻기 위해서 사용된다. 계수 승산부(241a)에서는 계수 u가 승산되고, 계수 승산부(241b)에서는 계수 v가 승산된다. 또한, 계수 승산부(241c, 241d) 및 가산부(241f)는, 화상 데이터 Vb' 및 화상 데이터 Vc'로부터, 상기 시간적으로 연속하는 2개의 픽처 단위에서 2번째의 픽처의 화상 데이터를 얻기 위해서 사용된다. 계수 승산부(241c)에서는 계수 w가 승산되고, 계수 승산부(241d)에서는 계수 z가 승산된다.
기본 프레임 레이트로 초고해상도의 화상 데이터 Vb'(UHD 60㎐ Base)는, 연산 회로(241)를 구성하는 계수 승산부(241a, 241c)에 입력된다. 또한, 제2 확장 포맷의 화상 데이터 ES2'인 화상 데이터 Vc'(UHD HFR Enhanced)는, 연산 회로(241)를 구성하는 계수 승산부(241b, 241d)에 입력된다. 계수 승산부(241a, 241b)의 출력은 가산부(241e)에 입력되어 가산된다. 또한, 계수 승산부(241c, 241d)의 출력은 가산부(241f)에 입력되어 가산된다.
이 경우, 가산부(241e)의 출력으로서 상기 시간적으로 연속하는 2개의 픽처 단위에서 1번째의 픽처의 화상 데이터 A가 얻어짐과 함께, 가산부(241f)의 출력으로서 상기 시간적으로 연속하는 2개의 픽처 단위에서 2번째의 픽처의 화상 데이터 B가 얻어진다. 도 28의 (b)는, 연산 회로(241)에 있어서의 역혼합 처리를 위한 연산을 수식으로 나타낸 것이다. 또한, 도 28의 (c)는, 계수 u, v, w, z와 계수 p, q, r, s의 대응 관계를 행렬식으로 나타내고 있다.
연산 회로(241)의 가산부(241e, 241f)의 출력은, 각각, 스위치 회로(242)의 a측, b측의 고정 단자에 입력된다. 스위치 회로(242)는, 120㎐의 주기로, a측, b측으로 교대로 전환된다. 이 스위치 회로(242)로부터는, 화상 데이터 A, B가 합성된, 하이 프레임 레이트로 초고해상도의 화상 데이터 Va'(120㎐ UHD)가 얻어진다.
여기서, 연산 회로(241)에서는, 전술한 바와 같이 비디오 스케일러빌리티 SEI(도 10 참조) 혹은 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)에 삽입되어 있는 혼합 비율(제1, 제2 비율)의 정보, 즉 p, q, r, s의 정보가 사용되고, 적절한 역혼합 처리가 실시된다.
도 24에 도시한 서비스 수신기(200A)의 동작을 간단히 설명한다. 수신부(202)에서는, 서비스 송신 시스템(100)으로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 MP4의 배신 스트림 STM이 수신된다. 이 배신 스트림 STM은, 컨테이너 디코더(203)에 공급된다. 컨테이너 디코더(203)에서는, MP4로부터 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 추출된다.
기본 비디오 스트림 STb에는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터 BS의 액세스 유닛이 포함되어 있다. 또한, 확장 비디오 스트림 STe1에는, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터 ES1의 액세스 유닛이 포함되어 있다. 확장 비디오 스트림 STe2에는, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터 ES2의 액세스 유닛이 포함되어 있다. 또한, 확장 비디오 스트림 STe에는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛이 포함되어 있다.
또한, 컨테이너 디코더(203)에서는, MP4로부터 메타 정보가 추출되고, 제어부(201)에 보내진다. 이 메타 정보에는, 확장 비디오 스트림 STe1, STe2, 혹은 확장 비디오 스트림 STe에 대응한 MP4 스트림에 있어서, "moof" 박스의 아래에 설치된 "udta" 혹은 "lays"의 박스에 삽입되어 있는 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)도 포함된다.
제어부(201)에서는, 이 비디오 스케일러빌리티 인포메이션 디스크립터로부터, 제1 확장 포맷의 화상 데이터 ES1에 의한 확장이 공간 스케일러블인 점, 또한 공간 스케일러블의 비율 등이 인식된다. 또한, 제어부(201)에서는, 이 비디오 스케일러빌리티 인포메이션 디스크립터로부터, 제2 확장 포맷의 화상 데이터 ES1에 의한 확장이 시간 스케일러블인 점, 기본 포맷의 화상 데이터 BS가 혼합 처리를 실시하여 얻어진 화상 데이터인 점, 또한 혼합 비율(제1, 제2 비율) 등이 인식된다.
컨테이너 디코더(203)에서 추출된 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe는, 비디오 디코더(204)에 공급된다. 비디오 디코더(204)에서는, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 처리되고, 하이 프레임 레이트(HFR)로 초고해상도(UHD)의 화상 데이터 Va'가 얻어진다.
여기서, 비디오 디코더(204)에서는, 각 비디오 스트림을 구성하는 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI가 추출되고, 제어부(201)에 보내진다. 이 SEI에는, 제1, 제2 확장 포맷의 화상 데이터 ES1, ES2의 액세스 유닛(AU)에 삽입되어 있는 비디오 스케일러빌리티 SEI(도 10 참조)도 포함된다.
제어부(201)에서는, 이 비디오 스케일러빌리티 SEI로부터, 제1 확장 포맷의 화상 데이터 ES1에 의한 확장이 공간 스케일러블인 점, 또한 공간 스케일러블의 비율 등이 인식된다. 또한, 제어부(201)는, 이 비디오 스케일러빌리티 SEI로부터, 제2 확장 포맷의 화상 데이터 ES1에 의한 확장이 시간 스케일러블인 점, 기본 포맷의 화상 데이터 BS가 혼합 처리를 실시하여 얻어진 화상 데이터인 점, 또한 혼합 비율(제1, 제2 비율) 등이 인식된다.
도 29는, 기본 프레임 레이트로 초고해상도의 동화상 데이터를 처리 가능한 서비스 수신기(200B)의 구성예를 나타내고 있다. 이 도 29에 있어서, 도 24와 대응하는 부분에는 동일 부호, 혹은 「B」를 붙인 부호를 부여하고, 적절히, 그 상세 설명을 생략한다. 이 서비스 수신기(200B)는, 수신부(201)와, 컨테이너 디코더(203B)와, 비디오 디코더(204B)를 갖고 있다.
수신부(201)에서는, 서비스 송신 시스템(100)으로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 MP4의 배신 스트림 STM이 수신된다. 이 배신 스트림 STM은, 컨테이너 디코더(203B)에 공급된다. 컨테이너 디코더(203B)에서는, MP4로부터 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 추출된다.
컨테이너 디코더(203B)에서 추출된 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe는, 비디오 디코더(204B)에 공급된다. 비디오 디코더(204B)에서는, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, 혹은 기본 비디오 스트림 STb와 확장 비디오 스트림 STe가 처리되어, 기본 프레임 레이트로 초고해상도의 화상 데이터 Vb'가 얻어진다.
도 30은, 기본 프레임 레이트로 고해상도의 동화상 데이터를 처리 가능한 서비스 수신기(200C)의 구성예를 나타내고 있다. 이 도 30에 있어서, 도 24과 대응하는 부분에는 동일 부호, 혹은 「C」를 붙인 부호를 부여하고, 적절히, 그 상세 설명을 생략한다. 이 서비스 수신기(200C)는, 수신부(201)와, 컨테이너 디코더(203C)와, 비디오 디코더(204C)를 갖고 있다.
수신부(201)에서는, 서비스 송신 시스템(100)으로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 MP4의 배신 스트림 STM이 수신된다. 이 배신 스트림 STM은, 컨테이너 디코더(203C)에 공급된다. 컨테이너 디코더(203C)에서는, MP4로부터 기본 비디오 스트림 STb만이 추출된다.
컨테이너 디코더(203C)에서 추출된 기본 비디오 스트림 STb는, 비디오 디코더(204C)에 공급된다. 비디오 디코더(204C)에서는, 기본 비디오 스트림 STb만이 처리되어, 기본 프레임 레이트로 고해상도의 화상 데이터 Vd'가 얻어진다.
전술한 바와 같이, 도 3에 도시하는 송수신 시스템(10)에 있어서는, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터와 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 2개 또는 1개의 확장 비디오 스트림이 송신된다. 그로 인해, 하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 전송할 수 있다.
예를 들어, 기본 프레임 레이트로 고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 표시가 가능해진다. 또한, 예를 들어 기본 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 표시가 가능해진다. 또한, 예를 들어 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리 가능한 디코드 능력이 있는 수신기의 경우, 기본 비디오 스트림 및 확장 스트림의 양쪽을 처리하여 하이 프레임 레이트로 초고해상도의 화상 표시가 가능해진다.
또한, 도 3에 도시한 송수신 시스템(10)에 있어서는, 기본 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리가 실시됨으로써 얻어진 것이다. 그로 인해, 기본 비디오 스트림만을 처리하여 표시되는 기본 프레임 레이트로 고해상도의 화상은 스트로빙 효과가 억제된 매끄러운 화상으로 된다.
<2. 변형예>
또한, 전술 실시 형태에 있어서는, 컨테이너가 MP4(ISOBMFF)인 예를 나타냈다. 그러나, 본 기술은, 컨테이너가 MP4로 한정되는 것이 아니라, MPEG-2 TS나 MMT 등의 다른 포맷의 컨테이너라도 마찬가지로 적용할 수 있다.
예를 들어, MPEG-2 TS의 경우에는, 도 18에 도시한 서비스 송신 시스템(100)의 컨테이너 인코더(103)에서는, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 스트림 STe를 포함하는 트랜스포트 스트림(Transport Stream)이 생성된다.
이때, 컨테이너 인코더(103)에서는, 프로그램 맵 테이블(PMT: Program Map Table)의 관리하의 확장 비디오 스트림에 대응한 비디오 엘리멘터리 스트림 루프에, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
도 31은, 3스트림 구성의 전송의 경우에서의 트랜스포트 스트림의 구성예를 나타내고 있다. 이 구성예에서는, PID1에 의해 식별되는 비디오 스트림의 PES 패킷 「video PES1」과, PID2에 의해 식별되는 비디오 스트림의 PES 패킷 「video PES2」와, PID3에 의해 식별되는 비디오 스트림의 PES 패킷 「video PES3」이 존재한다.
PES 패킷 「video PES1」의 페이로드에는, 기본 비디오 스트림 STb의 액세스 유닛(부호화 화상 데이터)이 포함된다. PES 패킷 「video PES2」의 페이로드에는, 확장 비디오 스트림 STe1의 액세스 유닛(부호화 화상 데이터)이 포함된다. PES 패킷 「video PES3」의 페이로드에는, 확장 비디오 스트림 STe2의 액세스 유닛(부호화 화상 데이터)이 포함된다. PES 패킷 「video PES2」 및 PES 패킷 「video PES3」에 포함되는 각 픽처의 액세스 유닛(부호화 화상 데이터)에는, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다.
또한, 트랜스포트 스트림에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다.
PMT에는, 각비디오 스트림에 대응한 비디오 엘리멘터리 스트림 루프(video ES loop)가 존재한다. 비디오 엘리멘터리 스트림 루프(video ES loop)에는, 비디오 스트림에 대응하여, 스트림 타입, PID(패킷 식별자) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
「video ES1 loop」에는, 기본 비디오 스트림(video PES1)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 기본 비디오 스트림을 나타내는 "0x24"로 된다.
또한, 「video ES2 loop」에는, 확장 비디오 스트림(video PES2)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
또한, 「video ES3 loop」에는, 확장 비디오 스트림(video PES3)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
도 32는, 2스트림 구성의 전송의 경우에서의 트랜스포트 스트림의 구성예를 나타내고 있다. 이 구성예에서는, PID1에 의해 식별되는 비디오 스트림의 PES 패킷 「video PES1」과, PID2에 의해 식별되는 비디오 스트림의 PES 패킷 「video PES2」가 존재한다.
PES 패킷 「video PES1」의 페이로드에는, 기본 비디오 스트림 STb의 액세스 유닛(부호화 화상 데이터)이 포함된다. PES 패킷 「video PES2」의 페이로드에는, 확장 비디오 스트림 STe의 액세스 유닛(부호화 화상 데이터)이 포함된다. PES 패킷 「video PES2」에 포함되는 각 픽처의 액세스 유닛(부호화 화상 데이터)에는, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다.
또한, PMT의 관리하에, 기본 비디오 스트림 「video PES1」과, 확장 비디오 스트림 「video PES2」에 대응한 비디오 엘리멘터리 스트림 루프(video ES loop)가 존재한다. 비디오 엘리멘터리 스트림 루프(video ES loop)에는, 비디오 스트림에 대응하여, 스트림 타입, PID(패킷 식별자) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
「video ES1 loop」에는, 기본 비디오 스트림(video PES1)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 기본 비디오 스트림을 나타내는 "0x24"로 된다.
또한, 「video ES2 loop」에는, 확장 비디오 스트림(video PES2)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
또한, 예를 들어 MMT의 경우에는, 도 18에 도시한 서비스 송신 시스템(100)의 컨테이너 인코더(103)에서는, 기본 비디오 스트림 STb와 확장 비디오 스트림 STe1, STe2, 혹은 기본 비디오 스트림 STb와 확장 스트림 STe를 포함하는 MMT 스트림(MMT Stream)이 생성된다.
이때, 컨테이너 인코더(103)에서는, MMT 패키지 테이블(MPT: MMT Package Table)의 관리하의 확장 비디오 스트림에 대응한 비디오 어셋 루프에, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
도 33은, 3스트림 구성의 전송의 경우에서의 MMT 스트림의 구성예를 나타내고 있다. 이 구성예에서는, ID1에 의해 식별되는 비디오 스트림의 MPU 패킷 「video MPU1」과, ID2에 의해 식별되는 비디오 스트림의 MPU 패킷 「video MPU2」와, ID3에 의해 식별되는 비디오 스트림의 MPU 패킷 「video MPU3」이 존재한다.
MPU 패킷 「video MPU1」의 페이로드에는, 기본 비디오 스트림 STb의 액세스 유닛(부호화 화상 데이터)이 포함된다. MPU 패킷 「video MPU2」의 페이로드에는, 확장 비디오 스트림 STe1의 액세스 유닛(부호화 화상 데이터)이 포함된다. MPU 패킷 「video MPU3」의 페이로드에는, 확장 비디오 스트림 STe2의 액세스 유닛(부호화 화상 데이터)이 포함된다. MPU 패킷 「video MPU2」 및 MPU 패킷 「video MPU3」에 포함되는 각 픽처의 액세스 유닛(부호화 화상 데이터)에는, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다.
또한, MMT 스트림에는, PA(Packet Access) 메시지 패킷 등의 메시지 패킷이 존재한다. PA 메시지 패킷에는, MPT 등의 테이블이 포함되어 있다. MPT에는, 각 어셋(비디오 스트림)에 대응한 비디오 어셋 루프(video asset loop)가 존재한다. 비디오 어셋 루프(video asset loop)에는, 어셋(비디오 스트림)에 대응하여, 어셋 타입(Asset_type), 어셋 ID(Asset_id) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
「video asset1 loop」에는, 기본 비디오 스트림(video MPU1)에 대응하여, 어셋 타입, 어셋 ID 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 어셋 타입은, 기본 비디오 스트림을 나타내는 "0x24"로 된다.
또한, 「video asset2 loop」에는, 확장 비디오 스트림(video MPU2)에 대응하여, 어셋 타입, 어셋 ID 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 어셋 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
또한, 「video asset3 loop」에는, 확장 비디오 스트림(video MPU3)에 대응하여, 어셋 타입, 어셋 ID 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 스트림 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
도 34는, 2스트림 구성의 전송의 경우에서의 MMT 스트림의 구성예를 나타내고 있다. 이 구성예에서는, ID1에 의해 식별되는 비디오 스트림의 MPU 패킷 「video MPU1」과, PID2에 의해 식별되는 비디오 스트림의 MPU 패킷 「video MPU2」가 존재한다.
MPU 패킷 「video MPU1」의 페이로드에는, 기본 비디오 스트림 STb의 액세스 유닛(부호화 화상 데이터)이 포함된다. MPU 패킷 「video MPU2」의 페이로드에는, 확장 비디오 스트림 STe의 액세스 유닛(부호화 화상 데이터)이 포함된다. MPU 패킷 「video PES2」에 포함되는 각 픽처의 액세스 유닛(부호화 화상 데이터)에는, 비디오 스케일러빌리티 SEI(도 10 참조)가 삽입된다.
또한, MPT의 관리하에, 기본 비디오 스트림 「video MPU1」과, 확장 비디오 스트림 「video MPU2」에 대응한 비디오 어셋 루프(video asset loop)가 존재한다. 비디오 어셋 루프(video asset loop)에는, 비디오 스트림에 대응하여, 어셋 타입, 어셋 ID 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
「video asset1 loop」에는, 기본 비디오 스트림(video MPU1)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 어셋 타입은, 기본 비디오 스트림을 나타내는 "0x24"로 된다.
또한, 「video ES2 loop」에는, 확장 비디오 스트림(video PES2)에 대응하여, 어셋 타입, 어셋 ID 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 이 어셋 타입은, 확장 비디오 스트림을 나타내는 "0x2x"로 된다. 또한, 디스크립터의 하나로서, 비디오 스케일러빌리티 인포메이션 디스크립터(도 12 참조)가 삽입된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리부와,
상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화부와,
상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 처리부는,
상기 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 기본 프레임 레이트로 초고해상도의 제1 화상 데이터를 얻음과 함께, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 상기 제2 확장 포맷의 화상 데이터를 얻고, 또한, 상기 제1 화상 데이터에 다운 스케일 처리를 실시하여 상기 기본 포맷의 화상 데이터를 얻음과 함께, 해당 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 상기 제1 확장 포맷의 화상 데이터를 얻는, 송신 장치.
(2) 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 공간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 상기 (1)에 기재된 송신 장치.
(3) 상기 정보 삽입부는,
상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 공간 스케일러블의 비율을 나타내는 정보를 더 삽입하는, 상기 (2)에 기재된 송신 장치.
(4) 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 시간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 송신 장치.
(5) 상기 정보 삽입부는,
상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 상기 기본 포맷의 화상 데이터가 상기 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보를 더 삽입하는, 상기 (4)에 기재된 송신 장치.
(6) 상기 정보 삽입부는,
상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 상기 제1 비율의 정보 및 상기 제2 비율의 정보를 더 삽입하는, 상기 (5)에 기재된 송신 장치.
(7) 상기 컨테이너의 레이어에, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 공간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8) 상기 정보 삽입부는,
상기 컨테이너의 레이어에, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 공간 스케일러블의 비율을 나타내는 정보를 더 삽입하는, 상기 (7)에 기재된 송신 장치.
(9) 상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 시간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 상기 (1) 내지 (8) 중 어느 하나에 기재된 송신 장치.
(10) 상기 정보 삽입부는,
상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 상기 기본 포맷의 화상 데이터가 상기 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보를 더 삽입하는, 상기 (9)에 기재된 송신 장치.
(11) 상기 정보 삽입부는,
상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 상기 제1 비율의 정보 및 상기 제2 비율의 정보를 더 삽입하는, 상기 (10)에 기재된 송신 장치.
(12) 상기 기본 비디오 스트림과 상기 2개 또는 1개의 확장 비디오 스트림을 수신 장치에서 취득시키기 위한 메타 정보를 갖는 메타파일을 송신하는 송신부를 더 구비하고,
상기 메타파일에는 스케일러빌리티의 대응을 나타내는 정보가 삽입되는, 상기 (1) 내지 (11) 중 어느 하나에 기재된 송신 장치.
(13) 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리 스텝과,
상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화 스텝과,
송신부에 의해, 상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신 스텝을 갖고,
상기 화상 처리 스텝에서는,
상기 하이 프레임 레이트 및 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 기본 프레임 레이트로 초고해상도의 제1 화상 데이터를 얻음과 함께, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 상기 제2 확장 포맷의 화상 데이터를 얻고, 또한, 상기 제1 화상 데이터에 다운 스케일 처리를 실시하여 상기 기본 포맷의 화상 데이터를 얻음과 함께, 해당 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 상기 제1 확장 포맷의 화상 데이터를 얻는, 송신 방법.
(14) 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부를 구비하고,
상기 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이며,
상기 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이며,
상기 제1 확장 포맷의 화상 데이터는, 상기 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이며,
상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리부를 더 구비하는, 수신 장치.
(15) 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며,
상기 처리부는, 상기 기본 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 상기 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보를 이용하는, 상기 (14)에 기재된 수신 장치.
(16) 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며,
상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에 상기 제1 비율의 정보 및 상기 제2 비율의 정보가 삽입되어 있으며,
상기 처리부는, 상기 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 상기 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보, 제1 비율의 정보 및 제2 비율의 정보를 이용하는, 상기 (14)에 기재된 수신 장치.
(17) 수신부에 의해, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신 스텝을 갖고,
상기 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이며,
상기 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이며,
상기 제1 확장 포맷의 화상 데이터는, 상기 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이며,
상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리 스텝을 더 갖는, 수신 방법.
(18) 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리부와,
상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화부와,
상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하는, 송신 장치.
(19) 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리부를 구비하는, 수신 장치.
본 기술의 주된 특징은, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터와 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 2개 또는 1개의 확장 비디오 스트림을 송신함으로써, 하이 프레임 레이트로 초고해상도의 화상 데이터를 수신측에 있어서 하위 호환을 양호하게 실현 가능하게 한 것이다(도 5, 도 6, 도 14 참조).
또한, 본 기술의 주된 특징은, 기본 포맷의 화상 데이터를, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻음으로써, 기본 비디오 스트림만을 처리하여 표시되는 기본 프레임 레이트로 고해상도의 화상을 스트로빙 효과가 억제된 매끄러운 화상으로 하는 것을 가능하게 한 것이다(도 20, 도 21 참조).
10: 송수신 시스템
30A, 30B: MPEG-DASH 베이스의 스트림 배신 시스템
31: DASH 스트림 파일 서버
32: DASH MPD 서버
33, 33-1 내지 33-N: 서비스 수신기
34: CDN
35, 35-1 내지 35-M: 서비스 수신기
36: 방송 송출 시스템
100: 서비스 송신 시스템
101: 제어부
102: 비디오 인코더
102a, 102b: 신호 처리부
102c: 부호화 처리부
103: 컨테이너 인코더
104: 송신부
111: 지연 회로
112: 연산 회로
112a, 112b, 112c, 112d: 계수 승산부
112e, 112f: 가산부
113: 래치 회로
121: 다운 스케일 회로
122: 업스케일 회로
123: 연산 회로
200, 200A, 200B, 200C: 서비스 수신기
201: 제어부
202: 수신부
203, 203B, 203C: 컨테이너 디코더
204, 204B, 204C: 비디오 디코더
204a, 204b: 신호 처리부
204c: 복호화 처리부
211: 업스케일 회로
212: 연산 회로
241: 연산 회로
241a, 241b, 241c, 241d: 계수 승산부
241e, 241f: 가산부
242: 스위치 회로

Claims (19)

  1. 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리부와,
    상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화부와,
    상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
    상기 화상 처리부는,
    상기 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 기본 프레임 레이트로 초고해상도의 제1 화상 데이터를 얻음과 함께, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 상기 제2 확장 포맷의 화상 데이터를 얻고, 또한, 상기 제1 화상 데이터에 다운 스케일 처리를 실시하여 상기 기본 포맷의 화상 데이터를 얻음과 함께, 해당 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 상기 제1 확장 포맷의 화상 데이터를 얻는, 송신 장치.
  2. 제1항에 있어서,
    상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 공간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  3. 제2항에 있어서,
    상기 정보 삽입부는,
    상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 공간 스케일러블의 비율을 나타내는 정보를 더 삽입하는, 송신 장치.
  4. 제1항에 있어서,
    상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 시간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  5. 제4항에 있어서,
    상기 정보 삽입부는,
    상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 상기 기본 포맷의 화상 데이터가 상기 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보를 더 삽입하는, 송신 장치.
  6. 제5항에 있어서,
    상기 정보 삽입부는,
    상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 상기 제1 비율의 정보 및 상기 제2 비율의 정보를 더 삽입하는, 송신 장치.
  7. 제1항에 있어서,
    상기 컨테이너의 레이어에, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 공간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  8. 제7항에 있어서,
    상기 정보 삽입부는,
    상기 컨테이너의 레이어에, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 공간 스케일러블의 비율을 나타내는 정보를 더 삽입하는, 송신 장치.
  9. 제1항에 있어서,
    상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 시간 스케일러블임을 나타내는 식별 정보를 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  10. 제9항에 있어서,
    상기 정보 삽입부는,
    상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 상기 기본 포맷의 화상 데이터가 상기 혼합 처리를 실시하여 얻어진 화상 데이터임을 나타내는 식별 정보를 더 삽입하는, 송신 장치.
  11. 제10항에 있어서,
    상기 정보 삽입부는,
    상기 컨테이너의 레이어에, 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에 대응하여, 상기 제1 비율의 정보 및 상기 제2 비율의 정보를 더 삽입하는, 송신 장치.
  12. 제1항에 있어서,
    상기 기본 비디오 스트림과 상기 2개 또는 1개의 확장 비디오 스트림을 수신 장치로 취득시키기 위한 메타 정보를 갖는 메타파일을 송신하는 송신부를 더 구비하고,
    상기 메타파일에는 스케일러빌리티의 대응을 나타내는 정보가 삽입되는, 송신 장치.
  13. 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리 스텝과,
    상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화 스텝과,
    송신부에 의해, 상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신 스텝을 갖고,
    상기 화상 처리 스텝에서는,
    상기 하이 프레임 레이트 및 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 기본 프레임 레이트로 초고해상도의 제1 화상 데이터를 얻음과 함께, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 상기 제2 확장 포맷의 화상 데이터를 얻고, 또한, 상기 제1 화상 데이터에 다운 스케일 처리를 실시하여 상기 기본 포맷의 화상 데이터를 얻음과 함께, 해당 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 상기 제1 확장 포맷의 화상 데이터를 얻는, 송신 방법.
  14. 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부를 구비하고,
    상기 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이며,
    상기 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이며,
    상기 제1 확장 포맷의 화상 데이터는, 상기 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이며,
    상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리부를 더 구비하는, 수신 장치.
  15. 제14항에 있어서,
    상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며,
    상기 처리부는, 상기 기본 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 상기 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보를 이용하는, 수신 장치.
  16. 제14항에 있어서,
    상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에, 공간 스케일러블의 비율을 나타내는 정보가 삽입되어 있으며,
    상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터에, 및/또는, 해당 부호화 화상 데이터에 대응한 컨테이너 위치에 상기 제1 비율의 정보 및 상기 제2 비율의 정보가 삽입되어 있으며,
    상기 처리부는, 상기 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 경우, 상기 삽입되어 있는 공간 스케일러블의 비율을 나타내는 정보, 제1 비율의 정보 및 제2 비율의 정보를 이용하는, 수신 장치.
  17. 수신부에 의해, 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신 스텝을 갖고,
    상기 제2 확장 포맷의 화상 데이터는, 하이 프레임 레이트로 초고해상도의 화상 데이터에 있어서 시간적으로 연속하는 2개의 픽처 단위에서 제2 비율의 혼합 처리를 실시하여 얻어진 것이며,
    상기 기본 포맷의 화상 데이터는, 상기 시간적으로 연속하는 2개의 픽처 단위에서 제1 비율의 혼합 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제1 화상 데이터에 다운 스케일 처리를 실시하여 얻어진 것이며,
    상기 제1 확장 포맷의 화상 데이터는, 상기 기본 포맷의 화상 데이터에 업스케일 처리를 실시하여 얻어진 기본 프레임 레이트로 초고해상도의 제2 화상 데이터와 상기 제1 화상 데이터 사이의 차분을 취하여 얻어진 것이며,
    상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리 스텝을 더 갖는, 수신 방법.
  18. 하이 프레임 레이트로 초고해상도의 화상 데이터를 처리하여 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터와, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터와, 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터를 얻는 화상 처리부와,
    상기 기본 포맷의 화상 데이터의 부호화 화상 데이터를 포함하는 기본 비디오 스트림과, 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 포함하는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 포함하는 1개의 확장 비디오 스트림을 생성하는 화상 부호화부와,
    상기 기본 스트림 및 상기 2개 또는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하는, 송신 장치.
  19. 기본 프레임 레이트로 고해상도의 화상을 얻기 위한 기본 포맷의 화상 데이터의 부호화 화상 데이터를 갖는 기본 비디오 스트림과, 기본 프레임 레이트로 초고해상도의 화상을 얻기 위한 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 하이 프레임 레이트로 초고해상도의 화상을 얻기 위한 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터를 각각 갖는 2개의 확장 비디오 스트림 또는 상기 제1 확장 포맷의 화상 데이터의 부호화 화상 데이터 및 상기 제2 확장 포맷의 화상 데이터의 부호화 화상 데이터의 양쪽을 갖는 1개의 확장 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
    상기 기본 비디오 스트림만을 처리하여 기본 프레임 레이트로 고해상도의 화상 데이터를 얻거나, 혹은 상기 기본 비디오 스트림 및 상기 확장 비디오 스트림의 양쪽을 처리하여 기본 프레임 레이트로 초고해상도의 화상 데이터 또는 하이 프레임 레이트로 초고해상도의 화상 데이터를 얻는 처리부를 구비하는, 수신 장치.
KR1020187007197A 2015-09-30 2016-09-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR20180063063A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194994 2015-09-30
JPJP-P-2015-194994 2015-09-30
PCT/JP2016/076916 WO2017056956A1 (ja) 2015-09-30 2016-09-13 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20180063063A true KR20180063063A (ko) 2018-06-11

Family

ID=58423633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007197A KR20180063063A (ko) 2015-09-30 2016-09-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (8)

Country Link
US (1) US10567702B2 (ko)
EP (2) EP3923586A1 (ko)
JP (1) JP6848872B2 (ko)
KR (1) KR20180063063A (ko)
CN (1) CN108141622B (ko)
CA (1) CA2999684A1 (ko)
MX (1) MX2018003615A (ko)
WO (1) WO2017056956A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020004273A (es) * 2017-11-02 2020-07-29 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
EP3806467A4 (en) 2018-05-30 2021-04-21 Sony Corporation RECEIVING DEVICE, RECEIVING METHOD, SENDING DEVICE AND SENDING METHOD
WO2020039973A1 (ja) * 2018-08-21 2020-02-27 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US20200322656A1 (en) * 2019-04-02 2020-10-08 Nbcuniversal Media, Llc Systems and methods for fast channel changing
US11172232B2 (en) * 2019-09-06 2021-11-09 Sharp Kabushiki Kaisha Systems and methods for signaling level information in video coding
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
CA2674710C (en) * 2007-01-09 2016-02-23 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
CN101883236B (zh) * 2010-07-14 2012-11-28 深圳市高斯贝尔家居智能电子有限公司 高清信号无线传输系统及方法
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
EP2884752A4 (en) * 2012-08-10 2016-01-27 Lg Electronics Inc SIGNAL TRANSMISSION DEVICE AND SIGNAL TRANSMISSION METHOD
RU2015105986A (ru) * 2012-08-27 2016-09-10 Сони Корпорейшн Передающее устройство, способ передачи, приёмное устройство и способ приёма
JP6258206B2 (ja) * 2012-09-07 2018-01-10 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、送信方法、受信装置および受信方法
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
US10531105B2 (en) * 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN108141622B (zh) 2021-03-23
US20190268565A1 (en) 2019-08-29
EP3358849A4 (en) 2019-04-03
EP3358849A1 (en) 2018-08-08
US10567702B2 (en) 2020-02-18
JP6848872B2 (ja) 2021-03-24
JPWO2017056956A1 (ja) 2018-07-19
CN108141622A (zh) 2018-06-08
CA2999684A1 (en) 2017-04-06
MX2018003615A (es) 2018-04-30
EP3358849B1 (en) 2021-03-10
EP3923586A1 (en) 2021-12-15
WO2017056956A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
KR102537853B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6848872B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6038380B1 (ja) 送信装置、送信方法、受信装置および受信方法
US11412176B2 (en) Transmission device, transmission method, reception device, and reception method
JP6809469B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
WO2017138470A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
WITB Written withdrawal of application