WO2016084591A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2016084591A1
WO2016084591A1 PCT/JP2015/081523 JP2015081523W WO2016084591A1 WO 2016084591 A1 WO2016084591 A1 WO 2016084591A1 JP 2015081523 W JP2015081523 W JP 2015081523W WO 2016084591 A1 WO2016084591 A1 WO 2016084591A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
component
transmission
video
adaptive
Prior art date
Application number
PCT/JP2015/081523
Other languages
English (en)
French (fr)
Inventor
北里 直久
山岸 靖明
淳 北原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020177012541A priority Critical patent/KR102390622B1/ko
Priority to BR112017010575A priority patent/BR112017010575A2/pt
Priority to JP2016561482A priority patent/JP6743704B2/ja
Priority to MX2017006579A priority patent/MX2017006579A/es
Priority to US15/527,404 priority patent/US10869099B2/en
Priority to EP15862320.7A priority patent/EP3226566B1/en
Priority to CA2967245A priority patent/CA2967245C/en
Publication of WO2016084591A1 publication Critical patent/WO2016084591A1/ja
Priority to US17/093,248 priority patent/US11678022B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device suitable for application to a hybrid system for broadcasting and communication.
  • MPEG-2 TS Motion Picture Experts Group-2 Transport Stream
  • RTP Real Time Protocol
  • MMT MPEG Media Transport
  • the purpose of this technique is to ensure the ease of component selection on the receiving side in, for example, a hybrid system for broadcasting and communication.
  • a transmission stream generation unit that generates a transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are multiplexed in a time-division manner;
  • a transmission unit for transmitting the transmission stream through a predetermined transmission path;
  • An information insertion unit for inserting component selection information into the second transmission packet;
  • the component selection information is composed of selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching, from the top.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming. Be in the transmitting device.
  • the transmission stream generation unit generates a transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are multiplexed in a time division manner. Is done.
  • the transmission stream is transmitted to the reception side through a predetermined transmission path by the transmission unit.
  • the predetermined transmission path may be a broadcast transmission path.
  • the component insertion information is inserted into the second transmission packet by the information insertion unit.
  • This component selection information includes, from the top, selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching.
  • the information of each component that can be selected in the adaptive layer includes acquisition destination information.
  • the acquisition source information of the component that is the target of adaptive switching is adaptive Information specifying a specific information position of a metafile having data stream acquisition information for streaming is used.
  • the transmission packet may be an MMT packet, and the component selection information may be included in the MPT.
  • the data stream for adaptive streaming is an MPEG-DASH-based data stream
  • the metafile is an MPD file
  • information specifying a specific information position of the metafile is a specific adaptation set.
  • information specifying a specific representation may be used.
  • component selection information of three layers is inserted into the second transmission packet.
  • the acquisition destination information of the component that is the target of adaptive switching is information that specifies a specific information position of the metafile having the data stream acquisition information for adaptive streaming It is said. Therefore, for example, in a broadcast / communication hybrid system, it is possible to ensure the ease of component selection on the receiving side, particularly component selection in the adaptive layer.
  • a receiving unit configured to receive, through a predetermined transmission path, a transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are time-division multiplexed; Prepared, Component selection information is inserted into the second transmission packet,
  • the component selection information includes, from the top, selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming.
  • the receiving apparatus further includes a component selection unit that selects a component to be presented based on the component selection information.
  • a transmission stream is received by a receiving unit through a predetermined transmission path.
  • a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are multiplexed in a time division manner.
  • the first transmission path may be a broadcast transmission path.
  • the component selection information is inserted in the second transmission packet.
  • This component selection information includes, from the top, selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching.
  • the information of each component that can be selected in the adaptive layer includes acquisition destination information.
  • the acquisition source information of the component that is the target of adaptive switching is adaptive Information specifying a specific information position of a metafile having data stream acquisition information for streaming is used.
  • the component to be presented is selected by the component selection unit based on the component selection information. In this case, for example, switching of the component that is the target of adaptive switching is performed based on the metafile.
  • the transmission packet may be an MMT packet, and the selection information of each component may be included in the MPT.
  • the data stream for adaptive streaming is an MPEG-DASH-based data stream
  • the metafile is an MPD file
  • information specifying a specific information position of the metafile is a specific adaptation set.
  • information specifying a specific representation may be used.
  • component selection information of three layers is inserted in the second transmission packet.
  • the acquisition destination information of the component that is the target of adaptive switching is information that specifies a specific information position of the metafile having the data stream acquisition information for adaptive streaming It is said that. For this reason, for example, in a broadcast / communication hybrid system, it is possible to ensure the ease of component selection, particularly component selection in the adaptive layer.
  • a metafile acquisition unit that acquires a metafile may be further provided.
  • the metafile is acquired through either a broadcast transmission path or a communication transmission path.
  • the component selection unit may display a selected graphics user interface on the screen when there is a variation regarding a specific attribute to be selected by the user in the component selection information.
  • voice component descriptor It is a figure which shows the structural example of an object device descriptor. It is a figure which shows the structural example of an object area descriptor. It is a figure which shows the structural example of a parental rate descriptor. It is a block diagram which shows the structural example of the broadcast transmission system which comprises a broadcast and communication hybrid system. It is a block diagram which shows the structural example of the receiving terminal which comprises a broadcast and communication hybrid system. It is a figure which shows an example of a component selection GUI. It is a figure for demonstrating the use case (multi view) of the component selection and acquisition process in a receiving terminal. It is a figure which shows the component layer model corresponding to the example of a multi view. It is a figure which shows roughly the example of description of MPT and MPD file corresponding to the example of a multi view. It is a figure for demonstrating an example of the view display change of a receiving terminal.
  • FIG. 1 shows a configuration example of a broadcast / communication hybrid system 10.
  • a broadcast transmission system 100, a distribution server 300, and a DASH segment server 400 are arranged on the transmission side, and a reception terminal 200 is arranged on the reception side.
  • Distribution server 300 and DASH segment server 400 are connected to receiving terminal 200 through communication network 500.
  • the broadcast transmission system 100 transmits an IP (Internet Protocol) broadcast signal including components (assets) such as video, audio, and caption as transmission media.
  • the distribution server 300 sends a transmission stream in which IP packets including components (assets) such as video and audio as transmission media are continuously arranged to the reception side through the communication network 500 in response to a request from the reception side.
  • the DASH segment server 400 sends a stream segment (hereinafter referred to as “DASH segment”) of DASH (Dynamic Adaptive Streaming over HTTP) specifications such as video and audio to the receiving side through the communication network 500 in response to a request from the receiving side. send. That is, the DASH segment server 400 transmits an IP packet including the segment of the stream to the request source through the communication network 500 in response to the request for the segment of the predetermined stream sent from the receiving side.
  • DASH segment Dynamic Adaptive Streaming over HTTP
  • the receiving terminal 200 receives an IP broadcast signal transmitted from the broadcast transmission system 100 and receives a transmission stream in which IP packets are continuously arranged from the distribution server 300 and the DASH segment server 400.
  • the receiving terminal 200 acquires transmission media (components) such as video and audio to be presented from the received signal by such hybrid transmission of broadcasting and communication, and presents images, sounds, and the like.
  • FIG. 2 shows a stack model of a signal configuration example of MMT / broadcast related to broadcast from the broadcast transmission system 100.
  • a transmission packet of TLV Type (Length Value) exists in the lower layer.
  • An IP packet is placed on the TLV transmission packet.
  • UDP User Datagram Protocol
  • MMT MPEG Media Transport
  • MFU MMT Fragment Unit
  • IP packets include IP packets in which an NTP (Network Time Protocol) packet including time information is placed on UDP.
  • FIG. 3 shows a configuration example of an MMT broadcast stream.
  • FIG. 3A shows a video elementary stream (Video ES). This elementary stream of video is divided into chunks of a predetermined size and arranged in the payload portion of the MFU as shown in FIG.
  • the MMT payload header (MMT payload) is added to the MFU to form the MMTP payload (MMTP payload).
  • MMT payload MMT payload
  • MMT ⁇ ⁇ ⁇ packet MMT packet
  • MMT packet MMT packet
  • a UDP header, an IP header, and a TLV header are added to the MMT packet to generate a TLV packet (TLVetpacket) constituting an MMT broadcast stream.
  • This MMT system broadcast stream has a first packet (MMT packet) including a transmission medium (component) and a second packet (MMT packet) including signaling information.
  • FIG. 4A shows a configuration example of the MMT packet.
  • the MMT packet includes an MMT packet header (MMTPMMheader) and an MMTP payload (MMTP payload).
  • the 2-bit field “V” indicates the version of the MMT protocol. In the case of complying with the MMT standard version 1, this field is set to “00”.
  • a 1-bit field of “C” indicates packet counter flag (packet_counter_flag) information, and is “1” when the packet counter flag exists.
  • a 2-bit field of “FEC” indicates an FEC type (FEC_type).
  • the 1-bit field of “X” indicates extension header flag (extension_flag) information, and is set to “1” when the header extension of the MMT packet is performed. In this case, a “header_extension” field described later exists.
  • the 1-bit field of “R” indicates RAP flag (RAP_flag) information, and is set to “1” when the MMT payload transmitted by this MMT packet includes the head of a random access point.
  • the 6-bit field of “type” is payload type (payload_type) information and indicates the data type of the MMTP payload. For example, “0x00” indicates that the payload is MPU (Media Processing Unit), and “0x02” indicates that the payload is a signaling message (Signaling message).
  • payload_type indicates the data type of the MMTP payload. For example, “0x00” indicates that the payload is MPU (Media Processing Unit), and “0x02” indicates that the payload is a signaling message (Signaling message).
  • the 16-bit field of “packet_id” indicates a packet identifier (packet_id) for identifying the data type of the payload.
  • a 32-bit field of “timestamp” indicates a time stamp when the MMT packet leaves the transmission side, that is, a time stamp for transmission. This time is expressed in an NTP short format (NTP short format).
  • a 32-bit field of “packet_sequence_number” indicates a sequence number of an MMT packet having the same packet identifier (packet_id).
  • the 32-bit field of “packet_counter” indicates the order of MMT packets in the same IP data flow regardless of the value of the packet identifier (packet_id).
  • a field of “header_extension” that is an MMT extension header is arranged after the 32-bit field of “packet_counter”. After that, there are a “payload data” field and a “source_FEC_payload_ID” field that constitute the MMTP payload (MMTP payload).
  • FIG. 4B shows a configuration example (Syntax) of the MMTP payload (MMTP payload) arranged in the “payload data” field of the MMT packet described above.
  • the MPU mode in which “type” of the MMT header is “0x00” is shown.
  • header information exists.
  • a 16-bit field of “length” indicates the byte size of the entire MMTP payload.
  • a 4-bit field “FT” indicates a field type. "0" indicates that "MPU" metadata "is included,” 1 "indicates that” Movie “Fragment” metadata "is included, and” 2 "indicates that” MFU "is included.
  • MFU MMT Fragment Unit
  • MFU MMT Fragment Unit
  • this MFU can be set to correspond to one NAL unit.
  • this MFU can be configured with one or a plurality of MTU sizes (MTU size).
  • the MPU starts from a random access point (RAP: Random Access Pint) and includes one or a plurality of access units (AU: Access Unit). Specifically, for example, one GOP (Group Of Picture) picture may constitute one MPU. This MPU is defined for each asset (for each component). Therefore, a video MPU including only video data is created from the video asset, and an audio MPU including only audio data is created from the audio asset.
  • RAP Random Access Pint
  • AU Access Unit
  • 1-bit flag information of “T” indicates whether to transmit timed media (Timed Media) or non-timed media (Non-Timed Media). “1” indicates timed media, and “0” indicates non-timed media.
  • the 2-bit field of “f_i” has an integer number of data units (DU: Data ⁇ Unit) in the field of “DU ⁇ payload”, or the first fragment (Fragment) obtained by fragmenting the data unit ( Indicates whether it contains first, middle or last. “0” indicates that an integer number of data units are included, “1” indicates that the first fragment is included, “2” indicates that an intermediate fragment is included, and “3” Indicates that the last fragment is contained.
  • the 1-bit flag information of “A” indicates whether or not a plurality of data units are contained in the “DU payload” field. “1” indicates that it is included, and “0” indicates that it is not included.
  • the 8-bit field of “frag_counter” indicates the number of the fragment when “f_i” is 1 to 3.
  • the 32-bit field of “MPU_sequence_number” is a number indicating the order of the MPU and is information for identifying the MPU. For example, when one GOP constitutes one MPU, when “MPU_sequence_number” of one GOP is “i”, “MPU_sequence_number” of the next GOP is “i + 1”.
  • “DU_length”, “DU_header”, and “DU_payload” fields are arranged.
  • FIG. 5 shows an example of a correspondence relationship between an MMT file (MMT file) and an MMTP payload (MMTP payload) when sending video data of one GOP.
  • MMT file MMT file
  • MMTP payload MMTP payload
  • the structure of the MMT file is basically the same as the MP4 file structure.
  • This movie fragment consists of a “moof” box containing control information and an “mdat” box containing encoded video data.
  • the metadata of each box of “ftyp”, “mmpu”, and “moov” is transmitted as “MPU metadata” in one MMT packet.
  • “FT 0”.
  • the metadata of the “moof” box is transmitted as “Movie Fragment metadata” in one MMT packet.
  • “FT 1”.
  • FIG. 6 shows an example of an image of a broadcast signal related to one channel (one broadcast program) transmitted from the broadcast transmission system 100 to the receiving terminal 200.
  • This broadcast signal includes MMT packets including signaling messages as well as MMT packets such as video and audio.
  • Examples of the signaling message include a PA message (PA message) and an MPI message (MPI message).
  • the PA message includes various tables such as an MP table (MPT).
  • MPT MP table
  • the MPI message includes an MPD (Media Presentation Description) file itself or a URL (Uniform Resource Locator) as acquisition destination information for acquiring an MPD file.
  • MPD Media Presentation Description
  • URL Uniform Resource Locator
  • This MPD file constitutes a metafile having data stream acquisition information for adaptive streaming.
  • each attribute is described using an element called “Representation” for each stream such as video and audio.
  • representations are described by dividing the representation. The receiving side can select an optimum stream according to the state of the network environment with reference to the value of the rate.
  • MPD file has a hierarchical structure as shown in FIG.
  • information such as a compression method, a coding speed, an image size, and a language of a moving image stored in the DASH segment server 400 is described hierarchically in an XML format.
  • This MPD file contains structures such as period, adaptation set, representation, segment info (SegmentInfo), initialization segment (Initialization Segment), and media segment (Media Segment). Included hierarchically.
  • the period structure has information about a program (a set of synchronized data such as video and audio). Further, the adaptation set structure included in the period structure groups the stream selection range (representation group). The representation structure included in the adaptation set structure has information such as video and audio encoding speed and video image size.
  • the segment info structure included in the representation structure has information related to video and audio segments.
  • the initialization segment structure included in the segment info structure has initialization information such as a data compression method.
  • the media segment structure included in the segment info structure has information such as an address for acquiring a video or audio segment.
  • FIG. 8 shows an example of each structure included in the MPD file described above side by side on the time axis.
  • the MPD file includes two periods, and each period includes two segments.
  • each period includes two adaptation sets, and each adaptation set includes two representations related to streams of the same content with different stream attributes.
  • FIG. 9 shows an example of the relationship between the structures arranged hierarchically in the MPD file.
  • a media presentation Media Presentation
  • FIG. 9A a media presentation (Media Presentation) as an entire MPD file includes a plurality of periods separated by time intervals. For example, the first period starts from 0 seconds, the next period starts from 100 seconds, and so on.
  • the period includes a plurality of adaptation sets (AdaptationSet).
  • AdaptationSet depends on differences in media types such as video and audio, differences in language and viewpoints even with the same media type.
  • FIG. 9C there are a plurality of representations (Representation) in the adaptation set. Each representation depends on stream attributes, such as differences in rates.
  • the representation includes segment info (SegmentInfo).
  • SegmentInfo As shown in FIG. 9 (e), the initialization segment (Initialization ⁇ ⁇ ⁇ Segment) and a plurality of media segments (Media) that describe information for each segment (Segment) that further divides the period are described. Segment) exists. In the media segment, there is information on an address (url) for actually acquiring segment data such as video and audio.
  • stream switching can be freely performed between a plurality of representations included in the adaptation set.
  • an optimal rate stream can be selected according to the state of the network environment on the receiving side, and video distribution without interruption is possible.
  • FIG. 10 shows a stack model of a signal configuration example of MMT / communication related to distribution from the distribution server 300.
  • Distribution options by MMT / communication include (A) multicast distribution, (B) MMTP / UDP distribution, (C) MMTP / TCP distribution, (D) MMTP / HTTP distribution, and (E) MPU / HTTP distribution.
  • IP packets exist in the lower layer.
  • UDP User Datagram Protocol
  • MMT MPEG Media Transport
  • the payload portion of this MMT packet includes an MPU including encoded data of components such as video and audio.
  • the broadcast / communication hybrid use is the most desirable method in consideration of congestion. Further, in this multicast distribution, since UDP transmission is used, transmission efficiency is good, but there is a problem of packet loss, so there is a possibility that AL-FEC (Application Layer Forward Forward Error Correction) is required.
  • AL-FEC Application Layer Forward Forward Error Correction
  • the multicast IP stream transmits an MMTP stream in which a plurality of assets (components) are multiplexed, and a case where an MMTP stream including only a single asset is transmitted.
  • (B) MMTP / UDP distribution In the case of MMTP / UDP distribution, an IP packet exists in the lower layer. UDP (User Datagram Protocol) is placed on the IP packet. Then, the MMT packet is placed on the UDP. The payload portion of this MMT packet includes an MPU including encoded data of components such as video and audio.
  • UDP User Datagram Protocol
  • this MMTP / UDP distribution is unicast, there is a problem of congestion as a hybrid broadcasting / communication use. Further, in the case of this MMTP / UDP distribution, since it is UDP transmission, transmission efficiency is good, but AL-FEC may be required. In the case of multicast distribution, the total delay and synchronization are better than TCP.
  • this MMTP / UDP distribution since it is unicast, it can be widely used on general Internet connection devices, but it may not be available by default depending on the router setting.
  • this MMTP / UDP distribution there are a case where the IP stream transmits an MMTP stream in which a plurality of assets (components) are multiplexed, and a case where an MMTP stream including only a single asset is transmitted.
  • (C) MMTP / TCP delivery In the case of MMTP / TCP distribution, an IP packet exists in a lower layer. TCP (Transmission Control Protocol) is placed on the IP packet. Then, the MMT packet is placed on the TCP. The payload portion of this MMT packet includes an MPU including encoded data of components such as video and audio.
  • TCP Transmission Control Protocol
  • This MMTP / TCP distribution is unicast, so it can be used with a wide range of general Internet devices.
  • this MMTP / TCP distribution is unicast, there is a problem of congestion as a hybrid use of broadcasting and communication.
  • efficiency is sacrificed because it is TCP transmission, but since retransmission is possible, AL-FEC is unnecessary.
  • MMTP / TCP distribution there are a case where the IP stream transmits an MMTP stream in which a plurality of assets (components) are multiplexed, and a case where an MMTP stream including only a single asset is transmitted.
  • (D) MMTP / HTTP delivery In the case of MMTP / HTTP distribution, IP packets exist in the lower layer. TCP is placed on the IP packet. An HTTP (Hyper Text Transfer Protocol) is placed on the TCP, and an MMT packet is placed thereon. The payload portion of this MMT packet includes an MPU including encoded data of components such as video and audio.
  • HTTP Hyper Text Transfer Protocol
  • this MMTP / HTTP distribution since it is HTTP, it can be widely used on general Internet connection devices. Further, in the case of this MMTP / HTTP distribution, since it is unicast, there is a problem of congestion as broadcasting / communication hybrid use. Further, in the case of this MMTP / HTTP distribution, efficiency is sacrificed because it is TCP transmission, but since retransmission is possible, AL-FEC is unnecessary.
  • MMTP / HTTP distribution there are cases where the IP stream transmits an MMTP stream in which a plurality of assets (components) are multiplexed, and a case where an MMTP stream including only a single asset is transmitted.
  • (E) MPU / HTTP delivery In the case of MPU / HTTP delivery, an IP packet exists in the lower layer. TCP is placed on the IP packet. Then, HTTP is placed on top of TCP, and the payload portion of this HTTP packet includes an MPU including encoded data of components such as video and audio.
  • this MPU / HTTP distribution since it is HTTP, it can be widely used with general Internet connection devices. Further, in the case of this MPU / HTTP distribution, since it is unicast, there is a problem of congestion as broadcasting / communication hybrid use. Further, in the case of this MPU / HTTP distribution, efficiency is sacrificed because it is TCP transmission, but since retransmission is possible, AL-FEC is unnecessary.
  • the receiving terminal acquires individual MPU files of a single asset (component) by HTTP.
  • FIG. 11 schematically shows the structure of a PA message (Package Access Message) and an MP table (MPT: MMT Package Table).
  • FIG. 12 shows the explanation of the main parameters of the PA message
  • FIG. 13 shows the explanation of the main parameters of the MP table.
  • “Message_id” is a fixed value for identifying a PA message in various signaling information. “Version” is an 8-bit integer value indicating the version of the PA message. For example, when some parameters constituting the MP table are also updated, +1 is incremented. “Length” is the number of bytes indicating the size of the PA message counted immediately after this field.
  • index information of the table arranged in the payload field is arranged.
  • “table_id”, “table_version”, and “table_length” fields are arranged by the number of tables.
  • Table_id is a fixed value for identifying a table.
  • Table_version indicates the version of the table.
  • Table_length is the number of bytes indicating the size of the table.
  • an MP table (MPT) and a predetermined number of other tables (Other table) are arranged.
  • MPT MP table
  • Other table a predetermined number of other tables
  • “Table_id” is a fixed value for identifying the MP table in various signaling information. “Version” is an 8-bit integer value indicating the version of the MP table. For example, when some parameters constituting the MP table are also updated, +1 is incremented. “Length” is the number of bytes indicating the size of the MP table, counted immediately after this field.
  • Pack_id is identification information as an entire package including all assets (components) transmitted by broadcasting and communication. This identification information is text information. “Pack_id_len” indicates the size (number of bytes) of the text information. The field of “MPT_descripors” is a storage area for descriptors related to the entire package. “MPT_dsc_len” indicates the size (number of bytes) of the field.
  • “Num_of_asset” indicates the number of assets (components) as elements constituting the package. The following asset loops are arranged for this number of minutes.
  • “Asset_id” is information (asset ID) that uniquely identifies the asset. This identification information is text information.
  • “Asset_id_len” indicates the size (number of bytes) of the text information.
  • “Gen_loc_info” is information indicating an asset acquisition destination location.
  • the “asset_descriptors” field is a storage area for descriptors related to assets.
  • “Asset_dsc_len” indicates the size (number of bytes) of the field.
  • FIG. 14 shows a structural example (Syntax) of the PA message described above.
  • FIG. 15 shows a structural example (Syntax) of the MP table (MPT) described above.
  • the field “gen_loc_info” in FIG. 11 corresponds to the field “asset_location” in FIG. 15, and a plurality of “MMT_general_location_info ()” can be arranged as information indicating the asset acquisition location. Further, the field “asset_descriptors” in FIG. 11 corresponds to the field “asset_descriptors” in FIG.
  • FIG. 16 shows a part of a structure example (Syntax) of “MMT_general_location_info ()”.
  • the 8-bit field of “location_type” indicates the type of information (hereinafter referred to as “location information” as appropriate) indicating the location from which the asset is acquired.
  • location information hereinafter referred to as “location information” as appropriate
  • location information is set to “0x00”
  • packet_id packet identifier
  • location_type is set to “0x01” or “0x02”, and the source address (ipv4_src_addr, ipv6_src_addr) and the destination address ( ipv4_dst_addr, ipv6_dst_addr), destination port number (dst_port), and packet identifier (packt_id) are inserted, and in this case, “location_type” identifies multicast distribution.
  • FIG. 17 shows a processing flow of the receiving terminal 200, that is, a processing flow in hybrid distribution.
  • the receiving terminal 200 selects a component to be presented in accordance with a component layer model (Component Layering Model).
  • component layer model Component Layering Model
  • the receiving terminal 200 performs component selection based on component selection information (component layer model) inserted in the MPT.
  • step ST2 the receiving terminal 200 resolves the location of the selected component and acquires the component.
  • the receiving terminal 200 acquires a component based on the acquisition destination information of the component inserted as signaling information.
  • step ST3 the receiving terminal 200 performs synchronized playback of the selected component.
  • FIG. 18 shows an example of the component layer model.
  • This component layer model is a model for selecting a component from three layer structures of an adaptive layer (Adaptive layer), a composite layer (Composite layer), and a selective layer (Selective layer).
  • the adaptive layer is the lowest layer and is a layer that adaptively switches components.
  • the composite layer is a layer located in the middle, and is a layer that performs signal synthesis to form another signal.
  • the selective layer is a layer positioned at the highest level, and is a layer for selecting a component to be finally presented. Each layer will be further described.
  • the selective layer is a layer in which a component is fixedly selected by a user selection or a terminal automatic selection from a plurality of component options in each component category (component category).
  • component category means a unit for selecting video or audio. In the illustrated example, two categories of video and audio are shown.
  • the terminal automatically selects, or a GUI (graphical user interface) for selection is displayed and a user is selected to select a component.
  • a GUI graphical user interface
  • select that one component without selection There are cases where selection is made by a combination of different component categories.
  • a multi-screen display is used for video and caption (caption), and a mixing output is used for audio.
  • Combination tag an identifier (ID) of a combination of different component categories constituting one view. When this combination tag exists, selection is made across categories.
  • Language The language is indicated by a language code.
  • Video parameters Video parameters include resolution, frame rate, 3D information, and the like.
  • Audio parameter The audio parameter is a multi-channel mode, a sampling rate, or the like.
  • Target area The target area is indicated by a region code.
  • Target device The target device is indicated by a device type.
  • View title The view title is a title for selecting a view.
  • Purpose The purpose is, for example, narration.
  • the composite layer is a layer that combines a plurality of components in each component category to function as one component.
  • the presence of a selective layer on the composite layer means that the synthesized signal is regarded as one signal and is selected by the selective layer.
  • composition is performed based on an attribute indicating the type of composition and an attribute value indicating the position of composition.
  • attribute value indicating the position of composition.
  • the following composite type and composite positioning information are used as attributes.
  • the following example shows two cases where the positioning is “positioning 1” and “positioning 2”.
  • the composition type is scalable, and the composition positioning information is base (Base) and extended (Extended).
  • the base can display HD resolution, but the base and extended display can display 4K resolution.
  • the composite type is 3D, and the composite positioning information is left (Left) and right (Right).
  • the composition type is tile, and composition positioning information is the position of image tiling of “TileA1” and “TileA2”.
  • the tile means obtaining an image with a large field of view by arranging the images horizontally or vertically.
  • the composition type is a layer, and the composition positioning information is a rank from the back of the overlapping of “Layer1” and “Layer2”.
  • the layer means that images are superimposed in order from the back.
  • the composite type is mixing, and the composite positioning information is track 1 and track 2.
  • the adaptive layer is a layer that dynamically switches a plurality of components in each component category based on the adaptive judgment of the terminal and functions as one component.
  • the terminal automatically selects and switches the optimum component every predetermined time (for example, 10 seconds).
  • the adaptive switching operation is unnecessary, and that component is always selected.
  • a component having an appropriate bit rate is selected according to the occupation state of the reception buffer of the terminal that changes depending on the congestion condition of the communication path.
  • selection of a communication component is determined based on the bit rate.
  • Route The route is a broadcast route, a communication route, or the like.
  • Bit rate (3) Robustness index: normal robustness, high robustness, etc.
  • Video parameters Video parameters are resolution, frame rate, and the like.
  • Audio parameter The audio parameter is a multi-channel mode, a sampling rate, or the like.
  • the component layer model shown in FIG. 18 indicates component selection information in each category of video and audio.
  • the selective layer indicates that one or more components can be selected for each category.
  • a component combined with a combination tag exists between two categories and should be selected across categories.
  • the composition process of each component that is an option in the selective layer is shown. In the case where there is only one component to be synthesized, it is indicated that that component is used as an option in the selective layer as it is.
  • adaptive layer adaptive switching processing of each component used in the composite layer is shown. It is shown that when only one component is to be switched, that component is always selected.
  • the receiving terminal 200 performs component selection based on component selection information (component layer model) inserted as signaling information.
  • component selection information component layer model
  • An example of component selection operation of the receiving terminal 200 will be described.
  • the receiving terminal 200 acquires component selection information, and first selects a component based on the number of components to be selected among the options. In this case, when the user should make a selection, the selection GUI is displayed based on the attribute information of each component of the selective layer of the highest layer, and the user makes a selection.
  • the receiving terminal 200 selects based on the attribute information of each component of the topmost selective layer, the personal information and the terminal capability information of the receiving terminal 200. Basically, the above processing is performed for each component category, but when an asset group is set, selection is performed across the categories.
  • the receiving terminal 200 synthesizes using a plurality of components adaptively switched in the adaptive layer, which should perform the specified component composition (Composition) Make a presentation.
  • Composition specified component composition
  • the receiving terminal 200 When the receiving terminal 200 has only one element in the component selected in the selective layer, the receiving terminal 200 presents it with the component adaptively switched in the adaptive layer.
  • Component selection information In this actual form, the component selection information is inserted into the MPT (MPT table) included in the PA message.
  • PMT includes information on each asset (component) such as video, audio, caption, and the like, and is used as component selection information.
  • the information of each asset includes various descriptors.
  • descriptor used as component selection information, view descriptor, composite component type descriptor, asset group descriptor, dependency descriptor, video component descriptor, audio component descriptor, target device descriptor, target region Descriptor, parental rate descriptor, etc. Details of these descriptors will be described later.
  • the receiving terminal 200 performs component selection in the selective layer, the composite layer, and the adaptive layer based on the information of each asset (component) existing in the MPT.
  • the receiving terminal 200 performs the switching selection on the adaptive switching target component based on the information of the MPD file.
  • a specific adaptation set of an MPD file or a specific representation information position is designated in the MPT as an acquisition destination of a component that is a target of adaptive switching.
  • an adaptation set or representation of an MPD file is positioned as an MPT asset.
  • a value indicating “MPEG-DASH segment”, for example, “0x0D” is newly defined as “location_type”.
  • location information as shown in FIG. 20A, a period ID (period_id), an adaptation set ID (adaptationSet_ID), Insert a representation ID (representation_ID).
  • a period ID (period_id) and an adaptation set ID (adaptationSet_ID) Insert As the location information, as shown in FIG. 20B, a period ID (period_id) and an adaptation set ID (adaptationSet_ID) Insert. Even in this case, it is also possible to insert a period ID (period_id), an adaptation set ID (adaptationSet_ID), and a representation ID (representation_ID) as location information, as shown in FIG. It is done. In this case, the representation ID is set to all 0 or all 1 so that it can be understood that the representation ID is specified only by the adaptation set ID.
  • FIG. 21 shows an example of a signal configuration assumed in the broadcast / communication hybrid system 10 of FIG.
  • video 1 Video 1
  • audio 1 Audio 1
  • signaling Signaling
  • MMT packets MMT packets.
  • PA message including MPT
  • MPI message including a URL as MPD file or MPD file acquisition destination information.
  • the DSAH segment server 400 can distribute video 21 (Video 21), video 22 (Video 22), and audio 2 (Audio 2).
  • Video 21 (Video 21) and video 22 (Video 22) are targeted for adaptive switching.
  • acquisition destinations a specific adaptation set of the MPD file or a specific information position of the representation is designated by the asset corresponding to the MPT.
  • the actual acquisition destination information is included in the MPD file.
  • the distribution server 300 can distribute video 3 (Video 3) and audio 3 (Audio 3).
  • the distribution protocol is, for example, any one of (A) to (E) described above. These pieces of acquisition destination information are included in the information of the asset corresponding to the MPT.
  • FIG. 22 schematically shows a configuration example of MPT and MPD files corresponding to the signal configuration example of FIG.
  • This example is an example in which the information position of a specific representation of the MPD file is designated by the asset corresponding to MPT as the acquisition destination of the video 21 (Video 21) and the video 22 (Video 22) that are subject to adaptive switching. There is (Method 1).
  • the MPD file includes information on adaptation set 1 (AS1) and adaptation set 2 (AS2).
  • the information of the adaptation set 1 (AS1) includes the adaptation set ID (ASID), the representation 11 (Rep11) related to the video 21 (Video 21), and the representation 12 (Rep12) related to the video 22 (Video 22). Contains information.
  • the information of the adaptation set 2 includes the information of the adaptation set ID (ASID) and the representation 21 (Rep21) related to the audio 2 (Audio2).
  • MPT includes asset 1 (Asset 1) related to video 1 (Video 1), asset 2 (Asset 2) related to audio 1 (Audio 1), asset 3 (Asset 3) related to video 21 (Video 21), and video 22 (Video 22).
  • Asset 4 Asset 4
  • asset 5 Asset 5
  • asset 6 Asset 6
  • Asset 7 Asset 7
  • FIG. 23 schematically shows a configuration example of MPT and MPD files corresponding to the signal configuration example of FIG.
  • This example is an example in which the information position of a specific adaptation set of the MPD file is designated by the asset corresponding to MPT as the acquisition destination of the video 21 (Video 21) and the video 22 (Video 22) subject to adaptive switching. There is (Method 2).
  • the MPD file includes the same information as in FIG. MPT includes asset 1 (Asset 1) related to video 1 (Video 1), asset 2 (Asset 2) related to audio 1 (Audio 1), asset 3 (Asset 3) related to video 22 (Video 21, Video 22), and audio 2 (Audio 2).
  • asset 1 Asset 1
  • Asset 2 Asset 2
  • Asset 3 Asset 3
  • video 22 Video 21, Video 22
  • Audio 2 Asset 4
  • asset 4 Asset 4
  • asset 5 Asset 5
  • Asset 6 Asset 6
  • view descriptors composite component type descriptors, asset group descriptors, dependency descriptors, video component descriptors, audio component descriptors, target device descriptors as descriptors used as component selection information , Target area descriptor, parental rate descriptor, etc.
  • the view descriptor is a descriptor in which meta information related to the view of the video is described.
  • the composite component type descriptor is a descriptor in which information indicating a composite type is described.
  • the asset group descriptor is a descriptor in which information indicating asset group relationships and priorities within the group is described.
  • the dependency descriptor is a descriptor that provides an asset ID of an asset having a dependency relationship.
  • the video component descriptor is a descriptor indicating parameters and descriptions related to the video component.
  • the audio component descriptor is a descriptor indicating each parameter of the audio elementary stream.
  • the target device descriptor is a descriptor in which target device information for reproducing the component is described.
  • the target region descriptor is a descriptor in which information indicating a target region for reproducing the component is described.
  • the parental rate descriptor is a descriptor in which rating information of the component is described.
  • FIG. 24 shows a structure example (Syntax) of the view descriptor.
  • This view descriptor is a newly defined descriptor in this embodiment.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it is a view descriptor.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 8-bit field of “view_tag” indicates a view tag which is video content identification information. Sometimes the same video content, but different rates, different codecs, etc. If the view tag is the same, it indicates that the video content is the same. In the “view_name_byte” field, character string data of a view name that is a name of video content is arranged.
  • FIG. 25 shows a structural example (Syntax) of the composite component type descriptor.
  • This composite component type descriptor is a newly defined descriptor in this embodiment.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • An 8-bit field of “composite_component_type” indicates a composite component type. For example, it indicates types such as scalable, 3D, tile, layer, and mixing.
  • FIG. 26 shows a structure example (Syntax) of the asset group descriptor.
  • This asset group descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it indicates an asset group descriptor.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 8-bit field “group_identification” indicates a group ID. For example, an ID obtained by grouping assets such as video and audio is shown.
  • An 8-bit field of “selection_level” indicates a selection level. Assets with a selection level value of “0” are selected by default. If the default asset has not been selected, it indicates that the asset is a candidate that is selected with priority in order from the asset with the smallest number in the group.
  • FIG. 27 shows a structure example (Syntax) of the dependency descriptor.
  • This dependency descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it indicates a dependency descriptor.
  • a 16-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 8-bit field of“ num_dependencies ” indicates the number of dependent assets. Indicates the number of assets that are complementary to the asset into which this descriptor is inserted. The for-loop after this field is information of each complementary asset.
  • the 32-bit field of “asset_id_scheme” indicates the asset ID format of the complementary asset.
  • the 8-bit field of “asset_id_length” indicates the length of the asset ID byte of the complementary asset in bytes.
  • the field “asset_id_byte” indicates the asset ID of a complementary asset.
  • FIG. 28 shows a structure example (Syntax) of the video component descriptor.
  • This video component descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it indicates a video component descriptor.
  • a 16-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 4-bit field of “video_resolution” indicates the resolution in the vertical direction. For example, “1” indicates “180”, “2” indicates “240”, “3” indicates “480”, “4” indicates “720”, “5” indicates “1080”. “6” indicates “2160”, and “7” indicates “4320”.
  • a 4-bit field of “video_aspect_ratio” indicates an aspect ratio. For example, “1” indicates “4: 3”, “2” indicates “16: 9 with PV (pan vector)”, and “3” indicates “16: 9 without PV (pan vector)”. “4” indicates “16: 9 or more”.
  • the 1-bit field of “video_scan_flag” indicates a scan flag. For example, “0” indicates interlace, and “1” indicates progressive.
  • a 5-bit field of “video_frame_rate” indicates a frame rate. For example, “4” indicates “25 frames”, “5” indicates “30 / 1.001 frames”, “6” indicates “30 frames”, “7” indicates “50 frames”, “8” indicates “60 / 1.001 frame”, and “9” indicates “60 frame”.
  • the 16-bit field of “component_tag” indicates a component tag.
  • the component tag is a label for identifying the component stream.
  • a 24-bit field of “ISO_639_language_code” indicates a language code.
  • the field “text_char” defines the character description of the component stream.
  • FIG. 29 shows a structure example (Syntax) of the audio component descriptor.
  • This audio component descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag.
  • a 16-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 4-bit field of “stream_content” indicates the type of stream.
  • the 8-bit field of “component_type” defines the type of audio component.
  • a 16-bit field of “component_tag” is a label for identifying a component stream.
  • the 8-bit field of “stream_type” indicates the format of the audio stream by “stream_type” defined in ISO / IEC 13818-1.
  • the 8-bit field of“ simulcast_group_tag ” is a simulcast group identification. The same number is given to components that perform simulcast (the same content is transmitted by different encoding methods). “0xFF” is given to a component that is not subjected to simulcast.
  • a 1-bit field of “ES_multi_lingual_flag” indicates an ES multilingual flag. For example, “1” indicates a case where two languages are multiplexed in dual mono.
  • the 1-bit field of “main_component_flag” indicates whether or not the audio component is the main audio. When the audio component is the main audio, “1” is given.
  • “2-bit field of“ quality_indicator ” indicates a sound quality mode. For example, “1” indicates “mode 1”, “2” indicates “mode 2”, and “3” indicates “mode 3”.
  • a 3-bit field of “sampling_rate” indicates a sampling frequency. For example, “1” indicates “16 kHz”, “2” indicates “22.05 kHz”, “3” indicates “24 kHz”, “5” indicates “32 kHz”, and “6” indicates “44”. .1 kHz "and” 7 "indicates” 48 kHz ".
  • the 24-bit field of “ISO_639_language_code” indicates a language code.
  • ES_multi-lingual_flag is “1”
  • a 24-bit field of “ISO_639_language_code_2” exists and indicates language code 2.
  • the field “text_char” defines the character description of the component stream.
  • FIG. 30 shows a structure example (Syntax) of the target device descriptor.
  • This target device descriptor is a newly defined descriptor in this embodiment.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it indicates the target device descriptor.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • the 8-bit field of“ number_of_taget_device ” indicates the number of target devices.
  • An 8-bit field “target_device_type” exists for each target device, and indicates the target device type. For example, the type indicates whether a TV with a large screen, a tablet with a slightly smaller screen, or a smartphone with a smaller screen is assumed.
  • FIG. 31 shows a structure example (Syntax) of the target area descriptor.
  • This target area descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag. Here, it indicates a target area descriptor.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • region_spec_type indicates the region description method designation. For example, “1” indicates that the prefecture is designated. Then, a region specifier (region specifying data) by the specified description method is described in the field of “target_region_spec ()”.
  • FIG. 32 shows a structure example (Syntax) of the parental rate descriptor.
  • This parental rate descriptor is an existing descriptor.
  • a 16-bit field of “descriptor_tag” indicates a descriptor tag.
  • the parental rate descriptor is indicated.
  • the 8-bit field of “descriptor_length” indicates the descriptor length, and indicates the number of bytes after this field.
  • a 24-bit field of “country_code” indicates a country code.
  • An 8-bit field of “rating” indicates a rating. This “rating + 3 years old” indicates the minimum age.
  • FIG. 33 shows a configuration example of the broadcast transmission system 100.
  • the broadcast transmission system 100 includes a clock unit 111, a signal transmission unit 112, a video encoder 113, an audio encoder 114, a caption encoder 115, and a signaling generation unit 116.
  • the broadcast transmission system 100 includes a TLV signaling generator 118, N IP service multiplexers 119-1 to 119-N, a TLV multiplexer 120, and a modulation / transmission unit 121.
  • the clock unit 111 generates time information (NTP time information) synchronized with time information acquired from an NTP (Network Time Protocol) server (not shown), and sends an IP packet including the time information to the IP service multiplexer 119-1. send.
  • NTP Network Time Protocol
  • the signal transmission unit 112 is, for example, a studio of a TV station or a recording / reproducing device such as a VTR, and a file such as stream data such as video, audio, and subtitles as timed media, HTML document data as non-timed media (File data) is sent to each encoder.
  • the video encoder 113 encodes the video signal sent from the signal sending unit 112, further packetizes it, and sends an IP packet including a video MMT packet to the IP service multiplexer 119-1.
  • the audio encoder 114 encodes and further packetizes the audio signal transmitted from the signal transmission unit 112, and sends an IP packet including an audio MMT packet to the IP service multiplexer 119-1.
  • the caption encoder 115 encodes the caption signal (caption signal) transmitted from the signal transmission unit 112, further packetizes it, and sends an IP packet including the caption MMT packet to the IP service multiplexer 119-1.
  • the signaling generator 116 generates a signaling message and sends an IP packet including an MMT packet in which the signaling message is arranged in the payload part to the IP service multiplexer 119-1. At this time, the signaling generator 116 generates at least a PA message including an MP table (MPT) and an MPI message including an MPD file.
  • MPT MP table
  • the IP service multiplexer 119-1 performs time division multiplexing of the IP packet sent from each encoder or the like. At this time, the IP service multiplexer 119-1 adds a TLV header to each IP packet to form a TLV packet.
  • the IP service multiplexer 119-1 constitutes one channel portion included in one transponder.
  • the IP service multiplexers 119-2 to 119-N have the same function as that of the IP service multiplexer 119-1, and constitute other channel portions included in one transponder.
  • the TLV signaling generating unit 118 generates signaling (Signaling) information, and generates a TLV packet in which this signaling (Signaling) information is arranged in the payload portion.
  • the TLV multiplexer 120 multiplexes the TLV packets generated by the IP service multiplexers 119-1 to 119-N and the TLV signaling generator 118 to generate a broadcast stream.
  • the modulation / transmission unit 121 performs RF modulation processing on the broadcast stream generated by the TLV / multiplexer 120 and transmits the result to the RF transmission line.
  • time information synchronized with the time information acquired from the NTP server is generated, and an IP packet including the time information is generated.
  • This IP packet is sent to the IP service multiplexer 119-1.
  • the video signal sent from the signal sending unit 112 is supplied to the video encoder 113.
  • the video signal is encoded and further packetized to generate an IP packet including a video MMT packet.
  • This IP packet is sent to the IP service multiplexer 119-1.
  • the same processing is also performed on the audio signal sent from the signal sending unit 112.
  • the IP packet including the audio MMT packet generated by the audio encoder 114 is sent to the IP service multiplexer 119-1.
  • the IP packet including the audio MMT packet generated by the audio encoder 114 is sent to the IP service multiplexer 119-1, and the IP packet including the caption MMT packet generated by the caption encoder 115 is transmitted to the IP service multiplexer 119. Sent to -1.
  • a signaling message is generated, and an IP packet including an MMT packet in which the signaling message is arranged in the payload portion is generated.
  • This IP packet is sent to the IP service multiplexer 119-1.
  • the signaling generator 116 generates at least a PA message including an MP table (MPT) and an MPI message including an MPD file.
  • MPT MP table
  • the IP service multiplexer 119-1 performs time division multiplexing of the IP packet sent from each encoder and the signaling generator 116. At this time, a TLV header is added to each IP packet to form a TLV packet.
  • the IP service multiplexer 119-1 processes one channel portion included in one transponder, and the IP service multiplexers 119-2 to 119-N perform other processes included in the one transponder. The channel portion is processed in the same manner.
  • TLV packets obtained by the IP service multiplexers 119-1 to 119-N are sent to the TLV multiplexer 120.
  • the TLV / multiplexer 120 also receives a TLV packet in which signaling information is placed in the payload portion from the TLV signaling generator 118.
  • the TLV packets generated by the IP service multiplexers 119-1 to 119-N and the TLV signaling generator 118 are multiplexed to generate a broadcast stream.
  • This broadcast stream is sent to the modulation / transmission unit 121.
  • the modulation / transmission unit 121 performs RF modulation processing on the broadcast stream, and sends the RF modulation signal to the RF transmission path.
  • FIG. 34 shows a configuration example of the receiving terminal 200.
  • the receiving terminal 200 includes a CPU 201, a tuner / demodulator 202, a network interface 203, a demultiplexer 204, and a system clock generator 205.
  • the receiving terminal 200 includes a video decoder 206, an audio decoder 207, a caption decoder 208, and a combining unit 210.
  • the CPU 201 constitutes a control unit and controls the operation of each unit of receiving terminal 200.
  • the tuner / demodulator 202 receives the RF modulation signal, performs demodulation processing, and obtains a broadcast stream.
  • the network interface unit 203 receives a transmission stream of a service distributed from the distribution server 300 or the DASH segment server 400 via the communication network 500.
  • the demultiplexer 204 performs demultiplexing processing and depacketization processing on the broadcast stream obtained by the tuner / demodulation unit 202 and the transmission stream obtained by the network interface unit 203 to obtain NTP time information, signaling information, video, Outputs an audio encoded signal.
  • the system clock generator 205 generates a system clock STC synchronized with the time information based on the NTP time information obtained by the demultiplexer 204.
  • the video decoder 206 decodes the encoded video signal obtained by the demultiplexer 204 to obtain a baseband video signal.
  • the audio decoder 207 decodes the encoded audio signal obtained by the demultiplexer 204 to obtain a baseband audio signal. Furthermore, the caption decoder 208 decodes the encoded caption signal obtained by the demultiplexer 204 to obtain a caption (caption) display signal.
  • the CPU 201 controls the decoding timing in each decoder based on PTS (presentation time information) and adjusts the presentation timing of video and audio.
  • the synthesizer 210 synthesizes a caption display signal with the baseband video signal obtained by the video decoder 206 to obtain a video signal for video display.
  • the baseband audio signal obtained by the audio decoder 207 is an audio signal for audio output.
  • the tuner / demodulator 202 receives an RF modulated signal sent through the RF transmission path, performs demodulation processing, and obtains a broadcast stream. This broadcast stream is sent to the demultiplexer 204.
  • the network interface unit 203 receives a transmission stream of a service distributed from the distribution server 300 or the DASH segment server 400 via the communication network 300 and sends it to the demultiplexer 204.
  • demultiplex processing and depacketization processing are performed on the broadcast stream from the tuner / demodulation unit 202 and the transmission stream from the network interface unit 203, and NTP time information, signaling information, video, and audio are transmitted. An encoded signal or the like is extracted.
  • TLV-SI is a transmission control signal (TLV-NIT / AMT) carried on a TLV transmission packet
  • MMT-SI is a signaling message as signaling information included in the payload portion of the MMT packet. (See FIG. 2).
  • the CPU 201 controls the operation of each unit of the receiving terminal 200 based on this signaling information.
  • NTP time information extracted by the demultiplexer 204 is sent to the system clock generation unit 205.
  • the system clock generation unit 205 generates a system clock STC synchronized with the time information based on the NTP time information.
  • This system clock STC is supplied to a video decoder 206, an audio decoder 207, and a caption decoder 208.
  • the encoded video signal extracted by the demultiplexer 204 is sent to the video decoder 206 and decoded to obtain a baseband video signal.
  • the encoded caption signal extracted by the demultiplexer 204 is sent to the caption decoder 208 to be decoded to obtain a caption display signal.
  • the video signal obtained by the video decoder 206 is supplied to the synthesis unit 210.
  • the caption display signal obtained by the caption decoder 208 is supplied to the synthesis unit 210.
  • these signals are combined to obtain a video signal for video display.
  • the encoded audio signal extracted by the demultiplexer 203 is sent to the audio decoder 207 and decoded to obtain a baseband audio signal for audio output.
  • the receiving terminal 200 Based on the MPT component selection information (information on each asset), the receiving terminal 200 selectively acquires transmission media (components) such as video and audio to be presented from a received signal by hybrid transmission of broadcasting and communication. , Present images, audio, etc.
  • transmission media components such as video and audio to be presented from a received signal by hybrid transmission of broadcasting and communication. , Present images, audio, etc.
  • the receiving terminal 200 (CPU 201) analyzes information on each asset (component) of the MPT.
  • the receiving terminal 200 displays a user-selected GUI as necessary in selecting components of the selective layer, and allows the user to select.
  • FIG. 35A shows an example of the component selection GUI. This GUI is for allowing the user to select a view and a language. As shown in FIG. 35B, when a view button 401 on the GUI is operated, a drop-down menu for selecting a view is displayed, and the user can select “all view display”, “main”, “sub 1”, One of “Sub 2” can be selected.
  • a drop-down menu for language selection is displayed, and the user can select “Japanese”, “English”, “Chinese”, “ One of “Korean” can be selected.
  • the receiving terminal 200 automatically selects one or a plurality of components in accordance with the capability and setting in the selective layer component selection. Note that at the time of channel selection and when the power is turned on, the receiving terminal 200 automatically selects a default component.
  • the receiving terminal 200 determines the component to be synthesized and adaptively switched based on the component selection information. Then, the receiving terminal 200 recognizes the specified acquisition destination (broadcast / communication MMT packet, file on the communication network) from the “General location information ()” field of the MPT asset description, and acquires the signal data. And play.
  • This use case is an example of multi-view as shown in FIG.
  • one program is composed of three “video + audio” of main view (Main View) / subview 1 (Sub View1) / subview 2 (Sub View2).
  • the main view video is a video that is displayed at the time of channel selection by default, and it is assumed that a video of 3840 * 2160 resolution (4K) or 1920 * 1080 resolution (2K) is automatically selected according to the capability of the receiving terminal.
  • 4K scalable coding for combining a 2K video signal (base) and a differential signal (extended) is performed.
  • the 2K video signal (base) is transmitted by broadcasting, and the differential signal (extended) is distributed over the Internet.
  • the audio accompanying the main video is assumed to automatically select 22.2ch or stereo depending on the capability of the receiving terminal and the connection environment.
  • 22.2ch scalable coding for combining a stereo signal (base) and a differential signal (extended) is performed.
  • the stereo signal is transmitted by broadcasting (base), and the differential signal (extended) is distributed on the net.
  • both video and audio signals are distributed over the network in one system.
  • the video signal is a 2K video signal
  • the audio signal is a stereo signal.
  • the subview 2 is a net distribution that adaptively switches signals of several rates and resolutions with respect to the video signal, and the audio signal is a single line of net distribution.
  • the video signal is a 2K video signal
  • the audio signal is a stereo signal.
  • FIG. 37 shows a component layer model corresponding to the multi-view example of FIG. Component categories include video and audio.
  • a 4K video signal or a 2K video signal can be selected as a main view, and that a sub 1 view and a sub view 2 can be selected.
  • the main view (4K video signal) which is an option in the selective layer, is scalable-coded, and communicated with a base signal (2K video signal) that is broadcast and transmitted. It is shown that it is a composite signal with the extended signal (difference signal) to be transmitted.
  • the main view (2K video signal), which is an option in the selective layer is a base signal (2K video signal) to be transmitted by broadcast.
  • the subview 1 which is an option in the selective layer is a video signal to be transmitted by communication.
  • the subview 2 which is an option in the selective layer is a video signal obtained by adaptively switching a plurality of video signals transmitted and transmitted.
  • a 22.2ch signal or a stereo signal can be selected as a main view, and further, a sub 1 view and a sub view 2 can be selected.
  • the main view (22.2ch signal) which is an option in the selective layer, is scalable-coded, and the stereo signal that is broadcasted and the difference that is communicated and transmitted It is shown that it is a composite signal with the signal.
  • the main view which is an option in the selective layer
  • the main view is a stereo signal that is broadcast.
  • subview 1 and subview 2 that are options in the selective layer are stereo signals that are communicated and transmitted.
  • each view is combined in an asset group, indicating that it should be selected across categories. That is, it is shown that the audio main view, subview 1 and subview 2 should be selected in accordance with the selection of the video main view, subview 1 and subview 2.
  • FIG. 38 schematically shows a description example of MPT and MPD files corresponding to the multi-view example of FIG.
  • the MPD file includes information on a period whose ID “period_id” is indicated by “pd1”, information on the first adaptation set whose adaptation set ID “As_id” is indicated by “as1”, and adaptation set ID “As_id”. Is information of the second adaptation set indicated by “as2”.
  • the first adaptation set corresponds to the video signal of the sub-view 3 of net distribution in which signals of several rates and resolutions are adaptively switched.
  • the information of the first adaptation set includes a plurality (N) of representation information corresponding to signals of each rate and resolution.
  • the second adaptation set corresponds to the audio signal of the subview 3 of net distribution.
  • the information on the second adaptation set includes information on one representation corresponding to the audio signal.
  • MPT contains selection information for two component categories: video and audio.
  • video there is information on each asset (component) of video 11 (Video 11), video 12 (Video 12), video 2 (Video 2), and video 3 (Video 3).
  • video 11 there is information on each asset (component) of video 11 (Video 11), video 12 (Video 12), video 2 (Video 2), and video 3 (Video 3).
  • video 3 Video 3
  • descriptors as component selection information.
  • the asset of Video 11 (Video 11) is transmitted by broadcasting and corresponds to the 2K video signal (base) of the main view.
  • the location type “Loc_type” is set to “0”, and the packet identifier “pid” is inserted as the location information “GenLoc”.
  • a view descriptor “View_desc”, a composite component type descriptor “Compsite_desc”, an asset group descriptor “Asset_Gp_desc”, a video component descriptor “V_comp_desc”, and the like are inserted.
  • the asset of Video 12 corresponds to the difference signal (extended) of the main view distributed on the Internet.
  • the location type “Loc_type” is “1”
  • the IP address “IPadd”, the port number “pn”, and the packet identifier “pid” are inserted as the location information “GenLoc”.
  • This asset is multicast.
  • a dependency descriptor “Dependency_desc”, a video component descriptor “V_comp_desc”, and the like are inserted.
  • the asset of Video 2 corresponds to the 2K video signal of subview 1 distributed on the Internet.
  • the location type “Loc_type” is “5”, and the URL “url” is inserted as the location information “GenLoc”.
  • This asset is delivered by MPU / HTTP.
  • a view descriptor “View_desc”, an asset group descriptor “Asset_Gp_desc”, a video component descriptor “V_comp_desc”, and the like are inserted.
  • Video 3 (Video 3) assets correspond to 2K video signals of subview 2 in which signals of several rates and resolutions distributed over the network are adaptively switched.
  • the location type “Loc_type” is “D”
  • the location information “GenLoc” is that the information position of a specific adaptation set of the MPD file is a period ID “pid” and an adaptation set ID “asid”. It is specified.
  • the period ID “pid” is set to “pd1”
  • the adaptation set ID “asid” is set to “as1”
  • the information position of the adaptation set corresponding to is specified. Thereby, adaptive switching of the video signal of the subview 3 is performed based on the MPD file.
  • a view descriptor “View_desc” an asset group descriptor “Asset_Gp_desc”, a video component descriptor “V_comp_desc”, and the like are inserted.
  • audio 11 there is information on each asset (component) of audio 11 (Audio 11), audio 12 (Audio 12), audio 2 (Audio 2), and audio 3 (Audio 3).
  • audio 11 there is information on each asset (component) of audio 11 (Audio 11), audio 12 (Audio 12), audio 2 (Audio 2), and audio 3 (Audio 3).
  • audio 12 At the audio
  • audio 2 At the audio
  • audio 3 audio 3
  • Audio 11 (Audio 11) assets are transmitted by broadcasting and correspond to the stereo signal (base) of the main view.
  • the location type “Loc_type” is set to “0”, and the packet identifier “pid” is inserted as the location information “GenLoc”.
  • a composite component type descriptor “Compsite_desc”, an asset group descriptor “Asset_Gp_desc”, an audio component descriptor “A_comp_desc”, and the like are inserted.
  • the asset of Audio 12 corresponds to the difference signal (extended) of the main view distributed on the Internet.
  • the location type “Loc_type” is “1”
  • the IP address “IPadd”, the port number “pn”, and the packet identifier “pid” are inserted as the location information “GenLoc”.
  • This asset is multicast.
  • a dependency descriptor “Dependency_desc”, an audio component descriptor “A_comp_desc”, and the like are inserted.
  • the audio 2 (Audio2) asset corresponds to the stereo signal of subview 1 distributed on the Internet.
  • the location type “Loc_type” is “5”, and the URL “url” is inserted as the location information “GenLoc”.
  • This asset is delivered by MPU / HTTP.
  • an asset group descriptor “Asset_Gp_desc”, an audio component descriptor “A_comp_desc”, and the like are inserted.
  • Audio 3 (Audio3) asset corresponds to the stereo signal of subview 2.
  • the location type “Loc_type” is “D”
  • the location information “GenLoc” is that the information position of a specific adaptation set of the MPD file is a period ID “pid” and an adaptation set ID “asid”. It is specified.
  • the period ID “pid” is “pd1”
  • the adaptation set ID “asid” is “as2”
  • the information position of the adaptation set corresponding to the audio signal of the subview 2 is designated.
  • asset information an asset group descriptor “Asset_Gp_desc”, an audio component descriptor “A_comp_desc”, and the like are inserted.
  • a view selection is made. This selection is performed based on the view descriptor “View_desc” inserted in the information of each asset of the video 11, video 2, and video 3. For example, assume that the main view is selected by default and the video 11 is selected. At that time, since the asset information of the video 11 includes the composite component type descriptor “Compsite_desc”, it can be understood that the asset information is combined with something.
  • the asset 12 information includes a dependency descriptor “Dependency_desc”. From this descriptor, it can be seen that the video 12 does not function alone but is used depending on other assets, that is, the video 11. Accordingly, it is understood that the video 11 and the video 12 are in a scalable video relationship by combining the composite component type descriptor “Compsite_desc” and the dependency relationship descriptor “Dependency_desc”.
  • the asset information of the video 11 and the video 12 includes a video component descriptor “V_comp_desc”. For example, the resolution description “2K” for the video 11 and “4K” for the video 12 is described. If the receiving terminal 200 is compatible with 4K, both the video 11 and the video 12 are selectively combined and video playback at 4K is performed. On the other hand, if the receiving terminal 200 is 2K compatible, only the video 11 is selected and video playback at 2K is performed.
  • the asset information of the video 11 includes an asset group descriptor “Asset_Gp_desc”. This descriptor indicates that the video 11 and the audio 11 are combined.
  • the audio 11 is also selected.
  • the audio 11 is selected, the audio component 11 and the audio component 11 are combined with the composite component type descriptor “Compsite_desc” present in the asset information of the audio 11 and the dependency descriptor “Dependency_desc” present in the asset information of the audio 12. It can be seen that 12 is related to scalable audio.
  • the asset information of the audio 11 and audio 12 includes an audio component descriptor “A_comp_desc”. For example, a mode description of “stereo” for the audio 11 and “22.2 channels” for the audio 12 is made. ing. If the receiving terminal 200 is compatible with 22.2 channels, both audio 11 and audio 12 are selected and synthesized, and audio reproduction is performed on 22.2 channels. On the other hand, if the receiving terminal 200 is stereo-compatible, only the audio 11 is selected and audio playback in stereo is performed.
  • the video signal is acquired from the DASH segment server 400, but adaptive switching of the video signal is performed from moment to moment based on the MPD file, and 2K video reproduction is performed.
  • asset group descriptor “Asset_Gp_desc” exists in the asset information of Video 3. This descriptor indicates that video 3 and audio 3 are combined. When video 3 is selected, audio 3 is also selected.
  • the asset information of the audio 3 the information position of the adaptation set of the MPD file whose adaptation set ID “asid” is “as2” is specified as the location information. In this case, an audio signal is acquired from the DASH segment server 400 based on the MPD file, and audio reproduction in stereo is performed.
  • FIG. 39A shows a state when program reproduction is started by a channel selection operation.
  • a default main view is displayed, and since the program is a multi-view compatible program, a GUI display for user selection also appears.
  • FIG. 39B shows a state when the user selects the “multi-view” display. In this state, the multi-view display of the main view, subview 1 and subview 2 is performed.
  • FIG. 39C shows a state when the user selects the display of “subview 1”. In this state, the video of the subview 1 is displayed on the full screen.
  • the acquisition source information of the component that is the target of adaptive switching specifies a specific adaptation set or representation information position of the MPD file. Therefore, for example, in a broadcast / communication hybrid system, it is possible to ensure the ease of component selection on the receiving side, particularly component selection in the adaptive layer.
  • the receiving terminal 200 can acquire the MPD file from the broadcast has been described.
  • the present technology is not limited to this, and the receiving terminal 200 may acquire the MPD file by another method.
  • this technique can also take the following structures.
  • a transmission stream generation unit that generates a transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are multiplexed in a time division manner;
  • a transmission unit for transmitting the transmission stream through a predetermined transmission path;
  • An information insertion unit for inserting component selection information into the second transmission packet;
  • the component selection information is composed of selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching, from the top.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming. Transmitting device.
  • the transmission packet is an MMT packet, The transmission apparatus according to (1), wherein the component selection information is included in MPT.
  • the data stream for adaptive streaming is an MPEG-DASH based data stream,
  • the metafile is an MPD file, The transmission device according to (2), wherein the information specifying the specific information position of the metafile is information specifying a specific adaptation set or a specific representation.
  • the component selection information is composed of selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching, from the top.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming.
  • the transmission method (6) A transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are time-division multiplexed is received through a predetermined transmission path. With a receiver Component selection information is inserted into the second transmission packet, The component selection information includes, from the top, selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming.
  • a receiving apparatus further comprising: a component selection unit that selects a component to be presented based on the component selection information.
  • the receiving device according to (6) further including a metafile acquisition unit that acquires the metafile.
  • the component selection unit The receiving device according to (6) or (7), wherein when the component selection information includes a variation related to a specific attribute to be selected by the user, the selected graphics user interface is displayed on the screen.
  • the transmission packet is an MMT packet
  • the data stream for adaptive streaming is an MPEG-DASH-based data stream
  • the metafile is an MPD file
  • the receiving device according to (9), wherein the information specifying the specific information position of the metafile is information specifying a specific adaptation set or a specific representation.
  • the reception unit transmits a transmission stream in which a first transmission packet including a predetermined component and a second transmission packet including signaling information related to the predetermined component are multiplexed in a time division manner.
  • a receiving step for receiving through the road; Component selection information is inserted into the second transmission packet,
  • the component selection information includes, from the top, selective layer information for performing fixed selection, composite layer information for performing synthesis, and adaptive layer information for performing dynamic switching.
  • the information of each component that can be selected in the above adaptive layer includes acquisition source information, Among the components that can be selected in the adaptive layer, the acquisition destination information of the component that is the target of adaptive switching is information specifying a specific information position of a metafile having data stream acquisition information for adaptive streaming.
  • a receiving method further comprising a component selection step of selecting a component to be presented based on the component selection information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

 受信側におけるコンポーネント選択の容易性を確保する。 所定のコンポーネントを含む第1の伝送パケットと、この所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを所定の伝送路を通じて送信する。第2の伝送パケットに、コンポーネント選択情報を挿入する。このコンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されている。アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、放送・通信のハイブリッドシステムに適用して好適な送信装置等に関する。
 現在の放送システムでは、メディアのトランスポート方式として、MPEG-2 TS(Moving Picture Experts Group-2 Transport Stream)方式やRTP(Real Time Protocol)方式が広く使用されている(例えば、特許文献1を参照)。次世代のデジタル放送方式として、MMT(MPEG Media Transport)方式(例えば、非特許文献1参照)が検討されている。
特開2013-153291号公報
ISO/IEC DIS 23008-1:2013(E) Information technology-High efficiency coding and media delivery in heterogeneous environments-Part1:MPEG media transport(MMT)
 本技術の目的は、例えば、放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択の容易性を確保することにある。
 本技術の概念は、
 所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
 上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
 上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
 送信装置にある。
 本技術において、伝送ストリーム生成部により、所定のコンポーネントを含む第1の伝送パケットと、この所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームが生成される。送信部により、この伝送ストリームが、所定の伝送路を通じて、受信側に送信される。例えば、所定の伝送路は、放送伝送路である、ようにされてもよい。
 情報挿入部により、第2の伝送パケットに、コンポーネント選択情報が挿入される。このコンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成される。そして、アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる。
 例えば、伝送パケットは、MMTパケットであり、コンポーネント選択情報は、MPTに含まれている、ようにされてもよい。この場合、例えば、アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、メタファイルは、MPDファイルであり、メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる、ようにされてもよい。
 このように本技術においては、第2の伝送パケットに、3レイヤのコンポーネント選択情報が挿入されるものである。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる。そのため、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
 また、本技術の他の概念は、
 所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
 上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
 上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
 受信装置にある。
 本技術において、受信部により、所定の伝送路を通じて、伝送ストリームが受信される。この伝送ストリームには、所定のコンポーネントを含む第1の伝送パケットと、この所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化されている。例えば、第1の伝送路は放送伝送路である、ようにされてもよい。
 第2の伝送パケットには、コンポーネント選択情報が挿入されている。このコンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されている。そして、アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされている。
 コンポーネント選択部により、コンポーネント選択情報に基づいて提示すべきコンポーネントが選択される。この場合、例えば、アダプティブ切り替えの対象となっているコンポーネントの切り替えはメタファイルに基づいて行われる。
 例えば、伝送パケットは、MMTパケットであり、各コンポーネントの選択情報は、MPTに含まれている、ようにされてもよい。この場合、例えば、アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、メタファイルは、MPDファイルであり、メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている、ようにされてもよい。
 このように本技術においては、第2の伝送パケットに、3レイヤのコンポーネント選択情報が挿入されているものである。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされている。そのため、例えば放送・通信のハイブリッドシステムにおいて、コンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
 なお、本技術において、例えば、メタファイルを取得するメタファイル取得部をさらに備える、ようにされてもよい。この場合、例えば、メタファイルは、放送伝送路あるいは通信伝送路のいずれかを通じて取得される。また、本技術において、コンポーネント選択部は、コンポーネント選択情報にユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する、ようにされてもよい。
 本技術によれば、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択の容易性を確保できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての放送・通信ハイブリッドシステムの構成例を示すブロック図である。 MMT/放送の信号構成例のスタックモデルを示す図である。 MMT方式放送ストリームの構成例を示す図である。 MMTパケットの構成例とMMTPペイロード(MMTP payload)の構成例を示す図である。 一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示す図である。 放送送出システムから受信端末に送信される1つのチャンネル(放送番組)の放送信号のイメージを示す図である。 MPDファイルの階層構造を示す図である。 MPDファイルに含まれる各構造体の一例を時間軸上に並べて示した図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 MMT/通信の信号構成例のスタックモデルを示す図である。 PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構成例を概略的に示す図である。 PAメッセージの主要なパラメータの説明を示す図である。 MPテーブルの主要なパラメータの説明を示す図である。 PAメッセージの構造例(Syntax)を示す図である。 MPテーブル(MPT)の構造例(Syntax)を示す図である。 「MMT_general_location_info()」の構造例(Syntax)の一部を示す図である。 受信端末のハイブリッド配信における処理フローを示す図である。 コンポーネントレイヤモデルの一例を示す図である。 MPTのコンポーネント選択情報とMPDファイルを説明するための図である。 アセット取得先情報としてのMPDファイルの特定の情報位置の指定について説明するための図である。 放送・通信ハイブリッドシステムで想定される信号構成の一例を示す図である。 MPTの対応するアセットでMPDファイルの特定のリプレゼンテーションの情報位置を指定する場合におけるMPTとMPDファイルの構成例を概略的に示す図である。 MPTの対応するアセットでMPDファイルの特定のアダプテーションセットの情報位置を指定する場合におけるMPTとMPDファイルの構成例を概略的に示す図である。 ビュー記述子の構造例を示す図である。 合成コンポーネントタイプ記述子の構造例を示す図である。 アセットグループ記述子の構造例を示す図である。 依存関係記述子の構造例を示す図である。 映像コンポーネント記述子の構造例を示す図である。 音声コンポーネント記述子の構造例を示す図である。 対象デバイス記述子の構造例を示す図である。 対象地域記述子の構造例を示す図である。 パレンタルレート記述子の構造例を示す図である。 放送・通信ハイブリッドシステムを構成する放送送出システムの構成例を示すブロック図である。 放送・通信ハイブリッドシステムを構成する受信端末の構成例を示すブロック図である。 コンポーネント選択GUIの一例を示す図である。 受信端末におけるコンポーネント選択・取得プロセスのユースケース(マルチビュー)を説明するための図である。 マルチビューの例に対応したコンポーネントレイヤモデルを示す図である。 マルチビューの例に対応したMPTとMPDファイルの記載例を概略的に示す図である。 受信端末のビュー表示変更の一例を説明するための図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [放送・通信ハイブリッドシステムの構成例]
 図1は、放送・通信ハイブリッドシステム10の構成例を示している。放送・通信ハイブリッドシステム10において、送信側には放送送出システム100、配信サーバ300およびDASHセグメントサーバ400が配置され、受信側には受信端末200が配置されている。配信サーバ300およびDASHセグメントサーバ400は、通信ネットワーク500を通じて受信端末200に接続される。
 放送送出システム100は、ビデオ、オーディオ、キャプションなどのコンポーネント(アセット)を伝送メディアとして含むIP(Internet Protocol)方式の放送信号を送信する。配信サーバ300は、ビデオ、オーディオなどのコンポーネント(アセット)を伝送メディアとして含むIPパケットが連続的に配置された伝送ストリームを、受信側からの要求に応じ、通信ネットワーク500を通じて、受信側に送る。
 DASHセグメントサーバ400は、ビデオ、オーディオなどのDASH(Dynamic Adaptive Streaming over HTTP)仕様のストリームセグメント(以下、「DASHセグメント」という)を、受信側からの要求に応じ、通信ネットワーク500を通じて、受信側に送る。すなわち、DASHセグメントサーバ400は、受信側から送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを含むIPパケットを、通信ネットワーク500を通じて、要求元に送信する。
 受信端末200は、放送送出システム100から送られてくるIP方式の放送信号を受信すると共に、配信サーバ300やDASHセグメントサーバ400からIPパケットが連続的に配置された伝送ストリームを受信する。受信端末200は、このような放送・通信のハイブリッド伝送による受信信号から、提示すべきビデオ、オーディオなどの伝送メディア(コンポーネント)を取得し、画像、音声などを提示する。
 図2は、放送送出システム100からの放送に係るMMT/放送の信号構成例のスタックモデルを示している。下位レイヤにTLV(Type Length Value)の伝送パケットが存在する。このTLVの伝送パケットの上にIPパケットが載る。なお、伝送制御信号がシグナリング(Signaling)情報として載ったTLV伝送パケットも存在する。
 IPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、多重化トランスポートパケットとしてのMMT(MPEG Media Transport)パケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ、キャプション等のコンポーネントの符号化データを含むMFU(MMT Fragment Unit)、あるいは伝送メディアに関する情報を含むシグナリングメッセージ(Signaling Message)が含まれる。なお、IPパケットには、UDPの上に時刻情報を含むNTP(Network Time Protocol)パケットが載ったIPパケットも存在する。
 図3は、MMT方式放送ストリームの構成例を示している。図3(a)は、ビデオのエレメンタリストリーム(Video ES)を示している。このビデオのエレメンタリストリームは、所定の大きさの固まりに分割され、図3(b)に示すように、MFUのペイロード部に配置される。
 図3(c)に示すように、MFUにMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロード(MMTP payload)が構成される。そして、図3(d)に示すように、このMMTPペイロードにさらにMMTヘッダ(MMT header)が付加されて、MMTパケット(MMT packet)が構成される。なお、ペイロード部に、シグナリングメッセージ(Signaling Message)を含むMMTパケットも存在する。図3(e)に示すように、MMTパケットに、UDPヘッダ、IPヘッダおよびTLVヘッダが付加されて、MMT方式放送ストリームを構成するTLVパケット(TLV packet)が生成される。
 なお、図示は省略されているが、TLVパケットとしては、さらに、オーディオ、キャプションなどのその他のコンポーネントのMMTパケットを含むTLVパケットも存在する。このMMT方式放送ストリームは、伝送メディア(コンポーネント)を含む第1のパケット(MMTパケット)と、シグナリング情報を含む第2のパケット(MMTパケット)を持つものとなる。
 図4(a)は、MMTパケットの構成例を示している。MMTパケットは、MMTパケットヘッダ(MMTP header)と、MMTPペイロード(MMTP payload)とからなる。「V」の2ビットフィールドは、MMTプロトコルのバージョンを示す。MMT規格第1版に従う場合、このフィールドは“00”とされる。「C」の1ビットフィールドは、パケットカウンタフラグ(packet_counter_flag)情報を示し、パケットカウンタフラグが存在する場合は“1”となる。「FEC」の2ビットフィールドは、FECタイプ(FEC_type)を示す。
 「X」の1ビットフィールドは、拡張ヘッダフラグ(extension_flag)情報を示し、MMTパケットのヘッダ拡張を行う場合は“1”とされる。この場合、後述する「header_extension」のフィールドが存在する。「R」の1ビットフィールドは、RAPフラグ(RAP_flag)情報を示し、このMMTパケットが伝送するMMTペイロードがランダムアクセスポイントの先頭を含む場合は“1”とされる。
 「type」の6ビットフィールドは、ペイロードタイプ(payload_type)情報であり、MMTPペイロードのデータタイプを示す。例えば、「0x00」はペイロードがMPU(Media Processing Unit)であることを示し、「0x02」はペイロードがシグナリングメッセージ(Signaling message)であることを示す。
 「packet_id」の16ビットフィールドは、ペイロードのデータ種類を識別するためのパケット識別子(packet_id)を示す。「timestamp」の32ビットフィールドは、伝送のためのタイプスタンプ、すなわちMMTパケットが送信側から出ていくときの時刻を示す。この時刻は、NTPショートフォーマット(NTP short format)で表される。「packet_sequence_number」の32ビットフィールドは、同一のパケット識別子(packet_id)を持つMMTパケットのシーケンス番号を示す。「packet_counter」の32ビットフィールドは、パケット識別子(packet_id)の値に関係なく、同一のIPデータフローにおけるMMTパケットの順序を示す。
 上述の「X」の1ビットフラグ情報が「1」であるとき、「packet_counter」の32ビットフィールドの後に、MMT拡張ヘッダである「header_extension」のフィールドが配置される。その後に、MMTPペイロード(MMTP payload)を構成する「payload data」のフィールドおよび「source_FEC_payload_ID」のフィールドが存在する。
 図4(b)は、上述のMMTパケットの「payload data」のフィールドに配置されるMMTPペイロード(MMTP payload)の構成例(Syntax)を示している。なお、この例は、MMTヘッダの「type」が「0x00」であるMPUモードである場合を示している。最初にヘッダ情報が存在する。「length」の16ビットフィールドは、MMTPペイロード全体のバイトサイズを示す。“FT”の4ビットフィールドは、フィールドタイプを示す。 “0”は「MPU metadata」を含むことを示し、“1”は「Movie Fragment metadata」を含むことを示し、“2”は「MFU」を含むことを示す。
 ここで、MFU(MMT Fragment Unit)は、MPUが細分化、すなわちフラグメント(Fragment)化されたものである。例えば、ビデオの場合、このMFUを一つのNALユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このMFUを一つまたは複数のMTUサイズ(MTU size)で構成することもできる。
 また、MPUは、ランダムアクセスポイント(RAP:Random Access Pint)から始まるものであり、1つまたは複数のアクセスユニット(AU:Access Unit)を含むものである。具体的には、例えば、1つのGOP(Group Of Picture)のピクチャが、一つのMPUの構成となることがある。このMPUは、アセット別(コンポーネント別)に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのMPUが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのMPUが作成される。
 「T」の1ビットフラグ情報は、タイムドメディア(Timed Media)を伝送するか、ノンタイムドメディア(Non-Timed Media)を伝送するかを示す。“1”はタイムドメディアを示し、“0”はノンタイムドメディアを示す。
 「f_i」の2ビットフィールドは、「DU payload」のフィールドに、整数個のデータユニット(DU:Data Unit)が入っているか、データユニットが断片化されて得られたフラグメント(Fragment)の最初(first)、中間、最後(last)のいずれが入っているかを示す。“0”は整数個のデータユニットが入っていることを示し、“1”は最初のフラグメントが入っていることを示し、“2”は中間のフラグメントが入っていることを示し、“3”は最後のフラグメントが入っていることを示す。
 「A」の1ビットフラグ情報は、「DU payload」のフィールドに、複数個のデータユニットが入っているか否かを示す。“1”は入っていることを示し、“0”は入っていないことを示す。「frag_counter」の8ビットフィールドは、「f_i」が1~3であるとき、何番目のフラグメントであるかを示す。
 「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。例えば、1つのGOPが1つのMPUを構成する場合、あるGOPの「MPU_sequence_number」が「i」であるとき、次のGOPの「MPU_sequence_number」は「i+1」となる。
 この「MPU_sequence_number」のフィールドの後に、「DU_length」、「DU_header」、「DU_payload」の各フィールドが配置される。「DU_length」の16ビットフィールドは、上述の「A=0」である場合、つまり「DU payload」のフィールドに複数個のデータユニットが入っていない場合は存在しない。また、「DU_header」のフィールドは、“FT=0/1”である場合、つまり「MPU metadata」や「Movie Fragment metadata」を含む場合は存在しない。
 MMT方式では、ビデオなどの伝送メディアを、フラグメント化されたISOBMFF(ISO Base Media File Format)に基づいたコンテンツフォーマットで伝送する。図5は、一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示している。
 MMTファイルの構成は、基本的には、MP4のファイル構成とほぼ同等である。最初に“ftyp”のボックス(Box)がある。続いて、MMT独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。続いて、ムービーフラグメント(Movie Fragment)がある。このムービーフラグメントは、制御情報が入る“moof”ボックスと、ビデオの符号化データが入る“mdat”ボックスからなる。ここでは、一つのGOPが一つのMPUの構成となることを想定しているので、ムービーフラグメントは一組だけ存在する。
 “ftyp”,“mmpu”,“moov”の各ボックスのメタデータは、「MPU metadata」として、一つのMMTパケットで伝送される。この場合、“FT=0”である。“moof”ボックスのメタデータは、「Movie Fragment metadata」として、一つのMMTパケットで伝送される。この場合、“FT=1”である。“mdat”ボックスに含まれるビデオの符号化データは、「MFU」に断片化され、それぞれが一つのMMTパケットで伝送される。この場合、“FT=2”である。
 図6は、放送送出システム100から受信端末200に送信される1つのチャンネル(1つの放送番組)に係る放送信号のイメージの一例を示している。この放送信号には、ビデオ、オーディオなどのMMTパケットと共に、シグナリングメッセージを含むMMTパケットも含まれる。シグナリングメッセージとして、例えば、PAメッセージ(PA message)、MPIメッセージ(MPI message)などが存在する。
 PAメッセージには、MPテーブル(MPT)などの各種テーブルが含まれる。MPIメッセージには、MPD(Media Presentation Description)ファイルそのもの、あるいはMPDファイルを取得するための取得先情報としてのURL(Uniform Resource Locator)などが含まれる。このMPDファイルには、上述したDASHセグメントサーバ400から配信されるビデオ、オーディオなどのコンポーネント(アセット)を管理するメタデータが記述されている。このMPDファイルは、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルを構成している。
 MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。受信側では、そのレートの値を参考にして、ネットワーク環境の状態に応じて、最適なストリームを選択できる。
 MPDファイルは、図7に示すように、階層構造をとる。このMPDファイルには、DASHセグメントサーバ400に格納した動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がXML形式で階層的に記述される。このMPDファイルには、ピリオド(Period)、アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、セグメントインフォ(SegmentInfo)、イニシャライゼーション・セグメント(Initialization Segment)、メディア・セグメント(Media Segment)などの構造体が、階層的に含まれている。
 ピリオドの構造体は、プログラム(同期を取った1組のビデオやオーディオ等のデータ)の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲(リプレゼンテーション群)をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、ビデオやオーディオの符号化速度、ビデオの画像サイズなどの情報を持つ。
 また、リプレゼンテーションの構造体に含まれるセグメントインフォの構造体は、ビデオやオーディオのセグメント関連の情報を持つ。また、セグメントインフォの構造体に含まれるイニシャライゼーション・セグメントの構造体は、データ圧縮方式などの初期化情報を持つ。また、セグメントインフォの構造体に含まれるメディア・セグメントの構造体は、ビデオやオーディオのセグメントを取得するアドレスなどの情報を持つ。
 図8は、上述のMPDファイルに含まれる各構造体の一例を時間軸上に並べて示したものである。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドにアダプテーションセットが2個含まれ、各アダプテーションセットにストリーム属性の異なる同一内容のストリームに係るリプレゼンテーションが2個含まれている。
 図9は、MPDファイルに階層的に配置されている各構造体の関係の一例を示している。図9(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
 図9(b)に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図9(c)に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
 図9(d)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図9(e)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
 なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
 図10は、配信サーバ300からの配信に係るMMT/通信の信号構成例のスタックモデルを示している。MMT/通信による配信オプションとして、(A)マルチキャスト配信、(B)MMTP/UDP配信、(C)MMTP/TCP配信、(D)MMTP/HTTP配信、(E)MPU/HTTP配信が考えられる。
 「(A)マルチキャスト配信」
 マルチキャスト配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、MMT(MPEG Media Transport)パケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
 このマルチキャスト配信の場合、放送・通信ハイブリッド利用としては、輻輳対応を考慮すると最も望ましい方式である。また、このマルチキャスト配信の場合、UDP伝送なので、伝送効率はよいが、パケットロスの問題があるので、AL-FEC(Application Layer-Forward Error Correction)を必要とする可能性がある。
 また、このマルチキャスト配信の場合、マネージドネットワーク(Managed Network)に直接接続されている受信端末のみが利用可能となる。また、このマルチキャスト配信の場合、マルチキャストIPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
 「(B)MMTP/UDP配信」
 MMTP/UDP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
 このMMTP/UDP配信の場合、ユニキャスト(Unicast)なので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/UDP配信の場合、UDP伝送なので、伝送効率はよいが、AL-FECを必要とする可能性がある。また、マルチキャスト配信の場合、トータル遅延や同期の面では、TCPに比べると良好である。
 また、このMMTP/UDP配信の場合、ユニキャストなので、広く一般のインターネット接続機器で利用可能となり得るが、ルータ設定によってはデフォルトでは利用できない可能性がある。このMMTP/UDP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
 「(C)MMTP/TCP配信」
 MMTP/TCP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCP(Transmission Control Protocol)が載る。そして、TCPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
 このMMTP/TCP配信の場合、ユニキャストなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMMTP/TCP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/TCP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL-FECは不要となる。
 また、このMMTP/TCP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
 「(D)MMTP/HTTP配信」
 MMTP/HTTP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCPが載る。そして、TCPの上に、HTTP(Hyper Text Transfer Protocol)が載り、さらにその上にMMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
 このMMTP/HTTP配信の場合、HTTPなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMMTP/HTTP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/HTTP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL-FECは不要となる。
 また、このMMTP/HTTP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
 「(E)MPU/HTTP配信」
 MPU/HTTP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCPが載る。そして、TCPの上に、HTTPが載り、このHTTPパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
 このMPU/HTTP配信の場合、HTTPなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMPU/HTTP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMPU/HTTP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL-FECは不要となる。
 また、このMPU/HTTP配信の場合、MMTパケットが介在しないのでMMTP/HTTP配信に比べて伝送効率は良くなるが、逆にMMTPヘッダ等の情報が消失する課題がある。また、このMPU/HTTP配信の場合、受信端末は、HTTPにより、単一のアセット(コンポーネント)の個々のMPUファイルを取得するものとなる。
 図11は、PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構造を概略的に示している。また、図12は、PAメッセージの主要なパラメータの説明を示し、図13は、MPテーブルの主要なパラメータの説明を示している。
 「message_id」は、各種シグナリング情報において、PAメッセージを識別する固定値である。「version」は、PAメッセージのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、PAメッセージのサイズを示すバイト数である。
 「extension」のフィールドには、ペイロード(Payload)のフィールドに配置されるテーブルのインデックス情報が配置される。このフィールドには、「table_id」、「table_version」、「table_length」の各フィールドが、テーブル数だけ配置される。「table_id」は、テーブルを識別する固定値である。「table_version」は、テーブルのバージョンを示す。「table_length」は、テーブルのサイズを示すバイト数である。
 PAメッセージのペイロード(Payload)のフィールドには、MPテーブル(MPT)と、所定数のその他のテーブル(Other table)が配置される。以下、MPテーブルの構成について説明する。
 「table_id」は、各種シグナリング情報において、MPテーブルを識別する固定値である。「version」は、MPテーブルのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、MPテーブルのサイズを示すバイト数である。
 「pack_id」は、放送および通信で伝送される全てのアセット(コンポーネント)を構成要素とする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報である。「pack_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「MPT_descripors」のフィールドは、パッケージ全体に関わる記述子の格納領域である。「MPT_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
 「num_of_asset」は、パッケージを構成する要素としてのアセット(コンポーネント)の数を示す。この数分だけ、以下のアセットループが配置される。「asset_id」は、アセットをユニークに識別する情報(アセットID)である。この識別情報は、テキスト情報である。「asset_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「gen_loc_info」は、アセットの取得先のロケーションを示す情報である。「asset_descriptors」のフィールドは、アセットに関わる記述子の格納領域である。「asset_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
 なお、図14は、上述したPAメッセージの構造例(Syntax)を示している。また、図15は、上述したMPテーブル(MPT)の構造例(Syntax)を示している。図11における「gen_loc_info」のフィールドは、図15における「asset_location」のフィールドに対応し、アセットの取得先のロケーションを示す情報として複数の「MMT_general_location_info()」の配置が可能となっている。また、図11における「asset_descriptors」のフィールドは、図15における「asset_descriptors」のフィールドに対応している。
 図16は、「MMT_general_location_info()」の構造例(Syntax)の一部を示している。「location_type」の8ビットフィールドは、アセットの取得先のロケーションを示す情報(以下、適宜、「ロケーション情報」という)のタイプを示している。放送で送られてくるアセットの場合、「location_type」は“0x00”とされ、ロケーション情報として、パケット識別子(packt_id)が挿入される。
 また、上述の(A)マルチキャスト配信のプロトコルで配信されるアセットの場合、「location_type」は“0x01”あるいは“0x02”とされ、ロケーション情報として、ソースアドレス(ipv4_src_addr,ipv6_src_addr」と、デストネーションアドレス(ipv4_dst_addr,ipv6_dst_addr)と、デストネーションポート番号(dst_port)と、パケット識別子(packt_id)が挿入される。この場合、「location_type」により、マルチキャスト配信であることが識別される。
 また、上述の(B)MMTP/UDP配信、(C)MMTP/TCP配信、(D)MMTP/HTTP配信あるいは(E)MPU/HTTP配信のプロトコルで配信されるアセットである場合、「location_type」は“0x05”とされ、ロケーション情報として、URL(Uniform Resource Locator)が配置される。
 図17は、受信端末200の処理フロー、すなわちハイブリッド配信における処理フローを示している。受信端末200は、ステップST1において、コンポーネントレイヤモデル(Component Layering Model)に沿って、提示すべきコンポーネントの選択をする。この場合、受信端末200は、MPTに挿入されているコンポーネント選択情報(コンポーネントレイヤモデル)に基づいて、コンポーネント選択を行う。
 次に、受信端末200は、ステップST2において、選択したコンポーネントのロケーション解決をすると共に、コンポーネントを取得する。この場合、受信端末200は、シグナリング情報として挿入されているコンポーネントの取得先情報に基づいてコンポーネント取得を行う。そして、受信端末200は、ステップST3において、選択したコンポーネントの同期再生を行う。
 コンポーネントレイヤモデルについて説明する。図18、コンポーネントレイヤモデルの一例を示している。このコンポーネントレイヤモデルは、アダプティブレイヤ(Adaptive layer)、コンポジットレイヤ(Composite layer)、セレクティブレイヤ(Selective layer)の3つのレイヤ構造からコンポーネント選択を行うためのモデルである。
 アダプティブレイヤは、最下位に位置するレイヤであって、適応的にコンポーネントを切り替えるレイヤである。コンポジットレイヤは、真ん中に位置するレイヤであって、信号合成を行って別の信号にするレイヤである。セレクティブレイヤは、最上位に位置するレイヤであって、最終的に提示するコンポーネントを選択するレイヤである。各レイヤについてさらに説明する。
 セレクティブレイヤは、各コンポーネントカテゴリ(component category)において、複数のコンポーネント選択肢から、ユーザ選択、または端末自動選択により固定的にコンポーネントを選択するレイヤである。ここで、コンポーネントカテゴリとは、ビデオとかオーディオとかの選択する単位を意味する。図示の例では、ビデオ、オーディオの2つのカテゴリが示されている。
 このセレクティブレイヤでは、例えば、以下のような利用が想定される。
 (1)属性に基づいて、端末が自動選択するか、あるいは選択のためのGUI(graphical user interface)が表示されてユーザ選択させることにより、コンポーネントを選択する。
 (2)コンポーネント選択肢が1つだけの場合には選択なしにその1つのコンポーネントを選択する。
 (3)異なるコンポーネントカテゴリの組み合わせで選択するケースもある。
 (4)複数のコンポーネントを選択した場合、映像、キャプション(字幕)の場合には複数画面表示とし、音声の場合にはミキシング出力とする。
 このセレクティブレイヤでは、例えば、以下のような属性が用いられる。
 (1)コンビネーションタグ:1つのビューを構成する異なるコンポーネントカテゴリの組み合わせの識別子(ID)である。このコンビネーションタグが存在する場合はカテゴリ横断で選択がなされる。
 (2)言語:言語は、言語コードで示される。
 (3)映像パラメータ:映像パラメータは、解像度、フレームレート、3D情報などである。
 (4)音声パラメータ:音声パラメータは、マルチチャンネルモード、サンプリングレートなどである。
 (5)対象地域:対象地域は、地域コードで示される。
 (6)対象デバイス:対象デバイスは、デバイスタイプで示される。
 (7)ビュータイトル:ビュータイトルは、ビューの選択用タイトルである。
 (8)目的:目的は、例えばナレーションなどである。
 コンポジットレイヤは、各コンポーネントカテゴリにおいて複数のコンポーネントを合成して1つのコンポーネントとして機能させるレイヤである。このコンポジットレイヤの上にセレクティブレイヤがあるということは、合成した信号を1つの信号とみなしてセレクティブレイヤで選択する、ということを意味する。
 このコンポジットレイヤでは、例えば、以下のような利用が想定される。
 (1)合成のタイプを示す属性と合成の位置づけを示す属性値に基づいて合成する。
 (2)コンポーネントが一つだけの場合は、合成動作は不要とする。
 このコンポジットレイヤでは、例えば、以下のような、合成タイプと合成位置づけ情報が属性として用いられる。なお、以下の例は、位置づけが「位置づけ1」と「位置づけ2」の2つの場合を示している。
 (1)合成タイプはスケーラブルである、合成位置づけ情報はベース(Base)、エクステンデッド(Extended)である。例えば、ベースではHD解像度の表示が可能であるが、ベースおよびエクステンデッドの両方で4K解像度の表示が可能となる。
 (2)合成タイプは3Dであり、合成位置づけ情報は左(Left)、右(Right)である。
 (3)合成タイプはタイルであり、合成位置づけ情報は“TileA1”,”TileA2”の画像タイリングの位置である。ここで、タイルは、画像を横とか縦に並べて視野の大きな画像を得ることを意味する。
 (4)合成タイプはレイヤであり、合成位置づけ情報は“Layer1”,”Layer2”の重ね合わせの奥からの順位である。ここで、レイヤとは、画像を奥から順に重ね合わせていくことを意味する。
 (5)合成タイプはミキシングであり、合成位置づけ情報はトラック1、トラック2である。
 アダプティブレイヤは、各コンポーネントカテゴリにおいて複数のコンポーネントを端末の適応的判断に基づきダイナミックに切り替えて1つのコンポーネントとして機能させるレイヤである。
 このアダプティブレイでは、例えば、以下のような利用が想定される。
 (1)いわゆるアダプティブストリーミングとして、一定時間(例えば10秒)毎に最適なコンポーネントを端末が自動選択し切り替える。
 (2)切り替え対象のコンポーネントが1つのみの場合には適応切り替え動作は不要で、そのコンポーネントを常に選択する。
 (3)通信経路によるコンポーネントのみの場合には、通信路の輻輳状況によって変化する端末の受信バッファの占有状況に応じて、適切なビットレートのコンポーネントを選択する。
 (4)放送経路によるコンポーネントが含まれる場合にはそのビットレートにより通信コンポーネントとの選択を判断する。
 (5)放送経路のコンポーネントが複数存在するケースとしては、物理的な受信信号強度(Robustness)に基づき、天気が良い時は高品質なノーマルロバストネス(Normal Robustness)な信号で伝送されるコンポーネントを選択し、悪天候においては低品質なハイロバストネス(High Robustness)な信号で伝送されるコンポーネントを選択するケースが考えられる。
 このアダプティブレイヤでは、例えば、以下のような属性が用いられる。
 (1)経路:経路は、放送経路、通信経路などである。
 (2)ビットレート
 (3)ロバストネス(Robustness)指標: ノーマルロバストネス、ハイロバストネスなどである。
 (4)映像パラメータ: 映像パラメータは、解像度、フレームレートなどである。
 (5)音声パラメータ:音声パラメータは、マルチチャンネルモード、サンプリングレートなどである。
 図18に示すコンポーネントレイヤモデルは、ビデオおよびオーディオの各カテゴリにおけるコンポーネント選択情報を示している。セレクティブレイヤでは、カテゴリ毎に、1つまたは複数のコンポーネントの選択が可能であることが示されている。ここで、2つのカテゴリ間にコンビネーションタグで組み合わせられたコンポーネントが存在し、カテゴリ横断で選択すべきことが示されている。
 コンポジットレイヤでは、セレクティブレイヤで選択肢とされる各コンポーネントの合成処理を示している。合成対象のコンポーネントが一つだけの場合は、そのコンポーネントがそのままセレクティブレイヤで選択肢とされることが示されている。アダプティブレイヤでは、コンポジットレイヤで使用される各コンポーネントの適応切り替え処理を示している。切り替え対象のコンポーネントが1つのみの場合、そのコンポーネントが常に選択されることが示されている。
 上述したように、受信端末200は、シグナリング情報として挿入されているコンポーネント選択情報(コンポーネントレイヤモデル)に基づいて、コンポーネント選択を行う。受信端末200のコンポーネント選択の動作例を説明する。
 (1)受信端末200は、コンポーネント選択情報を取得し、その選択肢の中で、まず選択すべきコンポーネントの数を踏まえた上で、コンポーネントの選択を行う。この場合、ユーザに選択させるべき場合には、最上位レイヤのセレクティブレイヤの各コンポーネントの属性情報を基に、選択用GUIを表示してユーザに選択させる。
 端末に自動選択させる場合には、最上位レイヤのセレクティブレイヤの各コンポーネントの属性情報と受信端末200が有する個人情報、端末能力情報に基づいて、受信端末200が選択する。基本的にコンポーネントカテゴリ毎に上記の処理を行うが、アセットグループが設定されている場合にはカテゴリを横断して選択を行う。
 (2)受信端末200は、セレクティブレイヤで選択したコンポーネントに複数の要素がある場合には、指定されたコンポーネント合成(Composition)を行うべき、アダプティブレイヤで適応切り替えされた複数のコンポーネントを用いて合成提示を行う。
 (3)受信端末200は、セレクティブレイヤで選択したコンポーネントに要素が1つだけの場合には、アダプティブレイヤで適応切り替えされたコンポーネントにより提示を行う。
 (4)受信端末200は、上記(2)、(3)でアダプティブレイヤの切り替え対象コンポーネントが1つだけの場合には、切り替えを行わずにそのコンポーネントを提示する。
 「コンポーネント選択情報」
 この実地の形態において、コンポーネント選択情報は、PAメッセージに含まれるMPT(MPTテーブル)に挿入されている。PMTには、ビデオ、オーディオ、キャプションなどの各アセット(コンポーネント)の情報が存在し、コンポーネント選択情報として利用される。各アセットの情報には、種々の記述子も含まれる。
 例えば、コンポーネント選択情報として利用される記述子として、ビュー記述子、合成コンポーネントタイプ記述子、アセットグループ記述子、依存関係記述子、映像コンポーネント記述子、音声コンポーネント記述子、対象デバイス記述子、対象地域記述子、パレンタルレート記述子などがある。これらの記述子の詳細は後述する。
 受信端末200は、図19示すように、MPTに存在する各アセット(コンポーネント)の情報に基づいて、セレクティブレイヤ、コンポジットレイヤおよびアダプティブレイヤにおけるコンポーネント選択を行う。ただし、受信端末200は、アダプティブレイヤにおいて、アダプティブ切り替えの対象となっているコンポーネントに関しては、その切り替え選択をMPDファイルの情報に基づいて行う。
 そのため、アダプティブ切り替えの対象となっているコンポーネントの取得先として、MPTには、MPDファイルの特定のアダプテーションセット、あるいは特定のリプレゼンテーションの情報位置が指定される。この場合、図19に示すように、MPTのアセットとして、MPDファイルのアダプテーションセット、あるいはリプレゼンテーションが位置づけられることとなる。
 この実施の形態において、「location_type」として、「MPEG-DASH segment」を示す値、例えば「0x0D」を新規定義する。MPDファイルの特定のリプレゼンテーションの情報位置を取得先とする場合(方法1)、ロケーション情報として、図20(a)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)と、リプレゼンテーションID(representation_ID)を挿入する。
 また、MPDファイルの特定のアダプテーションセットの情報位置を取得先とする場合(方法2)、ロケーション情報として、図20(b)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)を挿入する。なお、この場合であっても、ロケーション情報として、図20(a)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)と、リプレゼンテーションID(representation_ID)を挿入することも考えられる。その場合には、リプレゼンテーションIDはオール0あるいはオール1とされ、アダプテーションセットIDでしか指定していないということがわかるようにされる。
 図21は、図1の放送・通信ハイブリッドシステム10で想定される信号構成の一例を示している。放送(Broadcast)では、MMTパケットを用いて、ビデオ1(Video1)、オーディオ1(Audio1)が伝送される共に、シグナリング(Signaling)が伝送される。このシグナリングとして、MPTを含むPAメッセージが存在と共に、MPDファイルあるいはMPDファイルの取得先情報としてのURLを含むMPIメッセージが存在する。
 また、通信では、DSAHセグメントサーバ400から、ビデオ21(Video21)、ビデオ22(Video22)、オーディオ2(Audio2)の配信が可能とされている。ビデオ21(Video21)、ビデオ22(Video22)は、アダプティブ切り替えの対象となっている。これらの取得先として、MPTの対応するアセットで、MPDファイルの特定のアダプテーションセット、あるいは特定のリプレゼンテーションの情報位置が指定される。これらの実際の取得先情報は、MPDファイルに含まれている。
 また、通信では、配信サーバ300から、ビデオ3(Video3)、オーディオ3(Audio3)の配信が可能とされている。配信プロトコルは、例えば、上述した(A)~(E)のいずれかとされる。これらの取得先情報は、MPTの対応するアセットの情報に含まれている。
 図22は、図21の信号構成例に対応したMPTとMPDファイルの構成例を概略的に示している。この例は、アダプティブ切り替えの対象となっているビデオ21(Video21)、ビデオ22(Video22)の取得先として、MPTの対応するアセットでMPDファイルの特定のリプレゼンテーションの情報位置が指定される例である(方法1)。
 MPDファイルには、アダプテーションセット1(AS1)と、アダプテーションセット2(AS2)の情報が含まれる。また、アダプテーションセット1(AS1)の情報には、アダプテーションセットID(ASID)と、ビデオ21(Video21)に係るリプレゼンテーション11(Rep11)と、ビデオ22(Video22)に係るリプレゼンテーション12(Rep12)の情報が含まれる。
 また、リプレゼンテーション1(Rep11)の情報には、リプレゼンテーションID(RepID=r11)と、取得先情報(seg_url=URL1)が含まれる。また、リプレゼンテーション2(Rep12)の情報には、リプレゼンテーションID(RepID=r12)と、取得先情報(seg_url=URL2)が含まれる。
 また、アダプテーションセット2(AS2)の情報には、アダプテーションセットID(ASID)と、オーディオ2(Audio2)に係るリプレゼンテーション21(Rep21)の情報が含まれる。また、リプレゼンテーション21(Rep21)の情報には、リプレゼンテーションID(RepID=r21)と、取得先情報(seg_url=URL3)が含まれる。
 MPTには、ビデオ1(Video1)に係るアセット1(Asset1)、オーディオ1(Audio1)に係るアセット2(Asset2)、ビデオ21(Video21)に係るアセット3(Asset3)、ビデオ22(Video22)に係るアセット4(Asset4)、オーディオ2(Audio2)に係るアセット5(Asset5)、ビデオ3(Video3)に係るアセット6(Asset6)、オーディオ3(Audio3)に係るアセット7(Asset7)の情報が含まれる。
 アセット1(Asset1)の情報には、アセットID(AssetID=A1)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A1)が含まれる。アセット2(Asset2)の情報には、アセットID(AssetID=A2)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A2)が含まれる。
 アセット3(Asset3)の情報には、アセットID(AssetID=A3)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)と、リプレゼンテーションID(RepID=r11)が含まれる。アセット4(Asset4)の情報には、アセットID(AssetID=A4)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)と、リプレゼンテーションID(RepID=r12)が含まれる。
 アセット5(Asset5)の情報には、アセットID(AssetID=A5)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a2)と、リプレゼンテーションID(RepID=r21)が含まれる。アセット6(Asset6)の情報には、アセットID(AssetID=A6)と、ロケーション情報(GenLoc)として、URL(URL4)が含まれる。アセット7(Asset7)の情報には、アセットID(AssetID=A7)と、ロケーション情報(GenLoc)として、URL(URL5)が含まれる。
 図23は、図21の信号構成例に対応したMPTとMPDファイルの構成例を概略的に示している。この例は、アダプティブ切り替えの対象となっているビデオ21(Video21)、ビデオ22(Video22)の取得先として、MPTの対応するアセットでMPDファイルの特定のアダプテーションセットの情報位置が指定される例である(方法2)。
 MPDファイルには、図22と同様の情報が含まれる。MPTには、ビデオ1(Video1)に係るアセット1(Asset1)、オーディオ1(Audio1)に係るアセット2(Asset2)、ビデオ22(Video21,Video22)に係るアセット3(Asset3)、オーディオ2(Audio2)に係るアセット4(Asset4)、ビデオ3(Video3)に係るアセット5(Asset5)、オーディオ3(Audio3)に係るアセット6(Asset6)の情報が含まれる。
 アセット1(Asset1)の情報には、アセットID(AssetID=A1)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A1)が含まれる。アセット2(Asset2)の情報には、アセットID(AssetID=A2)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A2)が含まれる。
 アセット3(Asset3)の情報には、アセットID(AssetID=A3)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)が含まれる。アセット4(Asset4)の情報には、アセットID(AssetID=A4)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a2)が含まれる。アセット5(Asset5)の情報には、アセットID(AssetID=A5)と、ロケーション情報(GenLoc)として、URL(URL4)が含まれる。アセット6(Asset6)の情報には、アセットID(AssetID=A6)と、ロケーション情報(GenLoc)として、URL(URL5)が含まれる。
 上述したように、コンポーネント選択情報として利用される記述子として、ビュー記述子、合成コンポーネントタイプ記述子、アセットグループ記述子、依存関係記述子、映像コンポーネント記述子、音声コンポーネント記述子、対象デバイス記述子、対象地域記述子、パレンタルレート記述子などがある。
 ビュー記述子は、映像のビューに関するメタ情報が記述される記述子である。合成コンポーネントタイプ記述子は、合成のタイプを示す情報が記述される記述子である。アセットグループ記述子は、アセットのグループの関係とグループ内での優先度を示す情報が記述される記述子である。依存関係記述子は、依存関係にあるアセットのアセットIDを提供する記述子である。
 映像コンポーネント記述子は、映像コンポーネントに関するパラメータ、説明を示す記述子である。音声コンポーネント記述子は、音声エレメンタリストリームの各パラメータを示す記述子である。対象デバイス記述子は、当該コンポーネントを再生する対象のデバイス情報が記述される記述子である。対象地域記述子は、当該コンポーネントを再生する対象の地域を示す情報が記述される記述子である。パレンタルレート記述子は、当該コンポーネントのレーティング情報が記述される記述子である。
 図24は、ビュー記述子の構造例(Syntax)を示している。このビュー記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、ビュー記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「view_tag」の8ビットフィールドは、映像内容の識別情報であるビュータグを示す。同じ映像内容だがレートが違う、コーデックが違うなどということもある。ビュータグが同じであれば、同じ映像内容であることが示される。「view_name_byte」のフィールドには、映像内容の名称であるビュー名の文字列データが配される。
 図25は、合成コンポーネントタイプ記述子の構造例(Syntax)を示している。この合成コンポーネントタイプ記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、合成コンポーネントタイプ記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。「composite_component_type」の8ビットフィールドは、合成コンポーネントタイプを示す。例えば、スケーラブル、3D、タイル、レイヤ、ミキシングなどのタイプを示す。
 図26は、アセットグループ記述子の構造例(Syntax)を示している。このアセットグループ記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、アセットグループ記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「group_identification」の8ビットフィールドは、グループIDを示す。例えば、ビデオやオーディオなどのアセットをグループ化したIDを示す。「selection_level」の8ビットフィールドは、選択レベルを示す。選択レベル値が“0”のアセットをデフォルトで選択する。デフォルトのアセットを選択てきない場合、グループ内で数字が小さいアセットから順に優先して選択していく候補であることを示す。
 図27は、依存関係記述子の構造例(Syntax)を示している。この依存関係記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、依存関係記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「num_dependencies」の8ビットフィールドは、依存アセット数を示す。この記述子が挿入されるアセットと相補的な関係にあるアセットの数を示す。このフィールド以降がforループとなっており、各相補的なアセットの情報になっている。「asset_id_scheme」の32ビットフィールドは、相補的なアセットのアセットIDの形式を示す。「asset_id_length」の8ビットフィールドは、相補的なアセットのアセットIDバイトの長さをバイト単位で示す。「asset_id_byte」のフィールドは、相補的なアセットのアセットIDを示す。
 図28は、映像コンポーネント記述子の構造例(Syntax)を示している。この映像コンポーネント記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、映像コンポーネント記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「video_resolution」の4ビットフィールドは、垂直方向の解像度を示す。例えば、“1”は「180」を示し、“2”は「240」を示し、“3”は「480」を示し、“4”は「720」を示し、“5”は「1080」を示し、“6”は「2160」を示し、“7”は「4320」を示す。「video_aspect_ratio」の4ビットフィールドは、アスペクト比を示す。例えば、“1”は「4:3」を示し、“2”は「PV(パンベクター)有りの16:9」を示し、“3”は「PV(パンベクター)無しの16:9」を示し、“4”は「16:9以上」を示す。
 「video_scan_flag」の1ビットフィールドは、スキャンフラグを示す。例えば、“0”はインターレースを示し、“1”はプログレッシブを示す。「video_frame_rate」の5ビットフィールドは、フレームレートを示す。例えば、 “4”は「25フレーム」を示し、“5”は「30/1.001フレーム」を示し、“6”は「30フレーム」を示し、“7”は「50フレーム」を示し、“8”は「60/1.001フレーム」を示し、“9”は「60フレーム」を示す。
 「component_tag」の16ビットフィールドは、コンポーネントタグを示す。コンポーネントタグは、コンポーネントストリームを識別するためのラベルである。「ISO_639_language_code」の24ビットフィールドは、言語コードを示す。「text_char」のフィールドは、コンポーネントストリームの文字記述を規定する。
 図29は、音声コンポーネント記述子の構造例(Syntax)を示している。この音声コンポーネント記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、音声コンポーネント記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「stream_content」の4ビットフィールドは、ストリームの種別を示す。「component_type」の8ビットフィールドは、音声コンポーネントの種別を規定する。「component_tag」の16ビットフィールドは、コンポーネントストリームを識別するためのラベルである。「stream_type」の8ビットフィールドは、音声ストリームの形式をISO/IEC 13818-1に規定される“stream_type”で示す。
 「simulcast_group_tag」の8ビットフィールドは、サイマルキャストグループ識別である。サイマルキャスト(同一内容を異なる符号化方式で伝送)を行っているコンポーネントに対して同じ番号を与える。サイマルキャストを行っていないコンポーネントに対いて“0xFF”を与える。「ES_multi_lingual_flag」の1ビットフィールドは、ES多言語フラグを示す。例えば、“1”はデュアルモノ(dual mono)で2言語多重されている場合を示す。「main_component_flag」の1ビットフィールドは、当該音声コンポーネントが主音声であるかを示し、主音声であるときは“1”を与える。
 「quality_indicator」の2ビットフィールドは、音質モードを示す。例えば、“1”は「モード1」を示し、“2”は「モード2」を示し、“3”は「モード3」を示す。「sampling_rate」の3ビットフィールドは、サンプリング周波数を示す。例えば、“1”は「16kHz」を示し、“2”は「22.05kHz」を示し、“3”は「24kHz」を示し、“5”は「32kHz」を示し、“6”は「44.1kHz」を示し、“7”は「48kHz」を示す。
 「ISO_639_language_code」の24ビットフィールドは、言語コードを示す。そして、「ES_multi-lingual_flag」が“1”であるとき、「ISO_639_language_code_2」の24ビットフィールドが存在し、言語コード2を示す。「text_char」のフィールドは、コンポーネントストリームの文字記述を規定する。
 図30は、対象デバイス記述子の構造例(Syntax)を示している。この対象デバイス記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、対象デバイス記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「number_of_taget_device」の8ビットフィールドは、対象デバイス数を示す。対象デバイス毎に、「target_device_type」の8ビットフィールドが存在し、対象デバイスタイプを示す。例えば、大きなスクリーンのテレビを想定したものか、もう少し小さなスクリーンのタブレットを想定したものか、さらにはもっと小さなスクリーンのスマートフォンを想定したものか、などのタイプを示す。
 図31は、対象地域記述子の構造例(Syntax)を示している。この対象地域記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、対象地域記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 「region_spec_type」の8ビットフィールドは、地域記述方式指定を示す。例えば、“1”は県域指定であることを示す。そして、「target_region_spec()」のフィールドに、指定された記述方式による地域指定子(地域指定データ)が記述される。
 図32は、パレンタルレート記述子の構造例(Syntax)を示している。このパレンタルレート記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、パレンタルレート記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
 国毎に、レーティングの指定が可能となっている。「country_code」の24ビットフィールドは、国コードを示す。「rating」の8ビットフィールドは、レーティングを示す。この「レーティング+3歳」が最小年齢を示す。
 [放送送出システムの構成]
 図33は、放送送出システム100の構成例を示している。この放送送出システム100は、時計部111と、信号送出部112と、ビデオエンコーダ113と、オーディオエンコーダ114と、キャプションエンコーダ115と、シグナリング発生部116を有している。また、この放送送出システム100は、TLVシグナリング発生部118と、N個のIPサービス・マルチプレクサ119-1~119-Nと、TLV・マルチプレクサ120と、変調/送信部121を有している。
 時計部111は、図示しないNTP(Network Time Protocol)サーバから取得された時刻情報に同期した時刻情報(NTP時刻情報)を生成し、この時刻情報を含むIPパケットをIPサービス・マルチプレクサ119-1に送る。信号送出部112は、例えば、TV局のスタジオとか、VTR等の記録再生機であり、タイムドメディアであるビデオ、オーディオ、字幕等のストリームデータ、ノンタイムドメディアであるHTML文書データ等のファイル(ファイルデータ)を各エンコーダに送出する。
 ビデオエンコーダ113は、信号送出部112から送出されるビデオ信号を符号化し、さらにパケット化して、ビデオのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。オーディオエンコーダ114は、信号送出部112から送出されるオーディオ信号を符号化し、さらにパケット化して、オーディオのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。
 キャプションエンコーダ115は、信号送出部112から送出されるキャプション信号(字幕信号)を符号化し、さらにパケット化して、キャプションのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。
 シグナリング発生部116は、シグナリングメッセージを発生し、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。この際、シグナリング発生部116は、少なくとも、MPテーブル(MPT)を含むPAメッセージと、MPDファイルを含むMPIメッセージを発生する。
 IPサービス・マルチプレクサ119-1は、各エンコーダ等から送られてくるIPパケットの時分割多重化を行う。この際、IPサービス・マルチプレクサ119-1は、各IPパケットにTLVヘッダを付加して、TLVパケットとする。
 IPサービス・マルチプレクサ119-1は、一つのトランスポンダの中にいれる一つのチャネル部分を構成する。IPサービス・マルチプレクサ119-2~119-Nは、IPサービス・マルチプレクサ119-1と同様の機能を持ち、その1つのトランスポンダの中にいれる他のチャネル部分を構成する。
 TLVシグナリング発生部118は、シグナリング(Signaling)情報を発生し、このシグナリング(Signaling)情報をペイロード部に配置するTLVパケットを生成する。TLV・マルチプレクサ120は、IPサービス・マルチプレクサ119-1~119-NおよびTLVシグナリング発生部118で生成されるTLVパケットを多重化して、放送ストリームを生成する。変調/送信部121は、TLV・マルチプレクサ120で生成される放送ストリームに対して、RF変調処理を行って、RF伝送路に送出する。
 図33に示す放送送出システム110の動作を簡単に説明する。時計部111では、NTPサーバから取得された時刻情報に同期した時刻情報が生成され、この時刻情報を含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。
 信号送出部112から送出されるビデオ信号は、ビデオエンコーダ113に供給される。このビデオエンコーダ113では、ビデオ信号が符号化され、さらにパケット化されて、ビデオのMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。また、信号送出部112から送出されるオーディオ信号に対しても同様の処理が行われる。そして、オーディオエンコーダ114で生成されるオーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られる。
 また、信号送出部112から送出されるオーディオ信号、キャプション信号に対しても同様の処理が行われる。そして、オーディオエンコーダ114で生成されるオーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られ、キャプションエンコーダ115で生成されるキャプションのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られる。
 また、シグナリング発生部116では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。この際、シグナリング発生部116では、少なくとも、MPテーブル(MPT)を含むPAメッセージと、MPDファイルを含むMPIメッセージが発生される。
 IPサービス・マルチプレクサ119-1では、各エンコーダおよびシグナリング発生部116から送られてくるIPパケットの時分割多重化が行われる。この際、各IPパケットにTLVヘッダが付加されて、TLVパケットとされる。このIPサービス・マルチプレクサ119-1では、一つのトランスポンダの中にいれる1つのチャネル部分の処理が行われ、IPサービス・マルチプレクサ119-2~119-Nでは、その一つのトランスポンダの中にいれる他のチャネル部分の処理が同様に行われる。
 IPサービス・マルチプレクサ119-1~119-Nで得られるTLVパケットは、TLV・マルチプレクサ120に送られる。このTLV・マルチプレクサ120には、さらに、TLVシグナリング発生部118から、シグナリング(Signaling)情報をペイロード部に配置するTLVパケットも送られる。
 TLV・マルチプレクサ120では、IPサービス・マルチプレクサ119-1~119-NおよびTLVシグナリング発生部118で生成されるTLVパケットが多重化されて、放送ストリームが生成される。この放送ストリームは、変調/送信部121に送られる。変調/送信部121では、この放送ストリームに対してRF変調処理を行われ、そのRF変調信号がRF伝送路に送出される。
 [受信端末の構成]
 図34は、受信端末200の構成例を示している。この受信端末200は、CPU201と、チューナ/復調部202と、ネットワークインタフェース部203と、デマルチプレクサ204と、システムクロック生成部205を有している。また、この受信端末200は、ビデオデコーダ206と、オーディオデコーダ207と、キャプションデコーダ208と、合成部210を有している。
 CPU201は、制御部を構成し、受信端末200の各部の動作を制御する。チューナ/復調部202は、RF変調信号を受信し、復調処理を行って、放送ストリームを得る。ネットワークインタフェース部203は、配信サーバ300やDASHセグメントサーバ400から通信ネットワーク500を介して配信されるサービスの伝送ストリームを受信する。
 デマルチプレクサ204は、チューナ/復調部202で得られる放送ストリームおよびネットワークインタフェース部203で得られる伝送ストリームに対して、デマルチプレクス処理およびデパケット化処理を行って、NTP時刻情報、シグナリング情報、ビデオ、オーディオの符号化信号を出力する。
 システムクロック生成部205は、デマルチプレクサ204で得られるNTP時刻情報に基づき、この時刻情報に同期したシステムクロックSTCを発生する。ビデオデコーダ206は、デマルチプレクサ204で得られる符号化ビデオ信号の復号化を行ってベースバンドのビデオ信号を得る。
 オーディオデコーダ207は、デマルチプレクサ204で得られる符号化オーディオ信号の復号化を行ってベースバンドのオーディオ信号を得る。さらに、キャプションデコーダ208は、デマルチプレクサ204で得られる符号化キャプション信号の復号化を行って、キャプション(字幕)の表示信号を得る。
 CPU201は、各デコーダにおけるデコードタイミングをPTS(提示時刻情報)に基づいて制御し、ビデオ、オーディオの提示タイミングを調整する。合成部210は、ビデオデコーダ206で得られるベースバンドのビデオ信号に、キャプションの表示信号を合成し、映像表示用のビデオ信号を得る。なお、オーディオデコーダ207で得られるベースバンドのオーディオ信号は、音声出力用のオーディオ信号となる。
 図34に示す受信端末200の動作を簡単に説明する。チューナ/復調部202では、RF伝送路を通じて送られてくるRF変調信号が受信され、復調処理が行われて、放送ストリームが得られる。この放送ストリームは、デマルチプレクサ204に送られる。また、ネットワークインタフェース部203では、配信サーバ300やDASHセグメントサーバ400から通信ネットワーク300を介して配信されるサービスの伝送ストリームが受信され、デマルチプレクサ204に送られる。
 デマルチプレクサ204では、チューナ/復調部202からの放送ストリームやネットワークインタフェース部203からの伝送ストリームに対して、デマルチプレクス処理およびデパケット化処理が行われ、NTP時刻情報、シグナリング情報、ビデオ、オーディオの符号化信号などが抽出される。
 デマルチプレクサ204で抽出される各種のシグナリング情報はCPUバス211を介してCPU201に送られる。このシグナリング情報には、TLV-SI、MMT-SIが含まれる。上述したように、TLV-SIはTLVの伝送パケットの上に載る伝送制御信号(TLV-NIT/AMT)であり、MMT-SIはMMTパケットのペイロード部に含まれるシグナリング情報としてのシグナリングメッセージである(図2参照)。CPU201は、このシグナリング情報に基づいて、受信端末200の各部の動作を制御する。
 デマルチプレクサ204で抽出されるNTP時刻情報は、システムクロック生成部205に送られる。このシステムクロック生成部205では、このNTP時刻情報に基づき、この時刻情報に同期したシステムクロックSTCが生成される。このシステムクロックSTCは、ビデオデコーダ206、オーディオデコーダ207、キャプションデコーダ208に供給される。
 デマルチプレクサ204で抽出される符号化ビデオ信号はビデオデコーダ206に送られて復号化され、ベースバンドのビデオ信号が得られる。また、デマルチプレクサ204で抽出される符号化キャプション信号はキャプションデコーダ208に送られて復号化され、キャプションの表示信号が得られる。
 ビデオデコーダ206で得られるビデオ信号は合成部210に供給される。また、キャプションデコーダ208で得られるキャプションの表示信号は合成部210に供給される。合成部210では、これらの信号が合成され、映像表示用のビデオ信号が得られる。また、デマルチプレクサ203で抽出される符号化オーディオ信号はオーディオデコーダ207に送られて復号化され、音声出力用のベースバンドのオーディオ信号が得られる。
 受信端末200は、MPTのコンポーネント選択情報(各アセットの情報)に基づいて、放送・通信のハイブリッド伝送による受信信号から、提示すべきビデオ、オーディオなどの伝送メディア(コンポーネント)を選択的に取得し、画像、音声などを提示する。
 受信端末200におけるコンポーネント選択・取得プロセスの概要を説明する。受信端末200(CPU201)は、MPTの各アセット(コンポーネント)の情報を解析する。受信端末200は、セレクティブレイヤのコンポーネント選択において、必要に応じてユーザ選択のGUIを表示して、ユーザに選択させる。
 図35(a)は、コンポーネント選択GUIの一例を示している。このGUIは、ユーザに、ビュー(View)選択、言語(language)選択をさせるためのものである。図35(b)に示すように、GUI上のビューボタン401を操作すると、ビュー選択のためのドロップダウンメニューが表示され、ユーザは、「全ビュー表示」、「メイン」、「サブ1」、「サブ2」のいずれかを選択することが可能となる。
 図35(c)に示すように、GUI上の言語ボタン402を操作すると、言語選択のためのドロップダウンメニューが表示され、ユーザは、「日本語」、「英語」、「中国語」、「韓国語」のいずれかを選択することが可能となる。
 さらに、受信端末200は、セレクティブレイヤのコンポーネント選択において、能力や設定に従って自動的に一つまたは複数のコンポーネントを選択する。なお、選局時、電源オン時は、受信端末200は、デフォルトのコンポーネントを自動的に選択する。
 受信端末200は、セレクティブレイヤで選択されるコンポーネント内にアダプティブレイヤの複数のコンポーネントが存在する場合、コンポーネント選択情報に基づき、合成、適応切り替えの対象となるコンポーネントを割り出す。そして、受信端末200は、MPTのアセット記述の「General location Info()」のフィールドにより、指定された取得先(放送・通信のMMTパケット、通信ネットワーク上のファイル)を認識し、信号データを取得し、再生する。
 上述は映像について説明したが、音声、字幕などについても同様のプロセスを実行する。
 受信端末200におけるコンポーネント選択・取得プロセスのユースケースを説明する。このユースケースは、図36に示すように、マルチビューの例である。このマルチビューの例は、1つの番組が、メインビュー(Main View)/サブビュー1(Sub View1)/サブビュー2(Sub View2)の3つの“映像+音声”から構成されている。
 メインビュー映像は、デフォルトで選局時に表示する映像であり、3840*2160の解像度(4K)か1920*1080の解像度(2K)の映像を受信端末の能力によって自動で選択する想定である。4Kの場合には、2K映像信号(base)と差分信号(extended)を合成するスケーラブル符号化が行われている。2K映像信号(base)は放送で伝送され、差分信号(extended)はネット配信される。
 メイン映像に付随する音声は、22.2chかステレオを受信端末の能力と接続環境により自動で選択する想定である。22.2chの場合にはステレオ信号(base)と差分信号(extended)を合成するスケーラブル符号化が行われている。ステレオ信号は、放送(base)で伝送され、差分信号(extended)はネット配信される。
 サブビュー1は、映像信号も音声信号もそれぞれ1系統でネット配信される。このサブビュー1において、映像信号は2K映像信号であり、音声信号はステレオ信号である。サブビュー2は、映像信号に関してはいくつかのレート・解像度の信号を適応的に切り替えるネット配信であり、音声信号は1系統のネット配信である。このサブビュー2において、映像信号は2K映像信号であり、音声信号はステレオ信号である。
 図37は、図36のマルチビューの例に対応したコンポーネントレイヤモデルを示している。コンポーネントカテゴリとしては、映像(Video)と音声(Audio)がある。映像のセレクティブレイヤでは、メインビューとして4K映像信号または2K映像信号の選択が可能であることが示され、さらに、サブ1ビュー、サブビュー2の選択が可能であることが示されている。
 また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(4K映像信号)が、スケーラブル符号化されたものであり、放送伝送されるベース信号(2K映像信号)と、通信伝送されるエクステンド信号(差分信号)との合成信号であることが示されている。
 また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(2K映像信号)が、放送伝送されるベース信号(2K映像信号)であることが示されている。また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー1が、通信伝送される映像信号であることが示されている。また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー2が、通信伝送される複数の映像信号が適応的に切り替えられて得られる映像信号であることが示されている。
 また、音声のセレクティブレイヤでは、メインビューとして22.2ch信号またはステレオ信号の選択が可能であることが示され、さらに、サブ1ビュー、サブビュー2の選択が可能であることが示されている。
 また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(22.2ch信号)が、スケーラブル符号化されたものであり、放送伝送されるステレオ信号と、通信伝送される差分信号との合成信号であることが示されている。
 また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(ステレオ信号)が、放送伝送されるステレオ信号であることが示されている。また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー1、サブビュー2が、それぞれ、通信伝送されるステレオ信号であることが示されている。
 また、映像、音声のセレクティブレイヤでは、各ビューがアセットグループで組み合わせられており、カテゴリ横断で選択すべきことが示されている。すなわち、映像のメインビュー、サブビュー1、サブビュー2の選択に伴って、音声のメインビュー、サブビュー1、サブビュー2も選択すべきことが示されている。
 図38は、図36のマルチビューの例に対応したMPTとMPDファイルの記載例を概略的に示している。MPDファイルには、ピリオドID「period_id」が“pd1”で示されるピリオドの情報に、アダプテーションセットID「As_id」が“as1”で示される第1のアダプテーションセットの情報と、アダプテーションセットID「As_id」が“as2”で示される第2のアダプテーションセットの情報が存在する。
 第1のアダプテーションセットは、いくつかのレート・解像度の信号が適応的に切り替えられるネット配信のサブビュー3の映像信号に対応する。この第1のアダプテーションセットの情報には、各レート・解像度の信号に対応する複数(N個)のリプレゼンテーションの情報が存在する。第2のアダプテーションセットは、ネット配信のサブビュー3の音声信号に対応する。この第2のアダプテーションセットの情報には、その音声信号に対応する1つのリプレゼンテーションの情報が存在する。
 MPTには、ビデオ、オーディオの2つのコンポーネントカテゴリの選択情報が含まれている。ビデオに関して、ビデオ11(Video11)、ビデオ12(Video12)、ビデオ2(Video2)、ビデオ3(Video3)の各アセット(コンポーネント)の情報が存在している。各アセットの情報には、コンポーネント選択情報として、記述子を含む種々の情報が存在する。
 ビデオ11(Video11)のアセットは、放送で伝送されメインビューの2K映像信号(base)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“0”とされ、ロケーション情報「GenLoc」として、パケット識別子「pid」が挿入されている。また、このアセットの情報として、ビュー記述子「View_desc」、合成コンポーネントタイプ記述子「Compsite_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
 ビデオ12(Video12)のアセットは、ネット配信されるメインビューの差分信号(extended)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“1”とされ、ロケーション情報「GenLoc」として、IPアドレス「IPadd」と、ポート番号「pn」と、パケット識別子「pid」が挿入されている。このアセットは、マルチキャスト配信される。また、このアセットの情報として、依存関係記述子「Dependency_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
 ビデオ2(Video2)のアセットは、ネット配信されるサブビュー1の2K映像信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“5”とされ、ロケーション情報「GenLoc」として、URL「url」が挿入されている。このアセットは、MPU/HTTP配信される。また、このアセットの情報として、ビュー記述子「View_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
 ビデオ3(Video3)のアセットは、ネット配信されるいくつかのレート・解像度の信号が適応的に切り替えられるサブビュー2の2K映像信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“D”とされ、ロケーション情報「GenLoc」として、MPDファイルの特定のアダプテーションセットの情報位置が、ピリオドID「pid」とアダプテーションセットID「asid」で指定される。
 ここでは、ピリオドID「pid」は“pd1”とされ、アダプテーションセットID「asid」は“as1”とされ、いくつかのレート・解像度の信号が適応的に切り替えられるネット配信のサブビュー3の映像信号に対応したアダプテーションセットの情報位置が指定される。これにより、サブビュー3の映像信号のアダプティブな切り替えは、MPDファイルに基づいて行われることとなる。また、このアセットの情報として、ビュー記述子「View_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
 また、オーディオに関して、オーディオ11(Audio11)、オーディオ12(Audio12)、オーディオ2(Audio2)、オーディオ3(Audio3)の各アセット(コンポーネント)の情報が存在している。各アセットの情報には、コンポーネント選択情報として、記述子を含む種々の情報が存在する。
 オーディオ11(Audio11)のアセットは、放送で伝送されメインビューのステレオ信号(base)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“0”とされ、ロケーション情報「GenLoc」として、パケット識別子「pid」が挿入されている。また、このアセットの情報として、合成コンポーネントタイプ記述子「Compsite_desc」、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
 オーディオ12(Audio12)のアセットは、ネット配信されるメインビューの差分信号(extended)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“1”とされ、ロケーション情報「GenLoc」として、IPアドレス「IPadd」と、ポート番号「pn」と、パケット識別子「pid」が挿入されている。このアセットは、マルチキャスト配信される。また、このアセットの情報として、依存関係記述子「Dependency_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
 オーディオ2(Audio2)のアセットは、ネット配信されるサブビュー1のステレオ信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“5”とされ、ロケーション情報「GenLoc」として、URL「url」が挿入されている。このアセットは、MPU/HTTP配信される。また、このアセットの情報として、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
 オーディオ3(Audio3)のアセットは、サブビュー2のステレオ信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“D”とされ、ロケーション情報「GenLoc」として、MPDファイルの特定のアダプテーションセットの情報位置が、ピリオドID「pid」とアダプテーションセットID「asid」で指定される。
 ここでは、ピリオドID「pid」は“pd1”とされ、アダプテーションセットID「asid」は“as2”とされ、サブビュー2の音声信号に対応したアダプテーションセットの情報位置が指定される。また、このアセットの情報として、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
 上述のMPTとMPDファイルの記載例に基づくコンポーネントの選択、再生は、例えば、以下のように行われる。最初に、ビューの選択が行われる。この選択は、ビデオ11、ビデオ2、ビデオ3の各アセットの情報に挿入されているビュー記述子「View_desc」に基づいて行われる。例えば、デフォルトでメインビューが選択され、ビデオ11が選ばれたとする。そのときに、ビデオ11のアセット情報には、合成コンポーネントタイプ記述子「Compsite_desc」があるので、何かと組み合わせて合成されるものであることがわかる。
 また、ビデオ12のアセット情報には、依存関係記述子「Dependency_desc」が存在する。この記述子により、ビデオ12は、単独では機能せず、他のアセット、つまりビデオ11に依存して使用されるものであることがわかる。これにより、合成コンポーネントタイプ記述子「Compsite_desc」と依存関係記述子「Dependency_desc」の組み合わせで、ビデオ11とビデオ12はスケーラブルビデオの関係にあることがわかる。
 さらに、ビデオ11、ビデオ12のアセット情報には、映像コンポーネント記述子「V_comp_desc」が存在し、例えば、ビデオ11に関しては“2K”、ビデオ12に関しては“4K”との解像度記述がなされている。受信端末200が4K対応であればビデオ11およびビデオ12の双方が選択合成され、4Kでの映像再生が行われる。一方、受信端末200が2K対応であればビデオ11のみが選択され、2Kでの映像再生が行われる。
 また、ビデオ11のアセット情報には、アセットグループ記述子「Asset_Gp_desc」が存在する。この記述子により、ビデオ11とオーディオ11が組み合わされていることがわかる。ビデオ11が選ばれることで、オーディオ11も選ばれる。このオーディオ11が選ばれることで、オーディオ11のアセット情報に存在する合成コンポーネントタイプ記述子「Compsite_desc」と、オーディオ12のアセット情報に存在する依存関係記述子「Dependency_desc」の組み合わせで、オーディオ11とオーディ12はスケーラブルオーディオの関係にあることがわかる。
 さらに、オーディオ11、オーディオ12のアセット情報には、音声コンポーネント記述子「A_comp_desc」が存在し、例えば、オーディオ11に関しては“ステレオ”、オーディオ12に関しては“22.2チャネル”とのモード記述がなされている。受信端末200が22.2チャネル対応であればオーディオ11およびオーディオ12の双方が選択合成され、22.2チャネルでの音声再生が行われる。一方、受信端末200がステレオ対応であればオーディオ11のみが選択され、ステレオでの音声再生が行われる。
 次に、ビュー選択で、サブビュー2が選択され、ビデオ3が選ばれたとする。このビデオ3のアセット情報では、ロケーション情報として、アダプテーションセットID「asid」が“as1”であるMPDファイルのアダプテーションセットの情報位置が指定されている。この場合、DASHセグメントサーバ400から映像信号の取得が行われるが、MPDファイルに基づいて映像信号のアダプティブな切り替えが時々刻々に行われ、2Kでの映像再生が行われる。
 また、ビデオ3のアセット情報には、アセットグループ記述子「Asset_Gp_desc」が存在する。この記述子により、ビデオ3とオーディオ3が組み合わされていることがわかる。ビデオ3が選ばれることで、オーディオ3も選ばれる。このオーディオ3のアセット情報では、ロケーション情報として、アダプテーションセットID「asid」が“as2”であるMPDファイルのアダプテーションセットの情報位置が指定されている。この場合、MPDファイルに基づいて、DASHセグメントサーバ400から音声信号が取得され、ステレオでの音声再生が行われる。
 次に、受信端末200のビュー表示変更の一例について説明する。図39(a)は、選局操作により番組再生が開始されたときの状態を示している。この状態では、デフォルトのメインビューが表示されると共に、マルチビュー対応番組なので、ユーザ選択のためのGUI表示も現れる。
 図39(b)は、ユーザが「マルチビュー」の表示を選択したときの状態を示している。この状態では、メインビュー、サブビュー1、サブビュー2のマルチビュー表示となる。図39(c)は、ユーザが「サブビュー1」の表示を選択したときの状態を示している。この状態では、サブビュー1の映像の全画面表示となる。
 上述したように、図1に示す放送・通信ハイブリッドシステム10においては、MPテーブル(MPT)に、3レイヤのコンポーネント選択情報が挿入されている。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、MPDファイルの特定のアダプテーションセットあるいはリプレゼンテーションの情報位置を指定するものとされる。そのため、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
 <2.変形例>
 なお、上述実施の形態においては、受信端末200がMPDファイルを放送から取得し得る例を示した。しかし、本技術は、これに限定されるものではなく、受信端末200は、MPDファイルを他の方法で取得してもよい。例えば、放送送出システム100に関連したネットワークサーバから通信により取得することも考えられる。
 また、本技術は、以下のような構成を取ることもできる。
 (1)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
 上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
 上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
 送信装置。
 (2)上記伝送パケットは、MMTパケットであり、
 上記コンポーネント選択情報は、MPTに含まれている
 前記(1)に記載の送信装置。
 (3)上記アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、
 上記メタファイルは、MPDファイルであり、
 上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる
 前記(2)に記載の送信装置。
 (4)上記所定の伝送路は、放送伝送路である
 前記(1)から(3)のいずれかに記載の送信装置。
 (5)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
 送信部により、上記伝送ストリームを所定の伝送路を通じて送信する送信ステップと、
 上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入ステップを有し、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
 送信方法。
 (6)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
 上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
 上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
 受信装置。
 (7)上記メタファイルを取得するメタファイル取得部をさらに備える
 前記(6)に記載の受信装置。
 (8)上記コンポーネント選択部は、
 上記コンポーネント選択情報に上記ユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する
 前記(6)または(7)に記載の受信装置。
 (9)上記伝送パケットは、MMTパケットであり、
 上記各コンポーネントの選択情報は、MPTに含まれている
 前記(6)から(7)のいずれかに記載の受信装置。
 (10)上記アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、
 上記メタファイルは、MPDファイルであり、
 上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている
 前記(9)に記載の受信装置。
 (11)上記所定の伝送路は、放送伝送路である
 前記(6)から(10)のいずれかに記載の受信装置。
 (12)受信部により、所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信ステップを有し、
 上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
 上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
 上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
 上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
 上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択ステップをさらに有する
 受信方法。
 10・・・放送・通信ハイブリッドシステム
 100・・・放送送出システム
 111・・・時計部
 112・・・信号送出部
 113・・・ビデオエンコーダ
 114・・・オーディオエンコーダ
 115・・・キャプションエンコーダ
 116・・・シグナリング発生部
 118・・・TLVシグナリング発生部
 119-1~119-N・・・IPサービス・マルチプレクサ
 120・・・TLV・マルチプレクサ
 121・・・変調/送信部
 120・・・配信サーバ
 200・・・受信端末
 201・・・CPU
 202・・・チューナ/復調部
 202・・・デマルチプレクサ
 203・・・ネットワークインタフェース部
 204・・・デマルチプレクサ
 205・・・システムクロック生成部
 206・・・ビデオデコーダ
 207・・・オーディオデコーダ
 208・・・キャプションデコーダ
 210・・・合成部
 211・・・CPUバス
 300・・・配信サーバ
 400・・・DASHセグメントサーバ
 500・・・通信ネットワーク

Claims (12)

  1.  所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
     上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
     上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
     上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
     上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
     上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
     送信装置。
  2.  上記伝送パケットは、MMTパケットであり、
     上記コンポーネント選択情報は、MPTに含まれている
     請求項1に記載の送信装置。
  3.  上記アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、
     上記メタファイルは、MPDファイルであり、
     上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる
     請求項2に記載の送信装置。
  4.  上記所定の伝送路は、放送伝送路である
     請求項1に記載の送信装置。
  5.  所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
     送信部により、上記伝送ストリームを所定の伝送路を通じて送信する送信ステップと、
     上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入ステップを有し、
     上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
     上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
     上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
     送信方法。
  6.  所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
     上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
     上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
     上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
     上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
     上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
     受信装置。
  7.  上記メタファイルを取得するメタファイル取得部をさらに備える
     請求項6に記載の受信装置。
  8.  上記コンポーネント選択部は、
     上記コンポーネント選択情報に上記ユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する
     請求項6に記載の受信装置。
  9.  上記伝送パケットは、MMTパケットであり、
     上記各コンポーネントの選択情報は、MPTに含まれている
     請求項6に記載の受信装置。
  10.  上記アダプティブストリーミングのためのデータストリームは、MPEG-DASHベースのデータストリームであり、
     上記メタファイルは、MPDファイルであり、
     上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている
     請求項9に記載の受信装置。
  11.  上記所定の伝送路は、放送伝送路である
     請求項6に記載の受信装置。
  12.  受信部により、所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信ステップを有し、
     上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
     上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
     上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
     上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
     上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択ステップをさらに有する
     受信方法。
PCT/JP2015/081523 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法 WO2016084591A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020177012541A KR102390622B1 (ko) 2014-11-26 2015-11-09 송신 장치, 송신 방법, 수신 장치 및 수신 방법
BR112017010575A BR112017010575A2 (pt) 2014-11-26 2015-11-09 dispositivos e métodos de transmissão e de recepção.
JP2016561482A JP6743704B2 (ja) 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法
MX2017006579A MX2017006579A (es) 2014-11-26 2015-11-09 Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
US15/527,404 US10869099B2 (en) 2014-11-26 2015-11-09 Transmission device, transmission method, reception device, and reception method
EP15862320.7A EP3226566B1 (en) 2014-11-26 2015-11-09 Transmission device, transmission method, reception device, and reception method
CA2967245A CA2967245C (en) 2014-11-26 2015-11-09 Transmission device, transmission method, reception device, and reception method
US17/093,248 US11678022B2 (en) 2014-11-26 2020-11-09 Transmission device, transmission method, reception device, and reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-239386 2014-11-26
JP2014239386 2014-11-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/527,404 A-371-Of-International US10869099B2 (en) 2014-11-26 2015-11-09 Transmission device, transmission method, reception device, and reception method
US17/093,248 Continuation US11678022B2 (en) 2014-11-26 2020-11-09 Transmission device, transmission method, reception device, and reception method

Publications (1)

Publication Number Publication Date
WO2016084591A1 true WO2016084591A1 (ja) 2016-06-02

Family

ID=56074161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081523 WO2016084591A1 (ja) 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (2) US10869099B2 (ja)
EP (1) EP3226566B1 (ja)
JP (1) JP6743704B2 (ja)
KR (1) KR102390622B1 (ja)
BR (1) BR112017010575A2 (ja)
CA (1) CA2967245C (ja)
MX (1) MX2017006579A (ja)
WO (1) WO2016084591A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016294A1 (ja) * 2016-07-20 2018-01-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2018235685A1 (ja) * 2017-06-21 2018-12-27 マクセル株式会社 受信装置
JP2019134292A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134290A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134297A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134291A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134295A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134293A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134296A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134294A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
CN110612677A (zh) * 2017-05-17 2019-12-24 索尼公司 接收设备、接收方法、发送设备以及发送方法
US11622153B2 (en) 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259750B (zh) * 2015-08-06 2023-02-03 麦克赛尔株式会社 影像显示装置
US11368730B2 (en) * 2019-08-27 2022-06-21 Electronics And Telecommunications Research Institute Apparatus and method for transmitting broadcast content based on ATSC 3.0, and apparatus and method for receiving broadcast content based ATSC 3.0
US12003825B1 (en) * 2022-09-21 2024-06-04 Amazon Technologies, Inc. Enhanced control of video subtitles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011151960A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
WO2012157756A1 (ja) * 2011-05-19 2012-11-22 日本放送協会 受信機
WO2013043000A1 (en) * 2011-09-22 2013-03-28 Samsung Electronics Co., Ltd. Apparatus and method of playing broadcast content in broadcasting system
JP2013538508A (ja) * 2010-08-10 2013-10-10 クゥアルコム・インコーポレイテッド コード化ビデオデータのネットワークストリーミングのためのマニフェストファイル更新

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322613A (ja) * 1997-05-16 1998-12-04 Hitachi Ltd 情報受信再生装置および記録媒体
GB0015661D0 (en) * 2000-06-28 2000-08-16 Pace Micro Tech Plc Broadcast data receiver with dual tuning capability
BRPI0917635B1 (pt) * 2008-08-20 2021-06-29 Contentarmor Método para selecionar alterações para a formação de marcas dágua em um vídeo compactado
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
EP3764687B1 (en) * 2011-10-21 2021-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Resource management concept
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
WO2013077697A1 (ko) 2011-11-25 2013-05-30 (주)휴맥스 Mmt 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
JP5778591B2 (ja) 2012-01-24 2015-09-16 日本放送協会 送信装置、送信方法、受信装置及び受信方法
JP5938930B2 (ja) 2012-02-10 2016-06-22 ブラザー工業株式会社 印刷制御装置および印刷制御プログラム
KR20130119885A (ko) * 2012-04-24 2013-11-01 한국전자통신연구원 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
BR112014004057A2 (pt) * 2012-07-02 2017-03-07 Sony Corp dispositivo e método de transmissão, e, aparelho de rede
KR101995314B1 (ko) * 2013-04-22 2019-07-02 삼성전자주식회사 Dvb 지상파 방송 시스템에서 mpeg mmt를 위한 시그널링 정보를 송수신하는 장치 및 방법
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
WO2016006659A1 (ja) 2014-07-10 2016-01-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011151960A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
JP2013538508A (ja) * 2010-08-10 2013-10-10 クゥアルコム・インコーポレイテッド コード化ビデオデータのネットワークストリーミングのためのマニフェストファイル更新
WO2012157756A1 (ja) * 2011-05-19 2012-11-22 日本放送協会 受信機
WO2013043000A1 (en) * 2011-09-22 2013-03-28 Samsung Electronics Co., Ltd. Apparatus and method of playing broadcast content in broadcasting system

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478412A (zh) * 2016-07-20 2019-03-15 索尼公司 信息处理设备、信息处理方法和程序
JPWO2018016294A1 (ja) * 2016-07-20 2019-05-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2018016294A1 (ja) * 2016-07-20 2018-01-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11395018B2 (en) 2016-07-20 2022-07-19 Sony Corporation Information processing apparatus, information processing method, and program
JP7031589B2 (ja) 2016-07-20 2022-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN109478412B (zh) * 2016-07-20 2021-07-16 索尼公司 信息处理设备、信息处理方法和程序
CN110612677A (zh) * 2017-05-17 2019-12-24 索尼公司 接收设备、接收方法、发送设备以及发送方法
WO2018235685A1 (ja) * 2017-06-21 2018-12-27 マクセル株式会社 受信装置
US11895365B2 (en) 2017-10-04 2024-02-06 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
US11622153B2 (en) 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
JP2019134292A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134294A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134296A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134293A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134295A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134291A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134297A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134290A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機

Also Published As

Publication number Publication date
EP3226566A1 (en) 2017-10-04
CA2967245A1 (en) 2016-06-02
US20170325000A1 (en) 2017-11-09
EP3226566B1 (en) 2022-03-30
EP3226566A4 (en) 2018-06-27
CA2967245C (en) 2022-08-30
JPWO2016084591A1 (ja) 2017-09-07
KR20170087868A (ko) 2017-07-31
MX2017006579A (es) 2017-09-01
US20210058680A1 (en) 2021-02-25
BR112017010575A2 (pt) 2018-02-14
KR102390622B1 (ko) 2022-04-26
US10869099B2 (en) 2020-12-15
US11678022B2 (en) 2023-06-13
JP6743704B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6743704B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10009660B2 (en) Media content transceiving method and transceiving apparatus using same
US9699522B2 (en) Method for transceiving media files and device for transmitting/receiving using same
KR101613941B1 (ko) 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치
JP6329964B2 (ja) 送信装置、送信方法、受信装置、及び、受信方法
US20130271568A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
US20120269207A1 (en) Receiver for receiving and displaying a plurality of streams through separate routes, method for processing the plurality of streams and transmitting method thereof
JP2021040337A (ja) 送信装置および送信方法
WO2015146647A1 (ja) 送信装置、送信方法、受信装置、受信方法、及び、プログラム
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15862320

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016561482

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20177012541

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2967245

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15527404

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015862320

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/006579

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017010575

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112017010575

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20170519