WO2018066385A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018066385A1
WO2018066385A1 PCT/JP2017/034241 JP2017034241W WO2018066385A1 WO 2018066385 A1 WO2018066385 A1 WO 2018066385A1 JP 2017034241 W JP2017034241 W JP 2017034241W WO 2018066385 A1 WO2018066385 A1 WO 2018066385A1
Authority
WO
WIPO (PCT)
Prior art keywords
counter value
time
format
mmt
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/034241
Other languages
English (en)
French (fr)
Inventor
道人 石井
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Priority to JP2018543841A priority Critical patent/JP7034926B2/ja
Publication of WO2018066385A1 publication Critical patent/WO2018066385A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program, and in particular, an information processing apparatus and information that can convert a content format from a first format having a different time axis to a second format.
  • the present invention relates to a processing method and a program.
  • MMT MPEG Media Transport
  • MMT enables transmission of content using not only a broadcast wave transmission path but also a communication transmission path such as the Internet.
  • the present technology has been made in view of such a situation, and makes it possible to convert a content format from a first format having a different time axis to a second format.
  • An information processing apparatus includes a reception unit that receives first multiplexed data obtained by multiplexing data including a video stream and an audio stream in a first format; and a time for the first multiplexed data.
  • a conversion unit for converting a first counter value of the number of bits specified by the first format, which is included as information, into a second counter value of the number of bits specified by the second format, and the video stream are configured Video data and audio data constituting the audio stream are stored in the second format packet, respectively, and the second multiplexed data in the second format includes the second counter value as time information.
  • a multiplexing unit to be generated.
  • the first format may be MMT, and the second format may be MPEG-2 TS.
  • the first counter value representing the reference time is represented by 32 + n bits, wherein the time in units of seconds of 1 second or more is represented by 32 bits, and the accuracy of 1 second or less is 2 n Hz (n is an integer of 24 or more). It can be a counter value.
  • the second counter value representing the reference time is a 42-bit value representing a time of 1 second or more in 33 bits with an accuracy of 90 kHz, and a time of 1 second or less in 9 bits with an accuracy of 27 MHz. It can be a counter value.
  • the multiplexing unit adds a TS packet including PCR as the second counter value indicating a reference time to the TS packet storing the video data and the TS packet storing the audio data, Second multiplexed data can be generated.
  • the first counter value representing the presentation time and the first counter value representing the decoding time are expressed in 32 bits as time in seconds of 1 second or more, and 32 + n bits where the accuracy of 1 second or less is 2 n Hz Counter value. Further, the second counter value representing the presentation time and the second counter value representing the decoding time can be set to a counter value represented by 33 bits with an accuracy of 90 kHz.
  • the multiplexing unit indicates the PTS as the second counter value indicating the presentation time and the decoding time in the TS packet storing the video data and the PES packet that is the source of the TS packet storing the audio data.
  • a DTS as the second counter value can be added.
  • the multiplexing unit can generate a PES packet including the video data and the audio data belonging to the same MPU based on the MPU sequence number.
  • a recording control unit for recording TS as the second multiplexed data on a recording medium can be further provided.
  • the recording medium can be a Blu-ray (registered trademark) Disc.
  • first multiplexed data obtained by multiplexing data including a video stream and an audio stream in a first format is received, and is included as time information in the first multiplexed data
  • the first counter value having the number of bits defined by the first format is converted into the second counter value having the number of bits defined by the second format.
  • the video data constituting the video stream and the audio data constituting the audio stream are each stored in the packet of the second format, and include the second counter value as time information. Second multiplexed data is generated.
  • the content format can be converted from the first format having a different time axis to the second format.
  • MMTP_payload It is a figure which shows the structure of MMTP_payload (). It is a figure which shows the structure of MMT-SI. It is a figure which shows the message type and function of MMT-SI. It is a figure which shows the structure of PA message. It is a figure which shows the meaning of the value of message_id. It is a figure which shows the structure of MPT. It is a figure which shows the structure of a MPU time stamp descriptor. It is a figure which shows the structure of a MPU expansion time stamp descriptor. It is a figure which shows the calculation method of PTS and DTS in MMT. It is a figure which shows the structure of TS packet. It is a figure which shows the structure of an adaptation field.
  • FIG. 1 is a diagram illustrating an example of format conversion performed by an information processing apparatus according to an embodiment of the present technology.
  • the information processing apparatus 1 is an apparatus such as a recording device, a television receiver, a personal computer, or a set top box incorporating a recording medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the information processing apparatus 1 receives content such as a television program including video and audio broadcast (distributed) via a broadcast wave transmission path or a communication transmission path such as the Internet.
  • Broadcast wave transmission paths include terrestrial broadcast and satellite broadcast transmission paths.
  • the information processing apparatus 1 receives multiplexed data obtained by multiplexing a video stream and an audio stream using MMT.
  • the information processing device 1 is a device that supports reception of MMT content that conforms to ARIB STD-B60 (“Media transport method using MMT in digital broadcasting”).
  • the information processing device 1 is also a device that supports content transmission in accordance with NEXTVF TR-0004 (“Advanced Broadband Satellite Digital Broadcasting Operational Rules”) defined by the Next Generation Broadcasting Promotion Forum.
  • the information processing apparatus 1 has a function of reproducing the received MMT content and outputting the video and audio of the content from a television receiver (not shown) connected to the information processing apparatus 1.
  • the information processing apparatus 1 also has a function of converting the received MMT content into MPEG-2 TS content.
  • MPEG-2 TS is defined by ITU-H.222.0.
  • the information processing apparatus 1 When converting the format from MMT to MPEG-2 TS, the information processing apparatus 1 acquires the video data and audio data stored in the MMTP (MMT Protocol) packet and stores it again in the TS packet. The information processing apparatus 1 generates a TS (transport stream) by multiplexing a video TS packet and an audio TS packet together with a TS packet storing control information such as SI (Service Information).
  • SI Service Information
  • the information processing apparatus 1 converts time information included in the MMT content into MPEG-2MTS time information.
  • MMT and MPEG-2 TS are formats with different time axes.
  • the difference in time axis means that at least one of the number of bits of the counter value defining the time and the accuracy (frequency) is different.
  • the MMT content and the MPEG-2 ⁇ ⁇ ⁇ ⁇ ⁇ TS content include, as time information, a counter value that represents the reference time that is the basis of operation, and a counter value that represents PTS (Presentation Time Stamp) and DTS (Decode Time Stamp). .
  • FIG. 2 is a diagram illustrating an example of counter value conversion.
  • the reference time is included in time information in NTP format.
  • the reference time is represented by a counter value of 32 + nbit / 2 n Hz.
  • 32 + nbit / 2 n Hz indicates that a time of 1 second or more is expressed in units of seconds using 32 bits, and a time of 1 second or less is expressed using nbits. The accuracy of 1 second or less is 2 n Hz.
  • NEXTVF_TR-0004 stipulates that n is 24 or more as NTP format operation.
  • PTS and DTS are obtained from the time represented by the counter value of 32 + nbit / 2 n Hz.
  • the PCR which is the reference time for the operation, is represented by a counter value of 42 bits / 27 MHz.
  • PTS and DTS are each represented by a counter value of 33bit / 90kHz.
  • the information processing apparatus 1 converts the MMT reference time represented by a counter value of 32 + nbit / 2 n Hz into an MPEG-2 TS PCR represented by a counter value of 42 bits / 27 MHz.
  • the information processing apparatus 1 converts the PTS and DTS in the MMT into the MPEG-2 TS PTS and DTS represented by the 33-bit / 90 kHz counter value, respectively.
  • the information processing apparatus 1 generates a TS including the time information of the MPEG-2 TS converted in this way.
  • the information processing apparatus 1 records the MPEG-2 ⁇ TS content generated by converting the MMT content on the recording medium 11 attached to the information processing apparatus 1.
  • the recording medium 11 is, for example, Blu-ray (registered trademark) Disc (hereinafter referred to as BD as appropriate).
  • BD is a recording medium capable of recording MPEG-2 TS files.
  • the information processing apparatus 1 can record the content transmitted by MMT on the BD.
  • a playback device that supports playback of a BD can play back the content written on the BD by the information processing device 1.
  • the information processing apparatus 1 transmits the MPEG-2 TS content generated by converting the MMT content via the network 12 such as the Internet.
  • a playback device that supports playback of MPEG-2 TS content can play back the content generated by the information processing device 1.
  • FIG. 3 is a diagram showing a protocol stack of a broadcasting system using MMT.
  • the code of the video signal and audio signal of the program is divided into transmission units of MFU (Media Fragment Unit) / MPU (Media Processing Unit).
  • MFU Media Fragment Unit
  • MPU Media Processing Unit
  • An MPU that is a unit including data of one or more access units is configured to include a plurality of MFUs.
  • the MFU is arranged in the MMTP payload, and an MMTP packet is configured by adding an MMTP header. MMTP packets are transmitted using IP packets. One MMTP packet is transmitted as one IP packet.
  • MMT-SI which is control information indicating the configuration of a broadcast program
  • MMT-SI which is control information indicating the configuration of a broadcast program
  • MMT-SI is arranged in an MMTP payload as an MMT control message format, converted into an MMTP packet, and transmitted as an IP packet.
  • NTP time information described above is also transmitted using IP packets.
  • FIG. 4 is a diagram showing the configuration of the NTP format.
  • IP packets in the NTP format specified in IETF RFC 5905 “Network Time Protocol Version 4: Protocol Protocol and Algorithms Specification” are used to provide Coordinated Universal Time (UTC).
  • NTP uses the accumulated number of seconds from 1:00:00 on January 1, 1900.
  • the NTP format includes reference_timestamp (reference time stamp).
  • Reference_timestamp indicates the time when the system time was last corrected in NTP long format.
  • the NTP long format is composed of a 32-bit field indicating a second unit and a 32-bit field indicating one second or less.
  • NEXTVF_TR-0004 specifies that time of 1 second or less is indicated using nbit (n: 24 or more). n is 32 or less.
  • the time indicated by NTP is expressed as a counter value of a 32 + nbit counter obtained by adding 32 bits representing a time of 1 second or more in seconds and n bits representing a time of 1 second or less.
  • An accuracy of 1 second or less is 2 n Hz.
  • N which is an accuracy of 1 second or less, is indicated by the precision in FIG. n indicates log2 of the accuracy (in seconds) of the system clock.
  • a transmission system and a receiver in a broadcasting system using MMT must satisfy the following requirements.
  • the sending system must maintain a clock based on the NTP timestamp.
  • the clock and the clock for encoding video and audio are synchronized.
  • the receiver must regenerate and hold the clock based on the received time information in NTP format.
  • the system clock for holding the clock and the clock for decoding video / audio are synchronized.
  • FIG. 5 is a diagram showing the arrangement of TLV (Type Length Value) packets that store IP packets including time information in the NTP format in STD-B44.
  • TLV Type Length Value
  • STD-B323_1 specifies that IP packets, including IP packets containing time information in NTP format, are transmitted using TLV packets.
  • a TLV packet storing an IP packet including time information in the NTP format is arranged at the head of the first slot among the slots assigned for each TLV stream ID.
  • the information processing apparatus 1 extracts the IP packet from the TLV packet constituting the TLV stream, and acquires the time information in the NTP format or the video or audio MMTP packet stored in the IP packet.
  • FIG. 6 is a diagram showing an example in which an MMTP payload is configured from video / audio signals.
  • MPU is the unit of processing. As shown as sample data with a broken line in the middle of FIG. 6, the MPU includes one or more access units, and is a unit that can perform video and audio decoding processing alone.
  • the size of the MPU is arbitrary and can include any number of access units.
  • the MPU needs to be in GOP (Group of Picture) units.
  • the MPU is composed of MPU metadata including information related to the entire configuration of the MPU, movie fragment metadata including information on encoded media data, and sample data that is encoded media data.
  • MPU metadata including information related to the entire configuration of the MPU
  • movie fragment metadata including information on encoded media data
  • sample data that is encoded media data.
  • one MPU can be composed of one or more movie fragments, there may be a plurality of movie fragment metadata and sample data.
  • MFU is a smaller unit than MPU.
  • the MFU can be extracted from the sample data constituting the MPU.
  • As a method of configuring the MFU there is a method of configuring the MFU in units of NAL units or access units as shown by the downward arrows in FIG.
  • the media for which presentation times such as video components and audio components are designated indicates the presentation time (PTS in MMT described above) in units of MPU.
  • the presentation time of the MPU is specified using a common time axis based on UTC. Therefore, the receiving-side apparatus can present the necessary media components in synchronism regardless of the difference between the transmission path and the transmission source between broadcasting and communication.
  • the elements constituting the encoded signal in MMT include MPU, MFU, MMTP packet, and MMTP payload.
  • FIG. 6 shows an example in which one MFU is stored in one MMTP payload.
  • a plurality of MFUs may be stored in one MMTP payload, and conversely, one MFU may be stored in a plurality of MMTP payloads.
  • FIG. 7 is a diagram showing the structure of the MMTP packet.
  • MMTP packet consists of MMTP header and MMTP payload.
  • MMTP_payload constitutes the MMTP header.
  • the payload_type (payload type) included in the MMTP header indicates the data type of the MMTP payload.
  • FIG. 8 is a diagram showing the meaning of the value of payload_type.
  • the value of payload_type being 0x00 indicates that the MMTP payload includes MPUs such as video and audio.
  • the value of payload_type being 0x02 indicates that a control message is included in the MMTP payload.
  • packet_id packet identifier
  • packet_id packet identifier
  • NEXTVF_TR-0004 stipulates that when the MMTP payload includes an MPU (when the value of payload_type is 0x00), the asset packet_id shown in the MMT package table described later is described.
  • 9 and 10 are diagrams showing the configuration of MMTP_payload ().
  • FIG. 9 shows a description when the value of payload_type is 0x00, that is, the MPU is included in the MMTP payload.
  • FIG. 10 shows a description when the value of payload_type is 0x02, that is, the control message is included in the MMTP payload.
  • fragment_type indicates the fragment type of information stored in the MMTP payload.
  • a fragment_type value of 0 indicates that MPU metadata (FIG. 6) is included in the MMTP payload.
  • MPU_metadata_byte in FIG. 9 described when the value of fragment_type is 0 corresponds to MPU metadata.
  • fragment_type of 1 indicates that movie fragment metadata is included in the MMTP payload.
  • Movie_fragment_metadata_byte of FIG. 9 described when the value of fragment_type is 1 corresponds to movie fragment metadata.
  • a fragment_type value of 2 indicates that the MMTP payload includes an item of sample data (NAL unit, access unit), subsample data, or timeless media data of timed media data that constitutes the MFU.
  • NAL unit, access unit sample data
  • sample data subsample data
  • timeless media data of timed media data that constitutes the MFU.
  • MFU_data_byte in FIG. 9 described when the value of fragment_type is 2 and the value of timed_flag is 1 corresponds to the sample data of time-dependent media data constituting the MFU.
  • MPU_sequence_number indicates the sequence number of the MPU to which the MMTP payload belongs when MPU metadata, movie fragment metadata, and MFU are stored.
  • message_length (message data length) described when the value of payload_type is 0x02 indicates the size of one control message arranged immediately after this field in bytes.
  • Message_byte (message data) is the data byte of the control message.
  • the control message is also simply referred to as a message as appropriate.
  • FIG. 11 is a diagram showing the structure of the MMT-SI that is control information.
  • the MMT-SI that indicates information related to the structure of the MMT package and the broadcasting service includes a message that stores a table and descriptor, a table that has elements and attributes indicating specific information, and details. It consists of three layers of descriptors that indicate various information.
  • the message is stored in the MMTP payload and transmitted using the MMTP packet.
  • the value of payload_type when the message forms the MMTP payload is 0x02.
  • a plurality of messages are not stored in one MMTP payload, and one message is stored in one MMTP payload.
  • FIG. 12 is a diagram showing the types and functions of MMT-SI messages.
  • the message mainly includes a Package Access (PA) message, an M2 section message, a CA message, an M2 short section message, and a data transmission message.
  • PA Package Access
  • Such message type is identified by message_id (message identifier) described in the MMTP payload as message_byte.
  • FIG. 13 is a diagram showing the configuration of the PA message.
  • the message_id is set as 0x0000 as shown in FIG.
  • Numberer_of_tables indicates the number of tables stored in this PA message.
  • Table_id (table identification) indicates the identifier of the table stored in this PA message.
  • Table is a table stored by this PA message.
  • MPT MMT package table
  • FIG. 15 is a diagram showing the configuration of the MPT.
  • MPT gives information that configures the package, such as asset list and asset network location.
  • the MPT contains a descriptor.
  • MPT_descriptors_length indicates the length of the MPT descriptor area in bytes.
  • MPT_descriptors_byte (MPT descriptor area) is an area for storing MPT descriptors. Examples of the descriptor stored in MPT_descriptors_byte include an MPU time stamp descriptor (MPU_Timestamp_Descriptor ()) and an MPU extended time stamp descriptor (MPU_Extended_Timestamp_Descriptor ()).
  • the MPU time stamp descriptor is a descriptor indicating the presentation time of the first access unit in the presentation order in the MPU.
  • the MPU extended time stamp descriptor is a descriptor that provides the decoding time of the access unit in the MPU.
  • FIG. 16 is a diagram showing the structure of the MPU time stamp descriptor.
  • the descriptor_tag of the MPU timestamp descriptor is set as 0x001.
  • Mpu_sequence_number (MPU sequence number) indicates the sequence number of the MPU that describes the time stamp in the MPU time stamp descriptor. As described above, the same sequence number is added to each MPU for each MPU belonging to the same asset.
  • mpu_presentation_time indicates the MPU presentation time in the NTP format (indicated by a counter value of 32 + nbit / 2 n Hz).
  • FIG. 17 is a diagram showing a configuration of the MPU extended time stamp descriptor.
  • the descriptor_tag of the MPU extended timestamp descriptor is set as 0x8026.
  • Mpu_sequence_number indicates the sequence number of the MPU including the access unit that specifies the decoding time and the like in the MPU extended time stamp descriptor.
  • mpu_decoding_time_offset (MPU decoding time offset) is the MPU specified by the MPU sequence number, and represents the absolute value of the difference between the decoding time of the first access unit in decoding order and the presentation time of the first access unit in presentation order. It is shown in the time unit indicated on the scale.
  • Num_of_au indicates the number of access units that specify the decoding time etc. in the MPU extended time stamp descriptor.
  • Dts_pts_offset indicates the time from the access unit decoding time to the presentation time in units of time indicated by a time scale.
  • Pts_offset indicates the difference in presentation time between the immediately preceding access unit and the current access unit in the presentation order within the same MPU in units of time indicated on the time scale.
  • the presentation time of the first access unit in the presentation order of the MPU is specified from the MPU timestamp descriptor. Further, the decoding time of each access unit is specified from the MPU extended time stamp descriptor.
  • FIG. 18 is a diagram showing a calculation method of PTS and DTS in MMT.
  • Each rectangle shown in FIG. 18 indicates a picture (access unit) constituting GOPn included in a certain MPU.
  • the upper part of FIG. 18 shows the arrangement of the access units in the decoding order, and the lower part shows the arrangement of the access units in the presentation order.
  • the alphabet of I / P / B indicates the picture type, and the number indicates the number of each picture in the presentation order.
  • the mpu_presentation_time in the MPU timestamp descriptor indicates the presentation time of the first access unit in the presentation order in the MPU.
  • the presentation time indicated by the MPU timestamp descriptor is the time indicated by the upward triangle at the lower left in FIG.
  • the MPU extended time stamp descriptor indicates the decoding time of the first access unit in the decoding order and the presentation of the first access unit in the presentation order in the MPU, as indicated by the dashed arrow on the left side of FIG. Indicates the difference value from the time.
  • the MPU extended time stamp descriptor indicates the difference value between the decoding time and the presentation time of each access unit with a value that uses the time scale as a unit time by dts_pts_offest. Furthermore, the MPU extended time stamp descriptor indicates a difference value between the presentation time of the immediately preceding access unit and the presentation time of the current access unit in the presentation order in the same MPU by a value having a time scale as a unit time by pts_offset. .
  • the decoding time DTS (n) and the presentation time PTS (n) of the nth access unit in the MPU are calculated by the following equations (1) and (2), respectively.
  • the PTS and DTS of each access unit are specified from the MPU time stamp descriptor and the MPU extended time stamp descriptor. Since it is obtained using mpu_presentation_time which is a counter value of 32 + nbit / 2 n Hz, it can be said that the MPU DTS is also a time indicated by a counter value of 32 + nbit / 2 n Hz.
  • the MPU time stamp descriptor and the MPU extended time stamp descriptor are obtained from the control message of the MMTP packet, and the PTS and DTS are obtained based on the MPU time stamp descriptor and the MPU extended time stamp descriptor. It is done. The calculation of PTS and DTS is performed before decoding of each access unit constituting the MPU transmitted using another MMTP packet.
  • FIG. 19 is a diagram showing a configuration of TS packets constituting the TS.
  • One TS packet is configured by adding a 184-byte payload, an adaptation field, or both to a 4-byte header.
  • the header includes, for example, a PID that is identification information of the type of data included in the payload.
  • the configuration of such a TS packet is defined in ISO / IEC 138180-1, for example.
  • FIG. 20 is a diagram showing the configuration of the adaptation field.
  • the information processing apparatus 1 sets the PCR obtained by converting the MMT reference time represented by the time information in the NTP format in the adaptation field of the TS packet. .
  • FIG. 21 is a diagram showing the structure of a PES (Packetized Elementary Stream) packet.
  • PES Packetized Elementary Stream
  • video and audio streams are divided into predetermined units and stored in PES packets.
  • PES packet is divided into a plurality of TS packets.
  • a header is added to the PES packet, and PTS and DTS are described as shown in FIG.
  • the information processing apparatus 1 When converting from MMT to MPEG-2 ⁇ ⁇ TS, the information processing apparatus 1 sets the PTS and DTS obtained by converting the MTS PTS and DTS calculated by analyzing the MMT-SI in the PES packet.
  • FIG. 22 is a block diagram illustrating a configuration example of the information processing apparatus 1.
  • the information processing apparatus 1 includes a receiving unit 31, an MMT signal processing unit 32, a recording control unit 33, a drive 34, an output control unit 35, and a communication unit 36.
  • the receiving unit 31 receives a broadcast wave signal from an antenna (not shown) and performs various processes such as a demodulation process and an error correction process.
  • the receiving unit 31 outputs a TVL stream obtained by performing various processes to the MMT signal processing unit 32 as MMT content.
  • the reception unit 31 controls the communication unit 36 to receive the MMT content and performs a predetermined process on the TVL stream obtained by performing predetermined processing.
  • the signal is output to the signal processing unit 32.
  • the MMT signal processing unit 32 reproduces the MMT content, outputs the video and audio of the content from the television receiver, and converts the MMT content into MPEG-2 TS content.
  • the MMT signal processing unit 32 when playing back MMT content, extracts video data and audio data from the TLV stream supplied from the receiving unit 31 and decodes them.
  • the MMT signal processing unit 32 outputs the video and audio data of the content obtained by decoding to the output control unit 35.
  • the MMT signal processing unit 32 stores the data stored in the MMTP packet extracted from the TLV stream supplied from the receiving unit 31 in the TS packet. Generate TS by correcting it.
  • the MMT signal processing unit 32 outputs the generated TS to the recording control unit 33 when recording MPEG-2 TS content on the recording medium 11, and transmits the generated TS to another device via the network 12. Is output to the communication unit 36.
  • the recording control unit 33 controls the drive 34 to record the TS generated by the MMT signal processing unit 32 on the recording medium 11 attached to the drive 34.
  • the output control unit 35 supplies the video and audio data supplied from the MMT signal processing unit 32 to, for example, a television receiver connected to the information processing apparatus 1 and outputs them from the display and the speaker, respectively.
  • the communication unit 36 communicates with various devices via the network 12. For example, the communication unit 36 receives MMT content distributed from the server via the network 12 and outputs the MMT content to the reception unit 31. In addition, the communication unit 36 transmits the TS generated by the MMT signal processing unit 32 to another device via the network 12.
  • FIG. 23 is a block diagram illustrating a configuration example of the MMT signal processing unit 32 and the recording control unit 33 in FIG.
  • the demultiplexer 51 extracts an IP packet from the TLV packet constituting the TLV stream supplied from the receiving unit 31, and performs a DEMUX process on the MMT data transmitted using the IP packet.
  • the demultiplexer 51 extracts an IP packet including time information in NTP format transmitted using the TLV packet, and outputs the IP packet to the comparison unit 52.
  • the IP packet including the time information in the NTP format is arranged at the head of the first slot among the slots constituting the TLV stream.
  • the demultiplexer 51 outputs the MMTP packet storing the MMT-SI among the MMTP packets transmitted using the IP packet to the MMT-SI analysis unit 55.
  • the demultiplexer 51 outputs the MMTP packet storing the video data and the audio data constituting the MPU to the MPU / MMT packet analysis unit 58.
  • the type of data stored in the MMTP payload is identified by the payload_type of the MMTP packet (FIG. 8).
  • the comparison unit 52 outputs the reference time (32 + nbit counter value) included in the NTP format time information stored in the IP packet supplied from the demultiplexer 51 to the NTP clock counter 53 and sets it as the initial value of the counter value. .
  • the comparison unit 52 outputs a signal representing an error between the time information from the NTP clock counter 53 and the time information in the NTP format supplied from the demultiplexer 51 to the NTP clock counter 53.
  • the NTP clock counter 53 has a VCO (Voltage Controlled Oscillator). NTP clock counter53 counts the clock signal of 2 n Hz of VCO generates and outputs a system clock signal of 2 n Hz representing a counter value of 32 + nbit. The system clock signal output from the NTP clock counter 53 is supplied to the comparison unit 52, clock conversion unit 54, and video / audio synchronization control unit 56.
  • VCO Voltage Controlled Oscillator
  • the clock conversion unit 54 converts the 32 + n bit counter value represented by the 2 n Hz system clock signal supplied from the NTP clock counter 53 into a 42 bit counter value (27 MHz) indicating MPEG-2 TS PCR. Details of the conversion by the clock conversion unit 54 will be described later.
  • the clock conversion unit 54 outputs the 42-bit counter value obtained by the conversion to the TS conversion processing unit 62 as PCR.
  • the MMT-SI analysis unit 55 acquires and analyzes the MMT-SI from the MMTP packet stored in the IP packet supplied from the demultiplexer 51. For example, the MMT-SI analysis unit 55 acquires the MPT transmitted by the PA message stored in the MMTP packet, and the MPU time stamp descriptor (FIG. 16) and the MPU extended time stamp descriptor (FIG. 16) described in the MPT. 17) is acquired.
  • the MMT-SI analysis unit 55 calculates (identifies) the PTS of each MPU based on the MPU time stamp descriptor.
  • the MMT-SI analyzing unit 55 uses the PTS of each MPU and the description of the MPU extended time stamp descriptor as described with reference to FIG. 18 to calculate the DTS of the access unit constituting each MPU. .
  • the MMT-SI analysis unit 55 outputs the calculated PTS and DTS to the video / audio synchronization control unit 56 and the PTS / DTS conversion unit 57 together with mpu_sequence_number indicating the sequence number of the MPU.
  • mpu_sequence_number included in the MPU time stamp descriptor indicates the sequence number of the MPU that designates the presentation time (FIG. 16).
  • mpu_sequence_number included in the MPU extended time stamp descriptor indicates the sequence number of the MPU including the access unit that specifies the decoding time or the like (FIG. 17).
  • the video / audio synchronization control unit 56 operates in accordance with the system clock signal from the NTP / clock / counter 53, and controls the decoding and output timing of the video / audio decoder 60 based on the PTS and DTS calculated by the MMT-SI analysis unit 55. .
  • the video / audio decoder 60 is controlled by the video / audio synchronization control unit 56 based on metadata such as MPU metadata and movie fragment metadata supplied from the MPU / MMT packet analysis unit 58.
  • the PTS / DTS conversion unit 57 converts the 32 + nbit counter values representing the PTS and DTS calculated by the MMT-SI analysis unit 55 into the counter values (90 kHz) representing the MPEG-2 TS 33-bit PTS and DTS, respectively. To do. Details of the conversion by the PTS / DTS converter 57 will be described later.
  • the PTS / DTS conversion unit 57 outputs the MPEG-2DTS PTS and DTS obtained by the conversion to the TS conversion processing unit 62.
  • the PTS / DTS conversion unit 57 outputs mpu_sequence_number representing the sequence number of the MPU related to the PTS and DTS of the MPEG-2 TS obtained by the conversion. Also, in the PTS / DTS conversion unit 57, an SI that needs to be included in the MPEG-2 TS is appropriately generated based on the MMT-SI and output to the TS conversion processing unit 62.
  • the MPU / MMT packet analysis unit 58 analyzes the MMTP packet stored in the IP packet supplied from the demultiplexer 51, thereby acquiring the data of each MPU.
  • the MPU metadata, movie fragment metadata, and MFU that are data of each MPU are specified by MPU_sequence_number (FIG. 9) that is information indicating the sequence number of the MPU to which they belong.
  • the MPU / MMT packet analysis unit 58 outputs MPU metadata and movie fragment metadata, etc., of each MPU acquired from the MMTP payload to the video / audio synchronization control unit 56 when the MMT content is played back. In addition, the MPU / MMT packet analysis unit 58 outputs the video data and audio data of the MFU constituting each MPU acquired from the MMTP payload to the decoder buffer 59.
  • the MPU / MMT packet analysis unit 58 converts the video data (VIDEO ES) and audio data (AUDIO ES) of the MFUs that make up each MPU obtained from the MMTP payload when converting the format from MMT to MPEG-2 TS. Output to buffer 61 together with MPU_sequence_number.
  • the video / audio decoder 60 decodes and outputs the video data and audio data recorded in the decoder buffer 59 in accordance with the control by the video / audio synchronization control unit 56.
  • the data output from the video / audio decoder 60 is supplied to the output control unit 35, and the video and audio of the content are output.
  • the TS processing unit 62 configures a PES by collecting data set with the same value as the MPU_sequence_number among the video data and audio data recorded in the buffer 61. Further, the TS processing unit 62 adds the PTS and DTS related to each PES supplied from the PTS / DTS conversion unit 57 to each PES, and generates a PES packet. The PES to which each PTS / DTS is added is specified based on mpu_sequence_number supplied from the PTS / DTS conversion unit 57.
  • the TS processing unit 62 converts the generated PES packet into a TS packet.
  • the TS conversion processing unit 62 generates a TS based on the TS packet in which the data of the PES packet is stored in the payload, and the TS packet including the PCR generated by the clock conversion unit 54 in the adaptation field.
  • the TS processing unit 62 supplies MPEG-2 TS SI such as PAT, PMT, DAT, and SIT specified by ARIB STD-B14 to the information supplied from the PTS / DTS converter 57. Embed in TS based on MPEG-2 TS SI such as PAT, PMT, DAT, and SIT specified by ARIB STD-B14 to the information supplied from the PTS / DTS converter 57. Embed in TS based on MPEG-2 TS SI such as PAT, PMT, DAT, and SIT specified by ARIB STD-B14 to the information supplied from the PTS / DTS converter 57. Embed in TS based on MPEG-2 TS SI such as PAT, PMT, DAT, and SIT specified by ARIB STD-B14 to the information supplied from the PTS / DTS converter 57. Embed in TS based on MPEG-2 TS SI such as PAT, PMT, DAT, and SIT specified by ARIB STD-B14
  • PAT Program Association Table
  • PMT Program Map
  • PAT and PMT are retransmitted once every 100 ms.
  • DIT discontinuity Information Table
  • SIT Selection Information Table
  • the TS processing unit 62 outputs the TS obtained by performing the above TS processing to the recording control unit 33.
  • the recording control unit 33 includes a T-STD 81, a PLL 82, an arrival time clock counter 83, a source packetizer 84, and a write buffer 85. Note that the configuration of the recording control unit 33 shown in FIG. 23 is a conceptual model for defining the recording process.
  • the recording control unit 33 has a function of adding an ATS (Arrival_time_stamp) to the TS packets constituting the TS and generating a sequence of source packets according to the recorder model.
  • T-STD Transport stream target decoder
  • the T-STD 81 is a virtual decoder in the recorder model. A decoder corresponding to the T-STD 81 does not exist in the recording control unit 33.
  • the PLL 82 generates a 27 MHz clock locked to the TS PCR value.
  • the arrival time clock counter 83 is a binary counter that counts the 27 MHz frequency pulses output from the PLL 82.
  • Arrival_time_clock (i) is a counter value of Arrival time clock counter 83 at time t (i).
  • Source packetizer 84 adds TP_extra_header to all TS packets and generates source packets.
  • the Source packetizer 84 adds an ATS to the TS packet.
  • the source packetizer 84 sets the ATS value in the TP_extra_header of the source packet based on Arrival_time_clock (i) supplied from the Arrival time clock counter 83.
  • ATS represents the time at which the first byte of the TS packet arrives at both T-STD 81 and Source packetizer 84.
  • Write Buffer 85 records the source packet generated by Source packetizer 84. Each source packet output from the Write buffer 85 is supplied to the drive 34 and recorded on the recording medium 11.
  • FIG. 24 is a diagram showing the relationship between the counter value and time in MPEG-2 TS.
  • the horizontal axis of the graph shown in FIG. 24 indicates time, and the vertical axis indicates counter value. The same applies to FIGS. 25 and 26.
  • PTS / DTS of MPEG-2 TS is expressed based on PCR.
  • PCR is represented by 42 bits (27 MHz)
  • PTS / DTS is represented by 33 bits (90 kHz). Since PTS / DTS is represented by 33 bits, 33 bits is sufficient as the amount of information for representing time information.
  • the counter value of the wraparound occurs at time point P1 which counter value is 2 33.
  • the time of the point P1 is calculated as approximately 26.5h as shown in the following expression (3).
  • the second wraparound occurs at the time point P2, and the third wraparound occurs at the time point P3.
  • the relationship between the count value of the 33-bit counter with 90 kHz accuracy and the real time is as shown in FIG. 24 in which a wraparound occurs at the times of points P1, P2, and P3.
  • the straight line connecting the origin and the point P11 shows the relationship between the real time and the counter value when a 42-bit counter that is the same as the number of bits of PCR is operated with an accuracy of 90 kHz.
  • FIG. 25 is a diagram showing the relationship between the counter value in MMT and time.
  • PTS / DTS of MMT respectively, 32 + nbit by NTP format (1 second or less precision 2 n Hz) represented by.
  • the wraparound of the counter value occurs at the time point P21 at which the counter value becomes 2 32 + n .
  • the time of the point P21 is represented as 1193046h as shown in the following formula (4).
  • the relationship between the counter value of the 32 + nbit counter with an accuracy of 2 n Hz and the real time is indicated by a one-dot chain line in which a wraparound occurs at the time point P21.
  • FIG. 26 is a diagram showing the characteristics of the MPEG-2 TS 33-bit counter and the characteristics of the MMT 32 + nbit counter in an overlapping manner.
  • the corresponding MPEG-2 TS PTS / DTS obtains the counter value of the 33-bit counter representing the time T based on the counter value of the 32 + nbit counter. Is specified by
  • the MPEG-2’TS counter value X ′ is obtained by the following procedure based on the MMT counter value X.
  • the MMT counter value A is a value corresponding to a time of 2 33 / 90k ( ⁇ 26.5h) in real time.
  • n 24
  • the counter value A is obtained as shown in the following equation (5).
  • the MPEG-2 TS counter value X ′ is calculated using the remainder mod (X / A) value as the MMT counter value X. It is calculated
  • the PTS / DTS converter 57 in FIG. 23 thus compares the ratio between the real time and the counter value in the characteristics of the MMT 32 + nbit counter and the ratio between the real time and the counter value in the characteristics of the 33 bit counter of the MPEG-2 TS. Is used to convert the counter value.
  • T1 in Expressions (8) and (9) is a time when the MMT counter value is X and the MPEG-2 TS counter value is X ′.
  • the PTS / DTS converter 57 substitutes the value of the MMT PTS / DTS as the value of X in Equations (8) and (9), and obtains the counter value X ′ by the same calculation as in Equation (6) above. It will be. Even if n is a value other than 24, the counter value can be converted in the same manner.
  • the reference time included in the time information in the NTP format is expressed as a counter value of 32 + n bits.
  • the clock conversion unit 54 converts the 32 + nbit counter value as the counter value of the 33-bit counter with 90 kHz accuracy as described with reference to FIG.
  • the clock conversion unit 54 adds the counter value of the 9-bit counter with 27 MHz accuracy to the LSB side of the 33-bit counter value obtained by the conversion, so that the 27 MHz accuracy of the configuration shown in FIG. 42-bit counter value is generated.
  • the right side is the LSB side.
  • the 9-bit counter with 27 MHz accuracy is a counter that the clock conversion unit 54 has as a free-running free-run counter, for example.
  • the upper limit of the counter value of the 9-bit counter is set to take a value in the range of 0 to 300.
  • the clock conversion unit 54 outputs the 42-bit counter value generated in this way to the TS processing unit 62 as PCR.
  • PCR is expressed as 33 bits (90 kHz counter 0 to (2 33 -1)) + 9 bits (27 MHz counter 0 to 300).
  • step S1 the receiving unit 31 acquires MMT content supplied via a broadcast wave transmission path or a communication transmission path.
  • the receiving unit 31 outputs a TVL stream, which is MMT content data, to the MMT signal processing unit 32.
  • step S2 the demultiplexer 51 of the MMT signal processing unit 32 extracts the IP packet from the TLV packet constituting the TLV stream, and performs the DEMUX process. That is, an IP packet including time information in the NTP format is supplied to the comparison unit 52, and an MMTP packet storing MMT-SI is supplied to the MMT-SI analysis unit 55. The MMTP packet storing the video data and audio data constituting the MPU is supplied to the MPU / MMT packet analysis unit 58.
  • step S3 the MPU / MMT packet analysis unit 58 extracts the video data and audio data of the MFU constituting each MPU from the MMTP packet.
  • the extracted video data and audio data are output to the buffer 61 and stored together with MPU_sequence_number.
  • step S4 the comparison unit 52 sets the initial value of the NTP clock counter 53 based on the reference time (32 + nbit counter value) included in the time information in the NTP format.
  • step S5 the NTP clock counter 53 outputs a system clock signal representing a counter value of 32 + n bits.
  • step S6 the clock conversion unit 54 converts the 32 + nbit counter value represented by the 2 n Hz system clock signal supplied from the NTP clock counter 53 into a 42-bit counter value indicating the MPEG-2 TS PCR.
  • the 42-bit counter value obtained by the conversion is supplied to the TS conversion processing unit 62 as PCR.
  • step S7 the MMT-SI analysis unit 55 analyzes the MMT-SI stored in the MMTP packet to acquire the MPU time stamp descriptor and the MPU extended time stamp descriptor, and the PTS and MPU of each MPU.
  • the DTS of the access unit that constitutes is calculated.
  • step S8 the PTS / DTS conversion unit 57 converts the 32 + nbit counter values representing the PTS and DTS calculated by the MMT-SI analysis unit 55 into the counter values representing the 33bit PTS and DTS of MPEG-2MTS, respectively. Convert.
  • step S9 the TS processing unit 62 configures a PES using video data and audio data in which the same value is set as MPU_sequence_number, and generates a PES packet by adding a PTS and a DTS related to each PES. .
  • step S10 the TS processing unit 62 converts the PES packet into a TS packet.
  • step S11 the TS processing unit 62 inserts a TS packet including the PCR generated by the clock conversion unit 54 in the adaptation field into the TS packet in which the data of the PES packet is stored in the payload, thereby generating a TS. .
  • a TS packet storing SI generated based on MMT-SI is also inserted into the TS.
  • step S12 the recording control unit 33 controls the drive 34 to record the TS generated by the MMT signal processing unit 32 on the recording medium 11.
  • MMT content with different time axis can be converted to MPEG-2 TS content and recorded on a recording medium such as BD.
  • the information processing apparatus 1 acquires video data and audio data from the TS packet constituting the TS of the MPEG-2 TS content to be converted, and stores it again in the MMTP packet.
  • the information processing apparatus 1 extracts the PCR represented as a 42-bit counter value from the TS packet and converts it into a reference time in the NTP format represented as a 32 + n-bit counter value.
  • the information processing apparatus 1 extracts PTS / DTS (90 kHz) of MPEG-2) TS expressed as a 33-bit counter value from the PES packet, and converts it to PTS / DTS of MMT expressed as a 32 + n-bit counter value. .
  • the information processing apparatus 1 generates an MMTP packet that stores a control message that transmits an MMTP packet that stores video data and audio data, and a descriptor that is used to calculate the PTS / DTS of the MMT. Further, the information processing apparatus 1 generates a TLV stream by multiplexing the generated IP packet storing the MMTP packet and the IP packet including time information in the NTP format.
  • PTS / DTS reverse conversion and reference time reverse conversion are performed as follows.
  • the MMT counter value X is obtained by the following procedure based on the MPEG-2 TS counter value X ′.
  • the MMT counter value A is a value corresponding to a time of 2 33 / 90k ( ⁇ 26.5h) in real time.
  • step 1 is the same as the process for converting MMT content to MPEG-2 TS content.
  • the MMT counter value X indicating the same time as the time indicated by the MPEG-2 TS counter value X ′ is equal to the following formula (10) when the time indicated by the MPEG-2 TS counter value X ′ is smaller than 26.5 h. It is required as follows.
  • the MMT counter value X is set to the remainder mod (X ′ / A) as the MPEG-2 TS counter value X ′. And obtained as shown in the following equation (11).
  • MPEG-2 TS PTS / DTS is converted to MMT PTS / DTS by such reverse conversion processing. Further, in the MPEG-2 TS PCR having the configuration of FIG. 27, the 33-bit counter value on the MSB side is converted into a 32 + n-bit counter value by such an inverse conversion process, and used as a reference time.
  • the content to be converted / inverted includes both video data and audio data
  • the above-described processing may be applied to the conversion / inverse conversion of the format of one of the contents.
  • the present invention may be applied to format conversion / inverse conversion of types of data other than video data and audio data.
  • FIG. 29 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 1005 is connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • the input / output interface 1005 is connected to a storage unit 1008 made up of a hard disk, a non-volatile memory, etc., a communication unit 1009 made up of a network interface, etc., and a drive 1010 that drives a removable medium 1011.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the CPU 1001 is recorded in the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the first counter value of the number of bits specified by the first format, which is included as time information in the first multiplexed data, is converted to the second counter value of the number of bits specified by the second format.
  • the video data constituting the video stream and the audio data constituting the audio stream are respectively stored in packets of the second format, and the second counter value of the second format includes the second counter value as time information.
  • An information processing apparatus comprising: a multiplexing unit that generates the multiplexed data.
  • the first format is MMT; The information processing apparatus according to (1), wherein the second format is MPEG-2 TS.
  • the first counter value representing the reference time is a 32 + n-bit time in which the time in seconds of 1 second or more is represented by 32 bits, and the precision of 1 second or less is 2 n Hz (n is an integer of 24 or more).
  • Counter value, The second counter value representing the reference time is a 42-bit counter value that represents a time of 1 second or more in 33 bits with an accuracy of 90 kHz, and a time of 1 second or less in 9 bits with an accuracy of 27 MHz.
  • the multiplexing unit adds a TS packet including PCR as the second counter value indicating a reference time to a TS packet storing the video data and a TS packet storing the audio data, and The information processing apparatus according to (3), wherein the multiplexed data of 2 is generated.
  • the first counter value representing the presentation time and the first counter value representing the decoding time are 32 + n bits where the time in seconds of 1 second or more is represented by 32 bits, and the accuracy of 1 second or less is 2 n Hz Counter value of The information processing apparatus according to (3) or (4), wherein the second counter value representing presentation time and the second counter value representing decoding time are counter values represented in 33 bits with an accuracy of 90 kHz.
  • the multiplexing unit includes a TS packet that stores the video data and a PES packet that is a source of the TS packet that stores the audio data, and the PTS as the second counter value that represents the presentation time and the decoding time that represents the decoding time.
  • the information processing apparatus (9) The information processing apparatus according to (8), wherein the recording medium is a Blu-ray (registered trademark) Disc. (10) Receiving first multiplexed data obtained by multiplexing data including a video stream and an audio stream in a first format; The first counter value of the number of bits specified by the first format, which is included as time information in the first multiplexed data, is converted into a second counter value of the number of bits specified by the second format. , The video data constituting the video stream and the audio data constituting the audio stream are respectively stored in packets of the second format, and the second counter value of the second format includes the second counter value as time information.
  • An information processing method including a step of generating multiplexed data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本技術は、コンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の情報処理装置は、ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信し、第１の多重化データに時刻情報として含まれる、第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換し、ビデオストリームを構成するビデオデータとオーディオストリームを構成するオーディオデータをそれぞれ第２のフォーマットのパケットに格納し、第２のカウンタ値を時刻情報として含む、第２のフォーマットの第２の多重化データを生成する。本技術は、PC、ハードディスクレコーダなどの録画機器などに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、コンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　次世代の放送規格におけるコンテンツの伝送は、従来のMPEG-2 TSではなく、MMT(MPEG Media Transport)で行われる。MMTにより、放送波の伝送路だけでなく、インターネットなどの通信の伝送路を用いたコンテンツの伝送が可能になる。
特開２０１６－１０３７４５号公報
　MMTのコンテンツを受信し、記録する場合、MMTのコンテンツをそのまま記録することも考えられるが、MPEG-2 TSで記録することも検討されている。MPEG-2 TSで記録することにより、既に普及しているMPEG-2 TSの資産を活かすことが可能になる。
　MMTのコンテンツをMPEG-2 TSのコンテンツに変換する技術が確立されていない。
　本技術はこのような状況に鑑みてなされたものであり、コンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにするものである。
　本技術の一側面の情報処理装置は、ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信する受信部と、前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換する変換部と、前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する多重化部とを備える。
　前記第１のフォーマットはMMTであり、前記第２のフォーマットはMPEG-2 TSであるようにすることができる。
　基準となる時刻を表す前記第１のカウンタ値を、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットのカウンタ値とすることができる。また、基準となる時刻を表す前記第２のカウンタ値を、１秒以上の時刻を、精度を９０kHzとして３３ビットで表し、１秒以下の時刻を、精度を２７MHzとして９ビットで表す４２ビットのカウンタ値とすることができる。
　前記多重化部には、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットに、基準となる時刻を表す前記第２のカウンタ値としてのPCRを含むTSパケットを付加し、前記第２の多重化データを生成させることができる。
　提示時刻を表す前記第１のカウンタ値と復号時刻を表す前記第１のカウンタ値を、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHzとする３２＋ｎビットのカウンタ値とすることができる。また、提示時刻を表す前記第２のカウンタ値と復号時刻を表す前記第２のカウンタ値を、精度を９０kHzとして３３ビットで表すカウンタ値とすることができる。
　前記多重化部には、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットの元になるPESパケットに、提示時刻を表す前記第２のカウンタ値としてのPTSと復号時刻を表す前記第２のカウンタ値としてのDTSとを付加させることができる。
　前記多重化部には、MPUシーケンス番号に基づいて、同一のMPUに属する前記ビデオデータと前記オーディオデータを含むPESパケットを生成させることができる。
　前記第２の多重化データとしてのTSを記録媒体に記録させる記録制御部をさらに設けることができる。
　前記記録媒体を、Blu-ray（登録商標） Discとすることができる。
　本技術の一側面においては、ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データが受信され、前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値が、第２のフォーマットで規定するビット数の第２のカウンタ値に変換される。また、前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータがそれぞれ前記第２のフォーマットのパケットに格納され、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データが生成される。
　本技術によれば、コンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理装置によるフォーマット変換の例を示す図である。 カウンタ値の変換の例を示す図である。 MMTを用いる放送システムのプロトコルスタックを示す図である。 NTP形式の構成を示す図である。 NTP形式の時刻情報を含むIPパケットを格納するTLVパケットの配置を示す図である。 映像・音声信号からMMTPペイロードを構成する例を示す図である。 MMTPパケットの構成を示す図である。 payload_typeの値の意味を示す図である。 MMTP_payload()の構成を示す図である。 MMTP_payload()の構成を示す図である。 MMT-SIの構造を示す図である。 MMT-SIのメッセージの種類と機能を示す図である。 PAメッセージの構成を示す図である。 message_idの値の意味を示す図である。 MPTの構成を示す図である。 MPUタイムスタンプ記述子の構成を示す図である。 MPU拡張タイムスタンプ記述子の構成を示す図である。 MMTにおけるPTSとDTSの算出方法を示す図である。 TSパケットの構成を示す図である。 アダプテーションフィールドの構成を示す図である。 PESパケットの構成を示す図である。 情報処理装置の構成例を示すブロック図である。 図２２のMMT信号処理部と記録制御部の構成例を示すブロック図である。 MPEG-2 TSにおけるカウンタ値と時間の関係を示す図である。 MMTにおけるカウンタ値と時間の関係を示す図である。 MPEG-2 TSの３３bitカウンタの特性とMMTの３２＋ｎbitカウンタの特性を重ねて示す図である。 PCRの構成を示す図である。 情報処理装置の変換処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．フォーマット変換の例
　２．MMTについて
　３．MPEG-2 TSについて
　４．情報処理装置の構成例
　５．カウンタ値の変換について
　６．情報処理装置の動作
　７．変形例
＜１．フォーマット変換の例＞
　図１は、本技術の一実施形態に係る情報処理装置によるフォーマット変換の例を示す図である。
　情報処理装置１は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体を内蔵した録画機器、テレビジョン受像機、パーソナルコンピュータ、セットトップボックスなどの装置である。情報処理装置１は、放送波の伝送路、またはインターネットなどの通信の伝送路を介して放送（配信）された、ビデオとオーディオを含むテレビジョン番組などのコンテンツを受信する。放送波の伝送路には、地上波放送、衛星放送の伝送路が含まれる。
　放送波の伝送路、または通信の伝送路を介したコンテンツの伝送は、MMTで行われる。情報処理装置１は、ビデオストリームとオーディオストリームをMMTで多重化して得られた多重化データを受信する。
　情報処理装置１は、ARIB STD-B60（「デジタル放送におけるMMTによるメディアトランスポート方式」）に準拠したMMTのコンテンツの受信に対応した装置である。また、情報処理装置１は、次世代放送推進フォーラムで規定されたNEXTVF TR-0004（「高度広帯域衛星デジタル放送 運用規定」）に準拠したコンテンツ伝送に対応した装置でもある。
　情報処理装置１は、受信したMMTのコンテンツを再生し、コンテンツの映像と音声を、情報処理装置１に接続されたテレビジョン受像機（図示せぬ）などから出力させる機能を有する。
　また、情報処理装置１は、受信したMMTのコンテンツを、MPEG-2 TSのコンテンツに変換する機能を有する。MPEG-2 TSは、ITU-H.222.0により規定される。
　MMTからMPEG-2 TSへのフォーマットの変換時、情報処理装置１は、MMTP(MMT Protocol)パケットに格納されたビデオデータやオーディオデータを取得し、TSパケットに格納し直す。情報処理装置１は、SI(Service Information)などの制御情報を格納したTSパケットとともに、ビデオのTSパケットとオーディオのTSパケットを多重化することによってTS（トランスポートストリーム）を生成する。
　フォーマットの変換時、情報処理装置１は、MMTのコンテンツに含まれる時刻情報を、MPEG-2 TSの時刻情報に変換する。MMTとMPEG-2 TSは、時間軸が異なるフォーマットである。時間軸が異なるとは、時刻を規定するカウンタ値のビット数と精度（周波数）のうちの少なくともいずれかが異なることを意味する。
　MMTのコンテンツとMPEG-2 TSのコンテンツには、時刻情報として、動作の基準となる参照時刻を表すカウンタ値と、PTS(Presentation Time Stamp)、DTS(Decode Time Stamp)を表すカウンタ値が含まれる。
　図２は、カウンタ値の変換の例を示す図である。
　図２の左側に示すように、MMTにおいて、参照時刻は、NTP形式の時刻情報に含まれる。
　詳細については後述するが、NTP形式においては、３２＋ｎbit／２ｎHzのカウンタ値で参照時刻が表される。ここで、３２＋ｎbit／２ｎHzは、１秒以上の時刻が、秒単位で、３２bitを用いて表され、１秒以下の時刻がｎbitを用いて表されることを示す。１秒以下の精度は２ｎHzである。
　NEXTVF_TR-0004では、NTP形式の運用として、ｎが２４以上であることが規定されている。
　MMTにおいて、PTSとDTSは、３２＋ｎbit／２ｎHzのカウンタ値で表される時刻から求められる。
　一方、図２の右側に示すように、MPEG-2 TSにおいて、動作の基準となる参照時刻であるPCRは、４２bit／２７MHzのカウンタ値で表される。
　また、MPEG-2 TSにおいて、PTSとDTSは、それぞれ、３３bit／９０kHzのカウンタ値で表される。
　情報処理装置１は、３２＋ｎbit／２ｎHzのカウンタ値で表されるMMTの参照時刻を、４２bit／２７MHzのカウンタ値で表されるMPEG-2 TSのPCRに変換する。
　また、情報処理装置１は、MMTにおけるPTSとDTSを、それぞれ、３３bit／９０kHzのカウンタ値で表されるMPEG-2 TSのPTSとDTSに変換する。
　情報処理装置１は、このようにして変換したMPEG-2 TSの時刻情報を含むTSを生成する。
　図１の説明に戻り、情報処理装置１は、MMTのコンテンツを変換することによって生成したMPEG-2 TSのコンテンツを、情報処理装置１に装着された記録媒体１１に記録する。記録媒体１１は、例えばBlu-ray（登録商標） Disc（以下、適宜、BDという）である。BDは、MPEG-2 TSのファイルを記録可能な記録媒体である。
　情報処理装置１は、MMTで伝送されてきたコンテンツをBDに記録できることになる。BDの再生に対応した再生装置は、情報処理装置１によりBDに書き込まれたコンテンツを再生できることになる。
　また、情報処理装置１は、MMTのコンテンツを変換することによって生成したMPEG-2 TSのコンテンツを、インターネットなどのネットワーク１２を介して送信する。MPEG-2 TSのコンテンツの再生に対応した再生装置は、情報処理装置１により生成されたコンテンツを再生できることになる。
　このように、MMTのコンテンツをMPEG-2 TSのコンテンツに変換できるようにすることにより、MMTで提供されたコンテンツの処理を、MPEG-2 TSを処理可能な各種の装置が行うことが可能になる。すなわち、MPEG-2 TSの資産を活かすことが可能になる。
＜２．MMTについて＞
＜２－１．MMTのパケット構造＞
　MMTについて説明する。ここでは、ARIB STD-B60の規定のうち、情報処理装置１の処理に関係のある部分について説明する。特に明示するもの以外は、基本的に、ARIB STD-B60の規定によるものである。
　図３は、MMTを用いる放送システムのプロトコルスタックを示す図である。
　番組の映像信号及び音声信号の符号はMFU(Media Fragment Unit)/MPU(Media Processing Unit)の伝送単位に区切られる。１つ以上のアクセスユニットのデータを含む単位であるMPUは、複数のMFUを含むようにして構成される。
　MFUは、MMTPペイロードに配置され、MMTPヘッダが付加されることによってMMTPパケットが構成される。MMTPパケットはIPパケットを用いて伝送される。１つのMMTPパケットは１つのIPパケットで伝送される。
　放送番組の構成などを示す制御情報であるMMT-SIについても、MMTの制御メッセージの形式として、MMTPペイロードに配置されてMMTPパケット化され、IPパケットで伝送される。
　上述したNTP形式の時刻情報も、IPパケットを用いて伝送される。
　図４は、NTP形式の構成を示す図である。
　IETF RFC 5905 “Network Time Protocol Version 4: Protocol and Algorithms Specification”に規定するNTP形式のIPパケットが、協定世界時（Coordinated Universal Time, UTC）を提供するために用いられる。
　NTPでは、1900年1月1日0時0分0秒からの積算秒数が使用される。NTP形式には、reference_timestamp（参照タイムスタンプ）が含まれる。
　reference_timestampは、システム時刻が最後に補正された時刻をNTP長形式で示す。NTP長形式は、秒単位を示す３２bitのフィールドと、1秒以下を示す３２bitのフィールドとから構成される。
　NEXTVF_TR-0004では、1秒以下の時刻を、ｎbit（ｎ：２４以上）を使用して示すことが規定される。ｎは３２以下となる。
　NTPが示す時刻は、１秒以上の時刻を秒単位で表す３２bitと、１秒以下の時刻を表すｎbitを足し合わせた３２＋ｎbitカウンタのカウンタ値として表される。１秒以下の精度は２ｎHzとなる。
　１秒以下の精度であるｎが、図４のprecision（精度）により示される。ｎは、システムクロックの精度（秒単位）のlog2を示す。
　ARIB STD-B60では、MMTを用いる放送システムにおける送出システム及び受信機は以下の要件を満たす必要がある。
　・送出システムは、NTPタイムスタンプに基づくクロックを保持すること。
　・送出システムでは、上記クロックと映像、音声のエンコード処理を行うクロックが同期していること。
　・受信機は、受信したNTP形式の時刻情報に基づくクロックを再生、保持すること。
　・受信機では、上記クロックを保持するためのシステムクロックと映像・音声等のデコード処理を行うクロックが同期していること。
　図５は、STD-B44における、NTP形式の時刻情報を含むIPパケットを格納するTLV(Type Length Value)パケットの配置を示す図である。
　NTP形式の時刻情報を含むIPパケットも含めて、IPパケットは、TLVパケットにより伝送することがSTD-B323_1により規定されている。NTP形式の時刻情報を含むIPパケットを格納するTLVパケットは、TLVストリームIDごとに割り当てられたスロットのうち、最初のスロットの先頭に配置される。
　NTP形式の時刻情報を含むIPパケットを格納するTLVパケットをこのように配置することにより、NTP形式の時刻情報を含むIPパケットの遅延変動を抑えることが可能になる。
　情報処理装置１は、TLVストリームを構成するTLVパケットからIPパケットを抽出し、IPパケットに格納されているNTP形式の時刻情報、または、映像や音声のMMTPパケットを取得することになる。
　図６は、映像・音声信号からMMTPペイロードを構成する例を示す図である。
　映像信号や音声信号の処理では、MPUが処理の単位となる。図６の中段に破線でサンプルデータとして示すように、MPUは１つ以上のアクセスユニットを含み、映像や音声の復号処理をMPU単体で行うことができる単位となる。MPUの大きさは任意であり、任意の数のアクセスユニットを含むことができる。フレーム間予測を用いて符号化する映像信号では、MPUはGOP(Group of Picture)単位とする必要がある。
　図６の中段に示すように、MPUは、MPU全体の構成に関する情報を含むMPUメタデータ、符号化したメディアデータの情報を含むムービーフラグメントメタデータ、符号化したメディアデータであるサンプルデータから構成される。１つのMPUは１つ以上のムービーフラグメントから構成できるため、ムービーフラグメントメタデータとサンプルデータは複数存在することがある。
　MPUには、同一のアセットに属するMPUごとに同じシーケンス番号が付加される。アセットを識別するアセットIDとMPUのシーケンス番号を用いることで、各MPUを区別することが可能になる。
　MFUは、MPUよりも小さな単位である。MFUは、MPUを構成するサンプルデータから取り出すことができる。MFUの構成方法として、図６の下向き矢印で示すようにNALユニット単位やアクセスユニット単位でMFUを構成する方法がある。メディアを意識してMFUを構成することで、パケットロスのような伝送品質の低下が発生したときの誤りの伝搬を抑えることができる。
　映像コンポーネントや音声コンポーネントなどの提示時刻が指定されるメディアには、MPU単位で、提示時刻（上述した、MMTにおけるPTS）が示される。MPUの提示時刻は、UTCに基づき、共通の時間軸を用いて指定される。そのため、受信側の装置は、放送と通信の伝送路の違いや送信元の違いによらず、必要なメディアコンポーネントを同期して提示することができる。
　このように、MMTにおける符号化信号を構成する要素には、MPU、MFU、MMTPパケット、MMTPペイロードがある。
　なお、図６は、１つのMFUを１つのMMTPペイロードに格納した例を示すものである。１つのMMTPペイロードに複数のMFUが格納される場合もあるし、反対に、１つのMFUが複数のMMTPペイロードに格納される場合もある。
　図７は、MMTPパケットの構成を示す図である。
　MMTPパケットは、MMTPヘッダとMMTPペイロードから構成される。図７に示す記述のうち、先頭から、MMTP_payload()の前までの記述がMMTPヘッダを構成する。
　MMTPヘッダに含まれるpayload_type（ペイロードタイプ）は、MMTPペイロードのデータタイプを示す。
　図８は、payload_typeの値の意味を示す図である。
　図８に示すように、payload_typeの値が0x00であることは、MMTPペイロードに、映像や音声などのMPUが含まれることを示す。
　また、payload_typeの値が0x02であることは、MMTPペイロードに、制御メッセージが含まれることを示す。
　図７の説明に戻り、MMTPヘッダに含まれるpacket_id（パケット識別子）は、MMTPペイロードのデータの種類を識別するための情報である。
　NEXTVF_TR-0004では、MMTPペイロードにMPUが含まれる場合（payload_typeの値が0x00である場合）、後述するMMTパッケージテーブルに示される、アセットのpacket_idが記述されることが規定されている。
　図９および図１０は、MMTP_payload()の構成を示す図である。
　図９は、payload_typeの値が0x00である、すなわち当該MMTPペイロードにMPUが含まれる場合の記述を示す。一方、図１０は、payload_typeの値が0x02である、すなわち当該MMTPペイロードに制御メッセージが含まれる場合の記述を示す。
　図９に示す記述のうち、fragment_type（フラグメントタイプ）は、MMTPペイロードに格納する情報のフラグメント種別を示す。
　例えば、fragment_typeの値が０であることは、MMTPペイロードに、MPUメタデータ（図６）が含まれることを示す。fragment_typeの値が０である場合に記述される図９のMPU_metadata_byteが、MPUメタデータに相当する。
　fragment_typeの値が１であることは、MMTPペイロードに、ムービーフラグメントメタデータが含まれることを示す。fragment_typeの値が１である場合に記述される図９のmovie_fragment_metadata_byteが、ムービーフラグメントメタデータに相当する。
　fragment_typeの値が２であることは、MMTPペイロードに、MFUを構成する時間付きメディアデータのサンプルデータ（NALユニット、アクセスユニット）、サブサンプルデータ、あるいは時間なしメディアデータのアイテムが含まれることを示す。例えば、fragment_typeの値が２であり、timed_flagの値が１である場合に記述される図９のMFU_data_byteが、MFUを構成する時間付きメディアデータのサンプルデータに相当する。
　また、図９に示す記述のうち、MPU_sequence_number（MPUシーケンス番号）は、当該MMTPペイロードがMPUメタデータ、ムービーフラグメントメタデータ、MFUを格納するものである場合、それらが属するMPUのシーケンス番号を示す。
　図１０に示す記述のうち、payload_typeの値が0x02である場合に記述されるmessage_length（メッセージデータ長）は、このフィールドの直後に配置される１つの制御メッセージの大きさをバイト単位で示す。
　message_byte（メッセージデータ）は、制御メッセージのデータバイトである。以下、適宜、制御メッセージを単にメッセージともいう。
＜２－２．MMTの制御メッセージ＞
　ここで、MMTPペイロードに格納される制御メッセージについて説明する。
　図１１は、制御情報であるMMT-SIの構造を示す図である。
　MMTのパッケージの構成や放送サービスに関連する情報を示すMMT-SIは、図１１に示すように、テーブルや記述子を格納するメッセージ、特定の情報を示す要素や属性を持つテーブル、および、詳細な情報を示す記述子の３階層から構成される。
　上述したように、メッセージは、MMTPペイロードに格納され、MMTPパケットを用いて伝送される。メッセージがMMTPペイロードを構成する際のpayload_typeの値は0x02である。複数のメッセージを１つのMMTPペイロードに格納することは行われず、１つのメッセージが１つのMMTPペイロードに格納される。
　図１２は、MMT-SIのメッセージの種類と機能を示す図である。
　図１２に示すように、メッセージには、主に、Package Access(PA)メッセージ、M2セクションメッセージ、CAメッセージ、M2短セクションメッセージ、データ伝送メッセージがある。例えばPAメッセージは、MMT-SIのエントリーポイントとなり、MMT-SIの各種のテーブルを伝送するために用いられる。
　このようなメッセージの種類が、message_byteとしてMMTPペイロードに記述されるmessage_id（メッセージ識別子）により識別される。
　図１３は、PAメッセージの構成を示す図である。
　message_idは、図１４に示すように0x0000として設定される。
　number_of_tables（テーブル数）は、このPAメッセージが格納するテーブルの数を示す。
　table_id（テーブル識別）は、このPAメッセージが格納するテーブルの識別子を示す。
　table（テーブル）は、このPAメッセージが格納するテーブルである。テーブルの１つであるMPT（MMTパッケージテーブル)が、PAメッセージのtable()に記述される。
　このようなPAメッセージの記述が、message_byteとしてMMTPペイロード（図１０）に含まれる。
　図１５は、MPTの構成を示す図である。
　MPTは、アセットのリストやアセットのネットワーク上の位置などの、パッケージを構成する情報を与える。MPTには記述子が含まれる。
　図１５に示す記述のうちのMPT_descriptors_length（MPT記述子長）は、MPT記述子領域の長さをバイト単位で示す。
　MPT_descriptors_byte（MPT記述子領域）は、MPTの記述子を格納する領域である。MPT_descriptors_byteに格納される記述子には、例えば、MPUタイムスタンプ記述子（MPU_Timestamp_Descriptor()）、MPU拡張タイムスタンプ記述子（MPU_Extended_Timestamp_Descriptor()）がある。
　MPUタイムスタンプ記述子は、MPUにおいて提示順序で最初のアクセスユニットの提示時刻を示す記述子である。また、MPU拡張タイムスタンプ記述子は、MPU内のアクセスユニットの復号時刻を提供する記述子である。
　図１６は、MPUタイムスタンプ記述子の構成を示す図である。
　MPUタイムスタンプ記述子のdescriptor_tagは、0x001として設定される。
　mpu_sequence_number（MPUシーケンス番号）は、当該MPUタイムスタンプ記述子においてタイムスタンプを記述するMPUのシーケンス番号を示す。上述したように、各MPUには、同一のアセットに属するMPUごとに同じシーケンス番号が付加される。
　mpu_presentation_time（MPU提示時刻）は、MPUの提示時刻をNTP形式で示す（３２＋ｎbit／２ｎHzのカウンタ値で示す）。
　図１７は、MPU拡張タイムスタンプ記述子の構成を示す図である。
　MPU拡張タイムスタンプ記述子のdescriptor_tagは、0x8026として設定される。
　mpu_sequence_number（MPUシーケンス番号）は、当該MPU拡張タイムスタンプ記述子において復号時刻等を指定するアクセスユニットが含まれるMPUのシーケンス番号を示す。
　mpu_decoding_time_offset（MPU復号時刻オフセット）は、MPUシーケンス番号により特定されるMPUにおいて、復号順で最初のアクセスユニットの復号時刻と、提示順で最初のアクセスユニットの提示時刻との差分の絶対値を、タイムスケールで示される時間単位で示す。
　num_of_au（アクセスユニット数）は、当該MPU拡張タイムスタンプ記述子で復号時刻等を指定するアクセスユニットの数を示す。
　dts_pts_offset（復号時刻・提示時刻オフセット）は、アクセスユニットの復号時刻から提示時刻までの時間を、タイムスケールで示される時間単位で示す。
　pts_offset（PTSオフセット）は、同一MPU内における、提示順で直前のアクセスユニットと現在のアクセスユニットとの提示時刻の差分を、タイムスケールで示される時間単位で示す。
　MPUタイムスタンプ記述子から、MPUの、提示順序で最初のアクセスユニットの提示時刻が特定される。また、MPU拡張タイムスタンプ記述子から、各アクセスユニットの復号時刻が特定される。
　図１８は、MMTにおけるPTSとDTSの算出方法を示す図である。
　図１８に示す各矩形は、あるMPUに含まれるGOPｎを構成するピクチャ（アクセスユニット）を示す。図１８の上段は、各アクセスユニットの復号順での並びを示し、下段は、各アクセスユニットの提示順での並びを示す。I/P/Bのアルファベットはピクチャタイプを示し、数字は提示順での各ピクチャの番号を示す。
　MPUタイムスタンプ記述子のmpu_presentation_timeは、MPU内において提示順序で最初のアクセスユニットの提示時刻を示す。MPUタイムスタンプ記述子が示す提示時刻は、図１８の左下の上向き三角形が指す時刻である。
　一方、MPU拡張タイムスタンプ記述子は、mpu_decoding_time_offsetにより、図１８の左側に破線矢印で示すように、MPU内において、復号順序で最初のアクセスユニットの復号時刻と、提示順序で最初のアクセスユニットの提示時刻との差分値を示す。
　また、MPU拡張タイムスタンプ記述子は、各アクセスユニットの復号時刻と提示時刻の差分値を、タイムスケールを単位時間とする値でdts_pts_offestにより示す。さらに、MPU拡張タイムスタンプ記述子は、同一MPU内における、提示順序で直前のアクセスユニットの提示時刻と現在のアクセスユニットの提示時刻の差分値を、タイムスケールを単位時間とする値でpts_offsetにより示す。
　これらの時刻や値を用いて、MPU内のｎ番目のアクセスユニットの復号時刻DTS(n)と提示時刻PTS(n)は、それぞれ下式（１）、式（２）により算出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　このように、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子から、各アクセスユニットのPTSとDTSが特定される。３２＋ｎbit／２ｎHzのカウンタ値であるmpu_presentation_timeを用いて求められるから、MPUのDTSも、３２＋ｎbit／２ｎHzのカウンタ値で示される時刻といえる。
　情報処理装置１においては、MMTPパケットの制御メッセージからMPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子がそれぞれ取得され、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子に基づいてPTSとDTSが求められる。PTSとDTSの算出は、他のMMTPパケットを用いて伝送されたMPUを構成する各アクセスユニットの復号開始前に行われる。
＜３．MPEG-2 TSについて＞
　次に、MPEG-2 TSについて説明する。
　図１９は、TSを構成するTSパケットの構成を示す図である。
　１つのTSパケットは、４bytesのヘッダに対して、１８４bytesの、ペイロード、アダプテーションフィールド、または、その両方が付加されることによって構成される。ヘッダには、例えば、ペイロード中に含まれるデータの種類の識別情報であるPIDが含まれる。このようなTSパケットの構成については例えばISO/IEC 138180-1で規定される。
　TSパケットのアダプテーションフィールドには、図２０において斜線を付して示すようにPCRが含まれる。図２０はアダプテーションフィールドの構成を示す図である。
　MMTからMPEG-2 TSへの変換時、情報処理装置１においては、NTP形式の時刻情報により表されるMMTの参照時刻を変換して得られたPCRが、TSパケットのアダプテーションフィールドに設定される。
　図２１は、PES(Packetized Elementary Stream)パケットの構成を示す図である。
　MPEG-2 TSにおいては、ビデオとオーディオのストリームは所定の単位毎に分割され、PESパケットに格納される。１つのPESパケットが、複数のTSパケットに分割される。PESパケットにはヘッダが付加され、図２１に示すようにPTSとDTSが記述される。
　MMTからMPEG-2 TSへの変換時、情報処理装置１においては、MMT-SIを解析することによって算出されたMMTのPTSとDTSを変換して得られたPTSとDTSがPESパケットに設定される。
＜４．情報処理装置の構成例＞
　図２２は、情報処理装置１の構成例を示すブロック図である。
　情報処理装置１は、受信部３１、MMT信号処理部３２、記録制御部３３、ドライブ３４、出力制御部３５、および通信部３６から構成される。
　受信部３１は、図示せぬアンテナからの放送波信号を受信し、復調処理、誤り訂正処理などの各種の処理を施す。受信部３１は、各種の処理を施すことによって得られたTVLストリームをMMTのコンテンツとしてMMT信号処理部３２に出力する。
　また、受信部３１は、コンテンツの伝送が通信の伝送路を介して行われる場合、通信部３６を制御してMMTのコンテンツを受信し、所定の処理を施すことによって得られたTVLストリームをMMT信号処理部３２に出力する。
　MMT信号処理部３２は、MMTのコンテンツを再生し、コンテンツの映像と音声をテレビジョン受像機から出力させたり、MMTのコンテンツをMPEG-2 TSのコンテンツに変換したりする。
　例えば、MMT信号処理部３２は、MMTのコンテンツを再生する場合、受信部３１から供給されたTLVストリームからビデオデータとオーディオデータを抽出し、デコードする。MMT信号処理部３２は、デコードして得られたコンテンツの映像と音声のデータを出力制御部３５に出力する。
　また、MMT信号処理部３２は、MMTのコンテンツをMPEG-2 TSのコンテンツに変換する場合、受信部３１から供給されたTLVストリームから抽出したMMTPパケットに格納されているデータをTSパケットに格納し直すなどしてTSを生成する。MMT信号処理部３２は、MPEG-2 TSのコンテンツを記録媒体１１に記録する場合、生成したTSを記録制御部３３に出力し、ネットワーク１２を介して他の装置に送信する場合、生成したTSを通信部３６に出力する。
　記録制御部３３は、ドライブ３４を制御し、MMT信号処理部３２により生成されたTSを、ドライブ３４に装着された記録媒体１１に記録させる。
　出力制御部３５は、MMT信号処理部３２から供給された映像と音声のデータを情報処理装置１に接続された例えばテレビジョン受像機に供給し、ディスプレイとスピーカからそれぞれ出力させる。
　通信部３６は、ネットワーク１２を介して各種の装置と通信を行う。例えば、通信部３６は、サーバからネットワーク１２を介して配信されたMMTのコンテンツを受信し、受信部３１に出力する。また、通信部３６は、MMT信号処理部３２により生成されたTSを、ネットワーク１２を介して他の装置に送信する。
　図２３は、図２２のMMT信号処理部３２と記録制御部３３の構成例を示すブロック図である。
　デマルチプレクサ５１は、受信部３１から供給されたTLVストリームを構成するTLVパケットからIPパケットを抽出し、IPパケットを用いて伝送されたMMTのデータのDEMUX処理を行う。
　例えば、デマルチプレクサ５１は、TLVパケットを用いて伝送された、NTP形式の時刻情報を含むIPパケットを抽出し、比較部５２に出力する。図５を参照して説明したように、NTP形式の時刻情報を含むIPパケットは、TLVストリームを構成するスロットのうちの最初のスロットの先頭に配置される。
　また、デマルチプレクサ５１は、IPパケットを用いて伝送されたMMTPパケットのうち、MMT-SIを格納するMMTPパケットをMMT-SI解析部５５に出力する。デマルチプレクサ５１は、MPUを構成するビデオデータ、オーディオデータを格納するMMTPパケットをMPU/MMTパケット解析部５８に出力する。MMTPペイロードに格納されるデータの種類については、MMTPパケットのpayload_typeにより識別される（図８）。
　比較部５２は、デマルチプレクサ５１から供給されたIPパケットに格納されたNTP形式の時刻情報に含まれる参照時刻（３２＋ｎbitのカウンタ値）をNTP clock counter５３に出力し、カウンタ値の初期値として設定する。
　また、比較部５２は、NTP clock counter５３から時刻情報と、デマルチプレクサ５１から供給されたNTP形式の時刻情報との誤差を表す信号をNTP clock counter５３に出力する。
　NTP clock counter５３は、VCO(Voltage Controlled Oscillator)を有している。NTP clock counter５３は、VCOが生成する２ｎHzのクロック信号をカウントし、３２＋ｎbitのカウンタ値を表す２ｎHzのシステムクロック信号を出力する。NTP clock counter５３から出力されたシステムクロック信号は、比較部５２、clock変換部５４、および映像音声同期制御部５６に供給される。
　clock変換部５４は、NTP clock counter５３から供給された２ｎHzのシステムクロック信号により表される３２＋ｎbitのカウンタ値を、MPEG-2 TSのPCRを示す４２bitのカウンタ値（２７MHz）に変換する。clock変換部５４による変換の詳細については後述する。clock変換部５４は、変換して得られた４２ビットのカウンタ値をPCRとしてTS化処理部６２に出力する。
　MMT-SI解析部５５は、デマルチプレクサ５１から供給されたIPパケットに格納されたMMTPパケットからMMT-SIを取得し、解析する。例えば、MMT-SI解析部５５は、MMTPパケットに格納されたPAメッセージにより伝送されたMPTを取得し、MPTに記述されたMPUタイムスタンプ記述子（図１６）とMPU拡張タイムスタンプ記述子（図１７）を取得する。
　また、MMT-SI解析部５５は、MPUタイムスタンプ記述子に基づいて各MPUのPTSを算出する（特定する）。MMT-SI解析部５５は、各MPUのPTSと、MPU拡張タイムスタンプ記述子の記述とを図１８を参照して説明したようにして用いて、各MPUを構成するアクセスユニットのDTSを算出する。
　MMT-SI解析部５５は、算出したPTSとDTSを、MPUのシーケンス番号を示すmpu_sequence_numberとともに、映像音声同期制御部５６とPTS/DTS変換部５７に出力する。上述したように、MPUタイムスタンプ記述子に含まれるmpu_sequence_numberは、提示時刻を指定するMPUのシーケンス番号を示す（図１６）。また、MPU拡張タイムスタンプ記述子に含まれるmpu_sequence_numberは、復号時刻等を指定するアクセスユニットが含まれるMPUのシーケンス番号を示す（図１７）。
　映像音声同期制御部５６は、NTP clock counter５３からのシステムクロック信号に従って動作し、MMT-SI解析部５５により算出されたPTSとDTSに基づいて、映像音声デコーダ６０によるデコードと出力のタイミングを制御する。映像音声同期制御部５６による映像音声デコーダ６０の制御は、MPU/MMTパケット解析部５８から供給されたMPUメタデータ、ムービーフラグメントメタデータなどのメタデータにも基づいて行われる。
　PTS/DTS変換部５７は、MMT-SI解析部５５により算出されたPTSとDTSを表す３２＋ｎbitのカウンタ値を、それぞれ、MPEG-2 TSの３３bitのPTSとDTSを表すカウンタ値（９０kHz）に変換する。PTS/DTS変換部５７による変換の詳細については後述する。PTS/DTS変換部５７は、変換して得られたMPEG-2 TSのPTSとDTSをTS化処理部６２に出力する。
　PTS/DTS変換部５７からは、変換して得られたMPEG-2 TSのPTSとDTSが関係するMPUのシーケンス番号を表すmpu_sequence_numberが出力される。また、PTS/DTS変換部５７においては、適宜、MPEG-2 TSに含める必要のあるSIがMMT-SIに基づいて生成され、TS化処理部６２に出力される。
　MPU/MMTパケット解析部５８は、デマルチプレクサ５１から供給されたIPパケットに格納されたMMTPパケットを解析することによって、各MPUのデータを取得する。各MPUのデータであるMPUメタデータ、ムービーフラグメントメタデータ、およびMFUは、それらが属するMPUのシーケンス番号を示す情報であるMPU_sequence_number（図９）により特定される。
　MPU/MMTパケット解析部５８は、MMTのコンテンツの再生時、MMTPペイロードから取得した各MPUのMPUメタデータとムービーフラグメントメタデータなどのメタデータを映像音声同期制御部５６に出力する。また、MPU/MMTパケット解析部５８は、MMTPペイロードから取得した、各MPUを構成するMFUのビデオデータとオーディオデータをデコーダバッファ５９に出力する。
　一方、MPU/MMTパケット解析部５８は、MMTからMPEG-2 TSへフォーマットの変換時、MMTPペイロードから取得した、各MPUを構成するMFUのビデオデータ（VIDEO ES）とオーディオデータ（AUDIO ES）をMPU_sequence_numberとともにバッファ６１に出力する。
　映像音声デコーダ６０は、映像音声同期制御部５６による制御に従って、デコーダバッファ５９に記録されたビデオデータとオーディオデータをデコードし、出力する。映像音声デコーダ６０から出力されたデータは出力制御部３５に供給され、コンテンツの映像と音声が出力される。
　TS化処理部６２は、バッファ６１に記録されたビデオデータとオーディオデータのうち、MPU_sequence_numberとして同じ値が設定されたデータをまとめることによってPESを構成する。また、TS化処理部６２は、各PESに対して、PTS/DTS変換部５７から供給された、各PESに関連するPTSとDTSを付加し、PESパケットを生成する。各PTS/DTSをどのPESに付加するのかは、PTS/DTS変換部５７から供給されたmpu_sequence_numberに基づいて特定される。
　TS化処理部６２は、生成したPESパケットのTSパケット化を行う。TS化処理部６２は、PESパケットのデータをペイロードに格納したTSパケットと、clock変換部５４により生成されたPCRをアダプテーションフィールドに含むTSパケットに基づいてTSを生成する。
　Partial TSの生成時、TS化処理部６２は、ARIB STD-B14で規定される、PAT、PMT、DAT、SITなどのMPEG-2 TSのSIを、PTS/DTS変換部５７から供給された情報に基づいてTSに埋め込む。
　PAT(Program Association Table)は、Partial TSに関連するPMTを伝送するTSパケットのパケット識別子を指定する情報である。PMT(Program Map Table)は、放送番組を構成する各符号化信号を伝送するTSパケットのパケット識別子を指定する情報である。PATとPMTは、100msに一回以上の周期で再送される。
　DIT(Discontinuity Information Table)は、Partial TSで伝送される番組の番組配列情報が不連続かもしれない変化点を指示する情報である。SIT(Selection Information Table)は、Partial TSで伝送される番組に関する情報を指示する情報である。
　TS化処理部６２は、以上のようなTS化処理を行うことによって得られたTSを記録制御部３３に出力する。
　記録制御部３３は、T-STD８１、PLL８２、Arrival time clock counter８３、Source packetizer８４、およびWrite Buffer８５から構成される。なお、図２３に示す記録制御部３３の構成は、レコーディングプロセスを規定するための概念上のモデルである。記録制御部３３は、このレコーダモデルに従って、TSを構成するTSパケットにATS(Arrival_time_stamp)を付加し、ソースパケットの並びを生成する機能を有する。
　MMT信号処理部３２から供給されたTSのi番目のバイトは、T-STD(Transport stream system target decoder)８１とSource packetizer８４に対して、時刻t(i)に入力される。
　なお、T-STD８１はレコーダモデルにおける仮想的なデコーダである。T-STD８１に対応するデコーダが記録制御部３３に存在するわけではない。
　PLL８２は、TSのPCRの値にロックされた２７MHzのクロックを発生する。
　Arrival time clock counter８３は、PLL８２が出力する２７MHzの周波数のパルスをカウントするバイナリカウンタである。Arrival_time_clock(i)は、時刻t(i)におけるArrival time clock counter８３のカウンタ値である。
　Source packetizer８４は、すべてのTSパケットにTP_extra_headerを付加し、ソースパケットを生成する。また、Source packetizer８４は、TSパケットにATSを付加する。
　具体的には、Source packetizer８４は、Arrival time clock counter８３から供給されるArrival_time_clock(i)を基に、ソースパケットのTP_extra_headerにおけるATSの値を設定する。ATSは、TSパケットの第１バイト目がT-STD８１とSource packetizer８４の両方へ到着する時刻を表す。
　Write Buffer８５は、Source packetizer８４により生成されたソースパケットを記録する。Write Buffer８５から出力された各ソースパケットは、ドライブ３４に供給され、記録媒体１１に記録される。
＜５．カウンタ値の変換について＞
＜５－１．PTS/DTS変換部５７のPTS/DTS変換＞
　ここで、PTS/DTSを示すカウンタ値の変換について説明する。
　図２４は、MPEG-2 TSにおけるカウンタ値と時間の関係を示す図である。
　図２４に示すグラフの横軸は時刻を示し、縦軸はカウンタ値を示す。図２５、図２６においても同様である。
　MPEG-2 TSのPTS/DTSは、それぞれPCRを基準として表される。PCRは４２bit（２７MHz）で表され、PTS/DTSは３３bit（９０kHz）で表される。PTS/DTSは３３bitで表されるから、時刻情報を表すための情報量としては３３bitで十分である。
　９０kHzの精度で３３bitカウンタを動作させた場合、カウンタ値のラップアラウンド（wrap around）は、カウンタ値が２３３となる点Ｐ１の時刻で生じる。点Ｐ１の時刻は、下式（３）に示されるように、おおよそ２６．５hとして求められる。
Figure JPOXMLDOC01-appb-M000003
　２回目のラップアラウンドは点Ｐ２の時刻で生じ、３回目のラップアラウンドは点Ｐ３の時刻で生じる。９０kHzの精度の３３bitカウンタのカウント値と、実時間との関係は、点Ｐ１，Ｐ２，Ｐ３の時刻でラップアラウンドが生じる、図２４に示されるものとなる。
　なお、原点と点Ｐ１１を結ぶ直線は、PCRのbit数と同じ４２bitカウンタを９０kHzの精度で動作させた場合の実時間とカウンタ値の関係を示す。
　図２５は、MMTにおけるカウンタ値と時間の関係を示す図である。
　上述したように、MMTのPTS/DTSは、それぞれ、NTP形式により３２＋ｎbit（１秒以下の精度は２ｎHz）で表される。
　２ｎHzの精度で３２＋ｎbitカウンタを動作させた場合、カウンタ値のラップアラウンドは、カウンタ値が２３２＋ｎとなる点Ｐ２１の時刻で生じる。点Ｐ２１の時刻は、下式（４）に示されるように、1193046hとして表される。
Figure JPOXMLDOC01-appb-M000004
　２ｎHzの精度の３２＋ｎbitカウンタのカウンタ値と、実時間との関係は、点Ｐ２１の時刻でラップアラウンドが生じる、一点鎖線で示されるものとなる。
　図２６は、MPEG-2 TSの３３bitカウンタの特性と、MMTの３２＋ｎbitカウンタの特性を重ねて示す図である。
　MMTのPTS/DTSが所定の時刻である時刻Ｔを示す場合、それに対応するMPEG-2 TSのPTS/DTSは、時刻Ｔを表す３３bitカウンタのカウンタ値を、３２＋ｎbitカウンタのカウンタ値に基づいて求めることによって特定される。
　具体的には、MPEG-2 TSのカウンタ値Ｘ’は、MMTのカウンタ値Ｘを元にして以下の手順で求められる。
・手順１
　MPEG-2 TSでのラップアラウンドの時刻における、MMTのカウンタ値Ａを求める。
　MMTのカウンタ値Ａは、実時間上で、２３３／９０kの時刻(≒２６．５h)に対応する値である。ｎ＝２４とすると、カウンタ値Ａは、下式（５）のように求められる。
Figure JPOXMLDOC01-appb-M000005
・手順２
　MMTのカウンタ値Ｘが示す時刻と同じ時刻を示すMPEG-2 TSのカウンタ値Ｘ’は、MMTのカウンタ値Ｘが示す時刻が２６．５hよりも小さい場合、下式（６）のように求められる。
Figure JPOXMLDOC01-appb-M000006
　一方、MMTのカウンタ値Ｘが示す時刻が２６．５hよりも大きい場合、MPEG-2 TSのカウンタ値Ｘ’は、剰余mod(Ｘ／Ａ)の値をMMTのカウンタ値Ｘとして用いて、下式（７）のように求められる。
Figure JPOXMLDOC01-appb-M000007
　図２３のPTS/DTS変換部５７は、このように、MMTの３２＋ｎbitカウンタの特性における実時間とカウンタ値との比と、MPEG-2 TSの３３bitカウンタの特性における実時間とカウンタ値との比を用いて、カウンタ値の変換を行う。
　例えばMMTのカウンタ値Ｘが示す時刻が２６．５hよりも小さい場合についてさらに説明すると、MMTの３２＋ｎbitカウンタの特性から下式（８）の関係が導かれ、MPEG-2 TSの３３bitカウンタの特性から下式（９）の関係が導かれる。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　式（８）、式（９）のｔ１は、MMTのカウンタ値がＸ、MPEG-2 TSのカウンタ値がＸ’となる時刻である。
　PTS/DTS変換部５７は、式（８）、式（９）にＸの値としてMMTのPTS/DTSの値を代入し、上式（６）と同様の計算により、カウンタ値Ｘ’を求めることになる。ｎが２４以外の値である場合であっても同様にしてカウンタ値の変換を行うことが可能である。
＜５－２．clock変換部５４のクロック変換＞
　次に、参照時刻を表すカウンタ値の変換について説明する。
　MMTにおいて、NTP形式の時刻情報に含まれる参照時刻は、３２＋ｎbitのカウンタ値として表される。
　clock変換部５４は、３２＋ｎbitのカウンタ値を、図２６を参照して説明したようにして、９０kHzの精度の３３bitカウンタのカウンタ値として変換する。
　また、clock変換部５４は、変換して得られた３３bitのカウンタ値のLSB側に、２７MHzの精度の９bitカウンタのカウンタ値を付加することによって、図２７に示すような構成の、２７MHzの精度の４２bitのカウンタ値を生成する。図２７において、右側がLSB側である。
　２７MHzの精度の９bitカウンタは、自走のフリーランカウンタとして例えばclock変換部５４が有しているカウンタである。この９bitカウンタのカウンタ値は、０～３００の範囲の値をとるように上限が設定される。
　clock変換部５４は、このようにして生成した４２bitのカウンタ値を、PCRとしてTS化処理部６２に出力する。PCRは、３３bit(９０kHz counter ０～(２３３－１))　＋　９bit(２７MHz counter ０～３００)として表される。
＜６．情報処理装置の動作＞
　次に、図２８のフローチャートを参照して、MMTのコンテンツをMPEG-2 TSのコンテンツに変換し、記録媒体１１に記録する情報処理装置１の一連の処理について説明する。
　ステップＳ１において、受信部３１は、放送波の伝送路または通信の伝送路を介して供給されたMMTのコンテンツを取得する。受信部３１は、MMTのコンテンツのデータであるTVLストリームをMMT信号処理部３２に出力する。
　ステップＳ２において、MMT信号処理部３２のデマルチプレクサ５１は、TLVストリームを構成するTLVパケットからIPパケットを抽出し、DEMUX処理を行う。すなわち、NTP形式の時刻情報を含むIPパケットは比較部５２に供給され、MMT-SIを格納するMMTPパケットはMMT-SI解析部５５に供給される。MPUを構成するビデオデータ、オーディオデータを格納するMMTPパケットはMPU/MMTパケット解析部５８に供給される。
　ステップＳ３において、MPU/MMTパケット解析部５８は、各MPUを構成するMFUのビデオデータとオーディオデータをMMTPパケットから抽出する。抽出されたビデオデータとオーディオデータはMPU_sequence_numberとともにバッファ６１に出力され、記憶される。
　ステップＳ４において、比較部５２は、NTP形式の時刻情報に含まれる参照時刻（３２＋ｎbitのカウンタ値）に基づいて、NTP clock counter５３の初期値を設定する。
　ステップＳ５において、NTP clock counter５３は、３２＋ｎbitのカウンタ値を表すシステムクロック信号を出力する。
　ステップＳ６において、clock変換部５４は、NTP clock counter５３から供給された２ｎHzのシステムクロック信号により表される３２＋ｎbitのカウンタ値を、MPEG-2 TSのPCRを示す４２bitのカウンタ値に変換する。変換して得られた４２ビットのカウンタ値はPCRとしてTS化処理部６２に供給される。
　ステップＳ７において、MMT-SI解析部５５は、MMTPパケットに格納されているMMT-SIを解析することによってMPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子を取得し、各MPUのPTSと各MPUを構成するアクセスユニットのDTSを算出する。
　ステップＳ８において、PTS/DTS変換部５７は、MMT-SI解析部５５により算出されたPTSとDTSを表す３２＋ｎbitのカウンタ値を、それぞれ、MPEG-2 TSの３３bitのPTSとDTSを表すカウンタ値に変換する。
　ステップＳ９において、TS化処理部６２は、MPU_sequence_numberとして同じ値が設定されたビデオデータとオーディオデータを用いてPESを構成し、各PESに関連するPTSとDTSを付加することによってPESパケットを生成する。
　ステップＳ１０において、TS化処理部６２は、PESパケットのTSパケット化を行う。
　ステップＳ１１において、TS化処理部６２は、PESパケットのデータをペイロードに格納したTSパケットに対して、clock変換部５４により生成されたPCRをアダプテーションフィールドに含むTSパケットを挿入し、TSを生成する。適宜、MMT-SIに基づいて生成されたSIを格納するTSパケットもTSに挿入される。
　ステップＳ１２において、記録制御部３３は、ドライブ３４を制御し、MMT信号処理部３２により生成されたTSを記録媒体１１に記録させる。
　以上の処理により、時間軸が異なるMMTのコンテンツをMPEG-2 TSのコンテンツに変換し、BDなどの記録媒体に記録することができる。
＜７．変形例＞
＜７－１．逆変換について＞
　以上においては、MMTのコンテンツをMPEG-2 TSのコンテンツに変換する場合について説明したが、MPEG-2 TSのコンテンツをMMTのコンテンツに変換することも可能である。
　この場合、情報処理装置１は、変換対象とするMPEG-2 TSのコンテンツのTSを構成するTSパケットからビデオデータとオーディオデータを取得し、MMTPパケットに格納し直す。
　また、情報処理装置１は、４２bitのカウンタ値として表されるPCRをTSパケットから抽出し、３２＋ｎbitのカウンタ値として表されるNTP形式の参照時刻に変換する。
　さらに、情報処理装置１は、３３bitのカウンタ値として表されるMPEG-2 TSのPTS/DTS（９０kHz）をPESパケットから抽出し、３２＋ｎbitのカウンタ値として表されるMMTのPTS/DTSに変換する。
　情報処理装置１は、ビデオデータとオーディオデータを格納するMMTPパケットと、MMTのPTS/DTSの算出に用いる記述子を伝送する制御メッセージを格納するMMTPパケットを生成する。また、情報処理装置１は、生成したそれらのMMTPパケットを格納するIPパケットとNTP形式の時刻情報を含むIPパケットを多重化することによって、TLVストリームを生成する。
　ここで、PTS/DTSの逆変換、参照時刻の逆変換は以下のようにして行われる。
　すなわち、MMTのカウンタ値Ｘは、MPEG-2 TSのカウンタ値Ｘ’を元にして以下の手順で求められる。
・手順１
　MPEG-2 TSでのラップアラウンドの時刻における、MMTのカウンタ値Ａを求める。
　MMTのカウンタ値Ａは、実時間上で、２３３/９０kの時刻(≒２６．５h)に対応する値である。ｎ＝２４とすると、カウンタ値Ａは、上式（５）のように求められる。
　この手順１の処理は、MMTのコンテンツをMPEG-2 TSのコンテンツに変換する場合の処理と同様の処理である。
・手順２
　MPEG-2 TSのカウンタ値Ｘ’が示す時刻と同じ時刻を示すMMTのカウンタ値Ｘは、MPEG-2 TSのカウンタ値Ｘ’が示す時刻が２６．５hよりも小さい場合、下式（１０）のように求められる。
Figure JPOXMLDOC01-appb-M000010
　一方、MPEG-2 TSのカウンタ値Ｘ’が示す時刻が２６．５hよりも大きい場合、MMTのカウンタ値Ｘは、剰余mod(Ｘ’／Ａ)の値をMPEG-2 TSのカウンタ値Ｘ’として用いて、下式（１１）のように求められる。
Figure JPOXMLDOC01-appb-M000011
　MPEG-2 TSのPTS/DTSは、このような逆変換処理によりMMTのPTS/DTSに変換される。また、図２７の構成を有するMPEG-2 TSのPCRは、そのMSB側の３３ビットのカウンタ値が、このような逆変換処理により３２＋ｎビットのカウンタ値に変換され、参照時刻として用いられる。
　なお、この手順からでは、Ａ以下のカウンタ値にしか変換できないが、内部的なカウンタを用い、カウンタ値を適宜付加することによって、Ａ以上のカウンタ値に変換することも可能である。
＜７－２．その他の例＞
　以上においては、MMTからMPEG-2 TSへの変換とMPEG-2 TSからMMTへの逆変換について説明したが、変換／逆変換の対象となるコンテンツのフォーマットはMMTとMPEG-2 TSに限られるものではない。上述した処理は、時間軸が異なる各種のフォーマットの変換／逆変換に用いることができる。
　変換／逆変換の対象となるコンテンツが、ビデオデータとオーディオデータの両方を含むものであるものとしたが、いずれか一方のコンテンツのフォーマットの変換／逆変換に上述した処理を適用するようにしてもよい。また、ビデオデータとオーディオデータ以外の種類のデータのフォーマットの変換／逆変換に適用されるようにしてもよい。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信する受信部と、
　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換する変換部と、
　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する多重化部と
　を備える情報処理装置。
（２）
　前記第１のフォーマットはMMTであり、
　前記第２のフォーマットはMPEG-2 TSである
　前記（１）に記載の情報処理装置。
（３）
　基準となる時刻を表す前記第１のカウンタ値は、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットのカウンタ値であり、
　基準となる時刻を表す前記第２のカウンタ値は、１秒以上の時刻を、精度を９０kHzとして３３ビットで表し、１秒以下の時刻を、精度を２７MHzとして９ビットで表す４２ビットのカウンタ値である
　前記（２）に記載の情報処理装置。
（４）
　前記多重化部は、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットに、基準となる時刻を表す前記第２のカウンタ値としてのPCRを含むTSパケットを付加し、前記第２の多重化データを生成する
　前記（３）に記載の情報処理装置。
（５）
　提示時刻を表す前記第１のカウンタ値と復号時刻を表す前記第１のカウンタ値は、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHzとする３２＋ｎビットのカウンタ値であり、
　提示時刻を表す前記第２のカウンタ値と復号時刻を表す前記第２のカウンタ値は、精度を９０kHzとして３３ビットで表すカウンタ値である
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記多重化部は、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットの元になるPESパケットに、提示時刻を表す前記第２のカウンタ値としてのPTSと復号時刻を表す前記第２のカウンタ値としてのDTSとを付加する
　前記（５）に記載の情報処理装置。
（７）
　前記多重化部は、MPUシーケンス番号に基づいて、同一のMPUに属する前記ビデオデータと前記オーディオデータを含むPESパケットを生成する
　前記（６）に記載の情報処理装置。
（８）
　前記第２の多重化データとしてのTSを記録媒体に記録させる記録制御部をさらに備える
　前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記記録媒体は、Blu-ray（登録商標） Discである
　前記（８）に記載の情報処理装置。
（１０）
　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信し、
　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換し、
　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する
　ステップを含む情報処理方法。
（１１）
　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信し、
　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換し、
　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１　情報処理装置，　１１　記録媒体，　３２　MMT信号処理部，　３３　記録制御部，　５１　デマルチプレクサ，　５２　比較部，　５３　NTP clock counter，　５４　clock変換部，　５５　MMT-SI解析部，　５６　映像音声同期制御部，　５７　PTS/DTS変換部，　５８　MPU/MMTパケット解析部，　５９　デコーダバッファ，　６０　映像音声デコーダ，　６１　バッファ，　６２　TS化処理部

Claims (11)

  1. 　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信する受信部と、
    　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換する変換部と、
    　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する多重化部と
    　を備える情報処理装置。
  2. 　前記第１のフォーマットはMMTであり、
    　前記第２のフォーマットはMPEG-2 TSである
    　請求項１に記載の情報処理装置。
  3. 　基準となる時刻を表す前記第１のカウンタ値は、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットのカウンタ値であり、
    　基準となる時刻を表す前記第２のカウンタ値は、１秒以上の時刻を、精度を９０kHzとして３３ビットで表し、１秒以下の時刻を、精度を２７MHzとして９ビットで表す４２ビットのカウンタ値である
    　請求項２に記載の情報処理装置。
  4. 　前記多重化部は、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットに、基準となる時刻を表す前記第２のカウンタ値としてのPCRを含むTSパケットを付加し、前記第２の多重化データを生成する
    　請求項３に記載の情報処理装置。
  5. 　提示時刻を表す前記第１のカウンタ値と復号時刻を表す前記第１のカウンタ値は、１秒以上の秒単位の時刻を３２ビットで表し、１秒以下の精度を２ｎHzとする３２＋ｎビットのカウンタ値であり、
    　提示時刻を表す前記第２のカウンタ値と復号時刻を表す前記第２のカウンタ値は、精度を９０kHzとして３３ビットで表すカウンタ値である
    　請求項３に記載の情報処理装置。
  6. 　前記多重化部は、前記ビデオデータを格納するTSパケットと前記オーディオデータを格納するTSパケットの元になるPESパケットに、提示時刻を表す前記第２のカウンタ値としてのPTSと復号時刻を表す前記第２のカウンタ値としてのDTSとを付加する
    　請求項５に記載の情報処理装置。
  7. 　前記多重化部は、MPUシーケンス番号に基づいて、同一のMPUに属する前記ビデオデータと前記オーディオデータを含むPESパケットを生成する
    　請求項６に記載の情報処理装置。
  8. 　前記第２の多重化データとしてのTSを記録媒体に記録させる記録制御部をさらに備える
    　請求項２に記載の情報処理装置。
  9. 　前記記録媒体は、Blu-ray（登録商標） Discである
    　請求項８に記載の情報処理装置。
  10. 　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信し、
    　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換し、
    　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する
    　ステップを含む情報処理方法。
  11. 　ビデオストリームとオーディオストリームを含むデータを第１のフォーマットで多重化した第１の多重化データを受信し、
    　前記第１の多重化データに時刻情報として含まれる、前記第１のフォーマットで規定するビット数の第１のカウンタ値を、第２のフォーマットで規定するビット数の第２のカウンタ値に変換し、
    　前記ビデオストリームを構成するビデオデータと前記オーディオストリームを構成するオーディオデータをそれぞれ前記第２のフォーマットのパケットに格納し、前記第２のカウンタ値を時刻情報として含む、前記第２のフォーマットの第２の多重化データを生成する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2017/034241 2016-10-07 2017-09-22 情報処理装置、情報処理方法、およびプログラム Ceased WO2018066385A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018543841A JP7034926B2 (ja) 2016-10-07 2017-09-22 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-198683 2016-10-07
JP2016198683 2016-10-07

Publications (1)

Publication Number Publication Date
WO2018066385A1 true WO2018066385A1 (ja) 2018-04-12

Family

ID=61831007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034241 Ceased WO2018066385A1 (ja) 2016-10-07 2017-09-22 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7034926B2 (ja)
WO (1) WO2018066385A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016032236A (ja) * 2014-07-30 2016-03-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016125655A1 (ja) * 2015-02-03 2016-08-11 日立マクセル株式会社 放送受信装置、放送受信方法及びコンテンツ出力方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016032236A (ja) * 2014-07-30 2016-03-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016125655A1 (ja) * 2015-02-03 2016-08-11 日立マクセル株式会社 放送受信装置、放送受信方法及びコンテンツ出力方法

Also Published As

Publication number Publication date
JPWO2018066385A1 (ja) 2019-07-25
JP7034926B2 (ja) 2022-03-14

Similar Documents

Publication Publication Date Title
JP7260687B2 (ja) 送信方法および送信装置
JP2023090754A (ja) 再生方法および再生装置
JP6935552B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP5708876B1 (ja) 送信装置、送信方法、受信装置および受信方法
US10305617B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6617809B2 (ja) 復号装置、復号方法、および復号用プログラム
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP2018067951A (ja) 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP7034926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7275212B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6684433B2 (ja) 送信装置、送信方法、並びに、プログラム
WO2016208417A1 (ja) データ処理装置、データ処理方法、並びに、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858224

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543841

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858224

Country of ref document: EP

Kind code of ref document: A1