WO2014203516A1 - 送信方法および受信方法 - Google Patents

送信方法および受信方法 Download PDF

Info

Publication number
WO2014203516A1
WO2014203516A1 PCT/JP2014/003193 JP2014003193W WO2014203516A1 WO 2014203516 A1 WO2014203516 A1 WO 2014203516A1 JP 2014003193 W JP2014003193 W JP 2014003193W WO 2014203516 A1 WO2014203516 A1 WO 2014203516A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
access unit
information
decoding
layer
Prior art date
Application number
PCT/JP2014/003193
Other languages
English (en)
French (fr)
Inventor
遠間　正真
賀敬 井口
西　孝啓
加藤　久也
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN201480023859.2A priority Critical patent/CN105165014B/zh
Priority to EP14813558.5A priority patent/EP3013057B1/en
Priority to EP20163285.8A priority patent/EP3723380B1/en
Priority to EP18197949.3A priority patent/EP3445053B1/en
Publication of WO2014203516A1 publication Critical patent/WO2014203516A1/ja
Priority to US14/943,068 priority patent/US10448033B2/en
Priority to US16/559,957 priority patent/US11265562B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Definitions

  • This disclosure relates to a data transmission method and a reception method.
  • the encoded data is generated by encoding content including video data and audio data based on a moving image encoding standard such as HEVC (High Efficiency Video Coding).
  • HEVC High Efficiency Video Coding
  • the predetermined transmission format includes, for example, MPEG-2 TS (Moving Picture Experts Group-2 Transport Stream) or MMT (MPEG Media Transport) (see Non-Patent Document 1).
  • MPEG-2 TS Motion Picture Experts Group-2 Transport Stream
  • MMT MPEG Media Transport
  • Patent Literature 1 discloses a technique for transmitting encoded media data for each packet in accordance with MMT.
  • MPEG media transport MMT
  • a transmission method is a transmission method for transmitting encoded data in which a video is hierarchically encoded into a base layer and an extended layer, and performs processing of decoding or displaying the encoded data
  • Each of the plurality of access units constituting the second set which is a written set, can be decoded by referring to the decoded data of the access unit in the base layer, and the time information is For the first access unit of the second set, the first time information indicating the time based on the reference clock for performing the processing performed for the first access unit of the first set, and the second access unit of the second set Second time information for specifying a time based on the reference clock for performing the processing to be performed.
  • FIG. 1 is a diagram illustrating an example of a picture prediction structure for each hierarchically encoded layer in order to achieve temporal scalability.
  • FIG. 2 is a diagram illustrating a relationship between a decoding time (DTS: Decode Time Stamp) and a display time (PTS: Presentation Time Stamp) in each picture of FIG.
  • FIG. 3 is a diagram illustrating the DTS difference of the first picture in the basic layer and the extended layer.
  • FIG. 4 is a diagram illustrating the encoded data of the base layer and the encoded data of the enhancement layer.
  • FIG. 5 is a diagram for explaining the data structure of an encoded stream in MMT.
  • FIG. 6 is a diagram for explaining the data structure of an encoded stream in MMT.
  • FIG. 5 is a diagram for explaining the data structure of an encoded stream in MMT.
  • FIG. 7 is a block diagram illustrating a configuration of the transmission apparatus according to the embodiment.
  • FIG. 8 is a flowchart of the transmission method according to the embodiment.
  • FIG. 9 is a diagram illustrating an MP4 file including encoded data of the base layer and an MP4 file including encoded data of the enhancement layer.
  • FIG. 10 is a diagram illustrating a configuration example of RAUs in the base layer and the extended layer.
  • FIG. 11 is a diagram illustrating an example of transmitting data of the base layer and the extended layer using the MMT.
  • FIG. 12 is a block diagram illustrating an example of a configuration of the receiving device.
  • FIG. 13 is a flowchart illustrating an operation for determining the DTS of the access unit included in the enhancement layer.
  • FIG. 14 is a diagram illustrating an example in which the encoded data of FIG. 1 is multiplexed by MMT.
  • FIG. 15 is a diagram illustrating an example of a transmission packet sequence when the encoded data of the base layer and the enhancement layer is a single encoded stream (packet sequence).
  • FIG. 16 is a block diagram illustrating another example of the configuration of the receiving device.
  • FIG. 17 is a flowchart illustrating a reception method for receiving encoded data of the base layer and the enhancement layer.
  • FIG. 18 is a block diagram illustrating another example of the configuration of the receiving device.
  • FIG. 19 is a diagram illustrating a flowchart of the reception method.
  • Scalability in decoding or display of encoded data can be realized by hierarchically encoding encoded data access units. For example, when only the low-level encoded data is decoded among a plurality of pieces of encoded data encoded in a plurality of layers, the frame rate is 60 fps, and when the high-level encoded data is decoded, the frame rate is 120 fps. And so on.
  • scalability in the time direction is realized by using B pictures (bidirectional reference prediction pictures) that can be referenced from other pictures. it can.
  • FIG. 1 is a diagram illustrating an example of a picture prediction structure for each hierarchically encoded layer in order to realize temporal scalability.
  • TemporalId is an identifier of the hierarchy of the coding structure, and indicates that the higher the TemporalId number, the deeper the hierarchy.
  • a plurality of square blocks represent pictures, where Ix in the plurality of blocks is an I picture (intra prediction picture), Px is a P picture (forward reference prediction picture), and Bx or bx is a B picture (bidirectional reference prediction picture) ). Further, x in Ix, Px, and Bx indicates a display order. That is, x represents the order in which pictures are displayed.
  • arrows between a plurality of pictures indicate a reference relationship.
  • a picture of B4 indicates a predicted image generated using I0 and B8 as reference images.
  • a B2 picture with a TemporalId of 3 cannot use a b1 picture with a TemporalId of 4 as a reference image.
  • the data structure of the encoded data is defined by a plurality of hierarchies in order to provide temporal scalability.
  • a video of 120 fps frame per second
  • a video of 60 fps is obtained. Is obtained.
  • the hierarchy whose TemporalId is 0 to 3 is a basic hierarchy
  • the hierarchy whose TemporalID is 4 is an extended hierarchy.
  • FIG. 2 is a diagram showing a relationship between a decoding time (DTS: Decode Time Stamp) and a display time (PTS: Presentation Time Stamp) in each picture of FIG.
  • DTS Decode Time Stamp
  • PTS Presentation Time Stamp
  • the picture I0 is displayed after the decoding of the picture B4 is completed so that a gap does not occur in the display process.
  • the picture b1 immediately after the picture I0 in the display order has been decoded so that no gap occurs in the display
  • the picture I0 can be displayed after the decoding of the picture B4 is completed.
  • the picture b1 can be displayed immediately after the picture I0 is displayed.
  • a time during which the picture b1 can be displayed immediately after the picture I0 is displayed is set as a display time offset that is a time between the time when the picture I0 is decoded and the time when the picture I0 is displayed.
  • the receiving device capable of decoding up to the encoded data of the enhancement layer reproduces a video of 120 fps
  • the receiving device capable of decoding only up to the base layer due to the processing capability or the like reproduces the video at 60 fps.
  • the hierarchy to be decoded can be switched.
  • the receiving apparatus can decode the received data by filtering according to the capability of the receiving apparatus.
  • a receiving device that can decode up to the encoded data of the enhancement layer decodes both the encoded data of the base layer and the encoded data of the enhancement layer, and a receiving device that can only decode up to the basic layer has only the encoded data of the base layer. Can be decoded by filtering.
  • the layered encoded data includes MPEG-2 TS (Transport Stream), MMT (MPEG Media Transport), MPEG-DASH (Dynamic Adaptive Streaming HTTP), RTP (Real-TimePro Transport), etc. Multiplexed by a simple multiplexing format and transmitted.
  • MPEG-2 TS Transport Stream
  • MMT MPEG Media Transport
  • MPEG-DASH Dynamic Adaptive Streaming HTTP
  • RTP Real-TimePro Transport
  • Multiplexed by a simple multiplexing format and transmitted is fundamental.
  • MP4 a file format based on MPEG ISO Base Media File Format
  • DTS and PTS information is expressed as DTS or PTS difference information between two consecutive access units (corresponding to pictures in the case of video).
  • FIG. 3 is a diagram showing the DTS difference of the first picture in the basic layer and the extended layer. Specifically, FIG. 3 is a diagram in which the pictures arranged in the decoding order of FIG. 2 are divided into a picture belonging to the base layer and a picture belonging to the enhancement layer.
  • FIG. 4 is a diagram illustrating the encoded data of the base layer and the encoded data of the enhancement layer.
  • a difference (hereinafter referred to as “decoding time offset”) occurs between the DTS 11 of the first picture I0 of the base layer and the DTS 21 of the first picture b1 of the enhancement layer.
  • decoding time offset In the MP4 based multiplexing method, there is a problem that only relative time information in the base layer or the extension layer can be shown, and a decoding time offset cannot be expressed. That is, there is a problem that the timing for decoding the pictures in the enhancement layer cannot be specified after the base layer is decoded.
  • the receiving apparatus separately encodes the encoded data of the basic layer and the encoded data of the enhancement layer as shown in FIG. To receive.
  • the decoder decoder
  • a data transmission method is a transmission method for transmitting encoded data in which video is hierarchically encoded into a base layer and an extension layer, A generation step of generating time information indicating a time at which decoding or display processing of the encoded data is performed, and the encoded data; and a transmission step of transmitting the generated encoded stream.
  • the encoded data has a plurality of sets each composed of a plurality of access units, and the plurality of the plurality of sets constituting the first set that is the set of the base layer among the plurality of sets Each of the access units can be independently decoded or can be decoded by referring to the decoded data of other access units of the base layer.
  • Each of the plurality of access units constituting the second set which is the set of the enhancement layer among the plurality of sets, refers to the decoded data of the access unit of the base layer.
  • the time information includes first time information indicating a time based on a reference clock for performing the processing performed on the first access unit of the first set, and the second time information. And second time information for specifying the time based on the reference clock for performing the processing performed on the second access units of the set.
  • the time of processing performed on the access unit in the extension layer can be specified.
  • the first access unit is an access unit in which the processing is performed first in the first set
  • the second access unit is first in the second set. It may be an access unit in which the processing is performed.
  • the processing is decryption, and each of the plurality of access units other than the first access unit of the first set has a first relative to the time indicated by the first time information.
  • Time is associated, and the time of display performed for each of the plurality of access units of the first set is specified by a second relative time based on the decoding time of the access unit, and the first Each of the plurality of access units other than the second access unit in the set of 2 is associated with a third relative time based on the time indicated by the second time information, and the second The time of display performed for each of the plurality of access units in the set may be specified by a fourth relative time based on the time of decoding of the access unit.
  • the processing is a display, and each of the plurality of access units other than the first access unit of the first set has a fifth relative to the time indicated by the first time information.
  • Time is associated, and the time of decoding performed for each of the plurality of access units of the first set is specified by a sixth relative time based on the display time of the access unit, and
  • the second time information may be a time offset that is a difference value from the first absolute time indicated by the first time information.
  • the set may be randomly accessible random access units, and the first access unit and the second access unit may be random access points.
  • the plurality of first sets and the plurality of second sets may be associated with each other on a one-to-one basis.
  • the second set may be decodable by referring only to the decoded data of the first set associated with the second set on a one-to-one basis.
  • the second set further stores identification information for identifying the first set associated with the second set on a one-to-one basis, and the second time information.
  • Second header information may be included.
  • the first set further stores identification information for identifying the second set associated with the first set on a one-to-one basis, and the second time information.
  • the first header information may be included.
  • the encoded stream further identifies first identification information for identifying the first set, and the second set associated with the first set in a one-to-one relationship.
  • correspondence information associated with second identification information may be included.
  • the time information may be stored in the control information of the encoded stream.
  • the second time information may indicate a second absolute time different from the first absolute time indicated by the first time information.
  • a first encoded stream including the first set and a second encoded stream including the second set are generated, and in the transmission step, the first code stream is generated.
  • the encoded stream may be transmitted using a first transmission path, and the second encoded stream may be transmitted using a second transmission path different from the first transmission path.
  • one of the first encoded stream and the second encoded stream is generated according to MPEG-2 TS (Moving Picture Experts Group-2 Transport Stream), and the first encoded stream is generated.
  • the other of the encoded stream and the second encoded stream may be generated according to MMT (MPEG Media Transport).
  • one of the first transmission path and the second transmission path is a transmission path used for broadcasting, and the other of the first transmission path and the second transmission path is used for communication. It may be a transmission line.
  • 5 and 6 are diagrams for explaining the data structure of an encoded stream in MMT.
  • the encoded data includes a plurality of access units (AU: Access Unit).
  • the encoded data is AV data encoded based on a moving image encoding standard such as HEVC, for example.
  • the encoded data includes video data, audio data, metadata associated therewith, still images, files, and the like.
  • one AU is a unit corresponding to one picture (one frame).
  • encoded data is converted into MP4 data (MP4 header is added) in accordance with the MP4 file format in GOP (Group Of Picture) units. That is, the encoded data has a plurality of sets (GOPs) each composed of a plurality of access units.
  • GOP is a random access point in encoded data
  • the head access unit in the decoding order in GOP corresponds to an IDR picture of HEVC or AVC or an I picture of non-IDR.
  • Each of the plurality of sets belongs to either the basic hierarchy or the extended hierarchy.
  • a set belonging to the basic hierarchy is referred to as a first set
  • a set belonging to the extended hierarchy is referred to as a second set.
  • each of the plurality of access units constituting the first set belongs to the base layer, it can be decoded independently, or data after decryption of other access units in the base layer Can be decrypted by referring to.
  • each of the plurality of access units constituting the second set belongs to the extension layer, it can be decoded by referring to the data after decoding of the access unit of the base layer.
  • the MP4 header included in the MP4 data the relative value of the display time (PTS described above) and the decoding time (DTS described above) of the access unit is described.
  • the MP4 header describes the sequence number of the MP4 data.
  • the MP4 data (MP4 file) is an example of an MPU (Media Processing Unit) that is a data unit defined in the MMT standard. In the MPU, only the sample data in the MPU may be transmitted without transmitting the MP4 header. Also in this case, the MPU corresponds to a random access unit, and the samples and MPUs constituting the MPU are associated one-to-one.
  • the MPU may be composed of a plurality of GOPs.
  • the encoded stream 10 in the MMT includes control information 11, time information 12, and a plurality of MMT packets 13.
  • the encoded stream 10 is a packet sequence of the MMT packet 13.
  • the encoded stream 10 is one of one or more streams constituting one MMT package.
  • An MMT package corresponds to one broadcast program content, for example.
  • the control information 11 includes information indicating that the encoded stream 10 is a scalable encoded stream (a stream including both the base layer and the enhancement layer), the type of scalable encoding, and the number of hierarchical levels (number of hierarchical levels). ) Information.
  • the types of scalable coding are temporal scalability, spatial scalability, SNR scalability, and the like
  • the number of hierarchical levels is the number of layers such as a basic layer and an enhancement layer.
  • control information 11 includes, for example, information indicating a correspondence relationship between a plurality of assets and packet IDs.
  • An asset is a data entity including data having the same transport characteristics, and is any one of video data, audio data, and the like, for example.
  • the control information 11 is specifically CI (Composition Information) and MPT (MMT Package Table) in MMT.
  • the control information 11 is PMT (Program Map Table) in MPEG2-TS and MPD (Media Presentation Description) in MPEG-DASH.
  • the time information 12 is information for determining the PTS or DTS of the access unit.
  • the time information 12 is, for example, PTS or DTS as the absolute time of the head access unit in the MPU belonging to the base layer.
  • PTS the absolute value of the PTS of the first access unit in the display order in the MPU
  • DTS the absolute value of the DTS of the first access unit in the decoding order in the MPU.
  • the time information 12 may be stored in the control information 11 as program information.
  • program information can be stored in an MMT message, and the time information 12 can be stored as a descriptor in the program information.
  • the picture that is the first access unit that is first decoded in the decoding order of the first set I0 is decoded at the time indicated by DTS11.
  • the first time information indicating the time (DTS11) based on the reference clock for performing the decoding performed on the first access unit of the first set is the time information 12 ( (First absolute time) may be stored. That is, the first absolute time indicates, for example, the DTS 11 itself.
  • the picture that is the second access unit that is first decoded in the decoding order of the second set b1 is decoded at the time indicated by DTS21.
  • the second time information for specifying the time (DTS21) based on the reference clock for performing the decoding performed on the second access unit of the second set is as described above.
  • the second time information may be stored as time offset information (decoding time offset) of the encoded stream 10.
  • the DTS 21 is specified by adding the decoding time offset indicated by the second time information to the DTS 11 indicated by the first time information. Further, as the second time information, not the time offset information with the first time information but the absolute value itself of the time information of the second set of access units may be stored.
  • the reference clock is NTP (Network Time Protocol) when an encoded stream is transmitted by the MMT method, and PCR (Program Clock Reference) when an encoded stream is transmitted by the MPEG2-TS method. It is.
  • NTP may be a reference clock set by the transmission device, and may not necessarily match an NTP value in an NTP server generally used on the Internet.
  • the MMT packet 13 is data in which MP4 data is packetized.
  • one MMT packet 13 includes one MP4 data (MPU).
  • MPU MP4 data
  • the MMT packet 13 includes a header 13a (MTT packet header; TS packet header in the case of MPEG2-TS) and a payload 13b.
  • MP4 data is stored in the payload 13b.
  • the payload 13b may store a division of MP4.
  • the header 13a is attached information regarding the payload 13b.
  • the header 13a includes a packet ID and time information.
  • the time information here is a relative value of the display time (PTS) or the decoding time (DTS) of the MP4 data.
  • the packet ID is an identification number indicating an asset of data included in the MMT packet 13 (payload 13b).
  • the packet ID is a unique identification number for each asset constituting the MMT package.
  • the encoded stream includes time information (DTS or PTS) indicating the time at which the encoded data is decoded or displayed, and the encoded data (ID1_ # 0, ID2_ # 0, ID1_ # 1 in FIG. 6). , ID1_ # 2, ID2_ # 1, ID2_ # 2, ).
  • This time information includes the first time information and the second time information described above.
  • FIG. 7 is a block diagram showing a configuration of the transmission apparatus according to the embodiment.
  • FIG. 8 is a flowchart of the transmission method according to the embodiment.
  • the transmission device 15 includes an encoding unit 16 and a transmission unit 17. Note that the components of the transmission device 15 are specifically realized by a microcomputer, a processor, a dedicated circuit, or the like.
  • time information indicating time for decoding or displaying a set composed of a plurality of access units, and a plurality of access units constituting the set Is generated (S11: generation step).
  • the generated encoded stream 10 is transmitted by the transmission unit 17 using a transmission path (S12: transmission step).
  • Example 1 Next, a transmission method and a reception method in a case where the encoded data of the enhancement layer is transmitted using an MP4 based multiplexing format will be specifically described.
  • the MP4-based multiplexing format may be, for example, MMT, DASH, or MP4 file data itself.
  • MMT MPU (Media Processing Unit) corresponds to an MP4 file
  • DASH DASH
  • a segment corresponds to Movie Fragment having MP4.
  • the time information at which decoding (display) is performed for each sample is expressed by the relative time (difference between samples, etc.) of the DTS (or PTS) of the plurality of access units, and the plurality of access units in the set
  • Any format other than MP4 can be applied as long as it is a multiplexed format that does not indicate the absolute value of the time information at which the decoding (display) is performed.
  • the sample here is a unit for handling data in MP4 and corresponds to an access unit.
  • FIG. 9 is a diagram illustrating an MP4 file (MP4b) including encoded data of the base layer and an MP4 file (MP4e) including encoded data of the extension layer.
  • MP4b MP4 file
  • MP4e MP4 file
  • sample_e (i) _dec sample_e (i) _dec_base + dec_offset (Formula 1) sample_e (i) _dec: DTS of the i-th sample in the enhancement layer sample_e (i) _dec_base: DTS before correction of the sample calculated from the sum of the differences in the decoding times of the 0th to i-th samples in the enhancement layer (sample_delta in 'stts' of MP4 or the sum of sample_duration in MovieFragment) DTS of each sample when the DTS of the first sample is 0).
  • the decoding time offset (dec_offset) is an offset value when the DTS of the first sample in the decoding order in the base layer is assumed to be 0.
  • the DTS for each sample of the extended layer in MP4e is expressed by the following equation.
  • sample_e (i) _dec sample_e (i) _dec_base + dec_offset + delta (Formula 2)
  • sample_e (i) _dec_base is obtained by adding the relative time 21 and the relative time 22, and delta is Since it is DTS11, it can obtain
  • DTS23 relative time 21 + relative time 22 + dec_offset + DTS11 (Formula 3) Further, the DTS for each sample of the base layer in MP4b is expressed by the following equation.
  • sample_b (i) _dec sample_b (i) _dec_base + dec_offset (Formula 4) sample_b (i) _dec: DTS of the i-th sample in the base layer sample_b (i) _dec_base: DTS before correction of the sample calculated from the difference sum of the decoding times of the 0th to i-th samples in the base layer (sample_delta in 'stts' of MP4 or the sum of sample_duration in MovieFragment) DTS of each sample when the DTS of the first sample is 0).
  • the DTS for each sample of the basic layer in MP4b is expressed by the following equation.
  • each of the plurality of access units other than the first access unit of the first set has a first relative time (relative time 11 to 11) based on the time indicated by the first time information (for example, DTS11). 18) are associated with each other. Further, the display times (PTS11 to 19) performed for each of the plurality of access units in the first set are specified by the second relative time with reference to the decoding time of the access unit. That is, for example, the time PTS15 at which the picture B8 is displayed in FIG. 3 is associated with the picture B8, the second relative time that is the difference from the time DTS13 at which the picture B8 is decoded. It is obtained by adding the second relative time associated with the picture B8.
  • each of the plurality of access units other than the second access unit of the second set has a third relative time (relative time 21 to relative time 21 to time) based on the time indicated by the second time information (for example, DTS 21). 27) are associated with each other.
  • the display times (PTS 21 to 28) performed for each of the plurality of access units in the second set are specified by a fourth relative time based on the decoding time of the access unit. That is, for example, the time PTS26 at which the picture b11 is displayed in FIG. 3 is associated with the picture b11 at the fourth relative time that is the difference from the time DTS26 at which the picture b11 is decoded. It is obtained by adding the fourth relative time associated with the picture b11.
  • Decoding time offset storage Note that the following three cases can be considered as the storage destination of the information indicating the decoding time offset (decoding time offset information).
  • decoding time offset information includes at least a decoding time offset and basic layer track identification information.
  • the identification information of the basic layer track includes the track ID of the basic layer track, the identification information of the MP4 file including the track of the basic layer (such as the file name of the MP4 file), and the like.
  • the second set of the extended hierarchy further stores identification information for identifying the first set associated with the second set and second time information stored therein. Header information may be included.
  • decoding time offset information includes at least a decoding time offset and track identification information of the enhancement layer. That is, the first set of the basic hierarchy further includes identification information for identifying the second set associated with the first set and the first time information storing the second time information. Header information may be included.
  • Decoding time offset information includes a decoding time offset and base layer track identification information. And at least the identification information of the track of the extension layer. That is, the encoded stream further includes first identification information for identifying the first set, and a second set for identifying the second set associated with the first set in a one-to-one relationship.
  • the second time information may be stored in the correspondence information, including correspondence information associated with the two pieces of identification information.
  • a box for storing the decoding time offset information is defined, and it is set directly below the track level box, or at the same level as or higher than the track level. Can be placed. Further, the decoding time offset information may be included by extending an existing Box without defining a new Box.
  • the decoding time offset may be realized by using a function of “nov” “elst” and “moof” “traf” in a non-reproduction section (empty duration). Also in this case, it is necessary to associate the track of the extended hierarchy with the track of the basic hierarchy.
  • the decoding time offset information may be stored in tracks of MP4 files that are independent of each other, different from the base layer and the extension layer, or different in the same MP4 file. It may be stored in a track.
  • the decoding time offset information can be stored in a higher-order box than the box in units of tracks, such as directly under 'moov' or 'moof'. At this time, the MP4 file identification information is unnecessary as the decoding time offset information.
  • the header information of MP4 includes the difference information (second relative time or fourth relative time), but the difference information reflects the decoding time offset. Applied to the DTS after
  • time scale value for the track in the basic layer and the extended layer. If the time scale is different, in the case of (3) above, it is specified in advance that the time scale of the decoding time offset information is indicated separately, or the time scale in the track of one of the layers is used. Also good.
  • decoding time offset is applied only to the DTS of the enhancement layer.
  • the MP4 file storing the basic layer or the extended layer may be composed of only the tracks of each layer, or may include other tracks.
  • Example 2 When playing back MP4 data while receiving it (progressive download, HTTP streaming, etc.), it can be decoded and played back by random access from the beginning of the Movie Fragment.
  • a randomly accessible unit is called a random access unit (RAU: Random Access Unit), and the head data of the RAU is called a random access point (RAP: Random Access Point). That is, a set (GOP) composed of a plurality of access units is called a random access unit, and a first access unit of the first set and a second access unit of the second set are called random access points.
  • RAU Random Access Unit
  • RAP Random Access Point
  • FIG. 10 shows a configuration example of RAUs in the basic layer and the extended layer.
  • RAUb represents a base layer RAU (first set)
  • RAUe represents an extended layer RAU (second set).
  • RAUb and RAUe are configured to be paired with each other. That is, the plurality of first sets and the plurality of second sets are associated with each other on a one-to-one basis.
  • the samples constituting the RAUe refer to the samples included in the paired RAUb, but do not refer to the samples included in other RAUbs. That is, the second set can be decoded by referring only to the decoded data of the first set that is associated with the second set on a one-to-one basis. Therefore, by acquiring RAUb and RAUe that are paired with each other, it is guaranteed that the samples included in the RAUs in both the base layer and the extended layer can be decoded.
  • the RAUs that are paired with each other can be associated by a sequence number that identifies the RAUs.
  • the decoding time of the sample leading in the decoding order in the enhancement layer RAU can be determined by adding the decoding time offset to the decoding time of the sample leading in the decoding order in the paired base layer RAU.
  • the DTS of the first sample in the decoding order in the RAU of the base layer is the first absolute time.
  • the first absolute time is a time determined by, for example, UTC (Coordinated Universal Time).
  • the first absolute time may be stored in content management information such as PMT (Program Map Table) in MPEG-2 TS, content management information acquired prior to content reception, or the like. Or you may store the information which shows the absolute value of DTS in the header information of Movie Fragment. Note that the decoding time of the first sample in the RAU of the base layer may be arbitrarily set in the receiving apparatus.
  • the decoding time offset information is necessary only in the first RAU that is randomly accessed. If the decoding time offset is reflected in the first sample in the decoding order in the first RAU, the subsequent sample in the first RAU, and the first The decoding time of the samples in the RAU following the RAU can be determined by sequentially adding the DTS difference information between successive samples included in the MP4 header information.
  • information indicating that the decoding time offset information is necessary only when determining the DTS of the first sample of the first RAU after random access may be stored separately.
  • Information indicating whether the RAUs of the basic layer and the extended layer are paired may be indicated in the MP4 file including the track of the basic layer or the extended layer, or in the content management information.
  • the RAUs of the base layer and the extended layer are not necessarily a pair.
  • information indicating the absolute value of the DTS of the sample that is the head in the decoding order in the RAU of the enhancement layer may be indicated in the header information of the MP4 file, the content management information, or the like.
  • information indicating the absolute value of the DTS of the first sample of the RAUs of the extended layer may be stored. That is, the second time information may indicate a second absolute time different from the first absolute time indicated by the first time information.
  • the base layer is transmitted using MPEG-2 TS and the extension layer is transmitted using DASH or MMT
  • RAU pairing cannot be performed unless a separate RAU signaling method is defined in the TS.
  • the RAU boundary can be indicated by the header information in the TS packet or the PES packet storing the RAU signaling information. Furthermore, when transmitting using a streaming format such as RTP, boundary information such as the RAU sequence number can be indicated in the payload header of the RTP packet.
  • RTP Session Description Protocol
  • the samples of the base layer and the extended layer are rearranged in the order of decoding based on the DTS of the RAU of the base layer and the RAU of the extended layer, and input to the decoder.
  • rearrangement is not necessary when the encoded data of the base layer and the enhancement layer are in decoding order.
  • FIG. 11 is a diagram illustrating an example of transmitting data of the base layer and the extended layer using the MMT.
  • the base layer and the extended layer are transmitted as different assets, and the MPU corresponds to a random access unit.
  • the MPU of the base layer is indicated by MPUb
  • the MPU of the enhancement layer is indicated by MPUe. If the MPUb of the base layer and the MPUe of the extension layer are paired with each other, the DTS of the first sample in the MPUe of the extension layer can be determined in the same manner as the RAU of the MP4 data described with reference to FIG.
  • the decoding time offset information is directly under 'moov' or 'mmpu' which is a box indicating MPU attribute information such as MPU sequence number. It may be stored directly below.
  • the MP4 file representing the MPU is identified. Only information (file name, asset ID, MPU sequence number, etc.) may be used.
  • the decoding time can be determined in the same manner as in the MP4 data method.
  • a segment is configured with TS data, but here, a segment is configured with MP4 (ISO Base Media File Format).
  • MP4 ISO Base Media File Format
  • FIG. 12 is a block diagram illustrating an example of a configuration of the receiving device.
  • FIG. 13 is a flowchart illustrating an operation for determining the DTS of the access unit included in the enhancement layer.
  • the reception device 20 includes an acquisition unit 21, a start determination unit 22, an offset reflection unit 23, and a subsequent DTS determination unit 24.
  • the components of the receiving device are specifically realized by a microcomputer, a processor, a dedicated circuit, or the like.
  • the receiving device 20 whether to decode only the base layer or both the base layer and the extended layer depends on information selected in advance by the user or the decoding capability of the receiving device. It is assumed that it has been determined in the previous stage of S21.
  • the acquisition unit 21 of the reception device 20 receives the encoded stream 10, analyzes the decoding time offset information of the encoded stream 10, and acquires the base layer track, the enhancement layer track, and the decoding time offset. (S21).
  • step S21 may be performed between the next step S22 and step S23.
  • the DTS of the access unit of the enhancement layer can be acquired only from the information of the enhancement layer.
  • the DTS of the access unit for starting decoding in the base layer is used.
  • the start determination unit 22 of the receiving device 20 determines whether or not the process is an access unit that starts decoding (S22).
  • the offset reflection unit 23 determines an access unit to be decoded first in the enhancement layer, and performs decoding.
  • a DTS reflecting the time offset is calculated (S23). Specifically, the DTS of the access unit to be decoded first in the enhancement layer is calculated by adding the decoding time offset to the first absolute time that is the DTS of the access unit to be decoded first in the base layer.
  • the access unit that starts decoding in the base layer is AU_b
  • the access unit immediately after the DTS with DTS Au_b in the enhancement layer is the access unit (AU_e) that starts decoding in the enhancement layer.
  • the RAU of the enhancement layer that becomes a pair of RAUs that start decoding in the base layer becomes the RAU that starts decoding in the enhancement layer.
  • the first access unit in the decoding order in the RAU that starts decoding is AU_e.
  • the extension layer RAU paired with the base layer can be acquired by searching for an MPU having the same MPU sequence number as the base layer MPU.
  • the sequence number of the MPU can be stored in the header information of the MMT packet.
  • the access unit of the extended layer immediately after the DTS is immediately after AU_b is searched, and the access unit is set as AU_e. That is, the DTS can be determined based on the information indicating the absolute value of the DTS of the sample that is the head in the decoding order in the RAU of the enhancement layer.
  • the DTS is determined depending on whether the RAU of the base layer and the extended layer is a pair or not, but it indicates whether or not both layers are a pair. If there is information, the operation may be switched according to the information.
  • the decoding time of the access unit at the beginning of the file or the RAU at the base layer is not 0 (delta is not 0, for example, an absolute time such as the start of 17:00: In this case, the value of delta is added separately to determine the DTS. Alternatively, a value obtained by adding the decoding time offset and delta may be indicated as decoding time offset information.
  • information for identifying different extension hierarchies may be stored, and at the time of reproduction, an extension hierarchy to be decoded may be selected and determined.
  • the decoding time offset information is set for each different enhancement layer.
  • the subsequent DTS determination unit 24 of the reception device 20 determines the DTS of the access unit immediately preceding in the decoding order. The difference (relative time) between the DTS of the current access unit and the immediately preceding access unit is added to determine the DTS of the current access unit (S24).
  • the offset reflection unit 23 and the subsequent DTS determination unit 24 receive MP4 header information ('stbl' in 'trak', 'run' in 'traf', etc.) necessary for calculating the DTS by an input (not shown). Have acquired.
  • RAU in the extended hierarchy the definition of RAP and RAU in the extended hierarchy will be described in detail.
  • the RAU of the extended hierarchy can be defined as follows. Note that RAP is the first access unit in decoding order in RAU. That is, the RAUe of the extended hierarchy is a unit that is paired with the RAUb of the basic hierarchy. Further, the RAUe of the enhancement layer is a unit used as a RAP in the base layer, such as Movie Fragment in MP4, MPU in MMT, or segment in DASH.
  • the head access unit in the decoding order in the RAU does not have to be an access unit (sync sample in MP4) such as an I picture or an IDR picture. Moreover, the information which shows that it is a sync sample does not need to be set.
  • the receiving device refers to the RAU information in the enhancement layer when searching for the access unit in the enhancement layer corresponding to the access unit that starts decoding in the base layer. For example, the DTS of the head access unit for each RAU is searched.
  • the operation when searching for an RAU in the enhancement layer, the operation may be performed assuming that Movie Fragment or MPU corresponds to RAU.
  • Information indicating the unit of RAU in the extended hierarchy may be stored in an extended hierarchy track, an MP4 file including the extended hierarchy track, or the like.
  • searching for an RAU in the extended hierarchy it is ignored whether the head access unit of the RAU is a sync sample.
  • decoding is performed from the MPU of the enhancement layer having the same sequence number as the MPU serving as the random access point of the base layer It may operate to.
  • the RAP in the extended layer may be regarded as equivalent to the sync sample.
  • a RAP in the enhancement layer may be indicated in a table of randomly accessible access units (samples) such as 'stss' and 'mfra'. In the receiving apparatus, the RAP can be searched based on these tables. Also, in Movie Fragment, flag information indicating whether the first sample is “sync sample” in “traf” may be set, and in the receiving apparatus, RAP may be searched according to whether it is “sync sample”. .
  • MP4 data includes an access unit of an extension layer
  • MP4 data such as MP4 data, MPEG-2 TS PMT, content management information, or the like.
  • MP4 data such as MP4 data, MPEG-2 TS PMT, content management information, or the like.
  • the brand of the MP4 file or “mmpu” can be used for the MPU of MMT.
  • the basic layer may be transmitted by broadcasting, and the extended layer may be transmitted by a communication network. That is, in the transmission method generation step, the first encoded stream including the base layer (first set) is generated according to MPEG-2 TS, and the second encoding including the enhancement layer (second set) is performed. The stream may be generated according to MMT.
  • the first encoded stream may be transmitted using a transmission path used in broadcasting, and the second encoded stream may be transmitted using a transmission path used in communication.
  • the first encoded stream and the second encoded stream may be generated according to a scheme opposite to the above. In this case, the transmission path used in the transmission step is also transmitted using the opposite transmission path.
  • Information necessary for obtaining encoded data of an extended layer such as RTSP (Real Time Streaming Protocol) commands, etc.
  • RTSP Real Time Streaming Protocol
  • a method for storing information indicating the access destination and access method of data transmitted from a transmission path different from that of broadcast data that is the same content is not limited to the examples of the basic layer and the extended layer. In general, for example, a combination of video data and audio data is widely applicable.
  • FIG. 14 is a diagram illustrating an example in which the encoded data in FIG. 1 is multiplexed by MMT.
  • the basic hierarchy is stored in asset 1 and the extended hierarchy is stored in asset 2, respectively.
  • Asset 1 is composed of MPU_b
  • asset 2 is composed of MPU_e.
  • the MPU of each asset is packetized and transmitted using an MMT packet, an RTP (Ream-time Transport Protocol) packet, or the like.
  • RTP Real-time Transport Protocol
  • the encoded data of the basic layer and the extended layer stored in the payload of the packet is packetized so as to be in the decoding order.
  • the center line in FIG. 14 shows the order of data stored in the payload of the packet when MPU_b and MPU_e are packetized and transmitted, and matches the decoding order of the encoded data.
  • the encoded data of the base layer and the enhancement layer is transmitted as one encoded stream, the encoded data of both layers is in the decoding order, so that the receiving device can
  • the data of the access unit of the corresponding enhancement layer can be acquired by sequentially decoding from the RAP. For this reason, the operation
  • the decoding order and the display order are obtained from the encoded data. Therefore, in the case of a fixed frame rate, the DTS and PTS of the access unit in the extension layer are accessed in the base layer. It can be determined from the unit's DTS, PTS and frame rate. In this case, the decoding time offset information in the enhancement layer may not be signaled.
  • FIG. 15 is a diagram illustrating an example of a transmission packet sequence when the encoded data of the base layer and the extension layer is a single encoded stream (packet sequence).
  • the encoded stream to be transmitted (the encoded stream received by the reception device), and the MPUs of the base layer and the enhancement layer are packetized into a transmission packet sequence.
  • a packet storing the encoded data of the base layer and a packet storing the encoded data of the extension layer are distinguished by identification information stored in the packet header or the like.
  • identification information for example, packet_id can be used for MMT packets, PID for TS packets, and SSID for RTP packets.
  • a TS packet sequence As an MPU and store the MPU in the TS payload. Further, the payload may not be an MPU, and if it is a TS packet, a PES packet of encoded data may be stored in the TS payload.
  • the base layer may be packetized in different formats, such as TS packets and extension layers MMT packets.
  • the segments of the base layer and the extended layer may be divided, and the data of the access units of both segments may be stored in the decoding order.
  • the number of layers may be 3 or more (for example, a basic layer and two extension layers). Even in this case, the encoded data of all layers is transmitted in the decoding order.
  • FIG. 16 is a block diagram showing another example of the configuration of the receiving device.
  • FIG. 17 is a flowchart illustrating a reception method for receiving encoded data of the base layer and the enhancement layer.
  • the reception device 30 includes a decoding start position determination unit 31, a decoding mode selection unit 32, a data acquisition unit 33, and a decoding unit 34.
  • the components of the receiving device 30 are specifically realized by a microcomputer, a processor, a dedicated circuit, or the like.
  • the decoding start position determination unit 31 of the receiving device 30 acquires a packet storing the encoded data of the base layer, and determines an access unit that starts decoding in the base layer (S31). At this time, at least a base layer packet is acquired based on separately acquired packet identification information, and an access unit to start decoding is determined based on a base layer random access point.
  • the decoding mode selection unit 32 of the receiving device 30 determines whether or not to decode the encoded data of the enhancement layer (S32).
  • the data acquisition unit 33 receives the packet storing the encoded data of the base layer and the encoded data of the enhancement layer.
  • the packet to be stored is acquired together (S33: mode 2).
  • S33: mode 2 For example, when the packet ID of the base layer is 1 and the packet ID of the extended layer is 2, both packets with packet IDs 1 and 2 may be acquired.
  • the packet ID is 2
  • a step is provided so that it can be handled in the same manner as when the ID is 1. Also good. That is, in this case, only the packet with ID 1 is acquired.
  • identification information as to whether the decoding order is ascending order may be provided in control information such as MMT control information (PA table or MP table) or MPEG-2 TS PMT.
  • the receiving device 30 analyzes the identification information, and if the ascending order is not performed, the process of rearranging the encoded data of the base layer and the extension layer is not performed in the decoding order. .
  • the decoding mode selection unit 32 determines not to decode the encoded data of the enhancement layer (No in S32)
  • the data acquisition unit 33 acquires only the packet storing the encoded data of the base layer (S34: mode) 1).
  • the decoding unit 34 of the receiving device 30 sequentially decodes the access units acquired according to the mode 1 and the mode 2 (S35). Even in the case of mode 2, since the encoded data of both the basic layer and the extended layer are arranged in the decoding order, it is not necessary to rearrange the encoded data. Decoded data is displayed (reproduced) according to scalability in the enhancement layer, such as 60 fps for mode 1 and 120 fps for mode 2.
  • FIG. 18 is a block diagram illustrating another example of the configuration of the receiving device.
  • FIG. 19 is a diagram illustrating a flowchart of the reception method.
  • the reception device 40 includes a reception unit 41 and a decoding unit 42.
  • the components of the receiving device are specifically realized by a microcomputer, a processor, a dedicated circuit, or the like.
  • the receiving unit 41 of the receiving device 40 receives an encoded stream including time information indicating the time at which the encoded data is decoded and the encoded data (S41).
  • the decoding unit 42 of the reception device 40 performs decoding on the encoded data of the received encoded stream at the time indicated by the time information (S42).
  • the time information may be a time at which display processing is performed.
  • a process of displaying the data decoded by the decoding unit 42 is performed at a time indicated by the time information by a display unit (not shown).
  • Modification 2 In the above description, the temporal direction scalability has been described as an example, but the same method can be applied to the spatial direction scalability when the DTS of the basic layer and the enhancement layer forming the same frame are different.
  • the absolute value of the DTS of the first sample in the basic layer is shown.
  • the present invention is not limited to this, and the absolute value of the PTS of the first sample in the display order in the basic layer may also be indicated.
  • the absolute value of DTS may be determined by obtaining the difference between PTS and DTS from the header information of MP4.
  • the difference between DTS and PTS (that is, the second relative time and the fourth relative time) is stored in the MP4 header information. For this reason, the absolute value of PTS may be shown instead of the absolute value of DTS.
  • the first time information is information indicating a time based on the reference clock, which is displayed for the first access unit of the first set.
  • the second time information is information for specifying a time based on the reference clock for performing the display performed for the second access units in the second set.
  • Each of the plurality of access units other than the first access unit in the first set is associated with a fifth relative time based on the time indicated by the first time information.
  • the time of decoding performed for each of the plurality of access units in the first set is specified by a sixth relative time based on the display time of the access unit.
  • each of the plurality of access units other than the second access unit in the second set is associated with a seventh relative time based on the time indicated by the second time information.
  • the time of decoding performed for each of the plurality of access units in the second set is specified by an eighth relative time with reference to the display time of the access unit.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the transmission device, the reception device, and the like according to each of the above embodiments is the following program.
  • this program is a transmission method for transmitting encoded data in which video is hierarchically encoded into a base layer and an extended layer to a computer, and the time at which the encoded data is decoded or displayed
  • Each of the plurality of access units constituting a first set that is the set of the base layer among the plurality of sets is independently decodable.
  • Each of the plurality of access units constituting the second set which is the set of the extension layers can be decoded by referring to the data after decoding of the access units of the base layer, and the time information
  • the first time information indicating the time based on a reference clock for performing the processing performed on the first access unit of the first set, and the second access unit of the second set
  • the transmission method including the second time information for specifying the time based on the reference clock is performed.
  • this program is a reception method for receiving encoded data in which a video is hierarchically encoded into a base layer and an extended layer, and a time at which the encoded data is decoded or displayed.
  • the encoded data has a plurality of sets each composed of a plurality of access units, and constitutes a first set that is the set of the base layer among the plurality of sets.
  • Each of the plurality of access units can be independently decrypted or refer to the decrypted data of other access units of the base layer.
  • the time information includes first time information indicating a time for performing the processing performed on the first access unit of the first set, and the second time information. And a second time information for specifying a time for performing the process performed on the second access unit of the set.
  • another processing unit may execute a process executed by a specific processing unit. Further, the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
  • the comprehensive or specific aspect of the present disclosure may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM.
  • the comprehensive or specific aspect of the present disclosure may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
  • the transmission method and the reception method according to one or more aspects of the present disclosure have been described based on the embodiment, but the present disclosure is not limited to this embodiment. Unless it deviates from the gist of the present disclosure, one or more of the present disclosure may be applied to various modifications conceived by those skilled in the art in the present embodiment, or forms configured by combining components in different embodiments. It may be included within the scope of the embodiments.
  • This disclosure is useful as a transmission method, a reception method, and the like that can specify the processing time of the access unit in the extended hierarchy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　映像が階層的に符号化された符号化データの送信方法であって、符号化データの復号または表示の処理を行う時刻を示す時刻情報と、符号化データとを含む符号化ストリームを生成する生成ステップと、生成した符号化ストリームを送信する送信ステップと、を含み、符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、時刻情報は、第１の集合の第１のアクセスユニットに対して行われる処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、第２の集合の第２のアクセスユニットに対して行われる処理を行う、基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む。

Description

送信方法および受信方法
　本開示は、データの送信方法および受信方法に関する。
　従来、符号化データを所定の伝送フォーマットで伝送する技術が知られている。符号化データは、映像データ及び音声データを含むコンテンツを、ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）などの動画像符号化規格に基づいて符号化することで生成される。
　所定の伝送フォーマットには、例えば、ＭＰＥＧ－２　ＴＳ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）、又は、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）などがある（非特許文献１参照）。例えば、特許文献１には、ＭＭＴに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。
　符号化データの復号及び表示におけるスケーラビリティを実現するために、映像を階層化して符号化することについての議論があるが、階層化された符号化データの送信方法については考慮されていない。
Ｉｎｆｏｒｍａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ　－　Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｃｏｄｉｎｇ　ａｎｄ　ｍｅｄｉａ　ｄｅｌｉｖｅｒｙ　ｉｎ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｅｎｖｉｒｏｎｍｅｎｔ　－　Ｐａｒｔ１：ＭＰＥＧ　ｍｅｄｉａ　ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＩＳＯ／ＩＥＣ　ＤＩＳ　２３００８－１
　本開示の一態様に係る送信方法は、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む。
　なお、これらの全般的または具体的な態様は、データ受信方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、データ送信方法、データ受信方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
図１は、時間スケーラビリティを実現するために、階層的に符号化された階層ごとにおけるピクチャの予測構造の一例を示す図である。 図２は、図１の各ピクチャにおける復号時刻（ＤＴＳ：Ｄｅｃｏｄｅ　Ｔｉｍｅ　Ｓｔａｍｐ）と表示時刻（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）との関係を示す図である。 図３は、基本階層と拡張階層とにおける先頭のピクチャのＤＴＳの差分を示す図である。 図４は、基本階層の符号化データと、拡張階層の符号化データとを示す図である。 図５は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。 図６は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。 図７は、実施の形態に係る送信装置の構成を示すブロック図である。 図８は、実施の形態に係る送信方法のフローチャートである。 図９は、基本階層の符号化データを含むＭＰ４ファイルと、拡張階層の符号化データを含むＭＰ４ファイルとを示す図である。 図１０は、基本階層および拡張階層のＲＡＵの構成例を示す図である。 図１１は、ＭＭＴを用いて基本階層と拡張階層とのデータを送信する例を示す図である。 図１２は、受信装置の構成の一例を示すブロック図である。 図１３は、拡張階層に含まれるアクセスユニットのＤＴＳを決定する動作を示すフローチャートを示す図である。 図１４は、図１の符号化データをＭＭＴにより多重化する例を示す図である。 図１５は、基本階層および拡張階層の符号化データを１本の符号化ストリーム（パケット列）としたときの送信パケット列の一例を示す図である。 図１６は、受信装置の構成の他の一例を示すブロック図である。 図１７は、基本階層および拡張階層の符号化データを受信する受信方法を示すフローチャートである。 図１８は、受信装置の構成の他の一例を示すブロック図である。 図１９は、受信方法のフローチャートを示す図である。
　（本開示の基礎となった知見）
　符号化データの復号または表示におけるスケーラビリティは、符号化データのアクセスユニットを、階層的に符号化することで実現可能である。例えば、複数の階層に符号化された複数の符号化データのうち、低階層の符号化データのみを復号するとフレームレートが６０ｆｐｓである場合に、高階層の符号化データまで復号するとフレームレートが１２０ｆｐｓになるなどである。
　ここで、低階層の符号化データと高階層の符号化データとが独立に送信される場合を考える。低階層の符号化データと高階層の符号化データを受信した受信装置は、両階層の符号化データを復号して例えばフレームレート１２０ｆｐｓの映像を得ようとする場合、受信した各階層の符号化データを復号順に並べ替えてから復号する必要がある。しかしながら、受信したデータを、アクセスユニットのＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ：復号時刻）、あるいは、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ：表示時刻）などに基づいて復号順に並べ替える必要があると共に、拡張階層におけるアクセスユニットのＤＴＳやＰＴＳが一意に決定できないという課題があった。
　ＭＰＥＧ－４　ＡＶＣやＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）などの符号化方式においては、他のピクチャから参照可能なＢピクチャ（双方向参照予測ピクチャ）を用いることにより時間方向のスケーラビリティ（時間スケーラビリティ）が実現できる。
　図１は、時間スケーラビリティを実現するために、階層的に符号化された階層ごとにおけるピクチャの予測構造の一例を示す図である。
　図１における、ＴｅｍｐｏｒａｌＩｄとは符号化構造の階層の識別子であり、ＴｅｍｐｏｒａｌＩｄの数字が大きくなるほど深い階層であることを示す。複数の四角のブロックは、ピクチャを示し、複数のブロック内のＩｘはＩピクチャ（画面内予測ピクチャ）、ＰｘはＰピクチャ（前方参照予測ピクチャ）、ＢｘまたはｂｘはＢピクチャ（双方向参照予測ピクチャ）を示す。また、Ｉｘ、Ｐｘ、およびＢｘのｘは表示オーダーを示す。つまり、ｘは、ピクチャを表示する順番を表わす。
　また、複数のピクチャ間の矢印は参照関係を示し、例えば、Ｂ４のピクチャはＩ０およびＢ８を参照画像として生成された予測画像を示している。
　ここで、自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄを持つピクチャを参照画像として使うことは禁止されている。具体的には、ＴｅｍｐｏｒａｌＩｄが３のＢ２のピクチャは、ＴｅｍｐｏｒａｌＩｄが４のｂ１のピクチャを参照画像として使うことはできない。
　図１に示すように、符号化データのデータ構造を複数の階層で規定しているのは、時間スケーラビリティを持たせるためである。例えば、図１においてＴｅｍｐｏｒａｌＩｄが０から４までの全てのピクチャを復号した場合、１２０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）の映像が得られるが、ＴｅｍｐｏｒａｌＩｄが０から３までの階層のみを復号した場合、６０ｆｐｓの映像が得られる。図１では、ＴｅｍｐｏｒａｌＩｄが０～３で示される階層は基本階層であり、ＴｅｍｐｏｒａｌＩＤが４で示される階層は拡張階層である。つまり、基本階層の符号化データのみを復号した場合では６０ｆｐｓの映像が得られ、拡張階層まで復号すると１２０ｆｐｓの映像が得られる。なお、これは一例であり、基本階層や拡張階層とＴｅｍｐｏｒａｌＩｄとの対応付けとしては他の組合せも可能である。また、基本階層および拡張階層の２種類の階層以外に階層があってもよい。つまり、階層が３種類以上であってもよい。
　図２は、図１の各ピクチャにおける復号時刻（ＤＴＳ：Ｄｅｃｏｄｅ　Ｔｉｍｅ　Ｓｔａｍｐ）と表示時刻（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）との関係を示す図である。図２に示すように、複数のピクチャは、復号順と表示順とが異なる場合がある。この場合、表示の処理においてギャップが発生しないように、ピクチャＩ０は、ピクチャＢ４の復号完了後に表示される。具体的には、表示においてギャップが発生しないように、表示順においてピクチャＩ０の直後であるピクチャｂ１が復号済みであることが必須であるため、ピクチャＩ０をピクチャＢ４の復号完了後に表示させることでピクチャＩ０を表示した直後にピクチャｂ１を表示可能な状態としている。つまり、この場合、ピクチャＩ０を復号する時刻と表示する時刻との間の時間である表示時刻オフセットとして、ピクチャＩ０を表示した直後にピクチャｂ１を表示可能な時間が設定されている。
　ここで、拡張階層の符号化データまで復号できる受信装置では、１２０ｆｐｓの映像を再生し、処理能力などの都合により基本階層までしか復号できない受信装置では６０ｆｐｓで再生するなど、受信装置の能力に応じて復号する階層を切替えられるようにすることを考える。このとき、基本階層における符号化データと拡張階層における符号化データとが識別できるようにして伝送すれば、受信装置は、受信装置の能力などに応じて、受信データをフィルタリングすることで復号できる。つまり、拡張階層の符号化データまで復号できる受信装置では、基本階層の符号化データおよび拡張階層の符号化データの両方について復号し、基本階層までしか復号できない受信装置では基本階層の符号化データのみをフィルタリングすることで復号することができる。
　また、階層化された符号化データは、ＭＰＥＧ－２　ＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）や、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）、ＭＰＥＧ－ＤＡＳＨ（Ｄｙｎａｍｉｃ　Ａｄａｐｔｉｖｅ　Ｓｔｒｅａｍｉｎｇ　ｏｖｅｒ　ＨＴＴＰ）、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）など、様々な多重化フォーマットにより多重化して送信される。ここで、ＭＭＴやＭＰＥＧ－ＤＡＳＨにおいては、ＭＰ４（ＭＰＥＧのＩＳＯ　Ｂａｓｅ　Ｍｅｄｉａ　Ｆｉｌｅ　Ｆｏｒｍａｔを基本とするファイルフォーマット）を用いた多重化が基本となっている。特にＭＰ４においては、ＤＴＳやＰＴＳの情報は、連続する２つのアクセスユニット（ビデオであればピクチャに相当）の間のＤＴＳまたはＰＴＳの差分情報として表現される。
　図３は、基本階層と拡張階層とにおける先頭のピクチャのＤＴＳの差分を示す図である。具体的には、図３は、図２の復号順に並ぶピクチャを、基本階層に属するピクチャと、拡張階層に属するピクチャとに分けて記載した図である。図４は、基本階層の符号化データと、拡張階層の符号化データとを示す図である。
　図３に示すように、基本階層の先頭のピクチャＩ０のＤＴＳ１１と拡張階層の先頭のピクチャｂ１のＤＴＳ２１とには、差分（以下、「復号時刻オフセット」と呼ぶ）が発生する。しかしながら、ＭＰ４ベースの多重化方法においては、基本階層または拡張階層における相対的な時刻情報しか示すことができず、復号時刻オフセットが表現できないという課題がある。つまり、基本階層が復号された後で拡張階層のピクチャを復号するタイミングを特定できないという課題がある。
　したがって、基本階層の符号化データと拡張階層の符号化データとが独立に送信されると、受信装置は、図４に示すような基本階層の符号化データと拡張階層の符号化データとを別々に受信する。このとき、両階層の符号化データを復号する場合には、両階層の符号化データを図３に示すような復号順に並べ替えてからデコーダ（復号器）に入力する必要がある。このため、アクセスユニット毎のＤＴＳを取得し、ＤＴＳに基づいてアクセスユニットを復号順に並べ替える処理が発生し、復号前の処理量が増加するという課題もある。
　このような問題を解決するために、本開示の一態様に係るデータ送信方法は、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む。
　これによれば、基本階層と拡張階層とにおける符号化データを、異なるデータとして送信したとしても、拡張階層のアクセスユニットに対して行われる処理の時刻を特定できる。
　例えば、前記第１のアクセスユニットは、前記第１の集合のうちで、最初に前記処理が行われるアクセスユニットであり、前記第２のアクセスユニットは、前記第２の集合のうちで、最初に前記処理が行われるアクセスユニットであってもよい。
　例えば、前記処理は、復号であり、前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、前記第１の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第２の相対時間で特定され、前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、前記第２の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第４の相対時間で特定されてもよい。
　例えば、前記処理は、表示であり、前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第５の相対時間が対応付けられており、前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第６の相対時間で特定され、前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第７の相対時間が対応付けられており、前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第８の相対時間で特定されてもよい。
　例えば、前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻との差分値である時刻オフセットであってもよい。
　例えば、前記集合は、ランダムにアクセス可能なランダムアクセスユニットであり、前記第１のアクセスユニットおよび前記第２のアクセスユニットは、ランダムアクセスポイントであってもよい。
　例えば、複数の前記第１の集合と、複数の前記第２の集合とは、それぞれ１対１で対応付けられていてもよい。
　例えば、前記第２の集合は、当該第２の集合に１対１で対応付けられている前記第１の集合の復号後のデータのみを参照することによって復号可能であってもよい。
　例えば、前記第２の集合は、さらに、当該第２の集合に１対１で対応付けられている前記第１の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第２のヘッダ情報を含んでもよい。
　例えば、前記第１の集合は、さらに、当該第１の集合に１対１で対応付けられている前記第２の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第１のヘッダ情報を含んでもよい。
　例えば、前記符号化ストリームは、さらに、前記第１の集合を識別するための第１の識別情報と、当該第１の集合と１対１で対応付けられている前記第２の集合を識別するための第２の識別情報とが対応付けられた対応情報を含んでもよい。
　例えば、前記時刻情報は、前記符号化ストリームの制御情報に格納されていてもよい。
　例えば、前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻とは異なる第２の絶対時刻を示してもよい。
　例えば、前記生成ステップでは、前記第１の集合を含む第１の符号化ストリームと、前記第２の集合を含む第２の符号化ストリームとを生成し、前記送信ステップでは、前記第１の符号化ストリームを第１の伝送路を用いて送信し、前記第２の符号化ストリームを前記第１の伝送路とは異なる第２の伝送路を用いて送信してもよい。
　例えば、前記生成ステップでは、前記第１の符号化ストリームおよび前記第２の符号化ストリームの一方を、ＭＰＥＧ－２　ＴＳ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）にしたがって生成し、前記第１の符号化ストリームおよび前記第２の符号化ストリームの他方を、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）にしたがって生成してもよい。
　例えば、前記第１の伝送路および前記第２の伝送路の一方は、放送で使用される伝送路であり、前記第１の伝送路および前記第２の伝送路の他方は、通信で使用される伝送路であってもよい。
　なお、これらの全般的または具体的な態様は、データ受信方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体記録媒体で実現されてもよく、データ受信方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、本開示の一態様に係るデータ送信方法およびデータ受信方法について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　［送信方法］
　以下、実施の形態に係る送信方法（送信装置）について図面を参照しながら説明する。実施の形態では、一例としてＭＭＴにしたがって符号化データを送信する送信方法について説明する。
　まず、ＭＭＴにおける符号化ストリームのデータ構造について説明する。図５および図６は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。
　図５に示されるように、符号化データは、複数のアクセスユニット（ＡＵ：Ａｃｃｅｓｓ　Ｕｎｉｔ）からなる。符号化データは、例えば、ＨＥＶＣなどの動画像符号化規格に基づいて符号化されたＡＶデータである。符号化データは、具体的には、映像データ、音声データ、並びに、これらに付随するメタデータ、静止画およびファイルなどを含む。符号化データが映像データである場合、１つのＡＵは、１つのピクチャ（１フレーム）に相当する単位である。
　ＭＭＴでは、符号化データは、ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）単位でＭＰ４のファイルフォーマットにしたがって、ＭＰ４データ化される（ＭＰ４ヘッダが付与される）。つまり、符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合（ＧＯＰ）を有する。ＧＯＰは符号化データにおけるランダムアクセスポイントであって、ＧＯＰにおける復号順で先頭のアクセスユニットは、ＨＥＶＣやＡＶＣのＩＤＲピクチャ、あるいは、ｎｏｎ－ＩＤＲのＩピクチャに相当する。この複数の集合は、それぞれが、基本階層および拡張階層のいずれかに属している。ここで、基本階層に属する集合を第１の集合とし、拡張階層に属する集合を第２の集合とする。
　なお、第１の集合を構成している複数のアクセスユニットのそれぞれは、基本階層に属しているので、独立して復号可能であるか、または、基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能である。また、第２の集合を構成している複数のアクセスユニットのそれぞれは、拡張階層に属しているので、基本階層のアクセスユニットの復号後のデータを参照することによって復号可能である。
　ＭＰ４データに含まれるＭＰ４ヘッダには、アクセスユニットの表示時刻（上述のＰＴＳ）や復号時刻（上述のＤＴＳ）の相対値が記述される。また、ＭＰ４ヘッダには、ＭＰ４データのシーケンス番号が記述される。なお、ＭＰ４データ（ＭＰ４ファイル）は、ＭＭＴ規格において定義されるデータ単位であるＭＰＵ（Ｍｅｄｉａ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）の一例である。ＭＰＵにおいては、ＭＰ４のヘッダを送信せずに、ＭＰＵにおけるサンプルデータのみを送信するなどしてもよい。この場合も、ＭＰＵはランダムアクセス単位に相当し、ＭＰＵを構成するサンプルとＭＰＵとは一対一に対応付けられる。また、ＭＰＵは複数のＧＯＰから構成されてもよい。
　そして、図６に示されるように、ＭＭＴにおける符号化ストリーム１０は、制御情報１１と、時刻情報１２と、複数のＭＭＴパケット１３とを含む。言い換えると、符号化ストリーム１０は、ＭＭＴパケット１３のパケット列である。
　符号化ストリーム１０（ＭＭＴストリーム）は、１つのＭＭＴパッケージを構成する１以上のストリームの１つである。ＭＭＴパッケージは、例えば、１つの放送番組コンテンツに相当する。
　制御情報１１は、符号化ストリーム１０が、スケーラブル符号化されたストリーム（基本レイヤと拡張レイヤとの両方を含むストリーム）であることを示す情報や、スケーラブル符号化の種類および階層レベル数（階層数）の情報を含む。ここで、スケーラブル符号化の種類とは、時間スケーラビリティ、空間スケーラビリティ、およびＳＮＲスケーラビリティなどであり、階層レベル数とは、基本レイヤおよび拡張レイヤ等のレイヤの数である。
　また、制御情報１１は、例えば、複数のアセットと、パケットＩＤとの対応関係を示す情報などを含む。なお、アセットは、同一のトランスポート特性のデータを含むデータエンティティであり、例えば、映像データおよび音声データなどのいずれか１つである。
　制御情報１１は、具体的には、ＭＭＴにおけるＣＩ（Ｃｏｍｐｏｓｉｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ）およびＭＰＴ（ＭＭＴ　Ｐａｃｋａｇｅ　Ｔａｂｌｅ）である。なお、制御情報１１は、ＭＰＥＧ２－ＴＳでは、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）であり、ＭＰＥＧ－ＤＡＳＨではＭＰＤ（Ｍｅｄｉａ　Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ）などである。
　時刻情報１２は、アクセスユニットのＰＴＳまたはＤＴＳを決定するための情報である。時刻情報１２は、具体的には、例えば、基本階層に属するＭＰＵにおける先頭のアクセスユニットの絶対時刻としてのＰＴＳまたはＤＴＳである。具体的には、ＰＴＳの場合は、ＭＰＵにおいて表示順で先頭のアクセスユニットのＰＴＳの絶対値を、ＤＴＳの場合は、ＭＰＵにおいて復号順で先頭のアクセスユニットのＤＴＳの絶対値を、それぞれ示すことができる。また、時刻情報１２は、プログラム情報として制御情報１１に格納してもよい。プログラム情報として格納する場合には、一例として、プログラム情報をＭＭＴメッセージに格納し、プログラム情報内の記述子として時刻情報１２を格納することができる。
　例えば、図３の基本階層の複数のピクチャ全てが１つの第１の集合を構成していると仮定すれば、第１の集合の復号順で最初に復号される第１のアクセスユニットであるピクチャＩ０は、ＤＴＳ１１で示される時刻において復号される。このとき、第１の集合の第１のアクセスユニットに対して行われる復号を行う、基準クロックを基準とする時刻（ＤＴＳ１１）を示す第１の時刻情報は、符号化ストリーム１０の時刻情報１２（第１の絶対時刻）として格納されていてもよい。つまり、第１の絶対時刻は、例えばＤＴＳ１１そのものを示している。
　また、図３の拡張階層の複数のピクチャ全てが１つの第２の集合を構成していると仮定すれば、第２の集合の復号順で最初に復号される第２のアクセスユニットであるピクチャｂ１は、ＤＴＳ２１で示される時刻において復号される。このとき、第２の集合の第２のアクセスユニットに対して行われる復号を行う、基準クロックを基準とする時刻（ＤＴＳ２１）を特定するための第２の時刻情報は、上述したように、第１の時刻情報で示される第１の絶対時刻との差分値である復号時刻オフセットである。第２の時刻情報は、第１の時刻情報と同様に、符号化ストリーム１０の時刻オフセット情報（復号時刻オフセット）として格納されていてもよい。つまり、ＤＴＳ２１は、第１の時刻情報で示されるＤＴＳ１１に、第２の時刻情報で示される復号時刻オフセットを加算することにより、特定される。また、第２の時刻情報として、第１の時刻情報との時刻オフセット情報ではなく、第２の集合のアクセスユニットの時刻情報の絶対値そのものを格納してもよい。
　なお、基準クロックとは、ＭＭＴ方式で符号化ストリームを送信する場合には、ＮＴＰ（Ｎｅｔｗｏｒｋ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）であり、ＭＰＥＧ２－ＴＳ方式で符号化ストリームを送信する場合には、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）である。ここで、ＮＴＰは、送信装置が設定する基準クロックであればよく、かならずしも、インターネットで一般的に使用されるＮＴＰサーバにおけるＮＴＰ値とは一致しなくてもよい。
　ＭＭＴパケット１３は、ＭＰ４データがパケット化されたデータである。実施の形態では、１つのＭＭＴパケット１３には、１つのＭＰ４データ（ＭＰＵ）が含まれる。図６に示されるように、ＭＭＴパケット１３は、ヘッダ１３ａ（ＭＴＴパケットヘッダ。ＭＰＥＧ２－ＴＳの場合はＴＳパケットヘッダ）と、ペイロード１３ｂとを含む。
　ペイロード１３ｂには、ＭＰ４データが格納される。なお、ペイロード１３ｂには、ＭＰ４を分割したものが格納される場合がある。
　ヘッダ１３ａは、ペイロード１３ｂに関する付属情報である。例えば、ヘッダ１３ａには、パケットＩＤと、時刻情報とが含まれる。ここでの時刻情報は、ＭＰ４データの表示時刻（ＰＴＳ）または復号時刻（ＤＴＳ）の相対値である。
　パケットＩＤは、ＭＭＴパケット１３（ペイロード１３ｂ）に含まれるデータのアセットを示す識別番号である。パケットＩＤは、ＭＭＴパッケージを構成するアセットごとに固有の識別番号である。
　このように、符号化ストリームは、符号化データの復号または表示の処理を行う時刻を示す時刻情報（ＤＴＳまたはＰＴＳ）と、符号化データ（図６のＩＤ１＿＃０、ＩＤ２＿＃０、ＩＤ１＿＃１、ＩＤ１＿＃２、ＩＤ２＿＃１、ＩＤ２＿＃２、・・・）とを含む。この時刻情報は、上述した、第１の時刻情報および第２の時刻情報を含む。
　図７は、実施の形態に係る送信装置の構成を示すブロック図である。図８は、実施の形態に係る送信方法のフローチャートである。
　図７に示されるように、送信装置１５は、符号化部１６と、送信部１７とを備える。なお、送信装置１５の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
　実施の形態に係る符号化ストリーム１０の送信方法においては、まず、複数のアクセスユニットにより構成される集合の復号または表示を行う時刻を示す時刻情報と、当該集合を構成している複数のアクセスユニットとを含む符号化ストリーム１０が生成される（Ｓ１１：生成ステップ）。
　生成された符号化ストリーム１０は、送信部１７により伝送路を用いて伝送される（Ｓ１２：送信ステップ）。
　（実施例１）
　次に、拡張階層の符号化データが、ＭＰ４ベースの多重化フォーマットにより送信される場合の送信方法、および、受信方法について具体的に説明する。
　ここでＭＰ４ベースの多重化フォーマットとは、例えば、ＭＭＴやＤＡＳＨ、ＭＰ４のファイルデータそのものであってもよい。ＭＭＴにおいては、ＭＰＵ（Ｍｅｄｉａ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）がＭＰ４ファイルに相当し、ＤＡＳＨにおいては、セグメントがＭＰ４のＭｏｖｉｅ　Ｆｒａｇｍｅｎｔに相当する。
　図３に示すように、複数のアクセスユニットのＤＴＳ（またはＰＴＳ）の相対時間（サンプル間の差分など）でサンプル毎の復号（表示）が行われる時刻情報を表現し、集合における複数のアクセスユニットの全てにおいて当該復号（表示）が行われる時刻情報の絶対値を示さない多重化フォーマットであれば、ＭＰ４以外のフォーマットにおいても適用できる。なお、ここで言うサンプルとは、ＭＰ４においてデータを扱う単位であり、アクセスユニットに相当する。
　（復号時刻および表示時刻）
　拡張階層におけるアクセスユニットの復号時刻（ＤＴＳ）について、まず、ＭＰ４ファイルを例に説明する。図９は、基本階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｂ）と、拡張階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｅ）とを示す図である。
　図９のように、基本階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｂ）と、拡張階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｅ）とがあるとする。ここで、ＭＰ４ｂとＭＰ４ｅとの間の復号時刻オフセットをｄｅｃ＿ｏｆｆｓｅｔとすると、ＭＰ４ｅにおける拡張階層のサンプル毎のＤＴＳは、次式で表される。
　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ　＝　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ　＋　ｄｅｃ＿ｏｆｆｓｅｔ　　（式１）
　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ：拡張階層におけるｉ番目のサンプルのＤＴＳ
　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ：拡張階層における０番目からｉ番目までのサンプルの復号時刻の差分総和（ＭＰ４の’ｓｔｔｓ’におけるｓａｍｐｌｅ＿ｄｅｌｔａ、あるいは、ＭｏｖｉｅＦｒａｇｍｅｎｔにおけるｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎの総和）から算出した、サンプルの修正前ＤＴＳ（先頭サンプルのＤＴＳを０とした場合の各サンプルのＤＴＳ）。
　上記の（式１）では、復号時刻オフセット（ｄｅｃ＿ｏｆｆｓｅｔ）は、基本階層において復号順で先頭のサンプルのＤＴＳを０と仮定した場合のオフセット値である。
　ここで、基本階層の先頭サンプルのＤＴＳがｄｅｌｔａであったとすると、ＭＰ４ｅにおける拡張階層のサンプル毎のＤＴＳは、次式で表される。
　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ　＝　ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ　＋　ｄｅｃ＿ｏｆｆｓｅｔ　＋　ｄｅｌｔａ　　（式２）
　具体的には、図３における、拡張階層で３番目のサンプルであるピクチャｂ５のＤＴＳ２３を算出する場合、ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅは、相対時間２１および相対時間２２を加算したものであり、ｄｅｌｔａはＤＴＳ１１であることから、（式２）を用いて次のように求めることができる。
　ＤＴＳ２３＝相対時間２１＋相対時間２２＋　ｄｅｃ＿ｏｆｆｓｅｔ　＋　ＤＴＳ１１　　（式３）
　また、ＭＰ４ｂにおける基本階層のサンプル毎のＤＴＳは、次式で表される。
　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ　＝　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ　＋　ｄｅｃ＿ｏｆｆｓｅｔ　　（式４）
　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ：基本階層におけるｉ番目のサンプルのＤＴＳ
　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ：基本階層における０番目からｉ番目までのサンプルの復号時刻の差分総和（ＭＰ４の’ｓｔｔｓ’におけるｓａｍｐｌｅ＿ｄｅｌｔａ、あるいは、ＭｏｖｉｅＦｒａｇｍｅｎｔにおけるｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎの総和）から算出した、サンプルの修正前ＤＴＳ（先頭サンプルのＤＴＳを０とした場合の各サンプルのＤＴＳ）。
　ここで、基本階層の先頭サンプルのＤＴＳがｄｅｌｔａであったとすると、ＭＰ４ｂにおける基本階層のサンプル毎のＤＴＳは、次式で表される。
　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ　＝　ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ　＋　ｄｅｃ＿ｏｆｆｓｅｔ　＋　ｄｅｌｔａ　　（式５）
　つまり、第１の集合の第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第１の時刻情報（例えば、ＤＴＳ１１）で示される時刻を基準とした第１の相対時間（相対時間１１～１８）が対応付けられている。また、第１の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻（ＰＴＳ１１～１９）は、当該アクセスユニットの復号の時刻を基準とする第２の相対時間で特定される。つまり、例えば、図３における、ピクチャＢ８の表示が行われる時刻ＰＴＳ１５は、ピクチャＢ８の復号が行われる時刻ＤＴＳ１３との差分である第２の相対時間がピクチャＢ８に対応付けられており、ＤＴＳ１３にピクチャＢ８に対応付けられている第２の相対時間を加算することで求められる。
　また、第２の集合の第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第２の時刻情報（例えば、ＤＴＳ２１）で示される時刻を基準とした第３の相対時間（相対時間２１～２７）が対応付けられている。また、第２の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻（ＰＴＳ２１～２８）は、当該アクセスユニットの復号の時刻を基準とする第４の相対時間で特定される。つまり、例えば、図３における、ピクチャｂ１１の表示が行われる時刻ＰＴＳ２６は、ピクチャｂ１１の復号が行われる時刻ＤＴＳ２６との差分である第４の相対時間がピクチャｂ１１に対応付けられており、ＤＴＳ２６にピクチャｂ１１に対応付けられている第４の相対時間を加算することで求められる。
　（復号時刻オフセットの格納）
　なお、復号時刻オフセットを示す情報（復号時刻オフセット情報）の格納先は、次の３つのケースが考えられる。
　（１）拡張階層のトラックを含むＭＰ４ファイルに復号オフセット情報を格納するケース
　復号時刻オフセット情報は、復号時刻オフセット、及び、基本階層のトラックの識別情報を少なくとも含む。基本階層のトラックの識別情報は、基本階層のトラックのトラックＩＤ、および、基本階層のトラックを含むＭＰ４ファイルの識別情報（ＭＰ４ファイルのファイル名など）などを含む。つまり、拡張階層の第２の集合は、さらに、当該第２の集合に対応付けられている第１の集合を識別するための識別情報と、第２の時刻情報とが格納されている第２のヘッダ情報を含んでいてもよい。
　（２）基本階層のトラックを含むＭＰ４ファイルに復号オフセット情報を格納するケース
　復号時刻オフセット情報は、復号時刻オフセット、拡張階層のトラックの識別情報を少なくとも含む。つまり、基本階層の第１の集合は、さらに、当該第１の集合に対応付けられている第２の集合を識別するための識別情報と、第２の時刻情報とが格納されている第１のヘッダ情報を含んでいてもよい。
　（３）基本階層のトラックを含むＭＰ４ファイルと、拡張階層のトラックを含むＭＰ４ファイルとを関連付ける情報に復号オフセット情報を格納するケース
　復号時刻オフセット情報は、復号時刻オフセット、基本階層のトラックの識別情報、及び、拡張階層のトラックの識別情報を少なくとも含む。つまり、符号化ストリームは、さらに、第１の集合を識別するための第１の識別情報と、当該第１の集合と１対１で対応付けられている第２の集合を識別するための第２の識別情報とが対応付けられた対応情報を含み、第２の時刻情報は、対応情報に格納されていてもよい。
　なお、上記の（１）あるいは（２）の場合には、復号時刻オフセット情報を格納するためのＢｏｘを定義して、トラックレベルのＢｏｘ直下、あるいは、トラックレベルと同一、又は、上位のレベルに配置できる。また、新規Ｂｏｘを定義せずに、既存のＢｏｘを拡張するなどして、復号時刻オフセット情報を含めてもよい。
　また、’ｍｏｏｖ’の’ｅｌｓｔ’や、’ｍｏｏｆ’の’ｔｒａｆ’における無再生区間（ｅｍｐｔｙ　ｄｕｒａｔｉｏｎ）の機能を使って復号時刻オフセットを実現してもよい。この場合も、拡張階層のトラックと基本階層のトラックとの関連付けは必要である。
　また、上記の（３）の場合には、復号時刻オフセット情報は、基本階層と拡張階層とは別の、互いに独立したＭＰ４ファイルのトラックに格納されていてもよいし、同一ＭＰ４ファイル内の異なるトラックに格納されていてもよい。
　同一ＭＰ４ファイル内の異なるトラックに格納される場合、復号時刻オフセット情報は、’ｍｏｏｖ’や’ｍｏｏｆ’直下など、トラック単位のＢｏｘよりも上位のＢｏｘに格納できる。このとき、復号時刻オフセット情報としては、ＭＰ４ファイルの識別情報は不要である。
　ＭＰ４においては、ＤＴＳとＰＴＳとが異なる場合、ＭＰ４のヘッダ情報には、その差分情報（第２の相対時間または第４の相対時間）が含まれるが、当該差分情報は、復号時刻オフセットを反映した後のＤＴＳに対して適用される。
　基本階層と拡張階層とでトラックにおけるタイムスケールの値は揃えておくことが望ましい。タイムスケールが異なる場合には、上記（３）のケースでは、復号時刻オフセット情報のタイムスケールを別途示す、あるいは、いずれか一方の階層のトラックにおけるタイムスケールを使用するなどと予め規定しておいてもよい。
　なお、復号時刻オフセットは、拡張階層のＤＴＳにのみ適用される。
　なお、基本階層、あるいは、拡張階層を格納するＭＰ４ファイルは、これら各階層のトラックのみから構成されていてもよいし、他のトラックを含んでもよい。
　（実施例２）
　ＭＰ４のデータを受信しながら再生する（プログレッシブ・ダウンロード、あるいは、ＨＴＴＰストリーミングなど）の場合には、Ｍｏｖｉｅ　Ｆｒａｇｍｅｎｔの先頭などからランダムアクセスして復号、再生できる。
　Ｍｏｖｉｅ　Ｆｒａｇｍｅｎｔのように、ランダムアクセス可能な単位をランダムアクセスユニット（ＲＡＵ：Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｕｎｉｔ）、ＲＡＵの先頭データをランダムアクセスポイント（ＲＡＰ：Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｐｏｉｎｔ）と呼ぶことにする。つまり、複数のアクセスユニットで構成される集合（ＧＯＰ）をランダムアクセスユニットと呼び、第１の集合の第１のアクセスユニットおよび第２の集合の第２のアクセスユニットをランダムアクセスポイントと呼ぶ。この場合、拡張階層の符号化データを含むＲＡＵ（つまり、第２の集合）においては、当該ＲＡＵのサンプル（ＭＰ４におけるデータ単位で、アクセスユニットに相当）のＤＴＳを決定する際には、復号時刻オフセットを反映させる必要がある。
　図１０は、基本階層および拡張階層のＲＡＵの構成例を示す。図中のＲＡＵｂは、基本階層のＲＡＵ（第１の集合）を示し、ＲＡＵｅは拡張階層のＲＡＵ（第２の集合）を表すものとする。
　ＲＡＵｂとＲＡＵｅとは、互いにペアとなるように構成される。つまり、複数の第１の集合と複数の第２の集合とは、それぞれ１対１で対応付けられている。ＲＡＵｅを構成するサンプルは、ペアとなるＲＡＵｂに含まれるサンプルは参照するが、それ以外のＲＡＵｂに含まれるサンプルは参照しない。つまり、第２の集合は、当該第２の集合に１対１で対応付けられている第１の集合の復号後のデータのみを参照することによって復号可能である。このため、互いにペアとなるＲＡＵｂとＲＡＵｅとを取得することで、基本階層および拡張階層の両階層のＲＡＵに含まれるサンプルを復号できることが保証される。
　ここで、互いにペアとなるＲＡＵは、ＲＡＵを識別するシーケンス番号などにより関連付けが可能である。このとき、拡張階層のＲＡＵにおいて復号順で先頭となるサンプルの復号時刻は、ペアとなる基本階層のＲＡＵにおいて復号順で先頭となるサンプルの復号時刻に復号時刻オフセットを加算することにより決定できる。
　基本階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳは、第１の絶対時刻である。第１の絶対時刻は、例えば、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ　Ｕｎｉｖｅｒｓａｌ　Ｔｉｍｅ）で定められる時刻である。第１の絶対時刻は、ＭＰＥＧ－２　ＴＳにおけるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）のようなコンテンツの管理情報、あるいは、コンテンツ受信に先立って取得するコンテンツの管理情報などに格納してもよい。あるいは、Ｍｏｖｉｅ　Ｆｒａｇｍｅｎｔのヘッダ情報内などにＤＴＳの絶対値を示す情報を格納してもよい。なお、基本階層のＲＡＵにおける先頭サンプルの復号時刻は、受信装置において任意に設定してもよい。
　復号時刻オフセット情報は、ランダムアクセスした最初のＲＡＵにおいてのみ必要であり、最初のＲＡＵにおける復号順で先頭のサンプルにおいて復号時刻オフセットを反映すれば、当該最初のＲＡＵ内の後続サンプル、及び、最初のＲＡＵに後続するＲＡＵ内のサンプルの復号時刻は、ＭＰ４のヘッダ情報に含まれる、連続するサンプル間のＤＴＳの差分情報を順次加算することで決定できる。
　従って、復号時刻オフセット情報が、ランダムアクセス後の最初のＲＡＵの先頭サンプルのＤＴＳを決定する際にのみ必要である旨を示す情報を、別途格納してもよい。
　基本階層および拡張階層のＲＡＵがペアとなっているかどうかを示す情報を、基本階層、あるいは、拡張階層のトラックを含むＭＰ４ファイル内、あるいは、コンテンツの管理情報において示してもよい。
　なお、基本階層および拡張階層のＲＡＵは、必ずしもペアでなくてもよい。ペアでない場合には、拡張階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳの絶対値を示す情報を、ＭＰ４ファイルのヘッダ情報やコンテンツの管理情報などにおいて示してもよい。なお、基本階層および拡張階層のＲＡＵがペアであっても、拡張階層のＲＡＵの先頭サンプルのＤＴＳの絶対値を示す情報を格納してもよい。つまり、第２の時刻情報は、第１の時刻情報で示される第１の絶対時刻とは異なる第２の絶対時刻を示していてもよい。
　また、例えば、基本階層をＭＰＥＧ－２　ＴＳを用いて送信し、拡張階層をＤＡＳＨやＭＭＴなどで送信する場合は、ＴＳにおいて別途ＲＡＵのシグナリング方法を定義しなければ、ＲＡＵのペアリングができない。このような場合には、コンテンツの管理情報などから拡張階層の復号時刻オフセット、あるいは、ＲＡＵ内での先頭サンプルのＤＴＳの絶対値が取得できることが望ましい。
　なお、ＭＰＥＧ－２　ＴＳにおいても、ＴＳパケットにおけるヘッダ情報や、ＲＡＵのシグナリング情報を格納するＰＥＳパケットなどにより、ＲＡＵの境界を示すことができる。さらには、ＲＴＰなどのストリーミング向けのフォーマットを用いて送信する場合には、ＲＴＰパケットのペイロードヘッダなどにおいて、ＲＡＵのシーケンス番号など、境界情報を示すことができる。ＲＴＰを用いる場合には、ＳＤＰ（Ｓｅｓｓｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｐｒｏｔｏｃｏｌ）などのセッション記述のためのメタ情報において、基本階層と拡張階層のセッションの識別情報や依存関係を記述することができる。
　復号時には、基本階層のＲＡＵおよび拡張階層のＲＡＵの互いのＤＴＳなどに基づいて基本階層および拡張階層のサンプルを復号順に並べ替え、デコーダに入力する。ここで、受信データにおいて、基本階層および拡張階層の符号化データが復号順となっている場合には、並べ替えは不要である。
　（実施例３）
　図１１は、ＭＭＴを用いて基本階層と拡張階層とのデータを送信する例を示す図である。
　図１１では、基本階層と拡張階層とを、それぞれ異なるアセットとして送信し、ＭＰＵがランダムアクセス単位に相当する。図１１では、基本階層のＭＰＵをＭＰＵｂで示し、拡張階層のＭＰＵをＭＰＵｅで示す。基本階層のＭＰＵｂおよび拡張階層のＭＰＵｅが互いにペアとなっているとすると、拡張階層のＭＰＵｅにおける先頭サンプルのＤＴＳは、図１０により説明したＭＰ４データのＲＡＵと同様にして決定できる。
　ここで、ＭＰＵは、Ｍｏｖｉｅ　Ｆｒａｇｍｅｎｔではなく、ＭＰ４ファイルに相当することから、復号時刻オフセット情報は、’ｍｏｏｖ’直下、あるいは、ＭＰＵのシーケンス番号などＭＰＵの属性情報を示すＢｏｘである’ｍｍｐｕ’の直下などに格納してもよい。
　また、復号時刻オフセット情報における基本階層および拡張階層のトラックの識別情報については、ＭＰＵが各アセットの符号化データを含む１つのトラックのみから構成される際には、ＭＰＵを表すＭＰ４ファイルを識別するための情報（ファイル名、アセットのＩＤ，ＭＰＵのシーケンス番号など）のみでもよい。
　ＤＡＳＨを用いる場合も、セグメント（正確には、Ｍｅｄｉａ　ｓｅｇｍｅｎｔ）が１つ以上のＭｏｖｉｅ　Ｆｒａｇｍｅｎｔに相当するため、上記ＭＰ４データにおける方法と同様にして復号時刻を決定できる。
　ＤＡＳＨでは、ＴＳデータでセグメントを構成することも可能であるが、ここでは、ＭＰ４（ＩＳＯ　Ｂａｓｅ　Ｍｅｄｉａ　Ｆｉｌｅ　Ｆｏｒｍａｔ）によりセグメントを構成するものとする。
　［受信方法］
　図１２は、受信装置の構成の一例を示すブロック図である。図１３は、拡張階層に含まれるアクセスユニットのＤＴＳを決定する動作を示すフローチャートを示す図である。
　拡張階層のアクセスユニットを復号する際に、拡張階層を構成するアクセスユニットのＤＴＳを決定する動作例について説明する。
　図１２に示されるように、受信装置２０は、取得部２１と、開始判定部２２と、オフセット反映部２３と、後続ＤＴＳ決定部２４とを備える。なお、受信装置の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
　ここで、受信装置２０において、基本階層のみ復号するか、基本階層および拡張階層の両階層を復号するかは、予めユーザにより選択された情報、あるいは、受信装置の復号能力などに応じて、ステップＳ２１の前段において決定されているものとする。
　まず、受信装置２０の取得部２１は、符号化ストリーム１０を受信し、符号化ストリーム１０の復号時刻オフセット情報を解析して、基本階層のトラック、拡張階層のトラック、および、復号時刻オフセットを取得する（Ｓ２１）。
　なお、復号時刻オフセット情報が、拡張階層の符号化データを格納するファイル、あるいは、トラックに含まれる場合には、次のステップＳ２２とステップＳ２３との間でステップＳ２１の処理を行ってもよい。
　また、拡張階層のＲＡＵにおいて復号順で先頭となるアクセスユニットのＤＴＳの絶対値を示す情報が示される場合には、拡張階層のアクセスユニットのＤＴＳは、拡張階層の情報のみから取得できる。ただし、復号を開始するアクセスユニットを決定する際には、基本階層において復号を開始するアクセスユニットのＤＴＳを用いる。
　次に、受信装置２０の開始判定部２２は、復号を開始するアクセスユニットの処理であるか否かを判定する（Ｓ２２）。
　受信装置２０の開始判定部２２により復号を開始するアクセスユニットの処理であると判定された場合（Ｓ２２でＹｅｓ）、オフセット反映部２３は、拡張階層において最初に復号するアクセスユニットを決定し、復号時刻オフセットを反映したＤＴＳを算出する（Ｓ２３）。具体的には、基本階層において最初に復号するアクセスユニットのＤＴＳである第１の絶対時刻に復号時刻オフセットを加算することで拡張階層における最初に復号するアクセスユニットのＤＴＳを算出する。
　ここで、基本階層において復号を開始するアクセスユニットをＡＵ＿ｂとすると、拡張階層において、ＤＴＳがＡｕ＿ｂのＤＴＳの直後となるアクセスユニットが、拡張階層において復号開始するアクセスユニット（ＡＵ＿ｅ）となる。
　基本階層および拡張階層のＲＡＵがペアとなっていれば、基本階層において復号開始するＲＡＵのペアとなる拡張階層のＲＡＵが拡張階層において復号開始するＲＡＵとなる。復号を開始するＲＡＵでの復号順で先頭のアクセスユニットがＡＵ＿ｅとなる。基本階層とペアになる拡張階層のＲＡＵは、ＭＰＵのシーケンス番号が基本階層のＭＰＵと同一となるＭＰＵを探索することにより取得できる。ここで、ＭＰＵのシーケンス番号は、ＭＭＴパケットのヘッダ情報などに格納することができる。
　基本階層および拡張階層のＲＡＵがペアとなっていなければ、ＤＴＳがＡＵ＿ｂの直後となる拡張階層のアクセスユニットをサーチして、当該アクセスユニットをＡＵ＿ｅとする。つまり、拡張階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳの絶対値を示す情報に基づいて、ＤＴＳを決定できる。
　なお、上記では、基本階層および拡張階層のＲＡＵがペアとなっている場合と、ペアとなっていない場合とに応じてＤＴＳを決定しているが、両階層がペアとなっているかどうかを示す情報があれば、当該情報に応じて上記動作を切替えてもよい。
　また、（式２）のように、基本階層におけるファイル先頭、あるいは、ＲＡＵ先頭のアクセスユニットの復号時刻が０でない（ｄｅｌｔａが０でなく、例えば、１７：００：００開始などの絶対時刻が示される）場合には、ｄｅｌｔａの値を別途加算してＤＴＳを決定することになる。あるいは、復号時刻オフセットとｄｅｌｔａを加算した値を、復号時刻オフセット情報として示してもよい。
　階層が３つ以上ある（拡張階層が２種類以上ある）場合には、異なる拡張階層を互いに識別するための情報を格納し、再生時には、復号する拡張階層を選択して決定してもよい。この場合、復号時刻オフセット情報は、異なる拡張階層毎に設定される。
　受信装置２０の開始判定部２２により復号を開始するアクセスユニットの処理でないと判定された場合（Ｓ２２でＮｏ）、受信装置２０の後続ＤＴＳ決定部２４は、復号順で直前となるアクセスユニットのＤＴＳに、現アクセスユニットと直前のアクセスユニットのＤＴＳの差分（相対時間）を加算して、現アクセスユニットのＤＴＳを決定する（Ｓ２４）。
　なお、オフセット反映部２３および後続ＤＴＳ決定部２４は、図示しない入力により、ＤＴＳの算出に必要なＭＰ４のヘッダ情報（’ｔｒａｋ’における’ｓｔｂｌ’、あるいは、’ｔｒａｆ’における’ｔｒｕｎ’など）を取得している。
　（拡張階層におけるＲＡＵ）
　ここで、拡張階層におけるＲＡＰやＲＡＵの定義について詳細に説明する。
　拡張階層の復号においては、基本階層の復号結果が参照されるため、拡張階層を単独で復号することはできない。したがって、拡張階層単独で考えた場合には、ＲＡＰは存在しない。しかしながら、コンテンツ内のランダムアクセス時に、基本階層のＲＡＰに対応する拡張階層のアクセスユニットを効率的にサーチするには、拡張階層についてもＲＡＰやＲＡＵを定義することが望ましい。
　拡張階層のＲＡＵは以下のように定義できる。なお、ＲＡＰは、ＲＡＵにおいて復号順が先頭のアクセスユニットである。つまり、拡張階層のＲＡＵｅは、基本階層のＲＡＵｂとペアとなる単位である。また、拡張階層のＲＡＵｅは、ＭＰ４におけるＭｏｖｉｅ　Ｆｒａｇｍｅｎｔ、ＭＭＴにおけるＭＰＵ、あるいは、ＤＡＳＨにおけるセグメントなど、基本階層においてＲＡＰとして用いられる単位などである。
　また、拡張階層のＲＡＵにおいては、当該ＲＡＵにおいて復号順で先頭のアクセスユニットは、ＩピクチャあるいはＩＤＲピクチャなど、単独で復号できるアクセスユニット（ＭＰ４におけるｓｙｎｃ　ｓａｍｐｌｅ）でなくてもよい。また、ｓｙｎｃ　ｓａｍｐｌｅであることを示す情報がセットされていなくてもよい。
　また、受信装置における再生時には、受信装置では、基本階層において復号を開始するアクセスユニットに対応する、拡張階層のアクセスユニットをサーチする際に、拡張階層のＲＡＵ情報を参照する。例えば、ＲＡＵ毎の先頭アクセスユニットのＤＴＳをサーチする。
　受信装置においては、拡張階層のＲＡＵをサーチする際には、Ｍｏｖｉｅ　ＦｒａｇｍｅｎｔやＭＰＵがＲＡＵに相当するとみなして動作してもよい。拡張階層におけるＲＡＵの単位を示す情報を、拡張階層のトラックや、拡張階層のトラックを含むＭＰ４ファイルなどに格納してもよい。拡張階層のＲＡＵをサーチする際には、ＲＡＵの先頭アクセスユニットがｓｙｎｃ　ｓａｍｐｌｅであるかどうかは無視するものとする。あるいは、拡張階層についてはランダムアクセスのための情報を格納せずに、基本階層のランダムアクセスポイントを決定した後に、基本階層のランダムアクセスポイントとなるＭＰＵと同一シーケンス番号を有する拡張階層のＭＰＵから復号するように動作してもよい。
　あるいは、拡張階層においては、拡張階層におけるＲＡＰがｓｙｎｃ　ｓａｍｐｌｅに相当するとみなしてもよい。このとき、’ｓｔｓｓ’や’ｍｆｒａ’など、ＭＰ４データにおけるランダムアクセス可能なアクセスユニット（サンプル）のテーブルにおいて、拡張階層におけるＲＡＰを示してもよい。受信装置においては、これらテーブルに基づいてＲＡＰをサーチできる。また、Ｍｏｖｉｅ　Ｆｒａｇｍｅｎｔにおいては、’ｔｒａｆ’において先頭サンプルがｓｙｎｃ　ｓａｍｐｌｅであるかどうかを示すフラグ情報をセットして、受信装置においては、ｓｙｎｃ　ｓａｍｐｌｅであるかどうかに応じてＲＡＰをサーチしてもよい。
　上記のことは、ＭＰＥＧ－２　ＴＳにおいて、ＲＡＵを定義する場合についても、同様である。
　（その他）
　ＭＰ４のデータが拡張階層のアクセスユニットを含むことは、ＭＰ４内のデータ、あるいは、ＭＰＥＧ－２　ＴＳのＰＭＴや、コンテンツの管理情報などＭＰ４データよりも上位層においてシグナリングしてもよい。ＭＰ４内のデータとしては、例えば、ＭＰ４ファイルのブランド、あるいは、ＭＭＴのＭＰＵであれば’ｍｍｐｕ’などが可能である。
　放送および通信を併用したコンテンツ配信においては、基本階層を放送で、拡張階層を通信ネットワークで、それぞれ送信するなどしてもよい。つまり、送信方法の生成ステップでは、基本階層（第１の集合）を含む第１の符号化ストリームをＭＰＥＧ－２　ＴＳにしたがって生成し、拡張階層（第２の集合）を含む第２の符号化ストリームをＭＭＴにしたがって生成してもよい。そして、送信ステップでは、放送で使用される伝送路を用いて第１の符号化ストリームを送信し、通信で使用される伝送路を用いて第２の符号化ストリームを送信してもよい。なお、第１の符号化ストリームおよび第２の符号化ストリームは、上記とは反対の方式にしたがって生成されてもよい。またこの場合、送信ステップで使用される伝送路も反対の伝送路を用いて送信される。
　また、例えば、放送におけるＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）において、拡張階層の符号化データの送信元サーバのＵＲＬや、アクセス先のファイル名、あるいは、アクセス方法（ダウンロードであればＨＴＴＰ　ＧＥＴ、ストリーミングであればＲＴＳＰ（Ｒｅａｌ　Ｔｉｍｅ　Ｓｔｒｅａｍｉｎｇ　Ｐｒｏｔｏｃｏｌ）のコマンドなど）など、拡張階層の符号化データ取得に必要な情報を格納してもよい。ＰＭＴにおいて、同一コンテンツの構成データであって、放送とは異なる伝送路から送信されるデータのアクセス先やアクセス方法などを示す情報を格納する方法は、基本階層および拡張階層の例に限定されず、例えば、ビデオデータおよびオーディオデータの組合せなど、一般的に広く適用可能である。
　（基本階層および拡張階層の符号化データが復号順となるように送信する方法）
　基本階層および拡張階層の符号化データを、１本の符号化ストリームとして送信する際には、両階層の符号化データが復号順となるように送信できる。なお、送信時のみでなく、蓄積時などにおいても適用できる。
　図１４は、図１の符号化データをＭＭＴにより多重化する例を示す図である。基本階層はアセット１に、拡張階層はアセット２に、それぞれ格納され、アセット１はＭＰＵ＿ｂから、アセット２はＭＰＵ＿ｅから構成される。
　ＭＭＴでは、各アセットのＭＰＵは、ＭＭＴパケットやＲＴＰ（Ｒｅａｍ－ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）パケットなどによりパケット化して送信される。このとき、パケットのペイロードに格納される基本階層および拡張階層の符号化データが、復号順となるようにパケット化する。図１４における中央のラインは、ＭＰＵ＿ｂとＭＰＵ＿ｅをパケット化して送信する際に、パケットのペイロードに格納されるデータの順序を示したものであり、符号化データの復号順と一致している。
　このように、基本階層および拡張階層の符号化データを１本の符号化ストリームとして送信する際に、両階層の符号化データが復号順となるようにすることで、受信装置においては、基本階層のＲＡＰから順に復号することにより、対応する拡張階層のアクセスユニットのデータが取得できる。このため、基本階層および拡張階層の符号化データを復号順に並べ替える動作が不要となり、受信装置の処理負荷を低減できる。
　ＭＰＥＧ－４　ＡＶＣやＨＥＶＣなどの符号化方式では、復号順および表示順は符号化データから得られるため、固定フレームレートの場合には、拡張階層のアクセスユニットのＤＴＳとＰＴＳは、基本階層のアクセスユニットのＤＴＳ、ＰＴＳ、および、フレームレートから決定できる。この場合、拡張階層における復号時刻オフセット情報はシグナリングしなくてもよい。
　（基本階層と拡張階層の符号化データが復号順となったデータの受信方法）
　図１４で説明した送信方法により送信されるストリームの受信方法について説明する。
　図１５は、基本階層および拡張階層の符号化データを１本の符号化ストリーム（パケット列）としたときの送信パケット列の一例を示す図である。図１５に示すように、送信される符号化ストリーム（受信装置により受信される符号化ストリーム）であり、基本階層および拡張階層のＭＰＵが、送信パケット列にパケット化される。基本階層の符号化データを格納するパケットと、拡張階層の符号化データを格納するパケットとは、パケットのヘッダなどに格納されている識別情報により区別される。識別情報としては、例えば、ＭＭＴパケットであればｐａｃｋｅｔ＿ｉｄ、ＴＳパケットであればＰＩＤ、ＲＴＰパケットであればＳＳＩＤなどを用いることができる。ＭＭＴパケット以外の方式によりパケット化する際には、例えば、ＴＳパケット列をＭＰＵとして定義し、ＴＳペイロードにＭＰＵを格納するなども可能である。また、ペイロードはＭＰＵでなくてもよく、ＴＳパケットであれば、符号化データをＰＥＳパケット化したものをＴＳペイロードに格納してもよい。
　また、両階層を必ずしも同一のパケット形式で送信する必要はなく、例えば、基本階層をＴＳパケット、拡張階層をＭＭＴパケットなど、それぞれ異なる形式でパケット化してもよい。
　また、ＤＡＳＨにおいては、基本階層および拡張階層のセグメントを分け、両セグメントのアクセスユニットのデータが、復号順で格納されるようにしてもよい。
　階層数は３以上であってもよく（例えば、基本階層と２つの拡張階層）、その場合でも、全階層の符号化データが復号順となるように送信される。
　図１６は、受信装置の構成の他の一例を示すブロック図である。図１７は、基本階層および拡張階層の符号化データを受信する受信方法を示すフローチャートである。
　図１６に示されるように、受信装置３０は、復号開始位置決定部３１と、復号モード選択部３２と、データ取得部３３と、復号部３４とを備える。なお、受信装置３０の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
　まず、受信装置３０の復号開始位置決定部３１は、基本階層の符号化データを格納するパケットを取得して、基本階層において復号を開始するアクセスユニットを決定する（Ｓ３１）。このとき、別途取得したパケットの識別情報に基づいて、少なくとも基本階層のパケットを取得し、基本階層のランダムアクセスポイントに基づいて復号を開始するアクセスユニットを決定する。
　次に、受信装置３０の復号モード選択部３２は、拡張階層の符号化データを復号するか否かを判定する（Ｓ３２）。
　復号モード選択部３２により拡張階層の符号化データを復号すると判定された場合（Ｓ３２でＹｅｓ）、データ取得部３３は、基本階層の符号化データを格納するパケットと、拡張階層の符号化データを格納するパケットとをともに取得する（Ｓ３３：モード２）。ここでは、例えば、基本階層のパケットＩＤが１であり、拡張階層のパケットＩＤが２である場合には、パケットＩＤが１および２のパケットをともに取得してもよい。または、パケットＩＤ毎に別々にフィルタリングした上で、パケットＩＤが２である場合には、ＩＤが１であると見なして、ＩＤが１である場合と同様に扱えるようにするステップを別途設けてもよい。つまり、この場合には、ＩＤが１のパケットのみを取得することになる。
　なお、ＭＭＴにおける制御情報（ＰＡ　ｔａｂｌｅやＭＰ　ｔａｂｌｅ）、あるいは、ＭＰＥＧ－２　ＴＳのＰＭＴなどの制御情報に、復号順が昇順であるかどうかの識別情報を設けてもよい。受信装置３０においては、当該識別情報を解析し、昇順であれば、基本階層および拡張階層の符号化データを復号順に並べ替える処理を行わず、昇順でなければ、並べ替える処理を行ってもよい。
　復号モード選択部３２により拡張階層の符号化データを復号しないと判定された場合（Ｓ３２でＮｏ）、データ取得部３３は、基本階層の符号化データを格納するパケットのみを取得する（Ｓ３４：モード１）。
　そして、受信装置３０の復号部３４は、モード１およびモード２に応じて取得されたアクセスユニットを順に復号する（Ｓ３５）。なお、モード２の場合であっても、基本階層および拡張階層の両階層の符号化データは復号順に並んでいるため、符号化データの並べ替えは不要である。また、復号後のデータは、例えば、モード１であれば６０ｆｐｓ、モード２であれば１２０ｆｐｓのデータなど、拡張階層におけるスケーラビリティに応じて表示（再生）される。
　（変形例１）
　なお、最も単純化された受信装置および受信方法について説明する。
　図１８は、受信装置の構成の他の一例を示すブロック図である。図１９は、受信方法のフローチャートを示す図である。
　図１８に示されるように、受信装置４０は、受信部４１と、復号部４２とを備える。なお、受信装置の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
　まず、受信装置４０の受信部４１は、符号化データの復号の処理を行う時刻を示す時刻情報と、符号化データとを含む符号化ストリームを受信する（Ｓ４１）。
　次に、受信装置４０の復号部４２は、受信した符号化ストリームの符号化データに対する復号を、時刻情報で示される時刻に行う（Ｓ４２）。
　なお、時刻情報は、表示の処理を行う時刻であってもよい。この場合には、復号部４２で復号されたデータを表示する処理を、図示しない表示部が時刻情報で示される時刻に行う。
　（変形例２）
　また、上述では、時間方向のスケーラビリティを例に説明したが、空間方向のスケーラビリティについても、同一フレームを構成する基本階層と拡張階層のＤＴＳが異なる場合などにおいては、同様の方法が適用できる。
　（変形例３）
　また、上記実施の形態では、基本階層の先頭サンプルのＤＴＳの絶対値を示していたが、これに限らずに、基本階層において表示順で先頭となるサンプルのＰＴＳの絶対値を示すことによっても、ＭＰ４のヘッダ情報からＰＴＳとＤＴＳの差分を取得することにより、ＤＴＳの絶対値を決定してもよい。また、ＤＴＳおよびＰＴＳの差分（つまり第２の相対時間および第４の相対時間）はＭＰ４のヘッダ情報に格納されている。このため、ＤＴＳの絶対値でなくとも、ＰＴＳの絶対値を示してもよい。
　つまり、この場合、第１の時刻情報は、第１の集合の第１のアクセスユニットに対して行われる表示を行う、基準クロックを基準とする時刻を示す情報である。また、第２の時刻情報は、第２の集合の第２のアクセスユニットに対して行われる表示を行う、基準クロックを基準とする時刻を特定するための情報である。また、第１の集合の第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第１の時刻情報で示される時刻を基準とした第５の相対時間が対応付けられている。第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第６の相対時間で特定される。さらに、第２の集合の第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第２の時刻情報で示される時刻を基準とした第７の相対時間が対応付けられている。そして、第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第８の相対時間で特定される。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の送信装置、受信装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む送信方法を実行させる。
　また、このプログラムは、コンピュータに、映像が基本階層と拡張階層とに階層的に符号化された符号化データを受信する受信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを受信する受信ステップと、受信した前記符号化ストリームの前記符号化データに対する前記処理を、前記時刻情報で示される時刻に行う処理ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う時刻を特定するための第２の時刻情報とを含む受信方法を実行させてもよい。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　なお、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以上、本開示の一つまたは複数の態様に係る送信方法および受信方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、拡張階層におけるアクセスユニットの処理時刻を特定できる送信方法、受信方法などとして有用である。
　１０　符号化ストリーム
　１１　制御情報
　１２　時刻情報
　１３　ＭＭＴパケット
　１３ａ　ヘッダ
　１３ｂ　ペイロード
　１５　送信装置
　１６　符号化部
　１７　送信部
　２０，３０，４０　受信装置
　２１　取得部
　２２　開始判定部
　２３　オフセット反映部
　２４　後続ＤＴＳ決定部
　３１　復号開始位置決定部
　３２　復号モード選択部
　３３　データ取得部
　３４　復号部
　４１　受信部
　４２　復号部

Claims (17)

  1. 　映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、
    　前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、
    　生成した前記符号化ストリームを送信する送信ステップと、を含み、
    　前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
    　前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
    　前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
    　前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む
    　送信方法。
  2. 　前記第１のアクセスユニットは、前記第１の集合のうちで、最初に前記処理が行われるアクセスユニットであり、
    　前記第２のアクセスユニットは、前記第２の集合のうちで、最初に前記処理が行われるアクセスユニットである
    　請求項１に記載の送信方法。
  3. 　前記処理は、復号であり、
    　前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、
    　前記第１の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第２の相対時間で特定され、
    　前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、
    　前記第２の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第４の相対時間で特定される
    　請求項２に記載の送信方法。
  4. 　前記処理は、表示であり、
    　前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第５の相対時間が対応付けられており、
    　前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第６の相対時間で特定され、
    　前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第７の相対時間が対応付けられており、
    　前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第８の相対時間で特定される
    　請求項２に記載の送信方法。
  5. 　前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻との差分値である時刻オフセットである
    　請求項１から４のいずれか１項に記載の送信方法。
  6. 　前記集合は、ランダムにアクセス可能なランダムアクセスユニットであり、
    　前記第１のアクセスユニットおよび前記第２のアクセスユニットは、ランダムアクセスポイントである
    　請求項１から５のいずれか１項に記載の送信方法。
  7. 　複数の前記第１の集合と、複数の前記第２の集合とは、それぞれ１対１で対応付けられている
    　請求項６に記載の送信方法。
  8. 　前記第２の集合は、当該第２の集合に１対１で対応付けられている前記第１の集合の復号後のデータのみを参照することによって復号可能である
    　請求項７に記載の送信方法。
  9. 　前記第２の集合は、さらに、当該第２の集合に１対１で対応付けられている前記第１の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第２のヘッダ情報を含む
    　請求項８に記載の送信方法。
  10. 　前記第１の集合は、さらに、当該第１の集合に１対１で対応付けられている前記第２の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第１のヘッダ情報を含む
    　請求項８に記載の送信方法。
  11. 　前記符号化ストリームは、さらに、前記第１の集合を識別するための第１の識別情報と、当該第１の集合と１対１で対応付けられている前記第２の集合を識別するための第２の識別情報とが対応付けられた対応情報を含み、
    　前記第２の時刻情報は、前記対応情報に格納されている
    　請求項８に記載の送信方法。
  12. 　前記時刻情報は、前記符号化ストリームの制御情報に格納されている
    　請求項１から１１のいずれか１項に記載の送信方法。
  13. 　前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻とは異なる第２の絶対時刻を示す
    　請求項１または２に記載の送信方法。
  14. 　前記生成ステップでは、前記第１の集合を含む第１の符号化ストリームと、前記第２の集合を含む第２の符号化ストリームとを生成し、
    　前記送信ステップでは、前記第１の符号化ストリームを第１の伝送路を用いて送信し、前記第２の符号化ストリームを前記第１の伝送路とは異なる第２の伝送路を用いて送信する
    　請求項１から１３のいずれか１項に記載の送信方法。
  15. 　前記生成ステップでは、
    　前記第１の符号化ストリームおよび前記第２の符号化ストリームの一方を、ＭＰＥＧ－２　ＴＳ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２　Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）にしたがって生成し、
    　前記第１の符号化ストリームおよび前記第２の符号化ストリームの他方を、ＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）にしたがって生成する
    　請求項１４に記載の送信方法。
  16. 　前記第１の伝送路および前記第２の伝送路の一方は、放送で使用される伝送路であり、
    　前記第１の伝送路および前記第２の伝送路の他方は、通信で使用される伝送路である
    　請求項１４または１５に記載の送信方法。
  17. 　映像が基本階層と拡張階層とに階層的に符号化された符号化データを受信する受信方法であって、
    　前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを受信する受信ステップと、
    　受信した前記符号化ストリームの前記符号化データに対する前記処理を、前記時刻情報で示される時刻に行う処理ステップと、を含み、
    　前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
    　前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
    　前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
    　前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う時刻を特定するための第２の時刻情報とを含む
    　受信方法。
PCT/JP2014/003193 2013-06-18 2014-06-16 送信方法および受信方法 WO2014203516A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201480023859.2A CN105165014B (zh) 2013-06-18 2014-06-16 发送方法以及接收方法
EP14813558.5A EP3013057B1 (en) 2013-06-18 2014-06-16 Transmission method and reception method
EP20163285.8A EP3723380B1 (en) 2013-06-18 2014-06-16 Transmission method and reception method
EP18197949.3A EP3445053B1 (en) 2013-06-18 2014-06-16 Transmission method and reception method
US14/943,068 US10448033B2 (en) 2013-06-18 2015-11-17 Transmitting method and receiving method
US16/559,957 US11265562B2 (en) 2013-06-18 2019-09-04 Transmitting method and receiving method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361836291P 2013-06-18 2013-06-18
US61/836,291 2013-06-18
JP2014-116098 2014-06-04
JP2014116098A JP6605789B2 (ja) 2013-06-18 2014-06-04 送信方法、受信方法、送信装置、および、受信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/943,068 Continuation US10448033B2 (en) 2013-06-18 2015-11-17 Transmitting method and receiving method

Publications (1)

Publication Number Publication Date
WO2014203516A1 true WO2014203516A1 (ja) 2014-12-24

Family

ID=52301498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003193 WO2014203516A1 (ja) 2013-06-18 2014-06-16 送信方法および受信方法

Country Status (5)

Country Link
US (2) US10448033B2 (ja)
EP (3) EP3013057B1 (ja)
JP (5) JP6605789B2 (ja)
CN (2) CN110062257B (ja)
WO (1) WO2014203516A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431845A (zh) * 2015-03-31 2017-12-01 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
WO2020040085A1 (ja) * 2018-08-24 2020-02-27 日本電信電話株式会社 映像送信装置及び映像送信方法
CN113545099A (zh) * 2019-03-11 2021-10-22 索尼集团公司 信息处理设备、再现处理设备、信息处理方法和再现处理方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
EP3264775B1 (en) 2015-02-27 2023-05-03 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus and reception method
WO2016157817A1 (ja) * 2015-03-31 2016-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6585508B2 (ja) * 2015-04-02 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
JP6679314B2 (ja) * 2015-03-31 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、受信装置及び送受信システム
CN113038188B (zh) 2015-03-31 2023-06-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
US10834444B2 (en) 2015-08-25 2020-11-10 Sony Corporation Transmitting apparatus, transmission method, receiving apparatus, and reception method
WO2017047014A1 (ja) * 2015-09-14 2017-03-23 パナソニックＩｐマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP6820507B2 (ja) 2015-09-14 2021-01-27 パナソニックＩｐマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
CN113923492A (zh) * 2016-09-06 2022-01-11 麦克赛尔株式会社 广播接收系统
CA3051660A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6415652B1 (ja) * 2017-07-18 2018-10-31 三菱電機株式会社 映像再生装置、映像記録装置および映像記録方法
JP7356786B2 (ja) 2017-09-13 2023-10-05 住友化学株式会社 リチウム二次電池用正極活物質の製造方法
HUE059347T2 (hu) 2019-03-11 2022-11-28 Dolby Laboratories Licensing Corp A zárszöggel kapcsolatos információk jelzése
US11533474B2 (en) 2019-03-11 2022-12-20 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
CN114208202A (zh) 2019-08-06 2022-03-18 杜比实验室特许公司 画布尺寸可伸缩的视频编码
EP3965424A1 (en) 2020-09-02 2022-03-09 Lemon Inc. Transition period for image transitions in a media file
US11563983B2 (en) 2020-09-02 2023-01-24 Lemon, Inc. Association of operation point info properties to VVC image items

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
JP2012060311A (ja) * 2010-09-07 2012-03-22 Nippon Hoso Kyokai <Nhk> ストリーム分割装置及び受信装置
JP2012095053A (ja) * 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
JP2013009343A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 放送通信連携システム
JP2013009332A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1107418C (zh) * 1996-07-05 2003-04-30 松下电器产业株式会社 显示多个视频物面的时间标记和同步的方法
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
KR20020064904A (ko) * 2000-09-22 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
CN100471267C (zh) 2002-03-08 2009-03-18 法国电信公司 从属数据流传输方法
JP2005530462A (ja) * 2002-06-13 2005-10-06 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
KR101029808B1 (ko) * 2004-01-27 2011-04-20 엘지전자 주식회사 싱크 레이어 패킷의 패킷화 방법
US8358704B2 (en) 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
EP2009828B1 (en) 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system
US7953882B2 (en) * 2007-07-26 2011-05-31 Realnetworks, Inc. Adaptive variable fidelity media distribution system and method
KR100954290B1 (ko) * 2007-12-10 2010-04-26 한국전자통신연구원 Ｄｍｂ 방송 시스템에서 고품질 미디어 데이터 처리 방법및 장치
CA2722204C (en) * 2008-04-25 2016-08-09 Thomas Schierl Flexible sub-stream referencing within a transport data stream
JP5156517B2 (ja) * 2008-07-23 2013-03-06 株式会社ジャパンディスプレイイースト 液晶表示装置
KR101635235B1 (ko) * 2008-07-26 2016-06-30 톰슨 라이센싱 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
KR101691050B1 (ko) * 2008-09-16 2016-12-29 톰슨 라이센싱 스케일러블 비디오 코딩을 사용한 디지털 선형 ｔｖ 프로그래밍의 송신 방법
BRPI0918619A2 (pt) * 2008-09-17 2019-09-03 Sharp Kk aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP5338394B2 (ja) * 2009-03-10 2013-11-13 日本電気株式会社 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
WO2010109540A1 (ja) * 2009-03-27 2010-09-30 富士通株式会社 無線通信方法、移動局、基地局、無線通信システム
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
JP5916624B2 (ja) * 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
US9001728B2 (en) * 2011-08-05 2015-04-07 Broadcom Corporation Data transmission across independent streams
US20150124818A1 (en) * 2011-10-13 2015-05-07 Electronics And Telecommunications Research Institute Method for transmitting media data interlinked with composition information and transmission characteristics information via a heterogeneous ip network
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
KR101620776B1 (ko) * 2012-03-28 2016-05-12 닛폰 호소 교카이 인코딩 장치, 디코딩 장치 및 이와 관련된 프로그램
EP3361741A4 (en) 2015-10-07 2019-01-23 Panasonic Intellectual Property Management Co., Ltd. RECEIVING DEVICE AND RECEIVING METHOD
JP6986671B2 (ja) 2015-10-07 2021-12-22 パナソニックＩｐマネジメント株式会社 受信装置及び受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
JP2012060311A (ja) * 2010-09-07 2012-03-22 Nippon Hoso Kyokai <Nhk> ストリーム分割装置及び受信装置
JP2012095053A (ja) * 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
JP2013009343A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 放送通信連携システム
JP2013009332A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431845A (zh) * 2015-03-31 2017-12-01 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
CN107431845B (zh) * 2015-03-31 2021-03-26 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
WO2020040085A1 (ja) * 2018-08-24 2020-02-27 日本電信電話株式会社 映像送信装置及び映像送信方法
JP2020031391A (ja) * 2018-08-24 2020-02-27 日本電信電話株式会社 映像送信装置及び映像送信方法
JP7067367B2 (ja) 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法
US11343520B2 (en) 2018-08-24 2022-05-24 Nippon Telegraph And Telephone Corporation Video transmission device and video transmission method
CN113545099A (zh) * 2019-03-11 2021-10-22 索尼集团公司 信息处理设备、再现处理设备、信息处理方法和再现处理方法

Also Published As

Publication number Publication date
JP2017175657A (ja) 2017-09-28
EP3013057A1 (en) 2016-04-27
EP3445053B1 (en) 2020-04-08
JP6625684B2 (ja) 2019-12-25
EP3723380A1 (en) 2020-10-14
CN110062257B (zh) 2021-09-14
EP3013057B1 (en) 2018-10-03
JP6606125B2 (ja) 2019-11-13
US20190394475A1 (en) 2019-12-26
JP2015005977A (ja) 2015-01-08
JP6605789B2 (ja) 2019-11-13
EP3723380B1 (en) 2022-08-10
CN105165014A (zh) 2015-12-16
US11265562B2 (en) 2022-03-01
JP6606529B2 (ja) 2019-11-13
US10448033B2 (en) 2019-10-15
JP2017175658A (ja) 2017-09-28
US20160073119A1 (en) 2016-03-10
EP3013057A4 (en) 2016-06-08
EP3445053A1 (en) 2019-02-20
JP2018113715A (ja) 2018-07-19
JP6839257B2 (ja) 2021-03-03
JP2020031447A (ja) 2020-02-27
CN110062257A (zh) 2019-07-26
CN105165014B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
JP6606529B2 (ja) 送信方法、受信方法、送信装置、および、受信装置
JP7091421B2 (ja) 送信装置、及び、受信装置
JP6524362B1 (ja) 蓄積方法、再生方法、蓄積装置、および再生装置
US10270823B2 (en) Low latency video streaming
US9270721B2 (en) Switching between adaptation sets during media streaming
KR101620151B1 (ko) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
US9357275B2 (en) Network streaming of coded video data
JP2018182763A (ja) データ送信方法、データ再生方法、データ送信装置およびデータ再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480023859.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14813558

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014813558

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE