WO2013146571A1 - 符号化装置、復号装置及びこれらのプログラム - Google Patents

符号化装置、復号装置及びこれらのプログラム Download PDF

Info

Publication number
WO2013146571A1
WO2013146571A1 PCT/JP2013/058247 JP2013058247W WO2013146571A1 WO 2013146571 A1 WO2013146571 A1 WO 2013146571A1 JP 2013058247 W JP2013058247 W JP 2013058247W WO 2013146571 A1 WO2013146571 A1 WO 2013146571A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
access
cts
dts
access unit
Prior art date
Application number
PCT/JP2013/058247
Other languages
English (en)
French (fr)
Inventor
秀一 青木
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to KR1020147028745A priority Critical patent/KR101620776B1/ko
Priority to EP13768776.0A priority patent/EP2833630B1/en
Priority to JP2014507816A priority patent/JP6126583B2/ja
Publication of WO2013146571A1 publication Critical patent/WO2013146571A1/ja
Priority to US14/498,132 priority patent/US9628590B2/en
Priority to US15/445,387 priority patent/US9942364B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28Timers or timing mechanisms used in protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Definitions

  • the present invention relates to an encoding device, a decoding device, and a program for encapsulating one or more access units in a media unit.
  • Non-patent Document 1 As an access unit format associated with a time stamp, PES (Packetized Elementary Stream) defined in MPEG (Moving Picture Experts Group) -2 System is known (Non-patent Document 1). ).
  • the PES 90 includes a field (PES_packet_length) indicating a PES packet length, a field indicating a DTS (Decoding Time Stamp), and a field indicating a PTS (Presentation Time Stamp). ing. Furthermore, one access unit (AU: Access Unit) can be encapsulated (stored) in the PES 90. In FIGS. 19A and 19B, some fields are not shown.
  • Non-patent Document 2 an RTP (Real-time Transport Protocol) payload format defined by IETF (Internet Engineering Task Force) is also known (Non-patent Document 2).
  • the RTP payload 91 includes a field indicating a reference time stamp (Base_Timestamp).
  • the RTP payload 91 can encapsulate a plurality of NAL (Network Adaptation Layer) units, which are smaller units than the access unit.
  • the RTP payload 91 includes, for each NAL unit, a field indicating the size (NALu1_length, NALu2_length) of the NAL unit and a field indicating an offset value (NALu1_TS_offset, NALu2_TS_offset) from the time stamp.
  • the time stamp indicates the presentation time.
  • the conventional PES 90 cannot encapsulate a plurality of access units as shown in FIG. Further, in the conventional PES 90, in a voice signal having an access unit size of only several hundred bytes, the field indicating the PES packet length is a fixed value of 16 bits, so this field becomes redundant and causes an overhead. On the other hand, in the conventional PES, the number of bits of the field indicating the packet length may be insufficient in a high-resolution video signal.
  • the conventional RTP payload 91 does not include a field indicating the decoding timing. Further, in the conventional RTP payload 91, even when one NAL unit is encapsulated, a field indicating the size information of each NAL unit is necessary, so this field becomes redundant and causes an overhead.
  • Non-Patent Documents 1 and 2 As described above, with the techniques described in Non-Patent Documents 1 and 2, overhead and field shortage that occur when encapsulating audio signals and video signals are problematic. For this reason, there is a strong demand to perform encapsulation in an optimal format.
  • the encoding apparatus encodes an input signal using an encoding method in which a CTS indicating a presentation or playback time and a DTS indicating a decoding time are used.
  • An apparatus includes an encoder, a difference value calculation unit, an offset value calculation unit, an encapsulation determination unit, and an encapsulation unit.
  • the encoding device generates an access unit in which CTS and DTS are associated with each other by encoding an input signal with the encoder.
  • the encoding apparatus calculates a difference value between the DTS of the access unit and the DTS of another access unit encoded immediately before the access unit by the difference value calculation means. Then, the encoding apparatus calculates an offset value which is a difference between the DTS and the CTS of the access unit by the offset value calculation unit.
  • the encoding apparatus determines, as an encapsulation unit, one or more access units having the same difference value and the same offset value within a predetermined determination time by the encapsulation determination unit. Then, the encoding device encapsulates one or more access units included in the encapsulation unit into the media unit by the encapsulation means, and adds the same difference value and the same offset value to the media unit.
  • the encapsulation means when encapsulating one access unit, the encapsulation means adds a value indicating that the size information for each access unit is not included as encapsulation determination information to the media unit.
  • the encapsulation unit when encapsulating a plurality of access units, the encapsulation unit adds a value indicating that size information for each access unit is included as encapsulation determination information to the media unit, and adds the size information to the media unit. To do.
  • the media unit encapsulated by this encapsulation means includes only one field (difference value and offset value) indicating the decoding timing even when a plurality of access units are encapsulated. Further, this media unit does not include a field indicating size information when one access unit is encapsulated. In this way, since the media unit does not include redundant fields, overhead can be reduced.
  • the media unit is a packet format (format) when the access unit is packetized, and useful information (for example, a time stamp indicating the decoding timing) when the access unit is decoded is stored.
  • the encapsulation determination information is information for determining the number of encapsulated access units. In other words, the encapsulation determination information is information for determining whether or not a plurality of access units are encapsulated.
  • the size information is information indicating the size (data length) of each access unit.
  • an encoding device that encodes an input signal by an encoding method using a CTS indicating a time of presentation or reproduction, and includes an encoder and And a difference value calculating means, an encapsulation determining means, and an encapsulation means.
  • the encoding apparatus generates an access unit associated with CTS by encoding an input signal with the encoder.
  • the encoding apparatus calculates a difference value between the CTS of the access unit and the CTS of another access unit encoded immediately before the access unit by the difference value calculation means.
  • the encoding apparatus determines, as an encapsulation unit, one or more access units having the same difference value within a predetermined determination time by the encapsulation determination unit. Then, the encoding device encapsulates one or more access units included in the encapsulation unit into a media unit by the encapsulating means, and adds the same difference value to the media unit.
  • the encapsulating means when encapsulating one access unit, adds a value indicating that the size information for each access unit is not included as the encapsulation determination information to the media unit, and a plurality of access units Is encapsulated, information indicating that size information for each access unit is included is added to the media unit, and size information is added to the media unit.
  • the media unit encapsulated by this encapsulating means includes only one field (difference value) indicating the decoding timing even when a plurality of access units are encapsulated. Further, this media unit does not include a field indicating size information when one access unit is encapsulated. In this way, since the media unit does not include redundant fields, overhead can be reduced.
  • the encapsulating unit when the encapsulating unit encapsulates a plurality of access units, a different value is set as the encapsulation determination information for each size range of the access unit set in advance. And size information is added to the media unit with a number of bits set in advance according to the value of the encapsulation determination information.
  • the encoding apparatus sets the size information added to the media unit to a variable length according to the size of each access unit.
  • the encoding device has a situation in which the field indicating the size information becomes redundant and the bits of the field indicating the size information. The situation where the number is insufficient can be prevented.
  • the decoding device receives a media unit encapsulating one or more access units from the encoding device according to the first invention of the present application, and presents or reproduces it.
  • a decoding device that decodes an access unit by a decoding method using a CTS that indicates a time and a DTS that indicates a time to decode, which includes a multiple capsule determination unit, a media unit extraction unit, a DTS reverse calculation unit, and a CTS reverse calculation Means and a decoder.
  • the decoding device determines whether or not a plurality of access units are encapsulated in the media unit based on the encapsulation determination information added to the input media unit by the multiple capsule determination unit. To do.
  • the decoding apparatus extracts the plurality of access units from the media unit, and the plurality of access units are encapsulated. When it is determined that the access unit has not been converted, one access unit is extracted from the media unit.
  • the media unit input to the decoding device includes only one time stamp (difference value and offset value) indicating the decoding timing.
  • CTS and DTS are required for each access unit.
  • the decoding device uses a value obtained by adding the difference value added to the media unit by the DTS inverse calculation means and the DTS of another access unit located immediately before the access unit extracted from the media unit. Back-calculate as DTS. Also, the decoding device performs a reverse operation using the CTS reverse calculation means as a CTS of the access unit extracted from the media unit, by adding the offset value added to the media unit and the DTS of the access unit reversely calculated by the DTS reverse calculation means. To do. Then, the decoding device decodes the access unit in which the DTS and CTS are calculated back by the decoder.
  • the decoding device receives a media unit encapsulating one or more access units from the encoding device according to the second invention of the present application, and presents or reproduces the media unit.
  • a decoding device that decodes an access unit by a decoding method using CTS indicating time, and includes a plurality of capsule determination means, media unit extraction means, CTS reverse calculation means, and a decoder.
  • the decoding device determines whether or not a plurality of access units are encapsulated in the media unit based on the encapsulation determination information added to the input media unit by the multiple capsule determination unit. To do.
  • the decoding apparatus extracts the plurality of access units from the media unit, and the plurality of access units are encapsulated. When it is determined that the access unit has not been converted, one access unit is extracted from the media unit.
  • the media unit input to the decoding device includes only one time stamp (difference value) indicating the decoding timing even when a plurality of access units are encapsulated.
  • a CTS is required for each access unit.
  • the decoding device uses a value obtained by adding the difference value added to the media unit by the CTS inverse calculation means and the CTS of the other media unit located immediately before the access unit extracted from the media unit. Back-calculate as CTS.
  • the decoding device decodes the access unit in which the CTS is calculated backward by the decoder.
  • the decoding device provides the size of each access unit added to the media unit when the media unit extraction means determines that the plurality of access units are encapsulated by the plurality of capsule determination means. A plurality of access units are extracted from the media unit based on the information. According to this configuration, the decoding device can accurately specify the data area of the media unit in which each access unit is encapsulated by referring to the size information.
  • the encoding device encodes an input signal by an encoding method using a CTS indicating the time of presentation or playback and a DTS indicating the time of decoding.
  • An encoding apparatus includes an encoder, an encapsulation determination unit, a DTS relative value calculation unit, a CTS relative value calculation unit, an encapsulation unit, and a transmission unit.
  • the encoding apparatus generates an access unit in which CTS and DTS are associated with each other by encoding an input signal with an encoder using an encoding method.
  • the encoding apparatus determines one or more access units as an encapsulation unit by the encapsulation determination unit under preset encapsulation conditions.
  • the encapsulation condition is arbitrarily set such that, for example, a preset number of access units is used as an encapsulation unit, or an access unit encoded within a preset time is used as an encapsulation unit. It is a condition that can be set.
  • the encoding device calculates zero as the DTS relative value of the first encoded access unit by the DTS relative value calculation means, and sets the DTS of the access unit as the DTS relative value of the second and subsequent encoded access units. And the difference between the DTS of another access unit encoded just before the access unit.
  • the encoding device calculates the difference between the CTS of the access unit and the CTS of the other access unit encoded immediately after the access unit as the CTS relative value of the access unit by the CTS relative value calculation means.
  • the encoding device encapsulates one or more access units determined as an encapsulation unit by the encapsulation means into a media unit, and adds a DTS relative value and a CTS relative value for each access unit. Then, the encoding device transmits the media unit and a control signal including an absolute time indicating the head of the media unit by the transmission unit.
  • the encoding apparatus adopts a format in which the absolute time serving as a reference for DTS and CTS is added to the control signal, and the DTS relative value and the CTS relative value are added to the access unit.
  • an encoding device that encodes an input signal by an encoding method using a CTS indicating a time of presentation or reproduction, and includes an encoder and And an encapsulation determination means, a CTS relative value calculation means, an encapsulation means, and a transmission means.
  • the encoding device generates an access unit associated with CTS by encoding an input signal by an encoder using an encoding method.
  • the encoding apparatus determines one or more access units as an encapsulation unit by the encapsulation determination unit under preset encapsulation conditions.
  • the encoding device calculates the difference between the CTS of the access unit and the CTS of the other access unit encoded immediately after the access unit as the CTS relative value of the access unit by the CTS relative value calculation means. Then, the encoding device encapsulates one or more access units determined as an encapsulation unit by the encapsulation unit into a media unit, and adds a CTS relative value for each access unit. Further, the encoding apparatus transmits the media unit and the control signal including the absolute time indicating the head of the media unit in association with each other by the transmission unit.
  • the encoding apparatus adopts a format in which the absolute time serving as a reference for CTS is added to the control signal and the CTS relative value is added to the access unit.
  • the transmission means uses an identifier common to a predetermined media unit, a sequence number unique to the media unit, a media unit, and a control signal corresponding to the media unit. Append. According to such a configuration, the encoding device can accurately associate the media unit with the control signal.
  • the decoding device receives a media unit encapsulating one or more access units from the encoding device according to the seventh invention of the present application, and presents or reproduces the media unit.
  • a decoding device that decodes an access unit by a decoding method using a CTS that indicates a time and a DTS that indicates a decoding time, the receiving unit, a media unit extraction unit, a DTS reverse calculation unit, a CTS reverse calculation unit, And a decoder.
  • the decoding device receives the media unit and the control signal including the absolute time indicating the head of the media unit by the receiving unit. Further, the decoding device extracts one or more access units from the media unit by the media unit extraction means.
  • the decoding device reversely calculates the absolute time of the control signal corresponding to the media unit as the DTS of the access unit positioned at the head by the DTS reverse calculation means, and as the DTS of the access unit positioned after the second, The value obtained by adding the DTS relative value and the DTS of another access unit located immediately before the access unit is calculated backward.
  • the decoding device uses the CTS inverse calculation means to add a value obtained by adding the absolute time of the control signal corresponding to the media unit and the sum of the CTS relative values from the access unit located at the head to the access unit immediately after the access unit.
  • the decoding apparatus decodes the access unit obtained by calculating back DTS and CTS by the decoder using the decoding method.
  • the decoding device adopts a format in which the absolute time serving as a reference for DTS and CTS is added to the control signal, and the DTS relative value and the CTS relative value are added to the access unit.
  • the decoding device receives a media unit encapsulating one or more access units from the encoding device according to the eighth invention of the present application, and presents or reproduces the media unit.
  • a decoding apparatus that decodes an access unit by a decoding method using CTS indicating time, and is characterized by comprising a receiving means, a media unit extracting means, a CTS reverse calculating means, and a decoder.
  • the decoding device receives the media unit and the control signal including the absolute time indicating the head of the media unit by the receiving unit. Further, the decoding device extracts one or more access units from the media unit by the media unit extraction means.
  • the decoding device uses the CTS inverse calculation means to add a value obtained by adding the absolute time of the control signal corresponding to the media unit and the sum of the CTS relative values from the access unit located at the head to the access unit immediately after the access unit.
  • the decoding apparatus decodes the access unit obtained by reversely calculating the CTS by the decoder using the decoding method.
  • the decoding apparatus adopts a format in which an absolute time serving as a CTS reference is added to the control signal and a CTS relative value is added to the access unit.
  • the receiving means includes an identifier common to a predetermined media unit, a sequence number unique to the media unit, a received media unit, and a control signal corresponding to the media unit. It is characterized by being added to. According to such a configuration, the decoding apparatus can accurately associate the media unit with the control signal.
  • the encoding apparatus uses hardware resources such as a CPU (Central Processing Unit), a memory, and an HDD (Hard Disk Drive) included in a computer as the above-described means. It can also be realized by an encoding program for operating. This encoding program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
  • hardware resources such as a CPU (Central Processing Unit), a memory, and an HDD (Hard Disk Drive) included in a computer as the above-described means.
  • This encoding program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
  • the decoding device may be realized by a decoding program for causing hardware resources such as a CPU, a memory, and an HDD included in a computer to operate cooperatively as the above-described means. it can.
  • This decryption program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
  • the media unit includes only one field (difference value and offset value) indicating the decoding timing. Furthermore, according to the first and fourth aspects of the present invention, when one access unit is encapsulated, the media unit does not include a field indicating the size information of the access unit. Therefore, according to the first and fourth inventions of the present application, since a redundant field is not included in the media unit, the overhead of the media unit is reduced, and encapsulation in an optimum format is enabled.
  • the media unit includes only one field (difference value) indicating the decoding timing. Further, according to the second and fifth aspects of the present invention, when one access unit is encapsulated, the media unit does not include a field indicating the size information of the access unit. Therefore, according to the second and fifth aspects of the present invention, a redundant field is not included in the media unit, so that the overhead of the media unit is reduced and encapsulation in an optimum format is possible.
  • the third aspect of the present invention it is possible to prevent a situation in which the field indicating the size information is redundant and a situation in which the number of bits in the field indicating the size information is insufficient.
  • the sixth aspect of the present invention since a data area of a media unit in which a plurality of access units are encapsulated can be accurately specified, data loss can be prevented when extracting access units.
  • a format is adopted in which an absolute time serving as a reference for DTS and CTS is added to a control signal, and a DTS relative value and a CTS relative value are added to an access unit. Therefore, according to the seventh and tenth aspects of the present invention, the change of the time when the access unit is decoded, the change of the time when the access unit is presented or reproduced, the common use of the media unit, and the switching of the transmission path Enables encapsulation in an optimal format that can be easily implemented.
  • the capsule in an optimal format that can easily realize the change of the time when the access unit is presented or reproduced, the common use of the media unit, and the switching of the transmission path. Enable.
  • the media unit and the control signal can be accurately associated with each other, so that the correct DTS and CTS can be calculated backward.
  • FIG. 1 It is a block diagram which shows the structure of the encoding apparatus and decoding apparatus which concern on 1st Embodiment of this invention.
  • (a) is a diagram illustrating a format of a media unit in which one access unit is encapsulated
  • (b) is a diagram of a media unit in which a plurality of access units are encapsulated. It is a figure explaining a format. In a 1st embodiment of the present invention, it is a figure explaining a difference value and an offset value.
  • FIG. 1 It is a block diagram which shows the structure of the encoding apparatus and decoding apparatus which concern on 2nd Embodiment of this invention.
  • (a) is a diagram illustrating a format of a media unit in which one access unit is encapsulated
  • (b) is a diagram of a media unit in which a plurality of access units are encapsulated. It is a figure explaining a format.
  • a 2nd embodiment of the present invention it is a figure explaining a difference value. It is explanatory drawing explaining commonality of a media unit and switching of a transmission line in 3rd Embodiment of this invention.
  • FIG. 11 is a flowchart showing an operation of the encoding device of Fig. 10.
  • FIG. 11 is a flowchart showing an operation of the decoding device in FIG. 10.
  • FIG. 11 It is a block diagram which shows the structure of the encoding apparatus and decoding apparatus which concern on 4th Embodiment of this invention.
  • a content providing system 1000 provides content (video), and includes an encoding device 1 and a decoding device 2.
  • the content providing system 1000 is connected to the encoding device 1 and the decoding device 2 via a network N.
  • the network N is a transmission path for IP packets such as the Internet and an intranet.
  • the content providing system 1000 includes one encoding device 1 and one decoding device 2.
  • the encoding device 1 encodes a video signal as an input signal and provides it to the decoding device 2. Therefore, the encoding apparatus 1 includes an encoder 11, a time stamp calculation unit 12, an encapsulation determination unit 15, and an encapsulation unit 16.
  • the encoder 11 encodes a video signal input from the outside by an encoding method using CTS and DTS, thereby generating an access unit in which CTS and DTS are associated (added).
  • the encoder 11 encodes an input video signal by using a video encoding method such as MPEG (Moving Picture Experts Group) -2 Video or MPEG-4 AVC (Advanced Video Coding), and accesses the video. Generate a unit.
  • a video encoding method such as MPEG (Moving Picture Experts Group) -2 Video or MPEG-4 AVC (Advanced Video Coding)
  • the CTS and the DTS are associated with each access unit.
  • the encoder 11 sequentially outputs the access units associated with the CTS and the DTS to the time stamp calculation unit 12.
  • CTS Composition Time Stamp
  • PTS Physical Transport Stream
  • DTS information indicating the time for decoding.
  • An access unit is a set of codes (input signals) having the same DTS.
  • the input signal is a signal to be encoded and decoded, such as a video signal or an audio signal.
  • the time stamp calculation unit 12 calculates a time stamp (DTS difference value and offset value) to be added to the media unit, and includes a difference value calculation unit 13 and an offset value calculation unit 14.
  • the difference value calculation means 13 calculates a difference value between the DTS of the access unit input from the encoder 11 and the DTS of another access unit encoded immediately before this access unit.
  • the difference value calculation means 13 calculates the difference value as “0” because there is no previous access unit.
  • the difference value calculation means 13 since the difference value calculation means 13 sequentially processes the access units that are continuous in the time direction, the DTS of the access unit that calculated the difference value is stored in the memory (not shown) and the DTS of another access unit. As a temporary store.
  • the difference value calculation means 13 calculates the difference value between the DTS of the input access unit and the DTS of the other access unit temporarily stored when the access unit is the second or later.
  • the offset value calculation means 14 calculates an offset value that is the difference between the DTS and CTS of the access unit input from the encoder 11. That is, the offset value calculation unit 14 calculates the difference between the DTS and CTS associated with the same access unit as the offset value.
  • the time stamp calculation unit 12 sequentially converts the access unit input from the encoder 11, the difference value calculated by the difference value calculation unit 13, and the offset value calculated by the offset value calculation unit 14 into an encapsulation determination unit. 15 is output.
  • the encapsulation determination unit 15 determines one or more access units satisfying the determination condition described later as an encapsulation unit within a predetermined determination time among the access units input from the time stamp calculation unit 12. It is.
  • This determination condition is a condition in which the difference value is the same and the offset value is the same.
  • the encapsulation unit indicates an access unit that can be encapsulated in the same media unit.
  • the encapsulation determination means 15 determines whether or not the sequentially input access units satisfy the determination condition while counting the timer.
  • the encapsulation determination unit 15 determines, as an encapsulation unit, one or more access units that satisfy the determination condition when the timer has passed the determination time.
  • the encapsulation determination unit 15 determines the two access units as the same encapsulation unit.
  • the encapsulation determination unit 15 determines the two access units as separate encapsulation units. Thereafter, the encapsulation determination unit 15 outputs a difference value, an offset value, and an access unit included in the encapsulation unit for each encapsulation unit.
  • the encapsulating unit 16 encapsulates (stores) one or more access units determined as an encapsulation unit by the encapsulation determining unit 15 in a media unit, and describes the same difference value and the same offset value in the media unit. (Add).
  • the encapsulating means 16 describes the input difference value in the DTS field 101. Further, the encapsulating means 16 describes the input offset value in the CTS field 102. Then, the encapsulation unit 16 describes a value (eg, “0”) indicating that size information is not included as the encapsulation determination information in the encapsulation determination information field (Length_flag) 103. The encapsulation determination information field 103 is secured with a 2-bit width, for example. Further, the encapsulating means 16 encapsulates one access unit 200 in the media unit 100 (AU in FIG. 2A).
  • the media unit 100 includes fields such as a time stamp flag, an extension header flag, and a random access point flag, the description and illustration are omitted because they are not directly related to the present invention. Further, details of the media unit 100 are described in, for example, a reference document “Media Transport Method in Hybrid Broadcasting, Research Report of Information Processing Society of Japan, Vol.2011-AVN-72 No.1 2011/3/11”. Yes.
  • the encapsulating unit 16 describes the input difference value in the DTS field 101. Further, the encapsulating means 16 describes the input offset value in the CTS field 102.
  • the encapsulation means 16 describes a value (for example, other than “0”) indicating that the size information is included as the encapsulation determination information in the encapsulation determination information field 103. At this time, the encapsulating means 16 sets a different value for each media unit 100 so that the maximum size among the one or more access units 200 included in the same media unit 100 can be expressed. May be described.
  • the encapsulation unit 16 when the size of the access unit 200 is greater than 0 bytes and less than or equal to 64 kilobytes (16-bit expression range), the encapsulation unit 16 describes “1” in the encapsulation determination information field 103. At this time, the encapsulating means 16 secures the size information field (AU1_length, AU2_length) 104 with a 16-bit width. For example, when the size of the access unit 200 exceeds 64 kilobytes and is 16 megabytes or less (24-bit expression range), the encapsulation unit 16 describes “2” in the encapsulation determination information field 103. Also, the encapsulating means 16 secures the size information field 104 with a 24-bit width.
  • the encapsulation unit 16 when the size of the access unit 200 exceeds 16 megabytes and is 4 gigabytes or less (32-bit expression range), the encapsulation unit 16 describes “3” in the encapsulation determination information field 103. Also, the encapsulating means 16 secures the size information field 104 with a 32-bit width.
  • the encapsulating means 16 describes the size information of each access unit 200 in the size information field 104 secured with a predetermined bit width. Further, the encapsulating means 16 encapsulates a plurality of access units 200 in the media unit 100 (AU1, AU2 in FIG. 2B).
  • FIG. 3 it is assumed that six access units 200 1 to 200 6 are continuously generated (AU1 to AU6 in FIG. 3). Further, the 1 -th media units 100 1 access unit 200 1 is encapsulated, the two eyes of the media unit 100 2 to access unit 200 2, 200 3 and the encapsulated. Further, 3 -th media unit 100 3 to the access unit 200 4, 200 5 are encapsulated, the 4 th of media units 100 4 access unit 200 6 is to be encapsulated.
  • the difference value in DTS field 101 1 '0' is written. Also, the media unit 100 1, the offset value which represents the difference between the access unit 200 1 of the DTS and CTS are described in the CTS field 102 1.
  • the difference value of the access unit 200 2 DTS, the access unit 200 1 of the DTS is described in the DTS field 101 2. Also, the media unit 100 2, an offset value of the access unit 200 2 of the DTS and CTS are described in the CTS field 102 2.
  • the difference value of the access unit 200 3 of DTS and access unit 200 2 of the DTS has the same difference value between the access unit 200 2 of the DTS and access unit 200 1 of the DTS.
  • the offset value of the access unit 200 3 of DTS and CTS was the same as the offset value of the access unit 200 2. Therefore, the media unit 100 2, a DTS field 101 2 and CTS field 102 2, will be able to share access unit 200 2, 200 3. In other words, since the media unit 100 shares the DTS field 101 and the CTS field 102, it is not possible to encapsulate the access units 200 having different difference values and offset values.
  • the encoding device 1 transmits the media unit 100 generated by the encapsulation unit 16 to the decoding device 2 via the network N by a transmission unit (not shown).
  • the transmission unit converts the media unit 100 into an IP packet, performs transmission path encoding processing and modulation processing according to the network N, and transmits the generated IP packet.
  • the decoding device 2 extracts one or a plurality of access units 200 from the media unit 100 transmitted by the encoding device 1, and decodes the extracted access units 200. Therefore, the decoding device 2 includes a multiple capsule determination unit 21, a decapsulation unit (media unit extraction unit) 22, a time stamp reverse calculation unit 23, and a decoder 26.
  • the decoding device 2 receives the media unit 100 from the encoding device 1 via the network N by receiving means (not shown).
  • the receiving means receives the IP packet by performing demodulation processing and transmission path decoding processing according to the network N. Then, the receiving unit extracts the media unit 100 from the received IP packet and sequentially outputs the media unit 100 to the multiple capsule determining unit 21.
  • the multiple capsule determination means 21 determines whether or not a plurality of access units 200 are encapsulated in the media unit 100 based on the input encapsulation determination information field 103 of the media unit 100.
  • the multiple capsule determination unit 21 encapsulates the multiple access units 200 in the media unit 100. It is determined that On the other hand, when the value of the encapsulation determination information field 103 is “0”, the multiple capsule determination unit 21 determines that the multiple access units 200 are not encapsulated in the media unit 100. Then, the multiple capsule determination unit 21 sequentially outputs a determination result indicating whether the multiple access units 200 are encapsulated and the media unit 100 to the decapsulation unit 22.
  • the decapsulation means 22 extracts one access unit 200 from the input media unit 100 when the determination result of the multiple capsule determination means 21 indicates that the multiple access units 200 are not encapsulated (reverse capsule) ). In this case, since the decapsulation means 22 can extract one access unit 200 by reading the entire media unit 100, it is not necessary to refer to the size information field 104. Note that the overall size of the media unit 100 can be specified from the length information field of the UDP header of the IP packet, for example, by the receiving means described above.
  • the decapsulation means 22 extracts the plurality of access units 200 from the input media unit 100 when the determination result of the multiple capsule determination means 21 indicates that the plurality of access units 200 are encapsulated. In this case, the decapsulation means 22 needs to refer to the size information field 104 and specify the data area of the media unit 100 in which each access unit 200 is encapsulated.
  • the decapsulation means 22 extracts the difference value described in the DTS field 101 and the offset value described in the CTS field 102 from the media unit 100. Thereafter, the decapsulation means 22 sequentially outputs the access unit 200 extracted from the media unit 100, the difference value, and the offset value to the time stamp reverse calculation means 23.
  • the time stamp reverse calculation means 23 reversely calculates the DTS and CTS of the access unit 200 from the time stamp (difference value and offset value), and includes a DTS reverse calculation means 24 and a CTS reverse calculation means 25.
  • the DTS reverse calculation means 24 performs the reverse operation of the difference value calculation means 13.
  • the CTS reverse calculation means 25 performs the reverse calculation of the offset value calculation means 14.
  • DTS back calculation unit 24 calculated backward as the absolute value of the access unit 200 1 of the DTS '0'.
  • the latest calculated access unit (other access unit) 200 stores the value of the reverse calculated DTS in a memory (not shown). Temporarily stored as one DTS.
  • CTS back calculation means 25 the value of the back-calculated DTS in the access unit 200 1, and it adds the described offset value in the CTS field 102 1, calculated back as an access unit 200 1 of the CTS.
  • DTS back calculation means 24 the access unit 200 1 of DTS, which is temporarily stored in the memory, a value obtained by adding the difference value described in DTS field 101 2, calculated back as an access unit 200 2 of the DTS.
  • DTS back calculation means 24 the above-mentioned memory, temporarily stores the value of the back-calculated access unit 200 2 of the DTS, and updates the memory contents.
  • the DTS temporarily stored in the memory is updated each time the latest DTS of the access unit 200 included in the media unit 100 is calculated backward.
  • CTS back calculation means 25, and the offset value described in the CTS field 102 2 a value obtained by adding the access unit 200 2 DTS inverse calculation unit 24 has calculated back DTS, calculated back as an access unit 200 2 of the CTS.
  • DTS back calculation means 24 and CTS back calculation unit 25 calculated back access unit 200 3 DTS and CTS and respectively. That, DTS back calculation means 24, values of DTS, which is temporarily stored in memory (i.e., the value of the access unit 200 2 of the DTS), in addition the difference value described in DTS field 101 2, the access unit 200 3 Back-calculate DTS. Moreover, CTS back calculation means 25 adds the value of DTS, which is calculated back by DTS inverse operation unit 24, an offset value described in the CTS field 102 2, calculated back a CTS access unit 200 3.
  • the processing in the media units 100 3 and 100 4 is the same as that in the media units 100 1 and 100 2, and thus description thereof is omitted.
  • the time stamp reverse calculation means 23 associates the DTS reversely calculated by the DTS reverse calculation means 24 and the CTS reversely calculated by the CTS reverse calculation means 25 with the access unit 200 and outputs it to the decoder 26.
  • the decoder 26 decodes the access unit 200 input from the time stamp reverse calculation means 23 by a video decoding method (for example, MPEG-2 Video or MPEG-4 AVC) corresponding to the encoder 11. Since this access unit 200 is associated with both CTS and DTS, it can be decoded by the video decoding method described above.
  • a video decoding method for example, MPEG-2 Video or MPEG-4 AVC
  • the operation of the encoding device 1 will be described with reference to FIG. 4 (see FIGS. 1 to 3 as appropriate).
  • the encoding device 1 generates an access unit 200 in which CTS and DTS are associated with each other by encoding an externally input video signal using the encoder 11 (step S11).
  • the encoding device 1 calculates the difference value of the DTS for each access unit 200 by the difference value calculation means 13. Also, the encoding device 1 calculates the offset value between the DTS and the CTS for each access unit 200 by the offset value calculation unit 14 (step S12).
  • the encoding apparatus 1 determines whether or not the plurality of access units 200 satisfy the determination condition within the determination time by the encapsulation determination unit 15 (step S13). If a plurality of access units 200 satisfy the determination condition (Yes in step S13), the encoding apparatus 1 determines the plurality of access units 200 as an encapsulation unit and proceeds to the process of step S14.
  • the encoding device 1 describes the difference value and the offset value in the media unit 100 by the encapsulation means 16. Also, the encoding device 1 encapsulates the plurality of access units 200 included in the encapsulation unit into the media unit 100 by the encapsulation unit 16. Further, the encoding apparatus 1 describes the encapsulation determination information (for example, any one of “1” to “3”) and the size information in the media unit 100 by the encapsulation unit 16 (step S14).
  • step S13 when one access unit 200 satisfies the determination condition (No in step S13), the encoding apparatus 1 determines this one access unit 200 as an encapsulation unit, and proceeds to the process of step S15.
  • the encoding device 1 describes the difference value and the offset value in the media unit 100 by the encapsulation means 16. Further, the encoding device 1 encapsulates one access unit 200 included in the encapsulation unit into the media unit 100 by the encapsulation unit 16. Further, the encoding apparatus 1 describes the encapsulation determination information (for example, “0”) in the media unit 100 by the encapsulation unit 16 (step S15).
  • step S21 whether the plurality of access units 200 are encapsulated in the media unit 100 based on the encapsulation determination information described in the media unit 100 input from the encoding device 1 by the multiple capsule determination unit 21. It is determined whether or not (step S21).
  • step S21 when a plurality of access units 200 are encapsulated (Yes in step S21), the decryption apparatus 2 proceeds to the process of step S22.
  • the decryption apparatus 2 extracts the plurality of access units 200 from the input media unit 100 based on the size information by the decapsulation means 22 (step S22).
  • step S21 when the plurality of access units 200 are not encapsulated (No in step S21), the decoding device 2 proceeds to the process of step S23.
  • the decryption device 2 extracts one access unit 200 from the input media unit 100 by the decapsulation means 22 (step S23).
  • the decoding device 2 performs the back calculation of the DTS of the access unit 200 by the DTS back calculation means 24.
  • the decryption apparatus 2 performs reverse calculation of the CTS of the access unit 200 by the CTS reverse calculation means 25 (step S24).
  • the decoder 26 decodes the access unit 200 in which the DTS and CTS are calculated backward (step S25).
  • the encoding apparatus 1 and the decoding apparatus 2 provide the media unit 100 with the field (DTS field) indicating the decoding timing even when the plurality of access units 200 are encapsulated. Only one difference value and one offset value) are included (FIG. 2B). Further, when the encoding device 1 and the decoding device 2 encapsulate one access unit 200, the media unit does not include a size information field (FIG. 2A). Thus, since the encoding device 1 and the decoding device 2 do not include redundant fields in the media unit 100, the overhead of the media unit 100 can be reduced, and encapsulation in an optimum format is possible. In particular, the encoding device 1 and the decoding device 2 can significantly reduce the overhead of the media unit 100 as compared to the case where the DTS and CTS fields are simply added to each access unit 200.
  • the encoding device 1 secures the size information field 104 with the number of bits corresponding to the size of the access unit 200. For this reason, the encoding apparatus 1 can prevent a situation in which the size information field 104 becomes redundant and a situation in which the number of bits in the size information field 104 is insufficient.
  • the decoding device 2 can accurately determine the data area of each access unit 200 encapsulated in the media unit 100 by referring to the size information field 104 even when a plurality of access units 200 are encapsulated. Can be identified. For this reason, the decoding device 2 can prevent data loss when extracting the access unit 200.
  • the content providing system 1000A provides content (audio), and includes an encoding device 1A and a decoding device 2A.
  • the encoding device 1A encodes an audio signal as an input signal and provides it to the decoding device 2A. Therefore, the encoding apparatus 1A includes an encoder 11A, a time stamp calculation unit 12A, an encapsulation determination unit 15A, and an encapsulation unit 16A.
  • the encoder 11A generates an access unit associated with CTS by encoding an audio signal input from the outside by an encoding method using CTS.
  • the encoder 11A encodes the input audio signal using an audio encoding method such as MPEG-2 AAC (Advanced Audio Coding), and generates an audio access unit.
  • MPEG-2 AAC Advanced Audio Coding
  • the encoder 11A outputs the access unit associated with the CTS to the time stamp calculation unit 12A.
  • the time stamp calculation unit 12A calculates a time stamp (CTS difference value) to be added to the media unit, and includes a difference value calculation unit 13A.
  • the difference value calculation means 13A calculates, for each access unit, a difference value between the CTS of the access unit and the CTS of another access unit encapsulated in the immediately preceding media unit.
  • the difference value calculation unit 13A is the same as the difference value calculation unit 13 of FIG. 1 except that CTS is used instead of DTS, and detailed description thereof is omitted.
  • the encapsulation determination unit 15A determines, as an encapsulation unit, one or more access units that satisfy the determination conditions described later within the determination time among the access units input from the time stamp calculation unit 12A. Note that the encapsulation determination unit 15A is the same as the encapsulation determination unit 15 of FIG. 1 except that a determination condition with the same difference value is used, and thus detailed description thereof is omitted.
  • the encapsulation means 16A encapsulates (stores) one or more access units included in the encapsulation unit determined by the encapsulation determination means 15A in a media unit, and adds the same difference value to the media unit. is there.
  • the DTS since the audio signal is encoded, the DTS is not associated with the access unit 200, and only the CTS is associated. Therefore, as shown in FIG. 7, the media unit 100A output by the encapsulating means 16A has no DTS field and only the CTS field 102. As shown in FIG. 8, the CTS field 102 of the media unit 100A describes the CTS difference value calculated by the difference value calculation means 13A.
  • the encapsulating unit 16A is the same as the encapsulating unit 16 of FIG. 1, detailed description thereof is omitted.
  • the decoding device 2A extracts one or a plurality of access units 200 from the media unit 100A transmitted by the encoding device 1A, and decodes the extracted access units 200. Therefore, the decoding device 2A includes a multiple capsule determination unit 21, a decapsulation unit (media unit extraction unit) 22, a time stamp reverse calculation unit 23A, and a decoder 26A.
  • the time stamp reverse calculation means 23A calculates the CTS corresponding to the access unit 200 from the time stamp (difference value of CTS), and includes a CTS reverse calculation means 25A.
  • the CTS reverse calculation means 25A reversely calculates a value obtained by adding the difference value added to the media unit 100A and the CTS of another access unit located immediately before the access unit 200 as the CTS of the access unit 200.
  • the CTS reverse calculation means 25A is the same as the DTS reverse calculation means 24 in FIG. 1 except that CTS is used instead of DTS, and detailed description thereof is omitted.
  • the decoder 26A decodes the access unit 200 input from the time stamp reverse calculation means 23A by an audio decoding method (for example, MPEG-2 AAC) corresponding to the encoder 11A. Since this access unit 200 is associated with CTS, it can be decoded by the audio decoding method described above. Note that, since the DTS is not associated with the decoder 26A, the decoding is performed assuming that the DTS and the CTS are the same.
  • an audio decoding method for example, MPEG-2 AAC
  • the same effect as that of the first embodiment can be obtained in the audio content.
  • the content providing system 1000B provides content (video), and includes a terrestrial distribution station (encoding device) 1B and two receivers (decoding devices) 2B 1 and 2B 2 . And a broadcasting satellite 92.
  • the ground distribution station 1B transmits the media unit 100B storing the content to the receivers 2B 1 and 2B 2 via the network N.
  • the receivers 2B 1 and 2B 2 receive the media unit 100B from the ground distribution station 1B via the network N and reproduce the content. Further, the receivers 2B 1 and 2B 2 receive the media unit 100B from the broadcast satellite 92 via the broadcast wave W and reproduce the content.
  • the broadcast satellite 92 receives (uplink) the media unit 100B from an uplink station (not shown).
  • the broadcast satellite 92 transmits (downlinks) the received media unit 100 to the receivers 2B 1 and 2B 2 via the broadcast wave W.
  • a transmission path by the network N is constructed between the ground distribution station 1B and the receivers 2B 1 and 2B 2 .
  • a transmission path using the broadcast wave W is constructed between the broadcast satellite 92 and the receivers 2B 1 and 2B 2 .
  • each media unit 100B includes DTS and CTS in the form of absolute time. For this reason, in the conventional system, it is necessary to prepare media units corresponding to each of the receivers 2B 1 and 2B 2 , and there is a problem that the processing load becomes heavy.
  • transmission path switching will be described.
  • a broadcast satellite 92 when transmitting the media unit to the receiver 2B 1, for rain attenuation, when transmitting by switching a transmission path from a broadcasting wave W to the network N, the media unit 100B from ground delivery station 1B think of.
  • the DTS and CTS are included in the media unit in the absolute time format. For this reason, in the conventional method, it is necessary to prepare a media unit for each transmission path such as the broadcast wave W and the network N, and there is a problem that the processing load becomes heavy.
  • an object of the present invention is to provide a terrestrial distribution station (encoding device), a receiver (decoding device), and a program thereof that solve the above-described problems and enable encapsulation in an optimal format. .
  • the content providing system 1000B adds an absolute time as a reference for DTS and CTS to a control signal (not shown), and adds a DTS relative value and a CTS relative value to an access unit (not shown).
  • the format was adopted.
  • the same media unit 100B can be shared by the receivers 2B 1 and 2B 2 . That is, the media unit 100B can be used as a minimum use unit of video / audio media.
  • the content providing system 1000B adopts the above-described format, if a control signal is prepared for each transmission path, the same media unit 100B can be transmitted to the receiver 2B 1 by switching the transmission path. .
  • the configuration of the encoding device 1B will be described with reference to FIG.
  • the encoding device 1B encodes a video signal as an input signal and provides it to the decoding device 2B. Therefore, the encoding apparatus 1B includes an encoder 11, a time stamp calculation unit 12B, an encapsulation determination unit 15B, an encapsulation unit 16B, and a transmission unit 19.
  • FIG. 10 illustrates the network N as a transmission path, a broadcast wave W may be used.
  • the encoder 11 encodes an externally input video signal by an encoding method using CTS and DTS, thereby generating an access unit in which CTS and DTS are associated (added). Then, the encoder 11 sequentially outputs the access units associated with the CTS and the DTS to the encapsulation determination unit 15B.
  • the encapsulation determination unit 15B determines one or more access units input from the encoder 11 as an encapsulation unit under a preset encapsulation condition. Then, the encapsulation determination unit 15B outputs the access units to the time stamp calculation unit 12B in the order encoded for each encapsulation unit.
  • the encapsulation condition is arbitrarily set such that, for example, a preset number of access units is used as an encapsulation unit, or an access unit encoded within a preset time is used as an encapsulation unit. It is a condition that can be set.
  • the encapsulation condition is set in advance under the condition that one access unit is an encapsulation unit when it is desired to suppress the delay.
  • the encapsulation condition may be set in advance under the condition that an access unit (for example, 15) for GOP (Group of Picture) is used as an encapsulation unit.
  • the time stamp calculating unit 12B calculates a time stamp (DTS relative value and CTS relative value) for each access unit, and includes a DTS relative value calculating unit 17 and a CTS relative value calculating unit 18.
  • the DTS relative value calculation means 17 calculates “0” as the DTS relative value of the access unit encoded first. Further, the DTS relative value calculation means 17 calculates the difference between the DTS of this access unit and the DTS of another access unit encoded immediately before this access unit as the DTS relative value of the access unit encoded after the second. Is calculated.
  • the CTS relative value calculation means 18 calculates the difference between the CTS of this access unit and the CTS of another access unit encoded immediately after this access unit as the CTS relative value of the access unit. Details of the DTS relative value calculation means 17 and the CTS relative value calculation means 18 will be described later.
  • the time stamp calculating unit 12B in the order of encoding for each encapsulation unit, the access unit input from the encapsulation determining unit 15B, the DTS relative value calculated by the DTS relative value calculating unit 17, and the CTS relative value.
  • the CTS relative value calculated by the calculation unit 18 is output to the encapsulation unit 16B.
  • the encapsulating means 16B encapsulates the access units input from the time stamp calculating means 12B into the media unit 100B in the order encoded for each encapsulation unit.
  • the encapsulating unit 16B adds the DTS relative value and the CTS relative value for each access unit, and outputs the encapsulated media unit 100B to the transmitting unit 19.
  • the transmission unit 19 transmits the media unit 100B input from the encapsulation unit 16B and the control signal 300 to the decoding device 2B via the network N.
  • the control signal 300 includes an absolute time indicating the head of the media unit 100B.
  • the control signal 300 is start-up control metadata in which information indicating the configuration of the content and the acquisition source of a necessary component and the absolute time are described (see References).
  • As the absolute time for example, a UTC (Coordinated Universal Time) time or an elapsed time based on the top of the content is set in advance.
  • UTC Coordinatd Universal Time
  • the transmission unit 19 preferably adds the ID (identifier) and the sequence number to the media unit 100B and the control signal 300 corresponding to the media unit 100B. That is, the transmission unit 19 adds an ID corresponding to the transmission path through which the media unit 100B is transmitted, to the media unit 100B and the control signal 300. Further, the transmission unit 19 includes a management table (not shown) for managing the sequence numbers already added to the media unit 100B. Then, the transmission means 19 increments the sequence number of this management table and adds it as a sequence number of a new media unit 100B.
  • the ID is identification information common to the predetermined media unit 100B.
  • the ID is a unique value regardless of the distribution environment without overlapping with other distribution environments so that the same value is assigned to the media unit 100B of the same transmission path.
  • the sequence number is identification information unique to each media unit 100B. That is, each media unit 100B can be uniquely identified by a set of ID and sequence number.
  • the encapsulation determination unit 15B determines that the encapsulation unit of the first media unit 100B 1 is the access units 200 1 to 200 3 , and determines that the encapsulation unit of the second media unit 100B 2 is It is determined that the access units are 200 4 to 200 6 . Further, in FIG. 11, the media unit 100B 1, 100B 2, these media unit 100B 1, the control signal 300 1 corresponding to 100B 2, 300 2 and is, to be transmitted in the same transmission path.
  • DTS relative value calculating unit 17, as the first access unit 200 1 of the DTS relative value to calculate a '0' is described in DTS field 101 1. Further, DTS relative value calculating means 17, as the second access unit 200 2 of the DTS relative values, calculates the difference between the access unit 200 2 DTS, the head of the access unit 200 1 of DTS, DTS field 101 Described in 2 . Further, DTS relative value calculating means 17, as the third DTS relative value of access unit 200 3, calculates the difference between the DTS of the access unit 200 3, and the second access unit 200 2 of DTS, DTS field describing in 101 3.
  • the DTS relative value calculation means 17 calculates the DTS relative value between the access units 200 3 and 200 4 encapsulated in different media units 100B 1 and 100B 2 . That, DTS relative value calculating means 17, as the fourth DTS relative value of the access unit 200 4, calculates the difference between the DTS of the access unit 200 4, a third access unit 200 3 of DTS, DTS field 101 described in 4.
  • the DTS relative value calculation means 17 calculates the DTS relative value and describes it in the DTS field 101 as shown in the following formulas (1) to (6).
  • AU1_DTS relative value 0 (1)
  • AU2_DTS relative value AU2_DTS ⁇ AU1_DTS (2)
  • AU3_DTS relative value AU3_DTS ⁇ AU2_DTS (3)
  • AU4_DTS relative value AU4_DTS ⁇ AU3_DTS (4)
  • AU5_DTS relative value AU5_DTS ⁇ AU4_DTS Equation (5)
  • AU6_DTS relative value AU6_DTS ⁇ AU5_DTS Equation (6)
  • CTS relative value calculating means 18, as the first access unit 200 1 of the CTS relative value, and CTS of the access unit 200 1 calculates a difference between the second access unit 200 2 of the CTS, the CTS field 102 1 Describe.
  • the CTS relative value calculation means 18 calculates a CTS relative value between the access units 200 3 and 200 4 encapsulated in different media units 100B 1 and 100B 2 . That, CTS relative value calculating means 18, as the third CTS relative value of access unit 200 3, calculated with the access unit 200 3 of CTS, the difference between the fourth access unit 200 4 of CTS, CTS field described in 102 3.
  • CTS relative value calculating means 18, as the fourth CTS relative value of the access unit 200 4, calculates the CTS of the access unit 200 4, a difference between the 5 th access unit 200 5 of CTS, CTS field described in 102 4.
  • CTS relative value calculating means 18, as sixth CTS relative value of the access unit 200 6, and calculates the CTS of the access unit 200 6, a difference between CTS 7 th access unit 200 (not shown) describes a CTS field 102 6.
  • the CTS relative value calculation means 18 calculates the CTS relative value and describes it in the CTS field 102 as shown in the following equations (7) to (12).
  • AU1_CTS relative value AU2_CTS ⁇ AU1_CTS (7)
  • AU2_CTS relative value AU3_CTS ⁇ AU2_CTS (8)
  • AU3_CTS relative value AU4_CTS ⁇ AU3_CTS (9)
  • AU4_CTS relative value AU5_CTS ⁇ AU4_CTS Expression (10)
  • AU5_CTS relative value AU6_CTS ⁇ AU5_CTS (11)
  • AU6_CTS relative value AU7_CTS ⁇ AU6_CTS (12)
  • Transmitting means 19 media unit 100B 1, 100B 2 and the control signals 300 1, 300 2 and common to the ID (e.g., '1'), the media unit 100B 1, ID field 105 1 100B 2, 105 2
  • the transmission unit 19 media unit 100B first sequence number (e.g., '1'), and a sequence number field 106 1 of media unit 100B 1, the control signal 300 1 of the sequence number field corresponding to the media unit 100B 1 302 described in 1 and.
  • media unit 100B first sequence number e.g., '1'
  • sequence number field 106 1 of media unit 100B 1 the control signal 300 1 of the sequence number field corresponding to the media unit 100B 1 302 described in 1 and.
  • the transmission unit 19 describes the absolute time (MU1 absolute time beginning to view the (T_mu1)), and the absolute time field 303 first control signal 300 1 to indicate the beginning of the media unit 100B 1.
  • the transmission means 19 the sequence number of the media unit 100B 2 (e.g., '2') of the media unit and a sequence number field 106 2 100B 2, the sequence number field of the control signal 300 2 corresponding to the media unit 100B 2 described in the 3022.
  • the transmission unit 19 describes the (absolute time (T_mu2) for displaying MU2 beginning of), the absolute time field 303 and second control signal 300 2 absolute time representing the beginning of the media unit 100B 2.
  • the media units 100B 1 and 100B 2 may include an encapsulation determination information field 103 and a size information field 104 (FIG. 2) as in the first embodiment.
  • the encapsulation unit 16B describes a value (for example, other than “0”) indicating that the size information is included as the encapsulation determination information in the encapsulation determination information field 103.
  • the encapsulating means 16B describes the size information of each access unit 200 in the size information field 104.
  • the head of the access unit 200 1 of the CTS is equal to the absolute time.
  • the first access unit 2001 has the same CTS and DTS.
  • the CTS of the second access unit 2002 is a value obtained by adding ⁇ T_au1 to the CTS of the first access unit 2001.
  • Derutati_au1 indicates the second difference of the CTS with the access unit 200 2 and the head of the access unit 200 1. Therefore, this ⁇ T_au1 is, as the first access unit 200 1 of the CTS relative value is described in the CTS field 102 1.
  • the decoding device 2B extracts one or more access units 200 from the media unit 100B transmitted by the encoding device 1B, and decodes the extracted access units 200. Therefore, the decoding apparatus 2B includes a decapsulation unit (media unit extraction unit) 22, a time stamp reverse calculation unit 23B, a decoder 26, and a reception unit 27.
  • the receiving means 27 receives the media unit 100B and the control signal 300 from the encoding device 1 via the network N or the broadcast wave W. Then, the receiving unit 27 sequentially outputs the received media unit 100B and the control signal 300 to the decapsulation unit 22B.
  • the decapsulation means 22B extracts (decapsulates) one or more access units 200 from the media unit 100B input from the reception means 27.
  • the decapsulation means 22 refers to the size information field 104 and identifies the data area of the media unit 100B in which each access unit 200 is encapsulated. Then, the decapsulation means 22B outputs the access units 200 to the time stamp reverse calculation means 23B in the order extracted from the media unit 100B. Further, the decapsulation means 22B outputs the control signal 300 input from the reception means 27 to the time stamp reverse calculation means 23B.
  • the time stamp reverse calculation means 23B is for calculating the DTS and CTS of the access unit 200 from the time stamp (DTS relative value and CTS relative value), and includes a DTS reverse calculation means 24B and a CTS reverse calculation means 25B.
  • the DTS reverse calculation means 24B reversely calculates the absolute time of the control signal 300 corresponding to the media unit 100B as the DTS of the access unit 200 located at the head. Further, the DTS reverse calculation means 24B obtains a value obtained by adding the DTS relative value of the access unit 200 and the DTS of the other access unit located immediately before the access unit 200 as the DTS of the access unit 200 located after the second. Calculate backwards.
  • the CTS reverse calculation means 25B adds the value obtained by adding the absolute time of the control signal 300 corresponding to the media unit 100B and the sum of the CTS relative values from the access unit 200 located at the head to the access unit 200. This is calculated backward as the CTS of another access unit located immediately after.
  • the DTS reverse calculation means 24B refers to the ID and the sequence number, and obtains the correspondence between the media unit 100B and the control signal 300.
  • the DTS reverse calculation means 24B reversely calculates the absolute time described in the absolute time field 303 1 of the control signal 300 1 as the DTS of the head access unit 200 1 .
  • DTS back calculation unit 24B as the second access unit 200 2 of the DTS, the DTS relative values described in the DTS field 101 2 of the access unit 200 2, the head of the access unit 200 1 of DTS obtained previously The value obtained by adding and is calculated backward.
  • DTS back calculation unit 24B as a third access unit 200 3 DTS, and the access unit 200 3 DTS field 101 DTS relative values described in 3, the second access unit 200 2 has already been determined The value obtained by adding DTS is calculated backward.
  • the DTS reverse calculation means 24B reversely calculates the DTS between the access units 200 3 and 200 4 encapsulated in different media units 100B 1 and 100B 2 . That, DTS back calculation unit 24B as the fourth access unit 200 4 DTS, and the access unit 200 4 of DTS field 101 DTS relative values described in 4, the third access unit 200 3, which is already determined The value obtained by adding DTS is calculated backward.
  • the DTS reverse calculation means 24B reversely calculates the DTS as shown in the following formulas (13) to (17).
  • AU3_DTS AU3_DTS relative value + AU2_DTS (14)
  • AU4_DTS AU4_DTS relative value + AU3_DTS Expression (15)
  • AU5_DTS AU5_DTS relative value + AU4_DTS (16)
  • AU6_DTS AU6_DTS relative value + AU5_DTS (17)
  • the CTS reverse calculation means 25B refers to the ID and sequence number and obtains the correspondence between the media unit 100B and the control signal 300.
  • the CTS reverse calculation means 25B reversely calculates the absolute time described in the absolute time field 303 1 of the control signal 300 1 as the CTS of the head access unit 200 1 .
  • CTS back calculation unit 25B as the second access unit 200 2 of the CTS, back calculation and absolute time of the control signal 300 1, beginning a value obtained by adding a CTS relative value of access unit 200 1.
  • CTS back calculation unit 25B calculates the sum of the access unit 200 1, 200 2 of CTS relative values.
  • the CTS reverse calculation means 25B reversely calculates a value obtained by adding the absolute time to this sum as the CTS of the third access unit 2003.
  • the CTS reverse calculation means 25B reversely calculates the CTS between the access units 200 3 and 200 4 encapsulated in different media units 100B 1 and 100B 2 . That is, the CTS reverse calculation means 25B calculates the sum of the CTS relative values of the access units 200 1 to 200 3 . Then, the CTS reverse calculation means 25B reversely calculates a value obtained by adding the absolute time to this sum as the CTS of the fourth access unit 2004.
  • the CTS reverse calculation means 25B calculates the sum of the CTS relative values of the access units 200 1 to 200 4 . Then, the CTS reverse calculation means 25B reversely calculates a value obtained by adding absolute time to this sum as the CTS of the fifth access unit 2005. Moreover, CTS back calculation unit 25B calculates the sum of the CTS relative values of access units 200 1 to 200 5. Then, the CTS reverse calculation means 25B reversely calculates a value obtained by adding the absolute time to this sum as the CTS of the sixth access unit 2006.
  • the content providing system 1000B includes the decoding device 2B that starts reception at various timings.
  • some decoding apparatus 2B is, a case of not receiving a control signal 300 1.
  • the decoding device 2B receives the next control signal 300 2, using the absolute time "T_mu2" of the control signal 300 2, media unit 100B 2 access unit 200 4-200 encapsulated in 6 Back-calculate DTS and CTS.
  • the decoding apparatus 2B the media unit 100B 2 corresponding to the control signal 300 2 can be received, starts reproducing the content. That is, in the content providing system 1000B, in order for the decoding device 2B to start reception at an arbitrary timing, it is preferable to periodically transmit the control signal 300 to which the absolute time is added to the decoding device 2B.
  • the decoding apparatus 2B when continuously receiving the media unit 100B, 3 th after access unit 200 3, if the immediately display the fourth access unit 200 4, control signal 300 and second absolute time Is not mandatory.
  • the clock frequency of the encoding device 1B and the clock frequency of the decoding device 2B do not always match exactly. Therefore, in the content providing system 1000B, if the CTS relative values of the access units 200 are stacked, an error may occur with respect to the absolute time (clock drift). For this reason, in the content providing system 1000B, mapping to the absolute time is performed at a somewhat short interval to prevent a large error. That is, in the content providing system 1000B, in order to suppress the error of CTS in the access unit 200, it is preferable to periodically transmit the control signal 300 to which the absolute time is added to the decoding device 2B.
  • time stamp reverse calculation means 23B sequentially outputs the access units 200 in which the DTS and CTS have been calculated back to the decoder 26.
  • the decoder 26 decodes the access unit 200 input from the time stamp reverse calculation means 23B by a video decoding method corresponding to the encoder 11. Since this access unit 200 is associated with both CTS and DTS, it can be decoded by the video decoding method described above.
  • the encoding device 1B generates an access unit 200 in which CTS and DTS are associated with each other by encoding an externally input video signal using the encoder 11 (step S31).
  • the encapsulation determination unit 15B determines one or more access units as an encapsulation unit under a preset encapsulation condition (step S32).
  • the encoding apparatus 1B calculates the DTS relative value by the DTS relative value calculation unit 17 (step S33).
  • the encoding apparatus 1B calculates the CTS relative value by the CTS relative value calculation means 18 (step S34).
  • the encoding device 1B encapsulates the access unit 200 into the media unit 100B by the encapsulation unit 16B, and adds a DTS relative value and a CTS relative value for each access unit 200 (step S35).
  • the encoding apparatus 1B transmits the media unit 100B encapsulated by the transmission unit 19 and the control signal 300 corresponding to the media unit 100B to the decoding apparatus 2B via the network N (step S36).
  • the decoding device 2B receives the media unit 100B and the control signal 300 from the encoding device 1 via the network N or the broadcast wave W by the receiving unit 27 (step S41).
  • the decrypting device 2B extracts one or more access units 200 from the media unit 100B by the decapsulation means 22B (step S42).
  • the decoding device 2B performs a reverse calculation of the DTS by the DTS reverse calculation means 24B (step S43).
  • the decoding device 2B performs reverse calculation of the CTS by the CTS reverse calculation means 25B (step S44).
  • the decoder 26 decodes the access unit 200 in which the DTS and CTS are calculated backward (step S45).
  • the absolute time serving as a reference for DTS and CTS is added to the control signal 300, and the DTS relative value and the CTS relative value are accessed.
  • a format added to the unit 200 is employed.
  • the encoding device 1B and the decoding device 2B easily change the time when the access unit 200 is decoded and the time when the access unit 200 is presented or reproduced by simply rewriting the absolute time of the control signal 300. be able to.
  • the encoding device 1B and the decoding device 2B can easily realize common use of the media unit 100B and switching of the transmission path.
  • the content providing system 1000C provides content (sound), and includes an encoding device 1C and a decoding device 2C.
  • the encoding device 1C encodes an audio signal as an input signal and provides it to the decoding device 2C. As shown in FIG. 15, the encoding device 1C has the same configuration as the encoding device 1B of FIG. Is omitted. Also, as illustrated in FIG. 16, the encoding device 1 ⁇ / b> C operates in the same manner as in FIG. 13 except that step S ⁇ b> 33 is not performed, and thus detailed description thereof is omitted.
  • the decoding device 2C extracts the access unit 200 from the media unit 100C transmitted by the encoding device 1C, and decodes the extracted access unit 200.
  • the decoding device 2C has the same configuration as the decoding device 2B of FIG. 10 except that it includes a decoder 26A instead of the decoder 26 and does not include the DTS reverse calculation means 24B.
  • the decoding apparatus 2C is the same operation as FIG. 14 except not performing step S43, detailed description is abbreviate
  • the media unit 100C and the control signal 300 are the same as those in FIG. 11 except that the media unit 100C does not include the DTS field 101, and thus detailed description thereof is omitted.
  • the same effect as that of the third embodiment can be obtained in the audio content.
  • the present invention may be realized by recording a program for realizing this function on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. Good.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may also be included that holds a program for a certain time.
  • the above-described program may be for realizing a part of the above-described function, and further, the above-described function can be realized in combination with a program already recorded in a computer system. Also good.
  • the present invention can also handle both video and audio.
  • a video media unit is generated by the encoding device 1 in FIG. 1
  • an audio media unit is generated by the encoding device 1A in FIG.
  • the video and audio media units are multiplexed and transmitted to the content receiving side.
  • the multiplexed media units are separated into video and audio media units.
  • the video media unit is decoded by the decoding device 2 in FIG. 1
  • the audio media unit is decoded by the decoding device 2A in FIG.
  • the content providing systems 1000 and 100A may include two or more encoding devices 1 and 1A and decoding devices 2 and 2A.
  • the media unit generated by the encoding devices 1 and 1A may be recorded on a magneto-optical recording medium and provided to the decoding devices 2 and 2A offline by mail or the like.
  • the encoding devices 1 and 1A and the decoding devices 2 and 2A are provided in the same device, the media units generated by the encoding devices 1 and 1A are stored, and the stored media units are stored. You may provide to decoding apparatus 2 and 2A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 符号化装置(1)は、エンコーダ(11)と、DTSの差分値を算出する差分値算出手段(13)と、DTSとCTSとの差であるオフセット値を算出するオフセット値算出手段(14)と、カプセル化単位を判定するカプセル化判定手段(15)と、カプセル化単位でアクセスユニットをメディアユニットにカプセル化し、差分値及び同一のオフセット値をメディアユニットに付加するカプセル化手段(16)とを備える。

Description

符号化装置、復号装置及びこれらのプログラム
 本発明は、1個以上のアクセスユニットをメディアユニットにカプセル化する符号化装置、復号装置及びこれらのプログラムに関する。
 従来の符号化装置において、タイムスタンプが対応付けられたアクセスユニットのフォーマットとして、MPEG(Moving Picture Experts Group)-2 Systemで規定されたPES(Packetized Elementary Stream)が知られている(非特許文献1)。
 図19(a)に示すように、このPES90には、PESパケット長を示すフィールド(PES_packet_length)と、DTS(Decoding Time Stamp)を示すフィールドと、PTS(Presentation Time Stamp)を示すフィールドとが含まれている。さらに、このPES90には、1個のアクセスユニット(AU:Access Unit)をカプセル化(格納)できる。
 なお、図19(a)、(b)では、一部フィールドの図示を省略した。
 また、従来の符号化装置において、IETF(Internet Engineering Task Force)で規定されたRTP(Real-time Transport Protocol)ペイロードのフォーマットも知られている(非特許文献2)。
 図19(b)に示すように、このRTPペイロード91には、基準となるタイムスタンプ(Base_Timestamp)を示すフィールドが含まれている。また、このRTPペイロード91では、アクセスユニットより細かい単位であるNAL(Network Adaptation Layer)ユニットを複数カプセル化できる。このとき、RTPペイロード91には、NALユニット毎に、このNALユニットのサイズ(NALu1_length,NALu2_length)を示すフィールドと、タイムスタンプからのオフセット値(NALu1_TS_offset,NALu2_TS_offset)を示すフィールドとが含まれる。
 なお、RTPペイロード91では、復号時刻という概念がなく、タイムスタンプが提示時刻を示している。
ITU-T Rec.H.222.0|ISO/IEC 13818-1 IETF RFC 3984 "RTP Payload Format for H.264 Video"
 しかし、従来のPES90では、図19(a)に示すように、複数のアクセスユニットをカプセル化することができない。また、従来のPES90では、アクセスユニットの大きさが数百バイトしかない音声信号において、PESパケット長を示すフィールドが16ビットの固定値のため、このフィールドが冗長となり、オーバーヘッドの原因となる。その一方、従来のPESでは、高解像度の映像信号において、このパケット長を示すフィールドのビット数が不足することがある。
 また、従来のRTPペイロード91では、デコードのタイミングを示すフィールドが含まれていない。さらに、従来のRTPペイロード91では、1個のNALユニットをカプセル化する場合でも、各NALユニットのサイズ情報を示すフィールドが必要なため、このフィールドが冗長となり、オーバーヘッドの原因となる。
 以上のように、非特許文献1,2に記載の技術では、音声信号や映像信号をカプセル化する際に生じるオーバーヘッドやフィールド不足が問題となる。このため、最適なフォーマットでカプセル化を行いたいという強い要望がある。
 そこで、本発明は、前記した問題を解決し、最適なフォーマットでカプセル化を可能とする符号化装置、復号装置及びこれらのプログラムを提供することを課題とする。
 前記した課題に鑑みて、本願第1発明に係る符号化装置は、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、差分値算出手段と、オフセット値算出手段と、カプセル化判定手段と、カプセル化手段とを備えることを特徴とする。
 かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、差分値算出手段によって、アクセスユニットのDTSと、アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分値を算出する。そして、符号化装置は、オフセット値算出手段によって、アクセスユニットのDTSとCTSとの差であるオフセット値を算出する。
 また、符号化装置は、カプセル化判定手段によって、予め設定された判定時間内で差分値が同一となり、かつ、オフセット値が同一となる1個以上のアクセスユニットをカプセル化単位として判定する。そして、符号化装置は、カプセル化手段によって、カプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値及び同一のオフセット値をメディアユニットに付加する。
 ここで、カプセル化手段は、1個のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれないことを示す値をメディアユニットに付加する。一方、カプセル化手段は、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれることを示す値をメディアユニットに付加し、サイズ情報をメディアユニットに付加する。
 このカプセル化手段でカプセル化されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すフィールド(差分値及びオフセット値)が1個ずつしか含まれない。さらに、このメディアユニットには、1個のアクセスユニットがカプセル化された場合、サイズ情報を示すフィールドが含まれない。このように、メディアユニットに冗長なフィールドが含まれないため、オーバーヘッドを削減することができる。
 メディアユニットとは、アクセスユニットをパケット化するときのパケット形式(フォーマット)であり、このアクセスユニットをデコードする際の有用な情報(例えば、デコードのタイミングを示すタイムスタンプ)が格納される。
 カプセル化判定情報とは、カプセル化されたアクセスユニットの数を判定するための情報である。言い換えるなら、カプセル化判定情報は、複数のアクセスユニットがカプセル化されているか否かを判定するための情報である。
 サイズ情報とは、各アクセスユニットのサイズ(データ長)を示す情報である。
 また、前記した課題に鑑みて、本願第2発明に係る符号化装置は、提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、差分値算出手段と、カプセル化判定手段と、カプセル化手段とを備えることを特徴とする。
 かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコードすることで、CTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、差分値算出手段によって、アクセスユニットのCTSと、当該アクセスユニットの直前にエンコードされた他のアクセスユニットのCTSとの差分値を算出する。
 また、符号化装置は、カプセル化判定手段によって、予め設定された判定時間内で差分値が同一となる1個以上のアクセスユニットをカプセル化単位として判定する。そして、符号化装置は、カプセル化手段によって、カプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値をメディアユニットに付加する。
 ここで、カプセル化手段は、1個のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれないことを示す値をメディアユニットに付加し、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれることを示す値をメディアユニットに付加し、サイズ情報をメディアユニットに付加する。
 このカプセル化手段でカプセル化されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すフィールド(差分値)が1個しか含まれない。さらに、このメディアユニットには、1個のアクセスユニットがカプセル化された場合、サイズ情報を示すフィールドが含まれない。このように、メディアユニットに冗長なフィールドが含まれないため、オーバーヘッドを削減することができる。
 また、本願第3発明に係る符号化装置は、カプセル化手段が、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、予め設定されたアクセスユニットのサイズ範囲毎に異なる値をメディアユニットに付加すると共に、サイズ情報を、カプセル化判定情報の値に応じて予め設定されたビット数でメディアユニットに付加することを特徴とする。
 かかる構成によれば、符号化装置は、各アクセスユニットのサイズに応じて、メディアユニットに付加するサイズ情報を可変長とする。これによって、符号化装置は、アクセスユニットが様々なサイズ(例えば、数百バイトから数ギガバイトまで)となる場合でも、サイズ情報を示すフィールドが冗長となる事態と、このサイズ情報を示すフィールドのビット数が不足する事態とを防止することができる。
 また、前記した課題に鑑みて、本願第4発明に係る復号装置は、本願第1発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、複数カプセル判定手段と、メディアユニット抽出手段と、DTS逆算手段と、CTS逆算手段と、デコーダとを備えることを特徴とする。
 かかる構成によれば、復号装置は、複数カプセル判定手段によって、入力されたメディアユニットに付加されたカプセル化判定情報に基づいて、メディアユニットに複数のアクセスユニットがカプセル化されているか否かを判定する。また、復号装置は、メディアユニット抽出手段によって、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットから複数のアクセスユニットを抽出し、複数のアクセスユニットがカプセル化されていないと判定されたとき、メディアユニットから1個のアクセスユニットを抽出する。
 ここで、復号装置に入力されたメディアユニットには、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すタイムスタンプ(差分値及びオフセット値)が1個ずつしか含まれない。一方、映像のアクセスユニットをデコードするには、アクセスユニット毎にCTS及びDTSが必要となる。
 このため、復号装置は、DTS逆算手段によって、メディアユニットに付加された差分値と、メディアユニットから抽出したアクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を、アクセスユニットのDTSとして逆算する。また、復号装置は、CTS逆算手段によって、メディアユニットに付加されたオフセット値と、DTS逆算手段が逆算したアクセスユニットのDTSとを加えた値を、当該メディアユニットから抽出したアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、DTS及びCTSが逆算されたアクセスユニットをデコードする。
 また、前記した課題に鑑みて、本願第5発明に係る復号装置は、本願第2発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、複数カプセル判定手段と、メディアユニット抽出手段と、CTS逆算手段と、デコーダとを備えることを特徴とする。
 かかる構成によれば、復号装置は、複数カプセル判定手段によって、入力されたメディアユニットに付加されたカプセル化判定情報に基づいて、メディアユニットに複数のアクセスユニットがカプセル化されているか否かを判定する。また、復号装置は、メディアユニット抽出手段によって、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットから複数のアクセスユニットを抽出し、複数のアクセスユニットがカプセル化されていないと判定されたとき、メディアユニットから1個のアクセスユニットを抽出する。
 ここで、復号装置に入力されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すタイムスタンプ(差分値)が1個しか含まれない。一方、音声のアクセスユニットをデコードするには、アクセスユニット毎にCTSが必要となる。
 このため、復号装置は、CTS逆算手段によって、メディアユニットに付加された差分値と、メディアユニットから抽出したアクセスユニットの直前に位置する他のメディアユニットのCTSとを加えた値を、アクセスユニットのCTSとして逆算する。また、復号装置は、デコーダによって、CTSが逆算されたアクセスユニットをデコードする。
 また、本願第6発明に係る復号装置は、メディアユニット抽出手段が、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットに付加されたアクセスユニット毎のサイズ情報に基づいて、メディアユニットから複数のアクセスユニットを抽出する。
 かかる構成によれば、復号装置は、サイズ情報を参照することで、各アクセスユニットがカプセル化されているメディアユニットのデータ領域を正確に特定することができる。
 また、前記した課題に鑑みて、本願第7発明に係る符号化装置は、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、カプセル化判定手段と、DTS相対値算出手段と、CTS相対値算出手段と、カプセル化手段と、送信手段と、を備えることを特徴とする。
 かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコード方式によってエンコードすることで、CTS及びDTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、カプセル化判定手段によって、予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定する。
 このカプセル化条件とは、例えば、予め設定された個数のアクセスユニットをカプセル化単位とする、又は、予め設定された時間内にエンコードされたアクセスユニットをカプセル化単位とするというように、任意に設定できる条件のことである。
 また、符号化装置は、DTS相対値算出手段によって、最初にエンコードされたアクセスユニットのDTS相対値としてゼロを算出し、2番目以降にエンコードされたアクセスユニットのDTS相対値として、アクセスユニットのDTSと、アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分を算出する。
 また、符号化装置は、CTS相対値算出手段によって、アクセスユニットのCTS相対値として、アクセスユニットのCTSと、アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出する。
 また、符号化装置は、カプセル化手段によって、カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、アクセスユニット毎にDTS相対値及びCTS相対値を付加する。そして、符号化装置は、送信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを送信する。
 このように、符号化装置では、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
 また、前記した課題に鑑みて、本願第8発明に係る符号化装置は、提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、カプセル化判定手段と、CTS相対値算出手段と、カプセル化手段と、送信手段と、を備えることを特徴とする。
 かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコード方式によってエンコードすることで、CTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、カプセル化判定手段によって、予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定する。
 また、符号化装置は、CTS相対値算出手段によって、アクセスユニットのCTS相対値として、アクセスユニットのCTSと、アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出する。そして、符号化装置は、カプセル化手段によって、カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、アクセスユニット毎にCTS相対値を付加する。さらに、符号化装置は、送信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを対応付けて送信する。
 このように、符号化装置では、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
 また、本願第9発明に係る符号化装置は、送信手段が、所定のメディアユニットで共通する識別子と、メディアユニットで固有のシーケンス番号とを、メディアユニットと、メディアユニットに対応する制御信号とに付加する。
 かかる構成によれば、符号化装置は、メディアユニットと、制御信号とを正確に対応づけることができる。
 また、前記した課題に鑑みて、本願第10発明に係る復号装置は、本願第7発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、受信手段と、メディアユニット抽出手段と、DTS逆算手段と、CTS逆算手段と、デコーダと、を備えることを特徴とする。
 かかる構成によれば、復号装置は、受信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する。また、復号装置は、メディアユニット抽出手段によって、メディアユニットから1個以上のアクセスユニットを抽出する。
 また、復号装置は、DTS逆算手段によって、先頭に位置するアクセスユニットのDTSとして、メディアユニットに対応する制御信号の絶対時刻を逆算し、2番目以降に位置するアクセスユニットのDTSとして、アクセスユニットのDTS相対値と、アクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を逆算する。
 また、復号装置は、CTS逆算手段によって、メディアユニットに対応する制御信号の絶対時刻と、先頭に位置するアクセスユニットからアクセスユニットまでのCTS相対値の総和とを加えた値を、アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、DTS及びCTSが逆算されたアクセスユニットを、デコード方式によってデコードする。
 このように、復号装置では、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
 また、前記した課題に鑑みて、本願第11発明に係る復号装置は、本願第8発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、受信手段と、メディアユニット抽出手段と、CTS逆算手段と、デコーダと、を備えることを特徴とする。
 かかる構成によれば、復号装置は、受信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する。また、復号装置は、メディアユニット抽出手段によって、メディアユニットから1個以上のアクセスユニットを抽出する。
 また、復号装置は、CTS逆算手段によって、メディアユニットに対応する制御信号の絶対時刻と、先頭に位置するアクセスユニットからアクセスユニットまでのCTS相対値の総和とを加えた値を、アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、CTSが逆算されたアクセスユニットを、デコード方式によってデコードする。
 このように、復号装置では、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
 また、本願第12発明に係る復号装置は、受信手段が、所定のメディアユニットで共通する識別子と、メディアユニットで固有のシーケンス番号とが、受信したメディアユニットと、当該メディアユニットに対応する制御信号とに付加されていることを特徴とする。
 かかる構成によれば、復号装置は、メディアユニットと、制御信号とを正確に対応づけることができる。
 なお、本願第1,2,7,8発明に係る符号化装置は、コンピュータが備えるCPU(Central Processing Unit)、メモリ、HDD(Hard Disk Drive)などのハードウェア資源を、前記した各手段として協調動作させるための符号化プログラムで実現することもできる。この符号化プログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
 なお、本願第4,5,10,11発明に係る復号装置は、コンピュータが備えるCPU、メモリ、HDDなどのハードウェア資源を、前記した各手段として協調動作させるための復号プログラムで実現することもできる。この復号プログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
 本発明によれば、以下のような優れた効果を奏する。
 本願第1,4発明によれば、複数のアクセスユニットをカプセル化した場合でも、メディアユニットに、デコードのタイミングを示すフィールド(差分値及びオフセット値)が1個ずつしか含まれない。さらに、本願第1,4発明によれば、1個のアクセスユニットをカプセル化した場合、メディアユニットに、アクセスユニットのサイズ情報を示すフィールドが含まれない。従って、本願第1,4発明によれば、メディアユニットに冗長なフィールドが含まれないため、このメディアユニットのオーバーヘッドを削減し、最適なフォーマットでのカプセル化を可能とする。
 本願第2,5発明によれば、複数のアクセスユニットをカプセル化した場合でも、メディアユニットに、デコードのタイミングを示すフィールド(差分値)が1個しか含まれない。さらに、本願第2,5発明によれば、1個のアクセスユニットをカプセル化した場合、メディアユニットに、アクセスユニットのサイズ情報を示すフィールドが含まれない。従って、本願第2,5発明によれば、メディアユニットに冗長なフィールドが含まれないため、このメディアユニットのオーバーヘッドを削減し、最適なフォーマットでのカプセル化を可能とする。
 本願第3発明によれば、サイズ情報を示すフィールドが冗長となる事態と、このサイズ情報を示すフィールドのビット数が不足する事態とを防止することができる。
 本願第6発明によれば、複数のアクセスユニットがカプセル化されているメディアユニットのデータ領域を正確に特定できるため、アクセスユニットを抽出する際にデータの欠落を防止することができる。
 本願第7,10発明によれば、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。このため、本願第7,10発明によれば、アクセスユニットが復号される時刻の変更と、アクセスユニットが提示又は再生される時刻の変更と、メディアユニットの共通化と、伝送路の切り替えとを容易に実現できる、最適なフォーマットでのカプセル化を可能とする。
 本願第8,11発明によれば、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。このため、本願第8,11発明によれば、アクセスユニットが提示又は再生される時刻の変更と、メディアユニットの共通化と、伝送路の切り替えとを容易に実現できる、最適なフォーマットでのカプセル化を可能とする。
 本願第9,12発明によれば、メディアユニットと、制御信号とを正確に対応づけることができるため、正しいDTSやCTSを逆算することができる。
本発明の第1実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第1実施形態において、(a)は1個のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図であり、(b)は複数のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図である。 本発明の第1実施形態において、差分値及びオフセット値を説明する図である。 図1の符号化装置の動作を示すフローチャートである。 図1の復号装置の動作を示すフローチャートである。 本発明の第2実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第2実施形態において、(a)は1個のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図であり、(b)は複数のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図である。 本発明の第2実施形態において、差分値を説明する図である。 本発明の第3実施形態において、メディアユニットの共通化及び伝送路の切り替えを説明する説明図である。 本発明の第3実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第3実施形態において、複数のアクセスユニットがカプセル化されたメディアユニットと、制御信号とのフォーマットを説明する図である。 本発明の第3実施形態において、絶対時刻とCTS相対値との関係を説明する説明図である。 図10の符号化装置の動作を示すフローチャートである。 図10の復号装置の動作を示すフローチャートである。 本発明の第4実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 図15の符号化装置の動作を示すフローチャートである。 図15の復号装置の動作を示すフローチャートである。 本発明の第4実施形態において、複数のアクセスユニットがカプセル化されたメディアユニットと、制御信号とのフォーマットを説明する図である。 (a)は従来のPESを説明する図であり、(b)は従来のRTPペイロードを説明する図である。
(第1実施形態)
[コンテンツ提供システムの概略]
 以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。
 なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
 図1に示すように、本発明の実施形態に係るコンテンツ提供システム1000は、コンテンツ(映像)を提供するものであり、符号化装置1と、復号装置2とを備える。
 このコンテンツ提供システム1000は、ネットワークNを介して、符号化装置1及び復号装置2が接続されている。このネットワークNは、例えば、インターネット、イントラネット等のIPパケットの伝送路である。
 本実施形態では、コンテンツ提供システム1000が、符号化装置1及び復号装置2を1台ずつ備えることとする。
[符号化装置の構成]
 以下、符号化装置1の構成について説明する。
 符号化装置1は、入力信号としての映像信号をエンコードして、復号装置2に提供するものである。このため、符号化装置1は、エンコーダ11と、タイムスタンプ算出手段12と、カプセル化判定手段15と、カプセル化手段16とを備える。
 エンコーダ11は、CTS及びDTSを用いるエンコード方式によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられた(付加された)アクセスユニットを生成するものである。
 ここで、エンコーダ11は、MPEG(Moving Picture Experts Group)-2 Video、又は、MPEG-4 AVC(Advanced Video Coding)等の映像エンコード方式を用いて、入力された映像信号をエンコードし、映像のアクセスユニットを生成する。ここで、映像信号のようにアクセスユニットの復号順序と提示順序が異なる場合、アクセスユニット毎にCTSとDTSが対応付けられる。そして、エンコーダ11は、CTS及びDTSが対応付けられたアクセスユニットを、順次、タイムスタンプ算出手段12に出力する。
 CTS(Composition Time Stamp)は、提示又は再生する時刻を示す情報であり、PTSと同義で用いられることもある。
 DTSは、復号する時刻を示す情報である。
 アクセスユニットは、DTSが同一となる符号(入力信号)の集合である。
 入力信号は、映像信号や音声信号など、エンコード及びデコードの対象となる信号である。
 タイムスタンプ算出手段12は、メディアユニットに付加するタイムスタンプ(DTSの差分値及びオフセット値)を算出するものであり、差分値算出手段13と、オフセット値算出手段14とを備える。
 差分値算出手段13は、エンコーダ11から入力されたアクセスユニットのDTSと、このアクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分値を算出するものである。
 ここで、差分値算出手段13は、アクセスユニットが先頭の場合、直前のアクセスユニットが存在しないため、差分値を‘0’として算出する。このとき、差分値算出手段13は、時間方向に連続したアクセスユニットに対して順次処理を行うため、図示を省略したメモリに、差分値を算出したアクセスユニットのDTSを、他のアクセスユニットのDTSとして一時記憶する。
 また、差分値算出手段13は、アクセスユニットが2番目以降の場合、入力されたアクセスユニットのDTSと、一時記憶した他のアクセスユニットのDTSとの差分値を算出する。
 オフセット値算出手段14は、エンコーダ11から入力されたアクセスユニットのDTSとCTSとの差であるオフセット値を算出するものである。つまり、オフセット値算出手段14は、同一のアクセスユニットに対応付けられたDTSとCTSとの差を、オフセット値として算出する。
 その後、タイムスタンプ算出手段12は、エンコーダ11から入力されたアクセスユニットと、差分値算出手段13が算出した差分値と、オフセット値算出手段14が算出したオフセット値とを、順次、カプセル化判定手段15に出力する。
 カプセル化判定手段15は、タイムスタンプ算出手段12から入力されるアクセスユニットのうち、予め設定された判定時間内で、後記する判定条件を満たす1個以上のアクセスユニットをカプセル化単位として判定するものである。
 この判定条件とは、差分値が同一となり、かつ、オフセット値が同一となる条件のことである。
 また、カプセル化単位は、同一のメディアユニットにカプセル化できるアクセスユニットを示すものである。
 つまり、カプセル化判定手段15は、タイマーをカウントしながら、順次入力されるアクセスユニットが、判定条件を満たすか否かを判定する。そして、カプセル化判定手段15は、タイマーが判定時間を経過した時点で、判定条件を満たしている1個以上のアクセスユニットをカプセル化単位として判定する
 例えば、判定時間内に入力された2個のアクセスユニットが判定条件を満たす場合、カプセル化判定手段15は、2個のアクセスユニットを同一のカプセル化単位として判定する。
 一方、判定時間内に入力された2個のアクセスユニットが判定条件を満たさない場合、カプセル化判定手段15は、2個のアクセスユニットを別々のカプセル化単位として判定する。
 その後、カプセル化判定手段15は、カプセル化単位毎に、差分値と、オフセット値と、カプセル化単位に含まれるアクセスユニットとを出力する。
 カプセル化手段16は、カプセル化判定手段15でカプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化(格納)し、同一の差分値及び同一のオフセット値をメディアユニットに記述(付加)するものである。
<メディアユニットのフォーマット>
 図2(a)を参照し、1個のアクセスユニット200をカプセル化したメディアユニット100について、説明する。
 カプセル化手段16は、DTSフィールド101に、入力された差分値を記述する。また、カプセル化手段16は、CTSフィールド102に、入力されたオフセット値を記述する。そして、カプセル化手段16は、カプセル化判定情報フィールド(Length_flag)103に、カプセル化判定情報として、サイズ情報が含まれないことを示す値(例えば、‘0’)を記述する。このカプセル化判定情報フィールド103は、例えば、2ビット幅で確保される。さらに、カプセル化手段16は、1個のアクセスユニット200をメディアユニット100にカプセル化する(図2(a)のAU)。
 なお、メディアユニット100は、タイムスタンプフラグ、拡張ヘッダフラグ、ランダムアクセスポイントフラグ等のフィールドを備えるが、本発明に直接関係しないため、説明及び図示を省略する。
 また、メディアユニット100の詳細は、例えば、参考文献「ハイブリッド型放送におけるメディアのトランスポート方式、情報処理学会研究報告、Vol.2011-AVN-72 No.1 2011/3/11」に記載されている。
 次に、図2(b)に示すように、2個のアクセスユニット200をカプセル化したメディアユニット100について、説明する。
 この場合、カプセル化手段16は、DTSフィールド101に、入力された差分値を記述する。また、カプセル化手段16は、CTSフィールド102に、入力されたオフセット値を記述する。
 また、カプセル化手段16は、カプセル化判定情報フィールド103に、カプセル化判定情報として、サイズ情報が含まれることを示す値(例えば、‘0’以外)を記述する。このとき、カプセル化手段16は、同一のメディアユニット100に含まれる1個以上のアクセスユニット200のうち、最大サイズを表現できるように、メディアユニット100毎に異なる値を、カプセル化判定情報フィールド103に記述してもよい。
 例えば、アクセスユニット200のサイズが0バイトを超え64キロバイト以下の場合(16ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘1’を記述する。このとき、カプセル化手段16は、サイズ情報フィールド(AU1_length,AU2_length)104を16ビット幅で確保する。
 また、例えば、アクセスユニット200のサイズが64キロバイトを越え、16メガバイト以下の場合(24ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘2’を記述する。また、カプセル化手段16は、サイズ情報フィールド104を24ビット幅で確保する。
 また、例えば、アクセスユニット200のサイズが16メガバイトを越え、4ギガバイト以下の場合(32ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘3’を記述する。また、カプセル化手段16は、サイズ情報フィールド104を32ビット幅で確保する。
 そして、カプセル化手段16は、所定のビット幅で確保されたサイズ情報フィールド104に、各アクセスユニット200のサイズ情報を記述する。さらに、カプセル化手段16は、複数のアクセスユニット200をメディアユニット100にカプセル化する(図2(b)のAU1,AU2)。
<メディアユニットの差分値及びオフセット値>
 続いて、図3を参照し、メディアユニット100に記述された差分値及びオフセット値について、説明する(適宜図1参照)。
 この図3では、連続して6個のアクセスユニット200~200が生成されたこととする(図3のAU1~AU6)。
 また、1個目のメディアユニット100にアクセスユニット200がカプセル化され、2個目のメディアユニット100にアクセスユニット200,200がカプセル化されたこととする。また、3個目のメディアユニット100にアクセスユニット200,200がカプセル化され、4個目のメディアユニット100にアクセスユニット200がカプセル化されたこととする。
 メディアユニット100では、アクセスユニット200の直前に他のアクセスユニットが存在しないため、DTSフィールド101に差分値‘0’が記述される。また、メディアユニット100では、アクセスユニット200のDTSとCTSとの差を示すオフセット値が、CTSフィールド102に記述される。
 メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される。また、メディアユニット100では、アクセスユニット200のDTSとCTSとのオフセット値が、CTSフィールド102に記述される。
 ここで、アクセスユニット200のDTSとアクセスユニット200のDTSの差分値が、アクセスユニット200のDTSとアクセスユニット200のDTSとの差分値と同一であった。また、アクセスユニット200のDTSとCTSとのオフセット値が、アクセスユニット200のオフセット値と同一であった。このため、メディアユニット100では、DTSフィールド101及びCTSフィールド102を、アクセスユニット200,200で共有できることになる。言い換えるなら、メディアユニット100は、DTSフィールド101及びCTSフィールド102を共有するため、差分値及びオフセット値が異なるアクセスユニット200をカプセル化することができない。
 メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される(図3のα)。
 メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される(図3のβ)。
 この他、メディアユニット100,100は、メディアユニット100,100と同様のため、説明を省略する。
 また、図3では、メディアユニット100の一部フィールドが本発明に直接関係しないため、図示を省略した。
 その後、符号化装置1は、送信手段(不図示)によって、カプセル化手段16で生成されたメディアユニット100を、ネットワークNを介して、復号装置2に送信する。例えば、送信手段は、メディアユニット100をIPパケット化し、ネットワークNに応じた伝送路符号化処理及び変調処理を行って、生成したIPパケットを送信する。
[復号装置の構成]
 図1に戻り、復号装置2の構成について、説明する(適宜図2,図3参照)。
 復号装置2は、符号化装置1が送信したメディアユニット100から、1個又は複数のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2は、複数カプセル判定手段21と、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23と、デコーダ26とを備える。
 ここで、復号装置2は、受信手段(不図示)によって、ネットワークNを介して、符号化装置1からメディアユニット100を受信する。例えば、受信手段は、ネットワークNに応じた復調処理及び伝送路復号処理を行ってIPパケットを受信する。そして、受信手段は、受信したIPパケットからメディアユニット100を抽出し、順次、複数カプセル判定手段21に出力する。
 複数カプセル判定手段21は、入力されたメディアユニット100のカプセル化判定情報フィールド103に基づいて、メディアユニット100に複数のアクセスユニット200がカプセル化されているか否かを判定するものである。
 ここで、カプセル化判定情報フィールド103の値が‘0’以外の場合(例えば、‘1’~‘3’)、複数カプセル判定手段21は、メディアユニット100に複数のアクセスユニット200がカプセル化されていると判定する。
 一方、カプセル化判定情報フィールド103の値が‘0’の場合、複数カプセル判定手段21は、メディアユニット100に複数のアクセスユニット200がカプセル化されていないと判定する。
 そして、複数カプセル判定手段21は、複数のアクセスユニット200がカプセル化されているか否かを示す判定結果と、メディアユニット100とを、順次、逆カプセル化手段22に出力する。
 逆カプセル化手段22は、複数カプセル判定手段21の判定結果が複数のアクセスユニット200がカプセル化されていないことを示すとき、入力されたメディアユニット100から1個のアクセスユニット200を抽出(逆カプセル化)するものである。この場合、逆カプセル化手段22は、メディアユニット100の全体を読み出せば、1個のアクセスユニット200を抽出できるため、サイズ情報フィールド104を参照する必要がない。
 なお、メディアユニット100の全体サイズは、前記した受信手段によって、例えば、IPパケットのUDPヘッダが持つ長さ情報フィールドから特定できる。
 また、逆カプセル化手段22は、複数カプセル判定手段21の判定結果が複数のアクセスユニット200がカプセル化されていることを示すとき、入力されたメディアユニット100から複数のアクセスユニット200を抽出する。この場合、逆カプセル化手段22は、サイズ情報フィールド104を参照して、各アクセスユニット200がカプセル化されているメディアユニット100のデータ領域を特定する必要がある。
 そして、逆カプセル化手段22は、メディアユニット100から、DTSフィールド101に記述された差分値と、CTSフィールド102に記述されたオフセット値と抽出する。その後、逆カプセル化手段22は、メディアユニット100から抽出したアクセスユニット200と、差分値と、オフセット値とを、順次、タイムスタンプ逆算手段23に出力する。
 タイムスタンプ逆算手段23は、タイムスタンプ(差分値及びオフセット値)から、アクセスユニット200のDTS及びCTSを逆算するものであり、DTS逆算手段24と、CTS逆算手段25とを備える。
 DTS逆算手段24は、差分値算出手段13の逆演算を行うものである。
 CTS逆算手段25は、オフセット値算出手段14の逆演算を行うものである。
<DTS及びCTSの逆算>
 図3に戻り、DTS逆算手段24によるDTSの逆算、及び、CTS逆算手段25によるCTSの逆算について、説明する(適宜図1参照)。
 1個目のメディアユニット100では、アクセスユニット200の直前に他のアクセスユニットが存在せず、DTSフィールド101に差分値として‘0’が記述されている。このため、DTS逆算手段24は、アクセスユニット200のDTSの絶対値を‘0’として逆算する。このとき、DTS逆算手段24は、時間方向に連続したアクセスユニット200に対して処理を行うため、図示を省略したメモリに、逆算したDTSの値を、最新のアクセスユニット(他のアクセスユニット)200のDTSとして一時記憶する。さらに、CTS逆算手段25は、アクセスユニット200で逆算したDTSの値に、CTSフィールド102に記述されたオフセット値をそのまま加算し、アクセスユニット200のCTSとして逆算する。
 2個目のメディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述されている。このため、DTS逆算手段24は、メモリに一時記憶されたアクセスユニット200のDTSと、DTSフィールド101に記述された差分値とを加えた値を、アクセスユニット200のDTSとして逆算する。そして、DTS逆算手段24は、前記したメモリに、逆算したアクセスユニット200のDTSの値を一時記憶して、メモリ内容を更新する。つまり、このメモリは、メディアユニット100に含まれる最新のアクセスユニット200のDTSが逆算される都度、一時記憶したDTSが更新される。
 さらに、CTS逆算手段25は、CTSフィールド102に記述されたオフセット値と、DTS逆算手段24が逆算したアクセスユニット200のDTSとを加えた値を、アクセスユニット200のCTSとして逆算する。
 ここで、2個目のメディアユニット100は、アクセスユニット200もさらに含んでいる。このため、DTS逆算手段24及びCTS逆算手段25は、アクセスユニット200のDTSとCTSとをそれぞれ逆算する。つまり、DTS逆算手段24は、メモリに一時記憶されたDTSの値(すなわち、アクセスユニット200のDTSの値)に、DTSフィールド101に記述された差分値を加えて、アクセスユニット200のDTSを逆算する。また、CTS逆算手段25は、DTS逆算手段24で逆算されたDTSの値と、CTSフィールド102に記述されたオフセット値とを加算して、アクセスユニット200のCTSを逆算する。
 なお、メディアユニット100,100での処理は、メディアユニット100,100と同様のため、説明を省略する。
 その後、タイムスタンプ逆算手段23は、DTS逆算手段24で逆算されたDTS及びCTS逆算手段25で逆算されたCTSをアクセスユニット200に対応付けて、デコーダ26に出力する。
 図1に戻り、復号装置2の構成について、説明を続ける。
 デコーダ26は、タイムスタンプ逆算手段23から入力されたアクセスユニット200を、エンコーダ11に対応した映像デコード方式(例えば、MPEG-2 Video又はMPEG-4 AVC)によって、デコードするものである。このアクセスユニット200は、CTSとDTSの両方が対応付けられているため、前記した映像デコード方式でデコードを行うことができる。
[符号化装置の動作]
 図4を参照し、符号化装置1の動作について、説明する(適宜図1~図3参照)。
 符号化装置1は、エンコーダ11によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニット200を生成する(ステップS11)。
 符号化装置1は、差分値算出手段13によって、アクセスユニット200毎にDTSの差分値を算出する。また、符号化装置1は、オフセット値算出手段14によって、アクセスユニット200毎に、DTSとCTSとのオフセット値を算出する(ステップS12)。
 符号化装置1は、カプセル化判定手段15によって、判定時間内で複数のアクセスユニット200が判定条件を満たすか否かを判定する(ステップS13)。
 ここで、複数のアクセスユニット200が判定条件を満たす場合(ステップS13でYes)、符号化装置1は、この複数のアクセスユニット200をカプセル化単位として判定し、ステップS14の処理に進む。
 符号化装置1は、カプセル化手段16によって、差分値及びオフセット値をメディアユニット100に記述する。また、符号化装置1は、カプセル化手段16によって、カプセル化単位に含まれる複数のアクセスユニット200をメディアユニット100にカプセル化する。さらに、符号化装置1は、カプセル化手段16によって、カプセル化判定情報(例えば、‘1’~‘3’の何れか)と、サイズ情報とをメディアユニット100に記述する(ステップS14)。
 一方、1個のアクセスユニット200が判定条件を満たす場合(ステップS13でNo)、符号化装置1は、この1個のアクセスユニット200をカプセル化単位として判定し、ステップS15の処理に進む。
 符号化装置1は、カプセル化手段16によって、差分値及びオフセット値をメディアユニット100に記述する。また、符号化装置1は、カプセル化手段16によって、カプセル化単位に含まれる1個のアクセスユニット200をメディアユニット100にカプセル化する。さらに、符号化装置1は、カプセル化手段16によって、カプセル化判定情報(例えば、‘0’)をメディアユニット100に記述する(ステップS15)。
[復号装置の動作]
 図5を参照し、復号装置2の動作について、説明する(適宜図1~図3参照)。
 復号装置2は、複数カプセル判定手段21によって、符号化装置1から入力されたメディアユニット100に記述されたカプセル化判定情報に基づいて、メディアユニット100に複数のアクセスユニット200がカプセル化されているか否かを判定する(ステップS21)。
 ここで、複数のアクセスユニット200がカプセル化されている場合(ステップS21でYes)、復号装置2は、ステップS22の処理に進む。
 復号装置2は、逆カプセル化手段22によって、サイズ情報に基づいて、入力されたメディアユニット100から複数のアクセスユニット200を抽出する(ステップS22)。
 一方、複数のアクセスユニット200がカプセル化されていない場合(ステップS21でNo)、復号装置2は、ステップS23の処理に進む。
 復号装置2は、逆カプセル化手段22によって、入力されたメディアユニット100から1個のアクセスユニット200を抽出する(ステップS23)。
 復号装置2は、DTS逆算手段24によって、アクセスユニット200のDTSを逆算する。また、復号装置2は、CTS逆算手段25によって、アクセスユニット200のCTSを逆算する(ステップS24)。
 復号装置2は、デコーダ26によって、DTS及びCTSが逆算されたアクセスユニット200をデコードする(ステップS25)。
 以上のように、本発明の第1実施形態に係る符号化装置1及び復号装置2は、複数のアクセスユニット200をカプセル化した場合でも、メディアユニット100に、デコードのタイミングを示すフィールド(DTSの差分値及びオフセット値)が1個ずつしか含まれない(図2(b))。さらに、符号化装置1及び復号装置2は、1個のアクセスユニット200をカプセル化した場合、メディアユニットに、サイズ情報フィールドが含まれない(図2(a))。このように、符号化装置1及び復号装置2は、メディアユニット100に冗長なフィールドが含まれないため、このメディアユニット100のオーバーヘッドを削減でき、最適なフォーマットでのカプセル化を可能とする。特に、符号化装置1及び復号装置2は、アクセスユニット200毎にDTS及びCTSのフィールドを単純に付加した場合に比べ、メディアユニット100のオーバーヘッドを大幅に削減できることになる。
 さらに、符号化装置1は、アクセスユニット200のサイズに応じたビット数でサイズ情報フィールド104を確保する。このため、符号化装置1は、このサイズ情報フィールド104が冗長となる事態、及び、サイズ情報フィールド104のビット数が不足する事態を防止することができる。
 さらに、復号装置2は、複数のアクセスユニット200がカプセル化されている場合でも、サイズ情報フィールド104を参照することで、メディアユニット100にカプセル化されている各アクセスユニット200のデータ領域を正確に特定できる。このため、復号装置2は、アクセスユニット200を抽出する際、データの欠落を防止することができる。
(第2実施形態)
 図6を参照し、本発明の第2実施形態に係るコンテンツ提供システム1000Aについて、第1実施形態と異なる点を説明する。
 コンテンツ提供システム1000Aは、コンテンツ(音声)を提供するものであり、符号化装置1Aと、復号装置2Aとを備える。
[符号化装置の構成]
 符号化装置1Aは、入力信号としての音声信号をエンコードして、復号装置2Aに提供するものである。このため、符号化装置1Aは、エンコーダ11Aと、タイムスタンプ算出手段12Aと、カプセル化判定手段15Aと、カプセル化手段16Aとを備える。
 エンコーダ11Aは、CTSを用いるエンコード方式によって、外部から入力された音声信号をエンコードすることで、CTSが対応付けられたアクセスユニットを生成するものである。
 ここで、エンコーダ11Aは、MPEG-2 AAC(Advanced Audio Coding)等の音声エンコード方式を用いて、入力された音声信号をエンコードし、音声のアクセスユニットを生成する。ここで、音声信号のようにアクセスユニットの復号順序と提示順序が同じ場合、アクセスユニット毎にCTSだけが対応付けられる。そして、エンコーダ11Aは、CTSが対応付けられたアクセスユニットをタイムスタンプ算出手段12Aに出力する。
 タイムスタンプ算出手段12Aは、メディアユニットに付加するタイムスタンプ(CTSの差分値)を算出するものであり、差分値算出手段13Aを備える。
 差分値算出手段13Aは、アクセスユニット毎に、アクセスユニットのCTSと、直前のメディアユニットにカプセル化された他のアクセスユニットのCTSとの差分値を算出するものである。
 なお、差分値算出手段13Aは、DTSの代わりにCTSを用いる以外、図1の差分値算出手段13と同様のため、詳細な説明を省略する。
 カプセル化判定手段15Aは、タイムスタンプ算出手段12Aから入力されたアクセスユニットのうち、判定時間内で、後記する判定条件を満たす1個以上のアクセスユニットをカプセル化単位として判定するものである。
 なお、カプセル化判定手段15Aは、差分値が同一となる判定条件を用いる以外、図1のカプセル化判定手段15と同様のため、詳細な説明を省略する。
 カプセル化手段16Aは、カプセル化判定手段15Aで判定されたカプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化(格納)し、同一の差分値をメディアユニットに付加するものである。
 本実施形態では、音声信号をエンコードしているので、アクセスユニット200にDTSが対応付けられず、CTSだけが対応付けられる。従って、図7に示すように、カプセル化手段16Aが出力するメディアユニット100Aには、DTSフィールドが存在せず、CTSフィールド102だけが存在することになる。そして、図8に示すように、このメディアユニット100AのCTSフィールド102には、差分値算出手段13Aで算出されたCTSの差分値が記述される。
 この他、カプセル化手段16Aは、図1のカプセル化手段16と同様のため、詳細な説明を省略する。
[復号装置の構成]
 以下、復号装置2Aの構成について、説明する。
 復号装置2Aは、符号化装置1Aが送信したメディアユニット100Aから、1個又は複数のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2Aは、複数カプセル判定手段21と、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23Aと、デコーダ26Aとを備える。
 タイムスタンプ逆算手段23Aは、タイムスタンプ(CTSの差分値)から、アクセスユニット200に対応するCTSを逆算するものであり、CTS逆算手段25Aを備える。
 CTS逆算手段25Aは、メディアユニット100Aに付加された差分値と、アクセスユニット200の直前に位置する他のアクセスユニットのCTSとを加えた値を、このアクセスユニット200のCTSとして逆算するものである。
 なお、CTS逆算手段25Aは、DTSの代わりにCTSを用いる以外、図1のDTS逆算手段24と同様のため、詳細な説明を省略する。
 デコーダ26Aは、タイムスタンプ逆算手段23Aから入力されたアクセスユニット200を、エンコーダ11Aに対応した音声デコード方式(例えば、MPEG-2 AAC)によって、デコードするものである。このアクセスユニット200には、CTSが対応付けられているため、前記した音声デコード方式でデコードを行うことができる。
 なお、デコーダ26Aでは、DTSが対応付けられていないため、DTSとCTSが同一であるとみなしてデコードを行う。
 以上のように、本発明の第2実施形態に係る符号化装置1A及び復号装置2Aでは、音声コンテンツでも第1実施形態と同様の効果を奏する。
(第3実施形態)
[メディアユニットの共通化、伝送路の切り替え]
 図9を参照し、メディアユニット100Bの共通化、及び、伝送路の切り替えについて説明する。
 図9に示すように、コンテンツ提供システム1000Bは、コンテンツ(映像)を提供するものであり、地上配信局(符号化装置)1Bと、2台の受信機(復号装置)2B,2Bと、放送衛星92とを備える。
 地上配信局1Bは、ネットワークNを介して、コンテンツが格納されたメディアユニット100Bを受信機2B,2Bに送信するものである。
 受信機2B,2Bは、ネットワークNを介して、地上配信局1Bからメディアユニット100Bを受信して、コンテンツを再生するものである。また、受信機2B,2Bは、放送波Wを介して、放送衛星92からメディアユニット100Bを受信して、コンテンツを再生する。
 放送衛星92は、図示を省略したアップリンク局から、メディアユニット100Bを受信(アップリンク)するものである。そして、放送衛星92は、放送波Wを介して、受信したメディアユニット100を、受信機2B,2Bに送信(ダウンリンク)する。
 このように、地上配信局1Bと受信機2B,2Bとの間には、それぞれ、ネットワークNによる伝送路が構築される。また、放送衛星92と受信機2B,2Bとの間には、それぞれ、放送波Wによる伝送路が構築される。
 まず、メディアユニット100Bの共通化について、説明する。
 従来方式において、地上配信局1Bから受信機2B,2Bに同一のコンテンツを提供する場合を考える。従来方式では、各メディアユニットにDTSやCTSが絶対時刻の形式で含まれている。このため、従来方式では、受信機2B,2Bのそれぞれに応じたメディアユニットを準備する必要があり、処理負担が重くなるという問題があった。
 次に、伝送路の切り替えについて、説明する。
 例えば、放送衛星92が受信機2Bにメディアユニットを送信している際、降雨減衰のため、放送波WからネットワークNに伝送路を切り替えて、地上配信局1Bからメディアユニット100Bを送信する場合を考える。従来方式では、メディアユニットにDTSやCTSが絶対時刻の形式で含まれている。このため、従来方式では、放送波WやネットワークNといった伝送路毎にメディアユニットを準備する必要があり、処理負担が重くなるという問題があった。
 そこで、本願発明は、前記した問題を解決し、最適なフォーマットでカプセル化を可能とする地上配信局(符号化装置)、受信機(復号装置)及びこれらのプログラムを提供することを課題とする。
 前記した課題に鑑みて、コンテンツ提供システム1000Bでは、DTS及びCTSの基準となる絶対時刻を制御信号(不図示)に付加し、DTS相対値及びCTS相対値をアクセスユニット(不図示)に付加するフォーマットを採用した。
 これにより、コンテンツ提供システム1000Bでは、受信機2B,2Bそれぞれに応じた制御信号を準備すれば、同じメディアユニット100Bを受信機2B,2Bで共通化することができる。すなわち、メディアユニット100Bが、映像・音声メディアの最小利用単位として利用可能になる。
 さらに、コンテンツ提供システム1000Bでは、前記したフォーマットが採用されているため、伝送路毎に制御信号を準備すれば、同じメディアユニット100Bを、伝送路を切り替えて受信機2Bに送信することができる。
[符号化装置の構成]
 図10を参照し、符号化装置1Bの構成について、説明する。
 符号化装置1Bは、入力信号としての映像信号をエンコードして、復号装置2Bに提供するものである。このため、符号化装置1Bは、エンコーダ11と、タイムスタンプ算出手段12Bと、カプセル化判定手段15Bと、カプセル化手段16Bと、送信手段19とを備える。
 この図10では、伝送路としてのネットワークNを図示したが、放送波Wであってもよい。
 エンコーダ11は、CTS及びDTSを用いるエンコード方式によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられた(付加された)アクセスユニットを生成するものである。そして、エンコーダ11は、CTS及びDTSが対応付けられたアクセスユニットを、順次、カプセル化判定手段15Bに出力する。
 カプセル化判定手段15Bは、予め設定されたカプセル化条件で、エンコーダ11から入力された1個以上のアクセスユニットをカプセル化単位として判定するものである。そして、カプセル化判定手段15Bは、カプセル化単位毎にエンコードされた順番で、アクセスユニットをタイムスタンプ算出手段12Bに出力する。
 このカプセル化条件とは、例えば、予め設定された個数のアクセスユニットをカプセル化単位とする、又は、予め設定された時間内にエンコードされたアクセスユニットをカプセル化単位とするというように、任意に設定できる条件のことである。
 例えば、カプセル化条件は、遅延を抑えたい場合、1個のアクセスユニットをカプセル化単位とする条件で予め設定される。また、カプセル化条件は、映像信号であれば、GOP(Group of Picture)分のアクセスユニット(例えば、15個)をカプセル化単位とする条件で予め設定されてもよい。
 タイムスタンプ算出手段12Bは、アクセスユニット毎のタイムスタンプ(DTS相対値及びCTS相対値)を算出するものであり、DTS相対値算出手段17と、CTS相対値算出手段18とを備える。
 DTS相対値算出手段17は、最初にエンコードされたアクセスユニットのDTS相対値として、‘0’を算出するものである。
 また、DTS相対値算出手段17は、2番目以降にエンコードされたアクセスユニットのDTS相対値として、このアクセスユニットのDTSと、このアクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分を算出する。
 CTS相対値算出手段18は、アクセスユニットのCTS相対値として、このアクセスユニットのCTSと、このアクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出するものである。
 なお、DTS相対値算出手段17及びCTS相対値算出手段18の詳細は、後記する。
 その後、タイムスタンプ算出手段12Bは、カプセル化単位毎にエンコードされた順番で、カプセル化判定手段15Bから入力されたアクセスユニットと、DTS相対値算出手段17が算出したDTS相対値と、CTS相対値算出手段18が算出したCTS相対値とを、カプセル化手段16Bに出力する。
 カプセル化手段16Bは、タイムスタンプ算出手段12Bから入力されたアクセスユニットを、カプセル化単位毎にエンコードされた順番で、メディアユニット100Bにカプセル化するものである。そして、カプセル化手段16Bは、アクセスユニット毎にDTS相対値及びCTS相対値を付加し、カプセル化されたメディアユニット100Bを送信手段19に出力する。
 送信手段19は、カプセル化手段16Bから入力されたメディアユニット100Bと、制御信号300とを、ネットワークNを介して、復号装置2Bに送信するものである。
 制御信号300は、メディアユニット100Bの先頭を示す絶対時刻が含まれている。例えば、制御信号300は、コンテンツの構成や必要なコンポーネントの取得先を示す情報や絶対時刻が記述されたスタートアップコントロールメタデータである(参考文献参照)。
 絶対時刻は、例えば、UTC(Coordinated Universal Time)の時刻、又は、コンテンツの先頭を基準とした経過時刻が、予め設定される。
 参考文献:青木他、「ハイブリッド型放送におけるメディアのトランスポート方式」、情報処理学会研究報告、2011年
 ここで、送信手段19は、ID(識別子)及びシーケンス番号を、メディアユニット100Bと、メディアユニット100Bに対応する制御信号300とに付加することが好ましい。
 つまり、送信手段19は、伝送路毎にIDが予め設定され、メディアユニット100Bが送信される伝送路に応じたIDを、メディアユニット100B及び制御信号300に付加する。
 また、送信手段19は、メディアユニット100Bに既に付加されたシーケンス番号を管理する管理テーブル(不図示)を備える。そして、送信手段19は、この管理テーブルのシーケンス番号をインクリメントし、新たなメディアユニット100Bのシーケンス番号として付加する。
 IDは、所定のメディアユニット100Bで共通する識別情報である。例えば、IDは、同一伝送路のメディアユニット100Bに同一の値が付されるように、他の配信環境と重複がなく、配信環境によらずユニークな値である。
 シーケンス番号は、各メディアユニット100Bで固有の識別情報である。
 すなわち、各メディアユニット100Bは、ID及びシーケンス番号の組で一意に識別することができる。
<カプセル化の具体例>
 図11を参照し、符号化装置1Bによるカプセル化の具体例を説明する。
 図11では、CTSフィールド102を「AUの表示期間」と図示し、シーケンス番号フィールド106を「Seq_No」と図示した。
 この図11では、連続して6個のアクセスユニット200~200が生成されたこととする(図11のAU1~AU6)。
 また、図11では、カプセル化条件が、3個のアクセスユニット200をカプセル化単位とする条件で設定されたこととする。従って、カプセル化判定手段15Bは、1個目のメディアユニット100Bのカプセル化単位が、アクセスユニット200~200であると判定し、2個目のメディアユニット100Bのカプセル化単位が、アクセスユニット200~200であると判定する。
 また、図11では、メディアユニット100B,100Bと、これらメディアユニット100B,100Bに対応する制御信号300,300とが、同一の伝送路で送信されることとする。
 DTS相対値算出手段17は、先頭のアクセスユニット200のDTS相対値として、‘0’を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、2番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、先頭のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、3番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、2番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
 ここで、DTS相対値算出手段17は、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でDTS相対値を算出する。すなわち、DTS相対値算出手段17は、4番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、3番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
 また、DTS相対値算出手段17は、5番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、4番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、6番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、5番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
 つまり、DTS相対値算出手段17は、下記式(1)~式(6)に示すように、DTS相対値を算出し、DTSフィールド101に記述する。
AU1_DTS相対値=0 …式(1)
AU2_DTS相対値=AU2_DTS-AU1_DTS …式(2)
AU3_DTS相対値=AU3_DTS-AU2_DTS …式(3)
AU4_DTS相対値=AU4_DTS-AU3_DTS …式(4)
AU5_DTS相対値=AU5_DTS-AU4_DTS …式(5)
AU6_DTS相対値=AU6_DTS-AU5_DTS …式(6)
 CTS相対値算出手段18は、先頭のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、2番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。また、CTS相対値算出手段18は、2番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、3番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
 ここで、CTS相対値算出手段18は、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でCTS相対値を算出する。すなわち、CTS相対値算出手段18は、3番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、4番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
 また、CTS相対値算出手段18は、4番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、5番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。また、CTS相対値算出手段18は、5番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、6番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
 また、CTS相対値算出手段18は、6番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、7番目のアクセスユニット200(不図示)のCTSとの差分を算出し、CTSフィールド102に記述する。
 なお、CTS相対値算出手段18は、6番目のアクセスユニット200が末尾の場合、入力信号が途切れた時刻、エンコーダ11が動作を停止した時刻、又は、タイムアウトした時刻の何れかを、7番目のアクセスユニット200のCTSとみなし、CTS相対値を算出すればよい。
 つまり、CTS相対値算出手段18は、下記式(7)~式(12)に示すように、CTS相対値を算出し、CTSフィールド102に記述する。
AU1_CTS相対値=AU2_CTS-AU1_CTS …式(7)
AU2_CTS相対値=AU3_CTS-AU2_CTS …式(8)
AU3_CTS相対値=AU4_CTS-AU3_CTS …式(9)
AU4_CTS相対値=AU5_CTS-AU4_CTS …式(10)
AU5_CTS相対値=AU6_CTS-AU5_CTS …式(11)
AU6_CTS相対値=AU7_CTS-AU6_CTS …式(12)
 送信手段19は、メディアユニット100B,100Bと、制御信号300,300とに共通するID(例えば、‘1’)を、メディアユニット100B,100BのIDフィールド105,105と、制御信号300,301のIDフィールド301,301とに記述する。
 また、送信手段19は、メディアユニット100Bのシーケンス番号(例えば、‘1’)を、メディアユニット100Bのシーケンス番号フィールド106と、メディアユニット100Bに対応する制御信号300のシーケンス番号フィールド302とに記述する。
 また、送信手段19は、メディアユニット100Bの先頭を表す絶対時刻(MU1の先頭を表示する絶対時刻(T_mu1))を、制御信号300の絶対時刻フィールド303に記述する。
 また、送信手段19は、メディアユニット100Bのシーケンス番号(例えば、‘2’)を、メディアユニット100Bのシーケンス番号フィールド106と、メディアユニット100Bに対応する制御信号300のシーケンス番号フィールド302とに記述する。
 また、送信手段19は、メディアユニット100Bの先頭を表す絶対時刻(MU2の先頭を表示する絶対時刻(T_mu2))を、制御信号300の絶対時刻フィールド303に記述する。
 なお、図11では省略したが、メディアユニット100B,100Bは、第1実施形態と同様、カプセル化判定情報フィールド103及びサイズ情報フィールド104(図2)を備えてもよい。この場合、カプセル化手段16Bは、カプセル化判定情報フィールド103に、カプセル化判定情報として、サイズ情報が含まれることを示す値(例えば、‘0’以外)を記述する。また、カプセル化手段16Bは、サイズ情報フィールド104に、各アクセスユニット200のサイズ情報を記述する。
<絶対時刻とCTS相対値との関係>
 図12を参照し、絶対時刻「T_mu」とCTS相対値との関係について、説明を補足する。(適宜図10,図11参照)。
 先頭のアクセスユニット200のCTSは、絶対時刻に等しくなる。言い換えるなら、先頭のアクセスユニット200は、CTS及びDTSが等しくなる。
 2番目のアクセスユニット200のCTSは、先頭のアクセスユニット200のCTSにΔT_au1を加えた値となる。言い換えるなら、ΔT_au1が、2番目のアクセスユニット200と先頭のアクセスユニット200とのCTSの差分を示す。従って、このΔT_au1が、先頭のアクセスユニット200のCTS相対値として、CTSフィールド102に記述される。
 3番目のアクセスユニット200のCTSは、2番目のアクセスユニット200のCTSにΔT_au2を加えた値となる。言い換えるなら、ΔT_au2が、3番目のアクセスユニット200と2番目のアクセスユニット200とのCTSの差分を示す。従って、このΔT_au2が、2番目のアクセスユニット200のCTS相対値として、CTSフィールド102に記述される。
 なお、4番目のアクセスユニット200以降も同様のため、説明を省略する。
[復号装置の構成]
 図10に戻り、復号装置2Bの構成について、説明する。
 復号装置2Bは、符号化装置1Bが送信したメディアユニット100Bから、1個以上のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2Bは、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23Bと、デコーダ26と、受信手段27とを備える。
 受信手段27は、ネットワークN又は放送波Wを介して、符号化装置1からメディアユニット100Bと、制御信号300とを受信するものである。そして、受信手段27は、受信したメディアユニット100Bと、制御信号300とを、順次、逆カプセル化手段22Bに出力する。
 逆カプセル化手段22Bは、受信手段27より入力されたメディアユニット100Bから、1個以上のアクセスユニット200を抽出(逆カプセル化)するものである。ここで、逆カプセル化手段22は、サイズ情報フィールド104を参照して、各アクセスユニット200がカプセル化されているメディアユニット100Bのデータ領域を特定する。そして、逆カプセル化手段22Bは、メディアユニット100Bから抽出した順番でアクセスユニット200をタイムスタンプ逆算手段23Bに出力する。さらに、逆カプセル化手段22Bは、受信手段27から入力された制御信号300をタイムスタンプ逆算手段23Bに出力する。
 タイムスタンプ逆算手段23Bは、タイムスタンプ(DTS相対値及びCTS相対値)から、アクセスユニット200のDTS及びCTSを逆算するものであり、DTS逆算手段24Bと、CTS逆算手段25Bとを備える。
 DTS逆算手段24Bは、先頭に位置するアクセスユニット200のDTSとして、メディアユニット100Bに対応する制御信号300の絶対時刻を逆算するものである。
 また、DTS逆算手段24Bは、2番目以降に位置するアクセスユニット200のDTSとして、アクセスユニット200のDTS相対値と、アクセスユニット200の直前に位置する他のアクセスユニットのDTSとを加えた値を逆算する。
 CTS逆算手段25Bは、メディアユニット100Bに対応する制御信号300の絶対時刻と、先頭に位置するアクセスユニット200からこのアクセスユニット200までのCTS相対値の総和とを加えた値を、アクセスユニット200の直後に位置する他のアクセスユニットのCTSとして逆算するものである。
<逆カプセル化の具体例>
 図11を参照し、復号装置2Bによる逆カプセル化の具体例を説明する(適宜図10参照)。
 DTS逆算手段24Bは、ID及びシーケンス番号を参照し、メディアユニット100Bと制御信号300との対応関係を求める。図11の例では、DTS逆算手段24Bは、ID=‘1’で、かつ、シーケンス番号=‘1’のメディアユニット100Bと、制御信号300とを対応付ける。またDTS逆算手段24Bは、ID=‘1’で、かつ、シーケンス番号=‘2’のメディアユニット100Bと、制御信号300とを対応付ける。
 また、DTS逆算手段24Bは、先頭のアクセスユニット200のDTSとして、制御信号300の絶対時刻フィールド303に記述された絶対時刻を逆算する。また、DTS逆算手段24Bは、2番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた先頭のアクセスユニット200のDTSとを加えた値を逆算する。また、DTS逆算手段24Bは、3番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた2番目のアクセスユニット200のDTSとを加えた値を逆算する。
 ここで、DTS逆算手段24Bは、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でDTSを逆算する。すなわち、DTS逆算手段24Bは、4番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた3番目のアクセスユニット200のDTSとを加えた値を逆算する。
 また、DTS逆算手段24Bは、5番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた4番目のアクセスユニット200のDTSとを加えた値を逆算する。また、DTS逆算手段24Bは、6番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた5番目のアクセスユニット200のDTSとを加えた値を逆算する。
 つまり、DTS逆算手段24Bは、下記式(13)~式(17)に示すように、DTSを逆算する。
AU1_DTS=制御信号300の絶対時刻
AU2_DTS=AU2_DTS相対値+AU1_DTS …式(13)
AU3_DTS=AU3_DTS相対値+AU2_DTS …式(14)
AU4_DTS=AU4_DTS相対値+AU3_DTS …式(15)
AU5_DTS=AU5_DTS相対値+AU4_DTS …式(16)
AU6_DTS=AU6_DTS相対値+AU5_DTS …式(17)
 CTS逆算手段25Bは、DTS逆算手段24Bと同様、ID及びシーケンス番号を参照し、メディアユニット100Bと制御信号300との対応関係を求める。
 また、CTS逆算手段25Bは、先頭のアクセスユニット200のCTSとして、制御信号300の絶対時刻フィールド303に記述された絶対時刻を逆算する。
 また、CTS逆算手段25Bは、2番目のアクセスユニット200のCTSとして、制御信号300の絶対時刻と、先頭のアクセスユニット200のCTS相対値とを加えた値を逆算する。
 また、CTS逆算手段25Bは、アクセスユニット200,200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、3番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
 ここで、CTS逆算手段25Bは、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でCTSを逆算する。すなわち、CTS逆算手段25Bは、アクセスユニット200~200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、4番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
 また、CTS逆算手段25Bは、アクセスユニット200~200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、5番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
 また、CTS逆算手段25Bは、アクセスユニット200~200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、6番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
 ここで、制御信号300の絶対時刻「T_mu2」について、説明を補足する。
 放送波Wを用いた場合、コンテンツ提供システム1000Bには、様々なタイミングで受信を開始する復号装置2Bが存在することになる。ここで、ある復号装置2Bが、制御信号300を受信できなかった場合を考える。この場合、復号装置2Bは、次の制御信号300を受信して、この制御信号300の絶対時刻「T_mu2」を用いて、メディアユニット100Bにカプセル化されたアクセスユニット200~200のDTS及びCTSを逆算する。このようにして、復号装置2Bは、受信できた制御信号300に対応するメディアユニット100Bから、コンテンツの再生を開始する。すなわち、コンテンツ提供システム1000Bでは、復号装置2Bが任意のタイミングで受信を開始するために、絶対時刻が付加された制御信号300を周期的に復号装置2Bに送信することが好ましい。
 また、復号装置2Bは、メディアユニット100Bを継続して受信する場合、3番目のアクセスユニット200の後に、4番目のアクセスユニット200を直ちに表示するのであれば、制御信号300の絶対時刻が必須でない。しかし、コンテンツ提供システム1000Bでは、符号化装置1Bのクロック周波数と、復号装置2Bのクロック周波数とが正確に一致するとは限らない。従って、コンテンツ提供システム1000Bでは、各アクセスユニット200のCTS相対値を積み重ねていくと、絶対時刻に対して誤差が発生する可能性がある(クロックドリフト)。このため、コンテンツ提供システム1000Bでは、ある程度短い間隔で絶対時刻へのマッピングを行って、大きな誤差を防止する。すなわち、コンテンツ提供システム1000Bでは、アクセスユニット200でCTSの誤差を抑えるために、絶対時刻が付加された制御信号300を周期的に復号装置2Bに送信することが好ましい。
 その後、タイムスタンプ逆算手段23Bは、DTS及びCTSが逆算されたアクセスユニット200を、順次、デコーダ26に出力する。
 図10に戻り、復号装置2Bの構成について、説明を続ける。
 デコーダ26は、タイムスタンプ逆算手段23Bから入力されたアクセスユニット200を、エンコーダ11に対応した映像デコード方式によって、デコードするものである。このアクセスユニット200は、CTSとDTSの両方が対応付けられているため、前記した映像デコード方式でデコードを行うことができる。
[符号化装置の動作]
 図13を参照し、符号化装置1Bの動作について、説明する(適宜図10~図12参照)。
 符号化装置1Bは、エンコーダ11によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニット200を生成する(ステップS31)。
 符号化装置1Bは、カプセル化判定手段15Bによって、予め設定されたカプセル化条件で、1個以上のアクセスユニットをカプセル化単位として判定する(ステップS32)。
 符号化装置1Bは、DTS相対値算出手段17によって、DTS相対値を算出する(ステップS33)。
 符号化装置1Bは、CTS相対値算出手段18によって、CTS相対値を算出する(ステップS34)。
 符号化装置1Bは、カプセル化手段16Bによって、アクセスユニット200をメディアユニット100Bにカプセル化し、アクセスユニット200毎にDTS相対値及びCTS相対値を付加する(ステップS35)。
 符号化装置1Bは、送信手段19によって、カプセル化されたメディアユニット100Bと、このメディアユニット100Bに対応する制御信号300とを、ネットワークNを介して、復号装置2Bに送信する(ステップS36)。
[復号装置の動作]
 図14を参照し、復号装置2Bの動作について、説明する(適宜図10~図12参照)。
 復号装置2Bは、受信手段27によって、ネットワークN又は放送波Wを介して、符号化装置1からメディアユニット100Bと、制御信号300とを受信する(ステップS41)。
 復号装置2Bは、逆カプセル化手段22Bによって、メディアユニット100Bから、1個以上のアクセスユニット200を抽出する(ステップS42)。
 復号装置2Bは、DTS逆算手段24Bによって、DTSを逆算する(ステップS43)。
 復号装置2Bは、CTS逆算手段25Bによって、CTSを逆算する(ステップS44)。
 復号装置2Bは、デコーダ26によって、DTS及びCTSが逆算されたアクセスユニット200をデコードする(ステップS45)。
 以上のように、本発明の第3実施形態に係る符号化装置1B及び復号装置2Bは、DTS及びCTSの基準となる絶対時刻が制御信号300に付加され、DTS相対値及びCTS相対値がアクセスユニット200に付加されるフォーマットが採用されている。このため、符号化装置1B及び復号装置2Bは、制御信号300の絶対時刻を書き換えるだけで、アクセスユニット200が復号される時刻と、アクセスユニット200が提示又は再生される時刻とを容易に変更することができる。さらに、符号化装置1B及び復号装置2Bは、メディアユニット100Bの共通化と、伝送路の切り替えとを容易に実現できる。
(第4実施形態)
 図15~図18を参照し、本発明の第4実施形態に係るコンテンツ提供システム1000Cについて、第3実施形態と異なる点を説明する。
 コンテンツ提供システム1000Cは、コンテンツ(音声)を提供するものであり、符号化装置1Cと、復号装置2Cとを備える。
[符号化装置の構成及び動作]
 符号化装置1Cは、入力信号としての音声信号をエンコードして、復号装置2Cに提供するものである。
 図15に示すように、符号化装置1Cは、エンコーダ11の代わりにエンコーダ11Aを備え、DTS相対値算出手段17を備えない以外、図10の符号化装置1Bと同様の構成ため、詳細な説明を省略する。
 また、図16に示すように、符号化装置1Cは、ステップS33を実行しない以外、図13と同様の動作ため、詳細な説明を省略する。
[復号装置の構成及び動作]
 復号装置2Cは、符号化装置1Cが送信したメディアユニット100Cからアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。
 図15に示すように、復号装置2Cは、デコーダ26の代わりにデコーダ26Aを備え、DTS逆算手段24Bを備えない以外、図10の復号装置2Bと同様の構成ため、詳細な説明を省略する。
 また、図17に示すように、復号装置2Cは、ステップS43を実行しない以外、図14と同様の動作ため、詳細な説明を省略する。
[メディアユニット及び制御信号のフォーマット]
 図18に示すように、メディアユニット100C及び制御信号300は、メディアユニット100CにDTSフィールド101が含まれない以外、図11と同様のため、詳細な説明を省略する。
 以上のように、本発明の第4実施形態に係る符号化装置1C及び復号装置2Cでは、音声コンテンツでも第3実施形態と同様の効果を奏する。
 なお、各実施形態に係る符号化装置及び復号装置の機能は、コンピュータで実現するようにしてもよい。この場合、本発明は、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
 なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
 さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。
 また、前記したプログラムは、前記した機能の一部を実現するためのものであってもよく、さらに、前記した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
(変形例)
 以上、本発明の各実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
 コンテンツ提供システム1000で映像を扱い、コンテンツ提供システム1000Aで音声を扱うこととして説明したが、本発明は、映像と音声の両方を扱うこともできる。
 この場合、コンテンツ提供側では、図1の符号化装置1で映像のメディアユニットを生成し、図6の符号化装置1Aで音声のメディアユニットを生成する。そして、コンテンツ提供側では、映像及び音声のメディアユニットを多重化して、コンテンツ受信側に送信する。
 また、コンテンツ受信側では、多重化されたメディアユニットを、映像及び音声のメディアユニットに分離する。そして、コンテンツ受信側では、映像のメディアユニットを図1の復号装置2でデコードし、音声のメディアユニットを図6の復号装置2Aでデコードする。
 また、コンテンツ提供システム1000,100Aは、符号化装置1,1A及び復号装置2,2Aを2台以上備えてもよい。
 また、コンテンツ提供システム1000,100Aでは、符号化装置1,1Aが生成したメディアユニットを光磁気記録媒体に記録し、郵送等のオフラインで復号装置2,2Aに提供してもよい。
 また、コンテンツ提供システム1000,100Aでは、同一装置内に符号化装置1,1A及び復号装置2,2Aが備えられ、符号化装置1,1Aが生成したメディアユニットを蓄積し、蓄積したメディアユニットを復号装置2,2Aに提供してもよい。
1,1A,1B,1C 符号化装置
11,11A エンコーダ
12,12A,12B,12C タイムスタンプ算出手段
13,13A 差分値算出手段
14 オフセット値算出手段
15,15A,15B カプセル化判定手段
16,16A,16B カプセル化手段
17 DTS相対値算出手段
18 CTS相対値算出手段
19 送信手段
2,2A,2B,2C 復号装置
21 複数カプセル判定手段
22,22B 逆カプセル化手段(メディアユニット抽出手段)
23,23A,23B,23C タイムスタンプ逆算手段
24,24B DTS逆算手段
25,25A,25B CTS逆算手段
26,26A デコーダ
27 受信手段
1000,1000A,1000B,1000C コンテンツ提供システム

Claims (14)

  1.  提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、
     前記入力信号を前記エンコード方式によってエンコードすることで、前記CTS及び前記DTSが対応付けられたアクセスユニットを生成するエンコーダと、
     前記アクセスユニットのDTSと、当該アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分値を算出する差分値算出手段と、
     前記アクセスユニットのDTSとCTSとの差であるオフセット値を算出するオフセット値算出手段と、
     予め設定された判定時間内で前記差分値が同一となり、かつ、前記オフセット値が同一となる1個以上のアクセスユニットをカプセル化単位として判定するカプセル化判定手段と、
     前記カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値及び同一のオフセット値を前記メディアユニットに付加するカプセル化手段と、を備え、
     前記カプセル化手段は、
     1個の前記アクセスユニットをカプセル化する場合、カプセル化された前記アクセスユニットの数を判定するためのカプセル化判定情報として、前記アクセスユニット毎のサイズ情報が含まれないことを示す値を前記メディアユニットに付加し、
     複数の前記アクセスユニットをカプセル化する場合、前記カプセル化判定情報として、前記アクセスユニット毎のサイズ情報が含まれることを示す値を前記メディアユニットに付加し、前記サイズ情報を前記メディアユニットに付加することを特徴とする符号化装置。
  2.  提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、
     前記入力信号を前記エンコード方式によってエンコードすることで、前記CTSが対応付けられたアクセスユニットを生成するエンコーダと、
     前記アクセスユニットのCTSと、当該アクセスユニットの直前にエンコードされた他のアクセスユニットのCTSとの差分値を算出する差分値算出手段と、
     予め設定された判定時間内で前記差分値が同一となる1個以上のアクセスユニットをカプセル化単位として判定するカプセル化判定手段と、
     前記カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値を前記メディアユニットに付加するカプセル化手段と、を備え、
     前記カプセル化手段は、
     1個の前記アクセスユニットをカプセル化する場合、カプセル化された前記アクセスユニットの数を判定するためのカプセル化判定情報として、前記アクセスユニット毎のサイズ情報が含まれないことを示す値を前記メディアユニットに付加し、
     複数の前記アクセスユニットをカプセル化する場合、前記カプセル化判定情報として、前記アクセスユニット毎のサイズ情報が含まれることを示す値を前記メディアユニットに付加し、前記サイズ情報を前記メディアユニットに付加することを特徴とする符号化装置。
  3.  前記カプセル化手段は、前記複数のアクセスユニットをカプセル化する場合、
     前記カプセル化判定情報として、予め設定された前記アクセスユニットのサイズ範囲毎に異なる値を前記メディアユニットに付加すると共に、
     前記サイズ情報を、前記カプセル化判定情報の値に応じて予め設定されたビット数で前記メディアユニットに付加することを特徴とする請求項1又は請求項2に記載の符号化装置。
  4.  請求項1に記載の符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、前記アクセスユニットをデコードする復号装置であって、
     入力された前記メディアユニットに付加されたカプセル化判定情報に基づいて、前記メディアユニットに複数の前記アクセスユニットがカプセル化されているか否かを判定する複数カプセル判定手段と、
     前記複数カプセル判定手段で前記複数のアクセスユニットがカプセル化されていると判定されたとき、前記メディアユニットから前記複数のアクセスユニットを抽出し、前記複数のアクセスユニットがカプセル化されていないと判定されたとき、前記メディアユニットから1個の前記アクセスユニットを抽出するメディアユニット抽出手段と、
     前記メディアユニットに付加された差分値と、前記メディアユニットから抽出したアクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を、当該アクセスユニットのDTSとして逆算するDTS逆算手段と、
     前記メディアユニットに付加されたオフセット値と、前記DTS逆算手段が逆算したアクセスユニットのDTSとを加えた値を、当該メディアユニットから抽出したアクセスユニットのCTSとして逆算するCTS逆算手段と、
     前記DTS及び前記CTSが逆算されたアクセスユニットを、前記デコード方式によってデコードするデコーダと、
    を備えることを特徴とする復号装置。
  5.  請求項2に記載の符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、前記アクセスユニットをデコードする復号装置であって、
     入力された前記メディアユニットに付加されたカプセル化判定情報に基づいて、前記メディアユニットに複数の前記アクセスユニットがカプセル化されているか否かを判定する複数カプセル判定手段と、
     前記複数カプセル判定手段で前記複数のアクセスユニットがカプセル化されていると判定されたとき、前記メディアユニットから前記複数のアクセスユニットを抽出し、前記複数のアクセスユニットがカプセル化されていないと判定されたとき、前記メディアユニットから1個の前記アクセスユニットを抽出するメディアユニット抽出手段と、
     前記メディアユニットに付加された差分値と、前記メディアユニットから抽出したアクセスユニットの直前に位置する他のアクセスユニットのCTSとを加えた値を、当該アクセスユニットのCTSとして逆算するCTS逆算手段と、
     前記CTSが逆算されたアクセスユニットを、前記デコード方式によってデコードするデコーダと、
    を備えることを特徴とする復号装置。
  6.  前記メディアユニット抽出手段は、前記複数カプセル判定手段で前記複数のアクセスユニットがカプセル化されていると判定されたとき、前記メディアユニットに付加された前記アクセスユニット毎のサイズ情報に基づいて、前記メディアユニットから前記複数のアクセスユニットを抽出することを特徴とする請求項4又は請求項5に記載の復号装置。
  7.  提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、
     前記入力信号を前記エンコード方式によってエンコードすることで、前記CTS及び前記DTSが対応付けられたアクセスユニットを生成するエンコーダと、
     予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定するカプセル化判定手段と、
     最初にエンコードされたアクセスユニットのDTS相対値としてゼロを算出し、2番目以降にエンコードされたアクセスユニットのDTS相対値として、当該アクセスユニットのDTSと、当該アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分を算出するDTS相対値算出手段と、
     前記アクセスユニットのCTS相対値として、当該アクセスユニットのCTSと、当該アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出するCTS相対値算出手段と、
     前記カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、前記アクセスユニット毎に前記DTS相対値及び前記CTS相対値を付加するカプセル化手段と、
     前記メディアユニットと、当該メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを送信する送信手段と、
    を備えることを特徴とする符号化装置。
  8.  提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、
     前記入力信号を前記エンコード方式によってエンコードすることで、前記CTSが対応付けられたアクセスユニットを生成するエンコーダと、
     予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定するカプセル化判定手段と、
     前記アクセスユニットのCTS相対値として、当該アクセスユニットのCTSと、当該アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出するCTS相対値算出手段と、
     前記カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、前記アクセスユニット毎に前記CTS相対値を付加するカプセル化手段と、
     前記メディアユニットと、当該メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを対応付けて送信する送信手段と、
    を備えることを特徴とする符号化装置。
  9.  前記送信手段は、所定の前記メディアユニットで共通する識別子と、前記メディアユニットで固有のシーケンス番号とを、前記メディアユニットと、当該メディアユニットに対応する制御信号とに付加することを特徴とする請求項7又は請求項8に記載の符号化装置。
  10.  請求項7に記載の符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、前記アクセスユニットをデコードする復号装置であって、
     前記メディアユニットと、当該メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する受信手段と、
     前記メディアユニットから前記1個以上のアクセスユニットを抽出するメディアユニット抽出手段と、
     先頭に位置するアクセスユニットのDTSとして、前記メディアユニットに対応する制御信号の絶対時刻を逆算し、2番目以降に位置するアクセスユニットのDTSとして、当該アクセスユニットのDTS相対値と、当該アクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を逆算するDTS逆算手段と、
     前記メディアユニットに対応する制御信号の絶対時刻と、前記先頭に位置するアクセスユニットから当該アクセスユニットまでのCTS相対値の総和とを加えた値を、当該アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算するCTS逆算手段と、
     前記DTS及び前記CTSが逆算されたアクセスユニットを、前記デコード方式によってデコードするデコーダと、
    を備えることを特徴とする復号装置。
  11.  請求項8に記載の符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、前記アクセスユニットをデコードする復号装置であって、
     前記メディアユニットと、当該メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する受信手段と、
     前記メディアユニットから前記1個以上のアクセスユニットを抽出するメディアユニット抽出手段と、
     前記メディアユニットに対応する制御信号の絶対時刻と、前記先頭に位置するアクセスユニットから当該アクセスユニットまでのCTS相対値の総和とを加えた値を、当該アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算するCTS逆算手段と、
     前記CTSが逆算されたアクセスユニットを、前記デコード方式によってデコードするデコーダと、
    を備えることを特徴とする復号装置。
  12.  前記受信手段は、所定の前記メディアユニットで共通する識別子と、前記メディアユニットで固有のシーケンス番号とが、受信した前記メディアユニットと、当該メディアユニットに対応する制御信号とに付加されていることを特徴とする請求項10又は請求項11に記載の復号装置。
  13.  コンピュータを、請求項1、請求項2、請求項7又は請求項8に記載の符号化装置として機能させるための符号化プログラム。
  14.  コンピュータを、請求項4、請求項5、請求項10又は請求項11に記載の復号装置として機能させるための復号プログラム。
PCT/JP2013/058247 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム WO2013146571A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020147028745A KR101620776B1 (ko) 2012-03-28 2013-03-22 인코딩 장치, 디코딩 장치 및 이와 관련된 프로그램
EP13768776.0A EP2833630B1 (en) 2012-03-28 2013-03-22 Encoding device for encapsulating access units into media units, decoding device and program for same
JP2014507816A JP6126583B2 (ja) 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム
US14/498,132 US9628590B2 (en) 2012-03-28 2014-09-26 Method for encoding and decoding scheme using time stamp
US15/445,387 US9942364B2 (en) 2012-03-28 2017-02-28 Method for encoding and decoding scheme using time stamp

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012073062 2012-03-28
JP2012-073062 2012-03-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/498,132 Continuation US9628590B2 (en) 2012-03-28 2014-09-26 Method for encoding and decoding scheme using time stamp

Publications (1)

Publication Number Publication Date
WO2013146571A1 true WO2013146571A1 (ja) 2013-10-03

Family

ID=49259826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058247 WO2013146571A1 (ja) 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム

Country Status (5)

Country Link
US (2) US9628590B2 (ja)
EP (1) EP2833630B1 (ja)
JP (3) JP6126583B2 (ja)
KR (1) KR101620776B1 (ja)
WO (1) WO2013146571A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP2015226305A (ja) * 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置
JP2018113715A (ja) * 2013-06-18 2018-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置および受信装置
JP7506219B2 (ja) 2013-07-03 2024-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法および再生装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
WO2016161237A1 (en) * 2015-04-03 2016-10-06 President And Fellows Of Harvard College Nucleic acid retro-activated primers
WO2017214510A1 (en) * 2016-06-10 2017-12-14 Affirmed Networks, Inc. Transcoding using time stamps

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148853A (ja) * 1999-03-12 2001-05-29 Toshiba Corp 動画像符号化装置および復号化装置
JP2002094995A (ja) * 2000-09-19 2002-03-29 Canon Inc データ処理方法、データ処理装置及びデータ処理システム
JP2003304288A (ja) * 2002-04-01 2003-10-24 Samsung Electronics Co Ltd Rtpパケット生成/復元装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029808B1 (ko) * 2004-01-27 2011-04-20 엘지전자 주식회사 싱크 레이어 패킷의 패킷화 방법
US20080256431A1 (en) * 2007-04-13 2008-10-16 Arno Hornberger Apparatus and Method for Generating a Data File or for Reading a Data File
JP5632711B2 (ja) * 2010-10-29 2014-11-26 日本放送協会 送信装置、受信装置及び伝送システム
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US20130094594A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting m-unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148853A (ja) * 1999-03-12 2001-05-29 Toshiba Corp 動画像符号化装置および復号化装置
JP2002094995A (ja) * 2000-09-19 2002-03-29 Canon Inc データ処理方法、データ処理装置及びデータ処理システム
JP2003304288A (ja) * 2002-04-01 2003-10-24 Samsung Electronics Co Ltd Rtpパケット生成/復元装置及び方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Media Transport System in Hybrid Broadcasting", INFORMATION PROCESSING SOCIETY OF JAPAN RESEARCH REPORT, vol. 2011-AVN, no. 1, 11 March 2011 (2011-03-11)
AOKI ET AL.: "Media Transport System in Hybrid Broadcasting", INFORMATION PROCESSING SOCIETY OF JAPAN RESEARCH REPORT, 2011
See also references of EP2833630A4
SHUICHI AOKI ET AL.: "A Transport Scheme for Media Components on Hybrid Broadcast Systems", IPSJ SIG NOTES, vol. 2011-AVM, no. 1, 15 April 2011 (2011-04-15), pages 1 - 6, XP008174557 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018113715A (ja) * 2013-06-18 2018-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置および受信装置
US10490225B2 (en) 2013-07-03 2019-11-26 Sun Patent Trust Data transmission method, data playback method, data transmission device, and data playback device
JP2021083116A (ja) * 2013-07-03 2021-05-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生方法および再生装置
US9984726B2 (en) 2013-07-03 2018-05-29 Sun Patent Trust Data transmission method, data playback method, data transmission device, and data playback device
JP7506219B2 (ja) 2013-07-03 2024-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法および再生装置
JP2018182763A (ja) * 2013-07-03 2018-11-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
US10861500B2 (en) 2013-07-03 2020-12-08 Sun Patent Trust Data transmission method, data playback method, data transmission device, and data playback device
JP2017077010A (ja) * 2013-07-03 2017-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America データ送信方法およびデータ送信装置
US11170818B2 (en) 2013-07-03 2021-11-09 Sun Patent Trust Data transmission method, data playback method, data transmission device, and data playback device
JP7036962B2 (ja) 2013-07-03 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法および再生装置
JP2022075735A (ja) * 2013-07-03 2022-05-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および送信装置
JP7260687B2 (ja) 2013-07-03 2023-04-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および送信装置
US11978487B2 (en) 2013-07-03 2024-05-07 Sun Patent Trust Data transmission method, data playback method, data transmission device, and data playback device
JP2015226305A (ja) * 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置

Also Published As

Publication number Publication date
EP2833630A4 (en) 2015-08-12
JPWO2013146571A1 (ja) 2015-12-14
US20170171365A1 (en) 2017-06-15
JP2018023127A (ja) 2018-02-08
EP2833630A1 (en) 2015-02-04
JP6235753B1 (ja) 2017-11-22
JP6208391B2 (ja) 2017-10-04
KR101620776B1 (ko) 2016-05-12
US9628590B2 (en) 2017-04-18
US9942364B2 (en) 2018-04-10
JP6126583B2 (ja) 2017-05-10
US20150010020A1 (en) 2015-01-08
EP2833630B1 (en) 2017-08-16
JP2017153122A (ja) 2017-08-31
KR20140140078A (ko) 2014-12-08

Similar Documents

Publication Publication Date Title
JP6235753B1 (ja) 符号化装置、復号装置並びにこれらの方法及びプログラム
RU2459378C2 (ru) Устройство и способ для обработки и чтения файла, имеющего хранилище медиаданных и хранилище метаданных
JP5708877B1 (ja) 送信装置、送信方法、受信装置および受信方法
US10305617B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CA2904115A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP7034926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120058373A (ko) Svc 서버를 이용한 http 스트리밍 수신 비디오 전송 및 단말 재생 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13768776

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507816

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013768776

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013768776

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147028745

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE