WO2004034654A1 - 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム - Google Patents

伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム Download PDF

Info

Publication number
WO2004034654A1
WO2004034654A1 PCT/JP2003/012702 JP0312702W WO2004034654A1 WO 2004034654 A1 WO2004034654 A1 WO 2004034654A1 JP 0312702 W JP0312702 W JP 0312702W WO 2004034654 A1 WO2004034654 A1 WO 2004034654A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
text
information
divided
reproduction
Prior art date
Application number
PCT/JP2003/012702
Other languages
English (en)
French (fr)
Inventor
Yoshinori Matsui
Youji Notoya
Tadamasa Toma
Daiji Ido
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP03748700A priority Critical patent/EP1553733A1/en
Priority to AU2003268755A priority patent/AU2003268755A1/en
Publication of WO2004034654A1 publication Critical patent/WO2004034654A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation

Definitions

  • the present invention relates to a transmission data structure of text data, a data receiving method, a data receiving device, and a data receiving program.
  • the 3GPP (Third Generation Partnership Project) .SA (Service and System Aspec t) WG4 has formulated the video distribution standard TS 26.234, which is an organization that formulates international standards for third-generation mobile communications (W-CDMA). ing.
  • the version 5.0.0 of the video distribution standard T S26.234 specifies the data structure of text data by extending the MP4 file that can be used for download-type video distribution (Timed Text) . This makes it possible to play not only video and audio but also text in a service that plays MP4 files while downloading them (for example, 3GPP TS26.234 v5.0.0 Page 56. [onl in e]. 3GPP, 2002. [Retrieved on the 2002-10-07].
  • the information notification by text can directly convey the information to be conveyed to the user, and the amount of data is extremely small compared to video. It is very important as a means of information notification.
  • video and text are combined, encoded, and transmitted. Since the text is transmitted as an independent track, the text is less likely to be crushed and become unreadable, making it possible to provide effective information notification.
  • Time Text specified in 3GPP, allows you to modify or move part of the text, or paste a link to another URL in the string. (Styles, highlights, karaoke, text boxes, blinks, scrolls, piper links, etc.). This makes it possible to reproduce information to be conveyed in various expression formats.
  • Time Text specified by the GPP makes it possible to modify or move part of the text, or to paste a link to another URL (style, Highlights, karaoke, text boxes, blinks, scrolls, hyperlinks, etc.). For this reason, the data structure of TimedText is composed of text data and the corresponding modification information.
  • the MP4 file 3000 includes a header section 3010 and a data section 3020.
  • the header section 3010 includes a track header 3030, a sample description 3040, and a sample table 3050.
  • the track header 3030 is information related to the playback of the TimeText, the layout (the size of the display area, the relative position to the video), the layer (the hierarchical relationship with other media such as video), and the Timed. It includes information such as the playback time of Text, the date and time when the file was created, and the time scale of Time to Samp I e-Bo x 3051 described later.
  • the sample description 3040 contains multiple sample entries 3041,
  • the sample entries 3041, 3042, ⁇ ⁇ ⁇ are information on the default format of the text samples 3060, 3061, ⁇ ⁇ ⁇ , whether or not to scroll, horizontal and vertical squat positions, background color, font name, Includes font size, etc.
  • the sample table 3050 has a Time-to-Samp Ie-Bo x 3051, a Samp I eSize—Bo x 3052, and a Samp I e—to—Ch unk—Bo x 3053. .
  • T ime—to—Samp I e—Bo x 3051 is the text sample 3060, 3061, ⁇ ⁇ ⁇ for the reproduction time of each of the text samples 3060, 3061, ⁇ ⁇ ⁇ . 'In the order of placement.
  • the time scale of the value stored in the information 3055, 3056, ⁇ ⁇ ' is specified by the track header 3030.
  • the track header 3030 stores a resolution of one second as a time scale. For example, if the value of the time scale stored in the track header 3030 is [1 000], the unit is 11 000 seconds. Resolution.
  • the value obtained by converting the playback time of each of the text samples 3060, 3061, 1 ⁇ ⁇ into seconds is the value obtained by dividing the information 3055, 3056, 1 ⁇ ⁇ by the value of the time scale stored in the track header 3030.
  • the value of the time scale is [1 000]
  • the value [3400] indicated by the information 3056 means that the text sample 3061 is played for 3.4 seconds.
  • the following description is based on the assumption that the time scale value is set to [1 000].
  • Samp I eSiz e e-Bo x 3052 is the arrangement of text samples 3060, 3061, and ⁇ ' Include in order.
  • the reproduction side can detect the boundaries between the information of the text samples 3060, 3061, and ⁇ ′ ′.
  • Samp Ie—to—Chunk—Box 3053 includes information that associates each of the text samples 3060, 3061, and “ ⁇ ” with each of the sample entries 3041, 3042, and ⁇ ⁇ .
  • the text sample 3060 has a text 3065, a data length 3066 of the text 3065, and a modifier 3067.
  • Text 3065 stores the character information itself.
  • the character code is encoded by UTF-8 or UTF-16 Big End an in the Unicode standard.
  • UTF-8 and UTF-16 are distinguished by the byte order mark (B0M) described in the first two bytes of text 3065.
  • the first two bytes are [0 x FEF F] indicates that it is encoded by UT F—16. If the BOM is not included at the beginning of the text 3065, it indicates that it is encoded in UTF-8.
  • the data length 3066 indicates the byte length of the character information itself.
  • the modifier 3067 is optional decoration information of the text 3065, and seven types of decoration such as highlight, karaoke, blink, and hyperlink are defined.
  • the other text samples 3061, ⁇ '' have the same data structure as the text sample 3060, and thus the description is omitted.
  • FIG. 56 the reproduction of the Timed Text will be specifically described. First, the detailed structure of the sample entry 3041 will be described with reference to FIG. Since the other sample entries 3042, 1 1 and 2 have the same data structure, description is omitted.
  • Sample entry 3041 includes the presence and orientation of scrolling (displayFlags), horizontal and vertical squatting positions in the display area (Horizontal justification, Vertical justification), background color specified by RG Bfll and transparency (bgGolor) , Display area (TextBox) font name (fontTable, font-ID), font size (fonts ize), style (faceStyle) such as bold 'italic' underline, font color specified by RGB value and transparency fontcolor).
  • the data (startChar, EndChar) that specifies the range to which this format is applied always takes the value [0], and is written to the entire range of text in the text sample to which the format specified by sample entry 3041 is applied. In contrast, it indicates that this format applies.
  • Each value in sample entry 3041 shown in Figure 56 (a) means that the default format for text 3065 is to specify the background color as white, the font color as black, and the style as normal.
  • Modifier 3067 includes the data length (modifierSize) of modifier 3067, specification of option format of text 3065 (modifierType, entryCount), specification of range of text 3065 to which option format is applied (startGhar, EndChar), Font name (font-ID), font size (fontSize), bold-style (faceStyle) such as italic / underline, RGB values and transparency Includes font color (fontGolor) specified by brightness.
  • the specification of this option format is applied in preference to the format specified in any of sample entries 3041, 3042, ⁇ ⁇ ⁇ .
  • Each value of the modifier 3067 shown in FIG. 56 (b) means that the fifth to eighth characters of the text 3065 are set to [bold].
  • Figure 56 (G) shows the playback state of text sample 3060 to which the above format has been applied. For example, if the content indicated by text 3065 is [It's fine today.], [Fine] from the fifth character to the eighth character is reproduced in bold. In addition, the playback time is 1000 [milliseconds] from the value [1000] of the information 3055 first allocated in Time-to-Samp I ⁇ - ⁇ ⁇ 3051 (see Fig. 55). ).
  • the MP4 file is downloaded at the receiving terminal in advance, and the MP4 file is played back at the receiving terminal after the download is completed.
  • streaming-type distribution has been increasingly adopted instead of download-type distribution.
  • streaming distribution the process of receiving media data at the receiving terminal and the process of playing back the received media data are performed in parallel. For this reason, even when long-term media data is reproduced, there is an advantage that the waiting time from when the media data is requested to when the media data is reproduced is reduced. It is also suitable for distribution of live broadcast media data.
  • TimeText when performing information notification using TimeText, TimeText has a data structure that cannot be separated from the MP4 file that is the container file format. Therefore, it is difficult to use it for streaming type distribution.
  • an object of the present invention is to provide a transmission data structure suitable for using Time Text in streaming type distribution.
  • the transmission data structure of the text transmission data according to claim 1 is a transmission data structure of the text transmission data for transferring the text reproduction data for reproducing the text data and sequentially reproducing the data in the data receiving device.
  • the whole text header data relates to the reproduction of the whole text data.
  • the divided text data includes the divided text data.
  • the fragment text header data is arranged for each fragment text data and relates to the individual reproduction of the fragment text data.
  • the text reproduction data is, for example, data such as an MP4 file.
  • the data receiving device acquires information relating to the reproduction of the entire text data from the entire text header data. Further, information related to the reproduction of the fragment text data is obtained from the fragment text header data.
  • the fragment text data is sequentially reproduced based on the entire text header data and the fragment text header data. According to the transmission data structure of the present invention, it is possible to sequentially reproduce the fragmented text data without receiving all of the text reproduction data. That is, a transmission data structure suitable for streaming distribution is provided.
  • the transmission data structure of the data for text transmission according to claim 2 is the transmission data structure of the data for text transmission according to claim 1, wherein the fragment text header data includes reproduction time information on a reproduction time of the fragment text data. Contains.
  • the data receiving device obtains information on the playback time of the fragment text data from the fragment text header data.
  • the fragment text header data is sequentially reproduced based on the acquired reproduction time information.
  • each fragment text header data is sequentially reproduced by the reproduction time of the reproduction time information.
  • the transmission data structure of the text transmission data according to claim 3 is the transmission data structure of the text transmission data according to claim 1 or 2, wherein the divided text header data relates to the data length of the divided text data. Contains data length information According to the transmission data structure of the present invention, the data boundaries of the divided text data in the text transmission data transmitted sequentially are clear. For this reason, erroneous reproduction in streaming transmission can be prevented.
  • the transmission data structure of the text transmission data according to claim 4 is the transmission data structure of the text transmission data according to any one of claims 1 to 3, wherein the entire text header data is a reproduction of the text data.
  • the text playback information includes text playback information including information about the area and format information including information about the format of the fragmented text data. Etc., and information on the layer (hierarchical relationship with other media).
  • the format information is, for example, information on the presence or absence and direction of scrolling of the divided text data, the playback position, the background color, the font format (font name, size, color, bold, underline, italic, etc.).
  • the data receiving apparatus determines a reproduction area of each piece of text data based on the text reproduction information. Further, the format applied to each divided text data is determined based on the format information.
  • the transmission data structure of the text transmission data according to claim 5 is the transmission data structure of the text transmission data according to claim 4, wherein the whole text header data customizes the data length of the divided text header data. Data strength for further including customization information.
  • the data receiving device determines the data length of the fragmented text header data based on the data length customization information.
  • the data length customizing information specifies, for example, the data length of the divided text header data in bit units.
  • the data length of the fragment text header data relating to the individual reproduction of the fragment text data can be customized as needed. That is, the information amount of the fragment text header data can be customized to a necessary and sufficient amount. As a result, the amount of information required for individual reproduction of the fragment text data can be reduced.
  • the transmission data structure of the text transmission data according to claim 6 is the transmission data structure of the text transmission data according to claim 4 or 5, wherein the segmented text header data is segmented text data, format information,
  • the data receiving apparatus including the index indicating the relationship between the text data determines the format applied to the fragmented text data from the format information based on the index.
  • the transmission data structure of the present invention for example, it is not necessary to transmit information about a format for each piece of text data. Therefore, it is possible to improve the bit efficiency.
  • the transmission data structure of the text transmission data according to claim 7 is the transmission data structure of the text transmission data according to any one of claims 4 to 6, wherein the text transmission data includes a plurality of packets. It is configured.
  • the text reproduction information is bucketed in a format different from that of the divided text data and the divided text header data.
  • the text reproduction information is packetized in a section format, for example.
  • the divided text data and the divided text header data are, for example, bucketed in a PES format.
  • the transmission data structure of the present invention it is possible to improve the transmission efficiency of the fragmented text data. In other words, by transmitting information that does not need to be transmitted frequently, such as text playback information, in a format different from the fragmented text data, more bandwidth can be secured for the transmission of the fragmented text data. It becomes possible.
  • the transmission data structure of the text transmission data according to claim 8 is the transmission data structure of the text transmission data according to claim 7, wherein the format information is bucketed in the same format as the text reproduction information. .
  • the text reproduction information and the format information are packetized in, for example, a section format.
  • the transmission data structure of the text transmission data according to claim 9 is the transmission data structure of the text transmission data according to claim 7, wherein the format information is in the same format as the divided text data and the divided text header data. Bucketed.
  • the format information, the fragment text data, and the fragment text header data are packetized in, for example, the PES format.
  • the transmission data structure of the present invention allows format information to be transmitted as the same bucket as the fragmented text data. Therefore, even if the format information is changed, the changed format information can be received before the divided text data to which the format is applied. In other words, it is possible to reflect changes in format information and the like more reliably.
  • the transmission data structure of the text transmission data according to claim 10 is the transmission data structure of the text transmission data according to claim 9, wherein the format information includes a plurality of format information units.
  • the format information unit is arranged for each piece of text data.
  • the data receiving device obtains the format information unit arranged for each piece of text data, and determines the format of each piece of text data.
  • the transmission data structure of the present invention it is possible to more reliably reflect a change in the format applied to the fragmented text data.
  • the transmission data structure of the text transmission data according to claim 11 is the transmission data structure of the text transmission data according to any one of claims 1 to 10, wherein the text transmission data is multiplexed data. Is the data transmitted as
  • data for text transmission is obtained by separation from the multiplexed data.
  • a data receiving method for text transmission data includes a receiving step and a reproducing step.
  • the receiving step receives text transmission data having the transmission data structure according to any one of claims 1 to 11.
  • the reproducing step sequentially reproduces the divided text data included in the divided text data based on the entire text header data included in the text transmission data, the divided text data, and the divided text header data.
  • the entire text data Information related to the reproduction of the file is obtained. Further, information related to the reproduction of the fragment text data is obtained from the fragment text header data. The fragment text data is sequentially reproduced based on the entire text header data and the fragment text header data.
  • the data receiving method of the present invention it is possible to sequentially reproduce the fragmented text data without receiving all of the text reproduction data. That is, a data receiving method suitable for streaming distribution is provided.
  • a data receiving apparatus for text transmission data includes a receiving means and a reproducing means.
  • the receiving means receives text transmission data having the transmission data structure according to any one of claims 1 to 11.
  • the reproducing means sequentially reproduces the divided text data included in the divided text data based on the entire text header data, the divided text data, and the divided text header data included in the text transmission data.
  • information relating to reproduction of the entire text data is obtained from the entire text header data. Further, information related to the reproduction of the fragment text data is obtained from the fragment text header data. The fragment text data is sequentially reproduced based on the entire text header data and the fragment text header data.
  • the data receiving device of the present invention it is possible to sequentially reproduce the fragmented text data without receiving all of the text reproduction data. That is, a data receiving device suitable for streaming distribution is provided.
  • a data receiving program is a data receiving program for performing, by a computer, a data receiving method for text transmission data having the transmission data structure according to any one of claims 1 to 11.
  • the data receiving method includes a receiving step and a reproducing step.
  • the receiving step receives text transmission data having the transmission data structure according to any one of claims 1 to 11.
  • the reproducing step sequentially reproduces the divided text data included in the divided text data based on the entire text header data, the divided text data, and the divided text header data included in the text transmission data.
  • information relating to reproduction of the entire text data is obtained from the entire text header data. Further, information related to the reproduction of the fragment text data is obtained from the fragment text header data.
  • the fragment text data is sequentially reproduced based on the entire text header data and the fragment text header data.
  • the data receiving program of the present invention it is possible to sequentially reproduce the fragmented text data even if not all of the text reproduction data is received. That is, a data receiving program suitable for streaming distribution is provided.
  • the transmission data structure of the text transmission data according to claim 15 is a transmission data structure of the text transmission data for transferring and sequentially reproducing the text reproduction data for reproducing the text data.
  • the data for use includes a plurality of pieces of text data obtained by dividing text data, and text header data including information for reproducing the text data.
  • the text transmission data is composed of a plurality of packets.
  • the divided text data is arranged in the order of display in each bucket.
  • the packet has reproduction time information of each fragment text data.
  • the second packet includes fragmented text data whose reproduction time information overlaps with the fragmented text data of the preceding first bucket.
  • the reproduction time information is information composed of the reproduction time of the fragment text data arranged first in the packet and the reproduction time of each fragment text data, or the reproduction time of each fragment text data. Information.
  • the second packet and the preceding first packet include fragmented text data with overlapping reproduction time information. That is, it is allowed to transmit the fragment text data having the reproduction time information which is repeated in different packets a plurality of times. As a result, the error tolerance of the data for text transmission can be improved.
  • the transmission data structure of the text transmission data according to claim 16 is the transmission data structure of the text transmission data according to claim 15, wherein the number of the divided text data included in the bucket is text.
  • the number is determined as the number of buckets that can be transmitted in a band that almost matches the transmission path band reserved for transmission of transmission data. You.
  • the transmission data structure of the text transmission data according to claim 17 is the transmission data structure of the text transmission data according to claim 15 or 16, wherein the text transmission data is multiplexed. This is data transmitted as data.
  • data for text transmission is obtained by separation from the multiplexed data.
  • a data receiving method for text transmission data according to claim 18 is a data reception method for text transmission data having a transmission data structure according to any one of claims 15 to 17, comprising: And a replacement step.
  • the time obtaining step includes the time Tn indicated by the reproduction time information of each divided text data of the first bucket, and the time Ta indicated by the reproduction time information of the first divided text data of the second bucket.
  • the replacing step replaces the fragmented text data whose time Tn is equal to or later than the time Ta in the first bucket with the fragmented text data whose reproduction time information overlaps in the second bucket.
  • a data reception method for text transmission data is a data transmission method for text transmission data having a transmission data structure according to any one of claims 15 to 17, wherein a reception delay determining step is performed. And a reproduction step.
  • the reception delay determining step the reception time Td of the first divided text data is later than the time Tn indicated by the reproduction time information of the first divided text data, and the next second divided text data is It is determined whether or not the reception has been made earlier than the time Tn + 1 indicated by the reproduction time information.
  • the reproduction step reproduces the first segmented text data from the reception time Td to the time Tn + 1 when the judgment is affirmative.
  • the division received later than the time indicated by the reproduction time information Even text data can be played back until the playback time information of the next segmented text data is reached. That is, the text data to be reproduced can be reproduced even from the middle, and adverse effects such as the text data not being reproduced for a long time can be prevented.
  • a data reception method for text transmission data according to claim 20 is the data reception method for text transmission data according to claim 19, wherein the reproducing step comprises: The reproduction of the first divided text data is started from the reproduction state at the time when the time until the reception time Td has elapsed.
  • this data receiving method for example, it is possible to reproduce fragmented text data with a time change such as scroll reproduction or karaoke reproduction even from the middle. As a result, it is possible to prevent an adverse effect that the state that should have been reproduced when the text data is reproduced is not reproduced.
  • a data receiving device for text transmission data according to claim 21 is a data receiving device for text transmission data having a transmission data structure according to any one of claims 15 to 17, And replacement means.
  • the time obtaining means obtains a time T ⁇ indicated by the reproduction time information of each divided text data of the first bucket and a time T a indicated by the reproduction time information of the first divided text data of the second bucket.
  • the replacing means replaces the fragmented text data in which the time Tn is equal to or later than the time Ta in the first packet with the fragmented text data in which the reproduction time information is duplicated in the second packet.
  • a data transmission device for text transmission data according to claim 22 is a data transmission device for text transmission data having the transmission data structure according to any one of claims 15 to 17, And reproduction means.
  • the reception delay determining means determines that the reception time T d of the first divided text data is later than the time T n indicated by the playback start time information of the first divided text data and the next second divided text data. Data playback start time information, it is determined whether or not the data has been received earlier than the time Tn + 1. You.
  • the reproduction means reproduces the first fragmented text data from the reception time Td to the time Tn + 1 when the judgment is affirmative.
  • this data receiving device Even if the fragmented text data is received later than the time indicated by the reproduction time information, it can be reproduced until the reproduction time information of the next fragmented text data is reached. . That is, the text data to be reproduced can be reproduced even from the middle, and adverse effects such as the text data not being reproduced for a long time can be prevented.
  • the data receiving device for text transmission data according to claim 23 is the data receiving device for text transmission data according to claim 22, wherein the reproducing means includes a first divided text data from the time ⁇ .
  • the reproduction of the first divided text data is started from the reproduction state at the time when the time until the reception time Td has elapsed.
  • this data receiving apparatus it is possible to play back fragmented text data with a time change, such as scroll playback or karaoke playback, even from the middle. As a result, it is possible to prevent an adverse effect that the state that should have been reproduced when the text data is reproduced is not reproduced.
  • a data receiving program is a data receiving program for performing, by a computer, a data transmission method for text transmission data having the transmission data structure according to any one of claims 15 to 17.
  • the data receiving method includes a time obtaining step and a replacing step.
  • the time obtaining step the time Tn indicated by the reproduction time information of each divided text data of the first bucket and the time Ta indicated by the reproduction time information of the first divided text data of the second packet are determined. get .
  • the replacing step replaces the fragmented text data whose time Tn is equal to or later than the time Ta in the first packet with the fragmented text data whose reproduction time information is duplicated in the second bucket.
  • a data receiving program is a method for receiving data for text transmission data having the transmission data structure according to claims 15 to 17 by a computer.
  • a data receiving program for performing a receiving method wherein the data receiving method includes a receiving delay determining step and a reproducing step.
  • the reception delay determining step the reception time Td of the first divided text data is later than the time Tn indicated by the reproduction start time information of the first divided text data, and the reception time Td of the next second divided text data is It is determined whether or not the data has been received earlier than the time Tn '+ 1 indicated by the reproduction start time information.
  • the reproduction step reproduces the first divided text data from the reception time Td to the time Tn + 1 when the judgment is affirmative.
  • this data receiving program even if the fragmented text data is received later than the time indicated by the reproduction time information, it can be reproduced until the reproduction time information of the next fragmented text data is reached. That is, the text data to be reproduced can be reproduced even from the middle, and adverse effects such as the text data not being reproduced for a long time can be prevented.
  • the data receiving program according to claim 26 is the data receiving program according to claim 25, wherein in the reproducing step, the time from the time Tn to the reception time Td in the first divided text data has elapsed.
  • the playback of the first divided text data is started from the playback state at the time when it was performed.
  • this data receiving program for example, it is possible to play back fragmented text data with time changes such as scroll playback and karaoke playback even from the middle. As a result, it is possible to prevent an adverse effect that the state that should be reproduced when the text data is reproduced is not reproduced.
  • FIG. 1 is a diagram (first embodiment) showing a data structure of a PES packet of the present invention.
  • FIG. 2 is a detailed explanatory diagram (first embodiment) of the data structure of the PES packet of the present invention.
  • FIG. 3 is a block diagram (first embodiment) of the data transmission device of the present invention.
  • FIG. 4 is an operation flowchart (first embodiment) of the data transmission method of the present invention.
  • FIG. 5 is a detailed explanatory diagram (first embodiment) of the data transmission method of the present invention.
  • FIG. 6 is a block diagram (first embodiment) of the data receiving apparatus of the present invention.
  • FIG. 7 is an operation flowchart (first embodiment) of the data receiving method of the present invention.
  • FIG. 8 is an explanatory diagram (first embodiment) for explaining the data analysis syntax in the data receiving apparatus of the present invention. is there.
  • FIG. 9 is an explanatory diagram (first embodiment) for explaining a rule for determining a text frame to be decoded when reproduction times of text frames included in a plurality of PES buckets are duplicated.
  • FIG. 10 is an explanatory diagram (first embodiment) illustrating a rule for determining a text frame to be decoded when the time at which a PES packet is received has passed the time indicated by the PTS of the PES packet. is there.
  • FIG. 11 is an explanatory diagram (first embodiment) illustrating a playback state when a text frame including a process involving a time change is received.
  • FIG. 12 is a diagram (first embodiment) showing a data structure of a PES bucket as a modification of the present invention.
  • FIG. 13 is a diagram (first embodiment) showing a data structure of a PES packet as a modification of the present invention.
  • FIG. 14 is a diagram (first embodiment) showing a data structure of a sample description as a modification of the present invention.
  • FIG. 15 is a diagram showing a data structure of a PES packet of the present invention (second embodiment).
  • FIG. 16 is a block diagram (second embodiment) of the data transmission device of the present invention.
  • FIG. 17 is a block diagram (second embodiment) of the data receiving device of the present invention.
  • FIG. 18 is a view showing a data structure of a PES packet as a modification of the present invention (second embodiment).
  • FIG. 19 is a diagram (second embodiment) showing a data structure of a PES packet as a modification of the present invention.
  • FIG. 20 is an explanatory diagram for explaining the general processing of the RTPZRTSP sequence ( Third Embodiment).
  • FIG. 21 is a diagram (third embodiment) illustrating a data structure of an RTP packet in in-band transmission.
  • FIG. 22 is a diagram (third embodiment) showing a data structure of an RTP bucket in the fault band transmission.
  • FIG. 23 is a block diagram (third embodiment) of the data transmission device of the present invention.
  • FIG. 24 is a block diagram (third embodiment) of the data receiving apparatus of the present invention.
  • FIG. 25 is an explanatory diagram (fourth embodiment) illustrating a general processing flow when acquiring media data in the MP4 file format.
  • FIG. 26 is an explanatory diagram (fourth embodiment) for explaining a basic bucket P t0 transmitted when transmitting Time T Text as an RTP packet.
  • FIG. 27 is an explanatory diagram (fourth embodiment) for explaining the basic structure of a fragmented packet.
  • FIG. 28 is an explanatory diagram (fourth embodiment) for explaining the outline of the divided header having the identification information of the character code of the text body Td0.
  • FIG. 29 is an explanatory diagram (fourth embodiment) for explaining an outline of a divided header having information for indicating a start position of the modifier Md0.
  • FIG. 30 is an explanatory diagram (fourth embodiment) for describing an outline of a divided header having information for indicating a start position of a modifier MdO.
  • FIG. 31 is an explanatory diagram (fourth embodiment) for explaining the relationship between the variation of the division of the text sample T s0 and the start position information of the modifier or the modifier box.
  • FIG. 32 is an explanatory diagram (fourth embodiment) for explaining an outline of a divided header having information on the number of characters after the entire part of the text body included in the text body included in the divided text sample. .
  • FIG. 33 is an explanatory diagram (fourth embodiment) for explaining an outline of information stored for reproducing the divided modifier boxes.
  • FIG. 34 is an explanatory diagram (fourth embodiment) for explaining information stored for reproducing a divided karaoke style modifier box.
  • FIG. 35 is an explanatory diagram (fourth embodiment) for explaining information stored for reproducing a divided character style modifier box.
  • FIG. 36 is an explanatory diagram (fourth embodiment) for explaining information stored for reproduction of a divided hyperlink style modifier box.
  • FIG. 37 is an explanatory diagram (fourth embodiment) for explaining an example of the structure of the header HdN of the divided bucket PtN.
  • FIG. 38 is a block diagram (fourth embodiment) of a data reproducing apparatus 710 for reproducing an RTP bucket having the data structure of the present invention.
  • FIG. 39 is a flowchart (fourth embodiment) for explaining a data reproducing method for reproducing an RTP bucket having the data structure of the present invention.
  • FIG. 40 is a block diagram (fourth embodiment) of a data multiplexing device 720 for creating an RTP bucket having the data structure of the present invention.
  • FIG. 41 is a flowchart (fourth embodiment) illustrating a data multiplexing method for creating an RTP bucket having a data structure according to the present invention.
  • FIG. 42 is an explanatory diagram (fifth embodiment) illustrating the structure of the fragment header F h N according to the fifth embodiment.
  • FIG. 43 is an explanatory diagram (fifth embodiment) for explaining the information included in the fragment header F hN for the combination of the text indicator and the fragment header flag.
  • FIG. 44 is an explanatory diagram (fifth embodiment) for explaining the information included in the sample header Sh N for the combination of the text indicator and the fragment header.
  • FIG. 45 is a text sample division status table (fifth embodiment).
  • FIG. 46 is a block diagram (fifth embodiment) of a data reproducing apparatus 730 for reproducing an RTP bucket having the data structure of the present invention.
  • FIG. 47 is a flowchart (fifth embodiment) for explaining a data reproducing method for reproducing an RTP bucket having a data structure according to the present invention.
  • FIG. 48 is a block diagram (fifth embodiment) of a data multiplexing device 740 for creating an RTP bucket having the data structure of the present invention.
  • FIG. 49 is a flowchart (fifth embodiment) illustrating a data multiplexing method for creating an RTP bucket having a data structure according to the present invention.
  • FIG. 50 is an explanatory diagram (sixth embodiment) of a recording medium for storing a program for realizing a data transmission method or a data receiving method of each of the above embodiments by a computer system.
  • FIG. 51 is a block diagram (seventh embodiment) showing the entire configuration of the content supply system.
  • FIG. 52 is an example (seventh embodiment) of a mobile phone equipped with the data receiving device and the data reproducing device of the present invention.
  • FIG. 53 is a block diagram of a mobile phone (seventh embodiment).
  • FIG. 54 is an example (seventh embodiment) of a digital broadcasting system.
  • FIG. 55 is an explanatory view (background art) for explaining the data structure of TimeT eXt specified by 3GPP.
  • FIG. 56 is a detailed explanatory diagram (background art) of the data structure of TimedText.
  • the text track is data having information for performing text reproduction in the same expression as TimeText specified in 3GPP.
  • Figure 1 shows the data structure of the PES bucket 1 for streaming transmission of a text track using MPEG-2TS.
  • ES Electronic Stream
  • S Packetized Elementary Stream
  • TS Transport Stream
  • the data structure of the PES packet 1 shown in FIG. 1 is composed of a PES header section 10 defined in the MPEG-2 system and a payload section 11.
  • the PES header section 10 has a PTS (Presentation Time Stamp), which is time information for synchronous reproduction between tracks such as video, audio, or text.
  • the payload section 11 identifies the track header 11 1, sample description 1 12, configuration information 1 13, and text frames 1 1 4, 1 1 4 ', 1 2 Identifiers (track header identifiers 111a, sample description identifiers 112a, configuration format identifiers 113a, and text frame identifiers 114a).
  • the track header 1 1 1 1 is information relating to the reproduction of the entire text track, including the layout (the size (width and height) of the display area, the relative position to the video (horizontal and vertical directions from the video display area) Translation)), layer (hierarchical relationship with other media such as video), playback time of text track, creation date and time, and the time scale of duration 111b described later.
  • the sample description 112 has a plurality of sample entries 1121, 1122, ⁇ ⁇ ⁇ (see FIG. 2 (b)). Each sample entry 1 121, 1 122, ⁇ ⁇ ⁇ is information related to the format of the text track, whether or not to scroll, horizontal / vertical squatting position, background color, font name, font size, etc. Format default information.
  • the configuration information 1 13 is used to customize the data length of the index 1 141 a and the duration 1 141 b (see Fig. 2 (a)) contained in the text frames 1 1 4 and 1 1 ' Information.
  • the data length of the index 1 141 a and the duration 1 141 b is set to any one of 1 to 4 bytes.
  • the text frames 1 14, 1 14 ′, '1 ⁇ are arranged in the order of reproduction.
  • Ma The value indicated by the PTS in the PES header section 10 indicates the reproduction time of the text frame 114 arranged first in the payload section 11.
  • the other text frames 114 ′, '′ ⁇ have the same structure as the text frame 114, and the description is omitted.
  • the text frame 114 is composed of a segment text header 111 and a text sample 114.
  • the segment text header 1 141 has an index 1 141 a and a duration 1 141 b.
  • the index 1 141 a indicates the default format of the text sample 1 142 by specifying the sample entries 1 121, 1 122, 1 2 1 2 (see Figure 2 (b)).
  • the duration 1 1 4 1 b is information on the playback time of the text sample 1 142.
  • the time scale of the value stored in the duration 111b is specified in the track header 111 (see Figure 1).
  • the text sample 1 142 has a text 1 142 a, a text length 1 142 b for storing the data length of the text 1 142 a, and a modifier 1 142 c.
  • Modifier 1 142 G is used to optionally change the format (highlight, karaoke, blink, hyperlink, etc.) of part or all of text 1 142 a.
  • the identifiers 111a, 112a, 113a and 114a shown in Fig. 1 are common start codes 115 and unique IDs 111b and 112, respectively.
  • the identifiers 1 1 1a, 1 1 2a, 1 1 3a, 1 1 4a are the 1-byte ID 1 1 1 b, 1 1 2 in the 3-byte start code 1 15 b, 113 b, and 114 b are added.
  • FIG. 1 the identifiers 1 1 1a, 1 1 2a, 1 1 3a, 1 1 4a are added.
  • the start code 1 15 is [0 X 00 00 01]
  • the track header identifier 1 1 1a ID 1 1 1 b is [0 X 00]
  • the sample description identifier 1 1 2 The ID 1 1 2b of a is [0 X 0 1]
  • the ID 1 13 b of the configuration information identifier 1 13 a is [0 X 02]
  • the ID 1 1 4b of the text frame identifier 1 1 4a is [0 X 0 1] 0 X 03].
  • the start code and each ID are not limited to the above.
  • the respective identifiers 1 1 1 a, 1 1 2 a, 1 1 3 a, 1 1 4 a are the track header 1 1 1, the sample description 1 1 2, the configuration format 1 1 3, These are added to the text frames 114 respectively.
  • the specific contents of the sample description 112, the confidential information 113, and the text frame 114 will be described with reference to FIG.
  • the value [1] of the index 1 141 a included in the text frame 114 shown in FIG. 2A specifies the sample entry 1 121 to be referred to when the text sample 1 142 is reproduced.
  • the sample entry 1 121 shown in Fig. 2 (b) is based on the presence or absence of scrolling and the direction (display flags), horizontal / vertical squatting position (Horizontal justif icon, vertical justification) in the display area, RGB value and transparency. Specified by the specified background color (bgColor), display area (TextBox), font name (fontTable, font-ID), font size (fontSize), bold "italic" style such as underline (faceStyle), RGB value and transparency
  • the data (startGhar, EndChar) that specifies the range to which this format is applied always takes the value [0], and the format specified in sample entry 1 121 is included.
  • the default format of text 1 142 a is specified as white background color, black font color and normal style.
  • the time scale of this value is specified by the track header 1 1 1 (see Fig. 1).
  • the track header 1 1 1 1 The resolution of one second is stored as the time scale. For example, if the value of the time scale stored in the track header 1 1 1 is [1 000], the resolution will be in units of 1 Z1 000 seconds.
  • the value obtained by converting the playback time of the sample 1 142 to seconds is a value obtained by dividing the value of the duration 1 141 b by the value of the time scale stored in the track header 1 1 1. For example, when the value of the time scale is [1 000] place In this case, the value [4500] of duration 1 141 b means to play text sample 1 142 for 4.5 seconds. Hereinafter, description will be made assuming that the value of the time scale is set to [1 00].
  • the data length of the index 1 141 a and the duration 1 141 b can be specified by the configuration information 113 shown in FIG.
  • the configuration information 1 13 is 1-byte data, a 4-bit reserved area 1 131 a, a 2-bit index size indicator 1 131 b, and a 2-bit duration size.
  • Indicator 1 1 31c That is, the data length of the index 111a and the duration 111b is reduced to 1 to 4 bytes by the 2-bit index size indicator 111b and the duration size indicator 131G. It is specified. For example, if the value of the index size indicator 1 131 b is [00] and the value of the duration size indicator 1 131 c is [01], the index 1 141 a and the duration 1 1 in FIG.
  • the data length of 41b is specified as 1 byte and 2 bytes, respectively.
  • the text length 1 142 b in FIG. 2A stores the data length of the text 1 142 a.
  • the data length of the text length 1142b is set to 2 bytes, which limits the data length of the text 1142a to a maximum of 65553 bytes.
  • the data length of the text length 1 142 b may be changed accordingly.
  • Modifier 1 1 42 c is the data length (modif ierSize) of modifier 1 1 42 c, specification of option format of text 1 1 42 a (modifierType, entryCount), text 1 1 42 to apply option format Specify the range of a (startGhar, EndChar), font name (font-ID), font size (fontSize), bold. Italic 'style such as underline (faceStyle), font value specified by RGB value and transparency (Fontcolor).
  • This specification of the option format is applied in preference to the format of the sample entry 1 121 referenced by the index 1 141 a.
  • the value shown in Fig. 2 (a) means that the fifth through eighth characters of text 1 142a are set to [bold].
  • 2D shows the playback state of the text frame 114. From the text content (It's fine today.) Indicated by text 1 142a, the 5th to 8th characters (fine) are reproduced as bold. Its playback time is 4500 [milliseconds].
  • the payload section 11 of the PES packet 1 shown in FIG. 1 is composed of a track header 111, a sample description 112, a confidential information 113, a text frame 114, a 114 ', ⁇ ⁇ ⁇ ⁇ All of the above information is provided.
  • the track header 1 1 1 1, the sample description 1 1 2 or the content information 1 1 3 may appear in the PES packet at a predetermined timing.
  • the reproduction side may perform reproduction using information received in the past PES packet or a preset default value. As a result, the information necessary for reproducing the text is sent at the required frequency, and the amount of information required for transmitting the text track can be reduced.
  • FIG. 3 shows a data transmission device 3 used for transmitting MPEG-2 TS.
  • the data transmission device 3 includes a storage unit 31, a PES transmission unit 32, and a system encoder unit 33, and transmits the stored media data as TS packets.
  • the storage unit 31 stores the media data in, for example, an MP4 file format.
  • the PES sending unit 32 receives an independent ES for each track such as video, audio, or Time Text from the MP4 file.
  • the PES sending unit 32 separates and buffers the received Time Text into a track header 3030, a sample description 3040, a sample table 3050, and a text sample 3060 (see FIG. 55).
  • a PES bucket 1 shown in Figs. 1 and 2 is created from each of the buffered information.
  • the PTS of the PES header 10 of the PES packet 1 contains P Stores the time information for playing the first text frame 114 placed in the ES bucket 1.
  • the system encoder unit 33 multiplexes the PES bucket obtained for each track as a TS bucket and transmits the TS bucket.
  • the features of the present invention mainly reside in the PES transmission unit 32, so that the form of the data transmission device is not limited to the data transmission device 3.
  • the storage unit 31 and the system encoder unit 33 may be provided separately as an external unit, or the data transmitted as a TS packet may be subjected to transmission path coding and modulation, and then transmitted as a broadcast wave. It may be.
  • the media data included in the storage unit 31 is not limited to the MP4 file format, and does not need to have the same data structure as TimeText.
  • it may include the same information as TimeText and may be stored as a data structure suitable for re-streaming transmission.
  • a data transmission method in the data transmission device 3 used for MPEG-2TS transmission will be described with reference to FIG.
  • T ⁇ medText has a track header 3030, sample description 3040, sample table 3050 and The text sample 3060 (see FIG. 55) is separated and buffered (step S401). Based on the buffered information, the payload section 11 of the PES bucket 1 shown in FIGS. 1 and 2 is synthesized (step S402). Also, a PES header section 10 storing time information for reproducing the text frame 114 arranged at the beginning of the payload section 11 as a PTS is added, and a PES packet 1 is transmitted (step S403). ). Further, the obtained PES bucket 1 is transmitted as a TS (step S404).
  • PES buckets 5 and 5 ′ shown in FIG. 5 have the same data structure as PES bucket 1 shown in FIG. PES packet 5 'is sent next to PES packet 5.
  • the payload section 51 of the PES packet 5 has a text frame (TFO, TF1, TF2, ', ⁇ ) having the same data concept as the text frame 114 shown in FIG. 2 (a).
  • the PES packet 5 stores the reproduction time T 0 of TF 0, which is the first text frame arranged in the payload section 51, as a PTS value in the PES header section 50.
  • the payload portion 51 'of the PES packet 5' has a text frame (TF1, TF2, TF3, ⁇ ⁇ ⁇ ) having the same data concept as the text frame 114 shown in FIG. 2 (a). are doing. Further, the PES packet 5 'stores the playback time T1 of TF1, which is the first text frame arranged in the payload section 51', in the PES header section 50 'as a PTS value.
  • the data length of the PES bucket or the transmission of the PES bucket should be used to make full use of the fixed transmission band.
  • the number is determined. For example, if a transmission bandwidth of 16 kbps is allocated for a text track, a PES packet of 2000 bytes can be created per second. As a result, a text frame enough to fit in a 2000-byte PES bucket is transmitted.
  • FIG. 6 shows a data receiving device 6 used for transmitting MPEG-2 TS.
  • the data receiving device 6 includes a receiving unit 60, a system decoder unit 6 "I, a media decoder buffer unit 62, a media decoder unit 63, and a display buffer unit 64. It is a device that reproduces a text track from a TS received from a broadcast wave or the like.
  • the data receiving device 6 is a device built in or externally connected to, for example, a television, a computer, a power navigation system, or the like.
  • the receiving unit 60 receives a broadcast wave or the like and demodulates the TS.
  • the system decoder unit 61 separates the PES packet from the demodulated TS for each track such as video, audio, or text. Further, it reproduces an STC (System Time Clock) which is a reference time for synchronous reproduction between tracks from the TS packet.
  • the media decoder buffer unit 62 extracts the PTS from the PES header unit 10 of the PES bucket 1 related to the reproduction of the text track among the separated PES buckets. Further, the STC refers to the STC reproduced by the system decoder 61 and sends out the payload 11 of the PES bucket 1 having the PTS matching the STC.
  • the media decoder section 63 analyzes the acquired payload section 11 and stores the information stored in the track header 1 1 1, sample description 1 1 2 and confidential information 1 1 3, STC, and duration 1 1 1 41 b And decode the text track based on the modifier 1 141 G.
  • the display buffer unit 64 stores the decoded text tracks, and reproduces the decoded text tracks synchronously with other media such as video and audio according to the display rate of the display device 65.
  • the form of the data receiving device is not limited to the data receiving device 6.
  • the display device 65 may be integrally provided.
  • step S703 From the received TS, PES packets are separated for each track such as video, audio, or text. Further, STC, which is a reference time for synchronous reproduction between tracks, is reproduced from the TS (step S701). Among the separated PES buckets, the PE of the PES bucket 1 that plays the text track The PTS is obtained from the S header section 10. Further, from the reproduced STC, the pay mouth portion 11 of the PES bucket 1 having the PTS matching the STC is analyzed (step S702). Based on the information stored in the track header 1 11, sample description 1 12 and configuration information 1 13 identified by the analysis of the payload section 11 1, STC, duration 1 141 b and modifier 1 141 G The text track is decoded (step S703).
  • FIG. 8 shows a syntax for analyzing the payload section 11 defined as a text track sequence in the data receiving device 6.
  • a search for the start code 1 15 is performed.
  • the ID added to the start code is analyzed (step S802a, step S803a, step S804a, step S805a).
  • the track header 111, the sample description 112, the configuration information 113, and the text frame 114 are identified, and the respective information is processed (steps S802b, S803b, Step S804b, step S805b).
  • step S801 If the received PES bucket 1 does not include the confidential information 113, default values are used for the data lengths of the index 1141a and the duration 1141 (step S801).
  • the end of a text track is identified by an identifier composed of a start code 115 added at the end of the text track and an ID (for example, [Ox04]) indicating the end of the text track. (Step S806).
  • the data receiving device 6 analyzes the payload section 11 of the PES packet 1 in the text track sequence. Furthermore, the text to be decoded among the plurality of text frames 114, 114 ', The rule for determining a frame will be described with reference to FIGS.
  • PES buckets 9 and 9 ′ shown in FIG. 9 have the same data structure as PES bucket 1 shown in FIG.
  • the payout section 91 of the PES packet 9 is composed of a text frame (TFO, TF1, '', TFn-1, TFn-1) having the same data concept as the text frame 114 shown in FIG. , TF n +1, ⁇ ⁇ ⁇ ).
  • the respective durations are DO, D1, ⁇ ,-, Dn-1, Dn, Dn + 1, ''.
  • the S bucket 9 has a PES header section 90 in which the reproduction time Ta of TF0, which is the first text frame arranged in the payout section 91, is the value of the PTS.
  • the payload section 91 of the PES bucket 9 ' has a text frame (TFk, TFk + 1, ⁇ ⁇ ⁇ ) having the same data structure as the text frame 114 shown in FIG. 2 (a). . Also, the respective durations are Dk, Dk + 1, ⁇ '' '. Further, the PES packet 9 'has a PES header section 90' that uses the reproduction time Tb of the TFk, which is the text frame placed first in the payload section 91 ', as the value of the PTS.
  • Tn and Tn + 1 are the reproduction times of the text frames TFn and TFn + 1.
  • the text frame to be decoded is the text frame to be reproduced before the time Tb in the PES packet 9 and the text included in the PES bucket 9'. It is a frame.
  • PES packet 9 has three text frames, and the value of the duration is specified to start playback after 0, 20, and 30 seconds, respectively, for the value of c3 of the packet 9 I do.
  • PES packet 9 ' has three text frames, and already 3 packets 9?
  • the values of PTS and Duration are specified so that playback starts after 26, 38, and 52 seconds for the value of D5.
  • the playback side plays the text frame 0, 20, 26, 38, and 52 seconds after the PTS value of PES packet 9 respectively. This makes it possible to update a plurality of text frames sent in advance with the latest information and reproduce the updated information. For example, it is possible to reproduce a text in an emergency.
  • the PES bucket 110 shown in FIG. 10 has the same data structure as the PES bucket 1 shown in FIG.
  • the payload section 101 of the PES bucket 110 is composed of a text frame (TF0, TF1, TF, FF, TFn-1, TFn) having the same data concept as the text frame 114 shown in FIG. 2 (a).
  • the respective durations are D 0, D 1, ⁇ 1 ⁇ , D ⁇ -1, D n, D ⁇ +1,-2 ⁇ .
  • the PES bucket 110 has a header section 100 that sets the playback time Ta of TF0, which is the first text frame placed in the payload section 101, to the value of PTS. .
  • the reception time of the PES packet 110 is Td. It is assumed that time Td satisfies a ⁇ Tn ⁇ Td ⁇ Tn + 1, and that the reproduction time Ta of TF0 has already passed at the time of reception.
  • the text frame to be decoded is PES In packet 110, this is a text frame reproduced after time Td.
  • reproduction is started from the text frame TF ⁇ , and the text frame TF ⁇ is reproduced by [T n +1-T d] up to time ⁇ n +1.
  • the text frame TFn includes a process involving a time change
  • the text frame TFn is reproduced in a format such as scrolling or karaoke
  • the reproduction is started from a state that should be reproduced at the time Td.
  • the reproduction state 1101 is a state that should be reproduced at the time Tn
  • the reproduction state 1102 is a state that should be reproduced 5 seconds after the time Tn.
  • the data structure of the PES packet 1 shown in the present embodiment information relating to the reproduction of the entire Time Text such as the header 3010 of the Time Text (see FIG. 55) is transmitted in advance. You don't have to. Therefore, the waiting time from the start of the reception of the text track to the start of the reproduction is reduced.
  • information such as the track header 111, sample description 112, and configuration information 113, which are necessary for text track playback, are transmitted repeatedly, and the text track is randomly accessed for playback. It is possible to do.
  • a plurality of text frames are transmitted in one PES bucket, and the same text frame is transmitted repeatedly between different PES buckets.
  • error tolerance during transmission can be improved, and suitable transmission can be performed in streaming transmission where data retransmission requests cannot be made.
  • a plurality of text frames transmitted in advance can be updated to the latest information and reproduced. This makes it possible, for example, to play back text in an emergency. If the reception time of the PES bucket has passed the PTS of the PES bucket, if the video or audio is received, the PES packet is discarded, and playback is resumed after the next PES packet is received.
  • the text track playback it is possible to play back even from the text frame in the middle of the PES packet, and it is possible to prevent information loss as much as possible.
  • a text track is played in a time-varying format such as karaoke or scrolling, it is possible to reduce the discomfort that can be felt from the gap between the text track and video or audio. Become.
  • the track header identifier 111a, the sample description identifier 112a, the configuration information identifier 113a, and the text frame identifier 114a are respectively a common start code 115 and a unique start code. It has been explained that it is composed of ID11b, 112b, 113b and 114b.
  • each identifier is a track header 111, a sample description 112, a configuration information 113, or a text frame 114, 114 ', ⁇ ⁇ ', respectively.
  • each length part is 2 bytes
  • each data of track header 111, sample description 112, configuration information 113, or text frame 114, 114 ', ⁇ ⁇ ' The length is limited to a maximum of 65535 bytes. In general, it can be said that the data length is sufficient for transmitting text data. Also, if the length part is made up of two bytes, it can be said that the bit efficiency is higher than in the case where a three-byte start code 115 is used. In addition, when the start code 115 is used for identification, a pseudo start code (not the start code, but the same bit sequence as the start code) must not be generated in the bit sequence. It is necessary to set a limit so that no can appear. However, when the length part is used as the identifier, such inconvenience can be prevented.
  • the data length of the length part can be specified by the configuration information 113. Specifically, it is also possible to specify 2 bits of the reserved area 1131a of the confidential information 113 as the length size indicator 1131'a and to specify the data length of the length part to 1 to 4 bytes. Yes (see Figure 12 (b)).
  • the third packet 1 has the text frame 114 having the structure shown in FIG.
  • the PES packet may be a PES packet 1 ′ ′′ shown in FIG.
  • the PES packet 1 ′ ′′ shown in FIG. 13 includes a PES header section 116 defined by the MPEG-2 system and a payload section 117.
  • the payload section 117 includes a payload header section 118 and a payload data section 119.
  • the payload header section 118 has a count section 118a, a sample header section 118b, and 118G.
  • the payload data section 119 has text samples 119b and 119c.
  • the count part 118a indicates the number of text samples included in the three packets 1 ',.
  • FIG. 13 shows a case where the value of the count section 118 a is [2], and the PES bucket 1 ′ ′ includes two text samples 119 b and 119 c.
  • the sample header section 118b has a length section, an index, and a duration.
  • the length section stores the data length of the sample header section 118b.
  • the index and the duration are the same as the index 111a and the duration 141b shown in FIG.
  • the sample header section 118c has the same structure as the sample header section 118b.
  • the text samples 119b and 119c have the same structure as the text sample 1142 shown in FIG.
  • the sample header sections 118b and 118c are associated with the text samples 119b and 119c in the order of arrangement. That is, the sample header section 118b placed first in the payload header section 118 indicates the index and duration of the text sample 119b placed first in the pay mouth data section 119. I have.
  • the text samples 119b and 119c are arranged in the order of reproduction in the payload data section 119, and the reproduction time of the text sample 119b arranged first as in the PES bucket 1 is indicated by the PES header section. 1 Stored in 16 PTSs.
  • the PES bucket 1 '' has a structure in which a plurality of text samples 119 b and 119 c are connected, and has a structure closer to the structure when recording MP4 files compared to the PES bucket 1. However, it has a bucket structure suitable for streaming transmission.
  • the already three packets 1 ′ ′ may further include a track header 111, a sample description 112, and a confidential information 113 (see FIG. 1). In this case, it is required to add an identifier for identifying each of them.
  • the PES packet may have a structure in which a sample header portion is arranged for each text sample. This will be described in detail with reference to FIG.
  • the data is stored in the order of 18b, text sample 119b, sample header section 118G, and text sample 119c.
  • the text sample 118b (118c) is associated with the immediately preceding sample header section 119b (119c).
  • the length section stores the data length of the text sample arranged immediately after. Further, in this case, the counting section 118a may not be provided.
  • the start code 115 is used as part of the identifier, the appearance of the pseudo start code in the bit string is prevented as follows.
  • the start code 115 is [0 X 00 00 01]
  • the track header identifier 1 1 1a is [0 X 00]
  • the sample description identifier 1 1 It is assumed that ID1 12b of 2a is determined to be [Ox 01]
  • ID113b of the Confider Information Identifier 113a is determined to be [Ox02]
  • ID114b of Text Frame Identifier 114a is determined to be [Ox03].
  • a predetermined one-byte code ( For example, [Ox 05]) may be inserted after two bytes of zero and transmitted.
  • the playback side can return to the original data by unconditionally deleting one byte after two bytes of zeros continue in the bit string such as the track header 111.
  • the transmission side inserts a predetermined 1-byte code [Ox05]. And then transmit as [00 00 05 EA 65 ' ⁇ ⁇ ].
  • the playback side receives the bit string [00 00 05 EA 65 ⁇ ⁇ ⁇ ], it unconditionally deletes one byte after two bytes of zeros, and returns [00 00 EA 65 ⁇ ⁇ ⁇ ] Is restored.
  • the duration value of the text frame must represent [infinity]. Is also possible.
  • the sample description 112 described with reference to FIG. 2B may have the data structure shown in FIG.
  • the sample description 1 12 ′ shown in FIG. 14 is characterized in that each sample entry has an index. Specifically, in a data receiving device or the like, the index (for example, index 111a in FIG. 2) of the text frame is made to correspond to the index of the sample description 112 ′, and the text frame is read. Determine the sample entry to apply to Hereinafter, FIG. 14 will be described in further detail.
  • the sample description 1 1 2 ′ shown in FIG. 14 has an entry count 501 and a plurality of sample entries. In FIG.
  • the entry count 5001 showing a case where the sample entry has two sample entries, that is, the sample entry 502 and the sample entry 503, is represented by the sample entry 1 1 2 ′ of the sample description 1 1 2 ′.
  • the number is indicated, for example, by a data length of 1 byte.
  • the value [2] is stored because it has two sample entries.
  • the sample entry 502 has an index 504 and a sample attribute 505.
  • the sample entry 503 has the same structure, and has an index 506 and a sample attribute 507.
  • an explanation will be added using sample entry 502.
  • Index 504 is sampled with a preset data length (N bytes). Indicates the index value of Lentry 502.
  • the sample attribute 505 stores the same format information as the sample entry 1 121 described in FIG. 2B.
  • the data length of the sample attribute 505 is variable.
  • sample description 1 1 2 ′ it is possible to determine the format to be applied to the text frame by associating the index of the sample description 1 1 2 ′ with the index of the text frame.
  • all information related to the reproduction of the text track is transmitted by the PES packet 1 (in-band transmission).
  • information such as a track header and a sample description can be transmitted as table information called PSI (Program Specific Information) defined in MPEG-2TS (out-band transmission).
  • PSI Program Specific Information
  • the TS can multiplex and transmit a plurality of programs such as video and audio, it is necessary to send information such as which one of the programs contained in the stream should be reproduced together with which other programs.
  • information is transmitted using a data structure called a section instead of PES that transmits video and audio.
  • the PSI defines the tape-relay force as PAT (Program Association Table) and PMT (Program Map Table). Furthermore, in the PSI section, it is possible to transmit various explanatory information and the like using a structure called a descriptor.
  • FIG. 15 shows a PES bucket 13 transmitted in the second embodiment.
  • the data structure of the PES packet 13 shown in FIG. 15 is composed of a PES header section 130 specified by MPEG-2 TS and a payload section 131.
  • PES The header section 130 has a PTS (Presentation Time Stamp), which is time information for synchronous reproduction between tracks such as video, audio, or text.
  • the payload portion 131 includes text frames 1314, 1314 ', 1 ⁇ 2 ⁇ ⁇ ⁇ having the same structure as the text frame 1114 defined in FIG. It is composed of the following data lengths: 1314, 1315, 1315, 1315 ', and 1 ⁇ .
  • a start code may be used to mark the boundaries of the text frames 1314, 1314 ', 1 ⁇ ', or PMT, or
  • the track header and sample description transmitted in the PSI private section have the same structure as the track header 111, sample description 112 and sample description 112 'described in the first embodiment, respectively. have.
  • the confidential information 1 13 may be transmitted.
  • the PES packet 13 shown in FIG. 15 may have the same structure as the PES packet 1 ′ ′ shown in FIG. 13 described as a modification of the first embodiment.
  • FIG. 16 shows a data transmission apparatus 14 used for transmitting MPEG-2 TS.
  • the data transmission device 14 includes a storage unit 141, a PES transmission unit 142, and a system encoder unit 143, and transmits the stored media data as a TS packet.
  • the storage unit 141 stores the media data in, for example, the MP4 file format.
  • the PES sending unit 142 receives an independent ES for each track such as video, audio, or Time Text from the MP4 file.
  • the PES sending section 142 separates and buffers the received Time Text into a track header 3030, a sample description 3040, a sample table 3050, and a text sample 3060 (see FIG. 55).
  • the PTS of the PES packet 13 stores time information for synchronously reproducing the text frame 1314 arranged first in the PES packet 13 with another track such as video or audio.
  • the system encoder unit 143 stores the track header 3030 and the sample description 3040 in the PM section or the PSI private section, and multiplexes and transmits the TS packet with the PES bucket 13.
  • FIG. 17 shows a data receiving device 15 used for MPEG-2 TS transmission.
  • the data receiving device 15 includes a receiving unit 150, a system decoder unit 151, a media decoder buffer unit 152, a media decoder unit 153, and a display buffer unit 154. This is a device that plays back a text track from.
  • the data receiving device 15 is built in or externally connected to, for example, a television, a computer or a power navigation system.
  • the receiving unit 150 receives a broadcast wave or the like and demodulates the TS.
  • the system decoder unit 151 separates a PES packet from the demodulated TS for each track such as video, audio, or text. Furthermore, the STC, which is a reference time for synchronous reproduction between media, is reproduced from the TS packet.
  • the track header 3030 and the sample description 3040 stored in the PMT or PSI private section are set in the media decoder unit 153.
  • the media decoder buffer section 152 extracts the PTS from the PES bucket 13 related to the reproduction of the text track among the separated PES packets. Further, by referring to the STC reproduced by the system decoder unit 151, the pay mouth unit 131 of the PES bucket 13 having the PTS matching the STC is transmitted.
  • the media decoder unit 153 decodes the text track based on the acquired pay mouth unit 131, STC, the set track header 3030, and the sample description 3040.
  • the display buffer unit 154 stores the decoded text track, and Play the decoded text track synchronously with other media, such as video and audio, according to the display rate of 155.
  • information such as a track header and a sample description which are information necessary for reproducing a text track, are repeatedly transmitted by the carousel method, and can be sequentially reproduced while receiving the PES packet 13.
  • the track header, the sample description, and the like are included in the PES packet and appear repeatedly even if their contents do not change. For this reason, it is necessary to analyze and check every time whether or not the content has changed during playback.
  • the track header or the like in the PMT Judgment can be made based on the change in the number, and it is not necessary to analyze and check whether the content has changed every time, and efficient processing is possible.
  • the data lengths 1315 and 1315 ′ may be included as a part of the segment text header (see FIG. 2 (a)).
  • Figure 18 shows the structure of the PES packet in this case.
  • the PES bucket 511 shown in FIG. 18 includes a PES header section 512 specified by MPEG-2 TS and a payload section 513.
  • the PES header section 512 has the same structure as the PES header section 130 described with reference to FIG.
  • the payload section 513 has a plurality of text frames.
  • the structure of the text frame will be described using a text frame 514 which is one of the text frames included in the payload section 513.
  • the text frame 514 consists of the segment text header 515 and the text And pull 516.
  • the segment text header 515 has an index 517, a duration 518, and a length 519.
  • the index 517 is information for associating the text sample 516 with a sample entry applied to the text sample 516 (see FIGS. 2B and 14).
  • the duration 518 is reproduction time information of the text sample 516.
  • the length 519 stores the data length of the text sample 516.
  • the order of the index 517, the duration 518, and the length 519 in the segment text header 515 is arbitrary.
  • the text sample 516 has the same structure as the text sample 1142 shown in FIG.
  • the PES packet 511 stores a plurality of text frames having the above structure.
  • the case where the track header and the sample description are transmitted out-of-band has been described with reference to FIG.
  • the sample description may be transmitted in-band.
  • the structure of the PES bucket in this case will be described with reference to FIG.
  • Figure 19 (a) shows the structure of a PES bucket in which sample descriptions are arranged at the beginning of the payload.
  • the PES packet 526 is composed of a PES header 527 specified by MPEG-2TS and a payload 528.
  • the PES header section 527 has the same structure as the PES header section 130 described with reference to FIG.
  • the payload section 528 has a sample description 529 and a plurality of text frames. In FIG. 19 (a), three text frames 530 to 532 are stored.
  • the sample description 529 has the same structure as the sample description 112 ′ described with reference to FIG. 14, and stores the sample entries referenced by the text frames 530 to 532 of the payload 528. Have. More specifically, the index included in text frames 530 to 532 It has a sample entry with an index value corresponding to the value. That is, when the index values of the text frames 530 to 532 are values [3], [2], and [2], respectively, the sample description 529 includes the sample entry having the index value [3] and the value [ 2] with two sample entries.
  • text frames 530 to 532 is similar to text frame 514 described with reference to FIG.
  • the sample description 529 may have the same structure as the sample description 112 shown in FIG. 2B, that is, a structure having no index. In this case, the [N] th sample entry stored in the sample description 112 is applied to the text frame having the index value [N].
  • text frames 530 to 532 may have the same structure as text frame 114 shown in FIG. 2A, that is, a structure without a length.
  • an identifier may be used to clarify the boundaries between text frames 530-532.
  • Figure 19 (b) shows the structure of a PES packet in which sample entries are arranged for each text frame.
  • the PES packet 536 is composed of a PES header section 537 specified by MPEG-2TS and a payload section 538.
  • the PES header section 537 has the same structure as the PES header section 130 described with reference to FIG.
  • the pay mouth section 538 has a plurality of text frames.
  • the structure of the text frame will be described using a text frame 539 which is one of the text frames included in the payload section 538.
  • the text frame 539 includes a segment text header 540 and a text sample 541.
  • the segment text header 540 has a sample entry 542, a duration 543, and a length 544.
  • Sample entry 542 is the formatting information that applies to text sample 541, It has the same structure as the sample entry 1 121 shown in FIG. 2 (b) or the sample attribute 505 shown in FIG.
  • the duration 5 4 3 is the playback time information of the text sample 5 4 1.
  • the length 544 stores the data length of the text sample 541.
  • the order of the sample entry 542, the duration 543, and the length 544 in the segment text header 540 is arbitrary.
  • the text sample 54 1 has the same structure as the text sample 114 2 shown in FIG.
  • the PES bucket 536 stores a plurality of text frames having the above structure.
  • the frequency of transmission between the section format bucket and the PES bucket is different, so the sample disk is transmitted at the timing necessary to reproduce the text sample transmitted by the PES bucket. It can happen that the resonance is not being transmitted. In other words, even if a text sample has been received, the sample description required to play back the text sample has not been transmitted, so the playback of the text sample is delayed until the transmission of the sample description is completed. There is. In particular, when the amount of information in the sample description is large, it is necessary to transmit the data in a plurality of packets, so that it takes more time to start reproduction.
  • the confidential information 113 may be transmitted in the fat band as necessary.
  • the confidential information may not be transmitted by out-band transmission, in-band transmission, or in-band transmission.
  • the data length of the segment text header may be set to a certain default value.
  • RTP Real Time Transport Protocol
  • RTS P Real Time Streaming Protocol
  • SDP Session Description Protocol
  • FIG. 20 shows a general processing flow when the client 161 acquires the media data in the MP4 file format from the server 162 on the Internet.
  • HTML Hyper Text Markup Language
  • the client 161 receives an HT ML file. Issue command C1 to request the file.
  • the server 162 issues a response R 1 (HTT P / 1.0 OK) indicating that the command C 1 has been acknowledged to the client 161 and transmits HTML data. (Session S1).
  • client 161 issues command C2 requesting more information about the MP4 file.
  • the server 162 issues a response R2 (RTS PZ 1-0 OK) indicating that the command C2 has been acknowledged to the client 161, and the SDP data including the detailed information is supplied to the client 161 ( Session S 2).
  • the client 161 issues commands C31 to C33 requesting to prepare to provide each track of the MP4 file based on the description of the received SDP.
  • the server 162 issues responses R31 to R33 (RTSP / 1.0 OK) indicating that the commands C31 to C33 are accepted as soon as the preparation for providing the respective media data is completed (session S3). .
  • client 161 issues command C4 requesting the provision of all media data.
  • the server 162 issues a response R4 (RTS P / 1.0 OK) indicating that the command C4 has been acknowledged (session S4).
  • RTS P / 1.0 OK response R4
  • the media data in the MP4 file format is transmitted as an RTP bucket.
  • the client 161 When terminating the session, the client 161 issues a command C5 requesting termination of the session.
  • the server 162 issues a response R5 (RTS P / 1.0 OK) indicating that the command C5 has been acknowledged, and the session is terminated (session S5).
  • the sessions S2 to S5 are performed by RTSP.
  • the media data of the MP4 file format provided in the server 162 is transmitted as an RTP bucket.
  • the RTP bucket has a data structure shown in FIG. 21 in order to use the T1med T Ext included in the MP4 file by streaming transmission.
  • the data structure of the RTP bucket 17 shown in FIG. 21 is the same as the data structure of the PES bucket 1 'shown in FIG.
  • the RTP bucket 17 has time information called a time stamp in the RTP header section 170.
  • This time stamp has the reproduction time of the text frame placed first in the payload section 171 like the PTS of the PES packet 1 'shown in FIG. (2)
  • All information related to the playback of the text track is transmitted by RTP packet 17 (in-band transmission), while some information is transmitted.
  • a session S2 is executed between the server and the client. For this reason, information such as a track header and a sample description can be transmitted as SDP in advance and used.
  • FIG. 22 shows the data structure of the RTP bucket 18 transmitted by the art band transmission using the RTP.
  • the data structure of the RTP packet 18 shown in FIG. 22 is almost the same as the data structure of the PES bucket 13 shown in FIG. 15, and a detailed description will be omitted.
  • the RTP packet 18 has time information called a time stamp in the RTP header section 180.
  • This time stamp has the reproduction time of the text frame first placed in the payload section 181 like the PTS of the PES packet 13 shown in FIG.
  • the track header and the sample description transmitted in the SDP have the same structure as the track header 111 and the sample description 112 described in the first embodiment, respectively. Further, the configuration information 113 may be transmitted as needed.
  • the RTP buckets 17 and 18 shown in FIGS. 21 and 22 have the same structure as the payload section 117 of the PES packet 1 ′ ′ shown in FIG. 13 described as a modification of the first embodiment. It may have a structure in which RTP header sections 170 and 180 are added to the payload section.
  • FIG 23 shows the data used when transmitting text tracks using RTP.
  • the transmission device 19 is shown.
  • the data transmission device 19 has a storage unit 191 and 1 ⁇ ?
  • the transmission section 192, the communication section 193, and the transmission section 194 are provided.
  • the data transmission device 19 is, for example, a device mounted on a server 162 that sends out the stored media data as an RTP bucket 17 or 18 in response to a request from the client 161.
  • the following description focuses on the part related to the transmission of the text track.
  • the storage unit 191 stores the media data in, for example, the MP4 file format. Further, the storage unit 191 has detailed information on files to be stored.
  • the RTP transmission unit 192 receives an independent ES for each track such as video, audio, or TimeText from the MP4 file.
  • the RTP sending unit 192 separates and buffers the received Time Text Ex into a track header 3030, a sample description 3040, a sample table 3050, and a text sample 3060 (see FIG. 55). Further, an RTP packet 17 shown in FIG. 21 is created from each of the buffered information. In the time stamp of the RTP packet 17, time information for reproducing a text frame placed first in the RTP packet 17 is stored.
  • the communication unit 193 performs a session S2 to S5 (see FIG. 20) with the client 161 requesting the provision of media data, obtains information corresponding to a file stored in the storage unit 191 and transmits the information. I do. Further, upon receiving a request for reproducing the media data from the client 161, it causes the RTP transmitting section 192 to create an RTP packet 17.
  • the RTP transmitting section 194 transmits an RTP bucket 17 to the client 161.
  • the RTP transmission unit transmits the TimeText received from the storage unit to the track header 3030, the sample description 3040, the sample table 3050, and the text sample 3060 (FIG. 55). See) and buffering. Further, an RTP packet 18 shown in FIG. 22 is created from each of the buffered information. Further, in the time stamp of the RTP packet 18, time information for reproducing the text frame first arranged in the RTP packet 18 is stored.
  • the RTSP communication unit performs a session S2 to S5 (see FIG. 20) with the client 161 requesting the provision of media data.
  • session S2 information on files stored in the storage unit, track header 3030 and sample description 3060 are transmitted by SDP.
  • the client 161 upon receiving a request for media data reproduction from the client 161, the client 161 causes the RTP transmission unit to create an RTP packet 18.
  • the RTP transmission section transmits an RTP packet 18 to the client 161.
  • FIG. 24 shows a data receiving device 20 used to receive a text track transmitted by RTP.
  • the data receiving device 20 includes an RTSP communication unit 201, an RTP receiving unit 202, a receiving buffer unit 203, a clock 204, a decoder unit 205, and a display unit 206.
  • a device such as a computer, mobile phone, or PDA (personal digital assistant) that plays back text tracks It is a place.
  • PDA personal digital assistant
  • the RTSP communication unit 201 performs sessions S2 to S5 (see FIG. 20) with a server 162 that provides media data. Further, based on the sessions S2 to S5, reception control for causing the RTP receiving section 202 to receive the RTP packet 17 is performed.
  • the RTP receiving section 202 receives the RTP bucket 17 transmitted from the server 162 based on the above-described reception control, and temporarily stores the received RTP bucket 17 in the reception buffer section 203.
  • the reception buffer unit 203 acquires a time stamp from the stored RTP packet 17 and sends the RTP packet 17 to the decoder unit 205 based on the count of the clock 204 and the time stamp.
  • the decoder unit 205 decodes the text track based on the acquired RTP bucket 17 and the count of the clock 204.
  • the decoded text track is displayed on the display unit 206.
  • a case will be described in which a data receiving device having the same configuration as the data receiving device 20 receives information related to reproduction of a text track transmitted out-of-band by SDP.
  • the RTSP communication unit acquires the track header 3030 and the sample description 3040 (see FIG. 55) of the TimeText by SDP in the session S2 with the server 162.
  • the acquired track header 3030 and sample description 3040 are set in the decoder unit 205.
  • the RTP receiving section receives the RTP packet 18 transmitted from the server 162 and temporarily stores it in the reception buffer section.
  • the reception buffer unit acquires a time stamp from the stored RTP packet 18 and sends the RTP packet 18 to the decoder unit based on the clock count and the time stamp.
  • the decoder unit decodes the text track based on the obtained RTP bucket 18 and the clock count and the information set by the RTSP communication unit.
  • the form of the data receiving device is not limited to the data receiving device 20.
  • the display unit 206 may be provided outside as a separate body.
  • the transmission using the SDP a part of information related to the reproduction of the text track is transmitted by using the fact that the sessions S2 to S5 by the RTSP are performed before the transmission of the text track. This makes it possible to reliably transmit important information related to the reproduction of the text track. Furthermore, in this case, since the track header and the sample description need only be sent once in session S2, the transmission of the text frame can be performed by fully utilizing the transmission path bandwidth.
  • the pay mouth portion 181 of the RTP bucket 18 shown in FIG. 22 may have the same structure as the payload portion 513 shown in FIG. Further, it may have the same structure as the pay mouth unit 528 or the payload unit 538 shown in FIG.
  • the confidential information 113 may be transmitted in the fat band as necessary.
  • the configuration information may not be transmitted by out-band transmission or in-band transmission.
  • the data length of the segment text header may be set to some default value.
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including information for reproducing the divided text data,
  • the text transmission data includes a segmented text data identifier added to the segmented text data, and a text header data identifier added to the text header data.
  • Transmission data structure of text transmission data
  • the text header data includes overall text header data relating to reproduction of the entire text data, and divided text header data relating to individual reproduction of the divided text data,
  • the divided text header data is arranged for each of the divided text data
  • the whole text header data has a plurality of pieces of format information of the divided text data
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including information for reproducing the divided text data,
  • the text header data includes overall text header data relating to reproduction of the entire text data, and fragment text header data relating to individual reproduction of the fragment text data,
  • the transmission data structure of data for text transmission wherein the entire text header data includes data length customization information for customizing a data length of the fragment text header data.
  • the whole text header data further includes a plurality of pieces of format information of the divided text data
  • the text reproduction data includes a plurality of divided texts obtained by dividing the text data.
  • Text data, and text header data including reproduction start information for starting reproduction of the fragmented text data,
  • the text transmission data is composed of a plurality of buckets
  • Each bucket contains the playback start information of the text header data
  • Transmission data structure of text transmission data
  • the text header data includes overall text header data relating to reproduction of the entire text data, and divided text header data relating to individual reproduction of the divided text data,
  • each of the entire text header data includes the reproduction start information.
  • the whole text header data further includes a plurality of pieces of format information of the divided text data
  • fragment text header data includes an index indicating a relationship between the fragment text data and the format information.
  • a data transmission method for text transmission data for transferring text reproduction data for text data reproduction and sequentially reproducing the data.
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including reproduction start information for starting reproduction of the divided text data,
  • Each of the payload sections includes the reproduction start information of the text header data.
  • a data transmission device for text transmission data for transferring and sequentially reproducing text reproduction data for text data reproduction
  • the text reproduction data includes: a plurality of divided text data obtained by dividing the text data; and text header data including reproduction start information for starting reproduction of the divided text data.
  • Each of the payload sections includes the reproduction start information of the text header data.
  • a data transmission device for text transmission data for text transmission data.
  • the text reproduction data includes: a plurality of divided text data obtained by dividing the text data; and text header data including reproduction start information for starting reproduction of the divided text data.
  • the data transmission program causes the computer to:
  • each of the pay mouth sections includes the reproduction start information of the text header data
  • a data transmission method for text transmission data for transferring text reproduction data for text data reproduction and sequentially reproducing the data.
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including information for reproducing the divided text data,
  • the text transmission data includes a plurality of the buckets
  • the divided text data is arranged in the order of display in each of the buckets, the bucket has reproduction time information of each of the divided text data, and the second bucket has a reproduction time information of the previous first bucket.
  • the segmented text data and the playback time information contain segmented text data that overlaps,
  • a data transmission device for text transmission data for transferring and sequentially reproducing text reproduction data for text data reproduction
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including information for reproducing the divided text data,
  • the text transmission data includes a plurality of the buckets
  • the divided text data is arranged in the order of display in each of the buckets, the bucket has reproduction time information of each of the divided text data, and the second bucket is a division of the preceding first bucket.
  • Text data and playback time information include overlapping text data
  • Data transmission device for data for text transmission For data for text transmission.
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data, and text header data including information for reproducing the divided text data,
  • the data transmission program causes the computer to:
  • the text transmission data includes a plurality of the buckets
  • the divided text data is arranged in the order of display in each of the buckets, the bucket has reproduction time information of each of the divided text data, and the second bucket is a division of the preceding first bucket.
  • the text data and the playback time information include the divided text data that overlaps,
  • the transmission data structure of text transmission data is This is a transmission data structure of text transmission data for transferring text reproduction data for reproduction and sequentially reproducing the text data.
  • the text reproduction data includes a plurality of divided text data obtained by dividing the text data and the divided text data. And text header data containing information for reproduction.
  • the data for text transmission includes a fragmented text data identifier added to the fragmented text data, and a text header data identifier appended to the text header data.
  • the segmented text data identifier and the text header data identifier are, for example, an identifier composed of a start code and a unique ID for identifying the segmented text data and the text header data, and the segmented text data and the text header data. , And an identifier composed of each data length and a unique ID. ,
  • the fragmented text data and text header data can be identified by the fragmented text data identifier and the text header data identifier. That is, even if text header data including information for reproducing the fragment text data is transmitted for each fragment text data or periodically, it can be identified on the reproduction side. As a result, on the reproducing side, it is possible to perform sequential reproduction based on the divided text data and the text header data, regardless of the information amount of the text reproducing data for reproducing the text data.
  • the transmission data structure of the text transmission data according to Appendix 2 is the transmission data structure of the text transmission data described in Appendix 1, and the text header data is the entire text header data related to the reproduction of the entire text data. And fragmented text data, and fragmented text header data relating to individual playback of the evening.
  • the fragment text header data is arranged for each fragment text data.
  • the text header data identifier includes the whole text header data identifier added to the whole text header data.
  • the segmented text data identifier and the entire text header data identifier are, for example, an identifier composed of a start code and a unique ID for identifying the segmented text data and the entire text header data, and the segmented text data and the entire text header data. It is an identifier composed of the data length of the body text header data and a unique ID for each.
  • the fragment text data and the whole text header data can be identified by the fragment text data identifier and the whole text header data identifier. That is, in the text transmission data, the entire text header data can be transmitted at necessary timing.
  • the transmission data structure of the text transmission data according to Appendix 3 is the transmission data structure of the text transmission data described in Appendix 2, and the entire text header data has a plurality of pieces of format information of the divided text data. I have. Further, the fragment text header data includes an index indicating the relationship between the fragment text data and the format information.
  • the format information includes, for example, the presence or absence and direction of scrolling of the divided text data, the playback position, the background color, and the font format (font name, size, color, bold, underline, italic, etc.). o This is the default information of the format of the divided text data.
  • the transmission data structure of the text transmission data according to Appendix 4 is the transmission data structure of the text transmission data described in Appendix 2 or 3, wherein the fragment text header data includes reproduction time information of the fragment text data.
  • the playback time information is arranged for each piece of text data.
  • the playback side plays back the fragmented text data according to the playback time information.
  • the transmission data structure of the text transmission data according to Appendix 5 is a transmission data structure of the text transmission data for transferring and sequentially reproducing the text reproduction data related to the reproduction of the text data. It includes a plurality of divided text data obtained by dividing text data, and text header data including information for reproducing the divided text data. Further, the text header data includes whole text header data relating to reproduction of the entire text data, and divided text header data relating to individual reproduction of the divided text data. Sa In addition, the entire text header data includes data length customizing information for customizing the data length of the fragmented text header data.
  • the data length customization information the data length of the fragment text header data relating to the individual reproduction of the fragment text data can be customized as needed. That is, the amount of information included in the fragmented text header data in the text transmission data can be customized to a necessary and sufficient amount. As a result, the amount of information required for individual reproduction of the divided text data can be reduced, and the load on the reproducing side for sequential reproduction can be reduced.
  • the transmission data structure of the text transmission data according to Appendix 6 is the transmission data structure of the text transmission data according to Appendix 5, and the entire text header data further includes a plurality of pieces of format information of the fragmented text data. .
  • the fragment text header data includes an index indicating the relationship between the fragment text data and the format information.
  • the format information includes, for example, the presence or absence and direction of scrolling of the divided text data, the playback position, the background color, the font format (font name, size, color, bold, underline, italic, etc.).
  • the data length customization information which is the default information of the format of the fragmented text data, sets the data length of the index to a data length of, for example, 8, 16, 24, or 32 bits.
  • the transmission data structure of the text transmission data according to Appendix 7 is the transmission data structure of the text transmission data described in Appendix 5 or 6, and the divided text header data is the reproduction time information of the divided text data. Contains.
  • the data length of the reproduction time information is set to a data length of, for example, 8, 16, 24, or 32 bits.
  • the playback time information is arranged for each piece of text data.
  • the playback side plays back the fragmented text data according to the playback time information.
  • the transmission data structure of the text transmission data according to Appendix 8 is the transmission data structure of the text transmission data for transferring and sequentially reproducing the text reproduction data related to the text data reproduction. Includes a plurality of pieces of divided text data obtained by dividing text data, and text header data including reproduction start information for starting reproduction of the divided text data.
  • Text transmission data is composed of multiple packets. In addition, each packet contains playback start information of the text header data.
  • the playback start information includes, for example, information such as the layout of the text data (display area, relative position with other media such as video), the layer (the hierarchical relationship with other media), the playback time, and the like. This is the information needed to start playback.
  • playback can be started sequentially in units of buckets, and the waiting time until the playback starts can be reduced. It becomes.
  • the transmission data structure of the text transmission data according to Appendix 9 is the transmission data structure of the text transmission data described in Appendix 8, and the text header data is the same as the entire text header data related to the reproduction of the entire text data. , And fragment text header data relating to individual reproduction of the fragment text data. Each whole text header data includes playback start information.
  • the whole text header data is included in each bucket and includes reproduction start information for starting reproduction of the divided text data.
  • each packet includes fragmented text header data related to reproduction of the fragmented text data included in each packet.
  • the transmission data structure of the text transmission data according to Appendix 10 is the text transmission data described in Appendix 9 In the transmission data structure, the entire text header data further includes a plurality of pieces of format information of the divided text data. Also, the fragment text header data includes an index indicating the relationship between the fragment text data and the format information.
  • the format information is, for example, whether or not scrolling of the divided text data is performed.
  • Direction, playback position, background color, font format (font name, size, color, bold, underline, italic, etc.) This is the default information of the format of the divided text data. There is no need to transmit information. As a result, the amount of information necessary for individual reproduction of the divided text data can be reduced, and the load of sequential reproduction on the reproducing side can be reduced.
  • the transmission data structure of the text transmission data according to Appendix 11 is the transmission data structure of the text transmission data described in Appendix 9 or 10.
  • the whole text header data is customized for the data length of the fragmented text header data. It further includes data length customization information for performing the operation.
  • the data length of the fragment text header data relating to the individual reproduction of the fragment text data can be customized as needed. That is, the information amount of the fragment text header data in each packet can be customized to a necessary and sufficient amount. As a result, the amount of information required for individual reproduction of the fragment text data can be reduced, and the load of sequential reproduction on the reproduction side can be further reduced.
  • the data transmission method for text transmission data is a data transmission method for text transmission data for transferring and sequentially reproducing text reproduction data for text data reproduction.
  • the data includes a plurality of fragmented text data obtained by dividing text data, and text header data including reproduction start information for starting reproduction of the fragmented text data.
  • the method includes a creation step of creating a payload portion of the text transmission data based on the text playback data, and an adding step of adding a header portion to each created payload portion to make a bucket.
  • each payload section includes reproduction start information of text header data.
  • the playback start information includes, for example, information such as the layout of the text data (display area, relative position with other media such as video), the layer (the hierarchical relationship with other media), the playback time, and the like. This is the information needed to start playback.
  • playback can be started sequentially in units of each bucket, regardless of the information amount of text playback data required for playback of text data. The waiting time until the start can be reduced.
  • the data transmission device for text transmission data is a data transmission device for text transmission data for transferring text reproduction data for text data reproduction and sequentially reproducing the data.
  • the use data includes a plurality of pieces of divided text data obtained by dividing text data, and text header data including reproduction start information for starting reproduction of the divided text data.
  • a creation means for creating a payload portion of the text transmission data based on the text playback data, and an adding means for adding a header portion to each created payload portion to make a bucket.
  • 'each payload section includes reproduction start information of the text header data.
  • the playback start information includes, for example, information such as the layout of the text data (display area, relative position with other media such as video), the layer (the hierarchical relationship with other media), the playback time, and the like. This is the information needed to start playback.
  • playback can be sequentially started in units of each bucket, regardless of the information amount of text playback data related to playback of text data. It is possible to reduce the waiting time until.
  • the data transmission program according to appendix 14 is a data transmission program for performing a data transmission method of text transmission data for transferring and sequentially reproducing text reproduction data for reproducing text data by computer.
  • the text reproduction data includes a plurality of pieces of text data obtained by dividing text data, and a text header data including reproduction start information for starting reproduction of the text data.
  • the data transmission method of the text transmission data includes: a creation step of creating a payload portion of the text transmission data based on the text reproduction data; and a bucket by adding a header portion to each of the created payload portions. Toss And an additional step.
  • each payload section includes playback start information of the text header data.
  • the playback start information includes, for example, information such as the layout of the text data (display area, relative position with other media such as video), the layer (the hierarchical relationship with other media), the playback time, and the like. This is the information needed to start playback.
  • playback can be started sequentially in packet units, regardless of the information amount of text playback data associated with text data playback. This makes it possible to reduce the waiting time until the start of playback.
  • the data transmission method for text transmission data is a data transmission method for text transmission data for transferring text reproduction data for text data reproduction and sequentially reproducing the data.
  • the text data includes a plurality of pieces of text data obtained by dividing text data, and text header data including information for reproducing the text data.
  • the method includes a creating step of creating a payload section based on the data for text reproduction, and an adding step of adding a header section to each created payload section to make a bucket.
  • the text transmission data is composed of a plurality of the packets.
  • the divided text data is arranged in the order of display in each packet. Further, the packet has reproduction time information of each fragment text data.
  • the second bucket includes the divided text data whose reproduction time information overlaps with the divided text data of the preceding first bucket.
  • the reproduction time information is information composed of the reproduction time of the fragment text data arranged first in the packet and the reproduction time of each fragment text data, or the reproduction time of each fragment text data. Information.
  • the second bucket and the first packet before it include fragmented text data with overlapping reproduction time information. That is, it is allowed to transmit the fragmented text data having the reproduction time information overlapping in different packets a plurality of times. This allows the transmission of text transmission data It is possible to increase the tolerance to the error.
  • the text transmission data data transmission device is a text transmission data data transmission device for transferring and sequentially reproducing text reproduction data for text data reproduction.
  • the data includes a plurality of divided text data obtained by dividing text data, and text header data including information for reproducing the divided text data.
  • a creating means for creating a payload section based on the text reproduction data and an adding means for adding a header section to each created payload section to make a bucket.
  • Text transmission data is composed of multiple packets.
  • the fragment text data is arranged in the display order in each packet.
  • the packet has reproduction time information of each of the divided text data.
  • the second packet includes the fragmented text data in which the reproduction time information overlaps with the fragmented text data of the preceding first bucket.
  • the reproduction time information is information composed of the reproduction time of the fragment text data arranged first in the packet and the reproduction time of each fragment text data, or the reproduction time of each fragment text data. Information.
  • the second bucket and the first packet before it include fragmented text data with overlapping reproduction time information. That is, it is allowed to transmit the fragmented text data having the reproduction time information overlapping in different packets a plurality of times. As a result, the error tolerance of the data for text transmission can be improved.
  • the data transmission program according to Supplementary Note 17 is a data transmission program for performing a data transmission method of text transmission data for transferring and sequentially reproducing text reproduction data for reproducing text data by computer.
  • the data for text reproduction includes a plurality of pieces of text data obtained by dividing the text data, and text header data including information for reproducing the text data.
  • the data transmission method for text transmission data includes a creation step of creating a payload section based on the text reproduction data, and an addition step of adding a header section to each created payload section to form a bucket. ing.
  • Texture The data for strike transmission is composed of a plurality of packets.
  • the fragment text data is arranged in the display order in each packet. Further, the packet has reproduction time information of each fragment text data.
  • the second packet includes the fragmented text data in which the reproduction time information overlaps with the fragmented text data of the preceding first bucket.
  • the reproduction time information is information composed of the reproduction time of the fragment text data arranged first in the packet and the reproduction time of each fragment text data, or the reproduction time of each fragment text data. Information.
  • the second packet and the first bucket before it contain fragmented text data with overlapping reproduction time information. That is, it is allowed to transmit the divided text data having the reproduction time information which is duplicated in different packets a plurality of times. Thereby, the error tolerance of the data for text transmission can be improved.
  • streaming transmission data having the transmission data structure described in the above embodiment may be considered as a bucket.
  • the packet when performing packet transmission, if the MTU (Maximum Transmission Unit), which is the maximum data size of one packet, is specified, the packet may be divided during transmission. For example, if a packet is transmitted with a size that exceeds the MTU of the IP layer, the transmitted packet is divided at the IP layer during transmission. However, in transmission where packet loss can occur (for example, RT PZUD PZ IP transmission), there is no error compensation for packet loss, and if some of the packets divided in the IP layer are lost, it will affect the reproduction of the entire bucket. May be given.
  • MTU Maximum Transmission Unit
  • the fourth and fifth embodiments provide a packet data structure that is resistant to bucket loss when streaming playback data including text data with modification information is transmitted.
  • the fourth implementation It is an object to provide a data reproducing apparatus for reproducing bucket data having the bucket data structure described in the embodiment or the fifth embodiment.
  • a bucket data structure, a data reproducing device, and a data multiplexing device according to a fourth embodiment of the present invention will be described with reference to FIGS.
  • a data reproducing method and a data multiplexing method will be described.
  • a sequence when a bucket having the bucket data structure of the present invention is transmitted (RTP ⁇ RTSP sequence); (2) a packet data structure of the present invention transmitted by this sequence; (3) A data reproducing apparatus and a data reproducing method for a packet having this packet data structure, and (4) a data multiplexing apparatus and a data multiplexing method for a bucket having this packet data structure will be described in this order.
  • the alphanumeric characters added to the end of the reference numerals are assigned according to the following rules.
  • the numeral [0] is assigned to a basic packet and elements constituting the basic bucket, which will be described later (for example, FIG. 26, basic packet Pt0, etc.).
  • the number [0] is added to the text sample before division and the elements constituting the text sample, which are the basis for explaining the packet data structure of the present invention (for example, FIG. 26, text sample T s 0).
  • Other alphanumeric characters indicate the number of buckets into which the basic text sample is divided (for example, Fig. 27, divided packet Pt1, etc.), and are attached to the elements that make up the packet. I have.
  • RTP Real Time Transport Protocol
  • RTP Real Time Streaming Protocol
  • SDP Session Description Protocol
  • RTP is a multimedia stream specified in RFC 1889 of the Internet Engineering Task Force (IETF). Packet format.
  • RTSP and SDP are multimedia streaming control protocols specified in RFC2326 and RFC2327, respectively.
  • a web browser provided in a client CL such as a personal computer
  • a client CL such as a personal computer
  • HTML Hyper Text Markup Language
  • the client CL requests the HTML file.
  • the server SV issues a response R1 (HTTP / 1.0 OK) indicating that the command C1 has been acknowledged to the client CL, and transmits HTML data. (Session S1).
  • the client CL issues a command C2 requesting detailed information about the MP4 file.
  • the server SV issues a response R2 (RTS P / 1.0 OK) indicating that the command C2 has been acknowledged to the client CL, and the SDP data including the detailed information is supplied to the client SV (session S2 ).
  • the client CL issues commands C31 to C33 requesting to prepare to provide each track of the MP4 file based on the description of the received SDP.
  • the server SV issues responses R31 to R33 (RTS P / 1.0 OK) indicating that the commands C31 to C33 are accepted as soon as the media data is ready to be provided (session S3).
  • the client CL issues a command C4 requesting provision of all media data.
  • the server SV issues a response R4 (RTS P / 1.0 OK) indicating that the command C4 has been acknowledged (session S4).
  • RTP packet includes a bucket having a bucket data structure of the present invention described later.
  • the client CL requests the end of the session when ending the session Issue the command C 5
  • the server SV issues a response R5 (RTS P / 1.0 OK) indicating that the command C5 has been acknowledged, and the session is terminated (session S5).
  • a bucket having a packet data structure of the present invention transmitted as an RTP packet will be described with reference to FIGS.
  • the basic bucket P t0 shown in FIG. 26 is basically used.
  • the basic bucket Pt0 has a payload section PIO and a header section Hd0.
  • the payload section P10 includes a text sample Ts0.
  • the text sample T s0 has the same structure as the text samples 3060, 3061, ⁇ ⁇ ⁇ shown in FIG. 55, and is composed of a text length TI 0, a text TxO, and a modifier Md 0. ing.
  • the text length TI0 stores the data length of the text TX0 (value [TL] in the figure).
  • Text TX0 is composed of text body TdO and byte order mark BmO.
  • the modifier MdO is modification information of the text body Td0, and has one or more modifier boxes Mb0, ⁇ ⁇ '.
  • the modifier box Mb 0, 1 ⁇ 2 ⁇ is information for using a modification effect on the text body T d0.
  • the modifier box Mb 0 further includes a box size SzO of the modifier box Mb 0, a qualification type Ty 0, and a plurality of records Mr 0, ''.
  • the structure of the modifier box Mb 0 depends on the modification type described by the modification type T y 0. The structure of the modifier box Mb0 will be described later in detail.
  • the header section HdO includes an RTP header R h0 and a sample header S h0.
  • the header 1 ⁇ 0 has a header format used in the RTP, and includes a sequence number Sn0, a time stamp Tsp0, a marker bit M0, and the like.
  • the sample header ShO describes a sample length SI ⁇ , a sample index S id 0, and a sample duration S dr 0. ing.
  • the sample length SI ⁇ ⁇ stores the data length of the text sample T s 0 (value [SL] in the figure).
  • the sample index S id 0 is information describing the association between the text sample T s 0 and the sample description 3 040 (see FIG. 55) transmitted as SDP data.
  • the sample duration S dr0 is information on the playback time of the text sample T s0.
  • RTP in-band transmission When using Timed Text by streaming transmission, it is also possible to transmit all data contents as an RTP bucket (RTP in-band transmission).
  • RTP in-band transmission a part of the data corresponding to the header portion 31010 of the MP4 file 3000 (see FIG. 55) is notified as SDP data in the session S2 described with reference to FIG. Out-band transmission).
  • data corresponding to the track header 3030 and the sample description 3040 of the header section 3010 is transmitted as SDP data during setup.
  • information about whether or not a transmitted RTP packet includes a divided bucket described later is notified.
  • the data size of the basic bucket Pt0 may exceed the MTU (Maximum Transmission Unit) of the transmission path and may be divided during transmission. If it is determined that there is a possibility of being split during transmission, the text sample T s0 is split, and information for reproducing the split text sample T s0 is added. Is transmitted as a divided bucket having a size not exceeding.
  • the outline of the divided bucket will be described by exemplifying a case where the text sample T s0 having the same structure as that described with reference to FIG. 26 is divided.
  • the text sample T s0 is divided into two (more specifically, the TxO of L0 byte is divided into L1 byte and L2 byte), and each is divided into buckets Pt1, Pt. 2 is stored.
  • the number of divisions is arbitrary and determined by the MTU of the transmission path.
  • the fragmented packets Pt1 and Pt2 have payload portions P11 and PI2 and header portions Hd1 and Hd2, respectively.
  • the payload part P 11 and PI 2 are respectively divided text samples T s 0 It has divided text samples Ft1 and Ft2.
  • the header portions Hd1 and Hd2 have the same structure as that of the header portion Hd0 of the basic packet PtO (see FIG. 26), and further include divided headers Fh1 and Fh2. That is, the header portions Hd1 and Hd2 include RTP headers Rh1 and Rh2, sample headers Sh1 and Sh2, and split headers Fh1 and Fh2.
  • the marker bits M 1 and M 2 of the RTP headers Rh 1 and Rh 2 store the values [0] and [1], respectively.
  • the user can variously define the value of the marker bit.
  • the marker bit stores the value [1]. Therefore, in the basic packet Pt0 and the fragmented packet Pt2, the marker bits M0 and M2 store the value [1], respectively.
  • the marker bit Ml is the value [0]. Is stored.
  • the sample length S In 0 of the basic bucket P t 0 stores the data length of the text sample T s 0 (value [SL] in FIG. 26).
  • the values [0] are stored in the sample lengths SIn1 and SIn2, respectively. Based on this value [0], it is determined that the fragmented packets Pt1 and Pt2 include the fragmented text samples Ft1 and Ft2.
  • the fragmented packets Pt1 and Pt2 are provided with the fragment header Fh1 and "112, which contain information necessary for reproducing the guide parts I1 and PI2, and are independent of other buckets. Therefore, the information included in the segment headers Fh1 and Fh2 depends on the information included in the segmented text samples Ft1 and Ft2, that is, the text sample Ts Information to be included in the division headers Fh1 and Fh2 is determined depending on which part of 0 is divided as a boundary.
  • the division header of the division bucket according to the present invention which divides and stores a text sample into a plurality of pieces, can store the following four pieces of information, respectively.
  • the four types of information are: (a) the character code identification information of the text body, (b) the start position information of the modifier or modifier box, and (c) the text body of the text included in the divided text sample. Information on the part including the character after the whole of the text body, and (d) information stored for playback of the divided modifier box.
  • the information (a) to (d) stored in each fragment header will be described while describing the structure of the fragment packet.
  • the fragmented packet described below has the same structure as the fragmented packets Pt1 and Pt2 described in FIG. 27, and thus the description of the detailed structure will be omitted.
  • the method of dividing the text sample T s0 described below is an example for explaining the information of (a) to (d), and the division is not limited to this method.
  • the text sample T s0 has a dividing boundary in the text body T d0.
  • Each of the fragmented packets Pt1 and Pt2 has a fragmented text body Td0.
  • the division bucket Pt2 stores the character code information U2 of the text body Td0 in the division header Fh2.
  • Character code information U 2 is a 1-bit flag for identifying the character code of the text body TdO. For example, a value [1] indicates UTF-16 BE and a value [0] indicates UTF-8 .
  • the character code information U2 is provided in the divided packet Pt2 including the divided text body Td0, but is not necessarily included in the divided packet Pt1 including the head of the text TX0. No need.
  • the text sample T s0 has a division boundary in the text body T d0.
  • the fragment packet P1: 1, Pt2 has a fragmented text body Td0.
  • the fragmented packet Pt2 includes a modifier pointer Mbp2 and a modifier pointer length MI2 as information for indicating the starting position of the modifier Md0 in the fragmentation header Fh2.
  • the modifier pointer M bp 2 is the starting position of the modifier M d0 in the pay mouth PI 2, that is, in FIG. 29, the divided text body F td which is a part of the divided text body T d0.
  • the data length of 2 (value [X 1] in the figure) is stored.
  • the modifier pointer length MI2 specifies the data length of the modifier pointer Mbp2 by, for example, 2 bits.
  • the text indicator T 2 is a 1-bit flag for identifying that the divided bucket P t 2 includes a part of the text TX 0, and includes the fragmented text body F td 2, so that, for example, the value [1 ] Is stored.
  • the data reproducing device that has obtained only the divided bucket Pt2 has the modifier M that the divided bucket Pt2 has The start position of d0 is identified, and the modifier Md0 can be reproduced. Further, the data reproducing device prevents the modifier M d0 from being erroneously reproduced as a part of the text body T d0.
  • the modifier pointer length MIp2 may not be provided, and the data length of the modifier pointer Mbp2 may be a fixed data length.
  • the divided bucket Pt2 shown in FIG. 29 may include the character code information of the text body Td0. Then, the description is omitted.
  • the text sample T s 0 is stored in the modifier box M b 0 And has a dividing boundary.
  • the fragment packet PtN includes a fragment modifier box FmbN and a modifier box Mb1 which are part of the fragmented modifier box Mb0.
  • the division bucket PtN stores, in the division header FhN, a modifier pointer MbpN, a modifier pointer length MIN, and a text indicator TN as information for indicating the start position of the modifier box Mb1. I have.
  • the modifier pointer Mb pN stores the start position of the modifier box Mb1 in the payload portion PIN, that is, in FIG. 30, the data length (the value [X2] in the figure) of the divided modifier box FmbN.
  • the modifier pointer length M IN specifies the data length of the modifier pointer Mbp N in two bits.
  • the text indicator TN is a 1-bit flag for identifying that the fragmented packet PtN includes a part of the text TX0, and does not include T ⁇ . For example, the value [0] is stored. are doing.
  • the modifier box of the divided bucket PtN may be used in the data reproducing apparatus that has acquired the divided packet PtN.
  • the start position of Mb 1 is identified, and the modifier box Mb 1 can be reproduced.
  • the modifier packet Mb1 is not modified for the divided packet. Can be used.
  • the data reproducing apparatus based on the text indicator TN, it is prevented that the divided modifier box Mb0 is erroneously reproduced as the text body Td0.
  • the division buckets obtained by the variation of division of the text sample Ts0 can be classified into five types, division type A to division type E, based on information that the division bucket has in the payload portion. (Split type A)
  • the division bucket of the division type A is a division bucket that includes only part or all of the text T X0 or that includes the beginning of the text sample T s0. For example, five fragmented packets PtA indicated as [TypeA] in FIG. 31 correspond to this.
  • the division header FhA of each division bucket PtA has a text indicator TA and a modifier pointer length MIA.
  • the text indicator T A stores, for example, the value [1], indicating that the fragment packet P t A includes a part of the text T X0.
  • the modifier pointer length MIA specifies the data length of the modifier pointer MbpA as 0 bits by a 2-bit bit string. This indicates that the fragment header Fh A does not include the modifier pointer Mb p A.
  • the fragmented packet PtA is a bucket in which the boundary between the text TX0 and the modifier Md0 can be determined from the text length TI0 placed immediately before the text TX0, or the text TX0 and the modifier Md This bucket does not include the boundary with 0.
  • the fragmentation packet of the fragmentation type B is a fragmentation packet including a part of the text TxO and a part or all of the modifier Md0. That is, the division bucket of the division type B is a division bucket that does not include the head of the text sample Ts0. For example, three divided buckets PtB designated as [TypeB] in FIG. 31 correspond to this.
  • the fragment header F hB of each fragment packet P t B has a text indicator TB, a modifier pointer length MI, and a modifier pointer Mb p B.
  • the text indicator TB stores, for example, the value [1], indicating that the fragmented packet PtB includes a part of the text TX0.
  • the Modifier Pointer Length MIB specifies the data length of the Modifier Pointer MbpB in a 2-bit bit string, for example, 8, 16, or 32 bits.
  • the modifier pointer Mb pB is used to modify the bit string of the data length specified by the modifier pointer length MIB. Indicates the position of Md 0.
  • fragment header FhB of the fragment packet PtB may include character code information of the text body Td0, as described with reference to FIG. 28 in (a).
  • the fragmentation packet of the fragmentation type C is a fragmentation packet that includes only one part of the modifier box Mb 0, 1, 2, and does not include the head of the modifier box Mb 0, 2, 1 ′. is there. In other words, it is a divided bucket that does not include the text TxO and does not include the head of the modifier box Mb0,1 '.
  • the divided bucket PtC designated as [TypeC] in FIG. 31 corresponds to this.
  • the division header FhC of the division bucket PtC has a text indicator TC and a modifier pointer length MIC.
  • the text indicator TC stores, for example, the value [0], indicating that the fragmented packet PtC does not include a part of the text TX0.
  • the modifier pointer length MIC specifies the data length of the modifier pointer MbpC as 0 bits using a 2-bit string. This indicates that the fragment header F h C does not include the modifier pointer Mb p C.
  • the fragmentation packet of the fragmentation type D is a fragmentation packet that includes only a part of the modifier box Mb0, ' ⁇ ', and includes the head of the modifier box Mb0, ' ⁇ '.
  • the divided bucket PtD designated as [TypeD] in FIG. 31 corresponds to this.
  • the division header FhD of the division bucket PtD has a text indicator TD, a modifier pointer length MID, and a modifier pointer MbpD.
  • the text indicator TD stores, for example, the value [0], indicating that the split bucket PtD does not include a part of the text TX0.
  • the Modifier Pointer Length MID indicates the data length of the Modifier Pointer MbpD in a 2-bit string, for example, any of 8, 16, and 32 bits. Specify crab.
  • the modifier pointer Mb p D indicates the head position of the modifier box MbO. ⁇ 'by a bit string having a data length specified by the modifier pointer length MID.
  • the division bucket of division type E is a division packet that includes the head of the modifier box Mb0, ⁇ ', at the beginning of the band, among the division buckets of division type D.
  • the divided packet P t E designated as [Type e E] in FIG. 31 corresponds to this.
  • the fragment header FhE of the fragment packet PtE has a text indicator TE, a modifier pointer length MIE, and a modifier pointer MbpE.
  • the text indicator TE stores, for example, the value [0], indicating that the segmentation bucket P t E does not include a part of the text T X0.
  • the modifier pointer length MIE specifies the data length of the modifier eye pointer MbpE in a 2-bit bit string, for example, to any of 8, 16, and 32 bits.
  • the modifier pointer Mb p E indicates a value [0] by the bit string of the data length specified by the modifier pointer length MIE, and includes the beginning of the modifier box Mb 0, ⁇ ⁇ ⁇ at the beginning of the payload section PIE.
  • the text sample T s0 has a division boundary in the text body T d0.
  • the divided buckets Pt1 and Pt2 have the divided text bodies Ftd1 and Ftd2, which are the divided text bodies Td0.
  • the division bucket Pt2 stores a character offset SGo2 and a character offset length SI2 in the division header Fh2.
  • the character offset S co 2 stores the number of characters after the divided text body F td 2 included in the divided text sample F t 2 in the text body T d 0 in units of the number of characters. Value of [X3]).
  • the character offset length SI2 specifies the data length of the character offset Sc02 with, for example, 2 bits.
  • the modifier M d0 the modification of the text body T d0 is specified in units of the number of characters, not in units of bytes.
  • the data reproducing device that has obtained only the fragmented bucket Pt2 modifies the fragmented text body Ftd2 of the fragmented bucket Pt2 with the modification. It is possible to apply the modifier effect of M d 0.
  • the character offset S c02 may be stored as a byte unit where the divided text body Ftd2 included in the divided text sample Ft2 is located in the entire text body Td0.
  • the data reproducing device that has obtained the fragmented packet Pt2 analyzes the modifier Md0, and derives the range of the fragmented text body Ftd2 to which the modification effect is to be applied.
  • accurate character positions cannot be detected from byte-level information, but some estimates are possible. For example, in the case of encoding with UTF-16, one character is fixed at 2 bytes, so that the character position can be obtained by halving the byte position.
  • the character offset S c 0 2 is provided in the divided bucket Pt 2 including the divided text body F td 2, but is not necessarily provided in the divided bucket P t 1 including the head portion of the text TX 0. There is no.
  • fragment packet Pt2 may include the character code information, the modifier pointer, the modifier pointer length, and the text indicator described in (a) and (b).
  • the modifier box M b M is the modifier size that describes the modifier effect on the box size S z M of the modifier box M b M and the text body T d 0 It contains a type T y M and a plurality of records M r M 1, Mr M 2, and “ ⁇ ” that describe the scope of the modification effect.
  • the text sample T s0 has a division boundary in the record Mr M2 of the modifier box M b M, which is the M-th modifier box.
  • the fragmented packets PtN-1 and PtN each have a part of the divided modifier box MbM.
  • the division bucket PtN is composed of a box division flag BN, a sync offset SON, a sink offset length S0IN, an extension byte EXN, an extension byte length EXIN, and an atom type A in the division header FhN. t N is stored.
  • the box division flag BN is a flag for indicating that the division bucket PtN has a divided modifier box MbM, stores the value [1] in the figure, and stores the divided modifier box MbM in the figure. Indicates the presence of M.
  • the sink value offset SoN stores the start position (value [X5] in the figure) of the partially usable record MrM3 of the divided modifier pos MbM of the divided bucket PtN. .
  • the sync offset length SoIN specifies the data length of the sync offset SoN, for example, as a 2-bit bit string.
  • the extension byte EXN describes the information necessary to play the divided modifier box MbM included in the divided bucket PtN. The details of the information will be described later with reference to FIGS.
  • the extension byte length Ex IN specifies the data length of the extension byte EX N by, for example, a 3-bit bit string.
  • the atom type At N is a modification type of the modifier box MbM, and describes the same contents as the modification type
  • the data reproduction obtained from the divided bucket PtN can decode the divided modifier box MbM of the division bucket PtN using the atom type AtN and the extension byte EXN stored in the division header FhN. Also, for example, if the fragmented packet PtN-1 is lost during transmission, the data reproducing device that has acquired the fragmented packet PtN will It is possible to identify the head position of the record KMrM3 of the record PtN and use the modification information.
  • T s 0 is divided in the record KM r M2
  • the effect of the present invention is not limited to this case. More specifically, the division may be performed on a box size SzM, a modification type TyM, or another record MrM1, Mr Mr3, ⁇ ⁇ '.
  • the modifier boxes specify the karaoke, character style, and hypertext decoration, respectively.
  • the text sample T s0 has a division boundary in the M-th modifier box, the modifier box Mb M.
  • Modifier box MbM modifies the text T d0 in karaoke style.
  • the fragmented packets PtN-1 and PtN have a fragmented modifier box MbM.
  • the karaoke style modifier box MbM has a box size SzM, a modified type TyM, a start time, an end count, and entries En 1 to En 5.
  • the box size SzM is the data length of the modifier box MbM.
  • the qualification type TyM stores a bit string indicating [krok] to indicate that the modifier box is a force rake.
  • the start time specifies the qualification start time.
  • the entry count specifies the number of entries in the modifier box MbM.
  • Entries En1 to En5 each have a karaoke modification end time and information specifying a character to be modified.
  • the modification by each entry En 2 to En 5 is applied to the specified character from the modification end time of the immediately preceding entry En 1 to En 4 to its own modification end time (
  • the qualification by the entry En 1 is applied from the qualification start time specified by the start time to its own qualification end time.
  • the split bucket PtN has entries En3 to En5 in the payload section PIN. ing. That is, the modifier box MbM is divided at the boundary between the entry En 2 and the entry En 3.
  • the division header FhN includes a box division flag BN, an atom type At N, an extension byte length EXIN, and an extension byte Ex N.
  • the box division flag BN stores, for example, a value [1], and indicates that the division bucket PtN has a modified modifier box MbM.
  • the atom type At N stores a bit string indicating [kr ok] to indicate that the modification type of the divided modifier box M bM is karaoke.
  • the extension byte length EXIN specifies the data length of the extension byte EXN using, for example, a 3-bit bit string.
  • the extension byte EXN stores the modification end time of the force rake that is not included in the fragmented packet PtN due to the fragmentation.
  • the data playback device that has acquired the divided bucket PtN stores the entries En3 to En5 of the divided bucket PtN. It becomes possible to analyze as a karaoke style. Further, in this data reproducing apparatus, it is possible to determine the modification start time for the entry En3 by referring to the information stored in the extension byte EXN included in the divided header FhN.
  • the text sample T s 0 has a division boundary in the M-th modifier box, the modifier box M b M.
  • Modifier box MbM changes the text style of text TX0.
  • the divided packet PtN-1 and PtN have the divided modifier box MbM. I have.
  • the character style modifier box MbM has a box size SzM, a qualifying type TyM, an entry count, and an entry En "! ⁇ En5.
  • the box size SzM is the data length of the modifier box MbM.
  • the modification type TyM stores a bit string indicating [sty I] to indicate that the modifier box MbM is a character style.
  • the entry count indicates the number of entries in the modifier box MbM.
  • Each of the entries En 1 to En 5 has information for specifying a range to which the character style is applied, a font style, a font size, and the like.
  • the divided bucket PtN has entries En3 to En5 in the payload section PIN. That is, the modifier box MbM is divided at the boundary between the entry En 2 and the entry En 3.
  • the division header FhN includes a box division flag BN, an atom type AtN, and an extension byte length EXIN.
  • the box division flag stores, for example, the value [1], and indicates that the division packet PtN has the modified modifier box MbM.
  • the atom type A t N stores a bit string indicating [sty I] to indicate that the modification type of the divided modifier box MbM is a character style.
  • the extension byte length Ex IN specifies the data length of the extension byte E xN by, for example, a 3-bit bit string. In the character style, the value [0] is stored because there is no information that needs to be stored in the extension byte Ex N.
  • the entries En3 to En5 provided in the divided bucket PtN are set in the character style. Can be analyzed as
  • the text sample T s0 has a division boundary in the M-th modifier box, the modifier box MbM.
  • Modifier box MbM modifies text T d0 with hypertext style You.
  • the fragmented packets PtN-1 and PtN have fragmented modifier boxes MbM.
  • the hypertext modifier box Mb M has a box size S z M, a qualification type TyM, a range of strings S cM and EcM to which the hypertext link applies, a URL path U r IM to be linked,
  • the split bucket PtN that includes a URL length U rM that specifies the data length of the URL path, an ALT attribute AI tM that specifies the alternative text, etc., and an ALT length AIM that specifies the data length of the ALT attribute
  • Payload part PIN has ALT attribute AI tM and ALT length AIM.
  • the division header FhN includes a box division flag BN, an atom type AtN, an extension byte length EXIN, and an extension byte ExN.
  • the box division flag BN stores, for example, the value [1], and indicates that the fragment packet PtN has a modified modifier box MbM.
  • the atom type A t N stores a bit string indicating [hr e f] to indicate that the modification type of the divided modifier box MbM is hypertext.
  • the extension byte length EXIN specifies the data length of the extension byte EXN using, for example, a 3-bit bit string.
  • the extension byte ExN stores a range of a character string to which the ALT attribute which is not included in the fragmented packet PtN due to the fragmentation is applied. That is, the extension byte Ex N stores information on the character string ranges S c M and E c M to which the hypertext link of the modifier box MbM is applied.
  • ALT attribute AltM of the divided bucket PtN ALT length AIM can be analyzed as a hypertext style. Furthermore, it is possible to determine the range of the character string to which the ALT attribute is applied.
  • the divided header has the entire information of (a) to (d) at once.
  • FIG. 37 shows an example of the structure of the header portion HdN of the divided bucket PtN.
  • the arrangement of each information is an example, and is not limited to this.
  • the header portion H d N of the fragment packet P t N includes a header ⁇
  • whether or not the divided bucket PtN includes the last data of the text sample Ts0 in the payload PIN is identified by the value of the magic bit MN.
  • the critical bit MN stores the value [0], and indicates that the divided bucket PtN does not include the last data of the text sample Ts0 in the payload portion.
  • the value [0] is stored in the sample length S InN, and it is determined that the divided bucket PtN includes the divided text sample Ts0.
  • the fragment header FhN includes the information described in (a) and (b) above.
  • a flag indicating that a divided text sample is included may be included in the divided bucket, and this flag may be used to determine that the divided bucket includes the divided text sample.
  • the character code of the text body is identified by the character code information that is a 1-bit flag”.
  • a byte order mark (BOM) containing a text sample may be further stored in the fragmented packet. For example, repeat the BOM for all fragmented packets.
  • the BOM may be stored at the beginning of the text body of the fragment packet, or may be stored in a storage area provided in the fragment header.
  • the BOM has a variable length (0 bytes, 2 bytes, 4 bytes)
  • information describing the data length of the BOM may be further provided. Even when stored at the beginning of the text body, the data length of the BOM is Is described, the BOM at the beginning of the text can be determined more reliably.
  • a data reproducing apparatus and a data reproducing method for reproducing the RTP bucket having the above data structure will be described with reference to FIGS. 38 and 39.
  • FIG. 38 shows a block diagram of a data reproducing device 710 for reproducing an RTP bucket having the data structure described in (2) ⁇ Data structure of RTP packet>.
  • the data reproducing device 710 includes an RTP receiving section 711, a basic header analyzing section 712, a segmented header analyzing section 713, a decoder section 714, and a display section 715.
  • the data reproducing device 710 is a computer, mobile phone, PDA (personal digital) that reproduces Time Text based on RTP packets transmitted from RTP transmitting devices 725 and 728 (see FIG. 40) described later. assistant).
  • the RTP receiving section 711 receives the RTP bucket transmitted from the RTP transmitting apparatuses 725 and 728, and temporarily stores the RTP bucket in the basic header analyzing section 712.
  • the basic header analysis unit 712 obtains a sequence number, a time stamp, a marker bit, and the like from the RTP header of the stored RTP bucket. Further, the basic header analyzer 712 obtains the value of the sample length from the sample header of the stored RTP packet. The basic header analysis unit 712 determines the presence of the RTP packet lost during transmission based on the sequence number. Further, the basic header analysis unit 712 determines whether or not the RTP packet includes a text sample by dividing it based on the value of the sample length. Further, basic header analysis section 712 sends an RTP bucket to decoder section 714 according to the time stamp.
  • the basic header analysis unit 712 divides the RTP packet. It is sent to the header analysis unit 713.
  • the split header analyzing unit 713 analyzes the split header of the obtained RTP bucket. That is, from the divided header having the structure shown in FIG. Information such as data, character code information, modifier pointer, character offset, box division flag, sync offset, extension byte, and atom type. Since such information has been described in the above (2) ⁇ Data structure of RTP packet>, the description is omitted.
  • the decoder unit 714 decodes the payload portion of the RTP packet based on the analysis result of the fragment header analysis unit 713 for the RTP bucket whose fragment header has been analyzed.
  • the decoded payload section is displayed on display section 715.
  • this data reproducing apparatus 710 for any of a plurality of RTP packets including a single text sample divided, if any of the RTP packets is lost during transmission, the divided header of the obtained RTP packet is Based on the information possessed, it is possible to reproduce the payload part of the obtained RTP packet.
  • FIG. 39 shows a flowchart for explaining a data reproducing method for reproducing an RTP bucket having the data structure described in (2) Data structure of RTP packet>.
  • the RTP header and the sample header of the RTP bucket are analyzed.
  • the value of the sample length of the sample header is deciphered (step S710), and it is determined whether or not the RTP packet includes the divided text sample (step S711).
  • the RTP bucket is decoded (step S715).
  • the presence or absence of a packet lost during transmission is determined based on the sequence number provided in the RTP header of the RTP packet (step S712). (Step S713).
  • a plurality of RTP packets including the divided text samples are decoded at a time (step S715). If it is determined that there is a packet lost during transmission, the split header of each RTP packet is analyzed, and the information necessary to play the split text sample of each RTP packet is obtained. Then, based on the acquired information, each RTP packet is decoded (step S715).
  • the obtained RTP packet is Based on the information contained in the fragment header, it is possible to reproduce the payload portion of the obtained RTP packet.
  • a data multiplexing device and a data multiplexing method for creating an RTP bucket having the data structure described in (2) ⁇ Data structure of RTP bucket> will be described with reference to FIGS. 40 and 41.
  • FIG. 40 shows a block diagram of a data multiplexing apparatus 720 for creating an RTP bucket having the data structure described in the above (2) Data structure of RTP packet>.
  • the data multiplexing device 720 includes a storage unit 721 in which the Time Text is stored, an ES analysis unit 722 that analyzes the Time Text and obtains information necessary for multiplexing, It comprises a split header generation unit 723 for generating a header and a basic header generation unit 724 for generating a basic header.
  • the storage unit 721 stores media data in, for example, the MP4 file format (see FIG. 55).
  • the storage unit 721 has detailed information on files to be stored.
  • the ES analysis unit 722 acquires a track header, a text sample, a sample description, and a sample table from the storage unit 721. Based on the size of the text sample, estimate the size of the RTP bucket without splitting. If the estimated size exceeds the target size, it is determined that the text sample should be divided. If it is determined that division is to be performed, a text sample is sent to the division header generation unit 723.
  • the divided header generation unit 723 divides the acquired text sample so as to approach the size of the target RTP bucket. Further, information necessary for reproducing the divided text sample is stored in the divided header, and is added to the divided text sample.
  • the divided header and the divided text samples form a plurality of sets and are sent to the basic header creating unit 724.
  • the split header has, for example, the structure shown in FIG. 37, and has information depending on the content of the
  • the basic header creating unit 724 assigns a basic header to the undivided text sample and the divided text sample, and creates an RTP bucket.
  • the basic header is an RTP header and a sample header (see FIG. 26).
  • the value of the sample length of the sample header stores, for example, the value [0]. This indicates that the RTP packet with that basic header contains the fragmented text sample.
  • the marker bit of the RTP header stores, for example, a value [1]. .
  • the marker bit of the RTP header stores, for example, the value [0].
  • the RTP bucket created by the basic header creation unit 724 is sent to the RTP transmission device 725, and further transmitted to the data reproduction device 710 (see FIG. 38). Alternatively, it is sent to the transmission storage file creation unit 726.
  • the transmission storage file creation unit 726 creates a server storage file for transmission and stores it in the storage unit 727.
  • the RTP transmission device 728 analyzes the file stored in the server, converts it into an RTP packet, and transmits it to the data reproduction device 710 (see FIG. 38).
  • FIG. 41 shows a flowchart for explaining a data multiplexing method for creating an RTP bucket having the data structure described in (2) Data structure of RTP packet>.
  • the input T imed T ext is the track header, sample disk rib It is separated into a sample, a sample table and a text sample (step S720). Based on the size of the text sample, the size of the RTP packet without division is estimated, and it is determined whether or not the estimated size exceeds the target size (step S721). If it is determined that the estimated size does not exceed the target size, the text sample is not divided, and a basic header is added to form an RTP packet (step S724).
  • the text sample is divided (step S722).
  • the splitting process is performed so that the size of the RTP packet approaches the target size and the content of the remaining RTP packet can be displayed even if a part of the RTP bucket including the split text sample is lost.
  • a divided header is added to the divided text sample (step S723).
  • the split header stores the information necessary to play the split text sample.
  • a basic header is added to the divided text sample to which the division header is added (step S724).
  • the basic header is an RTP header and a sample header (see FIG. 26).
  • the value of the sample length of the sample header stores, for example, the value [0]. This indicates that the RTP bucket having the basic header includes the divided text sample.
  • the marker bit in the RTP header stores, for example, a value [1]. I have.
  • the marker bit of the RTP header stores, for example, the value [0].
  • a packet data structure, a data reproducing device, and a data multiplexing device according to a fifth embodiment of the present invention will be described with reference to FIGS.
  • a data reproducing method and a data multiplexing method will be described.
  • (1) a bucket data structure having flag information for minimizing the overhead of a divided header, and (2) a division state of a text sample can be identified. (3) a data reproducing apparatus and a data reproducing method for a packet having these packet data structures; and (4) a data multiplexing apparatus and a data multiplexing method for a packet having these packet data structures.
  • words that are not particularly defined are used according to the same definitions as in the fourth embodiment.
  • the character header information and the character offset length are unnecessary information in the divided header attached thereto, and the secured data area is useless. Become.
  • a 1-bit fragment header flag indicates that the split header includes any of character code information, character offset length, modifier pointer length, and box split flag.
  • the division header flag and the text indicator are stored as essential information of the division header.
  • the fragmented packet PtN includes a header portion HdN and a payload portion PIN.
  • the header section H d N is a header! ⁇ ! ⁇ , A sample header S h N, and a fragment header F h N.
  • the payload portion PIN includes a part of the text sample Ts0.
  • the fragment header F h N includes the above-described text indicator TN and the fragment header flag FN.
  • the information provided in the other areas of the split header F h N is determined by the combination of the text indicator TN and the split header flag FN. It is determined as shown in Figure 43.
  • the information provided in the other area of the fragment header F h N includes “[4th Embodiment] (2) Data structure of RTP packet> (iii) Summary of fragment header J (a) ⁇ It is any of the information in (d).
  • FIG. 43 shows information included in the fragment header FhN shown in FIG. 42 for the combination of the text indicator TN and the fragment header flag FN.
  • This relationship is logically derived from the definition of the text indicator TN and the division header flag FN based on the assumption that the beginning of the text sample T s 0 is the text length TI 0 and the text TX 0. Things.
  • the text indicator TN is represented by D
  • the fragment header flag FN is represented by F.
  • the fragment header FhN stores only two bits of the text indicator TN and the fragment header flag FN (see FIG. 43, columns (a) and (c)).
  • the column has the value [0] it indicates that the information does not exist.
  • the fragment header FhN contains the character code information, the character offset length, the modifier pointer length, the character offset, and the modifier pointer. (See Figure 43, column (b)).
  • the fragment header FhN has the modifier pointer length, the modifier pointer, the box division flag, the sync offset, and the sink.
  • information provided in the sample header Sh N shown in FIG. 42 can be expressed by a combination of the text indicator T N and the fragment header flag F N.
  • FIG. 44 shows a relationship between a combination of the text indicator TN and the fragment header flag FN and information included in the sample header S h N. This relationship is derived logically by the definition of the text indicator T N and the division header flag T N described above.
  • the sample header ShN stores a sample length SI nN, a sample index S id N, and a sample duration S dr N ( (See Figure 44, column (a)).
  • the sample header S h N stores the sample index S i dN and the sample duration S d r N (FIG. 44, column). (See (b)).
  • the data reproducing apparatus that has acquired the fragmented packet PtN, it is possible to acquire the values of the text indicator TN and the fragmented header flag FN and analyze the information included in the sample header ShN. That is, in the sample header ShN, it is not necessary to secure a data area for unnecessary information, and the bit efficiency of transmission data is improved.
  • the information provided in the other areas of the fragment header F h N is as follows: ⁇ [Fourth Embodiment] (2) Data structure of RTP packet> (i ⁇ i) Outline J of the fragment header
  • the information is described as a) to (d)
  • FIG. 43 is used except for a part relating to information not provided as a standard in the divided header.
  • marker bits MN provided in RTP header R hN By combining (see FIG. 42), the division state of the divided text sample T s0 of the divided packet PtN is determined as shown in FIG. 45.
  • the beginning of the text sample T s 0 is the text length TI 0 and the text TX 0, and in a division bucket including the beginning of the text sample, the division header does not include anything other than the text indicator and the division header flag. It is assumed that The marker bit MN is defined to indicate that the fragmented packet PtN includes the tail of the text sample Ts0.
  • Text Indicator TN! indicates the fragment header flag FN
  • M indicates the marker bit MN.
  • FIG. 46 shows a block diagram of a data reproducing apparatus 730 for reproducing an RTP packet (see FIG. 42) having the data structure described in the above (1) or (2). Since the configuration is almost the same as that of the data reproducing apparatus 710 shown in FIG. 38, the description will focus on the divided header analysis unit 733 which is the characteristic part.
  • the data reproducing device 730 includes a receiving unit 731, a basic header analyzing unit 732, a divided header analyzing unit 733, a decoder unit 734, and a display unit 735.
  • the data reproducing device 730 includes a computer, a mobile phone, and a PDA (personal digital assistant) that reproduces Time Text based on RTP packets transmitted from RTP transmission devices 745 and 748 (see FIG. 48) described later. ).
  • PDA personal digital assistant
  • the reception unit 731 receives the RTP bucket transmitted from the transmission units 745 and 748, and temporarily stores the RTP bucket in the basic header analysis unit 732.
  • the basic header analysis unit 732 determines the presence of the RTP bucket lost during transmission based on the sequence number. Here, for a plurality of RTP packets including a certain text sample divided, if any of the RTP packets is lost during transmission, the basic header analysis unit 732 divides the remaining RTP packets into divided headers. Transmitted to analysis unit 733.
  • the division header analysis unit 733 analyzes the division header of the RTP bucket obtained without loss. That is, the fragment header analysis unit 733 acquires the values of the text indicator and the fragment header flag, which are essential information for the fragment header. Further, based on the value, it is determined whether or not there is information on the divided header and the sample header shown in FIGS. 43 and 44, and the respective information is obtained.
  • the fragment header analysis unit 733 determines the fragmentation state of the text sample shown in FIG. 45 based on the combination of the value of the text indicator, the fragment header flag, and the marker bit.
  • the decoder unit 734 determines the decoding timing based on the information of the fragment header obtained by the fragment header analyzing unit 733 and the fragmentation state of the text sample. If the RTP packet is transmitted without loss, The TP packet is sent to the decoder 734 after being analyzed by the basic header analyzer 732, and is decoded.
  • FIG. 47 shows a flowchart for explaining a data reproducing method for reproducing an RTP packet having the data structure described in the above (1) or (2).
  • the RTP header of the RTP bucket is analyzed (step S730), and the presence or absence of a lost packet is determined based on the sequence number (step S731). At the same time, a bit of power is also obtained.
  • the RTP packet is decoded (step S733).
  • the fragment header is analyzed. Specifically, the values of the text indicator and the fragment header flag are obtained, and the presence or absence of the fragment header information shown in FIGS. 43 and 44 is determined based on the values. Further, respective information is obtained (step S732). Also at the same time text The division state of the text sample shown in FIG. 45 is determined based on the combination of the value of the indicator, the division header flag, and the marker bit.
  • the RTP bucket is decoded based on the information obtained in step S732 (step S733).
  • FIG. 48 shows a block diagram of a data multiplexing apparatus 740 for creating an RTP packet having the data structure described in the above (1) or (2).
  • the data multiplexing device 740 includes a storage unit 741 in which the Time Text is stored, an ES analysis unit 742 that analyzes the Time Text and obtains information necessary for multiplexing, It comprises a split header generation unit 743 for creating a header and a basic header generation unit 744 for generating a basic header.
  • the storage unit 741 stores the media data in, for example, the MP4 file format (see FIG. 55).
  • the storage unit 741 has detailed information on files to be stored.
  • the ES analysis unit 742 acquires the track header, the text sample, the sample description, and the sample table from the storage unit 741, and sends the text sample to the divided header generation unit 743.
  • the acquired text sample is divided so as to approach the target RTP bucket size. If the target RTP packet does not exceed the target RTP packet size without division, division is not performed. Also, information necessary for reproducing the divided text samples is stored in the divided header, and is added to the divided text samples. In addition, the split header flag and the text indicator are stored with appropriate values. On the other hand, for a text sample that has not been split, the split header flag and the text indicator are assigned with appropriate values. These pieces of information are sent to the basic header creating unit 744.
  • the basic header creating unit 744 adds a basic header to the undivided text sample and the divided text sample, and creates an RTP packet.
  • the basic header is an RTP header and a sample header (see Fig. 26).
  • the sample header is added based on the stored divided header flag and the text indicator (see FIG. 44).
  • the marker bit stores a value suitable for the division state of the text sample included in the pay mouth portion of the RTP bucket.
  • the RTP bucket created by the basic header creation unit 744 is sent to the RTP transmission device 745 and further transmitted to the data reproduction device 730 (see FIG. 46). Alternatively, it is sent to the transmission storage file creation unit 746.
  • the transmission storage file creation unit 746 creates a server storage file for transmission and stores it in the storage unit 747.
  • the transmission device 748 analyzes the file stored in the server, converts the file into an RTP packet, and transmits the RTP packet to the data reproducing device 730 (see FIG. 46).
  • FIG. 49 is a flowchart illustrating a data multiplexing method for creating an RTP packet having the data structure described in (1) or (2) above.
  • the input TimedText is separated into a track header, a sample disk description, a sample table, and a text sample (step S740).
  • the size of the RTP bucket without division is estimated, and if it is determined that the estimated size exceeds the target size (step S741), the text sample division processing is started. Is performed (step S742).
  • the division processing is performed at a position where the size of the RTP bucket including the divided text sample is approached and the contents of the remaining RTP bucket can be displayed even if a part of the RTP bucket including the divided text sample is lost.
  • a divided header is added to the divided text sample (step S743).
  • the split header stores information necessary for reproducing the split text sample, and a split header flag and a text indicator.
  • a basic header is added to the divided text sample to which the divided header has been added (step S745).
  • a text sample is provided with a division header flag and a text indicator (step S744). More text samples Is given a basic header (step S 745).
  • the basic header is an RTP header and a sample header.
  • a bucket data structure comprising: a header having division existence information indicating that the payload section includes the divided reproduction data, and division reproduction data reproduction information necessary for reproducing the division reproduction data.
  • a bucket data structure comprising:
  • the header section further includes first data length information indicating a data length of the character code information.
  • the character code information is a 1-bit flag for distinguishing the two types of the character codes.
  • a bucket data structure comprising:
  • the divided reproduction data includes at least a part of the text data and the decoration information arranged following at least a part of the text data, and the first position information includes the divided reproduction data.
  • the modification information includes a plurality of partial modification information
  • the divided reproduction data includes a divided part of the first partial modification information, and a second partial modification information arranged following the divided part of the first partial modification information.
  • the position information is a data length of a part of the first partial modification information divided,
  • the header section further includes text presence information indicating that the divided reproduction data includes at least a part of the text data.
  • the payload portion has second position information that is position information of the divided text data that is the divided text data included in the divided reproduction data in the text data.
  • a bucket data structure comprising:
  • the second position information includes position information of the divided text data in units of the number of characters of the text.
  • a header section having information indicating a modification type of the partial modification information included in the modification information, and having modification type information not included in the divided reproduction data;
  • a bucket data structure comprising:
  • a payout section having divided reproduction data that is a divided part of the reproduction data; unit modification information constituting partial modification information included in the modification information; and a first unit modification included in the divided reproduction data.
  • a header portion having third position information which is position information of the information,
  • a bucket data structure comprising:
  • the header section further includes second data length information indicating a data length of the third position information.
  • a header portion having unit modification information constituting partial modification information included in the modification information, and having second unit modification information not included in the divided reproduction data;
  • the header unit further includes third data length information indicating a data length of the second unit modification information
  • the text presence information indicates that the divided reproduction data includes at least a part of the text data
  • the reproduction information presence information indicates that the header section includes division reproduction data reproduction information necessary for reproducing the division reproduction data
  • the header section further includes divided reproduction data position information indicating that the divided reproduction data is data positioned at the end of the reproduction data.
  • a data playback device for playing back playback data from a bucket having the bucket data structure according to Supplementary Note 1 A data playback device for playing back playback data from a bucket having the bucket data structure according to Supplementary Note 1,
  • Division determination means for determining from the division existence information that the payload section includes the divided reproduction data
  • a data reproducing unit that reproduces the divided reproduction data from the divided reproduction data reproduction information based on a determination result of the division determination unit
  • a data reproducing device comprising:
  • Character code discriminating means for discriminating a character code of the divided text data included in the divided reproduction data from the character code information
  • Data reproducing means for reproducing the divided reproduction data based on a result of the determination by the character code determining means
  • a data reproducing device comprising:
  • First position information acquiring means for acquiring position information of the decoration information in the divided reproduction data from the first position information
  • a data reproducing unit that reproduces the divided reproduction data based on the position information obtained by the first position information obtaining unit
  • a data reproducing device comprising:
  • the divided text data included in the divided reproduction data is obtained from the second position information.
  • a data reproducing unit that reproduces the divided reproduction data based on the position information acquired by the second position information acquiring unit;
  • a data reproducing device comprising:
  • Decoration type obtaining means for obtaining, from the decoration type information, a decoration type of the partial decoration information included in the divided reproduction data
  • Data reproducing means for reproducing the divided reproduction data based on the decoration type obtained by the decoration type obtaining means;
  • a data reproducing device comprising:
  • First unit modification information acquiring means for acquiring the first unit modification information from the third position information
  • a data reproducing unit that reproduces the reproduction data based on the first unit modification information acquired by the first unit modification information acquiring unit;
  • a data reproducing device comprising:
  • Second unit decoration information obtaining means for obtaining the second unit decoration information
  • a data reproducing unit that reproduces the reproduction data based on the second unit modification information acquired by the second unit modification information acquiring unit;
  • a data reproducing device comprising:
  • Reproduction information determining means for determining divided reproduction data reproduction information of the divided reproduction data based on the text presence information and the reproduction information presence information
  • Data reproduction means for reproducing the reproduction data based on a result of the judgment by the reproduction information judgment means
  • a data reproducing device comprising:
  • a split status determination unit that determines a split status of the split playback data, and based on a determination result of the split status determination unit.
  • Playback control means for controlling the playback of the divided playback data;
  • a data reproducing device comprising:
  • the bucket data structure described in Appendix 1 is a bucket data structure for transmitting reproduction data including text data to which modification information has been added and sequentially reproducing the data on a reproduction device. It has.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header section has division existence information indicating that the payload section includes the division reproduction data, and division reproduction data reproduction information necessary for reproducing the division reproduction data.
  • the reproduction data includes, for example, a text sample in TimeText (the same applies in this section below).
  • the divided reproduction data reproduction information is, for example, information or reproduction data that is not included in some divided reproduction data because the reproduction data is divided out of information necessary for reproduction included in the reproduction data. Is information that is newly required for reproducing the divided reproduction data due to the division (hereinafter, the same applies in this section.).
  • the reproduction data is divided according to the division existence information. Can be identified. Also, according to the divided reproduction data reproduction information, even if some of the buckets are lost during transmission, it is possible to reproduce the divided reproduction data of the obtained bucket.
  • the bucket data structure described in Appendix 2 is a bucket data structure for transmitting playback data including text data to which modification information is added and sequentially playing back the playback data on a playback device. It has.
  • the payload section has divided reproduction data that is a part of the reproduction data.
  • the header section has character code information for determining a character code of the divided text data included in the divided reproduction data.
  • the text data has, for example, a character code at the beginning, and due to the division of the reproduction data, some of the divided reproduction data does not include this character code.
  • the character code is encoded by UTF-8 or UTF-16BigEnddian in the Unicode standard.
  • the character code is determined by, for example, a bit string called BOM (byte order mark).
  • character code information for determining the character code of the divided reproduction data is included in the header portion, and the bucket having the character code of the text data included in the reproduction data is transmitted during transmission. Even in the case of loss, the divided playback data can be played back with a normal character code.
  • the bucket data structure described in Appendix 3 is the bucket data structure described in Appendix 2, and the header further includes first data length information indicating the data length of the character code information.
  • the first data length information is a bit string for specifying the data length of the character code information as, for example, a byte length.
  • variable-length character code information can be used by the first data length information, and character code information can be reliably determined.
  • the bucket data structure described in Appendix 4 is the bucket data structure described in Appendix 2, and the character code information is a 1-bit flag that identifies two types of character codes. is there.
  • the packet data structure of the present invention it is possible to determine, for example, whether the divided playback data is encoded by UTF-8 or UTF-16 Big Endian by using a 1-bit flag. Obviously, it is possible to determine, for example, whether the divided playback data is encoded by UTF-8 or UTF-16 Big Endian by using a 1-bit flag. Obviously, it is possible to determine, for example, whether the divided playback data is encoded by UTF-8 or UTF-16 Big Endian by using a 1-bit flag. Become.
  • the bucket data structure described in Appendix 5 is a bucket data structure for transmitting reproduction data including text data to which modification information has been added and for sequentially reproducing the data by a reproducing apparatus. It has.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header section has first position information which is position information of the modification information in the divided reproduction data.
  • the first position information specifies the position of the modification information, for example, as a byte length from the beginning of the payload portion.
  • the modification information in the divided reproduction data can be identified. It becomes possible. As a result, it is possible to reliably decode the decoration information, and it is also possible to prevent the decoration information and the text data from being confused and displaying an erroneous text.
  • the bucket data structure described in Supplementary Note 6 is the bucket data structure described in Supplementary Note 5, wherein the divided reproduction data is arranged following at least a part of the text data and at least a part of the text data. And qualification information.
  • the first position information is the data length of the text data included in the divided playback data.
  • the split playback data includes text data from the beginning of the payload portion, and the data length is specified, for example, as a byte length.
  • the bucket data structure described in Appendix 7 is the bucket data structure described in Appendix 5, and the modification information includes a plurality of partial modification information.
  • the divided reproduction data includes the divided part of the first partial modification information, and the second partial modification information arranged following the divided part of the first partial modification information.
  • the first location information is the first partial qualification This is the data length of a part of the information.
  • the divided first partial modification information is arranged from the beginning of the payload portion, and its data length is specified, for example, as a byte length.
  • the bucket data structure according to Supplementary Note 8 is the bucket data structure according to Supplementary Note 6 or 7, wherein the header further includes text existence information indicating that the divided reproduction data includes at least a part of the text data. .
  • the bucket data structure of the present invention even when a plurality of buckets having the bucket data structure described in appendix 6 or appendix 7 are mixed when transmitting a plurality of pieces of reproduction data, it is determined whether or not there is text data. This makes it possible to determine again.
  • the bucket data structure described in Supplementary Note 9 is a bucket data structure for transmitting playback data including text data to which modification information has been added and sequentially playing back the playback data on a playback device.
  • the bucket data structure includes a payload section, a header section, It has.
  • the payload section has divided playback data that is a part of the playback data.
  • the header section has second position information which is position information in the text data of the divided text data which is the divided text data included in the divided reproduction data.
  • the modification information specifies the modification range of the text data, for example, in units of bytes or the number of characters in the text body.
  • the second position information is, for example, information indicating the start position of the divided text data in the text data, for example, in units of bytes or the number of characters of the text body.
  • the range of the fragmented text data to be modified can be determined from the second position information, and the modification effect can be used for the fragmented text data.
  • the bucket data structure described in Supplementary Note 10 is the bucket data structure described in Supplementary Note 9, and the second position information includes position information of the divided text data in units of the number of characters of the text.
  • the qualification information specifies the qualification range of the text data in units of the number of characters in the text body.
  • the range of the character string of the divided text data to be modified can be determined based on the second position information, and the modification effect can be used for the divided text data.
  • the bucket data structure described in Appendix 11 is a bucket data structure for transmitting reproduction data including text data to which modification information is added and sequentially reproducing the data on a reproduction device, and includes a payload section and a header. Section.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header section is information indicating the modification type of the partial modification information included in the modification information, and has the modification type information not included in the divided reproduction data.
  • the partial modification information is, for example, a text sample modifier in Time T Text.
  • the modification type information of the header portion is used. Partial modification information of the divided playback data can be used.
  • the bucket data structure described in Supplementary Note 12 is a bucket data structure for transmitting reproduction data including text data to which modification information has been added and for sequentially reproducing the data by a reproducing apparatus. Section.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header portion has unit modification information that constitutes the partial modification information included in the modification information, and has third position information that is position information of the first unit modification information included in the divided playback data.
  • the first unit modification information of the divided partial modification information is determined to determine the text data. This makes it possible to use the modification effect.
  • the bucket data structure according to Supplementary Note 13 is the bucket data structure according to Supplementary Note 12, wherein the header further includes second data length information indicating a data length of the third position information. .
  • the third position required for identifying the first unit modification information The information can be determined more reliably, and the identification of the first unit modification information can be performed more reliably.
  • the bucket data structure described in Supplementary Note 14 is a bucket data structure for transmitting reproduction data including text data to which modification information has been added and for sequentially reproducing the data by a reproducing apparatus, and includes a payload section and a header. Section.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header section has unit modification information that constitutes partial modification information included in the modification information, and has second unit modification information that is not included in the divided playback data.
  • the second unit modification information is, for example, information necessary for using the unit modification information included in the divided reproduction data among the unit modification information that is not included in the divided reproduction data due to division. .
  • the packet data structure of the present invention it is possible to use the divided modification information included in the divided reproduction data by using the second unit modification information.
  • the bucket data structure according to Supplementary Note 15 is the bucket data structure according to Supplementary Note 14, wherein the header further includes third data length information indicating a data length of the second unit modification information.
  • the second unit modification information is information that depends on the modification type of the partial modification information.
  • the third data length information makes it possible to identify the second unit modification information more reliably.
  • the bucket data structure described in Supplementary Note 16 is a bucket data structure for transmitting reproduction data including text data to which modification information has been added and sequentially reproducing the data by a reproducing device, and includes a payload section and a header. Section.
  • the payload section has divided reproduction data that is a divided part of the reproduction data.
  • the header section is added to the payload section and has text presence information and playback information presence information. Further, the text presence information indicates that the divided reproduction data includes at least a part of the text data.
  • the reproduction information presence information indicates that the header section includes the divided reproduction data reproduction information necessary for reproducing the divided reproduction data.
  • the divided reproduction data reproduction information is, for example, character code information of text data included in the divided reproduction data or information for using the modification information included in the divided reproduction data. 3 ⁇ 4)-) ⁇
  • the type of information included in the divided reproduction data reproduction information depends on the text presence information. Therefore, the type of information included in the divided reproduction data reproduction information is determined based on the combination of the text existence information and the reproduction information presence information.
  • the divided reproduction data reproduction information is combined with the text existence information and the reproduction information existence information. It is possible to determine the information possessed by. That is, it is possible to increase the bit efficiency while increasing the resistance to packet loss.
  • the bucket data structure described in Supplementary Note 17 is the bucket data structure described in Supplementary Note 16, in which the header portion indicates that the divided playback data is the data located at the end of the playback data. It further has data location information.
  • the combination of the text existence information, the reproduction information existence information, and the divided reproduction data position information makes it possible to determine the division state of the divided reproduction data.
  • the division state of the divided reproduction data can be determined. This makes it possible to determine the timing of starting the reproduction of the divided reproduction data.
  • a data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 1, including a division determination unit and a data reproducing unit. I have.
  • the division judging means judges from the division existence information that the pay-word section includes the divided reproduction data.
  • the data reproducing means reproduces the divided reproduction data from the divided reproduction data reproduction information based on the judgment result of the division judgment means.
  • the data reproducing means analyzes the packet based on the judgment result of the division judging means. That is, when it is determined that the payload section contains the divided reproduction data, the divided reproduction data reproduction information can be analyzed and the divided reproduction data can be reproduced. In the data reproducing apparatus of the present invention, even if some of the buckets are lost during transmission, the acquired divided reproduction data can be reproduced.
  • the data playback device described in Appendix 19 has the packet data structure described in Appendix 2.
  • a data reproducing apparatus for reproducing reproduced data from a bucket comprising character code discriminating means and data reproducing means.
  • the character code determination means determines the character code of the divided text data included in the divided reproduction data from the character code information.
  • the data reproducing means reproduces the divided reproduction data based on the result of the determination by the character code determining means.
  • the data reproducing means analyzes the packet based on the result of the discrimination by the character code discriminating means. That is, the character code of the text data included in the divided reproduction data can be determined, and the divided reproduction data can be reproduced.
  • the obtained divided reproduced data can be reproduced with a normal character code.
  • the data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 5, wherein the first position information acquiring means, the data reproducing means, It has.
  • the first position information acquiring means acquires the position information of the modification information in the divided reproduction data from the first position information.
  • the data reproducing means reproduces the divided reproduction data based on the position information obtained by the first position information obtaining means.
  • the data reproducing unit analyzes the packet based on the first position information obtained by the first position information obtaining unit. That is, the modification information in the divided reproduction data is determined from the first position information, and the divided reproduction data is reproduced.
  • the modification effect can be used for the obtained divided reproduced data.
  • the data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 9, wherein the second position information acquiring means, the data reproducing means, It has.
  • the second position information obtaining means obtains position information of the divided text data, which is the divided text data included in the divided reproduction data, in the text data.
  • the data reproducing means reproduces the divided reproduction data based on the position information obtained by the second position information obtaining means.
  • the qualification information specifies the qualification range of the text data, for example, in units of bytes or the number of characters in the text body.
  • the second location information is, for example, minutes
  • the start position of the split text data in the text data is, for example, information that is expressed in units of bytes or the number of characters of the text body.
  • the data reproducing unit analyzes the packet based on the second position information acquired by the second position information acquiring unit. That is, the range of the divided text data to be modified is specified from the second position information, and the divided text data is reproduced.
  • a data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 11, and includes a modification type acquiring unit and a data reproducing unit. ing.
  • the modification type acquiring means acquires the modification type of the partial modification information included in the divided reproduction data from the modification type information.
  • the data reproducing means reproduces the divided reproduction data based on the decoration type obtained by the decoration type obtaining means.
  • the partial modification information is, for example, a modifier of a text sample in Time T Text.
  • the modification type information included in the header portion is used.
  • the partial modification information of the divided reproduction data can be used.
  • the data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 12, including a first unit decoration information acquiring unit, and a data reproducing device. Means.
  • the first unit modification information acquiring means acquires the first unit modification information from the third position information.
  • the data reproducing means reproduces the reproduced data based on the first unit modification information acquired by the first unit modification information acquiring means.
  • the data reproducing unit analyzes the bucket based on the first unit modification information acquired by the first unit modification information acquiring unit.
  • the first unit modification information is determined from among the divided partial modification information. Modification effects can be used for text data.
  • a data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the packet data structure according to Supplementary Note 14, wherein the data reproducing device includes a second unit modification information acquiring unit and a data reproducing unit. Have.
  • the second unit modification information acquiring means acquires the second unit modification information.
  • the data reproducing unit reproduces the reproduced data based on the second unit modification information acquired by the second unit modification information acquiring unit.
  • the data reproducing unit analyzes the bucket based on the second unit modification information acquired by the second unit modification information acquiring unit.
  • the second unit modification information makes it possible to use the divided modification information including the divided reproduction data.
  • a data reproducing apparatus is a data reproducing apparatus that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 16, wherein the reproducing information determining means and the data reproducing means are provided. Have.
  • the reproduction information determination means determines the divided reproduction data reproduction information of the divided reproduction data based on the text presence information and the reproduction information presence information.
  • the data reproduction means reproduces the reproduction data based on the result of the judgment by the reproduction information judgment means.
  • the divided reproduction data reproduction information includes, for example, character code information of text data included in the divided reproduction data, information for using modification information included in the divided reproduction data, and the like.
  • the type of information included in the divided reproduction data reproduction information depends on the text presence information. Therefore, the type of information included in the divided reproduction data reproduction information is determined based on the combination of the text existence information and the reproduction information presence information.
  • the data reproducing apparatus of the present invention it is possible to determine the information included in the subdivided reproduction data reproduction information by combining the text existence information and the reproduction information existence information.
  • a data reproducing device is a data reproducing device that reproduces reproduction data from a bucket having the bucket data structure according to Supplementary Note 17, wherein the data reproducing device includes a division state determination unit and a reproduction control unit. Have.
  • the division status determination means determines the division status of the divided reproduction data based on the text existence information, the reproduction information existence information, and the divided reproduction data position information.
  • the reproduction control means is based on the judgment result of the division state judgment means. To control the playback of the split playback data.
  • the division state of the divided reproduction data can be determined.
  • the reproduction control means can determine the timing of starting reproduction of the divided reproduction data.
  • FIG. 50 shows a case where the data transmission method, data reception method, data reproduction method, or data multiplexing method of each of the above embodiments is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
  • Fig. 50 (b) which is an explanatory diagram, shows the appearance, cross-sectional structure, and flexible disk viewed from the front of the flexible disk
  • Fig. 50 (a) shows the physical format of the flexible disk, which is the main body of the recording medium.
  • the flexible disk FD is housed in the case F.
  • a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track has 16 sectors S e in the angular direction. Is divided into Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 50 (G) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the program for realizing the data transmission method, the data reception method, the data reproduction method, or the data multiplexing method is recorded on the flexible disk FD, the program is written from the computer system Cs via the flexible disk drive.
  • the above data transmission method, data reception method, data reproduction method or data multiplexing method is built in a computer system by a program in a flexible disk, the reprogram is read from the flexible disk by a flexible disk drive, and Transfer to system.
  • the description has been made using a flexible disk as a recording medium, but the same description can be made using an optical disk.
  • the recording medium is not limited to this, and the present invention can be similarly implemented as long as the program can be recorded, such as an IC card or a ROM cassette.
  • FIG. 51 is a block diagram showing an overall configuration of a content supply system ex100 that realizes a content distribution service.
  • a communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
  • the content supply system ex100 is connected to the computer exl11, PDA (personal dig) via the Internet exl01 via the Internet service provider ex102 and the telephone network ex104, and the base stations exl07 to ex110.
  • Ital assistant) exl 1 2 camera exl 1 3, mobile phone ex 1 14, mobile phone with camera ex 1 15 and other devices are connected.
  • the content supply system ex 100 is not limited to the combination as shown in FIG. 51, and may be connected by combining any of them. Further, each device may be directly connected to the telephone network exl 04 without going through the base stations ex 107 to ex 110 which are fixed wireless stations.
  • the camera exl 13 is a device capable of shooting moving images such as a digital video camera.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • WC DMA Wideband-Code Division Multiple Access
  • GSM Global System for Mobile Communi cat ions
  • Mobile phone or PHS Personal Handyphone System
  • the streaming server exl 03 is connected to the base station exl 09 from the camera ex 1 1 3 Are connected through the telephone network ex104, and live distribution and the like based on the encoded data transmitted by the user using the camera ex113 can be performed.
  • the encoding of the photographed data may be performed by the camera ex113, or may be performed by a server or the like that performs data transmission.
  • moving image data shot by the camera 116 may be transmitted to the streaming server exl 03 via the computer exl 11.
  • the camera ex116 is a device such as a digital camera capable of shooting still images and moving images. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer exl11.
  • the encoding process is performed in the LSI exl 17 of the computer exl 11 and the camera exl 16.
  • the software for image encoding / decoding may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by a computer such as exl 11 or the like.
  • the video data may be transmitted by a camera-equipped mobile phone exl 15.
  • the moving image data at this time is data encoded by the LSI included in the mobile phone exl 15.
  • this content supply system ex 100 while the user is encoding content (for example, a video of a live music shot) captured by the camera ex 113, camera exl 16, etc., the content is transmitted to the streaming server ex 103,
  • the streaming server exl 03 distributes the content data to the requested client in a stream.
  • Examples of the client include a computer exl 11, PD Aex 112, camera exl 13, and mobile phone exl 14 which can decode the encoded data.
  • the content supply system exl 00 can receive and reproduce the encoded data at the client, and further, receive, decode, and reproduce the encoded data at the client in real time, thereby enabling personal broadcast. Is a system that can be realized.
  • the streaming server exl 03 also has a function as a data transmission device and a data multiplexing device of the present invention.
  • the computer exl 11, the PDA ex 112, the camera ex1.13, the mobile phone ex 114, and the like also have functions as the data receiving device and the data reproducing device of the present invention.
  • media data stored in the MP4 file format from the streaming server exl 03 can be transferred to the computer ex 1 1 1, PDA ex 1 12, camera ex 1 13, mobile phone ex 1 1 4, etc., it is possible to display Timed Text by streaming.
  • FIG. 52 is a diagram showing a mobile phone ex115 using the packet data structure, the data receiving device, the data reproducing device, and the data multiplexing device of the present invention.
  • the mobile phone ex 1 15 has an antenna ex 201 for transmitting and receiving radio waves to and from the base station ex 110, a camera unit ex 203 capable of taking images and still images of a CCD camera and the like, and a camera unit ex 203.
  • Display unit ex202 such as a liquid crystal display, which displays data obtained by decoding the video captured by the antenna, video received by the antenna ex201, etc., a main unit composed of a group of operation keys ex204, speakers for audio output, etc.
  • the recording medium ex207 stores a flash memory device, a type of EE PROM (Electrically Erasable and Programmable Read Only Memory), a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. It is.
  • EE PROM Electrically Erasable and Programmable Read Only Memory
  • the mobile phone ex1 15 has a power supply circuit ex31 0, an operation input, and a main control unit ex31 1 which controls the respective parts of the main body unit including the display unit ex202 and the operation keys ex204 as a whole.
  • the audio processing unit ex305 and the text decoding unit ex314 are connected to each other via a synchronous bus ex313.
  • the power circuit ex310 can operate the digital mobile phone exl15 with a camera by supplying power to each part from the battery pack when the user hangs up and the power key is turned on. Start up in a proper state.
  • the mobile phone ex115 has a main control unit ex31 1 consisting of a CPU, ROM, RAM, etc. Based on the control, the voice signal collected by the voice input unit ex205 in the voice communication mode is converted into digital voice data by the voice processing unit ex305, and this is converted by the modulation / demodulation circuit unit ex306 into speech data.
  • the spread spectrum processing is performed, the digital analog conversion processing and the frequency conversion processing are performed in the transmission / reception circuit unit ex301, and then transmission is performed via the antenna ex201.
  • the mobile phone ex115 also amplifies the received signal received by the antenna ex201 in the voice communication mode, performs a frequency conversion process and an analog-to-digital conversion process, and performs a modulation and demodulation circuit unit ex306 to scan the signal.
  • the audio processing unit ex305 After performing a spectrum despreading process and converting it to an analog audio signal by the audio processing unit ex305, this is output via the audio output unit ex208.
  • the text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304.
  • the main control unit ex 311 performs the spread spectrum processing of the text data in the modulation and demodulation circuit unit ex 310 and performs the digital-analog conversion processing and the frequency conversion processing in the transmission and reception circuit unit ex 310.
  • the signal is transmitted to the base station ex 110 via the antenna ex 210.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303.
  • the image data captured by the camera unit ex203 is directly transmitted to the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302. It can also be displayed.
  • the image encoding unit ex312 converts the image data supplied from the camera unit ex203 into encoded image data by compressing and encoding, and sends this to the demultiplexing unit ex308.
  • the mobile phone ex115 receives the digital audio collected by the audio input unit ex205 while taking a picture with the camera unit ex203 via the audio processing unit ex305. The data is sent to the demultiplexing unit ex308 as audio data.
  • the demultiplexing unit ex 308 multiplexes the coded image data supplied from the image encoding unit ex 310 and the audio data supplied from the audio processing unit ex 305 in a predetermined manner, and The resulting multiplexed data is subjected to spread spectrum processing in the modulation / demodulation circuit section ex306, and digital / analog conversion processing and frequency conversion processing are performed in the transmission / reception circuit section ex301. After that, it is transmitted via antenna ex201.
  • the modulation and demodulation circuit unit ex306 When receiving data of a moving image file linked to a homepage or the like in the data communication mode, the modulation and demodulation circuit unit ex306 performs a spectrum despread process on a reception signal received from the base station ex110 via the antenna ex201, The resulting multiplexed data is sent to the demultiplexer ex308.
  • the demultiplexing unit ex308 separates the multiplexed data to form a coded bit stream of image data and a coded bit stream of audio data. And supplies the encoded image data to the image decoding unit ex309 via the synchronous bus ex313 and supplies the audio data to the audio processing unit ex305. Further, of the MP4 files, the TimeText track is supplied to the text decoding unit ex314. Next, the image decoding unit ex309 generates replayed moving image data by decoding the encoded bit stream of the image data, and supplies this to the display unit ex202 via the LCD control unit ex302. Thus, for example, the moving image data included in the moving image file linked to the homepage is displayed.
  • the audio processing unit ex 305 converts the audio data into an analog audio signal, and supplies the analog audio signal to the audio output unit ex208, so that, for example, the audio data included in the moving image file linked to the homepage is output. Will be played.
  • the text decoding unit ex314 reproduces the text sample as described in the above-described embodiment, supplies the reproduced text sample to the display unit ex202 via the LCD control unit ex302, and causes the display unit ex202 to synchronously display the reproduced moving image data. .
  • the data transmission device and data reception system of the present invention are also applied to digital broadcasting systems. Either a device, a data multiplexing device or a data reproducing device can be incorporated.
  • the encoded bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves.
  • the broadcasting satellite ex41 0 0 receiving this signal transmits a radio wave for broadcasting, and receives this radio wave with a home antenna ex406 equipped with satellite broadcasting receiving equipment.
  • the TV (receiver) ex401 or the set-top box (STB) ex A device such as 407 decodes the coded bit stream and Reproduce.
  • the data receiving device and the data reproducing device of the present invention are mounted on a reproducing device ex 403 that reads and decodes an encoded bit stream recorded on a storage medium ex 402 such as GD or DVD which is a recording medium.
  • the reproduced video signal and text track are displayed on the monitor ex404.
  • the data receiving device and the data reproducing device of the present invention are mounted in a set-top box ex 407 connected to a cable ex 405 for cable television or a satellite terrestrial broadcasting antenna ex 406.
  • a configuration in which this is reproduced on a TV monitor ex408 may be considered.
  • a data receiving device and a data reproducing device may be incorporated in the television instead of the set-top box.
  • a car ex 412 having an antenna ex 411 receives a signal from a satellite ex 410 or a base station ex 107 etc. It is also possible to play a moving image on a display device of this type.
  • an image signal can be recorded on a recording medium.
  • recorders ex420 such as a DVD recorder for recording an image signal on a DVD disc ex421 and a disc recorder for recording on a hard disk. Furthermore, it can be recorded on an SD card ex 4 22. If the recorder ex420 is equipped with the data reproducing device of the present invention, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408. Can be.
  • the configuration of the car navigation system ex 4 13 is, for example, the configuration shown in FIG. 54 except that the camera section ex 203, the camera interface section ex 303, and the image coding section ex 310 are excluded.
  • a configuration is conceivable, and the same is conceivable for a computer ex111 or a television (receiver) ex401.
  • terminals such as the above-mentioned mobile telephones ex 114 include transmission / reception terminals having both an encoder and a decoder, as well as a transmission terminal having only an encoder and a reception terminal having only a decoder.
  • transmission / reception terminals having both an encoder and a decoder
  • transmission terminal having only an encoder and a reception terminal having only a decoder.
  • the packet data structure, the data transmission device, the data transmission method, the data reception device, the data reception method, the data reproduction device, and the data multiplexing device described in the above embodiment can be used in any of the above-described devices and systems. It is possible to achieve the effect described in the above embodiment. [Eighth Embodiment]
  • the present invention is not limited to the above embodiment, and various changes or modifications can be made without departing from the scope of the present invention. Further, the method described in the above embodiment can be implemented by a computer or the like as a program.
  • the transmission data structure according to the present invention can be applied to text transmission data or the like in which provision of a transmission data structure suitable for using TimedText in streaming type distribution is required.

Description

明 細 書 伝送データ構造、 データ受信方法、 データ受信装置およびデータ受信プログラム (技術分野)
本発明は、 テキストデータの伝送データ構造、 データ受信方法、 データ受信装 置およびデータ受信プログラムに関する。
(背景技術)
近年、 映像音声などを配信する技術の開発が行われている。 例えば、 デジタル 化された映像音声をバケツト化し伝送する方式である。 映像音声の符号化方式と して M P EG— 4を用い、 映像音声ファイルの形式として MP 4 (ISO/I EC 1449 6-1:2001) ファイル形式を用いた映像音声配信についての従来技術 (例えば、 特 開 2002— 1 99370号公報 (第 6頁) 参照) が知られている。
第三世代移動体通信 (W— CDMA) の国際標準規格を策定する団体 3GP P (Third Generation Partnership Project) の .SA (Service and System Aspec t) WG4は、 映像配信規格 TS 26. 234を策定している。 映像配信規格 T S26. 234のバージョン 5. 0. 0では、 ダウンロード型映像配信に使用可 能な MP 4ファイルを拡張してテキストデータのデータ構造を規定している (T i me d T e x t ) 。 これによつて、 M P 4ファイルをダウン口一ドしながら 再生するサービスにおいて、 ビデオやオーディオのみならず、 テキストも再生す ることが可能となっている (例えば、 ' 3GPP TS26.234 v5.0.0' . Page56. [onl in e]. 3GPP, 2002. [Retrieved on 2002-10-07]. Retrieved from the lnternet:<U RL: ftp: //ftp.3gpp. org/Specs/2002-03/Re I -5/26_ser i es/26234-500. z i p>参照) テキストによる情報通知は、 伝えたい情報を直接に使用者に伝えることができ 、 ビデオに比べて、 データ量は極めて少なくて済むため、 情報通知手段としては 非常に重要である。 上述のような MP 4ファイルをダウンロードしながら再生す るサービスにおいては、 ビデオとテキストとを合成して符号化し伝送するのでは なく、 テキストを独立したトラックとして伝送するため、 テキストがつぶれて読 めなくなることが少なくなつておリ、 有効に情報通知を行うことが可能となって いる。
さらに、 3GP Pで規定した T i me d T e x tでは、 テキストの一部を修 飾したり、 移動させたり、 あるいは文字列に他の URLへのリンクを貼り付けた りすることが可能である (スタイル、 ハイライト、 カラオケ、 テキストボックス 、 ブリンク、 スクロール、 パイパーリンク、 他) 。 これにより、 伝えたい情報を 様々な表現形式で再生することが可能となっている。
ここで、 図 55を用いて、 3 G P Pで規定した T i me d T e x tのデータ 構造について説明する。 3 G P Pで規定した T i me d T e x tでは、 テキス 卜の一部を修飾したり、 移動させたり、 あるいは他の URLへのリンクを貼り付 けたりすることが可能となっている (スタイル、 ハイライト、 カラオケ、 テキス 卜ボックス、 ブリンク、 スクロール、 ハイパーリンク、 他) 。 このため、 T i m e d T e x tのデータ構造は、 テキストデータと、 それに対応する修飾情報と から構成されている。
MP 4ファイル 3000は、 ヘッダ部 301 0とデータ部 3020とから構成 される。 ヘッダ部 301 0は、 トラックヘッダ 3030と、 サンプルディスクリ プシヨン 3040と、 サンプルテーブル 3050とを備えている。 データ部 30
20は、 テキストサンプル 3060, 3061 , ■ ■ ■を備えている。
トラックヘッダ 3030は、 T i me d T e x tの再生にかかる情報であり 、 レイアウト (表示領域の大きさ、 ビデオとの相対位置) 、 レイヤ (ビデオなど 他メディアとの階層関係) 、 T i me d T e x tの再生時間、 ファイルの作成 日時、 後述する T i me— t o— S amp I e-Bo x 3051のタイムスケ一 ルなどの情報を含んでいる。
サンプルディスクリプシヨン 3040は、 複数のサンプルエントリ 3041,
3042, ■ ■ ■を有している。 サンプルエントリ 3041, 3042, ■ ■ ■ は、 テキストサンプル 3060, 3061, ■ ■ ■のデフォルトの書式にかかる 情報であり、 スクロールの有無と方向、 水平,垂直の寄席位置、 背景色、 フォン ト名、 フォントサイズなどを含んでいる。 サンプルテーブル 3050は、 T i me - t o-S amp I e-Bo x 305 1と、 S amp I e-S i z e— Bo x 3052と、 Samp I e— t o— Ch u n k— Bo x 3053とを有している。 T i me— t o— S amp I e— Bo x 3051は、 テキス卜サンプル 3060, 3061, ■ ■ ■のそれぞれの再生 時間に関する情報 3055, 3056, ■ ■ ■をテキストサンプル 3060, 3 061, ■ ■ 'の配置順に含んでいる。 情報 3055, 3056, ■ ■ 'が格納 する値のタイムスケールは、 トラックヘッダ 3030により指定されている。 具 体的には、 トラックヘッダ 3030は、 タイムスケールとして、 1秒間の解像度 を格納しており、 例えば、 トラックヘッダ 3030が格納するタイムスケールの 値が [1 000] の場合、 1 1 000秒単位の解像度となる。 従って、 テキス トサンプル 3060, 3061 , ■ ■ ■のそれぞれの再生時間を秒換蓽した値は 、 情報 3055, 3056, ■ ■ ■をトラックヘッダ 3030が格納するタイム スケールの値を除算した値となり、 例えば、 タイムスケールの値が [1 000] の場合、 情報 3056の示す値 [3400] は、 テキストサンプル 3061を 3 . 4秒間再生することを意味している。 以下、 タイムスケールの値が [1 000 ] と設定されているとして説明を行う。 S amp I e-S i z e-Bo x 305 2は、 テキストサンプル 3060, 3061, ■ ■ 'のそれぞれのデータ長に関 する情報 3057, 3058, ■ ■ 'をテキストサンプル 3060, 3061, ■ ■ ■の配置順に含んでいる。 これにより、 再生側では、 テキストサンプル 30 60, 3061, ■ ■ 'のそれぞれの情報の境目を検出することができる。 S a mp I e— t o— Ch u n k— Bo x 3053は、 テキストサンプル 3060, 3061, ' ■ 'のそれぞれとサンプルエントリ 3041, 3042, ■ ■ ,の それぞれとを関連づける情報を含んでいる。
テキストサンプル 3060は、 テキスト 3065と、 テキスト 3065のデー タ長 3066と、 モディファイァ 3067とを有している。 テキスト 3065は 、 文字情報そのものを格納している。 文字コードは、 Un i c o d e規格のうち 、 UT F— 8または UT F—1 6 B i g E n d ί a nでエンコードされてい る。 UT F— 8と UT F— 1 6との識別は、 テキスト 3065の先頭 2バイ卜に 記述されるバイトオーダマーク (B0M) により行われる。 先頭 2バイ卜が [0 x FEF F] の場合、 UT F— 1 6によりエンコードされていることを示す。 ま た、 テキスト 3065の先頭に BOMが含まれ無い場合には、 UTF— 8でェン コードされていることを示す。 データ長 3066は、 文字情報そのもののバイト 長を示している。 モディファイァ 3067は、 テキスト 3065のオプションの 修飾情報であり、 ハイライト、 カラオケ、 ブリンク、 ハイパーリンクなど 7種類 の修飾タイプが定義されている。 その他のテキストサンプル 3061, ■ ' 'は 、 テキストサンプル 3060と同様のデータ構造であるので、 説明を省略する。 図 56を用いて、 T i me d Te x tの再生に関して具体的に説明する。 まず、 サンプルエントリ 3041の詳細な構造について図 56 (a) を参照し て説明する。 その他のサンプルエントリ 3042, ■ ■ ■については、 同様のデ ータ構造であるので、 説明を省略する。 サンプルエントリ 3041は、 スクロー ルの有無と方向 (displayFlags) 、 表示領域内での水平■垂直の寄席位置 (Hori zontal justification, Vertical justification) 、 R G Bfllおよび透明度によ リ指定される背景色 (bgGolor) 、 表示領域 (TextBox) フォント名 (fontTable, font- ID) 、 フォン卜サイズ (fonts ize) 、 太字 'イタリック 'アンダーライン などのスタイル (faceStyle) 、 RG B値および透明度により指定されるフォン ト色 (fontcolor) などを含んでいる。 なお、 この書式を適用する範囲を指定す るデータ (startChar, EndChar) は、 常に値 [0] を取り、 サンプルエントリ 3 041の指定する書式が適用されるテキストサンプル中の全範囲のテキス卜に対 して、 この書式が適用されることを示している。 図 56 (a) に示すサンプルェ ントリ 3041のそれぞれの値は、 テキスト 3065のデフォルトの書式を、 背 景色を白色、 フォント色を黒色およびスタイルをノ一マルに指定することを意味 している。
次に、 モディファイァ 3067の詳細な構造について図 56 (b) を参照して 説明する。 モディファイァ 3067は、 モディファイァ 3067のデータ長 (mo dif ierSize) 、 テキスト 3065のオプション書式の指定 (modif ierType, entr yCount) 、 オプション書式を適用するテキスト 3065の範囲の指定 (startGha r, EndChar) 、 フォント名 (font-ID) 、 フォントサイズ (fontSize) 、 太字 - イタリック■アンダーラインなどのスタイル (faceStyle) 、 RGB値および透 明度により指定されるフォント色 (fontGolor) などを含んでいる。 このォプシ ヨン書式の指定は、 サンプルエントリ 3041, 3042, ■ ■ ■のいずれかで 指定された書式に優先して適用される。 図 56 (b) に示すモディファイァ 30 67のそれぞれの値は、 テキスト 3065の 5文字目から 8文字目までを [太字 ] にすることを意味している。
図 56 (G) に以上の書式が適用されたテキストサンプル 3060の再生状態 を示す。 例えば、 テキスト 3065が示す内容が、 [It's fine today. ] である 場合に、 5文字目から 8文字目の [fine] が太字で再生される。 またその再生時 間は、 T i me - t o— Samp I Θ-ΒΟ Χ3051において最初に配置され る情報 3055の値 [1000] により、 1000 [ミリ秒] であることが分か る (図 55参照) 。
以上に説明した構造を持つ MP 4ファイルの再生に際しては、 あらかじめ受信 端末にて MP 4ファイルをダウンロードし、 ダウン口一ド完了後に受信端末にて M P 4フアイルの再生が行われる。
(発明の開示)
一方、 ビデオ、 オーディオを含むメディアデータを配信するサービスにおいて 、 ダウンロード型に代えてストリーミング型の配信が採用されることも多くなつ てきている。 ストリーミング型の配信では、 受信端末にてメディアデータを受信 する処理と、 受信したメディアデータを再生する処理とが並行して行われる。 こ のため、 長時間のメディアデータを再生する場合であっても、 そのメディアデー タの要求を行ってから、 再生が行われるまでの待ち時間が少なくなるという利点 を持つ。 また、 生中継されるメディアデータの配信にも好適な配信である。
このようなストリーミング型の配信において、 T i me d T e x tを用いた 情報通知を行う場合、 T i me d T e x tは、 そのコンテナファイルフォーマ ットである MP 4ファイルと切り離せないデータ構造となっており、 ストリーミ ング型の配信での使用は難しい。
そこで、 本発明では、 T i me d Te x tをストリーミング型の配信で使用 するのに好適な伝送データ構造を提供することを課題とする。 また別の本発明で は、 この伝送データ構造を持つデータを受信するデータ受信方法、 データ受信装 置およびデータ受信プログラムを提供することを課題とする。
請求項 1にかかるテキスト伝送用データの伝送データ構造は、 テキス卜データ の再生にかかるテキスト再生用データを転送し、 データ受信装置に順次再生させ るためのテキスト伝送用データの伝送データ構造であって、 全体テキストヘッダ データと、 分割テキストデータと、 分割テキストヘッダデータとを備えている。 全体テキストヘッダデータは、 テキストデータ全体の再生に関わる。 分割テキス トデータは、 分割されたテキストデータを含む。 分割テキストヘッダデータは、 分割テキス卜データ毎に配置され、 分割テキストデータの個々の再生に関わる。 ここで、 テキスト再生用データとは、 例えば、 M P 4ファイルなどのデータで あ 。
データ受信装置では、 全体テキストヘッダデータからテキストデータ全体の再 生に関わる情報を取得する。 さらに、 分割テキストヘッダデータから、 分割テキ ストデータの再生に関わる情報を取得する。 分割テキストデータは、 全体テキス トヘッダデータおよび分割テキストヘッダデータに基づいて、 順次再生される。 本発明の伝送データ構造により、 テキスト再生用データのすべてが受信されな くとも、 分割テキストデータを順次再生することが可能となる。 すなわち、 スト リーミング配信に適した伝送データ構造が提供される。
請求項 2にかかるテキスト伝送用データの伝送データ構造は、 請求項 1に記載 のテキスト伝送用データの伝送データ構造であって、 分割テキストヘッダデータ は、 分割テキストデータの再生時間に関する再生時間情報を含んでいる。
データ受信装置では、 分割テキストヘッダデータから分割テキストデータの再 生時間に関する情報を取得する。 分割テキストヘッダデータは、 取得された再生 時間情報に基づいて、 順次再生される。
本発明の伝送データ構造により、 各分割テキストヘッダデータは、 再生時間情 報が有する再生時間ずつ順次再生される。
請求項 3にかかるテキスト伝送用データの伝送データ構造は、 請求項 1または 2に記載のテキス卜伝送用データの伝送データ構造であって、 分割テキストへッ ダデータは、 分割テキストデータのデータ長に関するデータ長情報を含んでいる 本発明の伝送データ構造により、 順次伝送されるテキスト伝送用データにおけ る分割テキストデータのデータ境界が明確となる。 このため、 ストリーミング伝 送における誤再生などが防止可能となる。
請求項 4にかかるテキスト伝送用データの伝送データ構造は、 請求項 1〜3の いずれかに記載のテキスト伝送用データの伝送データ構造であって、 全体テキス トヘッダデータは、 テキス卜データの再生領域に関する情報を含むテキス卜再生 情報と、 分割テキストデータの書式に関する情報を含む書式情報とを含んでいる ここで、 テキスト再生情報とは、 例えば、 テキストデータのレイアウト (表示 領域の大きさ、 ビデオなど他メディアとの相対位置) 、 レイヤ (他メディアとの 階層関係) などに関する情報である。 書式情報とは、 例えば、 分割テキストデ一 タのスクロールの有無と方向、 再生位霉、 背景色、 フォント書式 (フォント名、 大きさ、 色、 太字、 下線、 斜体など) などに関する情報である。
データ受信装置では、 テキスト再生情報に基づいて、 それぞれの分割テキスト データの再生領域を判断する。 さらに、 書式情報に基づいて、 それぞれの分割テ キストデータに適用される書式を判断する。
請求項 5にかかるテキス卜伝送用データの伝送データ構造は、 請求項 4に記載 のテキスト伝送用データの伝送データ構造であって、 全体テキストヘッダデータ は、 分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長力 スタマイズ情報をさらに含んでいる。
データ受信装置では、 データ長カスタマイズ情報に基づいて、 分割テキストへ ッダデータのデータ長を判断する。 データ長カスタマイズ情報は、 例えば、 分割 テキス卜ヘッダデータのデータ長をビット単位で指定する。
本発明の伝送データ構造により、 分割テキストデータの個々の再生に係わる分 割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることができ る。 すなわち、 分割テキストヘッダデータの情報量を必要かつ十分な量にカスタ マイズすることができる。 この結果、 分割テキストデータの個々の再生に必要な 情報量を少なくすることができる。 請求項 6にかかるテキス卜伝送用データの伝送データ構造は、 請求項 4または 5に記載のテキスト伝送用データの伝送データ構造であって、 分割テキストへッ ダデータは、 分割テキストデータと書式情報との関連を示すインデックスを含む データ受信装置では、 インデックスに基づいて、 分割テキストデータに適用す る書式を書式情報から判断する。
本発明の伝送データ構造により、 例えば、 分割テキストデータ毎に書式に関す る情報を伝送する必要が無くなる。 このため、 ビット効率を向上させることが可 能となる。
請求項 7にかかるテキスト伝送用データの伝送データ構造は、 請求項 4〜6の いずれかに記載のテキス卜伝送用データの伝送データ構造であって、 テキスト伝 送用データは、 複数のパケットから構成されている。 テキスト再生情報は、 分割 テキス卜データおよび分割テキストヘッダデータと異なる形式でバケツト化され ている。
ここで、 テキスト再生情報は、 例えば、 セクション形式でパケット化されてい る。 分割テキストデータおよび分割テキストヘッダデータは、 例えば、 P E S形 式でバケツ卜化されている。
本発明の伝送データ構造により、 分割テキストデータの伝送効率を向上させる ことが可能となる。 すなわち、 テキスト再生情報など、 頻繁に伝送する必要の無 い情報については、 分割テキストデータと異なる形式で伝送することで、 分割テ キストデータの伝送に対して、 より多くの帯域を確保することが可能となる。 請求項 8にかかるテキスト伝送用データの伝送データ構造は、 請求項 7に記載 のテキスト伝送用データの伝送データ構造であって、 書式情報は、 テキスト再生 情報と同じ形式でバケツ卜化されている。
ここで、 テキスト再生情報、 書式情報は、 例えば、 セクション形式でパケット 化されている。
本発明の伝送データ構造によリ、 書式情報を頻繁に伝送する必要が無い場合に は、 分割テキストデータの伝送に対して、 さらにより多くの帯域を確保すること が可能となる。 請求項 9にかかるテキス卜伝送用データの伝送データ構造は、 請求項 7に記載 のテキスト伝送用データの伝送データ構造であって、 書式情報は、 分割テキスト データおよび分割テキストヘッダデータと同じ形式でバケツト化されている。 ここで、 書式情報、 分割テキストデータおよび分割テキストヘッダデータは、 例えば、 P E S形式でパケット化されている。
本発明の伝送データ構造により、 書式情報を分割テキストデータと同じバケツ トとして伝送することが可能となる。 このため、 書式情報に変更がある場合であ つても、 変更された書式情報は、 その書式が適用される分割テキストデータより 以前に受信可能となる。 すなわち、 より確実に書式情報の変更などを反映するこ とが可能となる。
請求項 1 0にかかるテキスト伝送用データの伝送データ構造は、 請求項 9に記 載のテキスト伝送用データの伝送データ構造であって、 書式情報は、 複数の書式 情報単位を含んでいる。 書式情報単位は、 分割テキストデータ毎に配置される。 データ受信装置では、 分割テキストデータ毎に配置される書式情報単位を取得 し、 分割テキストデータ毎の書式を判断する。
本発明の伝送データ構造により、 分割テキストデータに適用する書式の変更な どをより確実に反映することが可能となる。
請求項 1 1にかかるテキスト伝送用データの伝送データ構造は、 請求項 1 〜 1 0のいずれかに記載のテキスト伝送用データの伝送データ構造であって、 テキス ト伝送用データは、 多重化データとして伝送されるデータである。
データ受信装置では、 多重化データからの分離により、 テキスト伝送用データ が取得される。
請求項 1 2にかかるテキスト伝送用データのデータ受信方法は、 受信ステップ と、 再生ステップとを備えている。 受信ステップは、 請求項 1 〜 1 1のいずれか に記載の伝送データ構造を有するテキスト伝送用データを受信する。 再生ステツ プは、 テキスト伝送用データが含む全体テキス卜ヘッダデータと分割テキストデ ータと分割テキストヘッダデータとに基づいて、 分割テキストデータが含む分割 されたテキストデータを順次再生する。
このデータ受信方法では、 全体テキストヘッダデータからテキストデータ全体 の再生に関わる情報が取得される。 さらに、 分割テキストヘッダデータから、 分 割テキストデータの再生に関わる情報が取得される。 分割テキストデータは、 全 体テキス卜ヘッダデータおよび分割テキストヘッダデータに基づいて、 順次再生 される。
本発明のデータ受信方法により、 テキスト再生用データのすべてが受信されな くとも、 分割テキストデータを順次再生することが可能となる。 すなわち、 スト リーミング配信に適したデータ受信方法が提供される。
請求項 1 3にかかるテキス卜伝送用データのデータ受信装置は、 受信手段と、 再生手段とを備えている。 受信手段は、 請求項 1 ~ 1 1のいずれかに記載の伝送 データ構造を有するテキスト伝送用データを受信する。 再生手段は、 テキスト伝 送用データが含む全体テキス卜ヘッダデータと分割テキストデータと分割テキス トヘッダデータとに基づいて、 分割テキストデータが含む分割されたテキストデ ータを順次再生する。
このデータ受信装置では、 全体テキストヘッダデータからテキストデータ全体 の再生に関わる情報が取得される。 さらに、 分割テキストヘッダデータから、 分 割テキストデータの再生に関わる情報が取得される。 分割テキストデータは、 全 体テキストヘッダデータおよび分割テキス卜ヘッダデータに基づいて、 順次再生 される。
本発明のデータ受信装置により、 テキスト再生用データのすべてが受信されな くとも、 分割テキストデータを順次再生することが可能となる。 すなわち、 スト リーミング配信に適したデータ受信装置が提供される。
請求項 1 4にかかるデータ受信プログラムは、 コンピュータにより、 請求項 1 〜1 1のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデー タ受信方法を行うためのデータ受信プログラムであって、 データ受信方法は、 受 信ステップと、 再生ステップとを備えている。 受信ステップは、 請求項 1 〜 1 1 のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する。 再生ステップは、 テキスト伝送用データが含む全体テキストヘッダデータと分割 テキストデータと分割テキス卜ヘッダデータとに基づいて、 分割テキストデータ が含む分割されたテキストデータを順次再生する。 このデータ受信プログラムでは、 全体テキス卜ヘッダデータからテキストデー タ全体の再生に関わる情報が取得される。 さらに、 分割テキストヘッダデータか ら、 分割テキス卜データの再生に関わる情報が取得される。 分割テキストデータ は、 全体テキストヘッダデータおよび分割テキストヘッダデータに基づいて、 順 次再生される。
本発明のデータ受信プログラムにより、 テキスト再生用データのすべてが受信 されなくとも、 分割テキストデータを順次再生することが可能となる。 すなわち 、 ストリーミング配信に適したデータ受信プログラムが提供される。
請求項 1 5にかかるテキスト伝送用データの伝送データ構造は、 テキストデー タの再生にかかるテキス卜再生用データを転送し順次再生させるためのテキスト 伝送用データの伝送データ構造であって、 テキスト再生用データは、 テキストデ ータを分割した複数の分割テキストデータと、 分割テキストデータを再生するた めの情報を含むテキス卜ヘッダデータとを含んでいる。 テキスト伝送用データは 、 複数のパケットから構成されている。 また、 分割テキストデータは、 各バケツ ト内において表示順に配置されている。 さらに、 パケットは各分割テキストデー タの再生時刻情報を有している。 またさらに、 第 2のパケットは、 その前の第 1 のバケツ卜の分割テキス卜データと再生時刻情報が重複する分割テキストデータ を含んでいる。
ここで、 再生時刻情報は、 パケット内において最初に配置される分割テキスト データの再生時刻と各分割テキストデータの再生時間とから構成される情報、 あ るいは各分割テキストデータの再生時刻から構成される情報である。
第 2のパケットと、 その前の第 1のパケットとは、 再生時刻情報が重複する分 割テキストデータを含む。 すなわち、 異なるパケットで重複する再生時刻情報を 持つ分割テキストデータを複数回伝送することが許される。 これにより、 テキス 卜伝送用データのエラー耐性を高めることができる。
請求項 1 6にかかるテキスト伝送用データの伝送データ構造は、 請求項 1 5に 記載のテキス卜伝送用データの伝送データ構造であって、 バケツ卜に含まれる分 割テキストデータの個数は、 テキスト伝送用データの伝送のために確保された伝 送路帯域とほぼ一致する帯域でバケツ卜が伝送されるような個数として決定され る。
これにより、 テキスト伝送用データの伝送のために確保された伝送路帯域を有 効に利用し、 重複する再生時刻情報を持つ分割テキストデータを複数回伝送し、 テキスト伝送用データのエラー耐性をさらに高めることができる。
請求項 1 7にかかるテキス卜伝送用データの伝送データ構造は、 請求項 1 5ま たは 1 6に記載のテキスト伝送用データの伝送データ構造であって、 テキスト伝 送用データは、 多重化データとして伝送されるデータである。
データ受信装置では、 多重化データからの分離により、 テキスト伝送用データ が取得される。
請求項 1 8にかかるテキスト伝送用データのデータ受信方法は、 請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ 受信方法であって、 時刻取得ステップと、 置換ステップとを備えている。 時刻取 得ステップは、 第 1のバケツ卜の各分割テキストデータの再生時刻情報が示す時 刻 T nと、 第 2のバケツ卜の最初の分割テキストデータの再生時刻情報が示す時 刻 T aとを取得する。 置換ステップは、 第 1のバケツ卜において時刻 T nが時刻 T aと等しい又は後である分割テキス卜データを、 第 2のバケツ卜において再生 時刻情報が重複する分割テキストデータに置き換える。
このデータ受信方法により、 あらかじめ伝送された分割テキストデータを最新 の分割テキストデータにより更新することが可能となり、 常に最新の情報を含む 分割テキストデータを再生することが可能となる。
請求項 1 9にかかるテキスト伝送用データのデータ受信方法は、 請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ 受信方法であって、 受信遅延判断ステップと、 再生ステップとを備えている。 受 信遅延判断ステップは、 第 1の分割テキストデータの受信時刻 T dが、 第 1の分 割テキス卜データの再生時刻情報が示す時刻 T nより遅くかつ次の第 2の分割テ キストデータの再生時刻情報の示す時刻 T n + 1よリ早く受信されたか否かを判 断する。 再生ステップは、 判断が肯定的であった場合に、 第 1の分割テキストデ ータを、 受信時刻 T dから時刻 T n + 1までの間に再生する。
このデータ受信方法によリ、 再生時刻情報が示す時刻よリ遅く受信された分割 テキストデータであっても、 次の分割テキストデータの再生時刻情報に達するま での間に再生を行うことができる。 すなわち、 再生されているべきテキストデー タを途中からでも再生することができ、 長時間にわたりテキス卜データが再生さ れないなどの弊害を防ぐことができる。
請求項 2 0にかかるテキスト伝送用データのデータ受信方法は、 請求項 1 9に 記載のテキスト伝送用データのデータ受信方法であって、 再生ステップでは、 第 1の分割テキストデータにおいて時刻 T nから受信時刻 T dまでの時間が経過し た時点の再生状態から、 第 1の分割テキストデータの再生を開始する。
このデータ受信方法により、 例えば、 スクロール再生やカラオケ再生などの時 刻変化を伴う分割テキストデータを途中からでも再生することができる。 これに より、 テキストデータの再生時に再生されているべき状態が再生されないという 弊害を防ぐことができる。
請求項 2 1にかかるテキスト伝送用データのデータ受信装置は、 請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ 受信装置であって、 時刻取得手段と、 置換手段とを備えている。 時刻取得手段は 、 第 1のバケツ卜の各分割テキストデータの再生時刻情報が示す時刻 T ηと、 第 2のバケツ卜の最初の分割テキストデータの再生時刻情報が示す時刻 T aとを取 得する。 置換手段は、 第 1のパケットにおいて時刻 T nが時刻 T aと等しい又は 後である分割テキストデータを、 第 2のバケツ卜において再生時刻情報が重複す る分割テキス卜データに置き換える。
このデータ受信装置により、 あらかじめ伝送された分割テキストデータを最新 の分割テキストデータにより更新することが可能となり、 常に最新の情報を含む 分割テキス卜データを再生することが可能となる。
請求項 2 2にかかるテキスト伝送用データのデータ受信装置は、 請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ 受信装置であって、 受信遅延判断手段と、 再生手段とを備えている。 受信遅延判 断手段は、 第 1の分割テキストデータの受信時刻 T dが、 第 1の分割テキストデ 一夕の再生開始時刻情報が示す時刻 T nよリ遅くかつ次の第 2の分割テキストデ ータの再生開始時刻情報の示す時刻 T n + 1よリ早く受信されたか否かを判断す る。 再生手段は、 判断が肯定的であった場合に、 第 1の分割テキストデータを、 受信時刻 T dから時刻 T n + 1までの間に再生する。
このデータ受信装置によリ、 再生時刻情報が示す時刻よリ遅く受信された分割 テキストデータであっても、 次の分割テキストデータの再生時刻情報に達するま での間に再生を行うことができる。 すなわち、 再生されているべきテキストデー タを途中からでも再生することができ、 長時間にわたりテキストデータが再生さ れないなどの弊害を防ぐことができる。
請求項 2 3にかかるテキスト伝送用データのデータ受信装置は、 請求項 2 2に 記載のテキスト伝送用データのデータ受信装置であって、 再生手段では、 第 1の 分割テキストデータにおいて時刻 Τ ηから受信時刻 T dまでの時間が経過した時 点の再生状態から、 第 1の分割テキストデータの再生を開始する。
このデータ受信装置により、 例えば、 スクロール再生やカラオケ再生などの時 刻変化を伴う分割テキストデータを途中からでも再生することができる。 これに より、 テキストデータの再生時に再生されているべき状態が再生されないという 弊害を防ぐことができる。
請求項 2 4にかかるデータ受信プログラムは、 コンピュータにより、 請求項 1 5〜1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデ 一タ受信方法を行うためのデータ受信プログラムであって、 データ受信方法は、 時刻取得ステップと、 置換ステップとを備えている。 時刻取得ステップは、 第 1 のバケツ卜の各分割テキストデータの再生時刻情報が示す時刻 T nと、 第 2のパ ケッ卜の最初の分割テキス卜データの再生時刻情報が示す時刻 T aとを取得する 。 置換ステップは、 第 1のパケットにおいて時刻 T nが時刻 T aと等しい又は後 である分割テキストデータを、 第 2のバケツ卜において再生時刻情報が重複する 分割テキストデータに置き換える。
このデータ受信プログラムにより、 あらかじめ伝送された分割テキストデータ を最新の分割テキストデータにより更新することが可能となり、 常に最新の情報 を含む分割テキストデータを再生することが可能となる。
請求項 2 5にかかるデータ受信プログラムは、 コンピュータにより、 請求項 1 5〜1 7に記載の伝送データ構造を有するテキスト伝送用データのデータ受信方 法を行うためのデータ受信プログラムであって、 データ受信方法は、 受信遅延判 断ステップと、 再生ステップとを備えている。 受信遅延判断ステップは、 第 1の 分割テキス卜データの受信時刻 T dが、 第 1の分割テキストデータの再生開始時 刻情報が示す時刻 T nよリ遅くかつ次の第 2の分割テキストデータの再生開始時 刻情報の示す時刻 T n'+ 1より早く受信されたか否かを判断する。 再生ステップ は、 判断が肯定的であった場合に、 第 1の分割テキストデータを、 受信時刻 T d から時刻 T n + 1までの間に再生する。
このデータ受信プログラムにより、 再生時刻情報が示す時刻より遅く受信され た分割テキストデータであっても、 次の分割テキストデータの再生時刻情報に達 するまでの間に再生を行うことができる。 すなわち、 再生されているべきテキス トデータを途中からでも再生することができ、 長時間にわたりテキストデータが 再生されないなどの弊害を防ぐことができる。
請求項 2 6にかかるデータ受信プログラムは、 請求項 2 5に記載のデータ受信 プログラムであって、 再生ステップでは、 第 1の分割テキストデータにおいて時 刻 T nから受信時刻 T dまでの時間が経過した時点の再生状態から、 第 1の分割 テキストデータの再生を開始する。
このデータ受信プログラムにより、 例えば、 スクロール再生やカラオケ再生な どの時刻変化を伴う分割テキストデータを途中からでも再生することができる。 これにより、 テキストデータの再生時に再生されているべき状態が再生されない という弊害を防ぐことができる。
(図面の簡単な説明)
第 1図は、 本発明の P E Sパケットのデータ構造を示す図 (第 1実施形態) で める。
第 2図は、 本発明の P E Sパケットのデータ構造の詳細説明図 (第 1実施形態 ) である。
第 3図は、 本発明のデータ伝送装置のブロック図 (第 1実施形態) である。 第 4図は、 本発明のデータ伝送方法の動作フローチャート (第 1実施形態) で める。 第 5図は、 本発明のデータ伝送方法の詳細説明図 (第 1実施形態) である。 第 6図は、 本発明のデータ受信装置のブロック囪 (第 1実施形態) である。 第 7図は、 本発明のデータ受信方法の動作フローチャート (第 1実施形態) で 第 8図は、 本発明のデータ受信装置におけるデータ解析のシンタクスを説明す る説明図 (第 1実施形態) である。
第 9図は、 複数の PESバケツ卜が備えるテキストフレームの再生時刻が重複 している場合にデコードすべきテキストフレームを判定する規則について説明す る説明図 (第 1実施形態) である。
第 10図は、 PESパケットが受信された時刻がその PESパケットの PTS が示す時刻を経過している場合にデコードすべきテキストフレームを判定する規 則について説明する説明図 (第 1実施形態) である。
第 1 1図は、 時間変化を伴う処理を含むテキストフレームを受信した場合の再 生状態を説明する説明図 (第 1実施形態) である。
第 12図は、 本発明の変形例としての PESバケツ卜のデータ構造を示す図 ( 第 1実施形態) である。
第 13図は、 本発明の変形例としての PESパケットのデータ構造を示す図 ( 第 1実施形態) である。
第 14図は、 本発明の変形例としてのサンプルディスクリプシヨンのデータ構 造を示す図 (第 1実施形態) である。
第 1 5図は、 本発明の PESパケットのデータ構造を示す図 (第 2実施形態) である。
第 16図は、 本発明のデータ伝送装置のブロック図 (第 2実施形態) である。 第 17図は、 本発明のデータ受信装置のブロック図 (第 2実施形態) である。 第 18図は、 本発明の変形例としての PESパケットのデータ構造を示す図 ( 第 2実施形態) である。
第 1 9図は、 本発明の変形例としての PESパケットのデータ構造を示す図 ( 第 2実施形態) である。
第 20図は、 RTPZRTSPシーケンスの一般的な処理を説明する説明図 ( 第 3実施形態) である。
第 2 1図は、 インバンド伝送における R T Pパケットのデータ構造を示す図 ( 第 3実施形態) である。
第 2 2図は、 ァゥトバンド伝送における R T Pバケツ卜のデータ構造を示す図 (第 3実施形態) である。
第 2 3図は、 本発明のデータ伝送装置のブロック図 (第 3実施形態) である。 第 2 4図は、 本発明のデータ受信装置のブロック図 (第 3実施形態) である。 第 2 5図は、 M P 4ファイル形式のメディアデータを取得する際の一般的な処 理の流れを説明する説明図 (第 4実施形態) である。
第 2 6図は、 T i m e d T e x tを R T Pパケットとして伝送する場合に伝 送される基本バケツト P t 0について説明する説明図 (第 4実施形態) である。 第 2 7図は、 分割パケットの基本的構造について説明する説明図 (第 4実施形 態) である。
第 2 8図は、 テキスト本文 T d 0の文字コードの識別情報を有する分割ヘッダ の概要について説明する説明図 (第 4実施形態) である。
第 2 9図は、 モディファイァ M d 0の開始位置を示すための情報を有する分割 ヘッダの概要について説明する説明図 (第 4実施形態) である。
第 3 0図は、 モディファイァ M d Oの開始位置を示すための情報を有する分割 ヘッダの概要について説明する説明図 (第 4実施形態) である。
第 3 1図は、 テキストサンプル T s 0の分割のバリエーションとモディファイ ァまたはモディファイァボックスの開始位置情報との関係について説明する説明 図 (第 4実施形態) である。
第 3 2図は、 分割テキストサンプルが含むテキスト本文の一部がテキスト本文 の全体の何文字目以降を含むかに関する情報を有する分割ヘッダの概要について 説明する説明図 (第 4実施形態) である。
第 3 3図は、 分割されたモディファイァボックスの再生のために格納される情 報について概要を説明する説明図 (第 4実施形態) である。
第 3 4図は、 分割されたカラオケスタイルのモディファイァボックスの再生の ために格納される情報について説明する説明図 (第 4実施形態) である。 第 3 5図は、 分割された文字スタイルのモディファイァボックスの再生のため に格納される情報について説明する説明図 (第 4実施形態) である。
第 3 6図は、 分割されたハイパーリンクスタイルのモディファイァボックスの 再生のために格納される情報について説明する説明図 (第 4実施形態) である。 第 3 7図は、 分割バケツト P t Nのヘッダ部 H d Nの構造の一例を説明する説 明図 (第 4実施形態) である。
第 3 8図は 本発明のデータ構造を有する R T Pバケツトを再生するためのデ ータ再生装置 7 1 0のブロック図 (第 4実施形態) である。
第 3 9図は、 本発明のデータ構造を有する R T Pバケツトを再生するためのデ —タ再生方法を説明するフローチャート (第 4寒施形態) である。
第 4 0図は、 本発明のデータ構造を有する R T Pバケツトを作成するためのデ ータ多重装置 7 2 0のブロック図 (第 4実施形態) である。
第 4 1図は、 本発明のデータ構造を有する R T Pバケツトを作成するためのデ ータ多重方法を説明するフローチャート (第 4実施形態) である。
第 4 2図は、 第 5実施形態にかかる分割ヘッダ F h Nの構造について説明する 説明図 (第 5実施形態) である。
第 4 3図は、 テキストインジケータと分割ヘッダフラグとの組み合わせに対す る、 分割ヘッダ F h Nの備える情報について説明する説明図 (第 5実施形態) で める。
第 4 4図は、 テキストインジケータと分割ヘッダフラグとの組み合わせに対す る、 サンプルヘッダ S h Nの備える情報について説明する説明図 (第 5実施形態 ) である。
第 4 5図は、 テキストサンプルの分割状況テーブル (第 5実施形態) である。 第 4 6図は、 本発明のデータ構造を有する R T Pバケツ卜を再生するためのデ ータ再生装置 7 3 0のブロック図 (第 5実施形態) である。
第 4 7図は、 本発明のデータ構造を有する R T Pバケツトを再生するためのデ —タ再生方法を説明するフローチャート (第 5実施形態) である。
第 4 8図は、 本発明のデータ構造を有する R T Pバケツトを作成するためのデ ータ多重装置 7 4 0のブロック図 (第 5実施形態) である。 第 49図は、 本発明のデータ構造を有する RT Pバケツトを作成するためのデ ータ多重方法を説明するフローチャート (第 5実施形態) である。
第 50図は、 上記各実施の形態のデータ伝送方法あるいはデータ受信方法をコ ンピュータシステムにより実現するためのプログラムを格納するための記録媒体 についての説明図 (第 6実施形態) である。
第 51図は、 コンテンツ供給システムの全体構成を示すブロック図 (第 7実施 形態) である。
第 52図は、 本発明のデータ受信装置、 データ再生装置を搭載する携帯電話の 例 (第 7実施形態) である。
第 53図は、 携帯電話のブロック図 (第 7実施形態) である。
第 54図は、 ディジタル放送用システムの例 (第 7実施形態) である。
第 55図は、 3GP Pで規定される T i me d T e X tのデータ構造を説明す る説明図 (背景技術) である。
第 56図は、 T i me d T e X tのデータ構造の詳細説明図 (背景技術) であ る。
(発明を実施するための最良の形態)
[第 1実施形態]
本発明の第 1実施形態として、 MPEG— 2 TSを用いたテキストトラック のストリーミング伝送について説明する。 テキストトラックは、 3GP Pで規定 される T i me d T e x tと同様な表現でテキスト再生を行うための情報を備 えるデータである。
く PESバケツ卜のデータ構造〉
(1 )
MPEG— 2 T Sを用いてテキストトラックをストリーミング伝送するため の PESバケツト 1のデータ構造を図 1に示す。
MP EG— 2システムでは、 ビデオ、 オーディオ、 あるいはテキストといった トラックを構成する要素となる信号を E S (Elementary Stream) と呼んでいる 。 さらに、 ESを可変長のブロックに区切り、 ヘッダ情報を付加したものを PE S (Packeti zed Elementary Stream) と呼んでいる。 MPEG— 2システムでは 、 複数の PESを多重伝送する信号として、 TS (Transport Stream) を規定し ている。
(2)
図 1に示す PESパケット 1のデータ構造は、 MP EG— 2システムで規定さ れる PESヘッダ部 1 0と、 ペイロード部 1 1とから構成される。 PESヘッダ 部 1 0は、 ビデオ、 オーディオ、 あるいはテキストといったトラック間の同期再 生のための時刻情報である P T S (Presentation Time Stamp) を有している。 ペイロード部 1 1は、 トラックヘッダ 1 1 1と、 サンプルディスクリプシヨン 1 1 2と、 コンフィグインフォメーション 1 1 3と、 テキストフレーム 1 1 4, 1 1 4' , ■ ■ ■と、 それぞれの情報を識別する識別子 (トラックヘッダ識別子 1 1 1 a, サンプルディスクリプシヨン識別子 1 1 2 a, コンフィグィンフオメ一 シヨン識別子 1 1 3 a, テキストフレーム識別子 1 1 4 a) とを含んでいる。
トラックヘッダ 1 1 1は、 テキストトラックの全体の再生にかかる情報であり 、 レイアウト (表示領域の大きさ (幅および高さ) 、 ビデオとの相対位置 (ビデ ォ表示領域から横方向および縦方向へのトランスレーション) ) 、 レイヤ (ビデ ォなど他メディアとの階層関係) 、 テキストトラックの再生時間、 作成日時、 後 述するデュレーシヨン 1 1 41 bのタイムスケールなどの情報を含んでいる。 サンプルディスクリプシヨン 1 1 2は、 複数のサンプルェントリ 1 1 21, 1 1 22, ■ ■ ■を備えている (図 2 (b) 参照) 。 それぞれのサンプルエントリ 1 1 21 , 1 1 22, ■ ■ ■は、 テキストトラックの書式にかかる情報であり、 スクロールの有無と方向、 水平 '垂直の寄席位置、 背景色、 フォント名、 フォン トサイズ、 その他の書式のデフオルト情報などを含んでいる。
コンフィグインフォメーション 1 1 3は、 後述するテキストフレーム 1 1 4, 1 1 ' , ■ ' ■が含むインデックス 1 1 41 aおよびデュレーシヨン 1 1 41 b (図 2 (a) 参照) のデータ長をカスタマイズするための情報を含んでいる。 例えば、 インデックス 1 1 41 aおよびデュレ一シヨン 1 1 41 bのデータ長を それぞれ 1〜4バイ卜のいずれかに設定する。
テキストフレーム 1 1 4, 1 1 4' , ' ■ ■は、 再生順に並べられている。 ま た、 P ESヘッダ部 1 0の PT Sが示す値は、 ペイロード部 1 1において最初に 配置されているテキストフレーム 1 1 4の再生時刻を示している。
以下、 図 2 (a) を用いて、 テキストフレーム 1 1 4について説明する。 その 他のテキストフレーム 1 1 4 ' , ■ ' ■は、 テキストフレ一厶 1 1 4と同様の構 造を有しているので説明は省略する。
テキストフレーム 1 1 4は、 セグメントテキストヘッダ 1 1 41 とテキストサ ンプル 1 1 42とから構成される。
セグメントテキストヘッダ 1 1 41は、 インデックス 1 1 41 aと、 デュレ一 シヨン 1 1 41 bとを有している。 インデックス 1 1 41 aは、 サンプルェント リ 1 1 2 1 , 1 1 22, ■ ■ ■ (図 2 (b) 参照) を指定することにより、 テキ ストサンプル 1 1 42のデフォルトの書式を示している。 デュレ一シヨン 1 1 4 1 bは、 テキストサンプル 1 1 42の再生時間に関する情報である。 デュレ一シ ヨン 1 1 41 bが格納する値のタイムスケールは、 トラックヘッダ 1 1 1 (図 1 参照) において指定されている。 テキストサンプル 1 1 42は、 テキスト 1 1 4 2 aと、 テキスト 1 1 42 aのデータ長を格納するテキストレングス 1 1 42 b と、 モディファイァ 1 1 42 cとを有している。 モディファイァ 1 1 42 Gは、 テキスト 1 1 42 aの一部あるいは全部をオプションにて書式変更 (ハイライト 、 カラオケ、 ブリンク、 ハイパーリンクなど) する場合に使用される。
図 1に示す識別子 1 1 1 a, 1 1 2 a, 1 1 3 a, 1 1 4 aは、 それぞれに共 通のスタートコード 1 1 5とそれぞれに固有の I D 1 1 1 b, 1 1 2 b. 1 1 3 bおよび 1 1 4 bとから構成される。 例えば、 それぞれの識別子 1 1 1 a, 1 1 2 a, 1 1 3 a, 1 1 4 aは、 3バイ卜のスタートコ一ド 1 1 5に 1バイトの I D 1 1 1 b, 1 1 2 b、 1 1 3 b, 1 1 4 bを付加した構造を有している。 図 1 では、 スタートコード 1 1 5は [0 X 00 00 01 ] 、 トラックヘッダ識 別子 1 1 1 aの I D 1 1 1 bは [0 X 00 ] , サンプルディスクリプシヨン識 別子 1 1 2 aの I D 1 1 2 bは [0 X 0 1 ] , コンフィグインフォメーション 識別子 1 1 3 aの I D 1 1 3 bは [ 0 X 02] , テキストフレーム識別子 1 1 4 aの I D 1 1 4 bは [0 X 03] と決定されている。 ただし本発明では、 ス タートコ一ドおよびそれぞれの I Dを上記に限定するものではない。 また、 それぞれの識別子 1 1 1 a, 1 1 2 a, 1 1 3 a, 1 1 4 aは、 トラッ クヘッダ 1 1 1、 サンプルディスクリプシヨン 1 1 2、 コンフィグィンフオメ一 シヨン 1 1 3、 テキストフレーム 1 1 4にそれぞれ付加されている。
(3)
図 2を用いて、 サンプルディスクリプシヨン 1 1 2、 コンフイダインフォメー シヨン 1 1 3およびテキストフレーム 1 1 4の具体的内容について説明する。 図 2 (a) に示すテキストフレーム 1 1 4が備えるインデックス 1 1 41 aの 値 [1 ] は、 テキストサンプル 1 1 42の再生に際して参照すべきサンプルェン トリ 1 1 21を指定している。
図 2 (b) に示すサンプルエントリ 1 1 21は、 スクロールの有無と方向 (di splayFlags) 、 表示領域内での水平■垂直の寄席位置 (Horizontal justif icati on, Vertical justification) 、 R G B値および透明度により指定される背景色 (bgColor) 、 表示領域 (TextBox) フォント名 (fontTable, font- ID) 、 フォン トサイズ (fontSize) 、 太字 "イタリック ■アンダーラインなどのスタイル (fa ceStyle) 、 R G B値および透明度により指定されるフォント色 (fontGolor) な どを含んでいる。 なお、 この書式を適用する範囲を指定するデータ (startGhar, EndChar) は、 常に値 [0] を取り、 サンプルエントリ 1 1 21の指定する書式 が適用されるテキストサンプル 1 1 42中の全範囲のテキスト 1 1 42 aに対し て、 この書式が適用されることを示している。 図 2 (b) に示すサンプルェント リ 1 1 21のそれぞれの値によリ、 テキスト 1 1 42 aのデフオル卜の書式は、 背景色を白色、 フォント色を黒色およびスタイルをノーマルに指定されている。 デュレ一シヨン 1 1 41 bの値 [4500] は、 テキストサンプル 1 1 42の 再生時間を表している。 この値のタイムスケールは、 トラックヘッダ 1 1 1 (図 1参照) により指定されている。 具体的には、 トラックヘッダ 1 1 1は、 タイム スケールとして、 1秒間の解像度を格納しており、 例えば、 トラックヘッダ 1 1 1が格納するタイムスケールの値が [1 000] の場合、 1 Z1 000秒単位の 解像度となる。 従って、 テキストサンプル 1 1 42の再生時間を秒換算した値は 、 デュレーシヨン 1 1 41 bの値をトラックヘッダ 1 1 1が格納するタイムスケ ールの値で除算した値となり、 例えば、 タイムスケールの値が [1 000] の場 合、 デュレーシヨン 1 1 41 bの値 [4500] は、 テキストサンプル 1 1 42 を 4. 5秒間再生することを意味している。 以下、 タイムスケールの値が [1 0 00] と設定されているとして説明を行う。
インデックス 1 1 41 aおよびデュレーシヨン 1 1 41 bのデータ長は、 図 2 (c) に示すコンフィグインフォメーション 1 1 3により指定可能である。 コン フィグインフォメーション 1 1 3は、 1バイ トのデータであり、 4ビットのリザ ーブ領域 1 1 31 aと、 2ビッ卜のインデックスサイズインジケータ 1 1 31 b と、 2ビッ卜のデュレーシヨンサイズインジケータ 1 1 31 cとから構成される 。 すなわち、 2ビットのインデックスサイズインジケータ 1 1 31 bおよぴデュ レ一シヨンサイズインジケータ 1 1 31 Gにより、 インデックス 1 1 41 aおよ びデュレーシヨン 1 1 41 bのデータ長は、 1〜4バイトに指定される。 例えば 、 インデックスサイズインジケータ 1 1 31 bの値を [00] 、 デュレーシヨン サイズインジケータ 1 1 31 cの値を [01 ] とすると、 図 2 (a) のインデッ クス 1 1 41 aおよびデュレ一シヨン 1 1 41 bのデータ長は、 それぞれ 1バイ トおよび 2バイ卜と指定される。
図 2 (a) のテキストレングス 1 1 42 bは、 テキスト 1 1 42 aのデータ長 を格納している。 本実施形態では、 テキストレングス 1 1 42 bのデータ長を 2 バイ トとしておレリ、 これによりテキスト 1 1 42 aのデータ長は、 最大 6553 5バイ トに制限されることとなるが、 必要に応じてテキストレングス 1 1 42 b のデータ長を変えてもよい。
モディファイァ 1 1 42 cは、 モディファイァ 1 1 42 cのデータ長 (modif i erSize) 、 テキスト 1 1 42 aのオプション書式の指定 (modif ierType, entryC ount) 、 オプション書式を適用するテキスト 1 1 42 aの範囲の指定 (startGha r, EndChar) 、 フォント名 (font- ID) 、 フォントサイズ (fontSize) 、 太字 . イタリック 'アンダーラインなどのスタイル (faceStyle) 、 RGB値および透 明度により指定されるフォント色 (fontcolor) などを含んでいる。 このォプシ ヨン書式の指定は、 インデックス 1 1 41 aにより参照したサンプルエントリ 1 1 21の書式に優先して適用される。 図 2 (a) に示す値は、 テキスト 1 1 42 aの 5文字目から 8文字目までを [太字] にすることを意味している。 図 2 (d) にテキストフレーム 1 1 4の再生状態を示す。 テキスト 1 1 42 a が示すテキスト内容 (It's fine today.) のうち 5文字目から 8文字目 (fine) が太字として再生される。 またその再生時間は 4500 [ミリ秒] 間である。
(4)
図 1に示す P ESパケット 1のペイロード部 1 1は、 トラックヘッダ 1 1 1 と 、 サンプルディスクリプシヨン 1 1 2と、 コンフイダインフォメーション 1 1 3 と、 テキストフレーム 1 1 4, 1 1 4' , ■ ■ ■のすベての情報を備えるとして 説明した。
しかし、 送出される PESパケットのすべてが、 上記すベての情報を備えてい る必要はない。 トラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 1 2ある いはコンフイダインフォメーション 1 1 3は、 それぞれ所定のタイミングで P E Sパケットに出現するものであってもよい。 また、 一部の情報が含まれていない 場合に再生側においては、 過去の PESパケットにより受信した情報、 あるいは あらかじめ設定されたデフオルト値を用いて再生を行うものであってもよい。 これにより、 テキストの再生に必要な情報を必要な頻度で送ることとなり、 テ キストトラックの伝送に必要な情報量を削減することができる。
〈データ伝送装置〉
図 3に、 MPEG— 2 TSの伝送に際して使用されるデータ伝送装置 3を示 す。 データ伝送装置 3は、 蓄積部 31 と、 PES送出部 32と、 システムェンコ —ダ部 33とを備えており、 蓄積されたメディアデータを TSパケットとして送 出する装置である。
蓄積部 31は、 メディアデータを、 例えば、 MP4ファイル形式で蓄積してい る。 PES送出部 32は、 MP4ファイルからビデオ、 オーディオ、 あるいは T i me d T e x tなどといったトラック毎に独立した E Sを受信する。 PES 送出部 32では、 受け取った T i me d T e x tをトラックヘッダ 3030、 サンプルディスクリプシヨン 3040、 サンプルテーブル 3050およびテキス トサンプル 3060 (図 55参照) に分離してバッファリングする。 さらに、 バ ッファリングされたそれぞれの情報から、 図 1および図 2に示す PESバケツト 1を作成する。 また、 PESパケット 1の PESヘッダ部 1 0の PTSには、 P ESバケツト 1において最初に配置されるテキストフレーム 1 1 4を再生する時 刻情報が格納される。 システムエンコーダ部 33は、 トラック毎に得られた PE Sバケツトを TSバケツトとして多重化し送出する。
なお、 本発明の特徴は、 主に PES送出部 32にあるため、 データ伝送装置の 形態はデータ伝送装置 3に限定されるものではない。 例えば、 蓄積部 31やシス テムエンコーダ部 33を外部に別体として備えるものであってもよいし、 T Sパ ケットとして送出されたデータに伝送路符号化および変調を加え、 放送波として 送出するものであってもよい。
また、 蓄積部 31が備えるメディアデータは、 MP4ファイル形式に限られず 、 T i me d T e x tと同じデータ構造を有している必要はない。 例えば、 T i me d T e x tが備えるのと同じ情報を含み、 よリストリーミング伝送に適 したデータ構造として蓄積されていてもよい。
〈データ伝送方法〉
(1 )
図 4を用いて、 MPEG— 2 T Sの伝送に際して使用されるデータ伝送装置 3におけるデータ伝送方法について説明する。
MP4ファイル形式のビデオ、 オーディオ、 あるいは T i me d T e x tな どといったトラック毎に独立した ESのうち、 T ί me d T e x tは、 トラッ クヘッダ 3030、 サンプルディスクリプシヨン 3040、 サンプルテーブル 3 050およびテキストサンプル 3060 (図 55参照) に分離してバッファリン グされる (ステップ S401 ) 。 バッファリングされたそれぞれの情報に基づい て、 図 1および図 2に示す P ESバケツト 1のペイロード部 1 1が合成される ( ステップ S 402) 。 また、 ペイロード部 1 1の最初に配置されるテキストフレ ー厶 1 1 4を再生する時刻情報を PTSとして格納した PESヘッダ部 1 0が付 加され、 PESパケット 1が送出される (ステップ S 403) 。 さらに、 得られ た PESバケツト 1は、 TSとして送出される (ステップ S 404) 。
(2)
PESバケツ卜の送出に際しては、 異なる PESバケツ卜で同一のテキストフ レームを複数回伝送することができる。 これについて、 図 5を用いて説明する。 図 5に示す PESバケツト 5および 5' は、 図 1に示す PESバケツト 1 と同 様のデータ構造を有している。 PESパケット 5' は、 PESパケット 5の次に 送出される。 PESパケット 5のペイロード部 51は、 図 2 (a) に示すテキス トフレーム 1 1 4と同様のデータ構想を有するテキストフレーム (T FO, T F 1, T F 2, ■ ' ■ ) を有している。 さらに、 PESパケット 5は、 ペイロード 部 51において最初に配置されるテキストフレームである T F 0の再生時刻 T 0 を PTSの値として PESヘッダ部 50に格納している。 PESパケット 5 ' の ペイロード部 51 ' は、 図 2 (a) に示すテキストフレーム 1 1 4と同様のデ一 タ構想を有するテキストフレーム (T F 1, T F 2, T F 3, ■ ■ ■ ) を有して いる。 さらに、 PESパケット 5' は、 ペイロード部 51 ' において最初に配置 されるテキス卜フレームである T F 1の再生時刻 T 1を P T Sの値として P E S へッダ部 50 ' に格納している。
このように、 1つの PESパケットで複数のテキストフレームを送出し、 さら に異なる PESバケツ卜間で同一のテキストフレームを重複して伝送することに より、 伝送時のエラー耐性を高めることができる。
(3)
また、 PESパケットの伝送に際しては、 テキストトラック用にあらかじめ固 定の伝送路帯域を確保した場合、 その固定の伝送路帯域を十分に利用するよう P ESバケツ卜のデータ長あるいは PESバケツ卜の伝送個数が決定される。 例え ば、 テキストトラック用に 1 6 k b p sの伝送路帯域を割り当てた場合、 1秒間 に 2000バイトの P ESパケットを作成することができる。 これにより、 20 00バイ卜の PESバケツト内に入るだけのテキストフレームを詰め込んで伝送 する。
. これにより、 伝送路帯域を十分に活用して、 重複したテキストフレームを伝送 することが可能となり、 エラー耐性を高めた伝送が可能となる。
〈データ受信装置〉
図 6に、 MPEG— 2 TSの伝送に際して使用されるデータ受信装置 6を示 す。 データ受信装置 6は、 受信部 60と、 システムデコーダ部 6 "Iと、 メディア デコーダバッファ部 62と、 メディアデコーダ部 63と、 表示バッファ部 64と を備えており、 放送波等より受信した TSからテキストトラックを再生する装置 である。 データ受信装置 6は、 例えば、 テレビ、 コンピュータあるいは力一ナビ などに内蔵あるいは外部接続される装置である。
受信部 60は、 放送波等を受信し、 TSを復調する。 システムデコーダ部 61 は、 復調された TSからビデオ、 オーディオ、 あるいは亍キストといったトラッ ク毎に PESパケットを分離する。 さらに、 TSパケットからトラック間の同期 再生のための基準時刻である S T C (System Time Clock) を再生する。 メディ アデコーダバッファ部 62は、 分離された P ESバケツトのうちテキストトラッ クの再生にかかる PESバケツト 1の PESヘッダ部 1 0から PTSを取り出す 。 さらに、 システムデコーダ部 61で再生された STCを参照し、 STCに一致 する PTSを持つ PESバケツト 1のペイロード部 1 1を送出する。 メディアデ コーダ部 63は、 取得したペイロード部 1 1を解析し、 トラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 1 2、 コンフイダインフォメーション 1 1 3の格 納する情報、 STC、 デュレーシヨン 1 1 41 bおよびモディファイァ 1 1 41 Gに基づいてテキストトラックをデコードする。 表示バッファ部 64は、 デコー ドされたテキストトラックを格納し、 表示装置 65の表示レートに従って、 デコ ―ドされたテキス卜トラックをビデオ、 オーディオといった他のメディアと同期 的に再生させる。
なお、 本発明の特徴は、 メディアデコーダ部 63にあるため、 データ受信装置 の形態はデータ受信装置 6に限定されるものではない。 例えば、 表示装置 65を 一体的に備えるものであってもよい。
〈データ受信方法〉
(1 )
図 7を用いて、 MPEG— 2 TSの伝送に際して使用されるデータ受信装置 6におけるデータ受信方法について説明する。
受信された TSから、 ビデオ、 オーディオ、 あるいはテキストといったトラッ ク毎に PESパケットが分離される。 さらに、 TSからトラック間の同期再生の ための基準時刻である STCが再生される (ステップ S701 ) 。 分離された P ESバケツトのうち、 テキス卜トラックの再生にかかる PESバケツト 1の PE Sヘッダ部 10から PTSが取得される。 さらに、 再生された STCから、 ST Cに一致する PTSを持つ PESバケツ卜 1のペイ口一ド部 1 1が解析される ( ステップ S 702) 。 ペイロード部 1 1の解析により識別されたトラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 12およびコンフィグインフォメーショ ン 1 1 3の格納する情報、 STC、 デュレーシヨン 1 141 bおよびモディファ ィァ 1 141 Gに基づいてテキストトラックがデコ一ドされる (ステップ S 70 3)。
(2)
図 8に、 データ受信装置 6において、 テキストトラックシーケンスとして定義 されるペイロード部 1 1を解析するためのシンタクスを示す。
PESバケツト 1のペイロード部 1 1の解析に際して、 スタートコード 1 1 5 の検索が行われる。 スタートコード 1 15が見つかった場合、 そのスタートコ一 ドに付加される I Dが解析される (ステップ S802 a, ステップ S803 a, ステップ S 804 a, ステップ S 805 a) 。 I Dの解析により、 トラックへッ ダ 1 1 1、 サンプルディスクリプシヨン 1 12、 コンフィグインフォメーション 1 13、 テキストフレーム 1 14が識別され、 それぞれの情報について処理が行 われる (ステップ S802 b, ステップ S803 b, ステップ S 804 b, ステ ップ S 805 b) 。
また、 受信した P ESバケツト 1にコンフイダインフォメーション 1 13が含 まれていない場合、 インデックス 1 141 aおよびデュレーシヨン 1 141 の データ長には、 デフォルト値が使用される (ステップ S801)。
このシーケンスは、 テキストトラックが終了するまで続けられる。 例えば、 テ キストトラックの終了は、 テキストトラックの最後に付加されたスタートコ一ド 1 1 5とテキストトラックの終了を意味する I D (例えば、 [Ox 04] ) と から構成される識別子などにより識別される (ステップ S 806)。
(3)
データ受信装置 6においては、 上記テキストトラックシーケンスにて PESパ ケット 1のペイロード部 1 1の解析を行う。 さらに、 ペイロード部 1 1の含む複 数のテキストフレーム 1 14, 1 14' , ■ ■ ■のうちデコードすべきテキスト フレームを判定する規則について、 図 9および図 10を用いて説明する。
(3-1)
まず、 複数の PESバケツ卜が備えるテキストフレームの再生時刻が重複して いる場合について説明する。
図 9に示す PESバケツト 9および 9' は、 図 1に示す PESバケツト 1と同 様のデータ構造を有している。
PESパケット 9' は、 PESパケット 9の次に送出される。 PESパケット 9のペイ口一ド部 91は、 図 2 (a) に示すテキストフレーム 1 14と同様のデ ータ構想を有するテキストフレーム (TFO, T F 1 , ■ ' ,, TFn— 1, T Fn, T F n +1 , ■ ■ ■ ) を有している。 また、 それぞれのデュレーシヨンを DO, D1, ■ , -, Dn— 1, Dn, D n + 1 , ' ' ,とする。 さらに、 ΡΕ Sバケツ卜 9は、 ペイ口一ド部 91において最初に配置されるテキストフレーム である T F 0の再生時刻 Taを PTSの値とする PESヘッダ部 90を有してい る。
PESバケツ卜 9' のペイロード部 91, は、 図 2 (a) に示すテキストフレ ーム 1 14と同様のデータ構造を有するテキストフレーム (TFk, TFk + 1 , ■ ■ ■ ) を有している。 また、 それぞれのデュレーシヨンを Dk, Dk + 1, ■ ' 'とする。 さらに、 PESパケット 9' は、 ペイロード部 91 ' において最 初に配置されるテキストフレームである T F kの再生時刻 T bを PTSの値とす る PESヘッダ部 90' を有している。
さらに、 丁 1<の再生時刻1"13は、 T n<T b<T n + 1を満たすとする。 こ こで、 Tnおよび Tn + 1は、 テキストフレーム TFnおよび TF n + 1の再生 時刻であり、 Tn = Tn— 1 +Dn— 1、 Tn + 1 =Tn + Dn、 である。
このとき、 この PESパケット 9と PESパケット 9' との関係において、 デ コードされるべきテキストフレームは、 P ESパケット 9において時刻 T b以前 に再生されるべきテキストフレームおよび PESバケツト 9' が含むテキストフ レームである。
すなわち、 時刻 Tbにおいては、 P ESパケット 9の再生しているテキストフ レーム T F nの状態に係わらず、 PESパケット 9' の備えるテキストフレーム (TFk, TFk + 1 , ■ ■ ■ ) の再生が開始される。
さらに具体的に説明する。 例えば、 PESパケット 9は、 3つのテキストフレ ームを備え、 卩巳3パケット9の 丁3の値に対してそれぞれ0, 20, 30秒 後に再生開始するようデュレーシヨンの値が指定されているとする。 一方、 PE Sパケット 9' は、 3つのテキストフレームを備え、 已3パケット9の?丁5 の値に対してそれぞれ 26, 38, 52秒後に再生開始するよう PTSおよびデ ユレーシヨンの値が指定されているとする。 PESパケット 9と PESパケット 9' とを受信した場合に、 再生側では、 PESパケット 9の PTSの値に対して 0, 20, 26, 38, 52秒後にそれぞれテキストフレームが再生される。 これによつて、 あらかじめ送った複数のテキストフレームを最新の情報に更新 して再生することができ、 例えば、 緊急事態にテキストの再生を行うことなどが 可能となる。
(3-2)
次に、 PESバケツ卜が受信された時刻がその PESバケツ卜の PTSが示す 時刻を経過している場合について説明する。
図 1 0に示す PESバケツ卜 1 1 0は、 図 1に示す PESバケツト 1 と同様の データ構造を有している。
PESバケツト 1 1 0のペイロード部 1 01は、 図 2 (a) に示すテキストフ レーム 1 1 4と同 のデータ構想を有するテキストフレーム (T F0, T F 1, ■ ■ ■, T F n— 1, T F n, T F n + 1 , ■ ■ ' ) を有している。 また、 それ ぞれのデュレーシヨンを D 0, D 1 , ■ ■ ■, D η - 1 , D n, D η + 1 , - ■ ■とする。 さらに、 PESバケツト 1 1 0は、 ペイロード部 1 01において最初 に配置されるテキストフレームである T F 0の再生時刻 T aを PT Sの値とする 巳3へッダ部1 00を有している。
ここで、 PESパケット 1 1 0の受信時刻を T dとする。 時刻 T dが、 丁 a< T n<T d<T n +1を満たすとし、 受信時においてすでに T F 0の再生時刻 T aを経過しているとする。 ここで、 T nおよび T n + 1は、 テキストフレーム Τ F ηおよび T F η + 1の再生時刻であり、 Τ η = Τ η— 1 +Dn— 1、 T n + 1 =T n +D ηである。 このとき、 PESパケット 1 10のテキストフレーム (T FO, T F 1, ■ ■ ,, TFn— 1, T F n, T F n +1 , ' ■ ' ) のうち、 デコードされるべきテ キストフレームは、 PESパケット 1 10において、 時刻 Td以後に再生される テキストフレームである。
すなわち、 時刻 Tdにおいて、 テキストフレーム T F ηから再生が開始され、 テキストフレーム T F ηは、 時刻 Τ n + 1までの [T n + 1— T d] だけ再生さ れる。
さらに、 テキストフレーム T F nが時間変化を伴う処理を含む場合、 例えば、 スクロールやカラオケなどの書式で再生される場合には、 時刻 T dにおいて再生 されているべき状態から再生が開始される。
図 1 1を用いて、 具体的に説明する。 テキストフレーム T F nは、 モディファ ィァによリカラオケのオプション書式が設定されているとし、 時刻 T nからの 5 秒間で 「あいうえお」 の 5文字を 1秒間に 1文字づっ色変化させるとする。 再生 状態 1 101は、 時刻 T nに再生されているべき状態、 再生状態 1 102は、 時 刻 T nから 5秒後に再生されているべき状態とする。
このとき、 テキストフレーム T F nを含む PESバケツト 1 10を時刻 T nか ら 3秒経過した時刻 T dに受信したとする。 このとき、 時刻 Tdにおいては、 3 文字色変化した再生状態 1103から再生が開始される。
〈第 1実施形態の効果〉
(PESバケツ卜のデータ構造)
本実施形態で示した PESパケット 1のデータ構造により、 T i me d T e x tのヘッダ部 3010 (図 55参照) のような T i me d Te x tの全体の 再生に係わる情報を事前に伝送しておく必要がなくなる。 このため、 テキストト ラックの受信開始から再生開始までの待ち時間が少なくなる。
また、 テキストトラックの再生に必要な情報であるトラックヘッダ 1 1 1、 サ ンプルディスクリプシヨン 1 12、 コンフィグインフォメーション 1 13などと いった情報が繰り返して伝送されており、 テキストトラックにランダムアクセス し再生することが可能となる。
これらにより、 PESパケット 1のデータ構造は、 ストリーミング伝送に好適 なデータ構造であるといえる。
(データ伝送装置およびデータ伝送方法)
本実施形態で示したデータ伝送装置 3およびデータ伝送方法では、 1つの PE Sバケツ卜で複数のテキストフレームを送出し、 さらに異なる PESバケツ卜間 で同一のテキストフレームを重複して伝送する。 これにより、 伝送時のエラー耐 性を高めることができ、 データの再送要求などできないストリーミング伝送にお いて好適な伝送が可能となる。
(データ受信装置およびデータ受信方法)
本実施形態で示したデータ受信装置 6およぴデータ受信方法では、 あらかじめ 送った複数のテキストフレームを最新の情報に更新して再生することができる。 これにより、 例えば、 緊急事態にテキストの再生を行うことなどが可能となる。 また、 PESバケツ卜の受信時刻が PESバケツ卜の PTSを経過している場 合、 ビデオあるいはオーディオであればその PESパケットを破棄し、 次の PE Sパケットの受信を待って再生を再開する。 しカヽし、 テキストトラックの再生で は、 PESパケットの途中のテキストフレームからでも再生を行うことを可能と し、 情報の欠落をできる限り防ぐことが可能となる。 さらに、 カラオケ、 スクロ ールなどの時間変化を伴う書式でテキストトラックの再生が行われる場合であつ ても、 テキストトラックとビデオあるいはオーディオとのずれから感じられる違 和感を軽減することが可能となる。
〈第 1実施形態の変形例〉
(1)
第 1実施形態において、 トラックヘッダ識別子 1 1 1 a、 サンプルディスクリ プシヨン識別子 1 12a、 コンフィグインフォメーション識別子 1 13 aおよび テキストフレーム識別子 1 14 aは、 それぞれに共通のスタートコード 1 1 5と それぞれに固有の I D1 1 1 b, 1 12b、 1 13 bおよび 1 14 bとから構成 されると説明した。
ここで図 12 (a) に示すように、 それぞれの識別子は、 トラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 12、 コンフィグインフォメーション 1 13 、 あるいはテキストフレーム 1 14, 1 14' , ■ ■ 'のそれぞれのデータ長を 格納するレングス部 (1 1 1 c, 1 12c, 1 13 c, 1 14c, 1 14' c, ' ' ■ ) と、 固有の I D (1 1 1 b, 1 12b, 1 13b, 1 14 b) とから構 成されるものであってもよい。
例えば、 それぞれのレングス部を 2バイ トとすると、 トラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 12、 コンフィグインフォメーション 1 13、 あ るいはテキストフレーム 1 14, 1 14' , ■ ■ 'のそれぞれのデータ長は、 最 大 65535バイトに制限される。 し力、し、 一般的には、 テキストデータの伝送 として十分なデータ長であるといえる。 また、 レングス部を 2バイ トとすると、 3バイ トのスタートコード 1 1 5を用いた場合に比べてビット効率がよいといえ る。 さらに、 スタートコード 1 15を用いて識別する場合、 ビット列中に疑似ス タートコード (スタートコードではないが、 スタートコードと同一のビット列) が発生してはならないため、 ビット列中に疑似スタートコ一ドが出現しないよう 制限を設ける必要がある。 しカヽし、 識別子にレングス部を用いた場合、 このよう な不都合の発生は防止できる。
このとき、 レングス部のデータ長をコンフィグインフォメーション 1 13によ リ指定することも可能である。 具体的には、 コンフイダインフォメーション 1 1 3のリザーブ領域 1 131 aのうち 2ビットをレングスサイズインジケータ 1 1 31 ' aとし、 レングス部のデータ長を 1 ~ 4バイ トに指定することも可能であ る (図 12 (b)参照) 。
(2)
第 1実施形態においては、 巳3パケット1は、 図 2に示す構造を持つテキス トフレーム 1 14を有しているとして説明した。 ここで、 PESパケットは、 図 13に示す P ESパケット 1 ' ' であってもよい。
図 13に示す PESパケット 1 ' ' は、 MP EG— 2システムで規定される P ESヘッダ部 1 16と、 ペイロード部 1 1 7とを備えている。 ペイロード部 1 1 7は、 ペイロードヘッダ部 1 1 8と、 ペイロードデータ部 1 1 9とから構成され る。 ペイロードヘッダ部 1 18は、 カウント部 1 18 a、 サンプルヘッダ部 1 1 8 bおよび 1 1 8 Gとを有している。 ペイロードデータ部 1 19は、 テキストサ ンプル 1 19 bおよび 1 19 cを有している。 カウント部 1 18 aは、 巳3パケット1 ' , に含まれるテキストサンプルの 個数を示している。 図 13では、 カウント部 1 1 8 aの値が [2] の場合を示し ており、 PESバケツ卜 1 ' ' は、 2つのテキストサンプル 1 19 bおよび 1 1 9 cを含んでいる。
サンプルヘッダ部 1 18 bは、 レングス部と、 インデックスと、 デュレーショ ンとを有している。 レングス部は、 サンプルヘッダ部 1 1 8 bのデータ長を格納 している。 インデックスおよびデュレーシヨンは、 図 2に示すインデックス 1 1 41 aおよびデュレーシヨン 1 141 bと同様である。 サンプルヘッダ部 1 18 cは、 サンプルヘッダ部 1 18 bと同様の構造を有している。
テキストサンプル 1 19 bおよび 1 19 cは、 図 2に示すテキストサンプル 1 142と同様の構造を有しているので説明は省略する。
ここで、 サンプルヘッダ部 1 1 8 bおよび 1 1 8 cは、 その配置順にテキスト サンプル 1 1 9bおよび 1 1 9 cと関連づけられている。 すなわち、 ペイロード ヘッダ部 1 18において最初に配置されるサンプルヘッダ部 1 1 8 bは、 ペイ口 —ドデータ部 1 19において最初に配置されるテキストサンプル 1 19 bのイン デックスおよびデュレ一シヨンを示している。 また、 テキストサンプル 1 1 9b および 1 1 9cは、 ペイロードデータ部 1 1 9において再生順に配置されており 、 PESバケツト 1と同様に最初に配置されるテキストサンプル 1 19 bの再生 時刻を PESヘッダ部 1 16の PTSに格納している。
P ESバケツト 1 ' ' では、 複数のテキストサンプル 1 19 bおよび 1 1 9 c を連結した構造を有しており、 PESバケツト 1に比して MP 4ファイル記録時 の構造に近い構造を有しつつ、 ストリーミング伝送に適したバケツト構造となつ ている。
なお、 已3パケット1 ' ' は、 トラックヘッダ 1 1 1、 サンプルディスクリ プシヨン 1 12、 コンフイダインフォメーション 1 13 (図 1参照) をさらに有 してもよい。 この場合、 それぞれを識別する識別子を付加することが求められる また、 PESパケットは、 テキストサンプル毎にサンプルヘッダ部を配置する 構造であってもよい。 図 13を用いて具体的に説明すると、 サンプルヘッダ部 1 18 b、 テキス卜サンプル 1 19 b、 サンプルヘッダ部 1 1 8 G、 テキストサン プル 1 19 cの順にデータを格納する構造である。 この場合、 テキストサンプル 1 18 b (1 1 8c) 〖ま、 直前に配置されるサンプルヘッダ部 1 19b (1 1 9 c) と関連づけられている。 また、 この場合、 レングス部は、 直後に配置される テキストサンプルのデータ長を格納する。 さらにこの場合、 カウント部 1 1 8 a は、 無くてもよい。
(3)
識別子の一部にスタートコード 1 1 5を用いる場合、 ビット列中の擬似スター トコードの出現は以下のようにして防止される。 例えば、 図 1に示すように、 ス タートコード 1 15は [0 X 00 00 01 ] 、 トラックヘッダ識別子 1 1 1 aの I D 1 1 1 bは [0 X 00] , サンプルディスクリプシヨン識別子 1 1 2aの I D1 12bは [Ox 01] , コンフイダインフォメーション識別子 1 13aの I D1 13bは [Ox 02] , テキストフレーム識別子 1 14 aの I D 1 14bは [Ox 03] と決定されているとする。 このとき、 トラックへッ ダ 1 1 1、 サンプルディスクリプシヨン 1 12、 コンフイダインフォメーション 1 13あるいはテキストフレーム 1 14のビット列中に 2バイトのゼロが出現し た場合、 予め定めた 1バイトコ一ド (例えば [Ox 05] ) を 2バイ卜のゼロ の後に挿入して伝送することとしてもよい。 この場合、 再生側では、 トラックへ ッダ 1 1 1等のビット列中に 2バイ卜のゼロが続いた後の 1バイトを無条件に削 除することで、 オリジナルのデータに戻すことができる。
具体的には、 トラックヘッダ 1 1 1等のビット列中に、 [00 00 EA 65 ■ ■ ■ ] というビット列が出現した場合、 伝送側において、 予め定めた 1 バイトコード [Ox 05] を揷入して、 [00 00 05 E A 65 ' ■ ■ ] として伝送する。 再生側において、 [00 00 05 E A 65 ■ ■ ■ ] というビット列を受信した場合、 2バイ卜のゼロが続いた後の 1バイトを 無条件に削除して、 [00 00 EA 65 ■ ■ ■ ] というビット列を復元 する。
(4)
テキストフレームが備えるデュレ一シヨンの値は、 [無限大] を表現すること も可能とする。
すなわち、 再生側においては、 [無限大] を表現するデュレーシヨンの値をも つテキス卜フレームを受信した場合、 そのテキストフレームの再生開始時刻を超 える再生開始時刻を持つテキストフレームを受信するまでは、 [無限大] を表現 するデュレ一シヨンの値を持つテキストフレームを再生し続けるものとする。 また、 [無限大] を表現するデュレーシヨンの値をもつテキストフレームは、 P E Sバケツ卜において、 最後に配置されるものとする。
なお、 デュレーシヨンの値 [無限大] を表現するために、 具体的には、 デュレ ーシヨンの値として [ 0 ] が格納される。
( 5 )
図 2 ( b ) を用いて説明したサンプルディスクリプシヨン 1 1 2は、 図 1 4に 示すデータ構造を有していてもよい。 図 1 4に示すサンプルディスクリプシヨン 1 1 2 ' は、 サンプルエントリ毎にインデックスを有している点を特徴としてい る。 具体的には、 データ受信装置などでは、 テキストフレームが有するインデッ クス (例えば、 図 2のインデックス 1 1 4 1 aなど) をサンプルディスクリプシ ヨン 1 1 2 ' が有するインデックスと対応させ、 テキストフレームに適用するサ ンプルエントリを判断する。 以下、 図 1 4についてさらに詳細に説明を加える。 図 1 4に示すサンプルディスクリプシヨン 1 1 2 ' は、 エントリカウント 5 0 1と、 複数のサンプルエントリを有している。 図 1 4では、 サンプルエントリ 5 0 2とサンプルェントリ 5 0 3との 2つのサンプルェントリを有する場合を示す エントリカウント 5 0 1は、 サンプルディスクリプシヨン 1 1 2 ' が有するサ ンプルエントリの個数を、 例えば 1バイ卜のデータ長で示す。 図 1 4では、 2つ のサンプルエントリを有するため、 値 [ 2 ] が格納される。 サンプルエントリ 5 0 2は、 インデックス 5 0 4とサンプルアトリビュート 5 0 5とを有している。 サンプルエントリ 5 0 3も同様の構造を有しており、 インデックス 5 0 6とサン プルアトリビュート 5 0 7とを有している。 以下、 サンプルエントリ 5 0 2を用 いて説明を加える。
インデックス 5 0 4は、 あらかじめ設定されたデータ長 (Nバイト) でサンプ ルェントリ 502のインデックス値を示す。 サンプルァトリビュート 505は、 図 2 (b) で説明したサンプルエントリ 1 1 21などと同様の書式情報を格納し ている。 サンプルアトリビュート 505のデータ長は、 可変である。
このサンプルディスクリプシヨン 1 1 2' では、 サンプルディスクリプシヨン 1 1 2' が有するインデックスとテキストフレームが有するインデックスとを対 応させ、 テキス卜フレームに適用する書式を判断させることが可能となる。
[第 2実施形態]
〈データ構造〉
第 1実施形態においては、 テキストトラックの再生に係る情報をすベて PES パケット 1により伝送した (インバンド伝送) 。 一方、 トラックヘッダ、 サンプ ルディスクリプシヨンといった情報を MP EG— 2 TSにおいて規定される P S I (Program Specific Information) と呼ばれるテーブル情報として伝送する ことも可能である (アウトバンド伝送) 。
T Sはビデオ、 オーディオなど複数のプログラムを多重化して伝送することが できるため、 ストリーム中に含まれているあるプログラムを他のどのプログラム と共に再生すればよいのかといつた情報を送る必要がある。 MPEG— 2 TS では、 ビデオ、 オーディオなどを伝送する PESではなく、 セクションと呼ばれ るデータ構造により、 これらの情報を伝送している。 PS Iには、 PAT (Prog ram Association Table) 、 PMT (Program Map Table) としゝつたテープレ力規 定されている。 さらに、 PS Iのセクションにおいては、 ディスクリプタと呼ば れる構造を用いて様々な説明情報などを伝送することが可能となっている。
この PMT、 あるいは応用システムで定義される PS I プライべ一トセクショ ンにおいてトラックヘッダ、 サンプルディスクリプシヨンといつた情報をデイス クリプタとしてカルーセル方式で伝送することが可能である。
この場合、 P ESパケットでは、 テキス卜トラックの再生に係る情報のうち、 テキストフレームのみを伝送すればよい。 図 1 5に第 2実施形態において伝送さ れる PESバケツト 1 3を示す。
図 1 5に示す PESパケット 1 3のデータ構造は、 MPEG— 2 TSで規定 される P ESヘッダ部 1 30と、 ペイロード部 1 31 とから構成される。 PES ヘッダ部 1 30は、 ビデオ、 オーディオ、 あるいはテキストといったトラック間 の同期再生のための時刻情報である P T S (Presentation Time Stamp) を有し ている。 ペイロード部 1 31は、 図 2 (a) において定義されるテキストフレー ム 1 1 4と同じ構造を有するテキストフレーム 1 31 4, 1 31 4' , ■ ■ ■と 、 それぞれのテキストフレーム 1 31 4, 1 31 4' , ■ ■ ■のデータ長 1 31 5, 1 31 5' , ■ ■ ,とから構成される。
なお、 データ長 1 31 5, 1 31 5' , ■ ■ 'に代わり、 スタートコ一ドを用 いてテキストフレーム 1 31 4, 1 31 4' , ■ ■ 'の境界の目印としてもよい PMT、 あるいは PS I プライベートセクションにおいて伝送されるトラック ヘッダ、 サンプルディスクリプシヨンは、 それぞれ第 1実施形態において説明し たトラックヘッダ 1 1 1、 サンプルディスクリプシヨン 1 1 2、 サンプルデイス クリプシヨン 1 1 2' と同じ構造を有している。 また、 必要に応じてコンフイダ インフォメーション 1 1 3を伝送するとしてもよい。
また、 図 1 5に示す PESパケット 1 3は、 第 1実施形態の変形例として説明 した図 1 3に示す PESパケット 1 ' ' と同様の構造を有するものであってもよ し \>
〈データ伝送装置〉
図 1 6に、 MPEG— 2 TSの伝送に際して使用されるデータ伝送装置 1 4 を示す。 データ伝送装置 1 4は、 蓄積部 1 41 と、 PES送出部 1 42と、 シス テムエンコーダ部 1 43とを備えており、 蓄積されたメディアデータを TSパケ ッ卜として送出する装置である。
蓄積部 1 41は、 メディアデータを、 例えば、 MP 4ファイル形式で蓄積して いる。 PES送出部 1 42は、 MP4ファイルからビデオ、 オーディオ、 あるい は T i me d T e x tなどといったトラック毎に独立した E Sを受信する。 P ES送出部 1 42では、 受け取った T i me d T e x tをトラックヘッダ 30 30、 サンプルディスクリプシヨン 3040、 サンプルテーブル 3050および テキストサンプル 3060 (図 55参照) に分離してバッファリングする。 バッ ファリングされたそれぞれの情報から、 図 1 5に示す PESパケット 1 3を作成 する。 また、 P ESパケット 1 3の PTSには、 P ESパケット 1 3において最 初に配置されるテキストフレーム 1 31 4をビデオあるいはオーディオなど他の トラックと同期再生する時刻情報が格納される。 システムエンコーダ部 1 43で は、 トラックヘッダ 3030およびサンプルディスクリプシヨン 3040を、 P M丁、 あるいは PS I プライベートセクションにおいて格納し、 TSパケットと して PESバケツト 1 3と多重して送出する。
また、 データ伝送に際しては、 第 1実施形態の 〈データ伝送方法〉 (2) およ び (3) で説明したデータ伝送方法を採用することも可能である。
〈データ受信装置〉
図 1 7に、 MPEG— 2 T Sの伝送に際して使用されるデータ受信装置 1 5 を示す。 データ受信装置 1 5は、 受信部 1 50と、 システムデコーダ部 1 51 と 、 メディアデコーダバッファ部 1 52と、 メディアデコーダ部 1 53と、 表示バ ッファ部 1 54とを備えており、 受信した TSからテキストトラックを再生する 装置である。 データ受信装置 1 5は、 例えば、 テレビ、 コンピュータあるいは力 一ナビなどに内蔵あるいは外部接続される。
受信部 1 50は、 放送波等を受信し、 TSを復調する。 システムデコーダ部 1 51は、 復調された TSからビデオ、 オーディオ、 あるいはテキス卜といったト ラック毎に PESパケットを分離する。 さらに、 TSパケットからメディア間の 同期再生のための基準時刻である STCを再生する。 また、 PMT、 あるいは P S I プライべ一トセクシヨンにおいて格納されたトラックヘッダ 3030および サンプルディスクリプシヨン 3040をメディアデコーダ部 1 53に設定する。 メディアデコーダバッファ部 1 52は、 分離された PESパケットのうちテキ ストトラックの再生にかかる PESバケツト 1 3から PTSを取り出す。 さらに 、 システムデコーダ部 1 51で再生された STCを参照し、 STCに一致する P TSを持つ PESバケツト 1 3のペイ口一ド部 1 31を送出する。
メディアデコーダ部 1 53は、 取得したペイ口一ド部 1 31、 STCおよび設 定されたトラックヘッダ 3030およびサンプルディスクリプシヨン 3040に 基づいてテキストトラックをデコードする。
表示バッファ部 1 54は、 デコードされたテキストトラックを格納し、 表示装 置 1 55の表示レートに従って、 デコードされたテキストトラックをビデオ、 ォ 一ディォといった他のメディアと同期的に再生させる。
また、 データ受信に際しては、 第 1実施形態の 〈データ受信方法〉 (2) およ び (3) で説明したデータ受信方法を採用することも可能である。
〈第 2実施形態の効果〉
第 1実施形態の効果と同様の効果を得ることができる。
また、 テキストトラックの再生に必要な情報であるトラックヘッダ、 サンプル ディスクリプシヨンといった情報は、 カルーセル方式により繰り返し伝送されて おり、 PESパケット 1 3を受信しつつ順次再生することが可能となる。
さらに、 上記第 1実施形態のようにインバンド伝送する場合、 トラックヘッダ やサンプルディスクリプシヨンなどは、 その内容に変化がなくても、 PESパケ ットに含まれて繰り返し出現する。 このため、 再生の際には、 その内容が変化し たかどうかを毎回解析して確認する必要がある。 一方、 上記第 2実施形態のよう にアウトバンド伝送する場合、 P M T中でトラックへッダなどを繰リ返し伝送す る必要はあるが、 内容の変化の有無は、 PMTのヘッダ部にあるバージョン番号 の変化で判断可能であり、 その内容が変化したかどうかを毎回解析して確認する 必要がなく、 効率的な処理が可能となる。
〈第 2実施形態の変形例〉
(1 )
図 1 5を用いて説明した PESパケット 1 3において、 データ長 1 31 5, 1 31 5' をセグメントテキストヘッダ (図 2 (a) 参照) の一部として含んでい てもよい。 この場合の PESパケットの構造を図 1 8に示す。
図 1 8に示す PESバケツト 51 1は、 MPEG— 2 TSで規定される PE Sヘッダ部 51 2と、 ペイロード部 51 3とから構成される。 PESヘッダ部 5 1 2は、 図 1 5を用いて説明した PESヘッダ部 1 30と同様の構造を有してい る。 ペイロード部 51 3は、 複数のテキストフレームを有している。 以下、 ペイ ロード部 51 3の有するテキストフレームのうちの 1つであるテキストフレーム 51 4を用いて、 テキストフレームの構造について説明する。
テキストフレーム 51 4は、 セグメントテキス卜ヘッダ 51 5とテキス卜サン プル 516とから構成される。 セグメントテキストヘッダ 515は、 インデック ス 51 7とデュレーシヨン 51 8とレングス 519とを有している。 インデック ス 51 7は、 テキストサンプル 516と、 テキストサンプル 516に適用される サンプルエントリ (図 2 (b) 、 図 14参照) とを関連づけるための情報である 。 デュレーシヨン 51 8は、 テキストサンプル 516の再生時間情報である。 レ ングス 519は、 テキストサンプル 516のデータ長を格納する。 なお、 セグメ ン卜テキストヘッダ 515における、 インデックス 51 7、 デュレ一シヨン 51 8およびレングス 51 9の順序は任意である。 テキストサンプル 516は、 図 2 (a) に示すテキストサンプル 1 142と同様の構造を有している。
PESパケット 51 1には、 以上の構造を有するテキストフレームが複数格納 される。
(2)
上記実施形態では、 図 1 5を用いて、 トラックヘッダおよびサンプルディスク リプシヨンをアウトバンド伝送する場合について説明した。 ここで、 サンプルデ イスクリプシヨンは、 インバンド伝送することとしてもよい。 この場合の PES バケツ卜の構造を図 19を用いて説明する。
《2— 1》
図 1 9 (a) は、 ペイロード部の冒頭にサンプルディスクリプシヨンをまとめ て配置する PESバケツ卜の構造について示している。
P ESパケット 526は、 MPEG— 2 T Sで規定される P E Sヘッダ部 5 27と、 ペイロード部 528とから構成される。 PESヘッダ部 527は、 図 1 5を用いて説明した PESヘッダ部 1 30と同様の構造を有している。 ペイロー ド部 528は、 サンプルディスクリプシヨン 529および複数のテキストフレー ムを有している。 図 1 9 (a) では、 3つのテキストフレーム 530〜 532が 格納されている。
サンプルディスクリプシヨン 529は、 図 14を用いて説明したサンプルディ スクリプシヨン 1 12' と同様の構造を有しており、 ペイロード部 528が有す るテキストフレーム 530〜532により参照されるサンプルエントリを有して いる。 より具体的には、 テキストフレーム 530~ 532が有するインデックス 値に対応するィンデックス値を有するサンプルェントリを有している。 すなわち 、 テキストフレーム 530〜532が有するインデックス値がそれぞれ値 [3] 、 [2] 、 [2] である場合、 サンプルディスクリプシヨン 529は、 インデッ クス値 [3] を有するサンプルエントリと、 値 [2] を有するサンプルエントリ の 2つのサンプルエントリを備える。
テキストフレーム 530〜 532の構造は、 図 1 8を用いて説明したテキスト フレーム 51 4と同様である。
なお、 サンプルディスクリプシヨン 529は、 図 2 (b) に示すサンプルディ スクリプシヨン 1 1 2と同様の構造、 すなわち、 インデックスを有さない構造で あってもよい。 この場合、 インデックス値 [N] を有するテキストフレームに対 して、 サンプルディスクリプシヨン 1 1 2において [N] 番目に格納されている サンプルエントリが適用される。
また、 テキストフレーム 530〜 532は、 図 2 (a) に示すテキストフレー ム 1 1 4と同様の構造、 すなわち、 レングスを備えない構造を有していてもよい 。 この場合には、 テキストフレーム 530〜 532の境界を明確にするために、 識別子が用いられてもよい。
《2— 2》
図 1 9 (b) は、 テキストフレーム毎にサンプルエントリを配置する PESパ ケッ卜の構造について示している。
PESパケット 536は、 MPEG— 2 T Sで規定される P E Sヘッダ部 5 37と、 ペイロード部 538とから構成される。 PESヘッダ部 537は、 図 1 5を用いて説明した PESヘッダ部 1 30と同様の構造を有している。 ペイ口一 ド部 538は、 複数のテキストフレームを有している。 以下、 ペイロード部 53 8の有するテキストフレームのうちの 1つであるテキストフレーム 539を用い て、 テキストフレームの構造について説明する。
テキストフレーム 539は、 セグメントテキストヘッダ 540とテキストサン プル 541とから構成される。 セグメントテキストヘッダ 540は、 サンプルェ ントリ 542とデュレ一シヨン 543とレングス 544とを有している。 サンプ ルエントリ 542は、 テキストサンプル 541に適用される書式情報であり、 図 2 ( b ) に示すサンプルエントリ 1 1 2 1あるいは図 1 4に示すサンプルァトリ ビュート 5 0 5と同様の構造を有している。 デュレーシヨン 5 4 3は、 テキスト サンプル 5 4 1の再生時間情報である。 レングス 5 4 4は、 テキストサンプル 5 4 1のデータ長を格納する。 なお、 セグメントテキストヘッダ 5 4 0における、 サンプルエントリ 5 4 2、 デュレーシヨン 5 4 3およびレングス 5 4 4の順序は 任意である。 テキストサンプル 5 4 1は、 図 2 ( a ) に示すテキストサンプル 1 1 4 2と同様の構造を有している。
P E Sバケツト 5 3 6には、 以上の構造を有するテキストフレームが複数格納 される。
《2— 3》
サンプルディスクリプシヨンをインバンド伝送とすることの効果について説明 する。
サンプルディスクリプシヨンをセクション形式によってァゥトバンド伝送する 場合、 セクション形式のバケツ卜と P E Sバケツ卜との伝送頻度が異なるため、 P E Sバケツトにより伝送されるテキストサンプルを再生するために必要となる タイミングでサンプルディスクリブションが伝送されていないということが起こ りうる。 すなわち、 テキストサンプルが受信されていても、 テキストサンプルの 再生に必要なサンプルディスクリプシヨンが伝送されていないために、 サンプル ディスクリプシヨンの伝送が完了するまでテキストサンプルの再生開始が遅れて しまうことがある。 とくに、 サンプルディスクリプシヨンの情報量が多い場合な どには、 複数のパケットに分けて伝送される必要があるため、 さらに再生開始ま での時間がかかることとなる。
一方、 図 1 9に示す P E Sバケツトによりサンプルディスクリプシヨンをイン バンド伝送とする場合には、 P E Sバケツ卜が格納するテキストサンプルが必要 とするサンプルエントリを含むサンプルディスクリプシヨンを伝送すれば、 テキ ストサンプルの再生が可能となる。 すなわち、 M P 4ファイル (図 5 5参照) が 含む全てのテキストサンプルによリ参照される可能性のあるサンプルェントリの 全てを事前に伝送しておく必要がなく、 テキストサンプルの再生開始までの時間 を短縮化できる。 また、 サンプルディスクリプシヨンの内容を変更した場合であっても、 変更内 容を追加して伝送することが容易であリ、 リアルタィ厶でデータを作成しながら 伝送するストリーミング伝送に好適な構造を有していると言える。
(3)
上記実施形態では、 必要に応じてコンフイダインフォメーション 1 1 3をァゥ トバンド伝送してもよいと説明した。
ここで、 コンフイダインフォメーションは、 アウトバンド伝送でも、 インバン ^、ド伝送でも伝送されないもので有ってもよい。 この場合、 セグメントテキストへ ッダのデータ長は、 あるデフオルト値に設定されるとしてもよい。
[第 3実施形態]
第 3実施形態では、 RT P (Real time Transport Protocol) 、 RTS P (Re a I Time Streaming Protocol) および S D P (Session Description Protocol) を用いたテキス卜トラックのストリ一ミング伝送について説明する。 RT Pは、 I ET F (Internet Engineering Task Force) の R F C 1 889において規定 されている、 マルチメディアストリームのパケットフォーマットである。 RTS P、 SD Pは、 RFC2326、 R F C 2327でそれぞれ規定される、 マルチ メディアストリ一ミングの制御プロトコルである。
〈RT P■ RTS Pシーケンス〉
まず、 インターネット上においてクライアント 1 61がサーバ 1 62から MP 4フアイル形式のメディァデータを取得する際の一般的な処理の流れを図 20に 示す。
まず、 ユーザが、 パーソナルコンピュータなどのクライアント 1 61に装備さ れているウェブブラウザにより、 MP 4ファイルへのリンクを含む HTML (Hyp er Text Markup Language)ファイルを要求すると、 クライアント 1 61は、 HT MLファイルを要求するコマンド C 1を発行する。 サーバ 1 62は、 コマンド C 1を了解したことを示す応答 R 1 (HTT P/1. 0 OK) をクライアント 1 61に発行すると共に、 HTMLデータを送信する。 (セッション S 1 ) 。
次に、 ユーザが、 M P 4ファイルへのリンクをクリックすると、 クライアント 1 61は、 MP 4ファイルに関する詳細な情報を要求するコマンド C 2を発行す る。 サーバ 1 62は、 コマンド C2を了解したことを示す応答 R2 (RTS PZ 1 - 0 OK) をクライアント 1 61に発行すると共に、 この詳細な情報を含む S DPデータがクライアント 1 61に供給される (セッション S 2) 。
次に、 クライアント 1 61は、 受信された SD Pの記述に基づいて、 MP 4フ アイルのそれぞれのトラックを提供する準備を行うことを要求するコマンド C 3 1〜C33を発行する。 サーバ 1 62は、 それぞれのメディアデータを提供する 準備が整い次第、 上記コマンド C 31 ~C 33を了解したことを示す応答 R 31 〜R33 (RTSP/1. 0 OK) を発行する (セッション S3) 。
次に、 クライアント 1 61は、 すべてのメディアデータの提供を要求するコマ ンド C4を発行する。 サーバ 1 62は、 コマンド C4を了解したことを示す応答 R4 (RTS P/1. 0 OK) を発行する (セッション S4) 。 その後、 MP 4ファイル形式のメディアデータが RT Pバケツ卜として伝送される。
クライアント 1 61は、 セッションの終了に際しては、 セッションの終了を要 求するコマンド C 5を発行する。 サーバ 1 62は、 コマンド C 5を了解したこと を示す応答 R5 (RTS P/1. 0 OK) を発行しセッションが終了される ( セッション S 5 ) 。
ここで、 上記セッション S2〜S5は、 RTSPにより行われる。
く R TPバケツ卜のデータ構造〉
(1 )
サーバ 1 62が備える MP4ファイル形式のメディアデータは、 RT Pバケツ トとして伝送される。
ここで、 MP 4ファイルが備える T 1 me d T e x tをストリ一ミング伝送 により利用するために、 RT Pバケツトは図 21に示すデータ構造を有している 。 図 21に示す RT Pバケツト 1 7のデータ構造は、 図 1 2に示す P ESバケツ ト 1 ' のデータ構造と同様であるので詳しい説明は省略する。
RT Pバケツト 1 7は、 RT Pヘッダ部 1 70にタイムスタンプと呼ばれる時 刻情報を有している。 このタイムスタンプは、 図 1 2に示す PESパケット 1 ' の PTS同様、 ペイロード部 1 71において最初に配置されるテキストフレーム の再生時刻を有している。 (2)
トラックヘッダ、 サンプルディスクリプシヨン、 コンフィグィンフオメ一ショ ンおよびテキストフレームといったテキストトラックの再生に係る情報をすベて R T Pパケット 1 7により伝送 (インバンド伝送) するのに対し、 一部の情報を 図 20のセッション S 2において供給される SD Pとして伝送することも可能で ある (ァゥトバンド伝送) 。
RT Pを用いてサーバ 1 62からメディアデータを取得する際には、 サーバ' クライアント間でセッション S 2が実行される。 このため、 S D Pとしてトラッ クヘッダ、 サンプルディスクリプシヨンといった情報をあらかじめ伝送しておき 利用することができる。
図 22に RT Pを用いたァゥトバンド伝送で伝送される RT Pバケツト 1 8の データ構造を示す。 図 22に示す RT Pパケット 1 8のデータ構造は、 図 1 5に 示す PESバケツト 1 3のデータ構造とほぼ同様であるので詳しい説明は省略す る。
RT Pパケット 1 8は、 RT Pヘッダ部 1 80にタイムスタンプと呼ばれる時 刻情報を有している。 このタイムスタンプは、 図 1 5に示す PESパケット 1 3 の PTS同様、 ペイロード部 1 81において最初に配置されるテキストフレーム の再生時刻を有している。
S D Pにおいて伝送されるトラックヘッダ、 サンプルディスクリプシヨンは、 それぞれ第 1実施形態において説明したトラックヘッダ 1 1 1、 サンプルデイス クリプシヨン 1 1 2と同じ構造を有している。 また、 必要に応じてコンフィグイ ンフオメーシヨン 1 1 3を伝送するとしてもよい。
(3)
また、 図 21および図 22に示す RT Pバケツト 1 7および 1 8は、 第 1実施 形態の変形例として説明した図 1 3に示す PESパケット 1 ' ' のペイロード部 1 1 7と同様の構造を有するペイロード部に RT Pヘッダ部 1 70および 1 80 を付加した構造を有するものであってもよい。
〈データ伝送装置〉
図 23に、 R T Pを用いたテキストトラッケの伝送に際して使用されるデータ 伝送装置 19を示す。 データ伝送装置 19は、 蓄積部 191と、 1^丁?送出部1 92と、 1^丁3 通信部1 93と、 丁 送信部194とを備えている。 データ 伝送装置 19は、 例えば、 蓄積されたメディアデータをクライアント 161から の要求に応じて、 RT Pバケツト 1 7あるいは 1 8として送出するサーバ 162 などに搭載される装置である。 以下、 テキストトラックの伝送に係る部分を中心 に説明する。
(1 )
まず、 テキストトラックの再生に係る情報を RT Pバケツ卜でインバンド^送 する場合について説明する。
蓄積部 1 91は、 メディアデータを、 例えば、 MP4ファイル形式で蓄積して いる。 また、 蓄積部 191は、 蓄積するファイルに関する詳細な情報を有してい る。
RTP送出部 1 92は、 MP4ファイルからビデオ、 オーディオ、 あるいは T i me d T e x tなどといったトラック毎に独立した E Sを受信する。 RTP 送出部 1 92では、 受け取った T i me d T e x tをトラックヘッダ 3030 、 サンプルディスクリプシヨン 3040、 サンプルテーブル 3050およびテキ ストサンプル 3060 (図 55参照) に分離してバッファリングする。 さらに、 バッファリングされたそれぞれの情報から、 図 21に示す RT Pパケット 1 7を 作成する。 また、 RT Pパケット 1 7のタイムスタンプには、 RTPパケット 1 7において最初に配置されるテキストフレームを再生する時刻情報が格納される
1^丁3 通信部193は、 メディアデータの提供を要求するクライアント 16 1とセッション S2〜S5 (図 20参照) を行い、 蓄積部 191に蓄積されるフ アイルに闋する情報を取得して送信する。 また、 クライアント 161からのメデ ィァデータの再生の要求を受け、 RTP送出部 1 92に RTPパケット 1 7を作 成させる。
RTP送信部 1 94は、 クライアント 161に対して、 RTPバケツト 1 7を 送信する。
(2) データ伝送装置 1 9と同様の構成をもつデータ伝送装置により、 テキストトラ ックの再生に係る情報を SD Pでァゥトバンド伝送する場合について説明する。 以下、 動作の相違する R TP送出部と RTSP通信部の動作について説明する。 アウトバンド伝送に用いられるデータ伝送装置において、 R T P送出部は、 蓄 積部から受け取った T i me d T e x tをトラックヘッダ 3030、 サンプル ディスクリプシヨン 3040、 サンプルテーブル 3050およびテキストサンプ ル 3060 (図 55参照) に分離してバッファリングする。 さらに、 バッファリ ングされたそれぞれの情報から、 図 22に示す RT Pパケット 1 8を作成する。 また、 RT Pパケット 1 8のタイムスタンプには、 RT Pパケット 1 8において 最初に配置されるテキストフレームを再生する時刻情報が格納される。
RTS P通信部は、 メディアデータの提供を要求するクライアント 1 61 とセ ッシヨン S2〜S5 (図 20参照) を行う。 セッション S 2においては、 蓄積部 に蓄積されるファイルに関する情報、 トラックヘッダ 3030およびサンプルデ イスクリプシヨン 3060を S DPにて送信する。 また、 クライアント 1 61か らのメディアデータの再生の要求を受け、 RT P送出部に RT Pパケット 1 8を 作成させる。
R T P送信部は、 クライアント 1 61に対して、 R T Pパケット 1 8を伝送す る。
(3)
データ伝送に際しては、 第 1実施形態の 〈データ伝送方法〉 (2) および (3 ) で説明したデータ伝送方法を採用し、 RT Pパケットを作成することも可能で める。
〈データ受信装置〉
図 24に RT Pにより伝送されるテキストトラックを受信するために使用され るデータ受信装置 20を示す。 データ受信装置 20は、 RTS P通信部 201 と 、 R T P受信部 202と、 受信バッファ部 203と、 クロック 204と、 デコー ダ部 205と、 表示部 206とを備えており、 データ伝送装置 1 9より受信した RT Pバケツト 1 7あるいは 1 8に基づいて、 テキストトラックの再生を行うコ ンピュータ、 携帯電話、 PDA (personal digital assistant) などといった装 置である。 以下、 テキストトラックの再生に係る部分を中心に説明する。
(1 )
まず、 テキストトラックの再生に係る情報がすべて RT Pバケツ卜でインバン ド伝送される場合について説明する。 ここで、 テキストトラックの再生に係る情 報が RT Pバケツトによりインバンド伝送されるか、 SD Pによリアゥトバンド 伝送されるかについては、 セッション S 2 (図 20参照) で伝送される S D Pに 示されている。
RTS P通信部 201は、 メディアデ一タの提供を行うサーバ 1 62とセッシ ヨン S2〜S 5 (図 20参照) を行う。 さらに、 このセッション S2〜S 5に基 づいて、 RT P受信部 202に RT Pパケット 1 7を受信させるための受信制御 を行う。
RT P受信部 202は、 サーバ 1 62から送信された RT Pバケツ卜 1 7を上 記受信制御に基づいて受信し、 一時的に受信バッファ部 203に格納する。
受信バッファ部 203は、 格納した RT Pバケツ卜 1 7からタイムスタンプを 取得し、 クロック 204のカウントとタイムスタンプとに基づいて、 RT Pパケ ッ卜 1 7をデコーダ部 205に送出する。
デコーダ部 205は、 取得した RT Pバケツト 1 7とクロック 204のカウン 卜とに基づいて、 テキストトラックのデコードを行う。
デコードされたテキストトラックは、 表示部 206にて表示される。
(2)
データ受信装置 20と同様構成を持つデータ受信装置により、 SDPでアウト バンド伝送されたテキストトラックの再生に係る情報を受信する場合について説 明する。
RTS P通信部は、 サーバ 1 62とのセッション S 2において、 S D Pにより T i me d T e x tのトラックヘッダ 3030、 サンプルディスクリプシヨン 3040 (図 55参照) を取得する。 取得されたトラックヘッダ 3030、 サン プルディスクリプシヨン 3040は、 デコーダ部 205に設定される。
RT P受信部は、 サーバ 1 62から送信された RT Pパケット 1 8を受信し、 一時的に受信バッファ部に格納する。 受信バッファ部は、 格納した RTPパケット 1 8からタイムスタンプを取得し 、 クロックのカウン卜とタイムスタンプとに基づいて、 RTPパケット 1 8をデ コーダ部に送出する。
デコーダ部は、 取得した RT Pバケツ卜 1 8とクロックのカウントと RTSP 通信部により設定された情報とに基づいて、 テキストトラックのデコードを行う
(3)
なお、 データ受信に際しては、 第 1実施形態の 〈データ受信方法〉 (2) およ び (3) で説明したデータ受信方法を採用し、 RT Pパケットからテキストトラ ックを再生することも可能である。
また、 本発明の特徴は、 デコーダ部 205にあるため、 データ受信装置の形態 はデータ受信装置 20に限定されるものではない。 例えば、 表示部 206を別体 として外部に備えるものであってもよい。
〈第 3実施形態の効果〉
第 1実施形態および第 2実施形態と同様の効果を得ることができる。
また、 S DPを用いた伝送では、 テキストトラックの伝送前に RTS Pによる セッション S2~S5が実行されることを利用してテキストトラックの再生に係 る情報の一部を送信する。 これにより、 テキストトラックの再生に係る重要な情 報を確実に伝送することができる。 さらにこの場合、 セッション S2において 1 度だけトラックヘッダやサンプルディスクリプシヨンを送れば良いため、 伝送路 帯域を十分に活用してテキストフレームの伝送を行うことができる。
〈第 3実施形態の変形例〉
(1 )
図 22に示す RT Pバケツト 1 8のペイ口一ド部 181は、 図 1 8に示すペイ ロード部 513と同様の構造を有していてもよい。 また、 図 19に示すペイ口一 ド部 528あるいはペイロード部 538と同様の構造を有していてもよい。
(2)
上記実施形態では、 必要に応じてコンフイダインフォメーション 1 13をァゥ トバンド伝送してもよいと説明した。 ここで、 コンフィグインフォメーションは、 アウトバンド伝送でも、 インバン ド伝送でも伝送されないもので有ってもよい。 この場合、 セグメントテキストへ ッダのデータ長は、 あるデフォルト値に設定されるとしてもよい。
[第 1〜第 3実施形態に関する付記]
〈付記の内容〉
(付記 1 )
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータを再生するための情報を含むテキス卜へ ッダデータとを含み、
前記テキスト伝送用データは、 前記分割テキストデータに付加された分割テキ ス卜データ識別子と、 前記テキストヘッダデータに付加されたテキス卜ヘッダデ ータ識別子とを含んでいる、
テキスト伝送用データの伝送データ構造。
(付記 2 )
前記テキストヘッダデータは、 前記テキス卜データ全体の再生に係わる全体テ キストヘッダデータと、 前記分割テキストデータの個々の再生に係わる分割テキ ストヘッダデータとを含み、
前記テキスト伝送用データでは、 前記分割テキストヘッダデータは前記分割テ キストデータ毎に並べられており、
前記テキストヘッダデータ識別子は、 前記全体テキストヘッダデータに付加さ れた全体テキストヘッダデータ識別子を含む、 付記 1に記載のテキスト伝送用デ 一夕の伝送データ構造。
(付記 3 )
前記全体テキストヘッダデータは、 前記分割テキストデータの書式情報を複数 有しており、
前記分割テキストヘッダデータは、 前記分割テキス卜データと前記書式情報と の関連を示すインデックスを含む、 付記 2に記載のテキスト伝送用データの伝送 データ構造。
(付記 4 )
前記分割テキストヘッダデータは、 前記分割テキス卜データの再生時間情報を 含む、 付記 2または 3に記載のテキスト伝送用データの伝送データ構造。
(付記 5 )
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、 前記テキス卜データを分割した複数の分割テキ ストデータと、 前記分割テキストデータを再生するための情報を含むテキス卜へ ッダデータとを含み、
前記テキストヘッダデータは、 前記テキストデータ全体の再生に係わる全体テ キストヘッダデータと、 前記分割テキストデータの個々の再生に係わる分割テキ ストヘッダデータとを含み、
前記全体テキス卜ヘッダデータは、 前記分割テキストヘッダデータのデータ長 をカスタマイズするためのデータ長カスタマイズ情報を含んでいる、 テキスト伝 送用データの伝送データ構造。
(付記 6 )
前記全体テキストヘッダデータは、 前記分割テキストデータの書式情報を複数 さらに含み、
前記分割テキストヘッダデータは、 前記分割テキストデータと前記書式情報と の関連を示すインデックスを含んでいる、 付記 5に記載のテキスト伝送用データ の伝送データ構造。
(付記 7 )
前記分割テキストヘッダデータは前記分割テキストデータの再生時間情報を含 んでいる、 付記 5又は 6に記載のテキスト伝送用データの伝送データ構造。
(付記 8 )
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データの伝送データ構造であって、
前記テキス卜再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータの再生を開始する再生開始情報を含むテ キストヘッダデータとを含み、
前記テキスト伝送用データは複数のバケツ卜から構成され、
前記各バケツトは前記テキストヘッダデータの前記再生開始情報を含んでいる 、
テキス卜伝送用データの伝送データ構造。
(付記 9 )
前記テキストヘッダデータは、 前記テキストデータ全体の再生に係わる全体テ キス卜ヘッダデータと、 前記分割テキス卜データの個々の再生に係わる分割テキ ストヘッダデータとを含み、
前記各全体テキストヘッダデータは前記再生開始情報を含んでいる、 付記 8に 記載のテキスト伝送用データの伝送データ構造。
(付記 1 0 )
前記全体テキストヘッダデータは、 前記分割テキストデータの書式情報を複数 さらに含み、
前記分割テキストヘッダデータは、 前記分割テキストデータと前記書式情報と の関連を示すインデックスを含んでいる、 付記 9に記載のテキスト伝送用データ の伝送データ構造。
(付記 1 1 )
前記全体テキストヘッダデータは、 前記分割テキストヘッダデータのデータ長 をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる、 付記 9又は 1 0に記載のテキスト伝送用データの伝送データ構造。
(付記 1 2 )
テキス卜データの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データのデータ伝送方法であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータの再生を開始する再生開始情報を含むテ キス卜ヘッダデータとを含み、
前記テキスト再生用データに基づいて、 前記テキスト伝送用データのペイロー ド部を作成する作成ステップと、
前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとする 付加ステップとを備え、
前記各ペイロード部は、 前記テキストヘッダデータの前記再生開始情報を含ん でいる、
テキスト伝送用データのデータ伝送方法。
(付記 1 3 )
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキス卜伝送用データのデータ伝送装置であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータの再生を開始する再生開始情報を含むテ キストヘッダデータとを含み、
前記テキスト再生用データに基づいて、 前記テキスト伝送用データのペイ口一 ド部を作成する作成手段と、
前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとする 付加手段とを備え、
前記各ペイロード部は、 前記テキストヘッダデータの前記再生開始情報を含ん でいる、
テキス卜伝送用データのデータ伝送装置。
(付記 1 4 )
コンピュータにより、 テキストデータの再生にかかるテキスト再生用データを 転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うため のデータ伝送プログラムであって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータの再生を開始する再生開始情報を含むテ キストヘッダデータとを含み、
前記データ伝送プログラムは、 コンピュータに、
前記テキスト再生用データに基づいて、 前記テキスト伝送用データのペイロー ド部を作成する作成ステップと、 前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとする 付加ステップとを備え、
前記各ペイ口一ド部は、 前記テキストヘッダデータの前記再生開始情報を含ん でいる、
テキスト伝送用データのデータ伝送方法
を、 行わせるものであるデータ伝送プログラム。
(付記 1 5 )
テキス卜データの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データのデータ伝送方法であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータを再生するための情報を含むテキス卜へ ッダデータとを含み、
前記テキスト再生用データに基づいて、 ペイロード部を作成する作成ステップ 前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとする 付加ステップとを備え、
前記テキスト伝送用データは、 複数の前記バケツ卜から構成され、
前記分割テキストデータは、 前記各バケツト内において表示順に配置され、 前記バケツ卜は、 前記各分割テキス卜データの再生時刻情報を有し、 第 2のバケツトは、 その前の第 1のバケツ卜の分割テキストデータと再生時刻 情報が重複する分割テキストデータを含んでいる、
テキスト伝送用データのデータ伝送方法。
(付記 1 6 )
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データのデータ伝送装置であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ストデータと、 前記分割テキストデータを再生するための情報を含むテキス卜へ ッダデータとを含み、
前記テキス卜再生用データに基づいて、 ペイロード部を作成する作成手段と、 前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツ卜とする 付加手段とを備え、
前記テキスト伝送用データは、 複数の前記バケツ卜から構成され、
前記分割テキストデータは、 前記各バケツト内において表示順に配置され、 前記バケツトは、 前記各分割テキス卜データの再生時刻情報を有し、 第 2のバケツトは、 その前の第 1のバケツ卜の分割テキストデータと再生時刻 情報が重複する分割テキス卜データを含んでいる、
テキスト伝送用データのデータ伝送装置。
(付記 1 7 )
コンピュータにより、 テキストデータの再生にかかるテキスト再生用データを 転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うため のデータ伝送プログラムであって、
前記テキスト再生用データは、 前記テキス卜データを分割した複数の分割テキ ストデータと、 前記分割テキストデータを再生するための情報を含むテキス卜へ ッダデータとを含み、
前記データ伝送プログラムは、 コンピュータに、
前記テキスト再生用データに基づいて、 ペイロード部を作成する作成ステップ 前記作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとする 付加ステップとを備え、
前記テキス卜伝送用データは、 複数の前記バケツ卜から構成され、
前記分割テキストデータは、 前記各バケツト内において表示順に配置され、 前記バケツトは、 前記各分割テキス卜データの再生時刻情報を有し、 第 2のバケツトは、 その前の第 1のバケツ卜の分割テキストデータと再生時刻 情報が重複する分割テキストデータを含んでいる、
テキス卜伝送用データのデータ伝送方法
を、 行わせるものであるデータ伝送プログラム。
〈付記の説明〉
付記 1にかかるテキスト伝送用データの伝送データ構造は、 テキストデータの 再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送 用データの伝送データ構造であって、 テキスト再生用データは、 テキストデータ を分割した複数の分割テキストデータと、 分割テキス卜データを再生するための 情報を含むテキストヘッダデータとを含んでいる。 さらに、 テキスト伝送用デー タは、 分割テキストデータに付加された分割テキストデータ識別子と、 テキスト ヘッダデータに付加されたテキストヘッダデータ識別子とを含んでいる。
ここで、 分割テキストデータ識別子とテキストヘッダデータ識別子とは、 例え ば、 スタートコードと、 分割テキストデータおよびテキストヘッダデータを識別 する固有の I Dとから構成される識別子や、 分割テキストデータおよびテキスト ヘッダデータのそれぞれのデータ長と、 それぞれに固有の I Dとから構成される 識別子などである。,
テキスト伝送用データにおいて、 分割テキストデータおよびテキストヘッダデ ータは、 分割テキストデータ識別子およびテキストヘッダデータ識別子にょリ識 別可能となる。 すなわち、 分割テキストデータを再生するための情報を含むテキ ストヘッダデータを、 分割テキストデータ毎にあるいは周期的に伝送しても、 再 生側において識別させることができる。 これにより、 再生側においては、 テキス トデータの再生にかかるテキスト再生用データの情報量に係わらず、 分割テキス トデータおよびテキス卜ヘッダデータに基づいて、 順次再生を行うことが可能と なる。
付記 2にかかるテキスト伝送用データの伝送データ構造は、 付記 1に記載のテ キス卜伝送用データの伝送データ構造であって、 テキストヘッダデータは、 テキ ストデータ全体の再生に係わる全体テキストヘッダデータと、 分割テキストデー 夕の個々の再生に係わる分割テキストヘッダデータとを含んでいる。 また、 テキ ス卜伝送用データでは、 分割テキストヘッダデータは分割テキストデータ毎に並 ベられている。 さらに、 テキストヘッダデータ識別子は、 全体テキストヘッダデ ータに付加された全体テキストヘッダデータ識別子を含んでいる。
ここで、 分割テキストデータ識別子や全体テキストヘッダデータ識別子は、 例 えば、 スタートコードと、 分割テキストデータおよび全体テキストヘッダデータ を識別する固有の I Dとから構成される識別子や、 分割テキストデータおよび全 体テキストヘッダデータのデータ長と、 それぞれに固有の I Dとから構成される 識別子などである。
テキスト伝送用データにおいて、 分割テキストデータおよび全体テキストへッ ダデータは、 分割テキストデータ識別子および全体テキストヘッダデータ識別子 により識別可能となる。 すなわち、 テキスト伝送用データにおいて、 全体テキス トヘッダデータを必要なタイミングで伝送することができる。
付記 3にかかるテキスト伝送用データの伝送データ構造は、 付記 2に記載のテ キス卜伝送用データの伝送データ構造であって、 全体テキストヘッダデータは、 分割テキストデータの書式情報を複数有している。 また、 分割テキストヘッダデ —タは、 分割テキストデータと前記書式情報との関連を示すインデックスを含ん でいる。
ここで、 書式情報とは、 例えば、 分割テキストデータのスクロールの有無と方 向、 再生位置、 背景色、 フォン卜書式 (フォント名、 大きさ、 色、 太字、 下線、 斜体など) などで構成さ lる分割テキストデータの書式のデフォルト情報である o
これにより、 分割テキストデータ毎に書式情報を伝送する必要がなくなる。 そ のため、 テキスト伝送用データの情報量を少なくすることが可能となる ϋ
付記 4にかかるテキスト伝送用データの伝送データ構造は、 付記 2または 3に 記載のテキスト伝送用データの伝送データ構造であって、 分割テキストヘッダデ ータは、 分割テキストデータの再生時間情報を含んでいる。
再生時間情報は、 分割テキストデータ毎に並べられている。 再生側では、 この 再生時間情報に従って、 分割テキストデータの再生を行う。
付記 5にかかるテキスト伝送用データの伝送データ構造は、 テキストデータの 再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送 用データの伝送データ構造であって、 テキスト再生用データは、 テキストデータ を分割した複数の分割テキス卜データと、 分割テキストデータを再生するための 情報を含むテキストヘッダデータとを含んでいる。 また、 テキストヘッダデータ は、 テキストデータ全体の再生に係わる全体テキストヘッダデータと、 分割テキ ス卜データの個々の再生に係わる分割テキス卜ヘッダデータとを含んでいる。 さ らに、 全体テキストヘッダデータは、 分割テキストヘッダデータのデータ長を力 スタマイズするためのデータ長カスタマイズ情報を含んでいる。
データ長カスタマイズ情報により、 分割テキス卜データの個々の再生に係わる 分割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることがで きる。 すなわち、 テキスト伝送用データにおける分割テキストヘッダデータのし める情報量を必要かつ十分な量にカスタマイズすることができる。 この結果、 分 割テキストデータの個々の再生に必要な情報量を少なくすることができ、 再生側 における順次再生に係る負荷を軽減することができる。
付記 6にかかるテキスト伝送用データの伝送データ構造は、 付記 5に記載のテ キスト伝送用データの伝送データ構造であって、 全体テキストヘッダデータは、 分割テキストデータの書式情報を複数さらに含んでいる。 た、 分割テキストへ ッダデータは、 分割テキス卜データと書式情報との関連を示すインデックスを含 んでいる。
ここで、 書式情報とは、 例えば、 分割テキストデータのスクロールの有無と方 向、 再生位置、 背景色、 フォント書式 (フォント名、 大きさ、 色、 太字、 下線、 斜体など) などで構成される分割テキストデータの書式のデフオルト情報である また、 データ長カスタマイズ情報は、 インデックスのデータ長を、 例えば、 8 , 1 6, 2 4, 3 2ビットといったデータ長に設定する。
これにより、 分割テキストデータ毎に書式情報を伝送する必要がなくなる。 こ の結果、 分割テキストデータの個々の再生に必要な情報量を少なくすることがで き、 再生側における順次再生に係る負荷をさらに軽減することができる。
付記 7にかかるテキス卜伝送用データの伝送データ構造は、 付記 5又は 6に記 載のテキスト伝送用データの伝送データ構造であって、 分割テキス卜ヘッダデー タは分割テキス卜データの再生時間情報を含んでいる。
また、 データ長カスタマイズ情報は、 再生時間情報のデータ長を、 例えば、 8 , 1 6, 2 4 , 3 2ビットといったデータ長に設定する。
再生時間情報は、 分割テキストデータ毎に並べられている。 再生側では、 この 再生時間情報に従って、 分割テキストデータの再生を行う。 付記 8にかかるテキス卜伝送用データの伝送データ構造は、 テキス卜データの 再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送 用データの伝送データ構造であって、 テキスト再生用データは、 テキストデータ を分割した複数の分割テキストデータと、 分割テキストデータの再生を開始する 再生開始情報を含むテキストヘッダデータとを含んでいる。 また、 テキスト伝送 用データは複数のパケットから構成されている。 さらに、 各パケットはテキスト ヘッダデータの再生開始情報を含んでいる。
ここで、 再生開始情報とは、 例えば、 テキストデータのレイアウト (表示領域 、 ビデオなど他メディアとの相対位置) 、 レイヤ (他メディアとの階層関係) 、 再生時間などの情報を含み、 分割テキストデータの再生を開始するために必要な 情報である。
これにより、 再生側においては、 テキストデータの再生にかかるテキスト再生 用データの情報量に係わらず、 各バケツト単位で順次再生を開始することができ 、 再生開始までの待ち時間を少なくすることが可能となる。
付記 9にかかるテキスト伝送用データの伝送データ構造は、 付記 8に記載のテ キスト伝送用データの伝送データ構造であって、 テキストヘッダデータは、 テキ ストデータ全体の再生に係わる全体テキストヘッダデータと、 分割テキストデー タの個々の再生に係わる分割テキストヘッダデータとを含んでいる。 また、 各全 体テキストヘッダデータは再生開始情報を含んでいる。
全体テキストヘッダデータは、 各バケツ卜に含まれ、 分割テキス卜データの再 生を開始する再生開始情報を含む。 また、 各パケットは、 それぞれのパケットが 含む分割テキストデータの再生に係わる分割テキストヘッダデータを含んでいる 付記 1 0にかかるテキスト伝送用データの伝送データ構造は、 付記 9に記載の テキスト伝送用データの伝送データ構造であって、 全体テキストヘッダデータは 、 分割テキストデータの書式情報を複数さらに含んでいる。 また、 分割テキスト ヘッダデータは、 分割テキストデータと書式情報との関連を示すインデックスを 含んでいる。
ここで、 書式情報とは、 例えば、 分割テキストデータのスクロールの有無と方 向、 再生位置、 背景色、 フォント書式 (フォント名、 大きさ、 色、 太字、 下線、 斜体など) などで構成される分割テキストデータの書式のデフォルト情報である これにより、 分割テキストデータ毎に書式情報を伝送する必要がなくなる。 こ の結果、 分割テキス卜データの個々の再生に必要な情報量を少なくすることがで き、 再生側における順次再生に係る負荷を軽減することができる。
付記 1 1にかかるテキスト伝送用データの伝送データ構造は、 付記 9又は 1 0 に記載のテキスト伝送用データの伝送データ構造であって、 全体テキストヘッダ データは、 分割テキストヘッダデータのデータ長をカスタマイズするためのデー タ長カスタマイズ情報をさらに含んでいる。
データ長カスタマイズ情報により、 分割テキス卜データの個々の再生に係わる 分割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることがで きる。 すなわち、 各パケットにおける分割テキストヘッダデータの情報量を必要 かつ十分な量にカスタマイズすることができる。 この結果、 分割テキストデータ の個々の再生に必要な情報量を少なくすることができ、 再生側における順次再生 に係る負荷をさらに軽減することができる。
付記 1 2にかかるテキスト伝送用データのデータ伝送方法は、 テキストデータ の再生にかかるテキス卜再生用データを転送し順次再生させるためのテキスト伝 送用データのデータ伝送方法であって、 テキスト再生用データは、 テキストデ一 タを分割した複数の分割テキストデータと、 分割テキストデータの再生を開始す る再生開始情報を含むテキストヘッダデータとを含んでいる。 また、 テキスト再 生用データに基づいて、 テキスト伝送用データのペイロード部を作成する作成ス テツプと、 作成された各ペイロード部に対してヘッダ部を付加しバケツトとする 付加ステップとを備えている。 さらに、 各ペイロード部は、 テキストヘッダデー タの再生開始情報を含んでいる。
ここで、 再生開始情報とは、 例えば、 テキストデータのレイアウト (表示領域 、 ビデオなど他メディアとの相対位置) 、 レイヤ (他メディアとの階層関係) 、 再生時間などの情報を含み、 分割テキストデータの再生を開始するために必要な 情報である。 このデータ伝送方法により作成された各バケツ卜を取得する再生側においては 、 テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、 各 バケツト単位で順次再生を開始することができ、 再生開始までの待ち時間を少な くすることが可能となる。
付記 1 3にかかるテキス卜伝送用データのデータ伝送装置は、 テキス卜データ の再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝 送用データのデータ伝送装置であって、 テキスト再生用データは、 テキストデー タを分割した複数の分割テキス卜データと、 分割テキストデータの再生を開始す る再生開始情報を含むテキストヘッダデータとを含んでいる。 また、 テキスト再 生用データに基づいて、 テキスト伝送用データのペイロード部を作成する作成手 段と、 作成された各ペイロード部に対してヘッダ部を付加しバケツトとする付加 手段とを備えている。 さらに、'各ペイロード部は、 テキストヘッダデータの再生 開始情報を含んでいる。
ここで、 再生開始情報とは、 例えば、 テキストデータのレイアウト (表示領域 、 ビデオなど他メディアとの相対位置) 、 レイヤ (他メディアとの階層関係) 、 再生時間などの情報を含み、 分割テキストデータの再生を開始するために必要な 情報である。
このデータ伝送装置により作成された各バケツトを取得する再生側においては 、 テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、 各 バケツト単位で順次再生を開始することができ、 再生開始までの待ち時間を少な くすることが可能となる。
付記 1 4にかかるデータ伝送プログラムは、 コンピュータにより、 テキストデ 一夕の再生にかかるテキスト再生用データを転送し順次再生させるためのテキス 卜伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、 テキスト再生用データは、 亍キストデータを分割した複数の分割テキストデータ と、 分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデ 一夕とを含んでいる。 テキスト伝送用データのデータ伝送方法は、 テキスト再生 用データに基づいて、 テキスト伝送用データのペイロード部を作成する作成ステ ップと、 作成された前記各ペイロード部に対してヘッダ部を付加しバケツトとす る付加ステップとを備えている。 また、 各ペイロード部は、 テキストヘッダデー 夕の再生開始情報を含んでいる。
ここで、 再生開始情報とは、 例えば、 テキストデータのレイアウト (表示領域 、 ビデオなど他メディアとの相対位置) 、 レイヤ (他メディアとの階層関係) 、 再生時間などの情報を含み、 分割テキストデータの再生を開始するために必要な 情報である。
このデータ伝送プログラムにより作成された各バケツトを取得する再生側にお いては、 テキストデータの再生にかかるテキス卜再生用データの情報量に係わら ず、 各パケット単位で順次再生を開始することができ、 再生開始までの待ち時間 を少なくすることが可能となる。
付記 1 5にかかるテキスト伝送用データのデータ伝送方法は、 テキストデータ の再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝 送用データのデータ伝送方法であって、 テキスト再生用データは、 テキストデー タを分割した複数の分割テキス卜データと、 分割テキストデータを再生するため の情報を含むテキストヘッダデータとを含んでいる。 また、 テキスト再生用デー タに基づいて、 ペイロード部を作成する作成ステップと、 作成された各ペイロー ド部に対してヘッダ部を付加しバケツトとする付加ステップとを備えている。 テ キスト伝送用データは、 複数の前記パケットから構成されている。 また、 分割テ キストデータは、 各パケット内において表示順に配置されている。 さらに、 パケ ットは、 各分割テキストデータの再生時刻情報を有している。 またさらに、 第 2 のバケツトは、 その前の第 1のバケツ卜の分割テキストデータと再生時刻情報が 重複する分割テキストデータを含んでいる。
ここで、 再生時刻情報は、 パケット内において最初に配置される分割テキスト データの再生時刻と各分割テキストデータの再生時間とから構成される情報、 あ るいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送方法により作成された各バケツ卜においては、 第 2のバケツト と、 その前の第 1のパケットとは、 再生時刻情報が重複する分割テキストデータ を含む。 すなわち、 異なるパケットで重複する再生時刻情報を持つ分割テキスト データを複数回伝送することが許される。 これにより、 テキスト伝送用データの エラ一耐性を高めることができる。
付記 1 6にかかるテキスト伝送用データのデータ伝送装置は、 テキストデータ の再生にかかるテキス卜再生用データを転送し順次再生させるためのテキスト伝 送用データのデータ伝送装置であって、 テキスト再生用データは、 テキストデー タを分割した複数の分割テキストデータと、 分割テキストデータを再生するため の情報を含むテキストヘッダデータとを含んでいる。 また、 テキスト再生用デー タに基づいて、 ペイロード部を作成する作成手段と、 作成された各ペイロード部 に対してヘッダ部を付加しバケツトとする付加手段とを備えている。 テキスト伝 送用データは、 複数のパケットから構成されている。 また、 分割テキストデータ は、 各パケット内において表示順に配置されている。 さらに、 パケットは、 各分 割テキストデータの再生時刻情報を有している。 またさらに、 第 2のパケットは 、 その前の第 1のバケツ卜の分割テキストデータと再生時刻情報が重複する分割 テキストデータを含んでいる。
ここで、 再生時刻情報は、 パケット内において最初に配置される分割テキスト データの再生時刻と各分割テキストデータの再生時間とから構成される情報、 あ るいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送装置により作成された各バケツ卜においては、 第 2のバケツ卜 と、 その前の第 1のパケットとは、 再生時刻情報が重複する分割テキストデータ を含む。 すなわち、 異なるパケットで重複する再生時刻情報を持つ分割テキスト データを複数回伝送することが許される。 これにより、 テキスト伝送用データの エラー耐性を高めることができる。
付記 1 7にかかるデータ伝送プログラムは、 コンピュータにより、 テキストデ 一夕の再生にかかるテキスト再生用データを転送し順次再生させるためのテキス ト伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、 テキスト再生用データは、 テキストデータを分割した複数の分割テキストデータ と、 分割テキストデータを再生するための情報を含むテキストヘッダデータとを 含んでいる。 テキスト伝送用データのデータ伝送方法は、 テキスト再生用データ に基づいて、 ペイロード部を作成する作成ステップと、 作成された各ペイロード 部に対してヘッダ部を付加しバケツ卜とする付加ステップとを備えている。 テキ スト伝送用データは、 複数のパケットから構成されている。 また、 分割テキスト データは、 各パケット内において表示順に配置されている。 さらに、 パケットは 、 各分割テキストデータの再生時刻情報を有している。 第 2のパケットは、 その 前の第 1のバケツ卜の分割テキストデータと再生時刻情報が重複する分割テキス 卜データを含んでいる。
ここで、 再生時刻情報は、 パケット内において最初に配置される分割テキスト データの再生時刻と各分割テキストデータの再生時間とから構成される情報、 あ るいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送プログラムにより作成された各バケツ卜においては、 第 2のパ ケッ卜と、 その前の第 1のバケツ卜とは、 再生時刻情報が重複する分割テキスト データを含む。 すなわち、 異なるパケットで重複する再生時刻情報を持つ分割テ キス卜データを複数回伝送することが許される。 これにより、 テキスト伝送用デ —タのエラ一耐性を高めることができる。
[第 4実施形態]
〈第 4実施形態および第 5実施形態の課題〉
T i me d T e x tをストリーミング伝送する際、 上記実施形態で説明した 伝送データ構造を持つ伝送用データをバケツ卜としてバケツト伝送することが考 えられる。
一方、 パケット伝送を行う際に、 1つのパケットの最大データサイズである M TU (Maximum Transmission Unit) が規定されている場合、 伝送途中でバケツ 卜が分割されることがある。 例えば、 パケットが I Pレイヤの MTUを超えるサ ィズで送出されると、 送出されたパケットは、 伝送途中に I Pレイヤで分割され る。 しかし、 パケットロスの起こりうる伝送 (例えば、 RT PZUD PZ I P伝 送) では、 パケットロスに対するエラー補償がなく、 I Pレイヤで分割されたパ ケッ卜の幾つかがロスすると、 バケツト全体の再生に影響を与えることが考えら れる。
そこで、 第 4実施形態および第 5実施形態では、 修飾情報の付されたテキスト データを含む再生データをストリーミング伝送する際に、 バケツトロスに対する 耐性を備えたパケットデータ構造を提供することを課題とする。 また、 第 4実施 形態あるいは第 5実施形態で説明するバケツトデータ構造を有するバケツトデー タを再生するデータ再生装置を提供することを課題とする。
〈第 4実施形態の内容〉
図 25〜図 41を用いて、 本発明の第 4実施形態としてのバケツトデータ構造 、 データ再生装置およびデータ多重装置について説明する。 加えて、 データ再生 方法およびデータ多重方法について説明する。
本実施形態では、 (1 ) 本発明のバケツ卜データ構造を有するバケツ卜が伝送 される際のシーケンス (RT P■ RTSPシーケンス) 、 (2) このシーケンス により伝送される本発明のパケットデータ構造、 (3) このパケットデータ構造 を有するパケットのデータ再生装置およびデータ再生方法、 (4) このパケット データ構造を有するバケツ卜のデータ多重装置およびデータ多重方法の順に説明 を行う。
なお、 図 26〜図 37において、 符号の最後に付される英数字は、 以下の規則 に従って付されている。 数字 [0] は、 後述する基本パケットおよび基本バケツ トを構成する要素に対して付されている (例えば図 26、 基本パケット P t 0な ど) 。 また、 数字 [0] は、 本発明のパケットデータ構造を説明するための基本 となる分割前のテキス卜サンプルおよびテキストサンプルを構成する要素に対し て付されている (例えば図 26、 テキストサンプル T s 0など) 。 その他の英数 字は、 基本となるテキストサンプルを分割した何番目のバケツトであるかを表す とともに (例えば図 27、 分割パケット P t 1など) 、 そのパケットを構成する 要素に対して付されている。 なお、 図中において、 同じデータ内容を持つ要素に ついては、 上記規則に従わず、 同じ符号を付している (例えば図 29、 テキスト サンプル T s 0におけるテキストレングス T I 0と分割バケツ卜 P t 1における テキストレングス T I 0など) 。
(1 ) 〈RT P■ RTS Pシーケンス〉
RT P (Real time Transport Protocol) 、 RTS P (Real Time Streaming Protocol) および SD P (Session Description Protocol) を用いたストリーミ ング伝送について説明する。 RTPは、 I ETF (Internet Engineering Task Force) の RFC 1 889において規定されている、 マルチメディアストリーム のパケットフォーマットである。 RTSP、 SDPは、 RFC2326、 RFC 2327でそれぞれ規定される、 マルチメディアストリーミングの制御プロトコ ルである。
図 25を用いて、 インターネット上においてクライアント C Lがサーバ SVか M P 4ファイル形式のメディアデータを取得する際の一般的な処理の流れを説 明する。
最初に、 パーソナルコンピュータなどのクライアント C Lに装備されているゥ ェブブラゥザによリ、 ユーザが M P 4ファィルへのリンクを含む HTML (Hyper Text Markup Language)ファイルを要求すると、 クライアント CLは、 HTML ファイルを要求するコマンド C 1を発行する。 サーバ SVは、 コマンド C1を了 解したことを示す応答 R1 (HTTP/1. 0 OK) をクライアント CLに発 行すると共に、 HTMLデータを送信する。 (セッション S1) 。
次に、 ユーザが、 MP4ファイルへのリンクをクリックすると、 クライアント C Lは、 MP 4ファイルに関する詳細な情報を要求するコマンド C 2を発行する 。 サーバ SVは、 コマンド C2を了解したことを示す応答 R2 (RTS P/1. 0 OK) をクライアント C Lに発行すると共に、 この詳細な情報を含む SD P データがクライアント SVに供給される (セッション S2) 。
次に、 クライアント CLは、 受信された S DPの記述に基づいて、 MP4ファ ィルのそれぞれのトラックを提供する準備を行うことを要求するコマンド C 31 〜C 33を発行する。 サーバ SVは、 それぞれのメディアデータを提供する準備 が整い次第、 上記コマンド C31〜C33を了解したことを示す応答 R31〜R 33 (RTS P/1. 0 OK) を発行する (セッション S3) 。
次に、 クライアント CLは、 すべてのメディアデータの提供を要求するコマン ド C4を発行する。 サーバ SVは、 コマンド C4を了解したことを示す応答 R4 (RTS P/1. 0 OK) を発行する (セッション S 4) 。 その後、 MP 4フ アイル形式のメディアデータが RT Pバケツトとして伝送される。 この RT Pパ ケッ卜には、 後述する本発明のバケツトデータ構造を有するバケツ卜が含まれて いる。
クライアント CLは、 セッションの終了に際しては、 セッションの終了を要求 するコマンド C 5を発行する。 サーバ SVは、 コマンド C 5を了解したことを示 す応答 R5 (RTS P/1. 0 OK) を発行しセッションが終了される (セッ シヨン S5)。
(2) く RTPパケットのデータ構造〉
図 26〜図 37を用いて、 RT Pパケットとして伝送される本発明のパケット データ構造を有するバケツ卜について説明する。
( i )基本バケツ卜の概要
T i me d Te x tを RT Pバケツトとして伝送する場合、 基本的には、 図 26に示す基本バケツト P t 0が利用される。
基本バケツト P t 0は、 ペイロード部 P I 0と、 ヘッダ部 H d 0とを備えてい る。 ペイロード部 P 1 0は、 テキストサンプル T s 0を備えている。 テキストサ ンプル T s 0は、 図 55に示すテキス卜サンプル 3060, 3061, ■ ■ ■ と 同様の構造を有しており、 テキストレングス T I 0と、 テキスト TxOと、 モデ ィファイア Md 0とから構成されている。 テキストレングス T I 0は、 テキスト T X 0のデータ長 (図中の値 [T L] ) を格納している。 テキスト T X 0は、 テ キスト本文 TdOとバイ トオーダマーク BmOとから構成される。 モディファイ ァ MdOは、 テキスト本文 T d 0の修飾情報であり、 1つ以上のモディファイァ ボックス Mb 0, ■ ■ 'を備えている。 モディファイァボックス Mb 0, ■ ■ ■ は、 テキスト本文 T d 0に修飾効果を利用するための情報である。 モディファイ ァボックス Mb 0は、 さらに、 モディファイァボックス Mb 0のボックスサイズ SzOと、 修飾タイプ Ty 0と、 複数のレコード Mr 0, ' ' ■ とを含んでいる 。 モディファイァボックス Mb 0の構造は、 修飾タイプ T y 0が記述する修飾タ イブに依存する。 モディファイァボックス Mb 0の構造については、 後ほど詳し く説明する。
ヘッダ部 HdOは、 RT Pヘッダ R h 0と、 サンプルヘッダ S h 0とを備えて いる。 丁 へッダ1^ 0は、 RT Pで使用されるヘッダフォーマットを有して おり、 シーケンス番号 Sn0、 タイムスタンプ T s p 0あるいはマーカビット M 0などを含んでいる。 サンプルヘッダ ShOは、 サンプルレングス S I ηθと、 サンプルインデックス S i d 0と、 サンプルデュレーシヨン S d r 0とを記述し ている。 サンプルレングス S I η θは、 テキストサンプル T s 0のデータ長 (図 中の値 [S L] ) を格納している。 サンプルインデックス S i d 0は、 テキスト サンプル T s 0と S D Pデータとして伝送されたサンプルディスクリプシヨン 3 040 (図 55参照) との関連づけを記述する情報である。 サンプルデュレーシ ヨン S d r 0は、 テキストサンプル T s 0の再生時間に関する情報である。
T i me d T e x tをストリーミング伝送により利用する場合、 すべてのデ —タ内容を RT Pバケツトとして伝送することも可能である (RT Pインバンド 伝送) 。 しかし、 本実施形態においては、 MP4ファイル 3000のヘッダ部 3 01 0 (図 55参照) に相当するデータの一部を、 図 25を用いて説明したセッ シヨン S2において SDPデータとして通知する (RT Pアウトバンド伝送) 。 具体的には、 ヘッダ部 301 0のトラックヘッダ 3030とサンプルディスクリ プシヨン 3040とに相当するデータを S D Pデータとして、 セットアップ時に 伝送しておく。 また同時に、 伝送される RT Pパケット中に後述する分割バケツ 卜が含まれるか否かに関する情報が通知される。
( i i ) 分割バケツ卜の概要
基本バケツ卜 P t 0のデータサイズは、 伝送路の MTU (Maximum Transmissi on Unit) を超え、 伝送途中で分割される可能性がある。 伝送途中で分割される 可能性があると判断された場合、 テキストサンプル T s 0を分割し、 分割された テキス卜サンプル T s 0を再生するための情報を付し、 あらかじめ伝送路の MT Uを超えないサイズの分割バケツトとして伝送する。 以下、 分割バケツ卜の概要 について、 図 26で説明したのと同様の構造を有するテキストサンプル T s 0を 分割する場合を例示して説明を行う。
図 27を用いて、 分割パケットの基本的構造について説明する。 図 27では、 テキストサンプル T s 0を 2つに分割し (より詳しくは、 L0バイ卜の T x Oを L 1バイトと L 2バイトとに分割) 、 それぞれを分割バケツト P t 1, P t 2に 格納する場合を示している。 分割の個数については、 任意であり伝送路の MTU により決定される。 分割パケット P t 1, P t 2は、 それぞれ、 ペイロード部 P 1 1, P I 2と、 ヘッダ部 H d 1, Hd 2とを備えている。
ペイロード部 P 1 1, P I 2は、 それぞれテキストサンプル T s 0を分割した 分割テキストサンプル F t 1, F t 2を備えている。 ヘッダ部 H d 1, Hd2は 、 基本パケット P t O (図 26参照) のヘッダ部 H d 0が有するのと同様の構造 に加えてさらに分割ヘッダ F h 1, Fh 2を備えている。 すなわち、 ヘッダ部 H d 1 , H d 2は、 RT Pヘッダ Rh 1, Rh 2と、 サンプルヘッダ S h 1 , S h 2と、 分割ヘッダ Fh 1, Fh 2とを備えている。
RTPヘッダ Rh 1, R h 2のマーカビット M 1, M2は、 それぞれ値 [0] , [1] を格納している。 R TPヘッダにおいて、 マーカビットの値については 、 ユーザが様々に定義できる。 本実施形態では、 基本パケット P t O (図 26参 照) および分割バケツト P t 1, P t 2がテキストサンプル T s 0の最後尾のデ —タをペイロード部に含む場合、 そのバケツ卜のマーカビッ卜が値 [1] を格納 すると定義する。 そのため、 基本パケット P t 0および分割パケット P t 2にお いて、 マーカビット M0, M2はそれぞれ値 [1] を格納しており、 分割バケツ ト P t 1において、 マーカビット Mlは値 [0] を格納している。
基本バケツト P t 0のサンプルレングス S I n 0は、 テキストサンプル T s 0 のデータ長 (図 26中の値 [SL] ) を格納している。 一方、 分割パケット P t 1, P t 2では、 サンプルレングス S I n 1, S I n 2にそれぞれ値 [0] を格 納している。 この値 [0] により、 分割パケット P t 1, P t 2が分割テキスト サンプル F t 1, F t 2を含んでいることを判別させる。
分割パケット P t 1, P t 2は、 分割ヘッダ F h 1, 「112にぺィロ一ド部 I 1, P I 2の再生に必要な情報を備えており、 他のバケツ卜から独立して再生 が可能となっている。 そのため、 分割ヘッダ Fh 1, Fh 2の備える情報は、 分 割テキス卜サンプル F t 1 , F t 2の備える情報に依存している。 すなわち、 テ キストサンプル T s 0のどの部分を境界として分割するかにより、 分割ヘッダ F h 1, Fh 2の備えるべき情報が決定される。
( i i i ) 分割ヘッダの概要
テキストサンプルを複数に分割して格納する本発明の分割バケツ卜の分割へッ ダは、 それぞれ以下の 4つの情報を格納可能である。 4つの情報とは、 (a) テ キスト本文の文字コードの識別情報、 (b) モディファイァまたはモディファイ ァボックスの開始位置情報、 (c) 分割テキス卜サンプルが含むテキスト本文の 一部がテキスト本文の全体の何文字目以降を含むかに関する情報、 および (d) 分割されたモディファイァボックスの再生のために格納される情報である。
以下、 分割パケットの構造を説明しながら、 それぞれの分割ヘッダが格納する (a) ~ (d) の情報について説明する。 なお、 以下で説明する分割パケットは 、 図 27において説明した分割パケット P t 1, P t 2と同様の構造を有してい るので、 詳細な構造については説明を省略する。 また、 以下で説明するテキスト サンプル T s 0の分割方法は、 それぞれの (a) 〜 (d) の情報について説明す るための例示であり、 分割はこの方法に限られるものではない。
(a) テキスト本文の文字コードの識別情報
図 28を用いて、 分割ヘッダ F h 2が格納するテキスト本文 T d 0の文字コー ドの識別情報について説明する。
図 28では、 テキス卜サンプル T s 0は、 テキスト本文 T d 0において分割の 境界を有している。 分割パケット P t 1, P t 2は、 分割されたテキスト本文 T d 0を有している。
分割バケツ卜 P t 2は、 分割ヘッダ F h 2において、 テキスト本文 T d 0の文 字コード情報 U 2を格納している。 文字コード情報 U 2は、 テキスト本文 TdO の文字コードを識別するための 1ビットのフラグであり、 例えば、 値 [1] は、 UTF— 16 BEを、 値 [0] は、 UTF— 8を示す。
これにより、 例えば、 伝送途中にバイトオーダマーク BmOを備える分割パケ ット P t 1がロスされた場合、 分割バケツト P t 2のみを取得したデータ再生装 置において、 分割バケツト P t 2の備える分割されたテキスト本文 Td 0の文字 コードを文字コード情報 U2により判別できる。 この結果、 分割パケット P t 2 の情報を再生することが可能となる。
なお、 文字コード情報 U 2は、 分割されたテキスト本文 T d 0を含む分割パケ ット P t 2において備えられるが、 テキスト T X 0の先頭部分を含む分割バケツ ト P t 1においては、 必ずしも備える必要は無い。
(b) モディファイァまたはモディファイァボックスの開始位置情報
図 29〜図 31を用いて、 モディファイァ Md 0またはモディファイァボック ス Mb0, ■ ■ 'の開始位置情報について説明する。 《モディファイァの開始位置情報》
図 2 9では、 テキストサンプル T s 0は、 テキスト本文 T d 0において分割の 境界を有している。 分割パケット P 1: 1, P t 2は、 分割されたテキスト本文 T d 0を有している。
図 2 9では、 分割パケット P t 2は、 分割ヘッダ F h 2において、 モディファ ィァ M d 0の開始位置を示すための情報として、 モディファイアポインタ M b p 2と、 モディファイアポインタレングス M I 2と、 テキストインジケータ T 2と を格納している。
モディファイアポインタ M b p 2は、 ペイ口一ド部 P I 2におけるモディファ ィァ M d 0の開始位置、 すなわち図 2 9では、 分割されたテキスト本文 T d 0の 一部である分割テキスト本文 F t d 2のデータ長 (図中の値 [X 1 ] ) を格納し ている。 モディファイアポインタレングス M I 2は、 モディファイアポインタ M b p 2のデータ長を、 例えば、 2ビットで指定する。 テキストインジケータ T 2 は、 分割バケツト P t 2がテキスト T X 0の一部を含むことを識別するための 1 ビットのフラグであり、 ここでは分割テキスト本文 F t d 2を含むため、 例えば 、 値 [ 1 ] を格納している。
これにより、 例えば、 伝送途中にテキストレングス T I 0を備える分割バケツ ト P t 1がロスされた場合、 分割バケツト P t 2のみを取得したデータ再生装置 において、 分割バケツト P t 2の有するモディファイァ M d 0の開始位置を識別 し、 モディファイァ M d 0を再生することが可能となる。 また、 データ再生装置 では、 モディファイァ M d 0をテキスト本文 T d 0の一部として誤って再生する ことが防止される。
なお、 モディファイアポインタレングス M I 2を備えず、 モディファイアポィ ンタ M b p 2のデータ長を固定のデータ長としてもよい。
また、 (a ) において図 2 8を用いて説明したのと同様に、 図 2 9に示す分割 バケツ卜 P t 2は、 テキスト本文 T d 0の文字コード情報を備えていてもよいが 、 ここでは説明を省略する。
《モディファイァボックスの開始位置情報》
図 3 0では、 テキストサンプル T s 0は、 モディファイアボックス M b 0にお いて分割の境界を有している。 分割パケット P t Nは、 分割されたモディファイ ァボックス Mb 0の一部である分割モディファイァボックス Fmb Nとモディフ アイァボックス M b 1とを含んでいる。
分割バケツト P t Nは、 分割ヘッダ F h Nにおいて、 モディファイァボックス Mb 1の開始位置を示すための情報として、 モディファイアポインタ Mb p Nと 、 モディファイアポインタレングス M I Nと、 テキストインジケータ T Nとを格 納している。
モディファイアポインタ Mb pNは、 ペイロード部 P I Nにおけるモディファ ィァボックス Mb 1の開始位置、 すなわち図 30では、 分割モディファイアポッ クス Fmb Nのデータ長 (図中の値 [X2] ) を格納している。 モディファイァ ポインタレングス M I Nは、 モディファイアポインタ Mb p Nのデータ長を 2ビ ットで指定する。 テキストインジケータ TNは、 分割パケット P t Nがテキスト T X 0の一部を含むことを識別するための 1 ビットのフラグであり、 ここでは T χ θを含まないため、 例えば、 値 [0] を格納している。
これによリ、 例えば、 伝送途中に分割バケツト P t Nの前後の分割バケツ卜が ロスされた場合、 分割パケット P t Nを取得したデータ再生装置において、 分割 バケツト P t Nの有するモディファイァボックス Mb 1の開始位置を識別し、 モ ディファイアボックス Mb 1を再生することが可能となる。 このため、 テキスト T X 0を含む分割バケツト (例えば、 分割バケツト P t 1 ) がデータ再生装置に おいて、 正常に取得されていれば、 その分割パケットに対してモディファイアポ ックス Mb 1の修飾効果を利用することができる。 また、 データ再生装置では、 テキス卜インジケータ TNに基づいて、 分割されたモディファイァボックス Mb 0をテキスト本文 T d 0として誤って再生することが防止される。
《テキストサンプル T s 0の分割のバリエーション》
図 31を用いて、 テキストサンプル T s 0の分割のバリエーションとモディフ アイァ Md 0またはモディファイァボックス Mb 0, ■ ■ 'の開始位置情報との 関係について説明する。 テキストサンプル T s 0の分割のバリエーションによリ 得られる分割バケツトは、 分割バケツ卜がペイロード部に有する情報に基づいて 、 分割タイプ A〜分割タイプ Eの 5種類に分類できる。 (分割タイプ A)
分割タイプ Aの分割バケツトは、 テキスト T X 0の一部あるいは全部のみを含 むあるいはテキストサンプル T s 0の先頭を含む分割バケツトである。 例えば、 図 31において [Ty peA] として指示された 5つの分割パケット P t Aが該 当する。
この場合、 それぞれの分割バケツト P t Aの分割ヘッダ F h Aは、 テキストイ ンジケ一タ TAと、 モディファイアポインタレングス M I Aとを有している。 テ キストインジケータ T Aは、 例えば、 値 [1] を格納し、 分割パケット P t Aが テキスト T X 0の一部を含むことを示している。 モディファイアポインタレング ス M I Aは、 2ビットのビット列によりモディファイアポインタ Mb p Aのデー タ長を 0ビットと指定する。 これにより、 分割ヘッダ Fh Aがモディファイアポ インタ Mb p Aを含まないことが示される。 すなわち、 分割パケット P t Aは、 テキスト T X 0の直前に配置されるテキストレングス T I 0からテキスト T X 0 とモディファイァ Md 0との境界が判断可能であるバケツ卜、 またはテキスト T X 0とモディファイァ Md 0との境界を含まないバケツ卜である。
(分割タイプ B)
分割タイプ Bの分割パケットは、 テキスト TxOの一部とモディファイァ Md 0の一部あるいは全部とを含む分割パケットである。 すなわち、 分割タイプ Bの 分割バケツトは、 テキストサンプル T s 0の先頭を含まない分割バケツトである 。 例えば、 図 31において [T y p e B] として指示された 3つの分割バケツト P t Bが該当する。
この場合、 それぞれの分割パケット P t Bの分割ヘッダ F h Bは、 テキストイ ンジケ一タ TBと、 モディファイアポインタレングス M I巳と、 モディファイァ ポインタ Mb p Bとを有している。 テキストインジケータ TBは、 例えば、 値 [ 1 ] を格納し、 分割パケット P t Bがテキスト T X 0の一部を含むことを示して いる。 モディファイアポインタレングス M I Bは、 2ビットのビット列にょリモ ディファイアポインタ Mb p Bのデータ長を、 例えば、 8, 16, 32ビットの いずれかに指定する。 モディファイアポインタ Mb pBは、 モディファイアポィ ンタレングス M I Bにより指定されたデータ長のビット列にょリモディファイア Md 0の位置を示す。
なお、 分割パケット P t Bの分割ヘッダ F h Bは、 (a) において図 28を用 いて説明したのと同様に、 テキスト本文 T d 0の文字コ一ド情報を備えていても よい。
(分割タイプ C)
分割タイプ Cの分割パケットは、 モディファイァボックス Mb 0, ■ ■ ■のう ちの一つの一部のみを含み、 かつそのモディファイァボックスモディファイアポ ックス Mb 0, ■ ■ 'の先頭を含まない分割パケットである。 言い換えれば、 テ キス卜 TxOを含まず、 かつモディファイァボックス Mb 0, ■ ■ 'の先頭を含 まない分割バケツトである。 例えば、 図 31において [T y p e C] として指示 された分割バケツト P t Cが該当する。
この場合、 分割バケツト P t Cの分割ヘッダ F hCは、 テキス卜インジケータ TCと、 モディファイアポインタレングス M I Cとを有している。 テキストイン ジケータ TCは、 例えば、 値 [0] を格納し、 分割パケット P t Cがテキスト T X 0の一部を含まないことを示している。 モディファイアポインタレングス M I Cは、 2ビッ卜のビッ卜列によりモディファイアポインタ Mb p Cのデータ長を 0ビットと指定する。 これにより、 分割ヘッダ F h Cがモディファイアポインタ Mb p Cを含まないことが示される。
(分割タイプ D)
分割タイプ Dの分割パケットは、 モディファイァボックス Mb 0, ' ■ 'のう ちの一部のみを含み、 かつモディファイァボックス Mb 0, ■ ■ 'の先頭を含む 分割バケツ卜である。 例えば、 図 31において [T y p e D] として指示された 分割バケツト P t Dが該当する。
この場合、 分割バケツト P t Dの分割ヘッダ F h Dは、 テキストインジケータ T Dと、 モディファイアポィンタレングス M I Dと、 モディファイアポィンタ M b pDとを有している。 テキストインジケータ TDは、 例えば、 値 [0] を格納 し、 分割バケツト P t Dがテキスト T X 0の一部を含まないことを示している。 モディファイアポインタレングス M I Dは、 2ビッ卜のビッ卜列にょリモディフ アイアポインタ Mb p Dのデータ長を、 例えば、 8, 16, 32ビットのいずれ かに指定する。 モディファイアポインタ Mb p Dは、 モディファイアポインタレ ングス M I Dにより指定されたデータ長のビッ卜列によりモディファイァボック ス MbO . ■ 'の先頭の位置を示す。
(分割タイプ E)
分割タイプ Eの分割バケツ卜は、 分割タイプ Dの分割バケツ卜の中でも特にべ イロ一ド部の先頭にモディファイァボックス Mb 0, ■ ' ■の先頭を含む分割パ ケットである。 例えば、 図 31において [Ty p e E] として指示された分割パ ケット P t Eが該当する。
この場合、 分割パケット P t Eの分割ヘッダ F h Eは、 テキストインジケータ T Eと、 モディファイアポインタレングス M I Eと、 モディファイアポインタ M b p Eとを有している。 テキストインジケータ TEは、 例えば、 値 [0] を格納 し、 分割バケツト P t Eがテキスト T X 0の一部を含まないことを示している。 モディファイアポインタレングス M I Eは、 2ビットのビット列にょリモディフ アイアポインタ Mb p Eのデータ長を、 例えば、 8, 16, 32ビットのいずれ かに指定する。 モディファイアポインタ Mb p Eは、 モディファイアポインタレ ングス M I Eにより指定されたデータ長のビット列により値 [0] を示し、 ペイ ロード部 P I Eの先頭にモディファイァボックス Mb 0, ■ ■ ■の先頭を含むこ とを示す。
(c) 分割テキストサンプルが含むテキスト本文の一部がテキスト本文の全体 の何文字目以降を含むかに関する情報
図 32では、 テキストサンプル T s 0は、 テキスト本文 T d 0において分割の 境界を有している。 分割バケツト P t 1, P t 2は、 分割されたテキス卜本文 T d 0である分割テキス卜本文 F t d 1 , F t d 2を有している。
分割バケツト P t 2は、 分割ヘッダ Fh 2において、 キャラクタオフセット S G o 2と、 キャラクタオフセッ卜レングス S I 2とを格納している。 キャラクタ オフセット S c o 2は、 分割テキストサンプル F t 2が含む分割テキスト本文 F t d 2がテキスト本文 T d 0の全体の何文字目以降であるかを文字数を単位とし て格納している (図中の値 [X3] ) 。 キャラクタオフセットレングス S I 2は 、 キャラクタオフセット S c 02のデータ長を、 例えば、 2ビットで指定する。 また、 モディファイァ M d 0において、 テキスト本文 T d 0の修飾は、 バイト単 位ではなく文字数を単位に指定されている。
これにより、 例えば、 伝送途中に分割パケット P t 1がロスされた場合、 分割 バケツト P t 2のみを取得したデータ再生装置において、 分割バケツ卜 P t 2の 備える分割テキスト本文 F t d 2に、 モディファイァ M d 0の修飾効果を適用す ることが可能となる。
なお、 キャラクタオフセット S c 0 2は、 分割テキストサンプル F t 2が含む 分割テキスト本文 F t d 2がテキス卜本文 T d 0の全体のどこに位置するかをバ イト単位として格納するとしてもよい。 この場合、 分割パケット P t 2を取得し たデータ再生装置において、 モディファイァ M d 0を解析し、 修飾効果を適用す べき分割テキスト本文 F t d 2の範囲を導出することとなる。 バイト単位の情報 からでは正確な文字位置を検出することはできない場合もあるが、 ある程度の推 定は可能である。 例えば、 U T F— 1 6で符号化されている場合、 1文字は 2バ ィト固定であるため、 バイ卜位置を半分にすれば文字位置を求めることができる 。
また、 キャラクタオフセット S c 0 2は、 分割テキスト本文 F t d 2を含む分 割バケツ卜 P t 2において備えられるが、 テキスト T X 0の先頭部分を含む分割 バケツト P t 1においては、 必ずしも備える必要は無い。
さらに、 分割パケット P t 2は、 (a ) および (b ) で説明した文字コード情 報、 モディファイアポインタ、 モディファイアポインタレングス、 テキストイン ジケ一タを備えていてもよい。
( d ) 分割されたモディファイァボックスの再生のために格納される情報 図 3 3〜図 3 6を用いて、 分割されたモディファイァボックスの再生のために 格納される情報について説明する。
図 3 3を用いて、 分割されたモディファイァボックス M b Mの再生のために格 納される情報について概要を説明する。 なお、 詳細な説明は、 図 3 4〜図 3 6を 用いて後ほど行う。
図 3 3では、 モディファイァボックス M b Mは、 モディファイァボックス M b Mのボックスサイズ S z Mと、 テキスト本文 T d 0への修飾効果を記述する修飾 タイプ T y Mと、 修飾効果の適用範囲などを記述する複数のレコード M r M 1, MrM2, ' ■ 'とを含んでいる。 テキストサンプル T s 0は、 M番目のモディ ファイアボックスであるモディファイァボックス M b Mのレコ一ド Mr M2にお いて分割の境界を有している。 分割パケット P t N— 1, P t Nは、 それぞれ分 割されたモディファイァボックス Mb Mの一部を有している。
分割バケツト P t Nは、 分割ヘッダ F h Nにおいて、 ボックス分割フラグ BN と、 シンクオフセット S o Nと, シンクオフセットレングス S 0 I Nと, ェクス テンションバイト E X Nと, エクステンションバイトレングス E X I Nと, アト ムタイプ A t Nとを格納している。
ボックス分割フラグ BNは、 分割バケツ卜 P t Nが分割されたモディファイァ ボックス MbMを有することを示すためのフラグであり、 図中では値 [1] を格 納し、 分割されたモディファイァボックス Mb Mの存在を示している。 シンク才 フセット SoNは、 分割バケツト P t Nが有する分割されたモディファイアポッ クス MbMのうち部分的に利用可能なレコード M r M3の開始位置 (図中の値 [ X5] ) を格納している。 シンクオフセットレングス S o I Nは、 シンクオフセ ット SoNのデータ長を、 例えば、 2ビットのビット列で指定する。 ェクステン シヨンバイト E X Nは、 分割バケツト P t Nが含む分割されたモディファイアポ ックス MbMの再生に必要な情報を記述する。 情報の詳しい内容については、 図 34〜図 36を用いて後ほど説明する。 エクステンションバイトレングス Ex I Nは、 エクステンションバイト E X Nのデータ長を、 例えば、 3ビットのビット 列で指定する。 アトムタイプ At Nは、 モディファイァボックス MbMの修飾タ イブであり、 修飾タイプ T yMと同じ内容を記述する。
これにより、 例えば、 伝送途中にモディファイァボックス MbMの修飾タイプ T y Mやその他再生に必要な情報を備える分割バケツト P t N— 1がロスされた 場合、 分割バケツト P t Nを取得したデータ再生装置において、 分割ヘッダ F h Nが格納するァトムタイプ A t Nやエクステンションバイト E X Nを用いて、 分 割バケツ卜 P t Nの有する分割されたモディファイァボックス MbMのデコード を行うことができる。 また、 例えば、 伝送途中に分割パケット P t N— 1がロス された場合、 分割パケット P t Nを取得したデータ再生装置において、 分割パケ ット P t Nの有するレコー KM r M 3の先頭位置を識別し、 修飾情報を利用する ことが可能となる。
なお、 レコー KM r M2において T s 0を分割する場合について説明したが、 本発明の効果は、 この場合に限られるものではない。 具体的には、 分割は、 ポッ クスサイズ S zM、 修飾タイプ T yMあるいはその他のレコード M r M 1, Mr Μ3, · ■ 'において行われてもよい。
図 34〜図 36を用いて、 分割されたモディファイァボックスの再生のために 格納される情報について詳細に説明する。 なお、 図 34〜図 36では、 モディフ アイァボックスは、 それぞれ、 カラオケ、 文字スタイルおよびハイパーテキスト の修飾を指定している。
《カラオケ》
図 34では、 テキストサンプル T s 0は、 M番目のモディファイァボックスで あるモディファイァボックス Mb Mにおいて分割の境界を有している。 モディフ アイァボックス MbMは、 テキスト T d 0をカラオケスタイルで修飾する。 分割 パケット P t N— 1, P t Nは、 分割されたモディファイァボックス MbMを有 している。
カラオケスタイルのモディファイァボックス MbMは、 ボックスサイズ SzM と、 修飾タイプ TyMと、 スタートタイムと、 ェン卜リカウン卜と、 エントリ E n 1〜En 5とを備えている。 ボックスサイズ SzMは、 モディファイァボック ス MbMのデータ長である。 修飾タイプ TyMは、 モディファイァボックスが力 ラオケであることを示すため、 [k r o k] を示すビット列を格納している。 ス タートタイムは、 修飾開始時間を指定する。 エントリカウントは、 モディファイ ァボックス MbMが有するエントリの個数を指定する。 エントリ En 1〜En5 は、 それぞれ、 カラオケの修飾終了時間と、 修飾する文字を指定する情報とを備 えている。 それぞれのエントリ E n 2〜E n 5による修飾は、 直前に配置される エントリ En 1 ~En 4の修飾終了時間から自身の修飾終了時間までの間、 指定 された文字に対して適用される (エントリ E n 1による修飾は、 スタートタイム が指定する修飾開始時間から自身の修飾終了時間まで適用される) 。
分割バケツト P t Nは、 ペイロード部 P I Nにエントリ En3〜En 5を有し ている。 すなわち、 モディファイァボックス MbMは、 エントリ En 2とェント リ En 3との境界において分割されている。 分割ヘッダ FhNは、 ボックス分割 フラグ BNと、 アトムタイプ At Nと、 エクステンションバイ トレングス E X I Nと、 エクステンションバイ ト Ex Nとを含んでいる。 ボックス分割フラグ BN は、 例えば、 値 [1 ] を格納し、 分割バケツト P t Nが分割されたモディファイ ァボックス MbMを有することを示す。 アトムタイプ At Nは、 分割されたモデ ィファイアボックス M bMの修飾タイプがカラオケであることを示すため、 [k r ok] を示すビット列を格納している。 エクステンションバイ トレングス E X I Nは、 エクステンションバイ ト E X Nのデータ長を、 例えば、 3ビットのビッ ト列で指定する。 エクステンションバイト E X Nは、 分割により分割パケット P t Nに含まれないこととなったエントリ E n 2が示す力ラオケの修飾終了時間を 格納する。
ここで、 図 34に示す分割パケット P t Nは、 図 33において説明したシンク オフセット S 0 Nおよびシンクオフセットレングス S o I Nに相当する情報は備 えないものとして説明する。 これらの情報は、 テキストサンプル T s 0の分割時 に、 「モディファイァボックス MbMのレコード M r M1, ■ ■ ■の途中では分 割を行わない。 」 との分割規則により分割を行うことにより不要となる情報であ るからである。
これにより、 例えば、 伝送途中に分割バケツ hP t N— 1がロスされた場合、 分割バケツト P t Nを取得したデータ再生装置において、 分割バケツト P t Nの 備えるエントリ E n 3~E n 5をカラオケスタイルとして解析することが可能と なる。 さらに、 このデータ再生装置では、 エントリ En 3について、 分割ヘッダ F h Nの備えるエクステンションバイ卜 E X Nの格納する情報を参照して修飾開 始時間を判別することが可能となる。
《文字スタイル》
図 35では、 テキストサンプル T s 0は、 M番目のモディファイァボックスで あるモディファイァボックス M b Mにおいて分割の境界を有している。 モディフ アイァボックス MbMは、 テキスト T X 0の文字スタイルを変更する。 分割パケ ット P t N— 1, P t Nは、 分割されたモディファイァボックス MbMを有して いる。
文字スタイルのモディファイァボックス MbMは、 ボックスサイズ S zMと、 修飾タイプ TyMと、 エントリカウントと、 エントリ En "!〜 En 5とを備えて いる。 ボックスサイズ SzMは、 モディファイァボックス MbMのデータ長であ る。 修飾タイプ TyMは、 モディファイァボックス MbMが文字スタイルである ことを示すため、 [s t y I ] を示すビット列を格納している。 エントリカウン トは、 モディファイァボックス MbMが有するエントリの個数を指定する。 ェン トリ En 1 ~En 5は、 それぞれ、 文字スタイルを適用する範囲を指定する情報 、 フォントスタイル、 フォントサイズなどを備えている。
分割バケツト P t Nは、 ペイロード部 P I Nにエントリ En3〜En 5を有し ている。 すなわち、 モディファイァボックス MbMは、 エントリ En 2とェント リ E n 3との境界において分割されている。 分割ヘッダ FhNは、 ボックス分割 フラグ BNと、 ァトムタイプ A t Nと、 エクステンションバイ 卜レングス E X I Nとを含んでいる。 ボックス分割フラグは、 例えば、 値 [1] を格納し、 分割パ ケッ卜 P t Nが分割されたモディファイァボックス MbMを有することを示す。 ァトムタイプ A t Nは、 分割されたモディファイァボックス MbMの修飾タイプ が文字スタイルであることを示すため、 [s t y I ] を示すビット列を格納して いる。 エクステンションバイ トレングス Ex I Nは、 エクステンションバイ ト E xNのデータ長を、 例えば、 3ビットのビット列で指定する。 文字スタイルでは 、 エクステンションバイ ト Ex Nにおいて格納する必要のある情報がないため、 値 [0] を格納している。
これにより、 例えば、 伝送途中に分割バケツト P t N— 1がロスされた場合、 分割バケツト P t Nを取得したデータ再生装置において、 分割バケツト P t Nの 備えるエントリ En 3〜En 5を文字スタイルとして解析することが可能となる
《ハイパーテキスト》
図 36では、 テキストサンプル T s 0は、 M番目のモディファイァボックスで あるモディファイァボックス MbMにおいて分割の境界を有している。 モディフ アイァボックス MbMは、 テキスト T d 0をハイパーテキストスタイルで修飾す る。 分割パケット P t N— 1, Pt Nは、 分割されたモディファイァボックス M bMを有している。
ハイパーテキス卜のモディファイァボックス Mb Mは、 ボックスサイズ S z M と、 修飾タイプ TyMと、 ハイパーテキストリンクが適用される文字列の範囲 S cM, EcMと、 リンクされる URLパス U r I Mと、 URLパスのデータ長を 指定する URLレングス U rMと、 代替テキストなどを指定する ALT属性 A I tMと、 ALT属性のデータ長を指定する ALTレングス A I Mとを備えている 分割バケツ卜 P t Nは、 ペイロード部 P I Nに ALT属性 A I tMと、 ALT レングス A I Mとを有している。 分割ヘッダ FhNは、 ボックス分割フラグ BN と、 ァトムタイプ A t Nと、 ェクステンションバイ 卜レングス E X I Nと、 ェク ステンションバイト ExNとを含んでいる。 ボックス分割フラグ BNは、 例えば 、 値 [1] を格納し、 分割パケット P t Nが分割されたモディファイァボックス MbMを有することを示す。 アトムタイプ A t Nは、 分割されたモディファイァ ボックス MbMの修飾タイプがハイパーテキストであることを示すため、 [h r e f ] を示すビット列を格納している。 エクステンションバイ トレングス E X I Nは、 エクステンションバイ ト E X Nのデータ長を、 例えば、 3ビットのビット 列で指定する。 エクステンションバイ ト ExNは、 分割により分割パケット P t Nに含まれないこととなった A LT属性を適用する文字列の範囲を格納している 。 すなわち、 エクステンションバイ ト Ex Nは、 モディファイァボックス MbM が有するハイパーテキス卜リンクが適用される文字列の範囲 S c M, E c Mに関 する情報を格納している。
これにより、 伝送途中に分割バケツト P t N— 1がロスされた場合、 分割パケ ット P t Nを取得したデータ再生装置において、 分割バケツ卜 P t Nの備える A LT属性 A l tMと、 A L Tレングス A I Mとをハイパーテキストスタイルとし て解析することが可能となる。 さらに、 ALT属性を適用する文字列の範囲を判 別することが可能となる。
( i v) その他の分割バケツト
(分割ヘッダの構造) 上記 (a) 〜 (d) の情報の全体を分割ヘッダが一度に有する場合もある。 図 37に分割バケツト P t Nのヘッダ部 H d Nの構造の一例を示す。 但し、 各情報 の配置は一例であり、 これに限定されるものではない。
分割パケット P t Nのヘッダ部 H d Nは、 丁 へッダ ^|1\1、 サンプルへッ ダ ShNと、 分割ヘッダ F h Nとを備えている。 RTPヘッダ RhNでは、 マ一 カビット MNの値により分割バケツト P t Nがテキス卜サンプル T s 0の最後尾 のデータをペイロード部 P I Nに含むか否かが識別される。 図 37では、 マ一力 ビット MNは、 値 [0] を格納し、 分割バケツト P t Nがテキストサンプル Ts 0の最後尾のデータをペイロード部に含まないことを示している。 サンプルへッ ダ ShNでは、 サンプルレングス S I nNに値 [0] を格納し、 分割バケツ卜 P t Nが分割されたテキス卜サンプル T s 0を含んでいることを判別させる。
分割ヘッダ FhNは、 上記 (a) 〜 (b) で説明した情報をそれぞれ含んでい る。
(分割ヘッダの存在)
第 4実施形態では、 「サンプルレングスに値 [0] を格納し、 分割バケツ卜が 分割されたテキストサンプルを含んでいることを判別させる」 と説明した。 ここ で、 分割されたテキストサンプルを含むことを示すフラグを分割バケツ卜に有し 、 このフラグにより分割バケツ卜が分割されたテキストサンプルを含むことを判 別させてもよい。
(文字コード情報の変形例)
第 4実施形態では、 「1ビッ卜のフラグである文字コード情報により、 テキス ト本文の文字コードを識別させる」 と説明した。 ここで、 分割パケットに、 テキ ストサンプルの含むバイトオーダマーク (BOM) をさらに格納してもよい。 例 えば、 BOMをすベての分割パケットに繰り返す。 BOMは、 分割パケットの有 するテキスト本文の先頭に格納してもよいし、 分割ヘッダに設けられた格納領域 に格納してもよい。
ここで、 BOMは可変長 (0バイト, 2バイト, 4バイト) なので、 分割へッ ダに格納領域を設ける場合は、 BOMのデータ長を記述する情報をさらに設けて もよい。 テキスト本文の先頭に格納する場合も、 分割ヘッダに BOMのデータ長 を記述しておけば、 テキス卜の先頭にある BOMの判定がより確実になる。
(3) 〈データ再生装置およびデータ再生方法〉
図 38および図 39を用いて、 上記したデータ構造を有する RT Pバケツ卜を 再生するためのデータ再生装置およびデータ再生方法について説明する。
( i ) データ再生装置
図 38に、 上記 (2) 〈RT Pパケットのデータ構造〉 で説明したデータ構造 を有する RT Pバケツ卜を再生するためのデータ再生装置 710のブロック図を 示す。
データ再生装置 71 0は、 RTP受信部 71 1と、 基本ヘッダ解析部 712と 、 分割ヘッダ解析部 713と、 デコーダ部 714と、 表示部 71 5とを備えてい る。 データ再生装置 710は、 後述する RT P伝送装置 725, 728 (図 40 参照) より伝送された RT Pパケットに基づいて、 T i me d T e x tの再生 を行うコンピュータ、 携帯電話、 PDA (personal digital assistant) などと いった装置である。
RT P受信部 71 1は、 RT P伝送装置 725, 728から送信された R T P バケツ卜を受信し、 一時的に基本ヘッダ解析部 712に格納する。
基本ヘッダ解析部 712は、 格納した RTPバケツ卜の RTPヘッダからシ一 ケンス番号、 タイムスタンプ、 マーカビットなどを取得する。 また、 基本ヘッダ 解析部 712は、 格納した RT Pパケットのサンプルヘッダからサンプルレング スの値を取得する。 基本ヘッダ解析部 712は、 シーケンス番号により、 伝送途 中にロスされた RT Pパケットの存在を判断する。 また、 基本ヘッダ解析部 71 2は、 サンプルレングスの値により、 RT Pパケットがテキストサンプルを分割 して含むか否かを判断する。 さらに、 基本ヘッダ解析部 712は、 タイムスタン プに従って RTPバケツトをデコーダ部 714に送出する。
ここで、 一つのテキストサンプルを分割して含む複数の RT Pパケットについ て、 いずれかの RT Pパケットが伝送途中にロスされていた場合、 基本ヘッダ解 析部 712は、 その RTPバケツ卜を分割ヘッダ解析部 713へと送出する。 分割ヘッダ解析部 713は、 取得した RTPバケツ卜の分割ヘッダを解析する 。 すなわち、 図 37に示した構造を有する分割ヘッダから、 テキストインジケー タ、 文字コード情報、 モディファイアポインタ、 キャラクタオフセット、 ボック ス分割フラグ、 シンクオフセット、 エクステンションバイト、 アトムタイプなど の情報を取得する。 これらの情報については、 上記 (2) 〈RTPパケットのデ ータ構造〉 で説明したので説明は省略する。
デコーダ部 714は、 分割ヘッダの解析された RT Pバケツ卜について、 分割 ヘッダ解析部 713の解析結果に基づいて、 その RTPパケットのペイロード部 のデコードを行う。 デコードされたペイロード部は、 表示部 71 5にて表示され る。
このデータ再生装置 710では、 一つのテキストサンプルを分割して含む複数 の RT Pパケットについて、 いずれかの RT Pパケットが伝送途中にロスされて いた場合に、 取得された RTPバケツ卜の分割ヘッダが有する情報に基づいて、 その取得された R T Pパケットのペイロード部の再生を行うことが可能となる。
( i i ) データ再生方法
図 39に、 上記 (2) く RT Pパケットのデータ構造〉 で説明したデータ構造 を有する RT Pバケツトを再生するためのデータ再生方法を説明するフローチヤ ートを示す。
RT Pバケツ卜が受信されると RT Pバケツ卜の RT Pヘッダおよびサンプル ヘッダが解析される。 まず、 サンプルヘッダの有するサンプルレングスの値が解 祈され (ステップ S 710) 、 RT Pパケットが分割されたテキストサンプルを 含むか否かが判断される (ステップ S 71 1) 。
RT Pバケツ卜が分割されたテキストサンプルを含まないと判断された場合、 すなわち R TPバケツ卜がテキス卜サンプルの全部を含むと判断された場合、 R T Pバケツトは、 デコードされる (ステップ S 715) 。
一方、 RT Pバケツ卜が分割されたテキス卜サンプルを含むと判断された場合 、 RT Pパケットの RT Pヘッダの備えるシーケンス番号に基づいて (ステップ S712) 、 伝送途中にロスしたパケットの有無が判断される (ステップ S 71 3) 。 伝送途中にロスされたパケットが無いと判断された場合、 分割されたテキ ストサンプルを含む複数の RT Pパケットは、 一度にデコードされる (ステップ S 715)。 伝送途中にロスされたバケツ卜が有ると判断された場合、 それぞれの RTPパ ケッ卜の分割ヘッダが解析され、 それぞれの RT Pバケツ卜が有する分割された テキストサンプルの再生に必要な情報が取得され (ステップ S 714) 、 取得さ れた情報に基づいて、 それぞれの RT Pパケットがデコードされる (ステップ S 715) 。
このデータ再生方法では、 一つのテキス卜サンプルを分割して含む複数の RT Pバケツ卜について、 いずれかの R TPバケツ卜が伝送途中にロスされていた場 合に、 取得された RT Pパケットの分割ヘッダが有する情報に基づいて、 その取 得された R T Pパケットのペイロード部の再生を行うことが可能となる。
(4) 〈データ多重装置およびデータ多重方法〉
図 40および図 41を用いて、 上記 (2) 〈RTPバケツ卜のデータ構造〉 で説 明したデータ構造を有する RT Pバケツトを作成するためのデータ多重装置およ びデータ多重方法について説明する。
( i ) データ多重装置
図 40に、 上記 (2) く RT Pパケットのデータ構造〉 で説明したデータ構造 を有する RT Pバケツトを作成するためのデータ多重装置 720のブロック図を 示す。
データ多重装置 720は、 T i me d T e x tの蓄積されている蓄積部 72 1と、 T i me d Te x tを解析し多重化に必要な情報を取得する E S解析部 722と、 分割と分割ヘッダの作成とを行う分割ヘッダ生成部 723と、 基本へ ッダを生成する基本ヘッダ生成部 724とから構成される。
蓄積部 721は、 メディアデータを、 例えば、 MP4ファイル形式 (図 55参 照) で蓄積している。 また、 蓄積部 721は、 蓄積するファイルに関する詳細な 情報を有している。 ES解析部 722は、 蓄積部 721からトラックヘッダとテ キストサンプルとサンプルディスクリプシヨンとサンプルテーブルを取得する。 テキストサンプルのサイズに基づいて、 分割を行わない場合の RT Pバケツ卜の サイズを推定する。 推定サイズが目標のサイズを超える場合には、 テキストサン プルの分割を行うと判断する。 分割を行うと判断した場合には、 分割ヘッダ生成 部 723へテキストサンプルを送出する。 分割ヘッダ生成部 723においては、 目標の RT Pバケツ卜のサイズに近づく ように、 取得されたテキストサンプルを分割する。 さらに、 分割されたテキスト サンプルの再生に必要な情報を分割ヘッダに格納し、 分割されたテキストサンプ ルに付与する。 分割ヘッダと分割されたテキストサンプルとは複数個の組となり 、 基本ヘッダ作成部 724へ送出される。 ここで、 分割ヘッダとは、 例えば、 図 37に示した構造を有しており、 テキストサンプルの内容に依存した情報を備え ている。
基本ヘッダ作成部 724は、 分割されなかったテキストサンプルと分割された テキストサンプルとに基本ヘッダを付与し、 RT Pバケツトを作成する。
ここで、 基本ヘッダとは、 R T Pヘッダ、 サンプルヘッダ (図 26參照) のこ とである。 分割されたテキス卜サンプルに付与された基本ヘッダでは、 サンプル ヘッダのサンプルレングスの値は、 例えば、 値 [0] を格納している。 これによ リ、 その基本ヘッダを有する RTPパケットは、 分割されたテキストサンプルを 含んでいることを示す。 また、 分割されなかったテキストサンプルおよび分割さ れたテキス卜サンプルのうち最後尾のテキストサンプルに付与された基本ヘッダ では、 RT Pヘッダのマーカビットは、 例えば、 値 [1 ] を格納している。 一方 、 その他の分割されたテキストサンプルに付与された基本ヘッダでは、 RT Pへ ッダのマーカビットは、 例えば、 値 [0] を格納している。
基本ヘッダ作成部 724で作成された RTPバケツトは、 RT P伝送装置 72 5へ送られ、 さらにデータ再生装置 71 0 (図 38参照) へと伝送される。 ある いは、 伝送用蓄積ファイル作成部 726へ送られる。 伝送用蓄積ファイル作成部 726は、 伝送のためのサーバ蓄積ファイルを作成し、 蓄積手段 727へ蓄積す る。 R T P伝送装置 728は、 サーバ蓄積ファイルを解析し、 R TPパケットへ 変換し、 データ再生装置 71 0 (図 38参照) へと伝送される。
( i i ) データ多重方法
図 41に、 上記 (2) く RT Pパケットのデータ構造〉 で説明したデータ構造 を有する RT Pバケツトを作成するためのデータ多重方法を説明するフローチヤ 一トを示す。
入力された T i me d T e x tは、 トラックヘッダ、 サンプルディスクリブ シヨン、 サンプルテーブルおよびテキストサンプルに分離される (ステップ S 7 20)。 テキストサンプルのサイズに基づいて、 分割を行わない場合の RT Pパ ケッ卜のサイズを推定し、 推定サイズが目標のサイズを超えるか否かの判断を行 う (ステップ S721 ) 。 推定サイズが目標のサイズを超えないと判断されると 、 テキストサンプルは、 分割されず、 基本ヘッダが付与され RT Pパケットと成 る (ステップ S724)。
推定サイズが目標のサイズを超えると判断されると、 テキストサンプルの分割 処理が行われる (ステップ S 722) 。 分割処理は、 目標のサイズに近づき、 か つ、 分割したテキス卜サンプルを含む RT Pバケツ卜の一部がロスしても残りの RT Pパケットの内容を表示可能となるよう行われる。 また、 分割されたテキス トサンプルには、 分割ヘッダが付与される (ステップ S 723) 。 分割ヘッダは 、 分割されたテキストサンプルの再生に必要な情報を格納している。 さらに、 分 割ヘッダを付与された分割されたテキストサンプルには、 基本ヘッダが付与され る (ステップ S 724) 。
ここで、 基本ヘッダとは、 R TPヘッダ、 サンプルヘッダ (図 26参照) のこ とである。 分割されたテキストサンプルに付与された基本ヘッダでは、 サンプル ヘッダのサンプルレングスの値は、 例えば、 値 [0] を格納している。 これによ リ、 その基本ヘッダを有する RTPバケツ卜が分割されたテキス卜サンプルを含 んでいることを示す。 また、 分割されなかったテキストサンプルおよび分割され たテキストサンプルのうち最後尾のテキス卜サンプルに付与された基本ヘッダで は、 RT Pヘッダ中のマーカビットは、 例えば、 値 [1] を格納している。 一方 、 その他の分割されたテキストサンプルに付与された基本ヘッダでは、 RTPへ ッダのマーカビットは、 例えば、 値 [0] を格納している。
[第 5実施形態]
図 42〜図 49を用いて、 本発明の第 5実施形態としてのパケットデータ構造 、 データ再生装置およびデータ多重装置について説明する。 加えて、 データ再生 方法およびデータ多重方法について説明する。
本実施形態では、 (1 ) 分割ヘッダのオーバーへッドを最小化するフラグ情報 を持つバケツ卜データ構造、 (2) テキストサンプルの分割状況を識別可能とさ せるパケットデータ構造、 (3 ) これらのパケットデータ構造を有するパケット のデータ再生装置およびデータ再生方法、 (4 ) これらのパケットデータ構造を 有するパケットのデータ多重装置およびデータ多重方法、 の順に説明を行う。 な お、 本実施形態において、 特に定義を与えない文言については、 第 4実施形態と 同じ定義により用いるとする。
( 1 ) 〈分割ヘッダのオーバーへッドを最小化するフラグ情報を持つバケツト データ構造〉
図 3 7を用いて説明した分割へッダ F h Nでは、 テキストィンジケータ T Nと 文字コード情報 U Nとキャラクタオフセッ卜レングス S I Nとモディファイアポ インタレングス M I Nとボックス分割フラグ B Nとの 5つの情報を格納するデ一 タ領域を常に確保する必要がある。
しかし、 例えば、 ペイロード部がテキスト本文を含まない場合、 それに付され る分割ヘッダには、 文字コード情報とキャラクタオフセッ卜レングスとは必要の 無い情報であリ、 確保したデ一タ領域は無駄になる。
そこで、 分割ヘッダのオーバーヘッドを最小化するために、 1 ビットの分割へ ッダフラグを定義する。 分割ヘッダフラグは、 分割ヘッダが、 文字コード情報、 キャラクタオフセットレングス、 モディファイアポインタレングス、 ボックス分 割フラグのいずれかを含むことを示している。 この分割ヘッダフラグと、 テキス トインジケータとを分割ヘッダの必須情報として格納する。
(分割へッダの備える情報)
図 4 2を用いて分割ヘッダフラグ F Nとテキス卜インジケータ T Nとを備える 分割ヘッダ F h Nの構造について説明する。 図 4 2では、 分割パケット P t Nは 、 ヘッダ部 H d Nと、 ペイロード部 P I Nとを備えている。 ヘッダ部 H d Nは、 丁卩へッダ!^ !^と、 サンプルヘッダ S h Nと、 分割ヘッダ F h Nとを含んで いる。 また、 ペイロード部 P I Nは、 テキストサンプル T s 0の一部を含んでい る。
ここで、 分割ヘッダ F h Nは、 上記したテキストインジケータ T Nと、 分割へ ッダフラグ F Nとを含んでいる。 分割へッダ F h Nのその他の領域が備える情報 は、 テキストインジケータ T Nと分割へッダフラグ F Nとの組み合わせにより、 図 43に示すように決定されている。 ここで、 分割ヘッダ F h Nのその他の領域 が備える情報とは、 「 [第 4実施形態] (2) く RTPパケットのデータ構造〉 ( i i i ) 分割ヘッダの概要 J において示した (a) ~ (d) のいずれかの情報 である。
図 43は、 テキストインジケータ TNと分割ヘッダフラグ FNとの組み合わせ に対する、 図 42に示す分割ヘッダ FhNの備える情報を示している。 この関係 は、 テキストサンプル T s 0の先頭はテキストレングス T I 0およびテキスト T X 0であることという前提に基づいて、 上記したテキストインジケータ TNと分 割ヘッダフラグ FNとの定義により論理的に導出されるものである。 なお、 図 4 3では、 テキストインジケータ TNを丁、 分割ヘッダフラグ FNを Fと表してい る。
分割ヘッダフラグ FNが値 [0] の時、 分割ヘッダ FhNは、 テキストインジ ケータ TNと分割ヘッダフラグ FNとの 2ビットのみを格納する (図 43、 列 ( a) , 列 (c)参照) 。 なお、 欄内に値 [0] を有しているとき、 その情報は存 在しないことを示している。
テキストインジケータ TNが値 [1] かつ分割ヘッダフラグ FNが値 [1] の 時、 分割ヘッダ FhNは、 文字コード情報と、 キャラクタオフセットレングスと 、 モディファイアポインタレングスと、 キャラクタオフセッ卜と、 モディファイ アポインタとを格納する (図 43、 列 (b)参照) 。
テキス卜インジケータ TNが値 [0] かつ分割ヘッダフラグ FNが値 [1] の 時、 分割ヘッダ F h Nは、 モディファイアポインタレングスと、 モディファイァ ポインタと、 ボックス分割フラグと、 シンクオフセットと, シンクオフセットレ ングスと, エクステンションバイトと, エクステンションバイ トレングスと, ァ トムタイプとを格納する (図 43、 列 (d)参照) 。
これにより、 例えば、 分割バケツ卜 P t Nを取得したデータ再生装置において 、 テキストインジケータ TNと分割ヘッダフラグ FNとの値を取得し、 分割へッ ダ F h Nの含む情報を解析することが可能となる。 すなわち、 分割ヘッダ FhN において、 不要な情報のためのデータ領域を確保する必要が無くなり、 伝送デ一 タのビッ卜効率が向上する。 (サンプルヘッダの備える情報)
さらに、 テキストインジケータ T Nと分割ヘッダフラグ F Nとの組み合わせに より、 図 42に示すサンプルヘッダ S h Nの備える情報を表現することも可能で ある。
図 44は、 テキストインジケータ TNと分割ヘッダフラグ FNとの組み合わせ と、 サンプルヘッダ S h Nの備える情報との関係を示している。 この関係は、 上 記したテキス卜インジケータ T Nと分割ヘッダフラグ T Nとの定義によリ論理的 に導出されるものである。
テキストインジケータ TNが値 [0] の時、 分割パケット P t Nは、 サンプル ヘッダ ShNを備えない。 (図 44、 列 (c) , 列 (d)参照) 。
テキストインジケータ TNが値 [1] かつ分割ヘッダフラグ FNが値 [0] の 時、 サンプルヘッダ ShNは、 サンプルレングス S I nNとサンプルインデック ス S i d Nとサンプルデュレーシヨン S d r Nとを格納する (図 44、 列 (a) 参照) 。
テキストインジケータ TNが値 [1 ] かつ分割ヘッダフラグ FNが値 [1 ] の 時、 サンプルヘッダ S h Nは、 サンプルインデックス S i dNと、 サンプルデュ レーシヨン Sd r Nとを格納する (図 44、 列 (b)参照) 。
これにより、 例えば、 分割パケット P t Nを取得したデータ再生装置において 、 テキストインジケータ TNと分割ヘッダフラグ FNとの値を取得し、 サンプル ヘッダ S h Nの含む情報を解析することが可能となる。 すなわち、 サンプルへッ ダ S h Nにおいて、 不要な情報のためのデータ領域を確保する必要が無くなり、 伝送データのビット効率が向上する。
なお、 分割ヘッダ F h Nのその他の領域が備える情報とは、 Γ [第 4実施形態 ] (2) く RT Pパケットのデータ構造〉 ( i ί i ) 分割ヘッダの概要 J におい て示した (a) 〜 (d) の情報であると記載したが、 (a) ~ ( d ) に示した情 報のうちいずれかを規格として備えない場合も考えられる。 その場合、 図 43は 、 分割ヘッダに規格として備えないとされる情報に関する部分を除いて利用され る。
例えば、 テキスト本文を分割する場合、 分割ヘッダにキャラクタオフセットを 付与し、 分割パケットがテキスト本文の何文字目からを含むかを判断させる。 し かし、 分割パケットを作成するデータ多重装置によっては、 文字数をカウントす ることが出来ない場合がある。 この場合、 テキスト本文が分割されているにも関 わらず、 キャラクタオフセットは付与されない。 この場合においては、 分割パケ ットを取得したデータ再生装置において、 図 4 3の行 (e ) の情報は考慮せずに 再生を行うこととなる。
( 2 ) 〈テキストサンプルの分割状況を識別可能なバケツトデータ構造〉 一般的に、 分割パケットの伝送にロスが無い状況では、 テキストサンプルの分 割状況は、 R T Pヘッダのシーケンス番号、 タイムスタンプ、 マ一力ビットを監 視することにより識別可能である。 同じテキストサンプルを分割して含む分割パ ケットには、 同じタイムスタンプが付されている。 さらに、 マーカビットは、 例 えば、 値 [ 1 ] を格納し、 同じテキストサンプルを分割して含む分割パケットの うち最後のバケツトを判別させる。
しかし、 分割パケットにロスが発生した場合、 シーケンス番号、 タイムスタン プ、 マーカビットを監視するだけでは、 その分割バケツ卜が先頭の分割バケツト であることの判断ができないために、 正常なデコードに支障をきたしてしまう。 すなわち、 テキストサンプルの変わり目 (タイムスタンプの変わり目) において 、 複数のバケツ卜がロスした場合、 マ一カビッ卜の値が [ 1 ] であるバケツトを ロスしており、 前のテキストサンプルの最後が判断できない。
そこで、 上記 (1 ) 〈分割ヘッダのオーバーヘッドを最小化するフラグ情報を 持つバケツトデータ構造〉 で定義されたテキストインジケータ T Nと分割ヘッダ フラグ F Nとに加え、 R T Pヘッダ R h Nの備えるマーカビット M Nを組み合わ せることにより (図 4 2参照) 、 分割パケット P t Nの有する分割されたテキス トサンプル T s 0の分割状況を図 4 5に示すように判断する。
ここで、 テキストサンプル T s 0の先頭はテキストレングス T I 0およびテキ スト T X 0であること、 およびテキス卜サンプルの先頭を含む分割バケツトでは 、 分割ヘッダは、 テキストインジケータと分割ヘッダフラグ以外を含まないこと を前提としている。 また、 マーカビット M Nは、 分割パケット P t Nがテキスト サンプル T s 0の最後尾を含むことを示すと定義されている。 なお、 図 4 5では 、 テキストインジケータ T Nを!"、 分割ヘッダフラグ F Nを F、 マーカビット M Nを Mと表している。
これにより、 テキストインジケータ TNと分割ヘッダフラグ MNとマーカビッ 卜 MNとを利用してテキス卜サンプル T s 0の分割状況が判断可能となる。 この ため、 例えば、 分割バケツト P t Nを取得したデータ再生装置において、 分割パ ケット P t Nが分割の最後であることを判断 (例えば、 マーカビット MNの値 [ 1 ] の場合) してデコードを開始することが可能となるだけでなく、 分割バケツ 卜が分割の先頭であることを判断 (例えば、 テキストインジケータ TNの値 [1 ] かつ分割ヘッダフラグ MNの値 [0] の場合) することが可能となる。
(3) 〈データ再生装置およびデータ再生方法〉
図 46および図 47を用いて、 上記したデータ構造を有する RT Pバケツトを 再生するためのデータ再生装置およびデータ再生方法について説明する。
( i ) データ再生装置
図 46に、 上記 (1 ) または (2) で説明したデータ構造を有する RT Pパケ ット (図 42参照) を再生するためのデータ再生装置 730のブロック図を示す データ再生装置 730は、 図 38に示したデータ再生装置 71 0とほぼ同様の 構成を有しているので、 その特徴部分である分割ヘッダ解析部 733を中心に説 明する。
データ再生装置 730は、 1^丁 受信部731 と、 基本ヘッダ解析部 732と 、 分割ヘッダ解析部 733と、 デコーダ部 734と、 表示部 735とを備えてい る。 データ再生装置 730は、 後述する R T P伝送装置 745, 748 (図 48 参照) より伝送された RT Pパケットに基づいて、 T i me d T e x tの再生 を行うコンピュータ、 携帯電話、 PDA (personal digital assistant) などと いった装置である。
丁 受信部731は、 (^丁 伝送装置745, 748から送信された RT P バケツトを受信し、 一時的に基本ヘッダ解析部 732に格納する。
基本ヘッダ解析部 732は、 シーケンス番号により、 伝送途中にロスされた R T Pバケツ卜の存在を判断する。 ここで、 あるテキス卜サンプルを分割して含む複数の RT Pバケツ卜について 、 いずれかの RTPパケットが伝送途中にロスされていた場合、 基本ヘッダ解析 部 732は、 残りの RT Pバケツトを分割ヘッダ解析部 733へと送出する。 分割ヘッダ解析部 733は、 ロスされず取得された RT Pバケツ卜の分割へッ ダを解析する。 すなわち、 分割ヘッダ解析部 733は、 分割ヘッダに必須の情報 であるテキストインジケータと分割ヘッダフラグとの値を取得する。 さらに、 そ の値に基づいて、 図 43および図 44に示す分割ヘッダおよびサンプルヘッダの 情報の有無を判断し、 それぞれの情報を取得する。
また、 分割ヘッダ解析部 733は、 テキストインジケータと分割ヘッダフラグ とマーカビットとの値の組み合わせに基づいて、 図 45に示すテキストサンプル の分割状態を判断する。
デコーダ部 734は、 分割ヘッダ解析部 733が取得した分割ヘッダの情報と 、 テキストサンプルの分割状態とに基づいて、 デコードのタイミングを決定する なお、 RT Pパケットがロス無く伝送された場合は、 R TPパケットは、 基本 ヘッダ解析部 732による解析の後、 デコーダ部 734へと送出され、 デコード される。
( i i ) データ再生方法
図 47に、 上記 (1 ) または (2) で説明したデータ構造を有する RT Pパケ ットを再生するためのデータ再生方法を説明するフローチャートを示す。
RT Pバケツ卜が受信されると RT Pバケツ卜の RT Pヘッダが解析され (ス テツプ S 730) 、 シーケンス番号に基づいて、 ロスしたパケットの有無が判断 される (ステップ S731) 。 また同時に、 マ一力ビットも取得される。
ロスしたパケットが無いと判断されると、 RTPパケットは、 デコードされる (ステップ S 733) 。
RT Pパケットのロスが有ると判断された場合、 分割ヘッダが解析される。 具 体的には、 テキストインジケータと分割ヘッダフラグとの値が取得され、 その値 により、 図 43および図 44に示す分割ヘッダの情報の有無が判断される。 さら に、 それぞれの情報が取得される (ステップ S 732) 。 また、 同時にテキスト インジケータと分割ヘッダフラグとマーカビッ卜との値の組み合わせに基づいて 、 図 45に示すテキストサンプルの分割状態が判断される。
ステップ S 732で取得された情報に基づいて、 RT Pバケツ卜がデコードさ れる (ステップ S 733) 。
(4) 〈データ多重装置およびデータ多重方法〉
図 48および図 49を用いて、 上記したデータ構造を有する RT Pバケツ卜を 作成するためのデータ多重装置およびデータ多重方法について説明する。
( i ) データ多重装置
図 48に、 上記 (1 ) または (2) で説明したデータ構造を有する RT Pパケ ッ卜を作成するためのデータ多重装置 740のブロック図を示す。
データ多重装置 740は、 T i me d T e x tの蓄積されている蓄積部 74 1と、 T i me d Te x tを解析し多重化に必要な情報を取得する E S解析部 742と、 分割と分割ヘッダの作成とを行う分割ヘッダ生成部 743と、 基本へ ッダを生成する基本ヘッダ生成部 744とから構成される。
蓄積部 741は、 メディアデータを、 例えば、 MP4ファイル形式 (図 55参 照) で蓄積している。 また、 蓄積部 741は、 蓄積するファイルに関する詳細な 情報を有している。 ES解析部 742は、 蓄積部 741からトラックヘッダと亍 キストサンプルとサンプルディスクリプシヨンとサンプルテーブルを取得し、 テ キストサンプルは、 分割ヘッダ生成部 743へ送出される。
分割ヘッダ生成部 743においては、 目標の RTPバケツ卜のサイズに近づく ように、 取得されたテキストサンプルを分割する。 なお、 分割しなくても目標の RT Pパケットのサイズを超えないならば、 分割は行われない。 また、 分割され たテキストサンプルの再生に必要な情報を分割ヘッダに格納し、 分割されたテキ ストサンプルに付与する。 さらに、 分割ヘッダフラグと、 テキストインジケータ とが適切な値を取って格納される。 一方、 分割されなかったテキストサンプルに 対しても、 分割ヘッダフラグとテキストインジケータとが適切な値を取って付与 される。 これらの情報は、 基本ヘッダ作成部 744へ送出される。
基本ヘッダ作成部 744は、 分割されなかったテキストサンプルと、 分割され たテキストサンプルとに基本ヘッダを付与し、 RT Pパケットを作成する。 ここ で、 基本ヘッダとは、 RTPヘッダ、 サンプルヘッダ (図 26参照) のことであ る。 なお、 サンプルヘッダは、 格納された分割ヘッダフラグと、 テキストインジ ケータとに基づいて付与される (図 44参照) 。 また、 基本ヘッダでは、 マーカ ビットは、 RT Pバケツ卜のペイ口一ド部の有するテキストサンプルの分割状況 に適した値を格納している。
基本ヘッダ作成部 744で作成された RT Pバケツトは、 RT P伝送装置 74 5へ送られ、 さらにデータ再生装置 730 (図 46参照) へと伝送される。 ある いは、 伝送用蓄積ファイル作成部 746へ送られる。 伝送用蓄積ファイル作成部 746は、 伝送のためのサーバ蓄積ファイルを作成し、 蓄積手段 747へ蓄積す る。 丁 伝送装置748は、 サーバ蓄積ファイルを解析し、 RTPパケットへ 変換し、 データ再生装置 730 (図 46参照) へと伝送される。
( i i) データ多重方法
図 49に、 上記 (1 ) または (2) で説明したデータ構造を有する RT Pパケ ッ卜を作成するためのデータ多重方法を説明するフローチヤ一トを示す。
入力された T i me d T e x tは、 トラックヘッダ、 サンプルディスクリブ シヨン、 サンプルテーブルおよびテキストサンプルに分離される (ステップ S 7 40)
テキス卜サンプルのサイズに基づいて、 分割を行わない場合の RT Pバケツト のサイズを推定し、 推定サイズが目標のサイズを超えると判断されると (ステツ プ S 741 ) 、 テキストサンプルの分割処理が行われる (ステップ S 742) 。 分割処理は、 目標のサイズに近づき、 かつ、 分割したテキストサンプルを含む R T Pバケツ卜の一部がロスしても残りの RT Pバケツ卜の内容を表示可能となる ような位置において行われる。 さらに、 分割されたテキストサンプルに分割へッ ダが付与される (ステップ S 743) 。 分割ヘッダには、 分割されたテキストサ ンプルの再生に必要な情報と、 分割ヘッダフラグとテキストインジケータとが格 納されている。 分割ヘッダを付与された分割されたテキストサンプルには、 基本 ヘッダが付与される (ステップ S745)。
一方、 分割を行わない場合、 テキストサンプルには分割ヘッダフラグとテキス 卜インジケータとが付与される (ステップ S 744) 。 さらにテキストサンプル には、 基本ヘッダが付与される (ステップ S 7 4 5 ) 。
ここで、 基本ヘッダとは、 R T Pヘッダ、 サンプルヘッダのことである。
[第 4実施形態および第 5実施形態に関する付記]
〈付記の内容〉
(付記 Ί )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 と、
前記ペイロード部が前記分割再生データを含むことを示す分割存在情報と、 前 記分割再生データの再生に必要な分割再生データ再生情報とを有するヘッダ部と を備えるバケツ卜データ構造。
(付記 2 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 と、
前記分割再生データが含む分割された前記テキストデータの文字コードを判別 する文字コード情報を有するヘッダ部と、
を備えるバケツトデータ構造。
(付記 3 )
前記ヘッダ部は、 前記文字コード情報のデータ長を示す第 1データ長情報をさ らに有する、
付記 2に記載のバケツトデータ構造。
(付記 4 )
前記文字コード情報は、 2種類の前記文字コードを判別する 1 ビットのフラグ である、
付記 2に記載のバケツトデータ構造。 (付記 5 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 前記分割再生データにおける前記修飾情報の位置情報である第 1位置情報を有 するヘッダ部と、
を備えるバケツトデータ構造。
(付記 6 )
前記分割再生データは、 前記テキストデータの少なくとも一部と前記テキスト データの少なくとも一部に続いて配置される前記修飾情報とを含んでおリ、 前記第 1位置情報は、 前記分割再生データの含む前記テキストデータのデータ 長である、
付記 5に記載のバケツトデータ構造。
(付記 7 )
前記修飾情報は、 複数の部分修飾情報を含んでおリ、
前記分割再生データは、 第 1部分修飾情報の分割された一部と、 前記第 1部分 修飾情報の分割された一部に続いて配置される第 2部分修飾情報とを含んでおり 前記第 1位置情報は、 前記第 1部分修飾情報の分割された一部のデータ長であ る、
付記 5に記載のバケツトデータ構造。
(付記 8 )
前記ヘッダ部は、 前記分割再生データが前記テキス卜データの少なくとも一部 を含むことを示すテキス卜存在情報をさらに有する、
付記 6または 7に記載のバケツ卜データ構造。
(付記 9 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、 前記再生データの分割された一部である分割再生データを有するペイロード部 前記分割再生データが含む分割された前記テキストデータである分割テキスト データの前記テキストデータにおける位置情報である第 2位置情報を有するへッ ダ部と、
を備えるバケツトデータ構造。
(付記 1 0 )
前記第 2位置情報は、 前記分割テキス卜データの位置情報をテキス卜の文字数 を単位として含んでいる、
付記 9に記載のバケツトデータ構造。
(付記 1 1 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 と、
前記修飾情報が含む部分修飾情報の修飾タィプを示す情報であって、 前記分割 再生データに含まれない修飾タィプ情報を有するへッダ部と、
を備えるバケツトデータ構造。
(付記 1 2 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイ口一ド部 前記修飾情報が含む部分修飾情報を構成する単位修飾情報であって、 前記分割 再生データに含まれる第 1単位修飾情報の位置情報である第 3位置情報を有する ヘッダ部と、
を備えるバケツトデータ構造。
(付記 1 3 )
前記へッダ部は、 前記第 3位置情報のデータ長を示す第 2データ長情報をさら に有する、
付記 1 2に記載のバケツトデータ構造。
(付記 1 4 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 と、
前記修飾情報が含む部分修飾情報を構成する単位修飾情報であって、 前記分割 再生データに含まれない第 2単位修飾情報を有するヘッダ部と、
を備えるバケツ卜データ構造。
(付記 1 5 )
前記へッダ部は、 前記第 2単位修飾情報のデータ長を示す第 3データ長情報を さらに有する、
付記 1 4に記載のバケツトデータ構造。
(付記 1 6 )
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順 次再生させるためのバケツトデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部 前記ペイロード部に付加され、 テキスト存在情報と再生情報存在情報とを有す るヘッダ部とを備え、
前記テキス卜存在情報は、 前記分割再生データが前記テキストデータの少なく とも一部を含むことを示し、
前記再生情報存在情報は、 前記ヘッダ部が前記分割再生データの再生に必要な 分割再生データ再生情報を含むことを示す、
バケツトデータ構造。
(付記 1 7 )
前記ヘッダ部は、 前記分割再生データが前記再生データの最後に位置するデー タであることを示す分割再生デ一タ位置情報をさらに有する、 付記 1 6に記載のバケツトデータ構造。
(付記 1 8 )
付記 1に記載のバケツトデータ構造を有するバケツ卜から再生データを再生す るデータ再生装置であって、
前記分割存在情報から前記ペイロード部が前記分割再生データを含むことを判 断する分割判断手段と、
前記分割判断手段の判断結果に基づいて、 前記分割再生データ再生情報から前 記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記 1 9 )
付記 2に記載のバケツトデータ構造を有するバケツ卜から再生データを再生す るデータ再生装置であって、
前記文字コード情報から前記分割再生データが含む分割された前記テキストデ 一夕の文字コードを判別する文字コード判別手段と、
前記文字コード判別手段の判別結果に基づいて、 前記分割再生データの再生を 行うデータ再生手段と、
を備えるデータ再生装置。
(付記 2 0 )
付記 5に記載のバケツトデータ構造を有するバケツ卜から再生データを再生す るデータ再生装置であって、
前記第 1位置情報から前記分割再生データにおける前記修飾情報の位置情報を 取得する第 1位置情報取得手段と、
前記第 1位置情報取得手段の取得した前記位置情報に基づいて、 前記分割再生 データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記 2 1 )
付記 9に記載のバケツトデータ構造を有するバケツ卜から再生データを再生す るデータ再生装置であって、
前記第 2位置情報から前記分割再生データが含む分割された前記テキストデー タである分割テキストデータの前記テキストデータにおける位置情報を取得する 第 2位置情報取得手段と、
前記第 2位置情報取得手段の取得した前記位置情報に基づいて、 前記分割再生 データの再生を行うデータ再生手段と、 ,.
を備えるデータ再生装置。
(付記 2 2 )
付記 1 1に記載のバケツトデータ構造を有するバケツ卜から再生データを再生 するデータ再生装置であって、
前記修飾タィプ情報から前記分割再生データが含む前記部分修飾情報の修飾タ ィプを取得する修飾タイプ取得手段と、
前記修飾タィプ取得手段の取得した前記修飾タィプに基づいて、 前記分割再生 データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記 2 3 )
付記 1 2に記載のバケツトデータ構造を有するバケツ卜から再生データを再生 するデータ再生装置であって、
前記第 3位置情報から前記第 1単位修飾情報を取得する第 1単位修飾情報取得 手段と、
前記第 1単位修飾情報取得手段の取得した前記第 1単位修飾情報に基づいて、 前記再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記 2 4 )
付記 1 4に記載のバケツトデータ構造を有するバケツ卜から再生データを再生 するデータ再生装置であって、
前記第 2単位修飾情報を取得する第 2単位修飾情報取得手段と、
前記第 2単位修飾情報取得手段の取得した前記第 2単位修飾情報に基づいて、 前記再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記 2 5 ) 付記 1 6に記載のバケツ卜データ構造を有するバケツ卜から再生データを再生 するデータ再生装置であって、
前記テキスト存在情報と前記再生情報存在情報とに基づいて、 前記分割再生デ ータの有する分割再生データ再生情報を判断する再生情報判断手段と、
前記再生情報判断手段の判断結果に基づいて、 前記再生データの再生を行うデ ータ再生手段と、
を備えるデータ再生装置。
(付記 2 6 )
付記 1 7に記載のバケツトデータ構造を有するバケツ卜から再生データを再生 するデータ再生装置であって、
前記テキスト存在情報と前記再生情報存在情報と前記分割再生デ一タ位置情報 とに基づいて、 前記分割再生データの分割状況を判断する分割状況判断手段と、 前記分割状況判断手段の判断結果に基づいて、 前記分割再生データの再生を制 御する再生制御手段と、
を備えるデータ再生装置。
〈付記の説明〉
付記 1に記載のバケツ卜データ構造は、 修飾情報の付されたテキストデータを 含む再生データを伝送し再生装置にて順次再生させるためのバケツ卜データ構造 であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生デ ータの分割された一部である分割再生データを有する。 ヘッダ部は、 ペイロード 部が分割再生データを含むことを示す分割存在情報と、 分割再生データの再生に 必要な分割再生データ再生情報とを有する。
再生データとは、 例えば、 T i m e d T e x tにおけるテキストサンプルを 含んでいる (以下、 この欄において同じ。 ) 。 分割再生データ再生情報とは、 例 えば、 再生データが含んでいた再生に必要な情報のうち再生データが分割された ために一部の分割再生データには含まないこととなった情報あるいは再生データ が分割されたために新たに分割再生データの再生に必要となった情報などである (以下、 この欄において同じ。 ) 。
本発明のパケットデータ構造では、 分割存在情報により、 再生データが分割さ れていることが識別可能となる。 また、 分割再生データ再生情報により、 バケツ 卜のいくつかが伝送途中でロスされた場合にも、 取得したバケツ卜の分割再生デ 一夕の再生が可能となる。
付記 2に記載のバケツ卜データ構造は、 修飾情報の付されたテキストデータを 含む再生データを伝送し再生装置にて順次再生させるためのバケツトデータ構造 であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生デ 一夕の分割された一部である分割再生データを有する。 ヘッダ部は、 分割再生デ 一夕が含む分割されたテキストデータの文字コ一ドを判別する文字コード情報を 有する。
テキストデータは、 例えば、 先頭部分に文字コードを備えており、 再生データ の分割により、 一部の分割再生データは、 この文字コードを含まないこととなる 。 T i m e d T e x tでは、 文字コードは、 U n i c o d e規格の U T F - 8 または U T F— 1 6 B i g E n d i a nでエンコードされている。 文字コー ドは、 例えば、 B O M (バイトオーダマーク) と呼ばれるビット列により判断さ れる。
本発明のバケツトデータ構造では、 分割再生データの文字コードを判別する文 字コ一ド情報をヘッダ部に有しており、 再生データが含むテキストデータの文字 コードを有するバケツ卜が伝送途中でロスされた場合にも、 分割再生データを正 常な文字コ一ドで再生可能となる。
付記 3に記載のバケツ卜データ構造は、 付記 2に記載のバケツトデータ構造で あって、 ヘッダ部は、 文字コード情報のデータ長を示す第 1データ長情報をさら に有する。
第 1データ長情報は、 文字コード情報のデータ長を、 例えば、 バイト長として 指定するためのビット列である。
本発明のバケツトデータ構造では、 第 1データ長情報により、 可変長の文字コ ―ド情報を用いることができ、 また文字コード情報の判定も確実に行うことが可 能となる。
付記 4に記載のバケツ卜データ構造は、 付記 2に記載のバケツトデータ構造で あって、 文字コード情報は、 2種類の文字コードを判別する 1 ビットのフラグで ある。
本発明のパケットデータ構造では、 1 ビットのフラグにより、 例えば、 分割再 生データが U T F— 8あるいは U T F— 1 6 B i g E n d i a nのいずれで ェンコ一ドされているかなどを判別することが可能となる。
付記 5に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータを 含む再生データを伝送し再生装置にて順次再生させるためのバケツ卜データ構造 であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生デ ータの分割された一部である分割再生データを有する。 ヘッダ部は、 分割再生デ —タにおける修飾情報の位置情報である第 1位置情報を有する。
第 1位置情報は、 修飾情報の位置を、 例えば、 ペイロード部の先頭からのバイ ト長として指定する。
本発明のバケツ卜データ構造では、 例えば、 T i m e d T e x tにおけるテ キストサンプルが有するテキストデータのデータ長を含むバケツ卜が伝送途中で ロスされた場合にも、 分割再生データにおける修飾情報の識別が可能となる。 こ の結果、 修飾情報を確実にデコードすることが可能となり、 また修飾情報とテキ ストデータとを混同し誤ったテキストを表示することが防止可能となる。
付記 6に記載のバケツ卜データ構造は、 付記 5に記載のバケツトデータ構造で あって、 分割再生データは、 テキストデータの少なくとも一部と、 テキストデー タの少なくとも一部に続いて配置される修飾情報とを含んでいる。 また、 第 1位 置情報は、 分割再生データの含むテキストデータのデータ長である。
分割再生データは、 テキストデータをペイロード部の先頭から含んでおり、 そ のデータ長は、 例えば、 バイト長として指定されている。
本発明のバケツトデータ構造では、 修飾情報を確実にデコードすることが可能 となり、 また修飾情報とテキス卜データとを混同し誤った亍キストを表示するこ とが防止可能となる。
付記 7に記載のバケツトデータ構造は、 付記 5に記載のバケツトデータ構造で あって、 修飾情報は、 複数の部分修飾情報を含んでいる。 分割再生データは、 第 1部分修飾情報の分割された一部と、 第 1部分修飾情報の分割された一部に続い て配置される第 2部分修飾情報とを含んでいる。 第 1位置情報は、 第 1部分修飾 情報の分割された一部のデータ長である。
分割された第 1部分修飾情報は、 ペイロード部の先頭から配置されており、 そ のデータ長は、 例えば、 バイ卜長として指定されている。
本発明のバケツトデータ構造では、 第 2部分修飾情報を確実にデコードするこ とが可能となる。
付記 8に記載のバケツトデータ構造は、 付記 6または 7に記載のバケツトデー タ構造であって、 ヘッダ部は、 分割再生データがテキストデータの少なくとも一 部を含むことを示すテキスト存在情報をさらに有する。
本発明のバケツトデータ構造では、 複数の再生データを伝送する際に付記 6ま たは付記 7に記載のバケツトデータ構造を有するバケツ卜が混在していても、 テ キストデータの有無によリ判別することが可能となる。
付記 9に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータを 含む再生データを伝送し再生装置にて順次再生させるためのバケツトデータ構造 であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生デ —夕の分割された一部である分割再生データを有する。 ヘッダ部は、 分割再生デ —タが含む分割されたテキス卜データである分割テキス卜データのテキストデー タにおける位置情報である第 2位置情報を有する。
修飾情報は、 テキス卜データの修飾範囲を、 例えば、 バイト単位あるいはテキ スト本文の文字数を単位などとして指定している。 第 2位置情報は、 例えば、 分 割テキストデータのテキストデータにおける開始位置を、 例えば、 バイト単位あ るいはテキスト本文の文字数を単位として表した情報などである。
本発明のパケットデータ構造では、 第 2位置情報により、 修飾を付すべき分割 テキストデータの範囲が判別可能となり、 分割テキストデータに修飾効果を利用 することが可能となる。
付記 1 0に記載のバケツ卜データ構造は、 付記 9に記載のバケツトデータ構造 であって、 第 2位置情報は、 分割テキストデータの位置情報をテキストの文字数 を単位として含んでいる。
修飾情報は、 テキストデータの修飾範囲を、 テキスト本文の文字数を単位など として指定している。 本発明のパケットデータ構造では、 第 2位置情報により、 修飾を付すべき分割 テキストデータの文字列の範囲が判別可能となり、 分割テキストデータに修飾効 果を利用することが可能となる。
付記 1 1に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータ を含む再生データを伝送し再生装置にて順次再生させるためのバケツ卜データ構 造であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生 データの分割された一部である分割再生データを有する。 ヘッダ部は、 修飾情報 が含む部分修飾情報の修飾タィプを示す情報であって、 分割再生データに含まれ ない修飾タィプ情報を有する。
部分修飾情報とは、 例えば、 T i m e d T e x tにおけるテキス卜サンプル のモディファイァなどである。
本発明のパケットデータ構造では、 例えば、 再生データの分割により、 分割再 生データが部分修飾情報の修飾タイプを示す情報を含まないこととなった場合に 、 ヘッダ部の有する修飾タイプ情報を用いて分割再生データの有する部分修飾情 報を利用することが可能となる。
付記 1 2に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータ を含む再生データを伝送し再生装置にて順次再生させるためのバケツトデータ構 造であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生 データの分割された一部である分割再生データを有する。 ヘッダ部は、 修飾情報 が含む部分修飾情報を構成する単位修飾情報であって、 分割再生データに含まれ る第 1単位修飾情報の位置情報である第 3位置情報を有する。
本発明のパケットデータ構造では、 例えば、 再生データの分割により、 分割再 生データが分割された部分修飾情報を含む場合に、 分割された部分修飾情報の第 1単位修飾情報を判別してテキストデータに修飾効果を利用することが可能とな る。
付記 1 3に記載のバケツトデータ構造は、 付記 1 2に記載のバケツトデータ構 造であって、 ヘッダ部は、 第 3位置情報のデータ長を示す第 2データ長情報をさ らに有する。
本発明のバケツトデータ構造では、 第 1単位修飾情報の識別に必要な第 3位置 情報をよリ確実に判別でき、 第 1単位修飾情報の識別をよリ確実に行うことが可 能となる。
付記 1 4に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータ を含む再生データを伝送し再生装置にて順次再生させるためのバケツトデータ構 造であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生 データの分割された一部である分割再生データを有する。 ヘッダ部は、 修飾情報 が含む部分修飾情報を構成する単位修飾情報であって、 分割再生データに含まれ ない第 2単位修飾情報を有する。
第 2単位修飾情報とは、 例えば、 分割により分割再生データに含まれないこと となった単位修飾情報のうち、 分割再生データの含む単位修飾情報を利用するた めに必要となる情報などである。
本発明のパケットデータ構造では、 第 2単位修飾情報を用いて、 分割再生デー タが含む分割された修飾情報を利用することが可能となる。
付記 1 5に記載のバケツトデータ構造は、 付記 1 4に記載のバケツトデータ構 造であって、 ヘッダ部は、 第 2単位修飾情報のデータ長を示す第 3データ長情報 をさらに有する。
第 2単位修飾情報は、 部分修飾情報の修飾タイプに依存する情報である。
本発明のパケットデータ構造では、 第 3データ長情報により、 第 2単位修飾情 報の識別をより確実に行うことが可能となる。
付記 1 6に記載のバケツトデータ構造は、 修飾情報の付されたテキストデータ を含む再生データを伝送し再生装置にて順次再生させるためのバケツ卜データ構 造であって、 ペイロード部と、 ヘッダ部とを備えている。 ペイロード部は、 再生 データの分割された一部である分割再生データを有する。 ヘッダ部は、 ペイロー ド部に付加され、 テキスト存在情報と再生情報存在情報とを有する。 また、 テキ スト存在情報は、 分割再生データがテキス卜データの少なくとも一部を含むこと を示している。 再生情報存在情報は、 ヘッダ部が分割再生データの再生に必要な 分割再生データ再生情報を含むことを示している。
分割再生データ再生情報とは、 例えば、 分割再生データが含むテキストデータ の文字コード情報や分割再生データが含む修飾情報を利用するための情報などで ¾) - ) ο
分割再生データ再生情報が有する情報の種類は、 テキスト存在情報に依存して いる。 このため、 テキスト存在情報と再生情報存在情報との組み合わせにより、 分割再生データ再生情報が有する情報の種類が判別される。
本発明のバケツトデータ構造では、 分割再生データ再生情報が有する情報のす ベてに対してビット列を割り当てなくとも、 テキスト存在情報と再生情報存在情 報との組み合わせによリ分割再生データ再生情報の有する情報を判別可能となる 。 すなわち、 パケットのロスに対する耐性を高めつつビット効率を高めることが 可能となる。
付記 1 7に記載のバケツ卜データ構造は、 付記 1 6に記載のバケツトデータ構 造であって、 ヘッダ部は、 分割再生データが再生データの最後に位置するデータ であることを示す分割再生データ位置情報をさらに有する。
テキスト存在情報と、 再生情報存在情報と、 分割再生データ位置情報との組み 合わせによリ、 分割再生データの分割状況を判別可能となる。
本発明のバケツトデータ構造では、 分割再生データの分割状況の判別を可能さ せる。 これにより、 分割再生データの再生開始のタイミングを判断することも可 能となる。
付記 1 8に記載のデータ再生装置は、 付記 1に記載のバケツトデータ構造を有 するバケツ卜から再生データを再生するデータ再生装置であって、 分割判断手段 と、 データ再生手段とを備えている。 分割判断手段は、 分割存在情報からペイ口 ード部が分割再生データを含むことを判断する。 データ再生手段は、 分割判断手 段の判断結果に基づいて、 分割再生データ再生情報から分割再生データの再生を 行う。
データ再生手段は、 分割判断手段の判断結果に基づいて、 パケットの解析を行 う。 すなわち、 ペイロード部に分割再生データが含まれていると判断する場合、 分割再生データ再生情報を解析し、 分割再生データの再生を行うことができる。 本発明のデータ再生装置では、 バケツ卜のいくつかが伝送途中でロスされた場 合にも、 取得した分割再生データの再生を行うことが可能となる。
付記 1 9に記載のデータ再生装置は、 付記 2に記載のパケットデータ構造を有 するバケツ卜から再生データを再生するデータ再生装置であって、 文字コード判 別手段と、 データ再生手段とを備えている。 文字コード判別手段は、 文字コード 情報から分割再生データが含む分割されたテキストデータの文字コードを判別す る。 データ再生手段は、 文字コード判別手段の判別結果に基づいて、 分割再生デ ータの再生を行う。
データ再生手段は、 文字コード判別手段の判別結果に基づいて、 パケットの解 析を行う。 すなわち、 分割再生データが含むテキストデータの文字コードを判別 し、 分割再生データの再生を行うことができる。
本発明のデータ再生装置では、 バケツ卜のいくつかが伝送途中でロスされた場 合にも、 取得した分割再生データを正常な文字コードで再生可能となる。
付記 2 0に記載のデータ再生装置は、 付記 5に記載のバケツトデータ構造を有 するバケツ卜から再生データを再生するデータ再生装置であって、 第 1位置情報 取得手段と、 データ再生手段とを備えている。 第 1位置情報取得手段は、 第 1位 置情報から分割再生データにおける修飾情報の位置情報を取得する。 データ再生 手段は、 第 1位置情報取得手段の取得した位置情報に基づいて、 分割再生データ の再生を行う。
データ再生手段は、 第 1位置情報取得手段の取得した第 1位置情報に基づいて 、 パケットの解析を行う。 すなわち、 第 1位置情報から分割再生デ タにおける 修飾情報を判別し、 分割再生データの再生を行う。
本発明のデータ再生装置では、 パケットのいくつかが伝送途中でロスされた場 合にも、 取得した分割再生データに修飾効果を利用することが可能となる。
付記 2 1に記載のデータ再生装置は、 付記 9に記載のバケツトデータ構造を有 するバケツ卜から再生データを再生するデータ再生装置であって、 第 2位置情報 取得手段と、 データ再生手段とを備えている。 第 2位置情報取得手段は、 分割再 生データが含む分割されたテキストデータである分割テキス卜データのテキスト データにおける位置情報を取得する。 データ再生手段は、 第 2位置情報取得手段 の取得した位置情報に基づいて、 分割再生データの再生を行う。
修飾情報は、 テキストデータの修飾範囲を、 例えば、 バイト単位あるいはテキ スト本文の文字数を単位などとして指定している。 第 2位置情報は、 例えば、 分 割テキストデータのテキストデータにおける開始位置を、 例えば、 バイト単位あ るいはテキスト本文の文字数を単位として表した情報などである。
データ再生手段は、 第 2位置情報取得手段の取得した第 2位置情報に基づいて 、 パケットの解析を行う。 すなわち、 第 2位置情報から修飾が付される分割テキ ストデータの範囲を特定し、 分割テキス卜データの再生を行う。
本発明のデータ再生装置では、 バケツ卜のいくつかが伝送途中でロスされた場 合にも、 取得した分割テキス卜データに修飾効果を利用することが可能となる。 付記 2 2に記載のデータ再生装置は、 付記 1 1に記載のバケツトデータ構造を 有するバケツ卜から再生データを再生するデータ再生装置であって、 修飾タイプ 取得手段と、 データ再生手段とを備えている。 修飾タイプ取得手段は、 修飾タイ プ情報から分割再生データが含む部分修飾情報の修飾タィプを取得する。 データ 再生手段は、 修飾タイプ取得手段の取得した修飾タイプに基づいて、 分割再生デ ータの再生を行う。
部分修飾情報とは、 例えば、 T i m e d T e x tにおけるテキストサンプル のモディファイァなどである。
本発明のデータ再生装置では、 例えば、 再生データの分割により、 分割再生デ ータが部分修飾情報の修飾タイプを示す情報を含まないこととなった場合に、 へ ッダ部の有する修飾タィプ情報を用いて分割再生データの有する部分修飾情報を 利用することができる。
付記 2 3に記載のデータ再生装置は、 付記 1 2に記載のバケツトデータ構造を 有するバケツ卜から再生データを再生するデータ再生装置であって、 第 1単位修 飾情報取得手段と、 データ再生手段とを備えている。 第 1単位修飾情報取得手段 は、 第 3位置情報から第 1単位修飾情報を取得する。 データ再生手段は、 第 1単 位修飾情報取得手段の取得した第 1単位修飾情報に基づいて、 再生データの再生 を行う。
データ再生手段は、 第 1単位修飾情報取得手段の取得した第 1単位修飾情報に 基づいて、 バケツ卜の解析を行う。
本発明のデータ再生装置では、 例えば、 分割再生データが分割された部分修飾 情報を含む場合に、 分割された部分修飾情報のうち第 1単位修飾情報を判別して テキストデータに修飾効果を利用することが可能となる。
付記 2 4に記載のデータ再生装置は、 付記 1 4に記載のパケットデータ構造を 有するバケツ卜から再生データを再生するデータ再生装置であって第 2単位修飾 情報取得手段と、 データ再生手段とを備えている。 第 2単位修飾情報取得手段は 、 第 2単位修飾情報を取得する。 データ再生手段は、 第 2単位修飾情報取得手段 の取得した第 2単位修飾情報に基づいて、 再生データの再生を行う。
データ再生手段は、 第 2単位修飾情報取得手段の取得した第 2単位修飾情報に 基づいて、 バケツ卜の解析を行う。
本発明のデータ再生装置では、 第 2単位修飾情報により、 分割再生データが含 む分割された修飾情報を利用することが可能となる。
付記 2 5に記載のデータ再生装置は、 付記 1 6に記載のバケツトデータ構造を 有するバケツ卜から再生データを再生するデータ再生装置であって、 再生情報判 断手段と、 データ再生手段とを備えている。 再生情報判断手段は、 テキスト存在 情報と再生情報存在情報とに基づいて、 分割再生データの有する分割再生データ 再生情報を判断する。 データ再生手段は、 再生情報判断手段の判断結果に基づい て、 再生データの再生を行う。
分割再生データ再生情報とは、 例えば、 分割再生データが含むテキストデータ の文字コード情報や分割再生データが含む修飾情報を利用するための情報などで める。
分割再生データ再生情報が有する情報の種類は、 テキスト存在情報に依存して いる。 このため、 テキスト存在情報と再生情報存在情報との組み合わせにより、 分割再生データ再生情報が有する情報の種類が判別される。
本発明のデータ再生装置では、 テキスト存在情報と再生情報存在情報との組み 合わせによリ分割再生データ再生情報の有する情報を判別可能となる。
付記 2 6に記載のデータ再生装置は、 付記 1 7に記載のバケツトデータ構造を 有するバケツ卜から再生データを再生するデータ再生装置であって、 分割状況判 断手段と、 再生制御手段とを備えている。 分割状況判断手段は、 テキスト存在情 報と再生情報存在情報と分割再生データ位置情報とに基づいて、 分割再生データ の分割状況を判断する。 再生制御手段は、 分割状況判断手段の判断結果に基づい て、 分割再生データの再生を制御する。
本発明のバケツ卜データ構造では、 分割再生データの分割状況の判別を可能さ せる。 これにより、 再生制御手段は、 分割再生データの再生開始のタイミングを 判断することが可能となる。
[第 6実施形態]
上記各実施形態で示したデータ伝送方法、 データ受信方法、 データ再生方法あ るいはデータ多重方法を実現するためのプログラムを、 フレキシブルディスク等 の記録媒体に記録するようにすることにより、 上記各実施形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図 5 0は、 上記各実施形態のデータ伝送方法、 データ受信方法、 データ再生方 法あるいはデータ多重方法を、 フレキシブルディスク等の記録媒体に記録された プログラムを用いて、 コンピュータシステムにより実施する場合の説明図である 図 5 0 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構造、 及び フレキシブルディスクを示し、 図 5 0 ( a ) は、 記録媒体本体であるフレキシブ ルディスクの物理フォーマツ卜の例を示している。 フレキシブルディスク F Dは ケース F内に内蔵され、 該ディスクの表面には、 同心円状に外周からは内周に向 かって複数のトラック T rが形成され、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従って、 上記プログラムを格納したフレキシブルディスク では、 上記フレキシブルディスク F D上に割り当てられた領域に、 上記プログラ ムが記録されている。
また、 図 5 0 ( G ) は、 フレキシブルディスク F Dに上記プログラムの記録再 生を行うための構成を示す。 データ伝送方法、 データ受信方法、 データ再生方法 あるいはデータ多重方法を実現する上記プログラムをフレキシブルディスク F D に記録する場合は、 コンピュータシステム C sから上記プログラムをフレキシブ ルディスクドライブを介して書き込む。 また、 フレキシブルディスク内のプログ ラムにより上記データ伝送方法、 データ受信方法、 データ再生方法あるいはデー タ多重方法をコンピュータシステム中に構築する場合は、 フレキシブルディスク ドライブによリプログラムをフレキシブルディスクから読み出し、 コンピュータ システムに転送する。
なお、 上記説明では、 記録媒体としてフレキシブルディスクを用いて説明を行つ たが、 光ディスクを用いても同様に行うことができる。 また、 記録媒体はこれに 限らず、 I Cカード、 ROMカセット等、 プログラムを記録できるものであれば 同様に実施することができる。
[第 7実施形態]
さらにここで、 上記実施の形態で示したパケットデータ構造、 データ伝送装置 、 データ受信装置、 データ再生装置およびデータ多重装置の応用例とそれを用い たシステムを説明する。
図 51は、 コンテンツ配信サービスを実現するコンテンツ供給システム ex1 0 0の全体構成を示すブロック図である。 通信サービスの提供エリアを所望の大き さに分割し、 各セル内にそれぞれ固定無線局である基地局 ex 1 07〜ex1 1 0が 設置されている。
このコンテンツ供給システム ex 1 00は、 例えば、 インターネット exl 01に インターネットサービスプロバイダ ex 1 02および電話網 ex 1 04、 および基地 局 exl 07〜ex1 1 0を介して、 コンピュータ exl 1 1、 PDA (personal dig ital assistant) exl 1 2、 カメラ exl 1 3、 携帯電話 ex 1 1 4、 カメラ付きの 携帯電話 ex 1 1 5などの各機器が接続される。
しかし、 コンテンツ供給システム ex 1 00は図 51のような組合せに限定され ず、 いずれかを組み合わせて接続するようにしてもよい。 また、 固定無線局であ る基地局 ex 1 07〜ex1 1 0を介さずに、 各機器が電話網 exl 04に直接接続さ れてもよい。
カメラ exl 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。 ま た、 携帯電話は、 PDC (Personal Digital Communications) 方式、 CDMA (Code Division Multiple Access) 方式、 W-C DMA (Wideband-Code Divis ion Multiple Access) 方式、 若しくは GSM (Global System for Mobile Comm uni cat ions) 方式の携帯電話機、 または PHS (Personal Handyphone System) 等であり、 いずれでも構わない。
また、 ストリーミングサーバ exl 03は、 カメラ ex 1 1 3から基地局 exl 09 、 電話網 ex 104を通じて接続されており、 カメラ ex 1 13を用いてユーザが送 信する符号化処理されたデータに基づいたライブ配信等が可能になる。 撮影した データの符号化処理はカメラ ex 1 13で行っても、 データの送信処理をするサー バ等で行ってもよい。 また、 カメラ 1 16で撮影した動画データはコンピュータ exl 1 1を介してストリーミングサーバ exl 03に送信されてもよい。 カメラ ex 1 16はデジタルカメラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画データの符号化はカメラ ex 1 16で行ってもコンピュータ exl 1 1で行って もどちらでもよい。 また、 符号化処理はコンピュータ exl 1 1やカメラ exl 16 が有する LS I exl 1 7において処理することになる。 なお、 画像符号化■復号 化用のソフトウエアをコンピュータ exl 1 1等で読み取り可能な記録媒体である 何らかの蓄積メディア (CD— ROM、 フレキシブルディスク、 ハードディスク など) に組み込んでもよい。 さらに、 カメラ付きの携帯電話 exl 1 5で動画デー タを送信してもよい。 このときの動画データは携帯電話 exl 1 5が有する LS I で符号化処理されたデータである。
このコンテンツ供給システム ex 100では、 ユーザがカメラ ex 1 13、 カメラ exl 16等で撮影しているコンテンツ (例えば、 音楽ライブを撮影した映像等) 符号化処理してストリーミングサーバ ex 103に送信する一方で、 ストリーミン グサーバ exl 03は要求のあったクライアン卜に対して上記コンテンツデータを ストリーム配信する。 クライアントとしては、 上記符号化処理されたデータを復 号化することが可能な、 コンピュータ exl 1 1、 PD Aex1 12、 カメラ exl 1 3、 携帯電話 exl 14等がある。 このようにすることでコンテンツ供給システム exl 00は、 符号化されたデータをクライアントにおいて受信して再生すること ができ、 さらにクライアントにおいてリアルタイムで受信して復号化し、 再生す ることにより、 個人放送をも実現可能になるシステムである。
ここで、 ストリ一ミングサーバ exl 03は、 本願発明のデータ伝送装置、 デー タ多重装置としての機能も有している。 さらにコンピュータ exl 1 1、 PDAex 1 12、 カメラ ex1.13、 携帯電話 ex 1 14等は、 本願発明のデータ受信装置、 データ再生装置としての機能も有している。 これにより、 ストリーミングサーバ exl 03から MP4ファイル形式で蓄積されたメディアデータをコンピュータ ex 1 1 1、 PDAexl 1 2、 カメラ exl 1 3、 携帯電話 ex 1 1 4等で取得し、 T i me d Te x tをストリーミングにより表示させることが可能となる。
図 52は、 本発明のパケットデータ構造、 データ受信装置、 データ再生装置お よびデータ多重装置を用いた携帯電話 ex 1 1 5を示す図である。 携帯電話 ex 1 1 5は、 基地局 ex 1 1 0との間で電波を送受信するためのアンテナ ex201、 CC Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex203、 カメラ部 ex2 03で撮影した映像、 アンテナ ex201で受信した映像等が復号化されたデータ を表示する液晶ディスプレイ等の表示部 ex 202、 操作キー ex 204群から構成 される本体部、 音声出力をするためのスピーカ等の音声出力部 ex208、 音声入 力をするためのマイク等の音声入力部 ex205、 撮影した動画もしくは静止画の データ、 受信したメールのデータ、 動画のデータもしくは静止画のデータ等、 符 号化されたデータまたは復号化されたデータを保存するための記録メディア ex2 07、 携帯電話 ex1 1 5に記録メディア ex207を装着可能とするためのスロッ 卜部 ex 206を有している。 記録メディア ex207は SD力一ド等のプラスチッ クケース内に電気的に書換えや消去が可能な不揮発性メモリである EE PROM (Electrically Erasable and Programmable Read Only Memory) の一種である フラッシュメモリ素子を格納したものである。
さらに、 携帯電話 ex1 1 5について図 53を用いて説明する。 携帯電話 ex 1 1 5は表示部 ex 202及び操作キー ex 204を備えた本体部の各部を統括的に制御 するようになされた主制御部 ex31 1に対して、 電源回路部 ex31 0、 操作入力 制御部 ex304、 画像符号化部 ex 31 2、 カメラインダーフェース部 ex303、 LCD (Liquid Crystal Display) 制御部 ex302、 画像復号化部 ex309、 多 重分離部 ex308、 記録再生部 ex307、 変復調回路部 ex 306及び音声処理部 ex305、 テキスト復号化部 ex 31 4が同期バス ex 31 3を介して互いに接続さ れている。
電源回路部 ex31 0は、 ユーザの操作により終話及び電源キーがオン状態にさ れると、 バッテリパックから各部に対して電力を供給することによリカメラ付デ イジタル携帯電話 exl 1 5を動作可能な状態に起動する。
携帯電話 ex1 1 5は、 CPU、 ROM及び RAM等でなる主制御部 ex31 1の 制御に基づいて、 音声通話モード時に音声入力部 ex 2 0 5で集音した音声信号を 音声処理部 ex 3 0 5によってディジタル音声データに変換し、 これを変復調回路 部 ex 3 0 6でスぺクトラム拡散処理し、 送受信回路部 ex 3 0 1でディジタルアナ ログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信す る。 また携帯電話機 ex 1 1 5は、 音声通話モード時にアンテナ ex 2 0 1で受信し た受信信号を増幅して周波数変換処理及びアナ口グディジタル変換処理を施し、 変復調回路部 ex 3 0 6でスぺクトラム逆拡散処理し、 音声処理部 ex 3 0 5によつ てアナ口グ音声信号に変換した後、 これを音声出力部 ex 2 0 8を介して出力する さらに、 データ通信モード時に電子メールを送信する場合、 本体部の操作キー ex 2 0 4の操作によって入力された電子メールのテキス卜データは操作入力制御 部 ex 3 0 4を介して主制御部 ex 3 1 1に送出される。 主制御部 ex 3 1 1は、 テキ ストデータを変復調回路部 ex 3 0 6でスぺク トラ厶拡散処理し、 送受信回路部 ex 3 0 1でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1を介して基地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、 カメラ部 ex 2 0 3で撮像さ れた画像データをカメラインタ一フェース部 ex 3 0 3を介して画像符号化部 ex 3 1 2に供給する。 また、 画像データを送信しない場合には、 カメラ部 ex 2 0 3で 撮像した画像データをカメラインターフエース部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に直接表示することも可能である。
画像符号化部 ex 3 1 2は、 カメラ部 ex 2 0 3から供給された画像データを圧縮 符号化することにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8に 送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ部 ex 2 0 3で撮 像中に音声入力部 ex 2 0 5で集音した音声を音声処理部 ex 3 0 5を介してデイジ タルの音声データとして多重分離部 ex 3 0 8に送出する。
多重分離部 ex 3 0 8は、 画像符号化部 ex 3 1 2から供給された符号化画像デー タと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、 その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラ厶拡散処理 し、 送受信回路部 ex 3 0 1でディジタルアナログ変換処理及び周波数変換処理を 施した後にアンテナ ex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータ を受信する場合、 アンテナ ex201を介して基地局 ex1 1 0から受信した受信信 号を変復調回路部 ex306でスぺクトラム逆拡散処理し、 その結果得られる多重 化データを多重分離部 ex308に送出する。
また、 アンテナ ex201を介して受信された多重化データを復号化するには、 多重分離部 ex308は、 多重化データを分離することにより画像データの符号化 ビッ卜ストリームと音声データの符号化ビットストリームとに分け、 同期バス ex 31 3を介して当該符号化画像データを画像復号化部 ex309に供給すると共に 当該音声データを音声処理部 ex305に供給する。 さらに、 MP 4ファイルのう ち、 T i me d T e x t トラックをテキスト復号化部 ex31 4に供給する。 次に、 画像復号化部 ex309は、 画像データの符号化ビットストリームを復号 することによリ再生動画像データを生成し、 これを L C D制御部 ex 302を介し て表示部 ex202に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声処理部 ex 305は、 音声データをアナログ音声信号に変換した後、 これを音声出力部 ex2 08に供給し、 これにより、 例えばホームページにリンクされた動画像ファイル に含まる音声データが再生される。 また、 テキスト復号化部 ex31 4は、 テキス トサンプルを上記実施形態で述べたように再生し、 L C D制御部 ex 302を介し て表示部 ex202に供給し、 再生動画像データと同期的に表示させる。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディジタル放 送が話題となっておリ、 図 54に示すようにディジタル放送用システムにも本発 明のデータ伝送装置、 データ受信装置、 データ多重装置またはデータ再生装置の いずれかを組み込むことができる。
具体的には、 放送局 ex409では映像情報の符号化ビットストリームが電波を 介して通信または放送衛星 ex 41 0に伝送される。 これを受けた放送衛星 ex41 0は、 放送用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテ ナ ex406で受信し、 テレビ (受信機) ex401またはセットトップボックス ( STB) ex 407などの装置により符号化ビットストリ一ムを復号化してこれを 再生する。 また、 記録媒体である GDや DVD等の蓄積メディア ex 4 0 2に記録した 符号化ビットストリームを読み取り、 復号化する再生装置 ex 4 0 3にも本発明の データ受信装置、 データ再生装置を実装することが可能である。 この場合、 再生 された睐像信号およびテキストトラックはモニタ ex 4 0 4に表示される。 また、 ケーブルテレビ用のケーブル ex 4 0 5または衛星 地上波放送のアンテナ ex 4 0 6に接続されたセットトップボックス ex 4 0 7内に本発明のデータ受信装置、 デ ータ再生装置を実装し、 これをテレビのモニタ ex 4 0 8で再生する構成も考えら れる。 このときセットトップボックスではなく、 テレビ内にデータ受信装置、 デ —タ再生装置を組み込んでも良い。 また、 アンテナ ex 4 1 1を有する車 ex 4 1 2 で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、 車 ex 4 1 2が有 するカーナビゲーション ex 4 1 3等の表示装置に動画を再生することも可能であ る。
更に、 画像信号を記録媒体に記録することもできる。 具体例としては、 DVDデ イスク ex 4 2 1に画像信号を記録する DVDレコーダや、 ハードディスクに記録す るディスクレコーダなどのレコーダ ex 4 2 0がある。 更に SDカード ex 4 2 2に記 録することもできる。 レコーダ ex 4 2 0が本発明のデータ再生装置を備えていれ ば、 DVDディスク ex 4 2 1や SDカード ex 4 2 2に記録した画像信号を再生し、 モ ニタ ex 4 0 8で表示することができる。
なお、 カーナビゲ一シヨン ex 4 1 3の構成は例えば図 5 4に示す構成のうち、 カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 3 0 3、 画像符号化部 ex 3 1 2 を除いた構成が考えられ、 同様なことがコンピュータ ex 1 1 1やテレビ (受信機 ) ex 4 0 1等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器■復号化器を両方持つ送受 信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの受信端末の 3通り の実装形式が考えられる。
このように、 上記実施の形態で示したパケットデータ構造、 データ伝送装置、 データ伝送方法、 データ受信装置、 データ受信方法、 データ再生装置およびデー タ多重装置を上述したいずれの機器■システムに用いることは可能であり、 そう することで、 上記実施の形態で説明した効果を得ることができる。 [第 8実施形態]
本発明はかかる上記実施形態に限定されるものではなく、 本発明の範囲を逸脱 することなく種々の変形又は修正が可能である。 また、 上記実施形態で述べた方 法は、 プログラムとしてコンピュータなどにより実現されることも可能である。
(産業上の利用可能性)
本発明にかかる伝送データ構造は、 T i m e d T e x tをストリーミング型 の配信で使用するのに好適な伝送データ構造の提供が求められるテキス卜伝送デ ータ等に適用可能である。

Claims

請 求 の 範 囲
1 .
テキストデータの再生にかかるテキス卜再生用データを転送し、 データ受信装 置に順次再生させるためのテキスト伝送用データの伝送データ構造であって、 前記テキストデータ全体の再生に関わる全体テキストヘッダデータと、 分割された前記テキストデータを含む分割テキストデータと、
前記分割テキス卜データ毎に配置され、 前記分割テキストデータの個々の再生 に関わる分割テキストヘッダデータと、
を備えるテキス卜伝送用データの伝送データ構造。
2 .
前記分割テキストヘッダデータは、 前記分割テキストデータの再生時間に関す る再生時間情報を含んでいる、
請求項 1に記載のテキスト伝送用データの伝送データ構造。
3.
前記分割テキス卜ヘッダデータは、 前記分割テキストデータのデータ長に関す るデータ長情報を含んでいる、
請求項 1または 2に記載のテキスト伝送用データの伝送データ構造。
4.
前記全体テキストヘッダデータは、 前記テキストデータの再生領域に関する情 報を含むテキスト再生情報と、 前記分割テキストデータの書式に関する情報を含 む書式情報とを含んでいる、
請求項 1〜 3のいずれかに記載のテキスト伝送用データの伝送データ構造。
5.
前記全体テキストヘッダデータは、 前記分割テキストヘッダデータのデータ長 をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる、 請求項 4に記載のテキスト伝送用データの伝送データ構造。
6 .
前記分割テキス卜ヘッダデータは、 前記分割テキストデータと前記書式情報と の関連を示すインデックスを含む、
請求項 4または 5に記載のテキスト伝送用データの伝送データ構造。 前記テキス卜伝送用データは、 複数のバケツ卜から構成され、
前記テキスト再生情報は、 前記分割テキストデータおよび前記分割テキス卜へ ッダデータと異なる形式でバケツト化されている、
請求項 4〜 6のいずれかに記載のテキスト伝送用デ一タの伝送データ構造。
8.
前記書式情報は、 前記テキスト再生情報と同じ形式でパケット化されている、 請求項 7に記載のテキス卜伝送用データの伝送データ構造。
9.
前記書式情報は、 前記分割テキストデータおよび前記分割テキス卜ヘッダデー タと同じ形式でバケツト化されている、
請求項 7に記載のテキスト伝送用データの伝送データ構造。
1 0.
前記書式情報は、 複数の書式情報単位を含み、
前記書式情報単位は、 前記分割テキス卜データ毎に配置される、
請求項 9に記載のテキス卜伝送用データの伝送データ構造。
1 1 .
前記テキスト伝送用データは、 多重化データとして伝送されるデータである、 請求項 1 〜 1 0のいずれかに記載のテキス卜伝送用データの伝送データ構造。 1 2.
請求項 1 〜 1 1のいずれかに記載の伝送データ構造を有するテキスト伝送用デ ータを受信する受信ステップと、
前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テ キス卜データと前記分割テキストヘッダデータとに基づいて、 前記分割テキスト データが含む分割された前記テキストデータを順次再生する再生ステップと、 を備えるテキスト伝送用データのデータ受信方法。
1 3. 請求項 1 〜1 1のいずれかに記載の伝送データ構造を有するテキスト伝送用デ ータを受信する受信手段と、
前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テ キストデータと前記分割テキス卜ヘッダデータとに基づいて、 前記分割テキスト データが含む分割された前記テキストデータを順次再生する再生手段と、 を備えるテキスト伝送用データのデータ受信装置。
1 4.
コンピュータにより、 請求項 1 〜 1 1のいずれかに記載の伝送データ構造を有 するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラム であって、
前記データ受信プログラムは、 コンピュータに、
請求項 1 〜 1 1のいずれかに記載の伝送データ構造を有するテキスト伝送用デ ータを受信する受信ステップと、
前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テ キストデータと前記分割テキストヘッダデータとに基づいて、 前記分割テキスト データが含む分割された前記テキストデータを順次再生する再生ステップと、 を備えるデータ受信方法
を、 行わせるものであるデータ受信プログラム。
1 5.
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させる ためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、 前記テキストデータを分割した複数の分割テキ ス卜データと、 分割テキストデータを再生するための情報を含むテキストヘッダ データとを含み、
前記テキスト伝送用データは、 複数のバケツ卜から構成され、
前記分割テキストデータは、 前記各バケツ卜内において表示順に配置され、 前記バケツトは前記各分割テキストデータの再生時刻情報を有し、
第 2のバケツトは、 その前の第 1のバケツ卜の分割テキストデータと再生時刻 情報が重複する分割テキストデータを含んでいる、 テキスト伝送用データの伝送データ構造。
1 6.
前記バケツ卜に含まれる前記分割テキス卜データの個数は、 前記テキスト伝送 用データの伝送のために確保された伝送路帯域とほぼ一致する帯域で前記バケツ 卜が伝送されるような個数として決定される、
請求項 1 5に記載のテキスト伝送用データの伝送データ構造。
1 7.
前記テキスト伝送用データは、 多重化データとして伝送されるデータである、 請求項 1 5または 1 6に記載のテキスト伝送用データの伝送データ構造。
1 8.
請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用 データのデータ受信方法であって、
前記第 1のバケツ卜の各分割テキストデータの再生時刻情報が示す時刻 T nと 、 前記第 2のバケツ卜の最初の分割テキストデータの再生時刻情報が示す時刻 T aとを取得する時刻取得ステップと、
前記第 1のバケツ卜において前記時刻 T nが前記時刻 T aと等しい又は後であ る分割テキストデータを、 前記第 2のバケツ卜において再生時刻情報が重複する 分割テキス卜データに置き換える置換ステップと、
を備えたテキスト伝送用データのデータ受信方法。
1 9.
請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用 データのデータ受信方法であって、
第 1の分割テキス卜データの受信時刻 T dが、 前記第 1の分割テキストデータ の再生時刻情報が示す時刻 T nより遅くかつ次の第 2の分割テキストデータの再 生時刻情報の示す時刻 T n + 1よリ早く受信されたか否かを判断する受信遅延判 断ステップと、
前記判断が肯定的であった場合に、 前記第 1の分割テキストデータを、 前記受 信時刻 T dから前記時刻 T n + 1までの間に再生する再生ステップと、 を備えたテキス卜伝送用データのデータ受信方法。
2 0.
前記再生ステップでは、 前記第 1の分割テキストデータにおいて前記時刻 T n から前記受信時刻 T dまでの時間が経過した時点の再生状態から、 前記第 1の分 割テキストデータの再生を開始する、
請求項 1 9に記載のテキスト伝送用データのデータ受信方法。
2 1 .
請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用 データのデータ受信装置であって、
前記第 1のバケツ卜の各分割テキストデータの再生時刻情報が示す時刻 T nと 、 前記第 2のバケツ卜の最初の分割テキストデータの再生時刻情報が示す時刻 T aとを取得する時刻取得手段と、
前記第 1のバケツ卜において前記時刻 T nが前記時刻 T aと等しい又は後であ る分割テキストデータを、 前記第 2のバケツ卜において再生時刻情報が重複する 分割テキストデータに置き換える置換手段と、
を備えたテキスト伝送用データのデータ受信装置。
2 2.
請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を有するテキスト伝送用 データのデータ受信装置であって、
第 1の分割テキストデータの受信時刻 T dが、 前記第 1の分割テキストデータ の再生時刻情報が示す時刻 T nよリ遅くかつ次の第 2の分割テキストデータの再 生時刻情報の示す時刻 T n + 1よリ早く受信されたか否かを判断する受信遅延判 断手段と、
前記判断が肯定的であった場合に、 前記第 1の分割テキストデータを、 前記受 信時刻 T dから前記時刻 T n + 1までの間に再生する再生手段と、
を備えたテキス卜伝送用データのデータ受信装置。
2 3.
前記再生手段では、 前記第 1の分割テキストデータにおいて前記時刻 T nから 前記受信時刻 T dまでの時間が経過した時点の再生状態から、 前記第 1の分割テ キストデータの再生を開始する、 請求項 2 2に記載のテキス卜伝送用データのデータ受信装置。
2 4.
コンピュータにより、 請求項 1 5〜1 7のいずれかに記載の伝送データ構造を 有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラ ムであって、
前記データ受信プログラムは、 コンピュータに、
前記第 1のバケツ卜の各分割テキストデータの再生時刻情報が示す時刻 T nと
、 前記第 2のバケツ卜の最初の分割テキストデータの再生時刻情報が示す時刻 T aとを取得する時刻取得ステップと、
前記第 1のバケツ卜において前記時刻 T nが前記時刻 T aと等しい又は後であ る分割テキストデータを、 前記第 2のバケツ卜において再生時刻情報が重複する 分割テキストデータに置き換える置換ステップと、
を備えたテキス卜伝送用データのデータ受信方法
を、 行わせるものであるデータ受信プログラム。
2 5.
コンピュータにより、 請求項 1 5〜 1 7のいずれかに記載の伝送データ構造を 有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プロダラ ムであって、
前記データ受信プログラムは、 コンピュータに、
第 1の分割テキス卜データの受信時刻 T dが、 前記第 1の分割テキス卜データ の再生時刻情報が示す時刻 T nより遅くかつ次の第 2の分割テキス卜データの再 生時刻情報の示す時刻 T n + 1よリ早く受信されたか否かを判断する受信遅延判 断ステップと、
前記判断が肯定的であった場合に、 前記第 1の分割テキストデータを、 前記受 信時刻 T dから前記時刻 T n + 1までの間に再生する再生ステップと、
を備えたテキスト伝送用データのデータ受信方法
を、 行わせるものであるデータ受信プログラム。
2 6.
前記再生ステップでは、 前記第 1の分割テキストデータにおいて前記時刻 Τ η から前記受信時刻 T dまでの時間が経過した時点の再生状態から、 前記第 1の 、 割テキス卜データの再生を開始する、
請求項 2 5に記載のデータ受信プログラム。
PCT/JP2003/012702 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム WO2004034654A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP03748700A EP1553733A1 (en) 2002-10-08 2003-10-03 Transmission data structure, data receiving method, data receiving apparatus, and data receiving program
AU2003268755A AU2003268755A1 (en) 2002-10-08 2003-10-03 Transmission data structure, data receiving method, data receiving apparatus, and data receiving program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-295423 2002-10-08
JP2002295423 2002-10-08
JP2003-24613 2003-01-31
JP2003024613 2003-01-31

Publications (1)

Publication Number Publication Date
WO2004034654A1 true WO2004034654A1 (ja) 2004-04-22

Family

ID=32095409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012702 WO2004034654A1 (ja) 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム

Country Status (4)

Country Link
EP (1) EP1553733A1 (ja)
KR (1) KR20050051687A (ja)
AU (1) AU2003268755A1 (ja)
WO (1) WO2004034654A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111483A1 (en) * 2006-03-29 2007-10-04 Samsung Electronics Co., Ltd. A method and system for video data packetization for transmission over wireless channels
KR100848790B1 (ko) * 2006-12-27 2008-07-30 연세대학교 산학협력단 소나무 재선충, 다이플로스캡터 및 예쁜 꼬마선충에 대한살선충제의 고속 스크리닝 방법
US7979784B2 (en) 2006-03-29 2011-07-12 Samsung Electronics Co., Ltd. Method and system for enhancing transmission reliability of video information over wireless channels
US8127206B2 (en) 2007-09-13 2012-02-28 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video having reed-solomon code error concealment
US8176524B2 (en) 2008-04-22 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of video data having partial data compression
US8175041B2 (en) 2006-12-14 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of audiovisual data having data size adaptation
US8205126B2 (en) 2007-11-27 2012-06-19 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video using selective retransmission
US8363675B2 (en) 2006-03-24 2013-01-29 Samsung Electronics Co., Ltd. Method and system for transmission of uncompressed video over wireless communication channels
US8665967B2 (en) 2006-02-15 2014-03-04 Samsung Electronics Co., Ltd. Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114630A1 (en) * 2006-04-03 2007-10-11 Tobesoft Co., Ltd. Data division formation system for client-server and method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08335371A (ja) * 1995-06-08 1996-12-17 Toshiba Corp ストリーム多重装置、ストリーム多重方法及び蓄積メディア
JP2001078146A (ja) * 1999-09-03 2001-03-23 Matsushita Electric Ind Co Ltd 映像復号化方法,及びその装置
JP2003333489A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd データ再生装置およびデータ再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08335371A (ja) * 1995-06-08 1996-12-17 Toshiba Corp ストリーム多重装置、ストリーム多重方法及び蓄積メディア
JP2001078146A (ja) * 1999-09-03 2001-03-23 Matsushita Electric Ind Co Ltd 映像復号化方法,及びその装置
JP2003333489A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd データ再生装置およびデータ再生方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3GPP TS26.234V5.0.0, March 2002 (2002-03-01), pages 56 - 57, XP002979196, Retrieved from the Internet <URL:http://www.3gpporg/ftp/Specs/2002-03/Rel-5/26_series/26234-500.zip> [retrieved on 20021216] *
RTP PAYLOAD FORMAT FOR 3GPP TIMED TEXT, INTERNET DRAFT DRAFT-REY-AVT-3GPP-TIMED-TEXT-01., TXT, September 2003 (2003-09-01), XP002979197, Retrieved from the Internet <URL:http://www.ierf.org/internet-drafts/draft-rey-3gpp-timed-text-01.txt> [retrieved on 20021217] *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665967B2 (en) 2006-02-15 2014-03-04 Samsung Electronics Co., Ltd. Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels
US8363675B2 (en) 2006-03-24 2013-01-29 Samsung Electronics Co., Ltd. Method and system for transmission of uncompressed video over wireless communication channels
WO2007111483A1 (en) * 2006-03-29 2007-10-04 Samsung Electronics Co., Ltd. A method and system for video data packetization for transmission over wireless channels
US7979784B2 (en) 2006-03-29 2011-07-12 Samsung Electronics Co., Ltd. Method and system for enhancing transmission reliability of video information over wireless channels
US8175041B2 (en) 2006-12-14 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of audiovisual data having data size adaptation
KR100848790B1 (ko) * 2006-12-27 2008-07-30 연세대학교 산학협력단 소나무 재선충, 다이플로스캡터 및 예쁜 꼬마선충에 대한살선충제의 고속 스크리닝 방법
US8127206B2 (en) 2007-09-13 2012-02-28 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video having reed-solomon code error concealment
US8205126B2 (en) 2007-11-27 2012-06-19 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video using selective retransmission
US8176524B2 (en) 2008-04-22 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of video data having partial data compression

Also Published As

Publication number Publication date
KR20050051687A (ko) 2005-06-01
AU2003268755A1 (en) 2004-05-04
EP1553733A1 (en) 2005-07-13

Similar Documents

Publication Publication Date Title
US20170111414A1 (en) Video playing method and device
US8756334B2 (en) Moving image reproducing apparatus and method
EP3167621B1 (en) Error handling for files exchanged over a network
US7558296B2 (en) Multiplexer and demultiplexer
CN107251521B (zh) 用于在通信系统中发送和接收媒体信息的方法
CN105916058A (zh) 一种流媒体缓冲播放方法、装置及显示设备
JP2006166453A (ja) ネットワークを通じてマルチメディアコンテンツを伝送する装置及び方法
EP1758402A1 (en) Mobile Terminal MP4 download with segmentation and reassembly due to limited memory.
CN110870282B (zh) 使用网络内容的文件轨处理媒体数据
CN105379290B (zh) 发送方法、接收方法、发送装置及接收装置
CN107079174B (zh) 流拼接器、音频编码器/解码器、拼接方法、音频编码/解码方法和计算机存储介质
JP2011114444A (ja) 情報処理装置,情報生成方法,およびプログラム
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
WO2004034654A1 (ja) 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム
KR20160106150A (ko) 완벽 스플라이싱을 위한 인코딩된 오디오의 전송 스트림에의 삽입
US20050105555A1 (en) Data processing method and apparatus, and data distribution method and information processing apparatus
JP3836077B2 (ja) 伝送データ構造及びそれを伝送するための方法並びに装置
JP4214816B2 (ja) メディア情報処理方法
KR20100008006A (ko) 트랜스포트 스트림으로부터 프로그램 스트림으로의 변환
US8718131B2 (en) Method and apparatus for generating and processing packet in MPEG-2 transport stream
US9245528B2 (en) Communication system, method, and apparatus
JP2004254281A (ja) 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム
CN110753259B (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质
WO2003092285A1 (fr) Dispositif de demultiplexage
KR102046903B1 (ko) Mmt 페이로드 헤더 구성 장치 및 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057006101

Country of ref document: KR

Ref document number: 20038A11253

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003748700

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057006101

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003748700

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2003748700

Country of ref document: EP