WO2013018517A1 - ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体 - Google Patents

ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体 Download PDF

Info

Publication number
WO2013018517A1
WO2013018517A1 PCT/JP2012/067719 JP2012067719W WO2013018517A1 WO 2013018517 A1 WO2013018517 A1 WO 2013018517A1 JP 2012067719 W JP2012067719 W JP 2012067719W WO 2013018517 A1 WO2013018517 A1 WO 2013018517A1
Authority
WO
WIPO (PCT)
Prior art keywords
fragment
document instance
ttml
stored
movie
Prior art date
Application number
PCT/JP2012/067719
Other languages
English (en)
French (fr)
Inventor
山岸　靖明
北里　直久
義治 出葉
高林　和彦
平林　光浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2013526799A priority Critical patent/JP6062363B2/ja
Priority to RU2014102004A priority patent/RU2618373C2/ru
Priority to KR1020147001308A priority patent/KR102023788B1/ko
Priority to IN513CHN2014 priority patent/IN2014CN00513A/en
Priority to BR112014001577A priority patent/BR112014001577A8/pt
Priority to CN201280036267.5A priority patent/CN103688532B/zh
Priority to EP20120819663 priority patent/EP2739047A4/en
Publication of WO2013018517A1 publication Critical patent/WO2013018517A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Definitions

  • the present technology relates to a streaming distribution apparatus and method, a streaming reception apparatus and method, a streaming system, a program, and a recording medium, and in particular, a streaming distribution apparatus and a streaming distribution apparatus capable of reducing a processing load related to subtitle display in streaming
  • the present invention relates to a method, a streaming receiving apparatus and method, a streaming system, a program, and a recording medium.
  • TTML TimedText MarkUp Language
  • W3C World Wide Web Consortium
  • TTML is mainly classified into two types according to the classification of document instances.
  • One is a document instance called “Initialization Document instance”, for example, an instance configured by a description that specifies the color, font, display position, and the like of a character displayed as a subtitle.
  • the other one is a document instance called “Body Document instance”, which is an instance configured by a description such as a character string actually displayed as a subtitle.
  • the character string described in “Body Document instance” can be displayed one after another according to the color, font, display position, etc. of the character described in “Initialization Document instance”.
  • the receiver that receives and displays the stream first analyzes "Initialization Document instance" to identify the character color, font, display position, etc., and then analyzes "Body Document instance".
  • the character string obtained in this way can be displayed. That is, since it is not necessary to analyze the rendering context, which is definition information such as the character color, font, and display position, at the receiver, the processing load related to the display of the subtitle can be reduced.
  • the subtitle character strings cannot be determined in advance. Therefore, it is necessary to insert a subtitle character string every time during broadcasting (streaming). In such a case, it is desirable that after receiving the TTML “Initialization Document instance” and analyzing the rendering context, the “Body Document instance” is received each time.
  • rendering context is desired to be changed according to the content of the character string displayed as the subtitle (sentence to be emphasized, emotion expression that expresses surprise or confusion).
  • the rendering context is also possible to previously define a plurality of types of rendering contexts using the “Initialization Document instance” of TTML, and then specify the rendering context used in the “Body Document instance”.
  • the MP4 file format does not stipulate the method of storing the TTML instance types separately, the receiver cannot identify the TTML instance type. For this reason, when displaying a subtitle in Internet streaming such as IPTV, it has been expected to reduce the processing load related to the analysis of the rendering context.
  • the present technology is disclosed in view of such a situation, and can reduce the processing load related to the display of subtitles in streaming.
  • a first aspect of the present technology is a fragment in which data of content to be streamed is stored, a content fragment generation unit that generates a fragment defined by the MP4 file format, and a subtitle displayed in the content
  • a subtitle fragment generation unit that generates a fragment in which a TTML (TimedText MarkUp Language) document instance is stored and generates a fragment defined by the MP4 file format.
  • the subtitle fragment generation unit includes the fragment header information Whether the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle.
  • a streaming delivery device for adding an instance classification identification information for identifying the.
  • the subtitle fragment generation unit may store, in the fragment, a sample in which the TTML document instance is described together with description content identification information for individually identifying the description content of the TTML document instance related to the subtitle. .
  • a movie header generation unit for adding fragment classification identification information indicating that the movie includes a fragment in which the TTML document instance is stored can be further provided.
  • the content fragment generation unit is a fragment in which data of content to be streamed is stored and generates a fragment defined by the MP4 file format
  • the subtitle fragment generation unit A fragment in which a TTML (TimedText MarkUp Language) document instance related to the subtitle displayed in the content is stored, and a fragment defined by the MP4 file format is generated, and the subtitle fragment generator generates the fragment header information.
  • TTML TimedText MarkUp Language
  • the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle.
  • Instance segment identification information for identifying is a streaming delivery method is added.
  • a content fragment generation unit that generates a fragment in which data of content to be streamed is stored and is defined by the MP4 file format, and is displayed on the content.
  • a subtitle fragment generation unit that generates a fragment defined by the MP4 file format, in which a TTML (TimedText MarkUp Language) document instance related to the subtitle is stored.
  • a TTML document instance in which the TTML document instance stored in the fragment specifies a rendering context related to the subtitle.
  • a program to function as streaming device that adds an instance classification identification information for identifying whether the Nsu.
  • a TTML TimedText
  • MarkUp Language is a fragment in which a document instance is stored, and a fragment defined by the MP4 file format is generated.
  • the TTML document instance stored in the fragment is a rendering context related to the subtitle.
  • Instance classification identification information for identifying whether or not a TTML document instance is designated.
  • a second aspect of the present invention is a fragment defined by the MP4 file format, a movie receiving unit for receiving movie data composed of a plurality of fragments, and the movie added to the movie header information.
  • TTML for determining whether the movie contains a fragment containing the TTML document instance based on fragment classification identification information indicating that the fragment containing the TTML (TimedText MarkUp Language) document instance is contained
  • TTML decode that extracts and decodes the fragment in which the TTML document instance is stored when it is determined that the fragment in which the TTML document instance is stored is included in the movie
  • a streaming receiving device comprising a and.
  • the TTML decoding unit includes instance classification identification information for identifying whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, which is included in header information of the fragment.
  • the TTML document instance segment stored in the fragment can be identified and decoded.
  • the TTML decoding unit includes instance classification identification information for identifying whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, included in the fragment header information
  • a class of the TTML document instance stored in the fragment is identified, and the TTML document instance stored in the fragment is identified as a TTML document instance that specifies a rendering context related to the subtitle.
  • a description that individually identifies the description content of the TTML document instance related to the subtitle in the sample stored in the fragment Based on the contents identification information, it can be made to comprise a determining decoding judgment unit whether to decode the TTML document instance.
  • the TTML decoding unit When it is determined that the fragment containing the TTML document instance is included in the movie, the TTML decoding unit specifies that the TTML document instance included in the fragment classification identification information specifies a rendering context related to the subtitle. You can try to decode the instance.
  • the movie receiving unit is a fragment defined by the MP4 file format, receives movie data composed of a plurality of fragments, and the TTML judging unit adds to the header information of the movie. And determining whether or not the movie includes a fragment in which the TTML document instance is stored based on fragment classification identification information indicating that the movie includes a fragment in which the TTML document instance is stored.
  • the streaming reception unit extracts and decodes the fragment in which the TTML document instance is stored. It is a method.
  • a computer is a fragment defined by the MP4 file format, and is added to a movie receiving unit that receives movie data composed of a plurality of fragments, and the movie header information.
  • a TTML determination unit that determines whether the movie includes a fragment in which the TTML document instance is stored based on fragment classification identification information indicating that the fragment in which the TTML document instance is stored is included in the movie
  • a TTML decoding unit that extracts and decodes the fragment in which the TTML document instance is stored when it is determined that the fragment in which the TTML document instance is stored is included in the movie.
  • the TTML document is a fragment defined by the MP4 file format, the movie data including a plurality of fragments being received and added to the movie header information. Based on the fragment classification identification information indicating that the fragment in which the instance is stored is included, it is determined whether or not the fragment in which the TTML document instance is stored is included in the movie, and the TTML document instance is included in the movie. If it is determined that the stored fragment is included, the fragment storing the TTML document instance is extracted and decoded.
  • a third aspect of the present invention is a fragment in which data of content to be streamed is stored, a content fragment generation unit that generates a fragment defined by the MP4 file format, and a subtitle displayed in the content
  • a subtitle fragment generation unit that generates a fragment in which a TTML (TimedText MarkUp Language) document instance is stored and generates a fragment defined by the MP4 file format.
  • the subtitle fragment generation unit includes the fragment header information Whether the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle.
  • a streaming distribution device for adding instance classification identification information for identifying a movie
  • a movie receiver for receiving movie data consisting of a plurality of fragments defined by the MP4 file format, and adding to the header information of the movie And determining whether or not the movie includes a fragment in which the TTML document instance is stored, based on fragment classification identification information indicating that the movie includes a fragment in which the TTML document instance is stored.
  • the fragment in which the TTML document instance is stored is extracted.
  • a streaming system comprising a streaming receiving device and a TTML decoding unit for over de.
  • a TTML TimedText
  • MarkUp Language is a fragment in which a document instance is stored, and a fragment defined by the MP4 file format is generated.
  • the TTML document instance stored in the fragment is a rendering context related to the subtitle.
  • Instance classification identification information for identifying whether or not a TTML document instance is designated.
  • a fragment defined by the MP4 file format wherein a movie data including a plurality of fragments is received and added to the movie header information, and the movie contains the fragment containing the TTML document instance. It is determined whether or not the movie contains a fragment in which the TTML document instance is stored based on fragment classification identification information indicating that the movie contains a fragment in which the TTML document instance is stored. If determined, the fragment storing the TTML document instance is extracted and decoded.
  • FIG. 16 is a block diagram illustrating a configuration example of a personal computer.
  • TTML TimedText MarkUp Language
  • W3C The World World Wide Web Consortium
  • TTML is a markup language defined by W3C (The World World Wide Web Consortium), and can specify a display position (layout) of text, a display timing, and the like.
  • a predetermined character string is displayed in a specified area in a specified typeface at a specified time on a client display. Can be made. If information described in TTML is used in this way, for example, it is possible to easily display subtitles in synchronization with content images and sounds.
  • TTML is composed of a collection of texts called document instances, and document instances are mainly classified into two types.
  • the other one is a document instance called “Body Document instance”, which is an instance configured by a description such as a character string actually displayed as a subtitle.
  • FIG. 1 is a diagram illustrating the configuration of TTML.
  • the instance 21 shown in the figure is “Initialization Document instance”.
  • tags “head”, “styling”, “layout”,... are described.
  • the “styling” and “layout” tags specify the rendering context such as the color, font, and display position of the character displayed as the subtitle.
  • style “ s1 ”
  • the instance 22 in FIG. 1 is “Body Document instance”.
  • tags “body”, “div”, “p”,... are described.
  • the TTML is a description having a hierarchical structure formed by a combination of the instance 21 and the instance 22.
  • a hierarchical structure including a combination of the instance 21 and the instance 22 is shown.
  • a receiver that receives and displays a stream can receive and analyze the TTML shown in FIG. 1 to display a predetermined character string in a predetermined time zone in the content. That is, on the display of the receiver, the display of the subtitle is appropriately changed based on the character string designated by the tag “p” of the instance 22, the display start time, and the display end time.
  • the character string F1, the character string F2,... Specified by the tag “p” of the instance 22 are switched and displayed as time passes.
  • TTML Timed Text Markup Language
  • the MP file format is a file format having a high degree of freedom, and is defined such that data of various sizes called “BOX” are collected to form an MP4 file. There are various types of “BOX”, and you can increase it freely.
  • Fig. 2 shows the structure of "BOX” in the MP4 file format.
  • the size and type (kind) of the “BOX” are described in the areas displayed as “Box Size” and “Box Type”.
  • Box Data for example, encoded video data, audio data, subtitle data, and the like are stored.
  • the above-mentioned “BOX” has a hierarchical structure. That is, as shown in FIG. 3, the lower-layer “BOX” can be stored in the upper-layer “BOX” area “Box ⁇ Data ”.
  • unit data of transmitted content such as a unit of decoding audio data and one frame of video data is referred to as “Sample”.
  • a plurality of “Samples” constitute a “Chunk”.
  • streaming is constituted by “Chunk” of audio (audio) and “Chunk” of video (video).
  • a collection of “Chunk” of a series of videos and a collection of “Chunk” of a series of audio are referred to as “Track”.
  • Data obtained by integrating a plurality of tracks is referred to as “Movie”.
  • FIG. 5 is a diagram for explaining the configuration of “Movie”.
  • one “Movie” is composed of “Track” of video and “Track” of audio.
  • FIG. 6 is a diagram for explaining the “BOX” structure in “Movie”.
  • “Moive Metadata box” and “Movie Data box” are stored in “BOX” of “Movie”.
  • “Movie” is roughly classified into two types. One is called “Non-fragment Movie” and is suitable for transmission of contents such as movies and dramas, for example. The other is called “Fragmented Movie” and is suitable for transmission of live content such as news and sports broadcasts.
  • FIG. 7 is a diagram for explaining the configuration of “Non-fragment Movie”.
  • “BOX” called “File Type (ftyp)” is arranged at the top of “Non-fragment Movie”.
  • “File Type (ftyp)” is a “BOX” in which file type, compatibility information, and the like are stored.
  • “moov” describes codec parameters, storage position information, reproduction time information, and the like.
  • “Moov” is so-called header information in the entire “Movie”.
  • “mdat” stores “Sample” including a decoding unit of audio data, one frame of video data, and the like.
  • FIG. 8 is a diagram for explaining the configuration of “Fragmented Movie”.
  • “Fragmented Movie” is arranged with “ftyp” and “moov” as in the case of “Non-fragment Movie”. After that, “Fragmented Movie” is called “Fragment”. Multiple BOXes are arranged. “Fragment” is composed of “BOX” called “Movie Fragment (moof)” and “mdat”.
  • each “Fragment” is provided with “moof”, and “moof” is the header information of “Fragment”.
  • “moof” storage position information, playback time information, and the like regarding “Sample” of “mdat” stored in “Fragment” are described. That is, in “Fragmented Movie”, unlike “Non-fragment Movie”, the rendering context of each “Fragment” is defined for each “Fragment”.
  • “Movie Fragment RandomAccess (mfra)” shown in FIG. 8 is a “BOX” inserted at the end of “Fragmented Movie”, and stores random access information and the like.
  • FIGS. 7 and 8 show the configuration of “Movie” as an MP4 file format.
  • “moov” shown in FIG. 8 is inserted between “Fragments” and repeatedly delivered a plurality of times.
  • subtitles subtitles
  • TTML is often used, and attention is paid to the standardization of streaming.
  • the character string of the subtitle cannot be determined in advance. Therefore, it is necessary to insert a subtitle character string every time during broadcasting (streaming). In such a case, for example, it is desirable to cause the receiver to receive “Initialization Document instance” of TTML and analyze the rendering context, and then receive “Body Document instance” each time.
  • the rendering context may be changed depending on the content of a character string displayed as a subtitle (sentence to be emphasized, emotion expression expressing surprise or confusion, etc.) within the same content.
  • the receiver cannot identify the TTML instance type.
  • the rendering context has to be analyzed along with the character string to be displayed as the subtitle.
  • it has been expected to reduce the processing load related to the analysis of the rendering context.
  • the type of TTML instance can be classified and stored using the MP4 file format as follows.
  • This technology is premised on being applied when subtitles are inserted in content transmitted as “Fragmented Movie”. Then, a TTML document instance is stored and transmitted as “Sample” of “mdat” in “Fragment”. That is, in order to display the subtitle inserted in the content to be streamed, the instance 21 or the instance 22 in FIG. 1 is appropriately stored as “Sample” of “mdat” in “Fragment”. Become.
  • FIG. 9 is a diagram illustrating the configuration of “moov” “BOX”.
  • “BOX” has a hierarchical structure, and “BOX” called “stsd” is provided as “BOX” in the lower hierarchy of “BOX” of “moov” (“ moov.trak.mdia.minf.stbl.stsd ").
  • Stsd is a “BOX” for storing header information for reproducing track data.
  • TTML document instance stored as “Sample” of “mdat” in the “Fragment” is changed to “Initialization Document”. It is possible to identify whether it is “instance” or “Body Document instance”.
  • a “BOX” called “ttsd” will be newly provided as a “BOX” in the lower hierarchy of “BOX” called “traf” of “BOX” of “moof”.
  • initFlag of “ttsd” is described as “true”
  • it represents that the TTML document instance stored in the “Fragment” is “Initialization Document instance”.
  • initFlag of “ttsd” is described as “false”
  • the TTML document instance stored in the “Fragment” is “Body Document instance”.
  • FIG. 10 is a diagram showing a configuration of “BOX” of “moof” when the TTML document instance stored in “Fragment” is “Initialization Document instance”. As shown in the figure, “traf” exists in a layer below “moof”, and “ttsd” is provided as a “BOX” in the layer below that. Then, “initFlag:“ true ”” is described as information stored in “ttsd”.
  • FIG. 11 is a diagram showing a configuration of “BOX” of “moof” when the TTML document instance stored in “Fragment” is “Body Document instance”. As shown in the figure, “traf” exists in a layer below “moof”, and “ttsd” is provided as a “BOX” in the layer below that. Then, “initFlag:“ false ”” is described as information stored in “ttsd”.
  • the present technology enables the receiver to determine whether or not the description content of the transmitted TTML document instance has been changed (updated).
  • the description format of “Sample” of “mdat” when a TTML document instance is stored is defined as shown in FIG. 12, for example.
  • a field of “unsined id (16) document-id;” shown in FIG. 12 is newly provided.
  • an identifier for identifying the TTML document instance described in the “Sample” is described. This identifier is, for example, an ID or version assigned to each document instance.
  • the receiver can determine whether or not the document instance has been changed.
  • the receiver can determine whether or not the description content of the transmitted TTML document instance has been changed (updated).
  • ttml is provided as a new 4CC (four_character_code) described in “sampleEntry” of “stsd” of “moov”. Then, by referring to the description of “stsd” of “moov”, it is possible to identify that a TTML document instance is stored in “Fragment”.
  • ttsd is provided as “BOX” in the hierarchy below “moof” of each “Fragment”. Then, “initFlag:“ true ”” or “initFlag:“ false ”” is described as information stored in “ttsd”, and the TTML stored in the “Fragment” is “Initialization Document instance”. Or “Body Document instance”.
  • the TTML document instance when the TTML document instance is transmitted using the MP4 file format, the type of the TTML instance can be classified and stored, and the update of the description content can be easily identified. Therefore, according to the present technology, for example, it is possible to reduce a processing load related to display of a subtitle in streaming such as IPTV.
  • FIG. 13 is a block diagram illustrating a configuration example of a streaming system according to an embodiment of the present technology.
  • a streaming system 100 shown in FIG. 1 includes a TT (TimedText) server 121, an IPTV server 122, and an IPTV client 123.
  • TT TimedText
  • the IPTV server 122 in the figure is configured as a transmitter that broadcasts content, for example, and the IPTV client 123 is configured as a receiver that receives streaming broadcast.
  • the TT server 121 is, for example, a device that generates data related to a subtitle inserted into content that is streamed.
  • the TT server 121 includes a TT (TimedText) fragment generation unit 141 and a sample insertion unit 142.
  • the TT fragment generator 141 describes “ttml” of 4CC in “sampleEntry” of “stsd” of “moov”, and “text” in “HandlerType” of “moov.trak.mdia.hdlr” To do. (This process is less frequent than the generation of “Fragment”, which will be described later.)
  • the TT fragment generation unit 141 also stores the “Fragment” in which the TTML document instance described above with reference to FIG. 8 is stored. Generate data. At this time, the TT fragment generation unit 141 provides “ttsd” as “BOX” in the lower hierarchy of “moof”. Then, the TT fragment generation unit 141 describes “initFlag:“ true ”” or “initFlag:“ false ”” as information stored in “ttsd” according to the type of document instance to be generated.
  • the sample insertion unit 142 generates a TTML document instance and inserts a TTML document instance as “Sample” of “mdat” in “Fragment” generated by the TT fragment generation unit 141.
  • the sample insertion unit 142 provides a field of “unsined id (16) document-id;” as described above with reference to FIG. Then, the sample insertion unit 142 describes an identifier for identifying the TTML document instance described in the “Sample” in the “unsined id (16) document-id;” field. When the document instance is changed, the identifier is also changed.
  • time stamp generated by the NTP synchronized time stamp generating unit 151 is appropriately supplied to the TT fragment generating unit 141 and the sample inserting unit 142.
  • the IPTV server 122 includes a content sample generation unit 161, a fragment multiplexer 162, and a fragment distribution unit 163.
  • the content sample generation unit 161 generates audio data, video data, and the like by encoding audio data, image data, and the like constituting the content, for example. Then, the content sample generation unit 161 generates “Sample” data based on the audio data, video data, and the like.
  • the fragment multiplexer 162 generates “Fragment” in which “Sample” data generated by the content sample generation unit 161 is stored in “mdat”. Then, the fragment multiplexer 162 multiplexes the “Fragment” generated by the TT server 121 and the “Fragment” generated by itself. That is, “Fragment” storing audio data, video data and the like and “Fragment” storing TTML document instances are multiplexed.
  • the fragment distribution unit 163 distributes “Fragmented Movie” configured by “Fragment” multiplexed by the fragment multiplexer 162 via a network or the like. As a result, the content is streamed.
  • the time stamp generated by the NTP synchronized time stamp generation unit 151 is appropriately supplied to the content sample generation unit 161 and the fragment multiplexer 162.
  • the IPTV client 123 includes a timer unit 181, a fragment demultiplexer 182, a TT (TimedText) decoder 183, a content decoder 184, and a display control unit 185.
  • a timer unit 181 a fragment demultiplexer 182
  • a TT (TimedText) decoder 183 a content decoder 184
  • a display control unit 185 a display control unit 185.
  • Time measuring unit 181 supplies time information synchronized with NTP to each unit.
  • the fragment demultiplexer 182 receives “Fragmented Movie” transmitted from the IPTV server 122 via a network or the like, and extracts each “Fragment” that constitutes “Fragmented ⁇ Movie ”. Then, the fragment demultiplexer 182 analyzes the description of “sampleEntry” of “stsd” of “moov”, and whether or not “Fragment” storing a TTML document instance exists in the “FragmentedragMovie”. Determine whether. That is, if the description of “sampleEntry” of “stsd” of “moov” is “ttml”, it is determined that “Fragment” in which “TTrag document instance” is stored in “Fragmented Movie”.
  • the fragment demultiplexer 182 checks “ttsd” of “moof” of each “Fragment”, and the TTML document is stored in the “Fragment”. Determine whether the instance is stored. That is, “Fragment” in which “ttsd” is provided below “moof” is determined as “Fragment” in which a TTML document instance is stored, and is supplied to the TT decoder 183.
  • “Fragment” in which “ttsd” is not provided in “moof” is determined as “Fragment” (“Fragment” such as audio data and video data) in which no TTML document instance is stored, and the content decoder 184 To be supplied.
  • the TT decoder 183 is a functional block that decodes the data of “Sample” in which a TTML document instance is stored.
  • the decoding in the TT decoder 183 mainly means syntax analysis of the TTML document instance.
  • the TT decoder 183 determines the type of the TTML document instance stored in the “Fragment” based on the description of “ttsd” of “moof” of each “Fragment”. That is, when the description of “ttsd” is “initFlag:“ true ””, it is determined that “Initialization Document instance” is stored in the “Fragment”. On the other hand, when the description of “ttsd” is “initFlag:“ false ””, it is determined that “Body Document instance” is stored in the “Fragment”.
  • the TT decoder 183 When it is determined that “Initialization Document instance” is stored, the TT decoder 183 describes in the “unsined id (16) document-id;” field of “Sample” of “mdat” in “Fragment”. Stored identifiers. The TT decoder 183 analyzes the description of “Initialization Document instance” stored in “Sample” of “mdat”, and sets a rendering context.
  • the TT decoder 183 compares the identifier described in the “unsined id (16) document-id;” field with the identifier stored in advance, and whether or not “Initialization Document instance” has been changed. Determine.
  • the TT decoder 183 analyzes the description of “Initialization Document instance” stored in “Sample” of “mdat” only when it is determined that the “Initialization Document instance” has changed, and renders the context. Has been made to set again.
  • TT decoder 183 analyzes “Body Document instance” stored in “Sample” of “mdat”, and displays the display data of the subtitle. Generate.
  • the display data of the subtitle generated here is supplied to the display control unit 185 together with information related to the display time.
  • the content decoder 184 decodes audio data, video data, and the like stored in “Sample” of “mdat”, and generates image display data, audio output data, and the like.
  • the image display data, audio output data, and the like generated here are supplied to the display control unit 185 together with information related to the display time, output time, and the like.
  • the display control unit 185 generates an image signal for superimposing and displaying the subtitle on the content image based on information related to the display time, and supplies the image signal to a display (not shown). Further, the display control unit 185 generates an audio signal for outputting the audio of the content based on information related to the output time and supplies the audio signal to a speaker (not shown).
  • Such a streaming system 100 can control, for example, display of the following subtitles.
  • a TTML document instance as shown in FIG. 14 is stored in “Fragment” by the TT server 121 and distributed from the IPTV server 122.
  • FIG. 14 is an example of the description of “Initialization Document instance”.
  • the TT server 121 stores the TTML document instance as shown in FIG. 15 in “Fragment” and distributes it from the IPTV server 122.
  • FIG. 15 is an example of the description of “Body Document instance”.
  • the TT server 121 stores a TTML document instance as shown in FIG. 17 in “Fragment” and distributes it from the IPTV server 122.
  • FIG. 17 is another example of the description of “Body Document instance”.
  • the character string specified by the tag “ ⁇ p>” of “Body Document instance” is the subtitle character string.
  • time is specified in the tag of “ ⁇ p>”
  • the character string is displayed according to the time specification, and when there is no time specification or only the display duration (duration) is specified Is controlled so that the display is started at the playback time specified as “decodingTime” of the “Sample”.
  • a TTML document instance stored as “Sample” of “mdat” of each “Fragment” of Fragment 0, Fragment 1, and Fragment 2 is analyzed and a subtitle is displayed.
  • the rendering context is set based on the Init instance stored in Sample 0 of Fragment 0 mdat 0.
  • a subtitle as shown in FIG. 16 is displayed based on Body 1 instance 1 stored in Sample 1 of mdat1 of Fragment1.
  • a subtitle as shown in FIG. 18 is displayed based on Body 2 instance 2 stored in Sample 2 of mdat2 of Fragment2.
  • the time t1 and the time t2 described above are the first “Sample” stored in the first mdat corresponding to the moof described in moof.trak.mdia.minf.stbl.stts or moof.traf.tfdt. "Decoding time”.
  • the presentation time of “Sample” of the MP4 file in which the document instance is stored is used.
  • step S21 the IPTV server 122 acquires content data. At this time, for example, audio data, image data, and the like constituting the content are acquired.
  • step S22 the content sample generation unit 161 encodes audio data, image data, and the like constituting the content to generate audio data, video data, and the like. Then, the content sample generation unit 161 generates “Sample” data based on the audio data, video data, and the like.
  • step S23 the fragment multiplexer 162 generates “Fragment” in which the data of “Sample” generated in step S22 is stored in “mdat”.
  • step S24 the TT server 121 executes a subtitle data insertion process to be described later with reference to FIG. As a result, the data related to the subtitle is inserted into the content data to be distributed by streaming.
  • step S41 a TTML sentence is generated.
  • step S42 the TT fragment generation unit 141 describes “ttml” of 4CC in “sampleEntry” of “stsd” of “moov”, and “HandlerType” of “moov.trak.mdia.hdlr” Write “text”. (This process is less frequent than the generation of “Fragment” described later.) Further, the TT fragment generation unit 141 generates “Fragment” data in which a TTML document instance is stored. At this time, the TT fragment generation unit 141 provides “ttsd” as “BOX” in the lower hierarchy of “moof”. Then, the TT fragment generation unit 141 describes “initFlag:“ true ”” or “initFlag:“ false ”” as information stored in “ttsd” according to the type of document instance to be generated.
  • step S43 the sample insertion unit 142 generates a TTML document instance based on the TTML sentence generated in step S41, and “Sample” of “mdat” in “Fragment” generated in step S42.
  • TTML document instance is inserted as follows.
  • the sample insertion unit 142 provides a field of “unsined id (16) document-id;” as described above with reference to FIG. Then, the sample insertion unit 142 describes an identifier for identifying the type of the TTML document instance described in the “Sample” in the “unsined id (16) document-id;” field. When the document instance is changed, the identifier is also changed.
  • step S44 the sample insertion unit 142 outputs “Fragment” in which the TTML document instance is inserted by the processing in step S43.
  • the “Fragment” is supplied to the fragment multiplexer 162 of the IPTV server 122.
  • time stamp generated by the NTP synchronized time stamp generating unit 151 is appropriately supplied to the TT fragment generating unit 141 and the sample inserting unit 142.
  • the fragment multiplexer 162 receives the “Fragment” generated by the process of step S41 of FIG. 21 and the “Fragment” generated by the process of step S23. Multiplex. That is, “Fragment” storing audio data, video data and the like and “Fragment” storing TTML document instances are multiplexed.
  • step S26 the fragment multiplexer 162 generates “Fragmented Movie” data.
  • step S27 the fragment distribution unit 163 distributes “Fragmented Movie” generated in the process of step S26 via a network or the like.
  • step S61 the fragment demultiplexer 182 of the IPTV client 123 receives “Fragmented Movie” distributed in the process of step S27 of FIG.
  • step S62 the fragment demultiplexer 182 analyzes the description of “sampleEntry” of “stsd” of “moov” of “Fragmented Movie” received in step S61.
  • step S63 the fragment demultiplexer 182 extracts each “Fragment” constituting the “Fragmented Movie” received in step S61.
  • step S64 the fragment demultiplexer 182 determines whether or not “Fragment” in which the TTML document instance is stored exists in the “Fragmented Movie” based on the analysis result in the process of step S62. To do. At this time, if the description of “sampleEntry” of “stsd” of “moov” is “ttml”, it is determined that “Fragment” in which the TTML document instance is stored exists in the “Fragmented Movie”. .
  • step S64 If it is determined in step S64 that “Fragmented Movie” contains “Fragment” in which a TTML document instance is stored, the process proceeds to step S65.
  • step S65 the fragment demultiplexer 182 and the TT decoder 183 execute a TT decoding process to be described later with reference to the flowchart of FIG.
  • step S81 the fragment demultiplexer 182 checks “ttsd” of “moof” of each “Fragment”.
  • step S82 the fragment demultiplexer 182 determines whether or not a TTML document instance is stored in the “Fragment”. At this time, “Fragment” in which “ttsd” is provided below “moof” is determined as “Fragment” in which a TTML document instance is stored. On the other hand, “Fragment” in which “ttsd” is not provided in “moof” is determined as “Fragment” (“Fragment” such as audio data and video data) in which no TTML document instance is stored.
  • step S82 If it is determined in step S82 that a TTML document instance is stored in the “Fragment”, the process proceeds to step S83.
  • step S83 the TT decoder 183 determines the type of the TTML document instance stored in the “Fragment” based on the description of “ttsd” of “moof” of “Fragment”. At this time, if the description of “ttsd” is “initFlag:“ true ””, it is determined that “Initialization Document instance” is stored in the “Fragment”. On the other hand, when the description of “ttsd” is “initFlag:“ false ””, it is determined that “Body Document instance” is stored in the “Fragment”.
  • step S83 If it is determined in the process of step S83 that “Initialization Document instance” is stored, the process proceeds to step S84.
  • step S84 the TT decoder 183 acquires the identifier described in the field of “unsined id (16) document-id;”.
  • step S85 the TT decoder 183 compares the identifier acquired in step S84 with the identifier stored in advance, and determines whether or not “Initialization Document instance” has changed. When “Initialization Document instance” is first received, it is determined that “Initialization Document instance” has been changed.
  • step S85 If it is determined in step S85 that “Initialization Document instance” has been changed, the process proceeds to step S86.
  • the TT decoder 183 stores the identifier described in the “unsined id (16) document-id;” field of “Sample” of “mdat” in “Fragment”. Note that, for example, when the content is broadcasted in a plurality of channels, the identifier is stored in association with the channel.
  • step S87 the TT decoder 183 analyzes (decodes) the description of “Initialization Document instance” stored in “Sample” of “mdat”.
  • step S88 the TT decoder 183 sets a rendering context based on the analysis result in step S87.
  • step S85 If it is determined in step S85 that the “Initialization Document instance” has not been changed, the processing from step S86 to step S88 is skipped.
  • step S83 determines whether “Body Document instance” is stored. If it is determined in the process of step S83 that “Body Document instance” is stored, the process proceeds to step S89.
  • step S89 the TT decoder 183 analyzes (decodes) "Body Document instance" stored in “Sample” of "mdat”.
  • step S90 the TT decoder 183 generates subtitle display data based on the analysis result in step S89.
  • the display data of the subtitle generated here is supplied to the display control unit 185 together with information related to the display time.
  • step S82 If it is determined in step S82 that no TTML document instance is stored in the “Fragment”, the process proceeds to step S66 in FIG.
  • step S64 If it is determined in step S64 that “Fragmented Movie” does not include “Fragment” in which the TTML document instance is stored, the process proceeds to step S66.
  • step S66 the content decoder 184 decodes audio data, video data, etc. stored in “Sample” of “mdat”.
  • step S67 the content decoder 184 outputs image display data, audio output data, and the like obtained as a result of the processing in step S66.
  • the image display data, audio output data, and the like generated here are supplied to the display control unit 185 together with information related to the display time, output time, and the like.
  • step S68 the display control unit 185 generates an image signal for superimposing and displaying the subtitle on the content image based on information related to the display time, and supplies the image signal to a display (not shown). Further, the display control unit 185 generates an audio signal for outputting the audio of the content based on information related to the output time and supplies the audio signal to a speaker (not shown).
  • the image display data and audio output data generated in step S67 of FIG. 22 and the subtitle display data generated in step S90 of FIG. 23 are displayed or output in synchronization.
  • step S69 it is determined whether or not “Fragmented Movie” has ended. For example, when “Movie Fragment RandomAccess (mfra)” shown in FIG. 8 is received, it is determined that “Fragmented Movie” has ended. Further, for example, when the user instructs to stop reception, it is determined that “Fragmented Movie” has ended.
  • step S69 If it is determined in step S69 that “Fragmented Movie” has not been completed yet, the processing returns to step S63. On the other hand, if it is determined in step S69 that “Fragmented Movie” has ended, the processing ends.
  • FIG. 24 is a diagram for explaining the configuration of “BOX” of “moov” when “Initialization Document instance” is stored.
  • “sampleEntry” of “moov.trak.mdia.minf.stbl.stsd” describes “ttml” of 4CC as in the case of FIG. Subsequently, "TTconfig ⁇ " is described.
  • TTconfig ⁇ In the description “TTconfig ⁇ ...”
  • a field “unsined id (16) document-id;” is provided. This is a field in which an identifier for identifying a TTML document instance is described, as in the case described above with reference to FIG. This identifier is, for example, an ID or version assigned to each document instance. Naturally, when the document instance is changed, the above identifier is also changed. For example, the receiver can determine whether or not the document instance has been changed.
  • the “unsined int (16) text-length;” field shown in FIG. 24 stores the text length of the text stored in the “unsined int (8) text [text-length];” field.
  • the A TTML document instance is stored in the field of “unsined int (8) text [text-length];” shown in FIG.
  • only “Initialization Document instance” is stored in the “unsined int (8) text [text-length];” field, and “Body Document instance” is not stored.
  • the TT fragment generation unit 141 of the IPTV server 122 when “moov” is configured as shown in FIG. 24, for example, when the TT fragment generation unit 141 of the IPTV server 122 generates data of “Fragmented Movie”, “stsd” of “moov” In “sampleEntry”, “ttml” of 4CC is described, and “text” is described in “HandlerType” of “moov.trak.mdia.hdlr”. Also, the TT fragment generation unit 141 adds the description “TTconfig ⁇ ...” In FIG. 24 to “stsd” of “moov”. At this time, “Initialization Document instance” is stored in the field of “unsined int (8) text [text-length];”.
  • the fragment demultiplexer 182 of the IPTV client 123 analyzes the description of “sampleEntry” of “stsd” of “moov” of “Fragmented Movie”, and In “Fragmented Movie”, it is determined whether or not “Fragment” in which a TTML document instance is stored exists.
  • “Fragment” in which a TTML document instance is stored exists that is, when “ttml” of 4CC is described in “sampleEntry” of “stsd”
  • “ A description “TTconfig ⁇ ...” Is supplied to the TT decoder 183.
  • the TT decoder 183 obtains the identifier described in the field “unsined id (16) document-id;”, and compares it with the identifier stored in advance, whether or not “Initialization Document instance” has changed. Determine whether.
  • the TT decoder 183 stores the identifier described in the field “unsined id (16) document-id;”. Note that, for example, when the content is broadcasted in a plurality of channels, the identifier is stored in association with the channel.
  • the TT decoder 183 analyzes (decodes) the description of “Initialization Document instance” stored in the field “unsined int (8) text [text-length];”. Then, a rendering context is set based on the analysis result.
  • the rendering context is set based on “Initialization Document instance (Init instance)” stored in “stsd” of “moov”.
  • a subtitle as shown in FIG. 16 is displayed based on Body 1 instance 1 stored in Sample 1 of mdat1 of Fragment1.
  • a subtitle as shown in FIG. 18 is displayed based on Body 2 instance 2 stored in Sample 2 of mdat2 of Fragment2.
  • the time t1 and the time t2 described above are the first “Sample” stored in moov.trak.mdia.minf.stbl.stts or the first mdat corresponding to the moof described in moof.traf.tfdt. "Decoding time”.
  • “Initialization Document instance” may be further stored in “moov.trak.mdia.minf.stbl.stsd”.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • a general-purpose personal computer 700 as shown in FIG. 26 is installed from a network or a recording medium.
  • a CPU (Central Processing Unit) 701 executes various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a storage unit 708 to a RAM (Random Access Memory) 703. To do.
  • the RAM 703 also appropriately stores data necessary for the CPU 701 to execute various processes.
  • the CPU 701, the ROM 702, and the RAM 703 are connected to each other via a bus 704.
  • An input / output interface 705 is also connected to the bus 704.
  • the input / output interface 705 includes an input unit 706 including a keyboard and a mouse, a display including an LCD (Liquid Crystal Display), an output unit 707 including a speaker, a storage unit 708 including a hard disk, a modem, a LAN, and the like.
  • a communication unit 709 including a network interface card such as a card is connected. The communication unit 709 performs communication processing via a network including the Internet.
  • a drive 710 is also connected to the input / output interface 705 as necessary, and a removable medium 711 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is loaded. It is installed in the storage unit 708 as necessary.
  • a program constituting the software is installed from a network such as the Internet or a recording medium such as a removable medium 711.
  • the recording medium shown in FIG. 26 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • Removable media consisting of optical discs (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 711 but also those configured by a ROM 702 in which a program is recorded, a hard disk included in the storage unit 708, and the like that are distributed to the user in a state of being incorporated in the apparatus main body in advance.
  • this technology can also take the following structures.
  • the subtitle fragment generation unit A streaming distribution device that adds instance classification identification information that identifies whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, to the header information of the fragment.
  • the subtitle fragment generation unit The streaming distribution device according to (1), wherein a sample in which the TTML document instance is described is stored in the fragment together with description content identification information for individually identifying the description content of the TTML document instance relating to the subtitle.
  • a movie header generation unit for adding fragment classification identification information indicating that the movie includes a fragment in which the TTML document instance is stored in the header information of the movie including a plurality of the fragments. (1) Or the streaming delivery apparatus as described in (2).
  • a movie header generation unit for adding fragment classification identification information indicating that the movie includes a fragment in which the TTML document instance is stored;
  • the movie header generation unit stores a TTML document instance that specifies a rendering context related to the subtitle in the fragment classification identification information,
  • the streaming distribution device according to (1) or (2), wherein the instance classification identification information is not added to header information of the fragment.
  • a content fragment generation unit generates a fragment in which data of content to be distributed by streaming is stored, and is defined by the MP4 file format.
  • a subtitle fragment generation unit is a fragment in which a TTML (Timed Text MarkUp Language) document instance related to a subtitle displayed in the content is stored, and generates a fragment defined by the MP4 file format, Instance classification identification information for identifying whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle is included in the fragment header information by the subtitle fragment generation unit.
  • TTML Timed Text MarkUp Language
  • a content fragment generation unit that generates a fragment in which data of content to be distributed by streaming is stored and is defined by the MP4 file format;
  • the subtitle fragment generation unit Function as a streaming distribution device that adds instance classification identification information for identifying whether or not the TTML document instance stored in the fragment is a TTML document instance designating the rendering context relating to the subtitle to the header information of the fragment Program.
  • a movie receiver that receives data of a movie that is a fragment defined by the MP4 file format and includes a plurality of fragments; Based on fragment classification identification information added to the movie header information indicating that the movie contains a fragment in which the TTML document instance is stored, the movie includes a fragment in which the TTML document instance is stored.
  • a TTML determination unit that determines whether or not
  • a streaming reception device comprising: a TTML decoding unit that extracts and decodes a fragment in which the TTML document instance is stored when it is determined that the movie includes a fragment in which the TTML document instance is stored.
  • the TTML decoding unit Based on the instance classification identification information that identifies whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, included in the header information of the fragment.
  • the streaming receiving device according to (8), wherein the classification of the TTML document instance stored in the information is identified and decoded.
  • the TTML decoding unit Based on the instance classification identification information that identifies whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, included in the header information of the fragment.
  • the streaming receiver according to 8) or (9). (11) When it is determined that the movie includes a fragment in which the TTML document instance is stored, The streaming reception device according to (8) or (9), wherein the TTML decoding unit decodes a TTML document instance in which the TTML document instance included in fragment classification identification information specifies a rendering context related to the subtitle.
  • the movie receiving unit is a fragment defined by the MP4 file format, and receives movie data including a plurality of fragments
  • the TTML determination unit stores the TTML document instance in the movie based on fragment classification identification information added to the movie header information indicating that the movie includes a fragment in which the TTML document instance is stored. Whether the included fragment is included, A streaming reception method in which, when it is determined that a fragment in which the TTML document instance is stored is included in the movie, the TTML decoding unit extracts and decodes the fragment in which the TTML document instance is stored.
  • a movie receiving unit that receives data of a movie that is a fragment defined by the MP4 file format and includes a plurality of fragments; Based on fragment classification identification information added to the movie header information indicating that the movie contains a fragment in which the TTML document instance is stored, the movie includes a fragment in which the TTML document instance is stored.
  • a TTML determination unit that determines whether or not A program that functions as a streaming receiving device including a TTML decoding unit that extracts and decodes a fragment in which the TTML document instance is stored when it is determined that the fragment in which the TTML document instance is stored is included in the movie.
  • a recording medium on which the program according to (13) is recorded.
  • a content fragment generation unit that generates a fragment in which data of content to be distributed in a stream is stored and is defined by the MP4 file format;
  • the subtitle fragment generation unit A streaming delivery device that adds instance classification identification information for identifying whether or not the TTML document instance stored in the fragment is a TTML document instance that specifies a rendering context related to the subtitle, to the header information of the fragment;
  • a movie receiving unit that receives data of a movie that is a fragment defined by the MP4 file format and includes a plurality of fragments; Based on fragment classification identification information added to the movie header information indicating that the movie contains a fragment in which the TTML document instance is stored, the movie includes a fragment in which the TTML document instance is stored.
  • a TTML determination unit that determines whether or not A streaming system comprising: a streaming receiving device comprising: a TTML decoding unit that extracts and decodes a fragment in which the TTML document instance is stored when it is determined that the fragment in which the TTML document instance is stored is included in the movie .
  • 100 streaming system 121 TT server, 122 IPTV server, 123 IPTV client, 141 TT fragment generation unit, 142 sample insertion unit, 151 time stamp generation unit, 161 content sample generation unit, 162 fragment multiplexer, 163 fragment distribution unit, 181 timing Part, 182 fragment demultiplexer, 183 TT decoder, 184 content decoder, 185 display control part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本技術は、ストリーミングにおけるサブタイトルの表示に係る処理負荷を軽減させることができるようにするストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体に関する。 ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、コンテンツに表示されるサブタイトルに係るＴＴＭＬドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、フラグメントのヘッダ情報に、フラグメントに格納されたＴＴＭＬドキュメントインスタンスがサブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加する。

Description

ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体
　本技術は、ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体に関し、特に、ストリーミングにおけるサブタイトルの表示に係る処理負荷を軽減させることができるようにするストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体に関する。
　近年、ＩＰ（Internet Protocol）を用いて動画配信を行うＩＰＴＶ等のインターネットストリーミングにおける標準化が行われている。例えば、ＨＴＴＰ（HyperText Transfer Protocol）ストリーミングによるＶｏＤ（Video On Demand）ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。このような標準化の作業において、コンテナレイヤにおいて採用するフォーマットとして、ＭＰ４ファイルフォーマットを用いることが検討されている。
　ＨＴＴＰストリーミングの構成要素として字幕（サブタイトル）がある場合、Ｗ３Ｃ（The World Wide Web Consortium）によって規定されたＴＴＭＬ（TimedText　MarkUp　Language)が多く利用されている。ＴＴＭＬは、他の標準化団体でも採用が進んでおり、有力なフォーマットとして注目されている。
　ＴＴＭＬは、ドキュメントインスタンスという区分に従って、主に２つのタイプに分類される。１つは、「Initialization　Document　instance」と称されるドキュメントインスタンスであり、例えば、サブタイトルとして表示される文字の色、フォント、表示位置などを指定する記述によって構成されるインスタンスとされる。他の１つは、「Body　Document　instance」と称されるドキュメントインスタンスであり、実際にサブタイトルとして実際に表示される文字列などの記述によって構成されるインスタンスとされる。
　ＴＴＭＬを用いれば、例えば、「Initialization　Document　instance」に記述された文字の色、フォント、表示位置などに従って、「Body　Document　instance」に記述された文字列を次々と表示させることができる。
　すなわち、ストリームを受信して表示する受信機においては、最初に「Initialization　Document　instance」を解析して、文字の色、フォント、表示位置などを特定しておき、その後、「Body　Document　instance」を解析して得られた文字列を表示させるようにすることができる。つまり、受信機において、文字の色、フォント、表示位置などの定義情報であるレンダリングコンテクストを都度、解析する必要がなくなるので、サブタイトルの表示に係る処理負荷を低減させることが可能となる。
　また、２Ｄ番組と３Ｄ番組とが混在する編成形態において、効率的な帯域運用や、受信機側での効率的なチャネル切り替え処理を実現することが可能なストリーム受信装置も提案されている（例えば、特許文献１参照）。
特開２０１１－０９７２２７号公報
　ところで、映画やドラマなどのコンテンツの場合と異なり、例えば、ニュースやスポーツ中継などのライブコンテンツの画像に挿入されるサブタイトルの場合、予めサブタイトルの文字列を確定させておくことができない。このため、放送（ストリーミング）中にサブタイトルの文字列を都度、挿入する処理が必要となる。このような場合、受信機にＴＴＭＬの「Initialization　Document　instance」を受信させてレンダリングコンテクストを解析させた後、「Body　Document　instance」を都度、受信させるようにすることが望ましい。
　また、例えば、サブタイトルとして表示する文字列の内容（強調したい文や、驚きや困惑を表す感情表現文等）に応じて、レンダリングコンテクストを変更させたい場合もある。このような場合、ＴＴＭＬの「Initialization　Document　instance」によって、複数種類のレンダリングコンテクストを予め定義しておき、その後、「Body　Document　instance」において使用するレンダリングコンテクストを指定することも可能である。
　しかしながら、ＭＰ４ファイルフォーマットでは、ＴＴＭＬインスタンスのタイプを区分して格納する方法が規定されていないため、受信機がＴＴＭＬのインスタンスのタイプを識別できない。このため、ＩＰＴＶ等のインターネットストリーミングにおいてサブタイトルを表示させる際には、レンダリングコンテクストの解析に係る処理負荷を軽減させることが期待されていた。
　本技術はこのような状況に鑑みて開示するものであり、ストリーミングにおけるサブタイトルの表示に係る処理負荷を軽減させることができるようにするものである。
　本技術の第１の側面は、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、前記サブタイトルフラグメント生成部は、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置である。
　前記サブタイトルフラグメント生成部は、前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報とともに、前記ＴＴＭＬドキュメントインスタンスが記述されたサンプルを、前記フラグメントに格納するようにすることができる。
　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備えるようにすることができる。
　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備え、前記ムービーヘッダ生成部は、フラグメント区分識別情報に、前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスを格納し、前記フラグメントのヘッダ情報に、前記インスタンス区分識別情報が付加されないようにすることができる。
　本発明の第１の側面は、コンテンツフラグメント生成部が、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、サブタイトルフラグメント生成部が、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、前記サブタイトルフラグメント生成部により、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報が付加されるストリーミング配信方法である。
　本発明の第１の側面は、コンピュータを、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、前記サブタイトルフラグメント生成部は、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置として機能させるプログラムである。
　本発明の第１の側面においては、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントが生成され、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントが生成され、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報が付加される。
　本発明の第２の側面は、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置である。
　前記ＴＴＭＬデコード部は、前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別してデコードするようにすることができる。
　前記ＴＴＭＬデコード部は、前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別し、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであると識別された場合、前記フラグメントに格納されたサンプルにおける前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報に基づいて、前記ＴＴＭＬドキュメントインスタンスをデコードするか否かを判定するデコード判定部を備えるようにすることができる。
　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬデコード部が、フラグメント区分識別情報に含まれる前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスをデコードするようにすることができる。
　本発明の第２の側面は、ムービー受信部が、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信し、ＴＴＭＬ判定部が、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定し、ＴＴＭＬデコード部が、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするストリーミング受信方法である。
　本発明の第２の側面は、コンピュータを、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置として機能させるプログラムである。
　本発明の第２の側面においては、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータが受信され、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かが判定され、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが抽出されてデコードされる。
　本発明の第３の側面は、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、前記サブタイトルフラグメント生成部は、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置と、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置とから成るストリーミングシステムである。
　本発明の第３の側面においては、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントが生成され、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントが生成され、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報が付加される。また、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータが受信され、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かが判定され、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが抽出されてデコードされる。
　本技術によれば、ストリーミングにおけるサブタイトルの表示に係る処理負荷を軽減させることができる。
ＴＴＭＬの構成を説明する図である。 ＭＰ４ファイルフォーマットにおける「BOX」の構成を示す図である。 「BOX」の階層構造を説明する図である。 ＭＰ４ファイルフォーマットを用いたストリーミングについて説明する図である。 「Movie」の構成を説明する図である。 「Movie」における「BOX」構造を説明する図である。 「Non-fragment Movie」の構成を説明する図である。 「Fragment Movie」の構成を説明する図である。 「moov」の「BOX」の構成を説明する図である。 「Initialization　Document　instance」の場合の「moof」の「BOX」の構成を説明する図である。 「Body　Document　instance」の場合の「moof」の「BOX」の構成を説明する図である。 ＴＴＭＬのドキュメントインスタンスが格納される場合の「mdat」の「Sample」の記述形式を説明する図である。 本技術の一実施の形態に係るストリーミングシステムの構成例を示すブロック図である。 「Initialization　Document　instance」の記述例を示す図である。 「Body　Document　instance」の記述例を示す図である。 図１５の「Body　Document　instance」に基づいて表示されるサブタイトルを示す図である。 「Body　Document　instance」の別の記述例を示す図である。 図１７の「Body　Document　instance」に基づいて表示されるサブタイトルを示す図である。 サブタイトルの表示例を説明する図である。 ストリーミング配信処理の例を説明するフローチャートである。 サブタイトルデータ挿入処理の例を説明するフローチャートである。 コンテンツ再生処理の例を説明するフローチャートである。 ＴＴデコード処理の例を説明するフローチャートである。 「moov」の「BOX」の別の構成を説明する図である。 図２４に対応するサブタイトルの表示例を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。
　以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
　最初にＴＴＭＬ（TimedText　MarkUp　Language)について説明する。ＴＴＭＬは、Ｗ３Ｃ（The World Wide Web Consortium）によって規定されたマークアップ言語であり、テキストの表示位置（レイアウト）、表示のタイミングなどを指定することができる。
　例えば、サーバからＴＴＭＬで記述された情報を伝送し、クライアントに解析させることにより、クライアントのディスプレイにおいて、指定された時刻に、指定された書体で、指定された領域に、所定の文字列を表示させることができる。このようにＴＴＭＬで記述された情報を用いれば、例えば、コンテンツの画像や音声と同期させてサブタイトルを表示させることも簡単に実現できる。
　ＴＴＭＬは、ドキュメントインスタンスと称されるテキストの集合体によって構成され、ドキュメントインスタンスは、主に２つのタイプに分類される。１つは、「Initialization　Document　instance」と称されるドキュメントインスタンスであり、例えば、サブタイトルとして表示される文字の色、フォント、表示位置などを指定する記述によって構成されるインスタンスとされる。他の１つは、「Body　Document　instance」と称されるドキュメントインスタンスであり、実際にサブタイトルとして実際に表示される文字列などの記述によって構成されるインスタンスとされる。
　図１は、ＴＴＭＬの構成を説明する図である。
　同図に示されるインスタンス２１が、「Initialization　Document　instance」とされる。このインスタンス２１には、「head」、「styling」、「layout」、・・・というタグが記述されている。「styling」、「layout」のタグによって、サブタイトルとして表示される文字の色、フォント、表示位置などのレンダリングコンテクストが指定される。
　また、この例では、「<region xml:id=”subtitleArea”style=”s1”・・・」という記述によって、「ｓ１」というレンダリングコンテクストが定義されている。例えば、１つの「Initialization　Document　instance」の中で、「ｓ１」、「ｓ２」、・・・のように複数の種類のレンダリングコンテクストを定義することも可能である。
　図１のインスタンス２２は、「Body　Document　instance」とされる。このインスタンス２２には、「body」、「div」、「p」、・・・というタグが記述されている。例えば、「<p xml:id=・・・>」という記述によって、サブタイトルの文字列、並びに、その文字列の表示開始時刻、および表示終了時刻が指定されている。
　このように、ＴＴＭＬは、インスタンス２１とインスタンス２２の組み合わせによってなる階層構造を有する記述とされる。図１のインスタンス２２の図中左側に、インスタンス２１とインスタンス２２の組み合わせによってなる階層構造が示されている。
　例えば、ストリームを受信して表示する受信機において、図１に示されるＴＴＭＬを受信させて解析させることにより、コンテンツの中の所定の時間帯に所定の文字列を表示させることが可能となる。すなわち、受信機のディスプレイにおいて、インスタンス２２の「p」というタグによって指定された文字列、表示開始時刻、および表示終了時刻に基づいて、サブタイトルの表示が適宜変更されていく。同図の例では、インスタンス２２の「p」というタグによって指定された文字列Ｆ１、文字列Ｆ２、・・・が時間の経過に伴って切り替えられて表示される。
　なお、ＴＴＭＬの詳細については、Timed Text Markup Language (TTML) 1.0などに開示されている。
　次に、ＭＰ４ファイルフォーマットについて説明する。ＭＰファイルフォーマットは、自由度が高いファイルフォーマットであり、「BOX」と称されるさまざまなサイズのデータが集まってＭＰ４ファイルを構成するように規定されている。「BOX」にはいろいろな種類があり、自由に増やすこともできる。
　ＭＰ４ファイルフォーマットにおける「BOX」の構成を図２に示す。同図において、「Box Size」、「Box Type」と表示されている領域には、当該「BOX」のサイズとタイプ（種類）が記述される。そして、「Box Data」と表示された領域には、例えば、エンコードされたビデオデータ、オーディオデータ、サブタイトルのデータなどが格納される。
　また、ＭＰ４ファイルフォーマットにおいては、上述した「BOX」が階層構造を有するように規定されている。すなわち、図３に示されるように、上位の階層の「BOX」の領域「Box Data」の中に下位の階層の「BOX」を格納できるようになされている。
　ＭＰ４ファイルフォーマットにおいては、例えば、オーディオデータのデコード単位、ビデオデータの１フレームなど、伝送されるコンテンツの単位データが「Sample（サンプル）」と称される。そして、複数の「Sample」によって「Chunk（チャンク）」が構成される。例えば、図４に示されるように、オーディオ（audio）の「Chunk」、ビデオ（video）の「Chunk」によってストリーミングが構成される。
　ＭＰ４ファイルフォーマットにおいては、例えば、一連のビデオの「Chunk」の集合体、一連のオーディオの「Chunk」の集合体などを「Track（トラック）」と称する。そして、複数のトラックを統合したデータが「Movie（ムービー）」と称される。
　図５は、「Movie」の構成を説明する図である。同図の例では、ビデオの「Track」と、オーディオの「Track」によって１つの「Movie」が構成されている。
　「Movie」は、上述したように、「BOX」構造を有する。図６は、「Movie」における「BOX」構造を説明する図である。同図の例では、「Movie」の「BOX」の中に、「Moive　Metadata　box」と「Movie　Data　box」が格納されている。
　「Moive　Metadata　box」は、「Movie　Data　box」の中に格納された各「Sample」の格納位置に係る情報（「adrs=1000」など）と、再生時刻や再生時間に係る情報（「Δt=10」など）が記述された「BOX」とされる。また、必要に応じてコーデックパラメータなども記述される。「Movie　Data　box」は、各「Sample」が格納された「BOX」とされる。なお、ＭＰ４ファイルフォーマットの規格では、「Moive　Metadata　box」は「moov」と称され、「Movie　Data　box」は「mdat」と称される。
　図６に示されるような「Movie」を受信機で受信して解析することにより、時刻ｔ０、時刻ｔ１０、時刻ｔ２０、・・・において、それぞれSample１、Sample２、Sample３、・・・が再生されるようにすることができる。
　また、「Movie」は、大別すると２種類に分類される。１つは、「Non-fragment Movie」と称され、例えば、映画やドラマなどのコンテンツの伝送に適している。他の１つは「Fragmented Movie」と称され、ニュースやスポーツ中継などのライブコンテンツの伝送に適している。
　図７は、「Non-fragment Movie」の構成を説明する図である。
　同図に示されるように、「Non-fragment Movie」の先頭には、「File Type（ftyp）」と称される「BOX」が配置される。「File Type（ftyp）」は、ファイルタイプ、互換性情報などが格納された「BOX」とされる。
　「ftyp」に続いて、上述した「moov」が配置され、また、上述した「mdat」が配置されている。上述したように、「moov」には、コーデックパラメータ、格納位置情報、再生時間情報などが記述されている。「moov」は、いわば「Movie」全体におけるヘッダ情報とされる。また、上述したように、「mdat」には、オーディオデータのデコード単位、ビデオデータの１フレームなどからなる「Sample」が格納されている。
　「Non-fragment Movie」では、「moov」によって、「Movie」全体のレンダリングコンテクストが定義されるようになされている。すなわち、映画やドラマなどのコンテンツの場合、どのタイミングで、どの画像、どの音声、どの字幕が再生されるべきかが予め分かっているので、各「Sample」を受信する前に、「Movie」全体のレンダリングコンテクストを定義することができる。
　ニュースやスポーツ中継などのライブコンテンツの場合、どのタイミングで、どの画像、どの音声、どの字幕が再生されるべきかを予め知ることができない。このため、ライブコンテンツの伝送には、「Fragmented Movie」が採用される。
　図８は、「Fragmented Movie」の構成を説明する図である。
　同図に示されるように、「Fragmented Movie」は、「Non-fragment Movie」の場合と同様に、「ftyp」と「moov」が配置されるが、その後は、「Fragment」と称される「BOX」が複数配置される。「Fragment」は、「Movie Fragment(moof)」と称される「BOX」と、「mdat」によって構成されている。
　同図に示されるように、各「Fragment」のそれぞれに「moof」が設けられており、「moof」は、いわば「Fragment」のヘッダ情報とされる。「moof」には、当該「Fragment」に格納されている「mdat」の「Sample」に関しての格納位置情報、再生時間情報などが記述されている。すなわち、「Fragmented Movie」では、「Non-fragment Movie」の場合と異なり、各「Fragment」毎に、各「Fragment」のレンダリングコンテクストが定義されるようになされている。
　なお、図８に示される「Movie Fragment RandomAccess(mfra)」は、「Fragmented Movie」の最後に挿入される「BOX」とされ、ランダムアクセス用情報などが格納される。
　なお、図７と図８に示される例は、ＭＰ４ファイルフォーマットとしての「Movie」の構成を示したものであり、例えば、インターネットストリーミングなどが行われる際には、図７と図８を参照して上述したデータが所定の伝送フォーマットで配信されることになる。この伝送フォーマットにおいては、例えば、図８に示される「moov」が、「Fragment」間に挿入されて複数回繰り返して配信されるようになされている。
　ところで、近年、ＩＰ（Internet Protocol）を用いて動画配信を行うＩＰＴＶ等のインターネットストリーミングにおける標準化が行われている。例えば、ＨＴＴＰ（HyperText Transfer Protocol）ストリーミングによるＶｏＤ（Video On Demand）ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。このような標準化の作業において、コンテナレイヤにおいて採用するフォーマットとして、ＭＰ４ファイルフォーマットを用いることが検討されている。
　また、ストリーミングの構成要素として字幕（サブタイトル）がある場合、ＴＴＭＬが多く利用されており、ストリーミングの標準化においても注目されている。
　例えば、ニュースやスポーツ中継などのライブコンテンツの画像にサブタイトルを挿入する場合、予めサブタイトルの文字列を確定させておくことができない。このため、放送（ストリーミング）中にサブタイトルの文字列を都度、挿入する処理が必要となる。このような場合、例えば、受信機にＴＴＭＬの「Initialization　Document　instance」を受信させてレンダリングコンテクストを解析させた後、「Body　Document　instance」を都度、受信させるようにすることが望ましい。
　また、例えば、同一のコンテンツの中でも、サブタイトルとして表示する文字列の内容（強調したい文や、驚きや困惑を表す感情表現文等）に応じて、レンダリングコンテクストを変更させたい場合もある。このような場合、ＴＴＭＬの「Initialization　Document　instance」によって、複数種類のレンダリングコンテクストを予め定義しておき、その後、「Body　Document　instance」において使用するレンダリングコンテクストを指定することも可能である。
　しかしながら、ＭＰ４ファイルフォーマットでは、ＴＴＭＬインスタンスのタイプを区分して格納する方法が規定されていないため、受信機がＴＴＭＬのインスタンスのタイプを識別できない。このため、従来、ＭＰ４ファイルフォーマットで送信されるＩＰＴＶ等のインターネットストリーミングにおいては、例えば、サブタイトルとして表示させる文字列とともに、レンダリングコンテクストを都度解析させるようにせざるを得なかった。このような状況の中で、ＩＰＴＶ等のインターネットストリーミングにおいてサブタイトルを表示させる際には、レンダリングコンテクストの解析に係る処理負荷を軽減させることが期待されていた。
　そこで、本技術では、次のようにして、ＭＰ４ファイルフォーマットを用いて、ＴＴＭＬインスタンスのタイプを区分して格納できるようにする。
　本技術では、「Fragmented Movie」として伝送されるコンテンツにおいて、サブタイトルを挿入する場合に適用されることを前提とする。そして、「Fragment」の中の「mdat」の「Sample」としてＴＴＭＬのドキュメントインスタンスが格納されて伝送されるようにする。すなわち、ストリーミングされるコンテンツに挿入されるサブタイトルを表示させるために、「Fragment」の中の「mdat」の「Sample」として、図１のインスタンス２１、または、インスタンス２２などが適宜格納されることになる。
　まず、本技術では、「moov」の「BOX」に記述された情報に基づいて、ＴＴＭＬで記述された情報が含まれるインターネットストリーミングであることを識別できるようにする。具体的には、「moov.trak.mdia.minf.stbl.stsd」にＴＴＭＬで記述された情報が含まれることを記述できるようにする。
　図９は、「moov」の「BOX」の構成を説明する図である。上述したように、「BOX」では階層構造が採用されており、「moov」の「BOX」の下位の階層の「BOX」として「stsd」と称される「BOX」が設けられている（「moov.trak.mdia.minf.stbl.stsd」のように記述する）。「stsd」は、トラックデータ再生のためのヘッダ情報を格納するための「BOX」とされている。
　本技術では、ＴＴＭＬで記述された情報が含まれる場合、「stsd」の「sampleEntry」には、４ＣＣ(four_character_code)の「ttml」が記述されるようにする。なお、従来の標準では、オーディオデータであることを表す４ＣＣの「MP4A」、ビデオデータであることを表す４ＣＣの「MP4V」などが「stsd」に格納されることが規定されている。
　また、ＴＴＭＬで記述された情報が含まれる場合、「moov.trak.mdia.hdlr」の「HandlerType」には、「text」と記述されるようにする。
　さらに、本技術では、「moof」の「BOX」に記述された情報に基づいて、当該「Fragment」の中の「mdat」の「Sample」として格納されているＴＴＭＬのドキュメントインスタンスが、「Initialization　Document　instance」であるのか、「Body　Document　instance」であるのかを識別できるようにする。
　具体的には、「moof」の「BOX」の「traf」と称される「BOX」の下位の階層の「BOX」として、「ttsd」と称される「BOX」を新たに設けることとする。そして、「ttsd」の「initFlag」が「true」と記述されている場合、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Initialization　Document　instance」であることを表すこととする。また、「ttsd」の「initFlag」が「false」と記述されている場合、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Body　Document　instance」であることを表すこととする。
　図１０は、当該「Fragment」に格納されているＴＴＭＬのドキュメントインスタンスが、「Initialization　Document　instance」である場合の「moof」の「BOX」の構成を示す図である。同図に示されるように、「moof」の下位の階層に「traf」が存在し、さらのその下位の階層の「BOX」として「ttsd」が設けられている。そして、「ttsd」に格納される情報として「initFlag：“true”」と記述されている。
　図１１は、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Body　Document　instance」である場合の「moof」の「BOX」の構成を示す図である。同図に示されるように、「moof」の下位の階層に「traf」が存在し、さらのその下位の階層の「BOX」として「ttsd」が設けられている。そして、「ttsd」に格納される情報として「initFlag：“false”」と記述されている。
　さらに、本技術では、送信されてきたＴＴＭＬのドキュメントインスタンスの記述内容に変更（更新）があったか否かを、受信機が判定できるようにする。具体的には、ＴＴＭＬのドキュメントインスタンスが格納される場合の「mdat」の「Sample」の記述形式を、例えば、図１２に示されるように規定する。
　本技術では、図１２に示される「unsined　id（16）document-id；」のフィールドを新たに設けることとする。「unsined　id（16）document-id；」のフィールドに、当該「Sample」に記述されているＴＴＭＬのドキュメントインスタンスを識別するための識別子が記述される。この識別子は、例えば、個々のドキュメントインスタンスに付与されたＩＤやバージョンなどとされる。当然、ドキュメントインスタンスに変更があった場合、上記の識別子も変更されるので、例えば、受信機がドキュメントインスタンスに変更があったか否かを判定することが可能となる。
　また、同図に示される「unsined　int（16）text-length；」のフィールドには、「unsined　int（8）text［text-length］；」のフィールドに格納されるテキストのテキスト長が格納される。同図に示される「unsined　int（8）text［text-length］；」のフィールドに、ＴＴＭＬのドキュメントインスタンスが格納されるようにする。
　例えば、複数のチャンネルでコンテンツをストリーミング放送する場合、視聴者はいつどのチャンネルを選局するか分からないので、定期的にレンダリングコンテクストの定義情報（すなわち、「Initialization　Document　instance」）を送信する必要がある。この場合、受信した「Initialization　Document　instance」を都度構文解析させると、受信機の処理負荷が増大することになるので、一度構文解析した「Initialization　Document　instance」に基づいて、その後のレンダリングコンテクストが定義されるようにすることが望ましい。
　しかしながら、「Initialization　Document　instance」の内容が更新された場合、レンダリングコンテクストが変更されることになるので、受信機では、新たに構文解析を行う必要がある。このため、上述したように、本技術では、送信されてきたＴＴＭＬドキュメントインスタンスの記述内容に変更（更新）があったか否かを、受信機が判定できるようになされている。
　まとめると、本技術では、「moov」の「stsd」の「sampleEntry」に記述される新たな４ＣＣ(four_character_code)として、「ttml」を設けることとする。そして、「moov」の「stsd」の記述を参照することにより、「Fragment」にＴＴＭＬのドキュメントインスタンスが格納されていることを識別できるようにする。
　また、本技術では、各「Fragment」の「moof」の下位の階層の「BOX」として「ttsd」を設ける。そして、「ttsd」に格納される情報として「initFlag：“true”」または「initFlag：“false”」が記述されることとし、当該「Fragment」に格納されているＴＴＭＬが、「Initialization　Document　instance」であるか、または、「Body　Document　instance」であるかを識別できるようにする。
　さらに、本技術では、「mdat」の「Sample」において、「unsined　id（16）document-id；」のフィールドを設ける。そして、このフィールドに格納された識別子に基づいて、ＴＴＭＬドキュメントインスタンスの記述内容に変更（更新）があったか否かを識別できるようにする。
　このようにすることで、ＭＰ４ファイルフォーマットを用いて、ＴＴＭＬドキュメントインスタンスを伝送する際に、ＴＴＭＬインスタンスのタイプを区分して格納でき、また、記述内容の更新を簡単に識別することができる。従って、本技術によれば、例えば、ＩＰＴＶ等のストリーミングにおけるサブタイトルの表示に係る処理負荷を軽減させることができる。
　図１３は、本技術の一実施の形態に係るストリーミングシステムの構成例を示すブロック図である。同図に示されるストリーミングシステム１００は、ＴＴ（TimedText）サーバ１２１、ＩＰＴＶサーバ１２２、およびＩＰＴＶクライアント１２３により構成されている。
　同図のＩＰＴＶサーバ１２２は、例えば、コンテンツをストリーミング放送する送信機として構成され、ＩＰＴＶクライアント１２３は、ストリーミング放送を受信する受信機として構成される。そして、ＴＴサーバ１２１は、例えば、ストリーミング放送されるコンテンツに挿入されるサブタイトルに係るデータを生成する装置とされる。
　ＴＴサーバ１２１は、ＴＴ（TimedText）フラグメント生成部１４１、および、サンプル挿入部１４２を有する構成とされている。
　ＴＴフラグメント生成部１４１は、「moov」の「stsd」の「sampleEntry」に、４ＣＣの「ttml」を記述し、「moov.trak.mdia.hdlr」の「HandlerType」には、「text」と記述する。（この処理は、後述の「Fragment」の生成よりは頻度が低い。）また、ＴＴフラグメント生成部１４１は、図８を参照して上述したようなＴＴＭＬのドキュメントインスタンスが格納される「Fragment」のデータを生成する。この際、ＴＴフラグメント生成部１４１は、「moof」の下位の階層の「BOX」として「ttsd」を設ける。そして、ＴＴフラグメント生成部１４１は、生成されるドキュメントインスタンスのタイプに応じて「ttsd」に格納される情報として「initFlag：“true”」または「initFlag：“false”」を記述する。
　例えば、当該「Fragment」に格納されているＴＴＭＬのドキュメントインスタンスが、「Initialization　Document　instance」である場合、「ttsd」に格納される情報として「initFlag：“true”」が記述される。また、例えば、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Body　Document　instance」である場合、「ttsd」に格納される情報として「initFlag：“false”」が記述される。
　サンプル挿入部１４２は、ＴＴＭＬのドキュメントインスタンスを生成するとともに、ＴＴフラグメント生成部１４１によって生成された「Fragment」の中の「mdat」の「Sample」としてＴＴＭＬのドキュメントインスタンスを挿入する。
　この際、サンプル挿入部１４２は、図１２を参照して上述したように、「unsined　id（16）document-id；」のフィールドを設ける。そして、サンプル挿入部１４２は、「unsined　id（16）document-id；」のフィールドに、当該「Sample」に記述されているＴＴＭＬのドキュメントインスタンスを識別するための識別子を記述する。なお、ドキュメントインスタンスに変更があった場合、上記の識別子も変更される。
　また、ＮＴＰ同期されたタイムスタンプ生成部１５１により生成されたタイムスタンプが、ＴＴフラグメント生成部１４１、および、サンプル挿入部１４２に適宜供給されるようになされている。
　ＩＰＴＶサーバ１２２は、コンテンツサンプル生成部１６１、フラグメントマルチプレクサ１６２、およびフラグメント配信部１６３を有する構成とされている。
　コンテンツサンプル生成部１６１は、例えば、コンテンツを構成する音声のデータ、画像のデータなどをエンコードして、オーディオデータ、ビデオデータなどを生成する。そして、コンテンツサンプル生成部１６１は、それらのオーディオデータ、ビデオデータなどに基づいて、「Sample」のデータを生成する。
　フラグメントマルチプレクサ１６２は、コンテンツサンプル生成部１６１が生成した「Sample」のデータを、「mdat」の中に格納した「Fragment」を生成する。そして、フラグメントマルチプレクサ１６２は、ＴＴサーバ１２１によって生成された「Fragment」と、自分が生成した「Fragment」を多重化する。すなわち、オーディオデータ、ビデオデータなどが格納された「Fragment」とＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が多重化される。
　フラグメント配信部１６３は、フラグメントマルチプレクサ１６２によって多重化された「Fragment」によって構成される「Fragmented Movie」を、ネットワークなどを介して配信する。これにより、コンテンツがストリーミング配信されることになる。
　なお、ＮＴＰ同期されたタイムスタンプ生成部１５１により生成されたタイムスタンプが、コンテンツサンプル生成部１６１、および、フラグメントマルチプレクサ１６２に適宜供給されるようになされている。
　ＩＰＴＶクライアント１２３は、計時部１８１、フラグメントデマルチプレクサ１８２、ＴＴ（TimedText）デコーダ１８３、コンテンツデコーダ１８４、および表示制御部１８５を有する構成とされている。
　計時部１８１は、各部にＮＴＰ同期された時刻情報を供給する。
　フラグメントデマルチプレクサ１８２は、ＩＰＴＶサーバ１２２から送信された「Fragmented Movie」を、ネットワークなどを介して受信し、「Fragmented Movie」を構成する各「Fragment」を抽出する。そして、フラグメントデマルチプレクサ１８２は、「moov」の「stsd」の「sampleEntry」の記述を解析し、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在しているか否かを判定する。すなわち、「moov」の「stsd」の「sampleEntry」の記述が「ttml」であった場合、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在すると判定される。
　ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在すると判定された場合、フラグメントデマルチプレクサ１８２は、各「Fragment」の「moof」の「ttsd」をチェックして、当該「Fragment」にＴＴＭＬのドキュメントインスタンスが格納されているか否かを判定する。すなわち、「moof」の下位に「ttsd」が設けられている「Fragment」は、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」と判定され、ＴＴデコーダ１８３に供給される。一方、「moof」に「ttsd」が設けられていない「Fragment」は、ＴＴＭＬのドキュメントインスタンスが格納されていない「Fragment」（オーディオデータ、ビデオデータなどの「Fragment」）と判定され、コンテンツデコーダ１８４に供給される。
　ＴＴデコーダ１８３は、ＴＴＭＬのドキュメントインスタンスが格納された「Sample」のデータのデコードを行う機能ブロックとされる。なお、ＴＴデコーダ１８３におけるデコードは、主に、ＴＴＭＬドキュメントインスタンスの構文解析を意味するものである。
　ＴＴデコーダ１８３は、各「Fragment」の「moof」の「ttsd」の記述に基づいて、当該「Fragment」に格納されているＴＴＭＬのドキュメントインスタンスのタイプを判定する。すなわち、「ttsd」の記述が「initFlag：“true”」であった場合、当該「Fragment」には、「Initialization　Document　instance」が格納されていると判定される。一方、「ttsd」の記述が「initFlag：“false”」であった場合、当該「Fragment」には、「Body　Document　instance」が格納されていると判定される。
　「Initialization　Document　instance」が格納されていると判定された場合、ＴＴデコーダ１８３は、「Fragment」の中の「mdat」の「Sample」の「unsined　id（16）document-id；」のフィールドに記述された識別子を記憶する。そして、ＴＴデコーダ１８３は、「mdat」の「Sample」の中に格納された「Initialization　Document　instance」の記述を解析し、レンダリングコンテクストを設定する。
　これ以降、ＴＴデコーダ１８３は、「unsined　id（16）document-id；」のフィールドに記述された識別子を、予め記憶している識別子と比較して、「Initialization　Document　instance」に変更があったか否かを判定する。そして、ＴＴデコーダ１８３は、「Initialization　Document　instance」に変更があったと判定された場合にのみ、「mdat」の「Sample」の中に格納された「Initialization　Document　instance」の記述を解析し、レンダリングコンテクストを再度設定するようになされている。
　また、「Body　Document　instance」が格納されていると判定された場合、ＴＴデコーダ１８３は、「mdat」の「Sample」の中に格納された「Body　Document　instance」を解析し、サブタイトルの表示データを生成する。ここで生成されたサブタイトルの表示データは、表示時刻に係る情報とともに、表示制御部１８５に供給される。
　コンテンツデコーダ１８４は、「mdat」の「Sample」の中に格納されたオーディオデータ、ビデオデータなどをデコードし、画像の表示データ、音声の出力データなどを生成する。ここで生成された画像の表示データ、音声の出力データなどは、表示時刻、出力時刻などに係る情報とともに表示制御部１８５に供給される。
　表示制御部１８５は、表示時刻に係る情報などに基づいて、コンテンツの画像にサブタイトルを重畳して表示させるための画像信号を生成して、図示せぬディスプレイなどに供給する。また、表示制御部１８５は、出力時刻に係る情報などに基づいて、コンテンツの音声を出力させるための音声信号を生成し、図示せぬスピーカなどに供給する。
　このようなストリーミングシステム１００によって、例えば、次のようなサブタイトルの表示を制御することが可能となる。
　例えば、ＴＴサーバ１２１により、図１４に示されるようなＴＴＭＬのドキュメントインスタンスを「Fragment」に格納し、ＩＰＴＶサーバ１２２から配信する。図１４は、「Initialization　Document　instance」の記述の一例とされる。
　そして、ＴＴサーバ１２１により、図１５に示されるようなＴＴＭＬのドキュメントインスタンスを「Fragment」に格納し、ＩＰＴＶサーバ１２２から配信する。図１５は、「Body　Document　instance」の記述の一例とされる。
　図１４の記述に従って設定されたレンダリングコンテクストにおいて、図１５の記述によって指定された文字列を表示させると、例えば、図１６に示されるようなサブタイトルを表示させることができる。
　その後、ＴＴサーバ１２１により、図１７に示されるようなＴＴＭＬのドキュメントインスタンスを「Fragment」に格納し、ＩＰＴＶサーバ１２２から配信する。図１７は、「Body　Document　instance」の記述の別の例とされる。
　図１４の記述に従って設定されたレンダリングコンテクストにおいて、図１７の記述によって指定された文字列を表示させると、例えば、図１８に示されるようなサブタイトルを表示させることができる。
　なお、「Body　Document　instance」の「<p>」というタグにより指定された文字列が、サブタイトルの文字列とされる。「<p>」のタグ内に時間が指定されている場合にはその時間指定に合わせて文字列が表示され、時間指定がない場合、または、表示期間（duration）のみ指定されている場合には、当該「Sample」の「decodingTime」として特定される再生時刻に表示が開始されるように制御される。
　すなわち、図１９に示されるように、Fragment０、Fragment１、Fragment２の各「Fragment」の「mdat」の「Sample」として格納されたＴＴＭＬのドキュメントインスタンスが解析されてサブタイトルが表示される。
　この例では、Fragment０のmdat０に図１４に示される「Initialization　Document　instance」（Init instance）が格納されていたものとする。また、Fragment１のmdat１に図１５に示される「Body　Document　instance」（Body instance１）が格納されていたものとする。さらに、Fragment２のmdat２に図１７に示される「Body　Document　instance」（Body instance２）が格納されていたものとする。
　図１９の例では、Fragment０のmdat０のSample０に格納されたInit instanceに基づいてレンダリングコンテクストが設定されている。その後、時刻ｔ１において、Fragment１のmdat１のSample１に格納されたBody instance１に基づいて、図１６に示されるようなサブタイトルが表示されている。さらに、その後、時刻ｔ２において、Fragment２のmdat２のSample２に格納されたBody instance２に基づいて、図１８に示されるようなサブタイトルが表示されている。
　なお、上述した時刻ｔ１および時刻ｔ２は、moov.trak.mdia.minf.stbl.stts、または、moof.traf.tfdtに記述されるそのmoofに対応する最初のmdatに格納される最初の「Sample」の「decoding time」に基づいて算出される。
　すなわち、ＴＴＭＬのドキュメントインスタンスの中に記述される文字列の表示時間を特定するために、そのドキュメントインスタンスが格納されるＭＰ４ファイルの「Sample」の提示時刻が利用される。
　次に、図２０のフローチャートを参照して、図１３のＩＰＴＶサーバ１２２によるストリーミング配信処理の例について説明する。この処理は、例えば、ライブコンテンツにサブタイトルを挿入して、「Fragmented Movie」としてネットワークなどを介して配信する場合に実行される。
　ステップＳ２１において、ＩＰＴＶサーバ１２２は、コンテンツのデータを取得する。このとき、例えば、コンテンツを構成する音声のデータ、画像のデータなどが取得される。
　ステップＳ２２において、コンテンツサンプル生成部１６１は、例えば、コンテンツを構成する音声のデータ、画像のデータなどをエンコードして、オーディオデータ、ビデオデータなどを生成する。そして、コンテンツサンプル生成部１６１は、それらのオーディオデータ、ビデオデータなどに基づいて、「Sample」のデータを生成する。
　ステップＳ２３において、フラグメントマルチプレクサ１６２は、ステップＳ２２で生成された「Sample」のデータを、「mdat」の中に格納した「Fragment」を生成する。
　ステップＳ２４において、ＴＴサーバ１２１は、図２１を参照して後述するサブタイトルデータ挿入処理を実行する。これにより、ストリーミング配信されるコンテンツのデータに、サブタイトルに関するデータが挿入される。
　ここで、図２１のフローチャートを参照して、図２０のステップＳ２４のサブタイトルデータ挿入処理の詳細な例について説明する。
　ステップＳ４１において、ＴＴＭＬ文が生成される。
　ステップＳ４２において、ＴＴフラグメント生成部１４１は、「moov」の「stsd」の「sampleEntry」に、４ＣＣの「ttml」を記述し、「moov.trak.mdia.hdlr」の「HandlerType」には、「text」と記述する。（この処理は、後述の「Fragment」の生成よりは頻度が低い。）また、ＴＴフラグメント生成部１４１は、ＴＴＭＬのドキュメントインスタンスが格納される「Fragment」のデータを生成する。この際、ＴＴフラグメント生成部１４１は、「moof」の下位の階層の「BOX」として「ttsd」を設ける。そして、ＴＴフラグメント生成部１４１は、生成されるドキュメントインスタンスのタイプに応じて「ttsd」に格納される情報として「initFlag：“true”」または「initFlag：“false”」を記述する。
　例えば、当該「Fragment」に格納されているＴＴＭＬのドキュメントインスタンスが、「Initialization　Document　instance」である場合、「ttsd」に格納される情報として「initFlag：“true”」が記述される。また、例えば、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Body　Document　instance」である場合、「ttsd」に格納される情報として「initFlag：“false”」が記述される。
　ステップＳ４３において、サンプル挿入部１４２は、ステップＳ４１で生成されたＴＴＭＬ文に基づいて、ＴＴＭＬのドキュメントインスタンスを生成するとともに、ステップＳ４２で生成された「Fragment」の中の「mdat」の「Sample」としてＴＴＭＬのドキュメントインスタンスを挿入する。
　この際、サンプル挿入部１４２は、図１２を参照して上述したように、「unsined　id（16）document-id；」のフィールドを設ける。そして、サンプル挿入部１４２は、「unsined　id（16）document-id；」のフィールドに、当該「Sample」に記述されているＴＴＭＬのドキュメントインスタンスのタイプを識別するための識別子を記述する。なお、ドキュメントインスタンスに変更があった場合、上記の識別子も変更される。
　ステップＳ４４において、サンプル挿入部１４２は、ステップＳ４３の処理によりＴＴＭＬのドキュメントインスタンスが挿入された「Fragment」を出力する。これにより、ＩＰＴＶサーバ１２２のフラグメントマルチプレクサ１６２に、当該「Fragment」が供給される。
　なお、ＮＴＰ同期されたタイムスタンプ生成部１５１により生成されたタイムスタンプが、ＴＴフラグメント生成部１４１、および、サンプル挿入部１４２に適宜供給されるようになされている。
　図２０に戻って、ステップＳ２４の処理の後、ステップＳ２５において、フラグメントマルチプレクサ１６２は、図２１のステップＳ４１の処理で生成された「Fragment」と、ステップＳ２３の処理で生成された「Fragment」を多重化する。すなわち、オーディオデータ、ビデオデータなどが格納された「Fragment」とＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が多重化される。
　ステップＳ２６において、フラグメントマルチプレクサ１６２は、「Fragmented Movie」のデータを生成する。
　ステップＳ２７において、フラグメント配信部１６３は、ステップＳ２６の処理で生成された「Fragmented Movie」を、ネットワークなどを介して配信する。
　このようにして、ストリーミング配信処理が実行される。
　次に、図２２のフローチャートを参照して、図１３のＩＰＴＶクライアント１２３によるコンテンツ再生処理の例について説明する。
　ステップＳ６１において、ＩＰＴＶクライアント１２３のフラグメントデマルチプレクサ１８２は、図２０のステップＳ２７の処理で配信された「Fragmented Movie」を受信する。
　ステップＳ６２において、フラグメントデマルチプレクサ１８２は、ステップＳ６１で受信した「Fragmented Movie」の「moov」の「stsd」の「sampleEntry」の記述を解析する。
　ステップＳ６３において、フラグメントデマルチプレクサ１８２は、ステップＳ６１で受信した「Fragmented Movie」を構成する各「Fragment」を抽出する。
　ステップＳ６４において、フラグメントデマルチプレクサ１８２は、ステップＳ６２の処理での解析結果に基づいて、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在しているか否かを判定する。このとき、「moov」の「stsd」の「sampleEntry」の記述が「ttml」であった場合、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在すると判定される。
　ステップＳ６４において、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在すると判定された場合、処理は、ステップＳ６５に進む。
　ステップＳ６５において、フラグメントデマルチプレクサ１８２、およびＴＴデコーダ１８３は、図２３のフローチャートを参照して後述するＴＴデコード処理を実行する。
　ここで、図２３のフローチャートを参照して図２２のステップＳ６５のＴＴデコード処理の詳細な例について説明する。
　ステップＳ８１において、フラグメントデマルチプレクサ１８２は、各「Fragment」の「moof」の「ttsd」をチェックする。
　ステップＳ８２において、フラグメントデマルチプレクサ１８２は、当該「Fragment」にＴＴＭＬのドキュメントインスタンスが格納されているか否かを判定する。このとき、「moof」の下位に「ttsd」が設けられている「Fragment」は、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」と判定される。一方、「moof」に「ttsd」が設けられていない「Fragment」は、ＴＴＭＬのドキュメントインスタンスが格納されていない「Fragment」（オーディオデータ、ビデオデータなどの「Fragment」）と判定される。
　ステップＳ８２において、当該「Fragment」にＴＴＭＬのドキュメントインスタンスが格納されていると判定された場合、処理は、ステップＳ８３に進む。
　ステップＳ８３において、ＴＴデコーダ１８３は、「Fragment」の「moof」の「ttsd」の記述に基づいて、当該「Fragment」に格納されているＴＴＭＬのドキュメントインスタンスのタイプを判定する。このとき、「ttsd」の記述が「initFlag：“true”」であった場合、当該「Fragment」には、「Initialization　Document　instance」が格納されていると判定される。一方、「ttsd」の記述が「initFlag：“false”」であった場合、当該「Fragment」には、「Body　Document　instance」が格納されていると判定される。
　ステップＳ８３の処理で「Initialization　Document　instance」が格納されていると判定された場合、処理は、ステップＳ８４に進む。
　ステップＳ８４において、ＴＴデコーダ１８３は、ＴＴデコーダ１８３は、「unsined　id（16）document-id；」のフィールドに記述された識別子を取得する。
　ステップＳ８５において、ＴＴデコーダ１８３は、ステップＳ８４で取得した識別子を予め記憶している識別子と比較して、「Initialization　Document　instance」に変更があったか否かを判定する。なお、「Initialization　Document　instance」が最初に受信されたときは、「Initialization　Document　instance」に変更があったと判定されることになる。
　ステップＳ８５において、「Initialization　Document　instance」に変更があったと判定された場合、処理は、ステップＳ８６に進む。
　ステップＳ８６において、ＴＴデコーダ１８３は、「Fragment」の中の「mdat」の「Sample」の「unsined　id（16）document-id；」のフィールドに記述された識別子を記憶する。なお、例えば、複数のチャンネルでコンテンツがストリーミング放送されている場合、当該識別子は、チャンネルに対応付けられて記憶される。
　ステップＳ８７において、ＴＴデコーダ１８３は、「mdat」の「Sample」の中に格納された「Initialization　Document　instance」の記述を解析（デコード）する。
　ステップＳ８８において、ＴＴデコーダ１８３は、ステップＳ８７での解析結果に基づいて、レンダリングコンテクストを設定する。
　なお、ステップＳ８５において、「Initialization　Document　instance」に変更がなかったと判定された場合、ステップＳ８６乃至ステップＳ８８の処理はスキップされる。
　一方、ステップＳ８３の処理で、「Body　Document　instance」が格納されていると判定された場合、処理は、ステップＳ８９に進む。
　ステップＳ８９において、ＴＴデコーダ１８３は、「mdat」の「Sample」の中に格納された「Body　Document　instance」を解析（デコード）する。
　ステップＳ９０において、ＴＴデコーダ１８３は、ステップＳ８９での解析結果に基づいて、サブタイトルの表示データを生成する。ここで生成されたサブタイトルの表示データは、表示時刻に係る情報とともに、表示制御部１８５に供給される。
　また、ステップＳ８２において、当該「Fragment」にＴＴＭＬのドキュメントインスタンスが格納されていないと判定された場合、処理は、図２２のステップＳ６６に進む。
　このようにして、ＴＴデコード処理が実行される。
　図２２の説明に戻る。ステップＳ６４において、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在しないと判定された場合、処理は、ステップＳ６６に進む。
　ステップＳ６６において、コンテンツデコーダ１８４は、「mdat」の「Sample」の中に格納されたオーディオデータ、ビデオデータなどをデコードする。
　ステップＳ６７において、コンテンツデコーダ１８４は、ステップＳ６６の処理の結果得られた画像の表示データ、音声の出力データなどを出力する。ここで生成された画像の表示データ、音声の出力データなどは、表示時刻、出力時刻などに係る情報とともに表示制御部１８５に供給される。
　ステップＳ６８において、表示制御部１８５は、表示時刻に係る情報などに基づいて、コンテンツの画像にサブタイトルを重畳して表示させるための画像信号を生成して、図示せぬディスプレイなどに供給する。また、表示制御部１８５は、出力時刻に係る情報などに基づいて、コンテンツの音声を出力させるための音声信号を生成し、図示せぬスピーカなどに供給する。
　すなわち、図２２のステップＳ６７の処理で生成された画像の表示データ、音声の出力データと、図２３のステップＳ９０の処理で生成されたサブタイトルの表示データが同期して表示または出力される。
　ステップＳ６９において、「Fragmented Movie」が終了したか否かが判定される。例えば、図８に示される「Movie Fragment RandomAccess(mfra)」が受信された場合、「Fragmented Movie」が終了したと判定される。また、例えば、ユーザが受信を停止するように指令した場合、「Fragmented Movie」が終了したと判定される。
　ステップＳ６９において、まだ、「Fragmented Movie」が終了していないと判定された場合、処理は、ステップＳ６３に戻る。一方、ステップＳ６９において、「Fragmented Movie」が終了したと判定された場合、処理は、終了する。
　このようにして、コンテンツ再生処理が実行される。
　ところで、以上においては、図９を参照して上述したように、ＴＴＭＬで記述された情報が含まれる場合、「moov.trak.mdia.minf.stbl.stsd」の「sampleEntry」には、４ＣＣの「ttml」が記述されるようにすると説明した。しかし、「moov.trak.mdia.minf.stbl.stsd」に、さらに「Initialization　Document　instance」が格納されるようにすることも可能である。
　図２４は、「Initialization　Document　instance」が格納されるようにした場合の「moov」の「BOX」の構成を説明する図である。同図に示されるように、「moov.trak.mdia.minf.stbl.stsd」の「sampleEntry」には、図９の場合と同様に、４ＣＣの「ttml」が記述されているが、これに続いて「TTconfig｛・・・」という記述がなされている。
　そして、図２４の「TTconfig｛・・・」という記述において、「unsined　id（16）document-id；」のフィールドが設けられている。これは、図１２を参照して上述した場合と同様に、ＴＴＭＬのドキュメントインスタンスを識別するための識別子が記述されるフィールドとされる。この識別子は、例えば、個々のドキュメントインスタンスに付与されたＩＤやバージョンなどとされる。当然、ドキュメントインスタンスに変更があった場合、上記の識別子も変更されるので、例えば、受信機がドキュメントインスタンスに変更があったか否かを判定することが可能となる。
　また、図２４に示される「unsined　int（16）text-length；」のフィールドには、「unsined　int（8）text［text-length］；」のフィールドに格納されるテキストのテキスト長が格納される。図２４に示される「unsined　int（8）text［text-length］；」のフィールドに、ＴＴＭＬドキュメントインスタンスが格納されるようにする。図２４の例の場合、「unsined　int（8）text［text-length］；」のフィールドには、「Initialization　Document　instance」のみが格納され、「Body　Document　instance」は格納されない。
　さらに、図２４に示されるように「moov」を構成する場合、「moof」の「traf」の下位の階層の「BOX」である「ttsd」に、「initFlag：“true”」または「initFlag：“false”」を記述する必要はない（記述してもよいが、無意味な情報となる）。すなわち、いまの場合、各「Fragment」の中の「mdat」の「Sample」として格納されるＴＴＭＬのドキュメントインスタンスは、「Body　Document　instance」のみとなる。従って、当該「Fragment」に格納されているＴＴＭＬドキュメントインスタンスが、「Initialization　Document　instance」であるか、「Body　Document　instance」を表す必要はない。
　さらに、図２４に示されるように「moov」を構成する場合、例えば、ＩＰＴＶサーバ１２２のＴＴフラグメント生成部１４１が、「Fragmented Movie」のデータを生成する際に、「moov」の「stsd」の「sampleEntry」に、４ＣＣの「ttml」を記述し、「moov.trak.mdia.hdlr」の「HandlerType」には、「text」と記述する。また、ＴＴフラグメント生成部１４１は、「moov」の「stsd」に図２４の「TTconfig｛・・・」という記述を追加する。なお、このとき、「unsined　int（8）text［text-length］；」のフィールドには、「Initialization　Document　instance」が格納されることになる。
　図２４に示されるように「moov」を構成する場合、例えば、ＩＰＴＶクライアント１２３のフラグメントデマルチプレクサ１８２が、「Fragmented Movie」の「moov」の「stsd」の「sampleEntry」の記述を解析し、当該「Fragmented Movie」には、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在しているか否かを判定する。ここで、ＴＴＭＬのドキュメントインスタンスが格納された「Fragment」が存在していると判定された場合（すなわち、「stsd」の「sampleEntry」に、４ＣＣの「ttml」が記述されていた場合）、「TTconfig｛・・・」という記述がＴＴデコーダ１８３に供給される。
　そして、ＴＴデコーダ１８３は、「unsined　id（16）document-id；」のフィールドに記述された識別子を取得し、予め記憶している識別子と比較して、「Initialization　Document　instance」に変更があったか否かを判定する。「Initialization　Document　instance」に変更があったと判定された場合、ＴＴデコーダ１８３は、「unsined　id（16）document-id；」のフィールドに記述された識別子を記憶する。なお、例えば、複数のチャンネルでコンテンツがストリーミング放送されている場合、当該識別子は、チャンネルに対応付けられて記憶される。
　さらに、ＴＴデコーダ１８３は、「unsined　int（8）text［text-length］；」のフィールドに格納されている「Initialization　Document　instance」の記述を解析（デコード）する。そして、解析結果に基づいて、レンダリングコンテクストが設定される。
　図２４に示されるように「moov」を構成する場合、図２５に示されるように、Fragment１、Fragment２の各「Fragment」の「mdat」の「Sample」として格納されたＴＴＭＬのドキュメントインスタンスが解析されてサブタイトルが表示される。
　この例では、Fragment１のmdat１に図１５に示される「Body　Document　instance」（Body instance１）が格納されていたものとする。さらに、Fragment２のmdat２に図１７に示される「Body　Document　instance」（Body instance２）が格納されていたものとする。
　図２５の例では、「moov」の「stsd」に格納された「Initialization　Document　instance（Init instance）」に基づいてレンダリングコンテクストが設定されている。その後、時刻ｔ１において、Fragment１のmdat１のSample１に格納されたBody instance１に基づいて、図１６に示されるようなサブタイトルが表示されている。さらに、その後、時刻ｔ２において、Fragment２のmdat２のSample２に格納されたBody instance２に基づいて、図１８に示されるようなサブタイトルが表示されている。
　なお、上述した時刻ｔ１および時刻ｔ２は、moov.trak.mdia.minf.stbl.stts、または、moof.traf.tfdtに記述されるそのmoofに対応する最初のmdatに格納される最初の「Sample」の「decoding time」に基づいて算出される。
　このように、「moov.trak.mdia.minf.stbl.stsd」に、さらに「Initialization　Document　instance」が格納されるようにしてもよい。
　なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
　図２６において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
　入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
　上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
　なお、この記録媒体は、図２６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
　なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
　前記サブタイトルフラグメント生成部は、
　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加する
　ストリーミング配信装置。
（２）　前記サブタイトルフラグメント生成部は、
　前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報とともに、前記ＴＴＭＬドキュメントインスタンスが記述されたサンプルを、前記フラグメントに格納する
　（１）に記載のストリーミング配信装置。
（３）　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備える
　（１）または（２）に記載のストリーミング配信装置。
（４）　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備え、
　前記ムービーヘッダ生成部は、フラグメント区分識別情報に、前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスを格納し、
　前記フラグメントのヘッダ情報に、前記インスタンス区分識別情報が付加されない
　（１）または（２）に記載のストリーミング配信装置。
（５）　コンテンツフラグメント生成部が、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、
　サブタイトルフラグメント生成部が、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、
　前記サブタイトルフラグメント生成部により、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報が付加される
　ストリーミング配信方法。
（６）　コンピュータを、
　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
　前記サブタイトルフラグメント生成部は、
　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置として機能させる
　プログラム。
（７）　（６）に記載のプログラムが記録されている記録媒体。
（８）　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部と
　を備えるストリーミング受信装置。
（９）　前記ＴＴＭＬデコード部は、
　前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別してデコードする
　（８）に記載のストリーミング受信装置。
（１０）　前記ＴＴＭＬデコード部は、
　前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別し、
　　前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであると識別された場合、
　　前記フラグメントに格納されたサンプルにおける前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報に基づいて、前記ＴＴＭＬドキュメントインスタンスをデコードするか否かを判定するデコード判定部を備える
　（８）または（９）に記載のストリーミング受信装置。
（１１）　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、
　前記ＴＴＭＬデコード部が、フラグメント区分識別情報に含まれる前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスをデコードする
　（８）または（９）に記載のストリーミング受信装置。
（１２）　ムービー受信部が、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信し、
　ＴＴＭＬ判定部が、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定し、
　ＴＴＭＬデコード部が、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードする
　ストリーミング受信方法。
（１３）　コンピュータを、
　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置として機能させる
　プログラム。
（１４）　（１３）に記載のプログラムが記録されている記録媒体。
（１５）　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
　前記サブタイトルフラグメント生成部は、
　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置と、
　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置と
　から成るストリーミングシステム。
　１００　ストリーミングシステム，　１２１　ＴＴサーバ，　１２２　ＩＰＴＶサーバ，　１２３　ＩＰＴＶクライアント，　１４１　ＴＴフラグメント生成部，　１４２　サンプル挿入部，　１５１　タイムスタンプ生成部，　１６１　コンテンツサンプル生成部，　１６２　フラグメントマルチプレクサ，　１６３　フラグメント配信部，　１８１　計時部，　１８２　フラグメントデマルチプレクサ，　１８３　ＴＴデコーダ，　１８４　コンテンツデコーダ，　１８５　表示制御部

Claims (15)

  1. 　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
    　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
    　前記サブタイトルフラグメント生成部は、
    　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加する
    　ストリーミング配信装置。
  2. 　前記サブタイトルフラグメント生成部は、
    　前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報とともに、前記ＴＴＭＬドキュメントインスタンスが記述されたサンプルを、前記フラグメントに格納する
    　請求項１に記載のストリーミング配信装置。
  3. 　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備える
    　請求項１に記載のストリーミング配信装置。
  4. 　複数の前記フラグメントから成るムービーのヘッダ情報において、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報を付加するムービーヘッダ生成部をさらに備え、
    　前記ムービーヘッダ生成部は、フラグメント区分識別情報に、前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスを格納し、
    　前記フラグメントのヘッダ情報に、前記インスタンス区分識別情報が付加されない
    　請求項１に記載のストリーミング配信装置。
  5. 　コンテンツフラグメント生成部が、ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、
    　サブタイトルフラグメント生成部が、前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成し、
    　前記サブタイトルフラグメント生成部により、前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報が付加される
    　ストリーミング配信方法。
  6. 　コンピュータを、
    　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
    　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
    　前記サブタイトルフラグメント生成部は、
    　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置として機能させる
    　プログラム。
  7. 　請求項６に記載のプログラムが記録されている記録媒体。
  8. 　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
    　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
    　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部と
    　を備えるストリーミング受信装置。
  9. 　前記ＴＴＭＬデコード部は、
    　前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別してデコードする
    　請求項８に記載のストリーミング受信装置。
  10. 　前記ＴＴＭＬデコード部は、
    　前記フラグメントのヘッダ情報に含まれる、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報に基づいて、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスの区分を識別し、
    　　前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであると識別された場合、
    　　前記フラグメントに格納されたサンプルにおける前記サブタイトルに係るＴＴＭＬドキュメントインスタンスの記述内容を個々に識別する記述内容識別情報に基づいて、前記ＴＴＭＬドキュメントインスタンスをデコードするか否かを判定するデコード判定部を備える
    　請求項８に記載のストリーミング受信装置。
  11. 　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、
    　前記ＴＴＭＬデコード部が、フラグメント区分識別情報に含まれる前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスをデコードする
    　請求項８に記載のストリーミング受信装置。
  12. 　ムービー受信部が、ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信し、
    　ＴＴＭＬ判定部が、前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定し、
    　ＴＴＭＬデコード部が、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードする
    　ストリーミング受信方法。
  13. 　コンピュータを、
    　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
    　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
    　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置として機能させる
    　プログラム。
  14. 　請求項１３に記載のプログラムが記録されている記録媒体。
  15. 　ストリーミング配信されるコンテンツのデータが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するコンテンツフラグメント生成部と、
    　前記コンテンツに表示されるサブタイトルに係るＴＴＭＬ（TimedText　MarkUp　Language)ドキュメントインスタンスが格納されたフラグメントであって、ＭＰ４ファイルフォーマットにより規定されたフラグメントを生成するサブタイトルフラグメント生成部とを備え、
    　前記サブタイトルフラグメント生成部は、
    　前記フラグメントのヘッダ情報に、前記フラグメントに格納された前記ＴＴＭＬドキュメントインスタンスが前記サブタイトルに係るレンダリングコンテクストを指定するＴＴＭＬドキュメントインスタンスであるか否かを識別するインスタンス区分識別情報を付加するストリーミング配信装置と、
    　ＭＰ４ファイルフォーマットにより規定されたフラグメントであって、複数のフラグメントから成るムービーのデータを受信するムービー受信部と、
    　前記ムービーのヘッダ情報に付加された、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれることを表すフラグメント区分識別情報に基づいて、前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれるか否かを判定するＴＴＭＬ判定部と、
    　前記ムービーに前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントが含まれると判定された場合、前記ＴＴＭＬドキュメントインスタンスが格納されたフラグメントを抽出してデコードするＴＴＭＬデコード部とを備えるストリーミング受信装置と
    　から成るストリーミングシステム。
PCT/JP2012/067719 2011-07-29 2012-07-11 ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体 WO2013018517A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013526799A JP6062363B2 (ja) 2011-07-29 2012-07-11 ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体
RU2014102004A RU2618373C2 (ru) 2011-07-29 2012-07-11 Устройство и способ распределения потоковой передачи данных, устройство и способ приема потоковой передачи данных, система потоковой передачи данных, программа и носитель записи
KR1020147001308A KR102023788B1 (ko) 2011-07-29 2012-07-11 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체
IN513CHN2014 IN2014CN00513A (ja) 2011-07-29 2012-07-11
BR112014001577A BR112014001577A8 (pt) 2011-07-29 2012-07-11 dispositivo e método de distribuição de transmissão, programa, meio de gravação, dispositivo e método de recepção de trasmissão, e, sistema de transmissão
CN201280036267.5A CN103688532B (zh) 2011-07-29 2012-07-11 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统
EP20120819663 EP2739047A4 (en) 2011-07-29 2012-07-11 STREAMING DISTRIBUTION DEVICE AND METHOD, STREAMING RECEPTOR DEVICE AND METHOD, STREAMING SYSTEM, PROGRAM AND RECORDING MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161513131P 2011-07-29 2011-07-29
US61/513131 2011-07-29

Publications (1)

Publication Number Publication Date
WO2013018517A1 true WO2013018517A1 (ja) 2013-02-07

Family

ID=47629048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067719 WO2013018517A1 (ja) 2011-07-29 2012-07-11 ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体

Country Status (9)

Country Link
US (2) US9113178B2 (ja)
EP (1) EP2739047A4 (ja)
JP (1) JP6062363B2 (ja)
KR (1) KR102023788B1 (ja)
CN (1) CN103688532B (ja)
BR (1) BR112014001577A8 (ja)
IN (1) IN2014CN00513A (ja)
RU (1) RU2618373C2 (ja)
WO (1) WO2013018517A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173444A (ja) * 2014-02-21 2015-10-01 日本放送協会 受信機
JPWO2017010359A1 (ja) * 2015-07-16 2018-04-26 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140102201A (ko) 2011-12-16 2014-08-21 소니 주식회사 수신 장치 및 그 제어 방법, 배신 장치 및 배신 방법, 프로그램, 및 배신 시스템
CN104581341B (zh) 2013-10-24 2018-05-29 华为终端有限公司 一种字幕显示方法及字幕显示设备
JP6399686B2 (ja) * 2014-02-21 2018-10-03 日本放送協会 受信機
WO2015126117A1 (ko) * 2014-02-23 2015-08-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP6384119B2 (ja) * 2014-05-15 2018-09-05 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
US10582269B2 (en) * 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
EP3169072A4 (en) 2014-07-11 2017-11-15 LG Electronics Inc. -1- Method and device for transmitting and receiving broadcast signal
WO2016017961A1 (ko) 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
CN107005733B (zh) * 2014-12-19 2020-06-16 索尼公司 发送装置、发送方法、接收装置以及接收方法
JP6610019B2 (ja) * 2015-06-16 2019-11-27 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
WO2017043836A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
CN105847724B (zh) * 2016-04-12 2018-12-07 深圳市极酷威视科技有限公司 一种视频录制断电保护方法及装置
JPWO2018021107A1 (ja) * 2016-07-26 2019-05-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106792071A (zh) * 2016-12-19 2017-05-31 北京小米移动软件有限公司 字幕处理方法及装置
US10176889B2 (en) * 2017-02-09 2019-01-08 International Business Machines Corporation Segmenting and interpreting a document, and relocating document fragments to corresponding sections
US10169325B2 (en) 2017-02-09 2019-01-01 International Business Machines Corporation Segmenting and interpreting a document, and relocating document fragments to corresponding sections
USD884708S1 (en) 2018-03-05 2020-05-19 Samsung Electronics Co., Ltd. Intelligent docking station
CN108449651B (zh) * 2018-05-24 2021-11-02 腾讯科技（深圳）有限公司 字幕添加方法、装置、设备及存储介质
CN110545466B (zh) * 2018-05-29 2021-07-06 北京字节跳动网络技术有限公司 基于网页的媒体文件的播放方法、装置及存储介质
CN111147896A (zh) * 2018-11-05 2020-05-12 中兴通讯股份有限公司 一种字幕数据处理方法、装置、设备和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215203A (ja) * 2002-11-14 2004-07-29 Matsushita Electric Ind Co Ltd 伝送データ構造及びそれを伝送するための方法並びに装置
JP2005086362A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd データ多重化方法、データ送信方法およびデータ受信方法
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
JP2008109691A (ja) * 2007-11-26 2008-05-08 Sony Corp ファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体
JP2010532605A (ja) * 2007-07-02 2010-10-07 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR063400A0 (en) * 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7558296B2 (en) * 2002-06-26 2009-07-07 Panasonic Corporation Multiplexer and demultiplexer
ATE339055T1 (de) * 2003-11-06 2006-09-15 Matsushita Electric Ind Co Ltd OPTIMIERTE ÜBERTRAGUNG VON TEXTBEISPIEL- FORMATBESCHREIBUNGEN FÜR ßSTREAMING TIMED TEXTß
KR20050078907A (ko) * 2004-02-03 2005-08-08 엘지전자 주식회사 고밀도 광디스크의 서브타이틀 재생방법과 기록재생장치
JP4356645B2 (ja) * 2005-04-28 2009-11-04 ソニー株式会社 字幕生成装置及び方法
KR101143670B1 (ko) * 2007-08-20 2012-05-09 노키아 코포레이션 스트리밍된 데이터의 조직화 방법, 컴퓨터 판독가능한 저장 매체, 수신기 및 장치
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
JP5585047B2 (ja) 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
KR101759959B1 (ko) * 2010-07-19 2017-07-20 엘지전자 주식회사 미디어 컴포넌트 송수신 방법 및 그를 이용한 송수신 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215203A (ja) * 2002-11-14 2004-07-29 Matsushita Electric Ind Co Ltd 伝送データ構造及びそれを伝送するための方法並びに装置
JP2005086362A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd データ多重化方法、データ送信方法およびデータ受信方法
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
JP2010532605A (ja) * 2007-07-02 2010-10-07 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法
JP2008109691A (ja) * 2007-11-26 2008-05-08 Sony Corp ファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173444A (ja) * 2014-02-21 2015-10-01 日本放送協会 受信機
JPWO2017010359A1 (ja) * 2015-07-16 2018-04-26 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2021185714A (ja) * 2015-07-16 2021-12-09 ソニーグループ株式会社 送信方法および送信装置
JP7259901B2 (ja) 2015-07-16 2023-04-18 ソニーグループ株式会社 送信方法および送信装置

Also Published As

Publication number Publication date
BR112014001577A8 (pt) 2018-08-28
CN103688532B (zh) 2018-05-04
US20150304730A1 (en) 2015-10-22
CN103688532A (zh) 2014-03-26
JP6062363B2 (ja) 2017-01-18
RU2014102004A (ru) 2015-07-27
EP2739047A1 (en) 2014-06-04
KR20140044861A (ko) 2014-04-15
EP2739047A4 (en) 2015-03-25
JPWO2013018517A1 (ja) 2015-03-05
KR102023788B1 (ko) 2019-09-20
IN2014CN00513A (ja) 2015-04-03
BR112014001577A2 (pt) 2017-02-21
US20130185760A1 (en) 2013-07-18
US9113178B2 (en) 2015-08-18
RU2618373C2 (ru) 2017-05-03

Similar Documents

Publication Publication Date Title
JP6062363B2 (ja) ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体
JP6122781B2 (ja) 受信装置及びその制御方法、配信装置及び配信方法、プログラム、並びに配信システム
CN106471574B (zh) 信息处理装置和信息处理方法
RU2477883C2 (ru) Сегментированные метаданные и индексы для потоковых мультимедийных данных
KR101516325B1 (ko) Ｉｓｏ 기반 미디어 파일 포맷으로 ｍｐｅｇ－２전송스트림을 저장 및 재생하는 방법 및 장치
TWI632810B (zh) Data generating device, data generating method, data reproducing device, and data reproducing method
US20110119396A1 (en) Method and apparatus for transmitting and receiving data
JP6576635B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7468575B2 (ja) 受信装置および受信方法
KR20160135301A (ko) 시청각 콘텐트 아이템 데이터 스트림들
TW201322767A (zh) 發送裝置、接收再生裝置、發送方法及接收再生方法
US10115432B2 (en) Method and apparatus for constructing sensory effect media data file, method and apparatus for playing sensory effect media data file, and structure of the sensory effect media data file
JP6876924B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2017029990A1 (ja) 受信装置、送信装置、およびデータ処理方法
KR101324427B1 (ko) 장면 기술자를 이용하여 ｍｐｅｇ-2 전송스트림을 포함하는 콘텐츠 저작/재생 장치 및 방법
JP2021119712A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
JPWO2012164864A1 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
KR20110117568A (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
CA3015063A1 (en) Transmission device, transmission method, reception device, and reception method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819663

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013526799

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20147001308

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014102004

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012819663

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014001577

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014001577

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140122