WO2016194549A1 - 送信装置及び送信方法、並びに受信装置及び受信方法 - Google Patents

送信装置及び送信方法、並びに受信装置及び受信方法 Download PDF

Info

Publication number
WO2016194549A1
WO2016194549A1 PCT/JP2016/063756 JP2016063756W WO2016194549A1 WO 2016194549 A1 WO2016194549 A1 WO 2016194549A1 JP 2016063756 W JP2016063756 W JP 2016063756W WO 2016194549 A1 WO2016194549 A1 WO 2016194549A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
display
information
transmission
video
Prior art date
Application number
PCT/JP2016/063756
Other languages
English (en)
French (fr)
Inventor
北里 直久
義治 出葉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/569,644 priority Critical patent/US10797811B2/en
Priority to DE112016002504.1T priority patent/DE112016002504T5/de
Publication of WO2016194549A1 publication Critical patent/WO2016194549A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information

Definitions

  • the technology disclosed in the present specification includes a transmission device and a transmission method for transmitting information to be displayed overlaid on a video of a broadcast program, a receiving device for receiving and displaying information to be displayed in an overlay on a video of a broadcast program, and It relates to the receiving method.
  • Digital broadcasting services that employ MPEG2-TS as the media transport method are in operation around the world.
  • MPEG2-TS MPEG Media Transport
  • MMT MPEG Media Transport
  • the MMT system can be easily used in a combination of different transmission paths, and can be used in common for a plurality of broadcast and communication transmission paths.
  • a data broadcasting application can be transmitted by a broadcast wave, and various information linked to an on-air broadcasting program can be provided through the data broadcasting application.
  • a broadcasting system that broadcasts annotation data to be displayed in a video frame together with video data of a program has been proposed (see, for example, Patent Document 2).
  • a broadcasting system has been proposed that provides navigation information that reflects the contents of a moving image for each arbitrary section of a broadcast program.
  • the navigation information represents hyperlinks, buttons, character information, etc. to other contents.
  • a menu consisting of a plurality of buttons corresponding to the country being introduced and a plurality of navigation information representing supplementary explanations are provided (see, for example, Patent Document 3).
  • An object of the technology disclosed in the present specification is to provide an excellent transmission device and transmission method capable of transmitting information to be displayed overlaid on a broadcast program video.
  • a further object of the technology disclosed in the present specification is to provide an excellent receiving apparatus and receiving method capable of receiving and displaying information to be displayed overlaid on a video of a broadcast program.
  • the data transmission unit of the transmission device includes information on the position and size of the object on the screen and display data of the object. It is configured to transmit the data including.
  • the data transmission unit of the transmission device intermittently transmits the data together with a time stamp indicating the display time of the data. It is configured as follows.
  • the data transmission unit of the transmission device includes interpolation information for obtaining an interpolation position of the object until the next timing.
  • the data is transmitted intermittently.
  • the data transmission unit of the transmission device includes the interpolation information including at least one of velocity vector information or angular velocity information of the object. Is configured to send.
  • the data transmission unit of the transmission device is configured to transmit the data including the link destination information of the object. Yes.
  • the data transmission unit of the transmission device has a predetermined format that specifies the position and size of the object on the screen and a reference destination of display data.
  • the document file described in the above item is transmitted.
  • the data transmission unit of the transmission device packages the document file and a display data file referenced from the document file. , Configured to send by package.
  • the data transmission unit of the transmission device specifies whether to hold each display data included in the package and a retention time limit. Configured to send.
  • the data transmission unit of the transmission device refers to the display data file that is packaged and transmitted together with another document file.
  • the document file is further transmitted.
  • a transmission step of transmitting a broadcast signal including video A data transmission step of transmitting data for displaying an object moving in synchronization with the movement of the video; Is a transmission method.
  • a receiver for receiving a broadcast signal including video A data receiving unit for receiving data for displaying an object moving in synchronization with the movement of the video; A control unit that executes processing for displaying the object on a screen of broadcast video based on the received data; It is the receiver which comprises.
  • the data receiving unit of the receiving device includes information on a position and size of the object on a screen and display data of the object.
  • the control unit is configured to display the display data of the object at the position and size on the screen specified by the data.
  • the data reception unit of the reception device intermittently receives the data together with a time stamp indicating the display time of the data.
  • the control unit is configured to control the display timing of the object based on the display time specified by the time stamp.
  • the data reception unit of the reception device includes interpolation information for obtaining an interpolation position of the object until the next timing. Then, the data is intermittently received, and the control unit is configured to display the object at an interpolation position obtained based on the interpolation information.
  • the data receiving unit of the receiving device sets the position and size of the object on the screen and a reference destination of display data in a predetermined format. It is configured to receive the document file described in 1.
  • the data reception unit of the reception device includes a package unit including the document file and a display data file referred to from the document file. Is configured to receive.
  • the data receiving unit of the receiving device receives the package in which the necessity of holding each display data and the holding time limit are specified.
  • the control unit is configured to hold the display data until the holding time limit elapses.
  • the data receiving unit of the receiving device refers to a display data file that is packaged and transmitted together with another document file. Further receiving the document file, the control unit is configured to display the object using the display data referred to from the document file and transmitted together with the other document file as a package.
  • a receiving step for receiving a broadcast signal including video A data receiving step of receiving data for displaying an object moving in synchronization with the movement of the video; A control step for executing processing for displaying the object on the screen of the broadcast video based on the received data; Is a receiving method.
  • an excellent transmission apparatus and transmission method capable of transmitting display information of an object to be overlay displayed in accordance with the motion of a broadcast program video in time synchronization with the video is provided. can do.
  • an excellent receiving apparatus and receiving device that can receive display information of an object in time synchronization with a broadcast signal and display the object in an overlay manner according to the motion of the video.
  • a method can be provided.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a digital broadcasting system 10.
  • FIG. 2 is a diagram showing a protocol stack 200 in the digital broadcasting system 10 using the MMT method.
  • FIG. 3 is a diagram illustrating a configuration example of the broadcast transmission system 11.
  • FIG. 4 is a diagram illustrating a configuration example of the receiver 12 that receives a broadcast signal from the broadcast transmission system 11.
  • FIG. 5 is a diagram showing an image of a broadcast signal 500 transmitted by the MMT method.
  • FIG. 6 is a diagram showing a mechanism for designating each asset related to the broadcast service from the MP table in the PA message.
  • FIG. 7 is a diagram illustrating a syntax example 700 of the MP table.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a digital broadcasting system 10.
  • FIG. 2 is a diagram showing a protocol stack 200 in the digital broadcasting system 10 using the MMT method.
  • FIG. 3 is a diagram illustrating a configuration example of the broadcast transmission
  • FIG. 8 is a diagram illustrating an example syntax 800 of the MPU timestamp descriptor.
  • FIG. 9 is a diagram for explaining a mechanism for acquiring a file related to a data broadcast transmitted by MMT.
  • FIG. 10 is a diagram showing the configuration of MPU and MFU of general-purpose data.
  • FIG. 11 is a diagram illustrating a syntax example 1100 of the MFU of general-purpose data.
  • FIG. 12 is a diagram showing a display example of a broadcast screen on which a display object synchronized with the video of the broadcast program is displayed.
  • FIG. 13 is a diagram showing a configuration example of an MPU that transmits a general-purpose data stream in which a moving object list description document and display data are packaged.
  • FIG. 14 is a diagram showing a display example of display objects described by the moving object list description document shown in FIG.
  • FIG. 15 is a diagram illustrating a configuration example of an MPU including only the MFU of the moving object list description document that does not include display data.
  • FIG. 16 is a diagram illustrating a syntax example 1600 of additional information (mold_info) in an MFU that transmits a moving object list description document.
  • FIG. 17 is a diagram illustrating a syntax example 1700 of additional information (material_info) in an MFU that transmits a material (display data).
  • FIG. 18 is a diagram illustrating a syntax example 1800 of the moving object list description document.
  • FIG. 19 is a diagram for explaining a mechanism for interpolating the display position of the display object based on the interpolation information.
  • FIG. 20 is a diagram illustrating a scenario in which a moving object list description document is transmitted as a general-purpose data stream.
  • FIG. 21 is a flowchart showing a processing procedure when the receiver receives a general-purpose data stream.
  • FIG. 22 is a flowchart showing a processing procedure for the overlay display of the display object synchronized with the video based on the general-purpose data stream by the receiver.
  • FIG. 1 schematically shows a configuration example of a digital broadcasting system 10.
  • the illustrated digital broadcast system 10 includes a broadcast transmission system 11 and a receiver 12.
  • the broadcast transmission system 11 applies the MMT system for transmission of broadcast signals, and transmits each component constituting the broadcast service as an IP (Internet Protocol) packet. Specifically, the broadcast transmission system 11 puts the video signal and audio signal codes of the broadcast program, the content related to the broadcast program (such as a data broadcast application) and the subtitle signal on an MMTP (MMT Protocol) payload. The MMTP packet is converted into an IP packet and transmitted in the form of a TLV (Type Length Value) packet on the broadcast transmission path.
  • TLV Type Length Value
  • components related to the broadcast program main body such as video, audio, and subtitles are synchronized media.
  • content that is, a data broadcasting application encoded in HTML (Hyper Text Transfer Protocol) 5 format or the like, is a non-timed media.
  • the broadcast transmission system 11 also performs MMT-SI signaling (notification), which is control information related to a broadcast service that transmits synchronous and asynchronous media.
  • MMT-SI includes a message, a table, and a descriptor.
  • the table is transmitted as a container for messages. Some parameters shown in messages and tables are described in descriptor format.
  • the receiver 12 receives the TLV packet sent from the broadcast transmission system 11 through the broadcast transmission path.
  • the receiver 12 then decodes a synchronous transmission medium constituting a broadcast program such as video, audio, and subtitles from the received packet, and presents images, audio, and subtitles.
  • the receiver 12 acquires each data file for data broadcasting from the received packet, the receiver 12 starts an application engine such as an HTML browser and displays the data broadcast linked to the broadcast program and the video of the TV program. Display in part or all of the screen area.
  • the receiver 12 also receives MMT-SI that is control information related to the broadcast service. Based on the MMT-SI, the receiver 12 performs reception control of transmission media such as video, audio, captions, and data broadcasting, and output (display, audio output) control on the receiver 12.
  • MMT-SI that is control information related to the broadcast service.
  • the receiver 12 Based on the MMT-SI, the receiver 12 performs reception control of transmission media such as video, audio, captions, and data broadcasting, and output (display, audio output) control on the receiver 12.
  • FIG. 2 shows a protocol stack 200 in the digital broadcasting system 10 using the MMT method.
  • One broadcast service is composed of video 201, audio 202, subtitle 203, application 204, and content / download 205 components.
  • the video 201 is encoded 211 in the HEVC (High Efficiency Video Coding) format
  • the audio 202 is encoded 212 in the AAC (Advanced Audio Coding) format
  • the subtitle 203 is subtitle encoded 213.
  • the application 204 includes EPG (Electric Program Guide), but is encoded 214 in, for example, HTML5 format.
  • the video program and audio signal encoding components 211 and 212 of the broadcast program are MFU (Media Fragment Unit) and MPU (Media Processing Unit), which are put on the MMTP payload and converted into an MMTP packet.
  • the subtitle signal encoding component 213 of the broadcast program and the application (data / content) encoding component 214 related to the broadcast program are also MFU and MPU, and are put in the MMTP payload and converted into an MMTP packet.
  • MMT-SI 221 which is control information related to MMT which is a media transport system (indicating the configuration of a broadcast program) is also put into an MMTP packet on the MMTP payload.
  • the data transmission method 215 of the content download 205 includes four types: a caption / text super transmission method, an application transmission method, an event / message transmission method, and a general-purpose data transmission method.
  • the application transmission method is used for a data transmission service asynchronous with a broadcast program.
  • the general-purpose data transmission method is a method for transmitting various types of data in a synchronous or asynchronous manner. Data used by a player that presents data other than video, audio, and subtitles and data used in multimedia services. It can be applied to streaming.
  • the MMTP packet is converted into an IP packet.
  • An NTP (Network Time Protocol) packet 206 including information on the current time for the synchronous media is also converted into an IP packet. Further, these IP packets are converted into TLV packets in the TLV layer 240 and transmitted through the broadcast transmission path 250 which is the lowermost physical layer.
  • a TLV-SI 241 related to a TLV multiplexing format for multiplexing IP packets is also converted into a TLV packet and transmitted through the broadcast transmission path 250.
  • the transmission slot in which the TLV packet is multiplexed is specified by using TLV stream identification information (TLV_stream_id) from a TMCC (Transmission and Multiplexing Configuration Control) signal 251 of the transmission path.
  • TLV_stream_id TLV stream identification information
  • TMCC Transmission and Multiplexing Configuration Control
  • FIG. 3 shows a configuration example of a broadcast transmission system 11 that transmits a broadcast signal having a protocol stack structure as shown in FIG.
  • the broadcast transmission system 11 shown in the figure includes a clock unit 301, a signal transmission unit 302, a video encoder 303, an audio encoder 304, a caption / text super encoder 305, a signaling encoder 306, and a file encoder 307.
  • An electronic data processing system (Electronic Data Processing System: EDPS) 308, a TLV signaling encoder 309, an IP service multiplexer (MUX) 310, a TLV multiplexer (MUX) 311, and a modulation / transmission unit 312.
  • EDPS Electronic Data Processing System
  • the clock unit 301 generates time information synchronized with the time information acquired from the NTP server (not shown), and sends an IP packet including this time information to the IP service multiplexer 310.
  • the signal transmission unit 302 is, for example, a recording / playback device such as a studio of a TV broadcast station or a VTR, and stream data such as video, audio, subtitles, and superimpose characters, which are synchronous media, respectively, with a video encoder 303, an audio The data is sent to the encoder 304 and the subtitle / character super encoder 305.
  • the signal transmission unit 302 sends the data broadcast application, which is an asynchronous medium, and synchronous and asynchronous general-purpose data to the file encoder 307.
  • the electronic data processing system 308 is a TV broadcast station scheduler and a file supply source.
  • the electronic data processing system 308 sends a data broadcast application, which is an asynchronous medium, and synchronous and asynchronous general-purpose data to the file encoder 307.
  • the electronic data processing system 308 also sends control information indicating the configuration of the broadcast service to the signaling encoder 306. Also, the electronic data processing system 308 sends control information related to multiplexing of IP packets to the TLV signaling encoder 309.
  • the subtitle / character super encoder 305 encodes the subtitle signal and the character super signal transmitted from the signal transmission unit 302, further generates an MPU in units of presentation processing, and generates an IP packet including the MMT packet of the subtitle. Send to IP service multiplexer 310.
  • HEVC encoding of the video signal When the broadcast transmission system 11 transmits a plurality of broadcast services, HEVC encoding of the video signal, AAC encoding of the audio signal, and subtitle / text super encoding processing are performed for each broadcast service, and each broadcast service # 1 to #N are sent to IP service multiplexers 310-1,..., 310-N.
  • the signaling encoder 306 generates control information (MMT-SI) indicating the configuration of the broadcast signal based on information transmitted from the electronic data processing system 308, and an MMT packet in which the MMT-SI is arranged in the payload portion Is sent to the IP service multiplexer 310.
  • MMT-SI includes messages, tables, and descriptors (described above).
  • the signaling encoder 306 generates MMT-SI for each broadcasting service, and also generates MMT-SI for broadcasting services.
  • the file encoder 307 encodes general-purpose data used in an HTML5 format data broadcast application or data broadcast application transmitted from the signal transmission unit 302 or the electronic data processing system 308, further packetizes the MMT packet, and The containing IP packet is sent to the IP service multiplexer 310.
  • the broadcast transmission system 11 is equipped with a plurality of IP service multiplexers 310-1,..., 310-N for each broadcast service (broadcast channel) # 1 to #N to be transmitted.
  • the IP service multiplexer 310 of the channel for each broadcast service is an IP including each of video, audio, subtitles, (broadcast service unit) MMT-SI, data broadcast application, and general-purpose data sent from each encoder 303-307.
  • the packet is multiplexed to generate a TLV packet including a broadcast signal for each broadcast service and an MMT-SI across broadcast services.
  • the TLV signaling encoder 309 Based on the information sent from the electronic data processing system 308, the TLV signaling encoder 309 generates a TLV packet in which the control information (TLV-SI) related to the multiplexing of the IP packet is arranged in the payload portion.
  • TLV-SI control information
  • the TLV multiplexer 311 multiplexes TLV packets generated by the IP service multiplexers 310-1 to 310-N and the TLV signaling encoder 309, and generates a TLV stream identified by the TLV stream identification information. To do.
  • the modulation / transmission unit 312 performs RF modulation processing on the TLV stream generated by the TLV multiplexer 311 and sends it to the broadcast transmission path.
  • the video signal transmitted from the signal transmission unit 302 is supplied to the video encoder 303.
  • the video signal is HEVC encoded and further packetized to generate an IP packet including an MMT packet of the HEVC encoded video signal. This IP packet is sent to the IP service multiplexer 310.
  • an IP packet including the MMT packet of the AAC encoded audio signal generated by the audio encoder 304 is sent to the IP service multiplexer 310 and the subtitle encoded signal generated by the subtitle / character super encoder 305 is transmitted.
  • An IP packet including the MMT packet is sent to the IP service multiplexer 310.
  • the signaling encoder 306 generates control information (MMT-SI) indicating the configuration of the broadcast signal based on information transmitted from the electronic data processing system 308, and the MMT-SI is arranged in the payload portion.
  • MMT-SI control information
  • An IP packet including the MMT packet is generated. These IP packets are sent to the IP service multiplexer 310.
  • data broadcasting applications transmitted from the signal transmission unit 302 or the electronic data processing system 308, and general-purpose data used in the data broadcasting applications are supplied to the file encoder 307.
  • the file encoder 307 encodes the data broadcasting application in HTML5 format and general-purpose data, further packetizes it, and generates an IP packet including this MMT packet. This IP packet is sent to the IP service multiplexer 310.
  • the TLV signaling encoder 309 generates a TLV packet in which the control information (TLV-SI) related to the multiplexing of the IP packet is arranged in the payload portion based on the information transmitted from the electronic data processing system 308.
  • TLV-SI control information
  • FIG. 4 shows a configuration example of the receiver 12 that receives a broadcast signal from the broadcast transmission system 11.
  • the illustrated receiver 12 includes a tuner / demodulator 401, an MMT demultiplexer (DEMUX) 402, a clock recovery unit 403, a video decoder 404, an audio decoder 405, a character super decoder 406, and a subtitle.
  • Decoder 407 multimedia (MM) cache 408, SI cache 409, broadcast system control unit 410, application (App) engine 411, communication interface (IF) 412, scaler 414, synthesis unit 415 ⁇ 418.
  • the tuner / demodulator 401 receives a broadcast signal, performs demodulation processing, and obtains a TLV stream.
  • the MMT demultiplexer 402 performs demultiplex processing and depacketization processing on this TLV stream.
  • the demultiplexer 402 includes a packet filter 402-1 and an SI filter 402-2.
  • the clock recovery unit 403 Based on the current time information included in the NTP packet filtered by the packet filter 402-1 in the MMT demultiplexer 402, the clock recovery unit 403 generates time information synchronized with this time information, and The video data is output to a video decoder 404, an audio decoder 405, a character super decoder 406, and a subtitle decoder 407, which decode the synchronous transmission media.
  • the video decoder 404 decodes the encoded video signal obtained by the MMT demultiplexer 402 to obtain a baseband video signal.
  • the audio decoder 405 decodes the encoded audio signal obtained by the MMT demultiplexer 402 to obtain a baseband audio signal.
  • the character super decoder 406 and the caption decoder 407 decode the character super and the caption encoded signal obtained by the MMT demultiplexer 402, respectively, and obtain the character super and caption display signals, respectively.
  • the broadcast system control unit 410 controls the broadcast service reception operation of the entire receiver 12 based on the MMT-SI cached in the SI cache 409. For example, when the broadcast system control unit 410 analyzes the application execution control information (MH-AIT) included in the MMT-SI and finds a data broadcast application that is instructed to start, the broadcast system control unit 410 Instructs the data broadcasting presentation process.
  • MH-AIT application execution control information
  • the application engine 411 is, for example, an HTML browser or the like, and processes a data broadcast application (HTML5 document or the like) cached in the multimedia cache 408 to generate a data broadcast display signal and an audio signal.
  • the application engine 411 acquires data files (media data used for data broadcast display, link destination applications, etc.) necessary for data broadcast display from the IP network via the communication interface 412. You can also.
  • the application engine 411 acquires the general-purpose data to be streamed and reflects it on the display of the application.
  • the scaler 414 performs a scaling process on the video signal (broadcast video) decoded by the video decoder 404 in accordance with the screen size of the receiver 12.
  • the synthesizing unit 415 synthesizes the audio signal decoded by the audio decoder 405 and the audio signal for data broadcasting reproduced by the application engine 411 to generate an audio signal for output.
  • the composition unit 416 synthesizes the character super display decoded by the character super decoder 406 and the subtitle display decoded by the subtitle decoder 407.
  • the combining unit 417 combines the broadcast video scaled by the scaler 414 and the data broadcast display signal generated by the application engine 411. Further, the synthesizing unit 418 at the subsequent stage synthesizes the broadcast video on which the display of the data broadcast is superimposed, the character super display and the subtitle display output from the synthesizing unit 416, and generates an output video signal.
  • the tuner / demodulator 401 receives a broadcast signal, performs demodulation processing, and obtains a TLV stream.
  • the MMT demultiplexer 402 performs demultiplexing processing and packetization processing on the TLV stream, and encodes each of NTP time information, video, audio, text super and subtitles, data broadcasting application, and general-purpose data.
  • the video filter 404, the audio decoder 405, the character super decoder 406, the subtitle decoder 407, the multimedia (MM) cache 408, the SI filter are extracted by the packet filter 402-1. Each is assigned to 402-2.
  • the NTP packet extracted by the demultiplexer 402 is distributed to the clock recovery unit 403.
  • the clock recovery unit 403 generates time information synchronized with the time information based on the time information put on the NTP packet. That is, the clock recovery unit 403 generates time information that matches the time information generated by the clock unit 301 on the broadcast transmission system 11 side.
  • the generated time information is output to the video decoder 404, the audio decoder 405, the character super decoder 406, and the subtitle decoder 407, respectively, for decoding each synchronous transmission medium.
  • the encoded video signal extracted by the MMT demultiplexer 402 is sent to the video decoder 404 and decoded to obtain a baseband video signal.
  • the character super encoded signal extracted by the demultiplexer 402 is sent to the character super decoder 406 to be decoded to obtain a character super display signal.
  • the caption encoded signal extracted by the demultiplexer 402 is sent to the caption decoder 407 and decoded, so that a caption display signal is obtained.
  • the broadcast system control unit 410 controls the entire reception processing operation by the receiver 12 including the processing of the data broadcast application based on the MMT-SI received via the SI filter 402-2 and the SI cache 409.
  • the application engine 411 processes the data broadcast application (HTML5 document or the like) cached in the multimedia cache 408, and generates a data broadcast display signal and an audio signal.
  • data broadcast application HTML5 document or the like
  • general-purpose data used in the data broadcasting application is streamed.
  • the acquired general-purpose data is reflected in the display of the application.
  • the scaler 414 performs a scaling process on the video signal (broadcast video) decoded by the video decoder 404.
  • the synthesizing unit 416 synthesizes the character super display decoded by the character super decoder 406 and the subtitle display decoded by the subtitle decoder 407.
  • the combining unit 417 combines the broadcast video scaled by the scaler 414 and the display signal of the data broadcast generated by the application engine 411. Further, in the subsequent synthesis unit 418, the broadcast video on which the display of the data broadcast is superimposed, the character super display and the caption display output from the synthesis unit 416 are synthesized, and an output video signal is generated.
  • the synthesizing unit 415 synthesizes the audio signal decoded by the audio decoder 405 and the audio signal for data broadcasting reproduced by the application engine 411 to generate an output audio signal.
  • FIG. 5 shows an image of a broadcast signal 500 transmitted from the broadcast transmission system 11 toward the receiver 12 to the broadcast transmission path according to the MMT method.
  • Broadcast signals are composed of synchronous media related to the main part of broadcast programs such as video, audio, and subtitles, and asynchronous media such as data broadcasting applications.
  • MMT mobile telephone
  • MMT transmission paths 501 to 506 for each type of data such as video, audio, captions, data broadcast application, general-purpose data, and control information (MMT-SI) related to the broadcast service are used.
  • MMT-SI control information
  • each MMT transmission path the encoded media data is converted into an MMTP packet in the MPU format and transmitted as an IP packet.
  • Each MMT transmission line corresponds to one IP data flow.
  • the IP data flow referred to here is that the values of the five types of fields of the IP header and the UDP header in the source IP address, destination IP address, IP header protocol type, source port number, and destination port number are all the same. Is a set of IP packets.
  • One broadcast service is a package composed of a plurality of components such as video, audio, captions, and data broadcast applications (provided that one broadcast service corresponds to one channel, that is, a broadcast program).
  • a component is defined as “asset”.
  • Each asset is identified by unique asset identification information (asset_id).
  • Asset identification information uniquely corresponds to a component tag that identifies a component (a video asset corresponds to a video component, an audio asset corresponds to an audio component, a subtitle asset corresponds to a subtitle component, and data broadcasting Data file assets for an application correspond to data file components).
  • Each asset is composed of a set (logical group) of one or more MPUs sharing the same asset identification information.
  • the MPU is a format that is a transmission unit in the MMT system, and is composed of one or more MFUs.
  • the MPU is transmitted to each asset through a dedicated ES (Elementary Stream), that is, an MMT transmission path.
  • ES Simple Stream
  • Each MPU is specified by asset identification information and the sequence number of the MPU on the corresponding transmission path.
  • the transmission path 501 transmits an MMTP packet of an encoded video signal composed of an MPU logical group having common asset identification information for video signals.
  • an MMT packet of an encoded audio signal consisting of an MPU logical group having common asset identification information for audio signals is transmitted on the transmission line 502, and a common asset for subtitle signal and character superimposition is transmitted on the transmission line 503.
  • An encoded subtitle signal and an encoded character super signal MMTP packet consisting of an MPU group having identification information are transmitted, and an MPU logical group having common asset identification information for data broadcasting applications in transmission paths 504-1 and 504-2
  • the MMTP packet of the encoding application consisting of is transmitted.
  • the transmission path 505 transmits the encoded general-purpose data signal MMTP packet including the MPU group having the common asset identification information.
  • assets of the same type may be transmitted within one package (broadcasting service).
  • the assets of the two data broadcasting applications are assigned different asset identification numbers and are transmitted through dedicated ES, that is, MMT transmission paths 504-1 and 504-2, respectively.
  • MMT transmission paths 504-1 and 504-2 For example, an asset of a program-linked data broadcasting application linked to a broadcast program is transmitted on one MMT transmission path 504-1, and an unlinked program-related data broadcasting application (not linked to a broadcast program) is transmitted on the other MMT transmission path 504-2.
  • assets such as weather forecasts and news are transmitted. It is also assumed that the assets of the data broadcasting application are provided independently from two or more delivery segments.
  • the MMT method can use a plurality of broadcast and communication transmission paths in common. For example, asynchronous media such as data broadcasting (HTML5 document, etc.) are transmitted together with synchronous media of the same broadcast service using transmission paths 504-1 and 504-2 of the broadcast signal 500 as shown in FIG. In addition, it can be transmitted via a communication transmission path (not shown) such as an IP network.
  • asynchronous media such as data broadcasting (HTML5 document, etc.) are transmitted together with synchronous media of the same broadcast service using transmission paths 504-1 and 504-2 of the broadcast signal 500 as shown in FIG.
  • a communication transmission path not shown
  • IP network such as an IP network
  • the transmission path 505 is used to transmit various data by a general-purpose data transmission method in a broadcasting system using MMT.
  • General-purpose data transmission can be used for streaming data for HTML5 format data broadcast applications.
  • the transmission path 506 is used for MMT signaling, that is, transmission of MMT-SI that is control information indicating information related to the configuration of the MMT package and the broadcast service.
  • MMT signaling that is, transmission of MMT-SI that is control information indicating information related to the configuration of the MMT package and the broadcast service.
  • the MMT message including the MMT-SI is converted into an MMTP packet and repeatedly transmitted by the carousel method.
  • the transmission line for TLV-SI is not shown.
  • MMT-SI has messages, tables, and descriptors. Examples of messages transmitted on the transmission line 506 include a PA message 510, an M2 section message 520, and a data transmission message 530.
  • the PA message 510 is control information indicating the configuration of a broadcast program and the like, and is a container that stores an MP (MMT Package) table 511 describing information constituting a package such as an asset list and its position.
  • MP MMT Package
  • the MP (MMT Package) table 511 is a table showing basic reception control information for each broadcast service, and specifically provides information constituting the package, such as an asset list and asset location information.
  • the MP table 511 includes MPT descriptors such as application service descriptors.
  • the application service descriptor indicates entry information of the data broadcasting application (for example, data transmission message and entry information of each M2 section message that transmits MH-AIT and EMT).
  • an MPU time stamp descriptor that provides the presentation time of the MPU is arranged.
  • PA message 510 is an entry point of the broadcast service, and fixed packet identification information (for example, 0x0000) is assigned to the MMTP packet that transmits PA message 510. Therefore, on the receiver side, the PA message 510 can be obtained by directly specifying the fixed packet identification information on the MMT transmission path 506. Then, referring to the MP table 511 transmitted by the PA message 510, each asset (video, audio, caption, data broadcasting application, general-purpose data) and other signaling messages constituting the package (broadcast program) are indirectly specified. can do.
  • asset video, audio, caption, data broadcasting application, general-purpose data
  • other signaling messages constituting the package (broadcast program) are indirectly specified. can do.
  • examples of the table stored in the PA message 510 include a PL (Package List) table (PLT) and an LC (Layout Configuration) table (LCT) in addition to the MP table.
  • PLT indicates a list of IP data flows and packet IDs for transmitting PA messages of MMT packages provided as broadcasting services, and IP data flows for transmitting IP services.
  • the LCT is used to associate layout information for presentation with a layout number.
  • One PA message is a container that can store up to three tables: an MP table, a PL table, and an LC table.
  • the M2 section message 520 is a message that transmits the section extension format of MPEG-2 Systems, and is a container that stores the section format signaling table one by one.
  • tables such as MH-AIT (Application Information Table) 521 and EMT (Event Message Table) 522 are stored one by one.
  • MH-AIT 521 is a table that specifies dynamic control information related to applications and additional information necessary for execution. Specifically, the MH-AIT 521 indicates the processing method of each application to be controlled in the table by application_control_code in the application information loop, and arranges various application information descriptors describing application information.
  • application_control_code is the application processing method such as autostart (automatic application startup), present (application executable state), kill (application termination), prefetch (application acquisition and retention (pre-cache)). Show.
  • the transmission protocol descriptor which is one of the application information descriptors, specifies the transmission method of the application and the location information corresponding to the transmission method (common in the case of HTTP / HTTPS and MMT asynchronous transmission). URL (Uniform Resource Locator) format for specifying location information).
  • the transmission data structure of the file unit and the directory structure in contents (data broadcasting application) production can independently represent the data structure of usage units such as application units and presentation units.
  • the configuration of each of the signaling tables 531 to 533 is defined by ARIB STD B-60.
  • Packet identification information of messages and tables transmitted as MMT-SI may be fixed or indirectly specified from other tables.
  • the PA message is an entry point of the broadcast service, and fixed packet identification information (for example, 0x0000) is assigned.
  • the MP table transmitted by the PA message indicates asset identification information and location information of each asset (video, audio, caption, data broadcasting application, etc.) constituting the package (broadcast program). Therefore, on the receiver side, the PA message can be acquired by directly specifying the fixed packet identification information on the MMT transmission path. Then, referring to the MP table transmitted in the PA message, as shown in FIG. 6, each asset (video, audio, caption, data broadcasting application, etc.) related to the broadcasting service and other signaling messages are indirectly Can be specified.
  • an MH-data encoding scheme descriptor is arranged to identify a data encoding scheme for each asset other than video and audio.
  • MPT_descriptor_length indicates the size of the MP table descriptor area in bytes.
  • the contents of the MP table descriptor are described in units of bytes (MPT_descriptors_byte).
  • MPT_descriptors_byte In the MPT descriptor, basic information related to reception control of the entire corresponding broadcast service (package) is described.
  • Number_of_assets is an 8-bit parameter indicating the number of assets (signals, files) as elements constituting a broadcast service (package).
  • asset information loops There are as many asset information loops as number_of_assets.
  • asset identification information assert_id
  • MMT_general_location_info general location information
  • asset descriptor asset descriptor
  • Identifier_type indicates the ID system of the MMTP packet flow. If the ID system indicates asset identification information (asset_id), 0x00 is set.
  • asset_id_scheme indicates the format of asset identification information.
  • asset_id_length indicates the size of the text information of the asset identification information in bytes. In the subsequent asset identification information loop, the asset identification information is indicated in units of bytes (asset_id_byte).
  • Asset_type indicates the type of asset (video, audio, text super / caption, application, etc.) as a 32-bit character string.
  • asset_clock_relation_flag is a flag indicating the presence or absence of an asset clock information field. When the flag is 1, there are a clock information identification field (asset_clock_relation_id) and a time scale flag field (asset_timescale_flag). When the flag is 0, these fields do not exist.
  • location_count indicates the number of location information of the asset, and in a loop of location information repeated for the number of subsequent location_counts, MMT_general_location_info which is the location information of the corresponding asset is indicated.
  • Asset_clock_relation_flag is a flag indicating the presence / absence of an asset clock information field.
  • the flag is 1, there are a clock information identification field (asset_clock_relation_id) and a time scale flag field (asset_timescale_flag). When the flag is 0, these fields do not exist.
  • location_count indicates the number of location information of the asset, and in a loop of location information repeated for the number of subsequent location_counts, MMT_general_location_info which is the location information of the corresponding asset is indicated.
  • the asset location information is described in the form of packet identification information (packet_id: PID) on the MMT transmission path from which the asset is acquired. Therefore, the asset identification information can be drawn on the MP table to extract the corresponding packet identification information on the MMT transmission path (IP data flow) (see FIG. 6).
  • Asset_descriptor_length indicates the size of the text information of the asset descriptor (asset_descriptor) in bytes. In the asset descriptor loop indicated by reference number 701, the contents of the descriptor for each asset are indicated in bytes (asset_descriptors_byte).
  • FIG. 8 shows a syntax example 800 of the MPU time stamp descriptor arranged in the asset information loop of the MP table.
  • the MPU time stamp descriptor indicates the presentation time of the first access unit in the presentation order in the MPU.
  • the meaning of each parameter of the MPU timestamp descriptor will be described.
  • Descriptor_tag indicates an 8-bit fixed value that identifies the descriptor 800.
  • Descriptor_length is an 8-bit area in which the byte length of the data of the descriptor following this field is written.
  • Mpu_sequence_number indicates the sequence number of the MPU that describes the time stamp in the descriptor.
  • mpu_presentation_time indicates the presentation time of the MPU indicated by the sequence number in a 64-bit NTP timestamp format.
  • location information of each application is described in a URL format, in other words, a path name composed of a combination of a directory node name and a file name.
  • the asset path name can be converted into identification information (packet identification information) on the MMT transmission path by using the data directory management table and the data asset management table transmitted in the data transmission message.
  • identification information packet identification information
  • the receiver refers to the application information loop in the MH-AIT transmitted in the M2 section message, and detects an application to be started (for example, an application whose automatic start is specified by the application control code). be able to.
  • the receiver can acquire the location information of the application, that is, the path name, from the transmission protocol descriptor arranged in the MH-AIT.
  • a node tag of a file corresponding to a specified path name can be obtained from a data directory management table in a data transmission message as indicated by reference numeral 901.
  • the location information of the asset having the component tag obtained in the data asset management table is acquired from the MP table, the corresponding file is actually stored as indicated by reference number 904.
  • the data asset to be transmitted can be identified.
  • the file identification corresponding to the carousel is repeated using the download identification information obtained from the data asset management table and the download identification information described in the header area of the MMTP packet for transmitting the item.
  • the unit of transmission can be uniquely identified.
  • an item having an MPU sequence number and item identification information obtained from the data / asset management table among items repeatedly transmitted can be designated as a desired file.
  • the general-purpose data transmission method is a method for transmitting various types of data in a synchronous or asynchronous manner. It can be applied to streaming data to be used.
  • General-purpose data transmission can be used to transmit various data used in an HTML5 format data broadcasting application as a stream.
  • the presentation time is indicated by the MPU time stamp descriptor (described above) in the MPU of the synchronous general-purpose data.
  • MPU In general data transmission processing, MPU is the unit of processing.
  • the MPU includes data used at a certain timing and is a unit that can perform processing such as presentation in units of MPU.
  • FIG. 10 shows the configuration of MPU and MFU of general-purpose data.
  • the MPU of general-purpose data is composed of one or more MFUs without placing MPU metadata and movie fragment metadata.
  • Each MFU includes a general-purpose data header part and a data part. Data of an arbitrary size can be stored in the data portion of each MFU. For example, one file can be sent by one MFU.
  • FIG. 11 shows a syntax example 1100 of MFU of general-purpose data.
  • the meaning of each parameter of the MFU of general-purpose data will be described.
  • the component_tag (component tag) is a label for identifying the component stream.
  • the component tag uniquely corresponds to the asset identification information of the general-purpose data stream given by the MH-stream identification descriptor of the MP table. A 16-bit value is written.
  • Data_type_length indicates the length of the subsequent data type description (data_type_byte) in bytes.
  • a data_type_byte indicated by reference number 1101 is an area for storing a MIME (MULTIIPURPOSE Internet Mail Extension) type of data transmitted by the MFU.
  • MIME MULTIIPURPOSE Internet Mail Extension
  • Additional_info_length indicates the length of the subsequent additional information description in bytes. Additional_info_byte indicated by reference numeral 1102 is an area for storing additional information related to data transmitted by the MFU.
  • Data_length indicates the length of the data bytes of the subsequent general-purpose data in units of bytes.
  • Data_byte indicated by reference numeral 1103 is an area for storing general-purpose data.
  • Component tag, data type, and additional information correspond to the general data header part.
  • data_byte corresponds to a data part.
  • This specification proposes a technique for transmitting, as a general-purpose data stream, data for changing display objects from time to time as a use case of general-purpose data for an HTML5 format data broadcasting application.
  • a technology for transmitting control information of a display object as a general-purpose data stream to a data broadcasting application that displays a display object overlaid on a video of a broadcast program Will be described in detail.
  • the control information of the display object that changes from time to time can be transmitted in a synchronous general-purpose data stream that is time-synchronized with the video.
  • the data broadcasting application can overlay the display object on the video in accordance with the motion of the video based on the control information received as the general-purpose data stream.
  • FIG. 12 shows a display example of a broadcast screen on which display objects synchronized with the broadcast program video are displayed.
  • This figure is a soccer game broadcast screen, and displays a balloon-like display object that displays information about the players participating (eg, player name, position, number of goals, etc.) and follows each player's movement. Overlay is displayed.
  • FIG. 12 is just one example of overlaying display objects on the broadcast program screen.
  • the same overlay display of display objects can be applied to broadcast programs that relay various sports such as baseball, basketball, golf, athletics, judo, and car races other than soccer.
  • the same overlay display of display objects can be applied to broadcast programs of various genres such as dramas and music programs other than sports.
  • a moving object list description (MOLD) document described below can be used as a method for expressing information related to a display object synchronized with video.
  • the moving object list description document has a document structure that describes a list of information on display objects for the number of objects displayed on the screen at the same time.
  • the information for each display object the position and size of the display object on the screen, and the display data itself or display data acquisition destination information (data reference number to be referred to or URL) do it.
  • the moving object list description document and the display data (image file) of the display object to be referred to are packaged, and a time stamp indicating the display time of each package as a general-purpose data stream. Broadcast intermittently. Then, on the receiver side, when the information for drawing each display object is extracted from the moving object list description document, the display object synchronized with the video is displayed on the screen of the broadcast program based on the display time specified by the time stamp. Can be overlaid.
  • the time stamp information indicating the display time of the package unit can be indicated by an MPU time stamp descriptor that provides the presentation time of the MPU.
  • the MPU timestamp descriptor is one of the asset descriptors 701 arranged in the second loop of the MP table.
  • An example of the syntax of the MPU time stamp descriptor is shown in FIG. 8, but the sequence number of the MPU that transmits the moving object list description document may be specified by mpu_sequence_number, and the display time may be specified by mpu_presentation_time.
  • interpolation information for obtaining the interpolation position of each display object until the next timing is also described in the moving object list description document.
  • the interpolation information includes information for obtaining an interpolation position for each time obtained by subdividing the time until the next timing.
  • Transmission of a general-purpose data stream for each video frame is not practical because of the large amount of information.
  • the general-purpose data stream is transmitted intermittently, and the receiver side displays the display object at the interpolation position obtained based on the interpolation information described in the moving object list description document, until the next timing.
  • the display object can be smoothly moved during the interval.
  • the display object can be displayed in an overlay manner by interpolation so as to smoothly follow the soccer player constantly moving around on the pitch.
  • the interpolation position of the display object can be linearly interpolated. Furthermore, by including the angular velocity information, it becomes possible to interpolate the arc of the interpolation position of the display object.
  • the velocity vector and the angular velocity can be obtained by analyzing the movement of the corresponding player.
  • URL information of hyperlinks may be further described in the moving object list description document as information on display objects.
  • information on display objects On the receiver side, when a video viewer operates a display object, information can be acquired and displayed from a link destination specified based on the URL specified for the display object.
  • the display data of the display object that is commonly referenced from multiple moving object list description documents is not packaged with the moving object list description document and transmitted every time. It may be transmitted in a packaged form with a description document, and may be commonly referred to from a moving object list description document transmitted thereafter.
  • general-purpose data consisting only of a moving object list description document that refers to external display data
  • the amount of transmission information can be reduced (that is, the transmission band can be saved).
  • the display data is updated and packaged with the moving object list description document and transmitted, the band saving effect is enhanced.
  • the general-purpose data stream may be intermittently transmitted at a constant cycle, or the transmission cycle may be variably controlled.
  • the transmission cycle of the general-purpose data stream may be controlled according to the movement of the display object. For example, when the movement of the display object is fast, it is transmitted at intervals of 1 second, so that a more accurate interpolation position of the display object can be easily obtained. Conversely, when the movement of the display object is slow, the transmission information amount may be reduced (that is, the transmission band is saved) at intervals of 5 seconds.
  • FIG. 13 schematically shows the structure of a general-purpose data stream in which moving object list description documents describing information on display objects for the number of objects and display data referenced from the documents are packaged.
  • This general-purpose data stream is transmitted as a synchronous MPU.
  • the MPU is a unit of processing, and the MPU is composed of a plurality of MFUs.
  • a moving object list description document and a display data package referenced from the document are transmitted as a processing unit by one MPU.
  • reference number 1300 is an MPU that transmits one package.
  • a moving object list description document is stored in the first MFU indicated by reference number 1310 and is referenced from this moving object list description document.
  • Display data (image file) of each display object is stored in subsequent MFUs 1320-1, ..., 1320-N.
  • tag information for identifying a display object as information related to the display object # 1 and a position (Position) at which the display object is displayed on the screen are included in the information block indicated by reference numeral 1311.
  • Size Size
  • velocity vector information Vector
  • angular velocity information
  • MediaData display object display data information
  • hyperlink URL information may be further included as display object information (not shown in FIG. 13).
  • the display data information (MediaData) of the display object can be represented by display data acquisition destination information (such as a data reference number to be referred to or a URL).
  • display data acquisition destination information such as a data reference number to be referred to or a URL.
  • display data acquisition destination information such as a data reference number to be referred to or a URL.
  • reference number 1330 is an MP table, which specifies asset identification information and location information of each asset (video, audio, caption, data broadcasting application, etc.) constituting a broadcast signal.
  • the display time of the MPU 1300 is designated by the MPU time stamp descriptor 1331 arranged for the asset of the general-purpose data stream in the second loop of the MP table. That is, the MPU time stamp descriptor 1331 designates the sequence number of the MPU 1300 that transmits the moving object list description document by mpu_sequence_number, and designates the display time by mpu_presentation_time.
  • FIG. 13 shows a configuration example of an MPU that packages and transmits display data referenced from a moving object list description document, and the display data (image file) of each display object is in the same MPU. It is transmitted in subsequent MFUs.
  • an MPU that does not include display data and includes only the MFU of the moving object list description document is also assumed.
  • Such a moving object list description document refers to display data transmitted by the MFU included in the preceding MPU. Reduces the amount of transmission information (ie, saves transmission bandwidth) by packaging and transmitting display data that is commonly referenced in multiple moving object list description documents to a single moving object list description document. can do.
  • the receiver when the receiver receives an MPU in which display data is packaged, the display data is cached until the specified retention period. It is also possible to refer to the moving object list description document transmitted from the user until the expiration date. When the display data is updated, the updated display data and the packaged moving object list description document may be transmitted. However, it is preferable to transmit MPUs in which display data is packaged at regular intervals so that a display object can be displayed even by a receiver tuned in the middle of a program.
  • FIG. 11 shows a syntax example 1100 of MFU of general-purpose data. A method of using each parameter of the MFU when applied to transmission of a moving object list description document and display data referenced from the document will be further described below.
  • the data_type_byte indicated by reference number 1101 designates the type of data transmitted by the MFU as a character string having the data length designated by data_type_length.
  • the MFU in the MPU shown in FIG. 13 transmits either a moving object list description document (MOLD) or an image file of display data.
  • MOLD moving object list description document
  • the type of data specified by the character string of data_type_byte is shown in Table 2 below.
  • Data_type_byte may be specified as “mld” for a moving object list description document, “jpg” for display data in JPEG format, and “png” for display data in PNG format.
  • additional information area (additional_info_byte) indicated by reference number 1102
  • additional information corresponding to the data stored in the data portion is described. That is, in the case of an MFU that transmits a moving object list description document, additional information for the moving object list description document is described. In other cases, that is, in the case of an MFU that transmits display object material such as display data, additional information about the material is described in the additional information area.
  • data_byte In the data part (data_byte) indicated by reference numeral 1103, general-purpose data itself transmitted by the MFU is stored.
  • “mld” that is, a moving object list description document is designated by the preceding parameter data_type_byte
  • a file of the moving object list description document is stored in this data portion.
  • “jpg” or “png” is specified in data_type_byte
  • display data in JPEG format or PNG format is displayed.
  • FIG. 16 shows a syntax example 1600 of additional information (mold_info) in the MFU that transmits the moving object list description document.
  • additional information mold_info
  • Material_location is a field indicating the acquisition destination information of the display data referenced from the moving object list description document (that is, stored in the data part) in 2 bits.
  • the meaning indicated by the value of material_location is shown in Table 3 below.
  • 00 is specified for material_location.
  • 01 is specified for material_location.
  • 10 is specified for material_location.
  • display data is not packaged in the same MPU as the moving object list description document (see FIG. 15), so that the transmission band is saved.
  • an MFU that transmits display data can specify a retention period. Therefore, if the display data that has already been transmitted is within the retention period, 01 can be specified for material_location.
  • Estimated_next_MPU_time indicates the predicted transmission time of the next MPU (which transmits the moving object list description document).
  • the display position of the display object is interpolated in consideration of the predicted transmission time of the next MPU (see FIG. 13).
  • FIG. 17 shows a syntax example 1700 of additional information (material_info) in an MFU that transmits material (display data) referenced from a moving object list description document.
  • material_info additional information
  • Material_name_length indicates the length of the subsequent material name description (material_name_byte) in bytes.
  • the material_name_byte is an area for storing a material reference name used when referring to the material transmitted in the data part of the MFU from the moving object list description document.
  • the persistent_flag is a data holding flag that specifies whether or not the receiver should hold the display data (JPEG or PNG image file) stored in the data portion (data_byte) of the MFU even after the processing of the MPU is completed. is there.
  • the expiration date of display data stored in the data part of the MFU is described in the expire_date field.
  • the data retention flag and the data retention period can be specified for each MFU, that is, for each display data in the general data header section.
  • the display data in which 1 is specified in the persistent_flag of the general-purpose data header part is retained (cached) for the retention period specified in expire_date even after the processing of the MPU is completed.
  • the stored display data can also be referred to (that is, reused) from the moving object list description document transmitted by the subsequent MPU.
  • the subsequent MPU does not need to package the display data to be referenced from the moving object list description document and transmit it by the same MPU, so that the transmission band can be saved.
  • FIG. 18 shows a syntax example 1800 of the moving object list description document.
  • “mld” is designated by the parameter data_type_byte in the general-purpose data header part of the MFU, a moving object list description document as shown is stored in the data part.
  • parameters prefixed with @ are attribute information, and parameters without @ indicate elements.
  • the meaning of each parameter will be described.
  • “Mold” indicates that the data is a moving object list description document. At the same time, the information of the moving object mo is arranged in the document by the number of objects to be displayed on the screen.
  • Each moving object mo is identified by an object tag.
  • An object tag as an attribute value is described in the moTag field.
  • object position information As information on each moving object mo, object position information (position), object size information (size), object motion vector information (mv), information on object display data (media), link destination information at the time of object operation (Link) is included.
  • the object position information (position) includes the horizontal coordinate x and the vertical coordinate y of the display position of the object on the screen (upper left corner in the case of a rectangular area) as attribute values, and each indicates the pixel position as an integer value.
  • the object size information (size) includes the width x and height y of the rectangular area indicating the size of the object to be displayed on the screen as attribute values, each represented by a pixel value (integer value).
  • the object motion vector information (mv) is an attribute value including a velocity vector composed of the horizontal velocity x and the vertical velocity y of the object, and angular velocity information ⁇ (provided that the movement of the object is a curved motion expressed by an arc). An integer value indicating each is described.
  • the motion vector information (mv) can be used to determine the interpolation position of the object up to the timing of the next MPU (that is, the next moving object list description document) (described above).
  • Information related to display data indicates the type of display data of the object (JPEG or PNG) and the acquisition destination information of the display data of the object.
  • the acquisition source of the display data is roughly classified into any of the same MPU, the previous MPU, or on the Internet, and is designated by the parameter material_location in the additional information (mold_info) of the general data header part (described above).
  • the display data acquisition destination information an acquisition destination at a location specified by material_location is specified in url format, and an image file in a format specified by the type of display data is placed in the acquisition destination specified by url. That is the premise.
  • the display data binary data may be stored in the display data type area.
  • the link destination information (link) at the time of object operation specifies the link destination information of the object in url format.
  • link destination information (link) When a video viewer operates a display object, information can be acquired and displayed from a link destination specified by link destination information (link).
  • FIG. 19 illustrates a mechanism for interpolating the display position of the display object based on the interpolation information specified by the moving object list description document.
  • Reference numeral 1901 indicates the display position (X1, Y1) of the display object specified in the moving object list description document transmitted at a certain timing T1.
  • Reference numeral 1902 indicates the display position (X2, Y2) of the same display object specified in the moving object list description document transmitted at the next timing T2.
  • Reference numbers 1911 to 1914 are interpolation positions for each time at which timing intervals are subdivided.
  • the velocity vector (x, y) and the angular velocity ⁇ are specified as the interpolation information of the display object. Based on the velocity vector (x, y), it is possible to linearly interpolate the interpolation positions 1911 for each subdivided time, and further to interpolate the interpolation positions 1911,. Is possible.
  • An application engine 411 that executes an application that displays a display object on a video in an overlay manner sequentially acquires moving object list description documents transmitted in a general-purpose data stream, and interpolates based on interpolation information. It is possible to display a display object that moves smoothly according to the movement of the display.
  • FIG. 20 illustrates a scenario in which a moving object list description document is transmitted as a general-purpose data stream.
  • a broadcast signal transmitted from a certain broadcaster is illustrated, and the horizontal axis is a time axis.
  • the broadcast signal includes a video asset 2010, an audio asset 2020, a data (application) asset 2030, and a general-purpose data asset 2040 as components constituting a broadcast program.
  • the broadcast signal may further include other assets, but is omitted for simplification of the drawing.
  • the broadcast signal includes a control signal 2050 for transmitting control information (MMT-SI) such as a signaling table such as an MP table and a signaling message serving as a container for the signaling table.
  • MMT-SI control information
  • a signaling table such as an MP table
  • a signaling message serving as a container for the signaling table.
  • the data asset 2030 transmits a data broadcast application for displaying a display object on a broadcast program video
  • the general-purpose data asset 2040 transmits display object control information, that is, a moving object list description document. Is assumed to be intermittently transmitted as a general-purpose data stream.
  • the display time of each MPU transmitted by the general-purpose data asset 2040 is specified by the MPU time stamp descriptor of the MP table (described above).
  • Reference numeral 2041 indicates an MPU in which a moving object list description document and display data (image file) of a display object to be referred to are packaged.
  • the moving object list description document is stored in the data portion of the first MFU, and the display data referred to from the moving object list description document is stored one by one in the second and subsequent MFUs (see FIG. 13). See
  • Reference numeral 2042 indicates an MPU that does not package display data. This MPU transmits only one MFU storing the moving object list description document. From this moving object list description document, display data already transmitted by the preceding MPU 2041 is referenced (see FIG. 15). However, the display data to be referred to is based on the assumption that data retention is designated by persistent_flag in the general-purpose data header part of the MFU, and the data retention period designated by expire_date has not passed. Similarly, the MPU indicated by reference numeral 2043 also transmits only the MFU of the moving object list description document. Reduces the amount of transmission information (ie, saves transmission bandwidth) by packaging and transmitting display data that is commonly referenced in multiple moving object list description documents to a single moving object list description document. can do.
  • Reference numeral 2044 indicates an MPU in which a moving object list description document and display data of a display object to be referred to are packaged. Similar to the MPU indicated by the reference number 2041, the moving object list description document is stored in the data portion of the first MFU, and the display data referenced from this moving object list description document is stored in the second and subsequent MFUs. One by one is stored (same as above).
  • the MPU 2044 including the updated display data and the packaged moving object list description document may be transmitted.
  • the MPU 2044 in which display data is packaged is transmitted after a predetermined time has passed since the MPU 2041 is transmitted so that a receiver that has been tuned in the middle of the program can display the display object.
  • the MPU time stamp descriptor in the MP table indicated by reference number 2051 designates the display time T10 of the display object by the moving object list description document transmitted by the MPU indicated by reference number 2041.
  • the MPU time stamp descriptor in the MP table indicated by reference number 2052 specifies the display time T20 of the MPU indicated by reference number 2042
  • the MPU time stamp descriptor in the MP table indicated by reference number 2053 is the reference number.
  • the MPU display time T30 indicated by 2043 is designated
  • the MPU time stamp descriptor in the MP table indicated by reference number 2054 specifies the MPU display time indicated by reference number 2044.
  • the receiver side Upon receiving the MPU 2041 transmitted on the broadcast wave, the receiver side analyzes the moving object list description document transmitted by the first MFU and displays the display data transmitted by the second and subsequent MFUs in the header part. Keep only the specified retention period.
  • the receiver displays each display as indicated by reference numeral 2061 according to the description content of the moving object list description document received by the MPU 2041.
  • the object is overlaid on the broadcast program video.
  • the receiver designates each display object in the moving object list description document at a time T11 obtained by subdividing the time interval until the display time T20 designated for the next MPU 2042 arrives.
  • An interpolation position is obtained based on the interpolated information (velocity vector, angular velocity), and the display of each display object is updated as indicated by reference numeral 2062.
  • each display object is displayed as an overlay on the video of the broadcast program.
  • FIG. 21 shows a processing procedure when the receiver receives the general-purpose data stream in the form of a flowchart.
  • the processing procedure shown corresponds to a process of acquiring received and decoded general-purpose data in the HTML browser (application engine 411).
  • the receiver checks whether the MPU time stamp descriptor of the general-purpose data asset exists (step S2101).
  • the receiver stores the information of the MPU time stamp descriptor, that is, the MPU sequence number and the presentation time (Ste S2102).
  • the receiver when receiving the MPU of the general-purpose data asset (Yes in step S2103), stores the general-purpose data MPU together with information on the MPU time stamp descriptor specifying the MPU sequence number (step S2104).
  • material_location 10
  • the receiver uses the moving object list description document stored in the data portion of the MFU.
  • Display data (image file) of each display object is acquired based on the specified display data acquisition destination URL (step S2106).
  • FIG. 22 shows a processing procedure for the receiver to display the display object synchronized with the video based on the general-purpose data stream in the form of a flowchart.
  • the illustrated processing procedure corresponds to a process of updating the display of the display object based on the latest general-purpose data in the HTML browser (application engine 411).
  • step S2201 Whenever the display timing of the video frame arrives (Yes in step S2201), the receiver checks whether or not it matches the MPU presentation time specified by the stored MPU time stamp descriptor (step S2202).
  • the receiver transmits with the first MFU of the corresponding MPU. Based on the description of the moving object list description document, the display object is overlaid on the video frame with reference to the material data (step S2203).
  • the receiver deletes display data other than the data retention flag (persistent_flag) set to 1 from the display data packaged in the MPU received before the MPU at the presentation time (step S1). S2204).
  • the receiver checks whether all the display data held is within the holding time limit (step S2205). If there is display data whose retention period has passed, it is deleted (step S2206).
  • the receiver can move the MPU moving object to be processed.
  • the interpolation position at the current time is interpolated based on the element information (that is, velocity vector information and angular velocity information) of the motion vector (mv), and the object The display is updated (step S2207).
  • the embodiment in which the technology disclosed in this specification is applied to a broadcasting system adopting the MMT method for media transmission has been mainly described.
  • the gist of the technology disclosed in this specification is limited to this. It is not something.
  • the technology disclosed in the present specification can be similarly applied to various types of broadcasting systems having a mechanism for streaming data used in a data broadcasting application. For example, when a similar function is realized in an MPEG TS broadcast system, similar information may be transmitted by a PES packet and the display time may be indicated by PTS.
  • a transmission unit that transmits a broadcast signal including video
  • a data transmission unit for transmitting data for displaying an object moving in synchronization with the movement of the video
  • a transmission apparatus comprising: (2) The data transmission unit transmits the data including information on the position and size of the object on the screen and display data of the object.
  • the transmission device according to (1) above.
  • the data transmission unit intermittently transmits the data together with a time stamp indicating a display time of the data.
  • the transmission device according to any one of (1) and (2) above.
  • the data transmission unit intermittently transmits the data including interpolation information for obtaining an interpolation position of the object until the next timing.
  • the transmission device according to any one of (1) to (3) above.
  • the data transmission unit transmits the interpolation information including at least one of velocity vector information or angular velocity information of the object.
  • the data transmission unit transmits the data including link destination information of the object.
  • the data transmission unit transmits a document file in which a position and size of the object on the screen and a reference destination of display data are described in a predetermined format.
  • the data transmission unit packages the document file and a display data file referenced from the document file, and transmits the package in units of packages.
  • the data transmission unit designates and transmits the necessity of holding each display data included in the package and a holding time limit.
  • the data transmission unit further transmits the document file that refers to a display data file that is packaged and transmitted together with another document file.
  • the transmission device according to (9) above. (11) a transmission step of transmitting a broadcast signal including video; A data transmission step of transmitting data for displaying an object moving in synchronization with the movement of the video; A transmission method.
  • a receiving unit that receives a broadcast signal including video;
  • a data receiving unit for receiving data for displaying an object moving in synchronization with the movement of the video;
  • a control unit that executes processing for displaying the object on a screen of broadcast video based on the received data;
  • a receiving apparatus comprising: (13) The data receiving unit receives the data including information on a position and size of the object on the screen and display data of the object, The control unit displays the display data of the object at a position and size on the screen specified by the data;
  • the receiving device according to (12) above.
  • the data receiving unit intermittently receives the data together with a time stamp indicating a display time of the data, The control unit controls the display timing of the object based on a display time specified by the time stamp; The receiving device according to any one of (12) and (13).
  • the data receiving unit intermittently receives the data including interpolation information for obtaining an interpolation position of the object until the next timing, The control unit displays the object at an interpolation position determined based on the interpolation information; The receiving device according to (14) above.
  • the data receiving unit receives a document file in which a position and size of the object on the screen and a reference destination of display data are described in a predetermined format. The receiving device according to (12) above.
  • the data receiving unit receives the document file and a display data file referred to from the document file in a package unit.
  • the data receiving unit receives the package in which the necessity of holding each display data and the holding time limit are specified, The control unit holds display data until the holding time limit elapses.
  • the data receiving unit further receives the document file referring to a display data file that is packaged and transmitted together with another document file, The control unit displays an object using display data that is referred to from the document file and transmitted together with another document file in a package.
  • a receiving step of receiving a broadcast signal including video A data receiving step of receiving data for displaying an object moving in synchronization with the movement of the video; A control step for executing processing for displaying the object on the screen of the broadcast video based on the received data; Receiving method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

放送番組の映像にオーバーレイして表示する情報を送受信する。 同時に画面に表示するオブジェクト数分の表示データ・オブジェクトに関する情報を、1つの移動オブジェクト・リスト記述文書に記述する。表示データ・オブジェクトに関する情報は、表示データ・オブジェクトの画面上の位置及びサイズと、表示データ自体又は表示データの取得先情報からなる。そして、移動オブジェクト・リスト記述文書とこれから参照される表示データ・オブジェクトの表示データをパッケージ化して、パッケージ単位の表示時刻を示すタイムスタンプとともに、汎用データ・ストリームとして間欠的に伝送する。

Description

送信装置及び送信方法、並びに受信装置及び受信方法
 本明細書で開示する技術は、放送番組の映像にオーバーレイして表示する情報を送信する送信装置及び送信方法、並びに、放送番組の映像にオーバーレイして表示する情報を受信し表示する受信装置及び受信方法に関する。
 メディア・トランスポート方式にMPEG2-TSを採用したディジタル放送サービスが世界各国で運用されている。また、次世代のディジタル放送規格では、MPEG2-TSから、MMT(MPEG Media Transport)方式への変更が検討されている(例えば、特許文献1を参照のこと)。MMT方式では、異なる伝送路の組み合わせで利用することが容易であり、放送や通信の複数の伝送路に共通に用いることができる。
 ディジタル放送では、データ放送アプリケーションを放送波で伝送して、データ放送アプリケーションを通じてオンエア中の放送番組に連動したさまざまな情報を提供することができる。例えば、番組のビデオ・データとともに、ビデオ・フレームに表示する注釈データを放送する放送システムについて提案がなされている(例えば、特許文献2を参照のこと)。
 また、放送番組の任意の区間毎に動画の内容を反映したナビゲーション情報を設ける放送システムについて提案がなされている。ナビゲーション情報は、他のコンテンツへのハイパーリンク、ボタン、文字情報などを表す。例えば、世界の旅行案内の放送番組において、紹介中の国に応じた複数のボタンからなるメニューや補足説明を表す複数のナビゲーション情報が設けられる(例えば、特許文献3を参照のこと)。
特開2014-200054号公報 特表2004-500770号公報 特開2001-359090号公報
 本明細書で開示する技術の目的は、放送番組の映像にオーバーレイして表示する情報を送信することができる、優れた送信装置及び送信方法を提供することにある。
 本明細書で開示する技術のさらなる目的は、放送番組の映像にオーバーレイして表示する情報を受信し表示することができる、優れた受信装置及び受信方法を提供することにある。
 本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
 映像を含む放送信号を送信する送信部と、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信部と、
を具備する送信装置である。
 本明細書で開示する技術の第2の側面によれば、第1の側面に係る送信装置の前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを送信するように構成されている。
 本明細書で開示する技術の第3の側面によれば、第1の側面に係る送信装置の前記データ送信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に送信するように構成されている。
 本明細書で開示する技術の第4の側面によれば、第1の側面に係る送信装置の前記データ送信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に送信するように構成されている。
 本明細書で開示する技術の第5の側面によれば、第4の側面に係る送信装置の前記データ送信部は、前記オブジェクトの速度ベクトル情報又は角速度情報のうち少なくとも1つを含む前記補間情報を送信するように構成されている。
 本明細書で開示する技術の第6の側面によれば、第1の側面に係る送信装置の前記データ送信部は、前記オブジェクトのリンク先情報を含めて前記データを送信するように構成されている。
 本明細書で開示する技術の第7の側面によれば、第1の側面に係る送信装置の前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを送信するように構成されている。
 本明細書で開示する技術の第8の側面によれば、第7の側面に係る送信装置の前記データ送信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルをパッケージ化して、パッケージ単位で送信するように構成されている。
 本明細書で開示する技術の第9の側面によれば、第8の側面に係る送信装置の前記データ送信部は、前記パッケージに含める各表示データの保持の要否及び保持期限を指定して送信するように構成されている。
 本明細書で開示する技術の第10の側面によれば、第9の側面に係る送信装置の前記データ送信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに送信するように構成されている。
 また、本明細書で開示する技術の第11の側面に係る技術は、
 映像を含む放送信号を送信する送信ステップと、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信ステップと、
を有する送信方法である。
 また、本明細書で開示する技術の第12の側面に係る技術は、
 映像を含む放送信号を受信する受信部と、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信部と、
 受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御部と、
を具備する受信装置である。
 本明細書で開示する技術の第13の側面によれば、第12の側面に係る受信装置の前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを受信し、前記制御部は、前記データで指定された画面上の位置及びサイズに前記オブジェクトの表示データを表示させるように構成されている。
 本明細書で開示する技術の第14の側面によれば、第12の側面に係る受信装置の前記データ受信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に受信し、前記制御部は、前記タイムスタンプが指定する表示時刻に基づいて前記オブジェクトの表示タイミングを制御するように構成されている。
 本明細書で開示する技術の第15の側面によれば、第14の側面に係る受信装置の前記データ受信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に受信し、前記制御部は、前記補間情報に基づいて求まる内挿位置に前記オブジェクトを表示させるように構成されている。
 本明細書で開示する技術の第16の側面によれば、第12の側面に係る受信装置の前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを受信するように構成されている。
 本明細書で開示する技術の第17の側面によれば、第16の側面に係る受信装置の前記データ受信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルからなるパッケージ単位で受信するように構成されている。
 本明細書で開示する技術の第18の側面によれば、第17の側面に係る受信装置の前記データ受信部は、各表示データの保持の要否及び保持期限が指定された前記パッケージを受信し、前記制御部は、前記保持期限が経過するまで表示データを保持するように構成されている。
 本明細書で開示する技術の第19の側面によれば、第18の側面に係る受信装置の前記データ受信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに受信し、前記制御部は、前記文書ファイルから参照される、他の文書ファイルとともにバッケージ化して送信された表示データを用いてオブジェクトを表示させるように構成されている。
 また、本明細書で開示する技術の第20の側面に係る技術は、
 映像を含む放送信号を受信する受信ステップと、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信ステップと、
 受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御ステップと、
を有する受信方法である。
 本明細書で開示する技術によれば、放送番組の映像の動きに合わせてオーバーレイ表示するオブジェクトの表示情報を、映像と時刻同期して送信することができる、優れた送信装置及び送信方法を提供することができる。
 また、本明細書で開示する技術によれば、放送信号と時刻同期してオブジェクトの表示情報を受信して、映像の動きに合わせてオブジェクトをオーバーレイ表示することができる、優れた受信装置及び受信方法を提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、ディジタル放送システム10の構成例を模式的に示した図である。 図2は、MMT方式を用いるディジタル放送システム10におけるプロトコル・スタック200を示した図である。 図3は、放送送出システム11の構成例を示した図である。 図4は、放送送出システム11からの放送信号を受信する受信機12の構成例を示した図である。 図5は、MMT方式で伝送される放送信号500のイメージを示した図である。 図6は、PAメッセージ内のMPテーブルから放送サービスに関連する各アセットを指定する仕組みを示した図である。 図7は、MPテーブルのシンタックス例700を示した図である。 図8は、MPUタイムスタンプ記述子のシンタックス例800を示した図である。 図9は、MMT伝送されるデータ放送に関連するファイルを取得する仕組みを説明するための図である。 図10は、汎用データのMPU及びMFUの構成を示した図である。 図11は、汎用データのMFUのシンタックス例1100を示した図である。 図12は、放送番組の映像と同期する表示オブジェクトを表示させた放送画面の表示例を示した図である。 図13は、移動オブジェクト・リスト記述文書と表示データをパッケージ化した汎用データ・ストリームを伝送するMPUの構成例を示した図である。 図14は、図13に示した移動オブジェクト・リスト記述文書が記述する表示オブジェクトの表示例を示した図である。 図15は、表示データを含まない、移動オブジェクト・リスト記述文書のMFUのみからなるMPUの構成例を示した図である。 図16は、移動オブジェクト・リスト記述文書を伝送するMFUにおける付加情報(mold_info)のシンタックス例1600を示した図である。 図17は、素材(表示データ)を伝送するMFUにおける付加情報(material_info)のシンタックス例1700を示した図である。 図18は、移動オブジェクト・リスト記述文書のシンタックス例1800を示した図である。 図19は、表示オブジェクトの表示位置を内挿情報に基づいて補間する仕組みを説明するための図である。 図20は、移動オブジェクト・リスト記述文書を汎用データ・ストリームで伝送するシナリオを例示した図である。 図21は、受信機が汎用データ・ストリームを受信する際の処理手順を示したフローチャートである。 図22は、受信機が汎用データ・ストリームに基づいて映像に同期する表示オブジェクトをオーバーレイ表示するための処理手順を示したフローチャートである。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
A.システム構成
 図1には、ディジタル放送システム10の構成例を模式的に示している。図示のディジタル放送システム10は、放送送出システム11と、受信機12で構成される。
 放送送出システム11は、放送信号の伝送にMMT方式を適用しており、放送サービスを構成する各コンポーネントをIP(Internet Protocol)パケットにして伝送する。具体的には、放送送出システム11は、放送番組の映像信号や音声信号の符号、並びに、放送番組に関連するコンテンツ(データ放送アプリケーションなど)や字幕の信号を、MMTP(MMT Protocol)ペイロードに乗せてMMTPパケット化し、さらにIPパケット化し、放送伝送路ではTLV(Type Length Value)パケットの形式で伝送する。ここで、映像や音声、字幕などの放送番組本体に関わるコンポーネントは、同期型(Timed)メディアである。また、コンテンツ、すなわちHTML(Hyper Text Transfer Protocol)5形式などで符号化されるデータ放送アプリケーションは、非同期型(Non-Timed)メディアである。
 また、放送送出システム11は、同期型及び非同期型のメディアを伝送する放送サービスに関する制御情報であるMMT-SIのシグナリング(通知)も行なう。MMT-SIには、メッセージ、テーブル、記述子(descriptor)がある。テーブルは、メッセージをコンテナーとして伝送される。メッセージやテーブルで示すパラメーターの一部は記述子の形式で記述される。
 一方、受信機12は、放送送出システム11から放送伝送路で送られてくるTLVパケットを受信する。受信機12は、そして、受信機12は、受信パケットから映像や音声、字幕などの放送番組を構成する同期型の伝送メディアを復号して、画像や音声、字幕を提示する。また、受信機12は、受信パケットからデータ放送用の各データ・ファイルを取得すると、HTMLブラウザーなどのアプリケーション・エンジンを起動して、放送番組に連動したデータ放送を、TV番組の映像を表示するスクリーンの一部又は全部の領域に表示する。
 また、受信機12は、放送サービスに関する制御情報であるMMT-SIも受信する。受信機12は、MMT-SIに基づいて、映像や音声、字幕、データ放送などの伝送メディアの受信制御や受信機12上での出力(表示、音声出力)制御を行なう。
 図2には、MMT方式を用いるディジタル放送システム10におけるプロトコル・スタック200を示している。
 1つの放送サービスは、映像201、音声202、字幕203、アプリケーション204、コンテンツ・ダウンロード205の各コンポーネントで構成される。映像201はHEVC(High Efficiency Video Coding)形式で符号化211され、音声202はAAC(Advanced Audio Coding)形式で符号化212され、字幕203は字幕符号化213される。また、アプリケーション204は、EPG(Electric Program Guide)を含むが、例えばHTML5形式で符号化214される。
 MMTレイヤー220上では、放送番組の映像信号及び音声信号の符号化コンポーネント211、212は、MFU(Media Fragment Unit)及びMPU(Media Processing Unit)とし、MMTPペイロードに乗せてMMTPパケット化される。また、放送番組の字幕信号の符号化コンポーネント213や放送番組に関連するアプリケーション(データ・コンテンツ)符号化コンポーネント214についても、MFU及びMPUとし、MMTPペイロードに乗せてMMTPパケット化される。また、メディア・トランスポート方式であるMMTに関わる(放送番組の構成などを示す)制御情報であるMMT-SI221も、MMTPペイロードに乗せてMMTPパケット化される。MMTに関わる制御情報MMT-SIの詳細については、後述に譲る。MPUは処理の単位となり、MFUはMPUよりも小さな単位である。なお、コンテンツ・ダウンロード205のデータ伝送方式215として、字幕・文字スーパー伝送方式、アプリケーション伝送方式、イベント・メッセージ伝送方式、汎用データ伝送方式の4種類が挙げられる。このうち、アプリケーション伝送方式は、放送番組と非同期のデータ伝送サービスに用いられる。また、汎用データ伝送方式は、各種データを同期型又は非同期型により伝送する方式であり、映像、音声、字幕以外のデータの提示を行なうプレイヤーで利用するデータやマルチメディア・サービスで利用するデータのストリーミングに適用することができる。
 UDP(User Datagram Protocol)/IPレイヤー530では、MMTPパケットはIPパケット化される。また、同期型メディアのための現在時刻の情報を含むNTP(Network Time Protocol)パケット206も、IPパケット化される。さらに、これらのIPパケットは、TLVレイヤー240でTLVパケット化され、最下層の物理レイヤーである放送伝送路250で伝送される。また、IPパケットの多重のためのTLV多重化形式に関わるTLV-SI241も、TLVパケット化され、放送伝送路250で伝送される。TLVパケットを多重した伝送スロットは、伝送路のTMCC(Transmission and Multiplexing Configuration Control)信号251から、TLVストリーム識別情報(TLV_stream_id)を用いて特定される。
 図3には、図2に示すようなプロトコル・スタック構造の放送信号を送信する放送送出システム11の構成例を示している。図示の放送送出システム11は、時計部301と、信号送出部302と、ビデオ・エンコーダー303と、オーディオ・エンコーダー304と、字幕/文字スーパー・エンコーダー305と、シグナリング・エンコーダー306と、ファイル・エンコーダー307と、電子データ処理システム(Electronic Data Processing System:EDPS)308と、TLVシグナリング・エンコーダー309と、IPサービス・マルチプレクサー(MUX)310と、TLVマルチプレクサー(MUX)311と、変調・送信部312を備えている。
 時計部301は、NTPサーバー(図示しない)から取得した時刻情報に同期した時刻情報を生成し、この時刻情報を含むIPパケットをIPサービス・マルチプレクサー310に送る。
 信号送出部302は、例えばTV放送局のスタジオやVTRなどの記録再生機であり、同期型メディアである映像、音声、字幕及び文字スーパーなどのストリーム・データを、それぞれビデオ・エンコーダー303、オーディオ・エンコーダー304、字幕/文字スーパー・エンコーダー305に送る。また、信号送出部302は、非同期型メディアであるデータ放送アプリケーションや、同期型並びに非同期型の汎用データを、ファイル・エンコーダー307に送る。
 電子データ処理システム308は、TV放送局のスケジューラー並びにファイルの供給源である。電子データ処理システム308は、非同期型メディアであるデータ放送アプリケーションや、同期型並びに非同期型の汎用データを、ファイル・エンコーダー307に送る。また、電子データ処理システム308は、放送サービスの構成などを示す制御情報をシグナリング・エンコーダー306に送る。また、電子データ処理システム308は、IPパケットの多重に関する制御情報をTLVシグナリング・エンコーダー309に送る。
 ビデオ・エンコーダー303は、信号送出部302から送出される映像信号をHEVC符号化し、さらにパケット化して、映像信号のMMTパケットを含むIPパケットをIPサービス・マルチプレクサー310に送る。また、オーディオ・エンコーダー304は、信号送出部302から送出される音声信号をAAC符号化し、さらにパケット化して、音声信号のMMTパケットを含むIPパケットをIPサービス・マルチプレクサー310に送る。また、字幕/文字スーパー・エンコーダー305は、信号送出部302から送出される字幕信号及び文字スーパー信号を符号化し、さらに提示処理の単位でMPUを生成して、字幕のMMTパケットを含むIPパケットをIPサービス・マルチプレクサー310に送る。
 放送送出システム11が複数の放送サービスを送信する場合、放送サービス毎に映像信号のHEVC符号化、音声信号のAAC符号化、及び字幕/文字スーパーの符号化処理が行なわれ、それぞれの放送サービス#1~#Nに対応するIPサービス・マルチプレクサー310-1、…、310-Nに送られる。
 シグナリング・エンコーダー306は、電子データ処理システム308から送出される情報に基づいて、放送信号の構成などを示す制御情報(MMT-SI)を生成し、ペイロード部にMMT-SIが配置されたMMTパケットを含むIPパケットをIPサービス・マルチプレクサー310に送る。MMT-SIには、メッセージ、テーブル、記述子がある(前述)。シグナリング・エンコーダー306は、放送サービス単位のMMT-SIを生成する他、放送サービス横断のMMT-SIを生成する。
 ファイル・エンコーダー307は、信号送出部302又は電子データ処理システム308から送出されるHTML5形式のデータ放送アプリケーションや、データ放送アプリケーションなどで利用する汎用データを符号化し、さらにパケット化して、このMMTパケットを含むIPパケットをIPサービス・マルチプレクサー310に送る。
 放送送出システム11は、送出する放送サービス(放送チャンネル)#1~#N毎に、複数のIPサービス・マルチプレクサー310―1、…、310-Nを装備する。放送サービス毎のチャンネルのIPサービス・マルチプレクサー310は、各エンコーダー303~307から送られてくる映像、音声、字幕、(放送サービス単位)MMT-SI、データ放送アプリケーション、汎用データの各々を含むIPパケットをマルチプレクスして、放送サービス単位の放送信号、並びに、放送サービス横断のMMT-SIを含んだTLVパケットを生成する。
 TLVシグナリング・エンコーダー309は、電子データ処理システム308から送出される情報に基づいて、上記のIPパケットの多重に関する制御情報(TLV-SI)をペイロード部に配置するTLVパケットを生成する。
 TLVマルチプレクサー311は、各IPサービス・マルチプレクサー310-1~310-N及びTLVシグナリング・エンコーダー309でそれぞれ生成されるTLVパケットをマルチプレクスして、TLVストリーム識別情報で識別されるTLVストリームを生成する。
 変調・送信部312は、TLVマルチプレクサー311で生成されたTLVストリームに対してRF変調処理を行なって、放送伝送路に送出する。
 図3に示した放送送出システム11の動作について説明しておく。
 信号送出部302から送出される映像信号は、ビデオ・エンコーダー303に供給される。ビデオ・エンコーダー303では、映像信号がHEVC符号化され、さらにパケット化されて、HEVC符号化映像信号のMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサー310に送られる。
 また、信号送出部302から送出される音声信号並びに字幕及び文字スーパー信号に対しても、同様の処理が行なわれる。すなわち、オーディオ・エンコーダー304で生成されるAAC符号化音声信号のMMTパケットを含むIPパケットがIPサービス・マルチプレクサー310に送られるとともに、字幕/文字スーパー・エンコーダー305で生成される字幕符号化信号のMMTパケットを含むIPパケットがIPサービス・マルチプレクサー310に送られる。
 また、シグナリング・エンコーダー306では、電子データ処理システム308から送出される情報に基づいて放送信号の構成などを示す制御情報(MMT-SI)が生成され、ペイロード部にこのMMT-SIが配置されたMMTパケットを含むIPパケットが生成される。これらのIPパケットは、IPサービス・マルチプレクサー310に送られる。
 また、信号送出部302又は電子データ処理システム308から送出されるデータ放送アプリケーションや、データ放送アプリケーションなどで利用する汎用データは、ファイル・エンコーダー307に供給される。ファイル・エンコーダー307では、HTML5形式のデータ放送アプリケーションや汎用データが符号化され、さらにパケット化され、このMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサー310に送られる。
 各IPサービス・マルチプレクサー310-1、…、310-Nでは、各エンコーダー303~307から送られてくる映像、音声、字幕、(放送サービス単位及びサービス横断の)MMT-SI、データ放送アプリケーション(HTML5文書)、汎用データの各々を含むIPパケットがマルチプレクスされて、1つのチャンネルを構成するTLVパケットが生成される。
 TLVシグナリング・エンコーダー309では、電子データ処理システム308から送出される情報に基づいて、上記のIPパケットの多重に関する制御情報(TLV-SI)をペイロード部に配置するTLVパケットが生成される。
 TLVマルチプレクサー311では、各IPサービス・マルチプレクサー310-1~310-N及びTLVシグナリング・エンコーダー309で生成されるTLVパケットがマルチプレクスされて、TLVストリームが生成される。変調・送信部312では、TLVマルチプレクサー311で生成されたTLVストリームに対してRF変調処理が行なわれ、そのRF変調信号が放送伝送路に送出される。
 図4には、放送送出システム11からの放送信号を受信する受信機12の構成例を示している。図示の受信機12は、チューナー・復調部401と、MMTデマルチプレクサー(DEMUX)402と、時計回復部403と、ビデオ・デコーダー404と、オーディオ・デコーダー405と、文字スーパー・デコーダー406と、字幕デコーダー407と、マルチメディア(MM)キャッシュ408と、SIキャッシュ409と、放送システム制御部410と、アプリケーション(App)・エンジン411と、通信インターフェース(IF)412と、スケーラー414と、合成部415~418を備えている。
 チューナー・復調部401は、放送信号を選局受信し、復調処理を行なって、TLVストリームを得る。MMTデマルチプレクサー402は、このTLVストリームに対して、デマルチプレクス処理及びデパケット化処理を行なう。デマルチプレクサー402は、パケット・フィルター402-1とSIフィルター402-2を備えている。
 パケット・フィルター402-1は、TLVストリーム識別情報及びIPアドレスに基づいてIPパケットのフィルタリングを行ない、さらにMMTPヘッダー内の情報に基づいて、IPパケットからMMTPパケットをフィルタリングして、映像、音声、文字スーパー並びに字幕といった同期型伝送メディアを、それぞれビデオ・デコーダー404、オーディオ・デコーダー405、文字スーパー・デコーダー406、字幕デコーダー407に振り分ける。また、パケット・フィルター402-1は、マルチメディア(データ放送アプリケーション)や汎用データの各符号化コンポーネントを、マルチメディア(MM)キャッシュ408に振り分ける。また、パケット・フィルター402-1は、シグナリング情報を乗せたMMTPパケットを、SIフィルター402-2に振り分ける。そして、SIフィルター402-2は、シグナリング情報SIをフィルタリングして、SIキャッシュ410にキャッシュする。
 時計回復部403は、MMTデマルチプレクサー402内のパケット・フィルター402-1でフィルタリングされたNTPパケットに含まれる現在時刻の情報に基づいて、この時刻情報に同期した時刻情報を生成して、各同期型伝送メディアをデコードするビデオ・デコーダー404、オーディオ・デコーダー405、文字スーパー・デコーダー406、字幕デコーダー407にそれぞれ出力する。
 ビデオ・デコーダー404は、MMTデマルチプレクサー402で得られる符号化映像信号をデコードして、ベースバンドの映像信号を得る。また、オーディオ・デコーダー405は、MMTデマルチプレクサー402で得られる符号化音声信号をデコードして、ベースバンドの音声信号を得る。また、文字スーパー・デコーダー406並びに字幕デコーダー407は、MMTデマルチプレクサー402で得られる文字スーパー及び字幕符号化信号をそれぞれデコードして、文字スーパー及び字幕の表示信号をそれぞれ得る。
 放送システム制御部410は、SIキャッシュ409にキャッシュされているMMT-SIに基づいて、受信機12全体の放送サービス受信動作を制御する。例えば、放送システム制御部410は、MMT-SIに含まれるアプリケーションの実行制御情報(MH-AIT)を解析して、起動が指示されているデータ放送アプリケーションを見つけると、アプリケーション・エンジン411に対してデータ放送の提示処理を指示する。
 アプリケーション・エンジン411は、例えばHTMLブラウザーなどであり、マルチメディア・キャッシュ408にキャッシュされているデータ放送アプリケーション(HTML5文書など)の処理を行なって、データ放送の表示信号並びに音声信号を生成する。また、アプリケーション・エンジン411は、データ放送の表示に必要なデータ・ファイル(データ放送の表示に使用するメディア・データや、リンク先のアプリケーションなど)を、通信インターフェース412経由でIPネットワークから取得することもできる。
 また、本実施形態では、データ放送アプリケーションで利用する汎用データがストリーミングされることを想定している。アプリケーション・エンジン411は、ストリーミングされる汎用データを取得して、アプリケーションの表示に反映させる。
 スケーラー414は、ビデオ・デコーダー404でデコードされた映像信号(放送映像)を、受信機12の画面サイズに応じてスケーリング処理する。
 合成部415は、オーディオ・デコーダー405でデコードされた音声信号と、アプリケーション・エンジン411が再生したデータ放送用の音声信号を合成して、出力用の音声信号を生成する。
 合成部416は、文字スーパー・デコーダー406がデコードした文字スーパー表示と、字幕デコーダー407がデコードした字幕表示を合成する。また、合成部417は、スケーラー414でスケーリング処理された放送映像と、アプリケーション・エンジン411が生成したデータ放送の表示信号を合成する。さらに後段の合成部418は、データ放送の表示が重畳された放送映像と、合成部416から出力される文字スーパー表示及び字幕表示とを合成して、出力用の映像信号を生成する。
 図4に示した受信機12の動作について説明しておく。
 チューナー・復調部401では、放送信号が受信され、復調処理が行なわれて、TLVストリームが得られる。MMTデマルチプレクサー402では、このTLVストリームに対して、デマルチプレクス処理及びでパケット化処理を行なわれ、NTP時刻情報、映像、音声、文字スーパー及び字幕、データ放送アプリケーション、汎用データの各符号化信号、並びに、シグナリング情報が抽出された後、パケット・フィルター402-1によって、ビデオ・デコーダー404、オーディオ・デコーダー405、文字スーパー・デコーダー406、字幕デコーダー407、マルチメディア(MM)キャッシュ408、SIフィルター402-2にそれぞれ振り分けられる。
 また、デマルチプレクサー402で抽出されたNTPパケットは、時計回復部403に振り分けられる。時計回復部403では、NTPパケットに載せられた時刻情報に基づいて、この時刻情報に同期した時刻情報が生成される。つまり、時計回復部403では、放送送出システム11側の時計部301で生成された時刻情報に合った時刻情報が生成される。生成された時刻情報は、各同期型伝送メディアをデコードするにビデオ・デコーダー404、オーディオ・デコーダー405、文字スーパー・デコーダー406、字幕デコーダー407にそれぞれ出力される。
 MMTデマルチプレクサー402で抽出された符号化映像信号は、ビデオ・デコーダー404に送られてデコードされ、ベースバンドの映像信号が得られる。デマルチプレクサー402で抽出された文字スーパー符号化信号は文字スーパー・デコーダー406に送られてデコードされ、文字スーパーの表示信号が得られる。また、デマルチプレクサー402で抽出された字幕符号化信号は字幕デコーダー407に送られてデコードされ、字幕の表示信号が得られる。
 放送システム制御部410では、SIフィルター402-2並びにSIキャッシュ409を介して受け取るMMT-SIに基づいて、データ放送アプリケーションの処理を始め受信機12による受信処理動作全体が制御される。
 アプリケーション・エンジン411では、マルチメディア・キャッシュ408にキャッシュされているデータ放送アプリケーション(HTML5文書など)の処理が行なわれ、データ放送の表示信号並びに音声信号が生成される。また、本実施形態では、データ放送アプリケーションで利用する汎用データがストリーミングされることを想定している。アプリケーション・エンジン411では、取得された汎用データが、アプリケーションの表示に反映される。
 スケーラー414では、ビデオ・デコーダー404でデコードされた映像信号(放送映像)のスケーリング処理が行なわれる。また、合成部416は、文字スーパー・デコーダー406でデコードされた文字スーパー表示と、字幕デコーダー407でデコードされた字幕表示が合成される。続いて、合成部417では、スケーラー414でスケーリング処理された放送映像と、アプリケーション・エンジン411で生成されたデータ放送の表示信号が合成される。さらに後段の合成部418では、データ放送の表示が重畳された放送映像と、合成部416から出力される文字スーパー表示及び字幕表示が合成されて、出力用の映像信号が生成される。
 また、合成部415では、オーディオ・デコーダー405でデコードされた音声信号と、アプリケーション・エンジン411で再生されたデータ放送用の音声信号を合成して、出力用の音声信号が生成される。
B.放送信号の構成
 図5には、MMT方式に従って放送送出システム11から受信機12に向けて放送伝送路に送出される放送信号500のイメージを示している。
 放送信号は、映像、音声、字幕などの放送番組本編に関わる同期型メディアと、データ放送アプリケーションのような非同期型メディアで構成される。MMT方式では、これら同期型並びに非同期型メディアを、異なる伝送路の組み合わせで利用することが容易である。図5に示す例では、放送信号500として、映像、音声、字幕、データ放送アプリケーション、汎用データ、放送サービスに関する制御情報(MMT-SI)など、データのタイプ毎のMMT伝送路501~506が利用されている。
 各MMT伝送路では、符号化したメディア・データをMPUフォーマットにしてMMTPパケット化され、IPパケットで伝送される。各MMT伝送路は、それぞれ1つのIPデータ・フローに相当する。ここで言うIPデータ・フローとは、IPヘッダー及びUDPヘッダーの送信元IPアドレス、宛先IPアドレス、IPヘッダーのプロトコル種別、送信元ポート番号、宛先ポート番号の5種類のフィールドの値がすべて同じとなるIPパケットの集合である。
 1つの放送サービスは、映像、音声、字幕、データ放送アプリケーションなど複数のコンポーネントで構成されるパッケージである(但し、1つの放送サービスは、1つのチャンネルすなわち放送番組に対応するものとする)。MMT伝送方式では、コンポーネントは「アセット」として定義されている。各アセットは、固有のアセット識別情報(asset_id)で識別される。アセット識別情報は、コンポーネントを識別するコンポーネント・タグと一意に対応する(映像のアセットは映像コンポーネントに対応し、音声のアセットは音声コンポーネントに対応し、字幕のアセットは字幕コンポーネントに対応し、データ放送アプリケーション用のデータ・ファイルのアセットはデータ・ファイルのコンポーネントに対応する)。
 各アセットは、それぞれ同じアセット識別情報を共有する1又はそれ以上のMPUの集合(論理グループ)で構成される。MPUは、MMT方式における伝送単位となるフォーマットであり、1以上のMFUで構成される。MPUは、それぞれのアセットに専用のES(Elementary Stream)すなわちMMT伝送路で伝送される。各MPUは、アセット識別情報と、該当する伝送路上でのMPUのシーケンス番号で特定される。
 図5に示す例では、伝送路501では、映像信号用として共通のアセット識別情報を持つMPU論理グループからなる符号化映像信号のMMTPパケットが伝送される。同様に、伝送路502では音声信号用として共通のアセット識別情報を持つMPU論理グループからなる符号化音声信号のMMTパケットが伝送され、伝送路503では字幕信号用及び文字スーパー用としての共通のアセット識別情報を持つMPUグループからなる符号化字幕信号及び符号化文字スーパー信号のMMTPパケットが伝送され、伝送路504-1並びに504-2ではデータ放送アプリケーション用として共通のアセット識別情報を持つMPU論理グループからなる符号化アプリケーションのMMTPパケットが伝送される。また、伝送路505では、共通のアセット識別情報を持つMPUグループからなる符号化汎用データ信号のMMTPパケットとして伝送される。
 1つのパッケージ(放送サービス)内で、同じタイプのアセットが複数伝送されることもある。図5に示す例では、2つのデータ放送アプリケーションのアセットが、異なるアセット識別番号が割り振られ、それぞれ専用のESすなわちMMT伝送路504-1、504-2で伝送される。例えば、一方のMMT伝送路504-1では放送番組に連動する番組連動型データ放送アプリケーションのアセットが伝送され、他方のMMT伝送路504-2では放送番組に連動しない番組非連動型データ放送アプリケーション(例えば、天気予報やニュースなど)のアセットが伝送される。2以上のデリバリー・セグメントからそれぞれ独立してデータ放送アプリケーションのアセットが提供される場合も想定される。
 また、MMT方式は、放送や通信の複数の伝送路を共通に用いることができる。例えば、データ放送(HTML5文書など)のような非同期型メディアを、図5に示したように放送信号500の伝送路504-1や504-2を用いて同じ放送サービスの同期型メディアとともに伝送する以外に、IPネットワークなど通信伝送路(図示しない)を介して伝送することもできる。
 伝送路505では、MMTを用いる放送システムにおいて、汎用データ伝送方式により各種データを伝送するのに利用される。汎用データ伝送は、HTML5形式のデータ放送アプリケーションに対するデータのストリーミングに用いることができる。
 伝送路506は、MMT方式におけるシグナリング、すなわち、MMTのパッケージの構成や放送サービスに関連する情報を示す制御情報であるMMT-SIの伝送に使用される。伝送路506では、MMT-SIを含んだMMTメッセージがMMTPパケット化され、カルーセル方式により繰り返し伝送される。なお、図5では、TLV-SI用の伝送路の図示を省略している。
 MMT-SIには、メッセージ、テーブル、記述子がある。伝送路506伝送されるメッセージとして、PAメッセージ510、M2セクション・メッセージ520、データ伝送メッセージ530を挙げることができる。
 PAメッセージ510は、放送番組の構成などを示す制御情報であり、アセットのリストやその位置などパッケージを構成する情報を記述するMP(MMT Package)テーブル511を格納するコンテナーである。
 MP(MMT Package)テーブル511は、放送サービス単位の基本的な受信制御情報を示すテーブルであり、具体的には、アセットのリストや、アセットのロケーション情報など、パッケージを構成する情報を与える。また、MPテーブル511は、アプリケーション・サービス記述子などのMPT記述子を含む。アプリケーション・サービス記述子は、データ放送アプリケーションのエントリー情報(例えば、データ伝送メッセージや、MH-AIT及びEMTをそれぞれ伝送する各M2セクション・メッセージのエントリー情報)を示す。また、MPテーブル511には、MPUの提示時刻を提供するMPUタイムスタンプ記述子が配置される。
 PAメッセージ510は、放送サービスのエントリー・ポイントであり、PAメッセージ510を伝送するMMTPパケットには、固定のパケット識別情報(例えば、0x0000)が割り当てられている。したがって、受信機側では、MMT伝送路506上で、上記固定のパケット識別情報を直接指定してPAメッセージ510を取得することができる。そして、PAメッセージ510で伝送されるMPテーブル511を参照して、パッケージ(放送番組)を構成する各アセット(映像、音声、字幕、データ放送アプリケーション、汎用データ)や他のシグナリング・メッセージを間接指定することができる。
 なお、図5では省略したが、PAメッセージ510に格納されるテーブルとして、MPテーブル以外に、PL(Package List)テーブル(PLT)、LC(Layout Configuration)テーブル(LCT)を挙げることができる。PLTは、放送サービスとして提供されるMMTパッケージのPAメッセージを伝送するIPデータ・フロー及びパケットID並びにIPサービスを伝送するIPデータ・フローの一覧を示す。また、LCTは、提示のためのレイアウト情報をレイアウト番号に対応付けるために用いる。1つのPAメッセージは、MPテーブル、PLテーブル、LCテーブルという最大3つのテーブルを格納することができるコンテナーである。
 M2セクション・メッセージ520は、MPEG-2 Systemsのセクション拡張形式を伝送するメッセージであり、セクション形式のシグナリング・テーブルを1つずつ格納するコンテナーである。1つのM2セクション・メッセージ520内には、MH-AIT(Application Information Table)521や、EMT(Event Message Table)522といったテーブルが1つずつ格納される。
 MH-AIT521は、アプリケーションに関する動的制御情報及び実行に必要な付加情報を指定するテーブルである。具体的には、MH-AIT521は、アプリケーション情報ループの中で、当該テーブルの制御対象となる各アプリケーションの処理方法をapplication_control_codeで示すとともに、アプリケーションの情報を記述する各種アプリケーション情報記述子を配置する。ここで、application_control_codeは、autostart(アプリケーションの自動起動)、present(アプリケーションが実行可能の状態)、kill(アプリケーションの終了)、prefetch(アプリケーションの取得及び保持(事前キャッシュ))などのアプリケーションの処理方法を示す。また、アプリケーション情報記述子の1つである伝送プロトコル記述子は、アプリケーションの伝送方式と伝送方式に応じたロケーション情報を指定する(アプリケーションをHTTP/HTTPS並びにMMT非同期型伝送の場合には、共通して、URL(Uniform Resource Locator)形式でロケーション情報を指定する)。
 EMT522は、イベント・メッセージ伝送方式に用いるシグナリング・テーブルであり、イベント・メッセージ(放送局から受信機上のアプリケーションに対する同期・非同期のメッセージ)に関する情報(イベント・メッセージ記述子)を格納する。イベント・メッセージ伝送方式は、放送局から受信機で動作しているデータ放送アプリケーションに対して、即座にあるいは指定した時刻に、メッセージ情報を送る手段を提供する。
 データ伝送メッセージ530は、データ放送アプリケーションの伝送に関する制御情報を伝送するためのメッセージである。データ伝送メッセージ530は、データ・ディレクトリー管理テーブル(Data Directory management Table:DDMT)531、データ・アセット管理テーブル(Data Asset Management Table:DAMT)532、データ・コンテンツ管理テーブル(Data Content Configuration Table:DCCT)533という、最大3つのテーブルを同時に格納することができるコンテナーである。データ・ディレクトリー管理テーブル及びデータ・アセット管理テーブルはデータ放送サービスに必須であるが、データ・コンテンツ管理テーブルは任意である。
 ここで、データ・ディレクトリー管理テーブル531は、ディレクトリー単位(言い換えれば、データ放送アプリケーションの制作単位)でデータ放送アプリケーションを管理するためのテーブルである。同テーブル内は、1つのパッケージに含まれるアイテム(ディレクトリー並びにディレクトリーに含まれるサブディレクトリーやファイル)に関するディレクトリー構造を記述しているので、アプリケーションのファイル構成とファイル伝送のための構成を分離することができる。同テーブルは、ディレクトリーやファイルなどの各ノードのパス名と、データ伝送メッセージ内で各ノードを識別するノード・タグとの対応関係を示している。
 また、データ・アセット管理テーブル532は、アセット単位でデータ放送アプリケーションを管理するためのテーブルであり、アセット内のMPUの構成とのMPU毎のバージョン情報を記述している。具体的には、同テーブルは、各コンポーネントのダウンロード識別情報や、コンポーネントを伝送する各MPUに含まれるノード(ファイル又はディレクトリー)をデータ伝送メッセージ内で識別するノード・タグとMMT伝送路上でノードを識別するアイテム識別情報との対応関係を示している。
 また、データ・コンテンツ管理テーブル533は、提示単位(Presentation Unit:PU)毎にデータ放送アプリケーションを管理するためのテーブルである。同テーブルは、データ放送アプリケーションを提示単位毎に識別する提示単位識別情報と、各提示単位に含まれるノード(ファイル又はディレクトリー)をデータ伝送メッセージ内で識別するノード・タグを示している。また、同テーブルは、提示単位にリンクする提示単位を識別するリンク先提示単位識別情報や、各提示単位のキャッシュ制御に関する情報を含めることができ、受信機側ではデータ放送アプリケーション用のファイル・データの柔軟で有効なキャッシュ制御に利用することができる。
 MMTによるデータ放送アプリケーションの伝送方式において、データ伝送メッセージで伝送する上記3種類のシグナリング・テーブル531~533を活用することにより、ファイル単位の伝送データ構造やコンテンツ(データ放送アプリケーション)制作におけるディレクトリー構造とは独立して、アプリケーション単位、提示単位といった利用単位のデータ構造を表現することができる。各シグナリング・テーブル531~533の構成は、ARIB STD B-60で規定されている。
 MMT-SIとして伝送されるメッセージやテーブルのパケット識別情報は、固定されているものや、他のテーブルから間接指定されるものがある。このうち、PAメッセージは、放送サービスのエントリー・ポイントであり、固定のパケット識別情報(例えば、0x0000)が割り当てられている。PAメッセージで伝送されるMPテーブルでは、パッケージ(放送番組)を構成する各アセット(映像、音声、字幕、データ放送アプリケーションなど)のアセット識別情報とロケーション情報を示している。したがって、受信機側では、MMT伝送路上で、上記固定のパケット識別情報を直接指定してPAメッセージを取得することができる。そして、図6に示すように、PAメッセージで伝送されるMPテーブルを参照して、放送サービスに関連する各アセット(映像、音声、字幕、データ放送アプリケーションなど)や他のシグナリング・メッセージを間接的に指定することができる。なお、MPテーブルは、映像及び音声以外の各アセットに対して、データ符号化方式を識別するために、MH-データ符号化方式記述子を配置する。
 図7には、MPテーブルのシンタックス例700を示している。以下、MPテーブルの各パラメーターの意味について説明する。
 table_idは、当該テーブルがMPテーブルであることを識別する8ビットの固定値(0x20)である。versionは、MPテーブルのバージョン番号を示す8ビットの整数値である。例えば、MPテーブルを構成する一部のパラメーター(記述子)でも更新した場合には、versionは+1だけインクリメントされる。lengthは、このフィールドの直後からカウントされる、MPテーブルのサイズをバイト単位で示す、32ビット長のパラメーターである。また、MPT_modeは、このMPテーブルがサブセットに分割されているときの動作を示す。
 MMT_package_id_lengthは、パッケージ識別情報(MMT_package_id)のテキスト情報のサイズをバイト単位で示す。続くパッケージ識別情報のループでは、MMT_package_idをバイト単位(MMT_package_id_byte)でパッケージ識別情報を示す。パッケージ識別情報は、放送信号(IPデータ・フロー)で伝送されるすべての信号(映像、音声、字幕)、並びにファイル・データなどのアセットをコンポーネントとする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報であり、上位16ビットはサービスを識別するためのサービス識別情報と同じ値とする。
 MPT_descriptor_lengthは、MPテーブル記述子領域のサイズをバイト単位で示す。MPテーブル記述子のループでは、MPテーブル記述子の内容をバイト単位(MPT_descriptors_byte)で記述する。MPT記述子には、対応する放送サービス(パッケージ)全体の受信制御に関わる基本的な情報が記述される。
 number_of_assetsは、放送サービス(パッケージ)を構成する要素としてのアセット(信号、ファイル)の数を示す、8ビットのパラメーターである。number_of_assetの数分だけ、アセット情報のループが配置される。1つのアセット情報のループ内には、個々のアセットの情報としてのアセット識別情報(asset_id)と、一般ロケーション情報(MMT_general_location_info)と、アセット記述子(asset_descriptor)の各パラメーターが配置される。アセット情報のループ内に配置される情報について、以下に説明しておく。
 identifier_typeは、MMTPパケット・フローのID体系を示す。アセット識別情報(asset_id)を示すID体系であれば0x00とする。asset_id_schemeは、アセット識別情報の形式を示す。asset__id_lengthは、アセット識別情報のテキスト情報のサイズをバイト単位で示す。続くアセット識別情報のループでは、アセット識別情報をバイト単位(asset_id_byte)で示す。
 asset_typeは、アセットの種類(映像、音声、文字スーパー・字幕、アプリケーションなど)を32ビット長の文字列で示す。asset_clock_relation_flagは、アセットのクロック情報フィールドの有無を示すフラグである。当該フラグが1のときは、クロック情報識別フィールド(asset_clock_relation_id)とタイムスケール・フラグ・フィールド(asset_timescale_flag)が存在し、0のときはこれらのフィールドは存在しない。location_countは、アセットのロケーション情報の数を示し、続くlocation_countの数だけ繰り返されるロケーション情報のループでは、該当するアセットのロケーション情報であるMMT_general_location_infoが示される。
 asset_typeは、アセットの種類(映像、音声、文字スーパー・字幕、アプリケーションなど)を32ビット長の文字列で示す。asset_type(文字)が表すアセットの種類を、以下に表1に示しておく。
Figure JPOXMLDOC01-appb-T000001
 asset_clock_relation_flagは、アセットのクロック情報フィールドの有無を示すフラグである。当該フラグが1のときは、クロック情報識別フィールド(asset_clock_relation_id)とタイムスケール・フラグ・フィールド(asset_timescale_flag)が存在し、0のときはこれらのフィールドは存在しない。location_countは、アセットのロケーション情報の数を示し、続くlocation_countの数だけ繰り返されるロケーション情報のループでは、該当するアセットのロケーション情報であるMMT_general_location_infoが示される。アセットのロケーション情報は、アセットの取得先となるMMT伝送路上のパケット識別情報(packet_id:PID)の形式で記述される。したがって、MPテーブル上でアセット識別情報を引いて、MMT伝送路(IPデータ・フロー)上の該当するパケット識別情報を取り出すことができる(図6を参照のこと)。
 asset_descriptor_lengthは、アセット記述子(asset_descriptor)のテキスト情報のサイズをバイト単位で示す。参照番号701で示すアセット記述子のループでは、アセット毎の記述子の内容をバイト単位(asset_descriptors_byte)で示す。アセット情報のループ(MPテーブルの第2ループ)内に配置されるアセット記述子として、データ符号化方式を識別するために使用する「MH-データ符号化方式記述子」や、MPUの提示時刻を提供する「MPUタイムスタンプ記述子」、MPU内のアクセス・ユニットの復号時刻などを提供する「MPU拡張タイムスタンプ記述子」、アセットのグループ関係とグループ内での優先度を提供する「アセット・グループ記述子」、MPUの提示位置を提供する「MPU提示領域指定記述子」、依存関係にあるアセットのアセットIDを提供する「依存関係記述子」を挙げることができる。
 図8には、MPテーブルのアセット情報ループに配置される、MPUタイムスタンプ記述子のシンタックス例800を示している。MPUタイムスタンプ記述子は、MPUにおいて提示順序で最初のアクセス・ユニットの提示時刻を示す。以下、MPUタイムスタンプ記述子の各パラメーターの意味について説明する。
 descriptor_tagは、当該記述子800を識別する、8ビットの固定値を示す。descriptor_lengthは、このフィールドより後に続く当該記述子のデータのバイト長を書き込む、8ビットの領域である。
 mpu_sequence_numberは、当該記述子でタイムスタンプを記述するMPUのシーケンス番号を示す。mpu_presentation_timeは、上記シーケンス番号で示されたMPUの提示時刻を64ビットのNTPタイムスタンプ形式で示す。
 MH-AITでは、各アプリケーションのロケーション情報は、URL形式、言い換えれば、ディレクトリー・ノード名とファイル名の組み合わせからなるパス名で記述される。一方、データ伝送メッセージで伝送されるデータ・ディレクトリー管理テーブル及びデータ・アセット管理テーブルを用いて、アセットのパス名をMMT伝送路上の識別情報(パケット識別情報)に変換することができる。図9を参照しながら、MMT伝送されるデータ放送に関連するファイルを取得する仕組みについて、簡単に説明しておく。
 受信機は、M2セクション・メッセージで伝送されるMH-AIT内のアプリケーション情報ループを参照して、起動すべきアプリケーション(例えば、アプリケーション制御コードで自動起動(autostart)が指定されたアプリケーション)を検知することができる。また、受信機は、MH-AITに配置されている伝送プロトコル記述子から、アプリケーションのロケーション情報すなわちパス名を取得することができる。放送で伝送されるアプリケーションの場合には、参照番号901で示すように、データ伝送メッセージ内のデータ・ディレクトリー管理テーブルから、指定されたパス名に対応するファイルのノード・タグを得ることができる。
 次いで、参照番号902で示すように、同じくデータ伝送メッセージ内のデータ・アセット管理テーブルから、データ・ディレクトリー管理テーブルで得られたノード・タグを持つアイテムが伝送されるデータ・アセットのコンポーネント・タグ、ダウンロード識別情報、MPUシーケンス番号、及びアイテム識別情報を得ることができる。
 さらに、参照番号903で示すように、MPテーブルから、データ・アセット管理テーブルで得られたコンポーネント・タグを持つアセットのロケーション情報を取得すると、参照番号904で示すように、該当するファイルが実際に伝送されるデータ・アセットを特定することができる。
 そして、特定されたデータ・アセット内で、データ・アセット管理テーブルから得られたダウンロード識別情報とアイテムを伝送するMMTPパケットのヘッダー領域に記載されたダウンロード識別情報とにより、カルーセルに対応するファイルの繰り返し伝送の単位を一意に識別することができる。参照番号905で示すように、繰り返し伝送されるアイテムのうち、データ・アセット管理テーブルから得られたMPUシーケンス番号及びアイテム識別情報を持つアイテムを所望のファイルとして指定することができる。
C.汎用データ・ストリームの伝送
 汎用データ伝送方式は、各種データを同期型又は非同期型により伝送する方式であり、映像、音声、字幕以外のデータの提示を行なうプレイヤーで利用するデータやマルチメディア・サービスで利用するデータのストリーミングに適用することができる。汎用データ伝送は、HTML5形式のデータ放送アプリケーションで利用する各種データをストリームとして放送は伝送するのに用いることができる。同期型MPUで伝送する同期型汎用データと、非同期型MPUで伝送する非同期型汎用データがある。同期型汎用データのMPUには、MPUタイムスタンプ記述子(前述)により提示時刻が示される。
 汎用データ伝送の処理では、MPUが処理の単位となる。MPUは、あるタイミングに利用するデータを含み、MPU単位で提示などの処理を行なうことができる単位となる。図10には、汎用データのMPU及びMFUの構成を示している。
 汎用データのMPUは、MPUメタデータ、ムービー・フラグメント・メタデータは配置せず、1以上のMFUで構成される。各MFUは、汎用データ・ヘッダー部と、データ部で構成される。各MFUのデータ部には、任意のサイズのデータを格納することができる。例えば、1つのMFUで1つのファイルを送ることができる。
 図11には、汎用データのMFUのシンタックス例1100を示している。以下、汎用データのMFUの各パラメーターの意味について説明する。
 component_tag(コンポーネント・タグ)は、当該コンポーネント・ストリームを識別するためのラベルであり、MPテーブルのMH-ストリーム識別記述子で与えられる汎用データ・ストリームのアセット識別情報と一意に対応するコンポーネント・タグの16ビットの値が書き込まれる。
 data_type_lengthは、後続のデータ・タイプ記述(data_type_byte)の長さをバイト単位で示す。参照番号1101で示す、data_type_byteは、当該MFUで伝送するデータのMIME(MULTIPURPOSEInternet Mail Extension)タイプを格納する領域である。
 additional_info_lengthは、後続の付加情報記述の長さをバイト単位で示す。参照番号1102で示す、additional_info_byteは、当該MFUで伝送するデータに関する付加情報を格納する領域である。
 data_lengthは、後続の汎用データのデータ・バイトの長さをバイト単位で示す。参照番号1103で示す、data_byteは、汎用データを格納する領域である。
 コンポーネント・タグ、データ・タイプ、付加情報は、汎用データ・ヘッダー部に相当する。data_byteは、データ部に相当する。
 本明細書では、汎用データのユースケースとして、HTML5形式のデータ放送アプリケーションに対して、表示オブジェクトを時々刻々と変化させるためのデータを汎用データ・ストリームとして伝送する技術を提案する。以下では、本明細書で開示する技術の一実施形態として、放送番組の映像に対して表示オブジェクトをオーバーレイ表示するデータ放送アプリケーションに対して、表示オブジェクトの制御情報を汎用データ・ストリームとして伝送する技術について、詳細に説明する。
 例えば、放送番組の映像と同期する表示オブジェクトを表示させたい場合、時々刻々変化する表示オブジェクトの制御情報を、映像と時刻同期した同期型汎用データ・ストリームで伝送することができる。そして、データ放送アプリケーションは、汎用データ・ストリームとして受信する制御情報に基づいて、映像の動きに合わせて、表示オブジェクトを映像にオーバーレイ表示することができる。
 図12には、放送番組の映像と同期する表示オブジェクトを表示させた放送画面の表示例を示している。同図は、サッカーの試合の放送画面であり、出場している選手の情報(例えば、選手名、ポジション、ゴール数など)を提示する「吹き出し」状の表示オブジェクトを、各選手の動きに追従させてオーバーレイ表示している。
 図12は、放送番組の画面に表示オブジェクトをオーバーレイ表示する例の1つに過ぎない。サッカー以外の、例えば野球やバスケットボール、ゴルフ、陸上競技、柔道、カーレースなどさまざまな競技を中継する放送番組に対しても、同様の表示オブジェクトのオーバーレイ表示を適用することができる。勿論、スポーツ以外の、ドラマや音楽番組などさまざまなジャンルの放送番組にも、同様の表示オブジェクトのオーバーレイ表示を適用することができる。
 映像と同期した表示オブジェクトに関する情報の表現方法として、例えば、以下で説明する移動オブジェクト・リスト記述(Moving Object List Description:MOLD)文書を利用することができる。移動オブジェクト・リスト記述文書は、同時に画面に表示するオブジェクト数分の表示オブジェクトに関する情報のリストを記述する文書構造を備えている。移動オブジェクト・リスト記述文書内には、表示オブジェクト毎の情報として、表示オブジェクトの画面上の位置及びサイズと、表示データ自体又は表示データの取得先情報(参照するデータ参照番号又はURLなど)を記載すればよい。
 送信側(放送局)からは、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データ(画像ファイル)をパッケージ化して、パッケージ単位の表示時刻を示すタイムスタンプとともに、汎用データ・ストリームとして間欠的に放送伝送する。そして、受信機側では、各表示オブジェクトを描画するための情報を移動オブジェクト・リスト記述文書から取り出すと、タイムスタンプで指定される表示時刻に基づいて、映像と同期した表示オブジェクトを放送番組の画面にオーバーレイ表示することが可能である。
 パッケージ単位の表示時刻を示すタイムスタンプ情報は、MPUの提示時刻を提供するMPUタイムスタンプ記述子で示すことができる。MPUタイムスタンプ記述子は、MPテーブルの第2ループ内に配置されるアセット記述子701の1つである。MPUタイムスタンプ記述子のシンタックス例を図8に示したが、移動オブジェクト・リスト記述文書を伝送するMPUのシーケンス番号をmpu_sequence_numberで指定し、その表示時刻をmpu_presentation_timeで指定すればよい。
 また、表示オブジェクトに関する情報として、次のタイミングまでの各表示オブジェクトの内挿位置を求めるための内挿情報も、移動オブジェクト・リスト記述文書に記述する。内挿情報は、次のタイミングまでの時間を細分化した時刻毎の内挿位置を求めるための情報を含む。映像フレーム毎に汎用データ・ストリームを伝送するのは、情報量が大きいため現実的でない。汎用データ・ストリームを間欠的に伝送し、受信機側では、移動オブジェクト・リスト記述文書に記述された内挿情報に基づいて求めた内挿位置に表示オブジェクトを表示することで、次のタイミングまでの間に表示オブジェクトを滑らかに移動させることができる。図12に示した放送番組の表示例で言えば、常にピッチ上を動き回るサッカー選手に滑らかに追従するように、内挿により表示オブジェクトをオーバーレイ表示することができる。
 例えば、内挿情報として、表示オブジェクトの速度ベクトル情報を記述することで、表示オブジェクトの内挿位置を線形補間することが可能になる。さらに、角速度情報を含めることで、表示オブジェクトの内挿位置を弧の曲線補間することが可能になる。速度ベクトルや角速度は、対応する選手の動きを解析して求めることができる。
 また、表示オブジェクトに関する情報として、さらにハイパーリンクのURL情報を移動オブジェクト・リスト記述文書に記述するようにしてもよい。受信機側では、映像の視聴者が表示オブジェクトを操作した場合に、その表示オブジェクトに対して指定されたURLに基づいて指定されたリンク先から情報を取得して表示することができる。
 また、複数の移動オブジェクト・リスト記述文書から共通に参照される表示オブジェクトの表示データについては、移動オブジェクト・リスト記述文書とパッケージ化して毎回伝送するのではなく、代表して先頭の移動オブジェクト・リスト記述文書とパッケージ化して伝送し、それ以後に伝送する移動オブジェクト・リスト記述文書からは共通に参照するようにしてもよい。外部の表示データを参照する、移動オブジェクト・リスト記述文書のみからなる汎用データを伝送することにより、伝送情報量を削減(すなわち、伝送帯域を節約)することができる。表示データを更新したときに、移動オブジェクト・リスト記述文書とパッケージ化して伝送するようにすれば、帯域節約の効果が高まる。但し、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、表示データをパッケージ化した汎用データを一定間隔で伝送することが好ましい。
 また、上記の汎用データ・ストリームを、一定周期で間欠伝送してもよいし、伝送周期を可変制御するようにしてもよい。例えば、表示オブジェクトの動きに応じて、汎用データ・ストリームの伝送周期を制御するようにしてもよい。例えば、表示オブジェクトの動きが速い場合には1秒間隔で伝送し、表示オブジェクトのより正確な内挿位置を求め易くすることができる。逆に、表示オブジェクトの動きが遅い場合には5秒間隔にして、伝送情報量を削減(すなわち、伝送帯域を節約)するようにしてもよい。
 図13には、オブジェクト数分の表示オブジェクトに関する情報を記述した移動オブジェクト・リスト記述文書と、同文書から参照される表示データをパッケージ化した汎用データ・ストリームの構造を模式的に示している。
 この汎用データ・ストリームは、同期型MPUとして伝送される。図10を参照しながら既に説明したように、汎用データ伝送の処理ではMPUが処理の単位となり、MPUは複数のMFUで構成される。表示オブジェクトに関する情報を汎用データで伝送する場合、移動オブジェクト・リスト記述文書と同文書から参照される表示データのパッケージが処理単位として、1つのMPUで伝送される。
 図13中、参照番号1300は、1つのパッケージを伝送するMPUであり、参照番号1310に示す先頭のMFUに移動オブジェクト・リスト記述文書を格納するとともに、この移動オブジェクト・リスト記述文書から参照される各表示オブジェクトの表示データ(画像ファイル)を後続のMFU1320-1、…、1320-Nに格納する。
 先頭のMFU1310のデータ部に格納される移動オブジェクト・リスト記述文書は、画面に表示するオブジェクト数N個分の表示オブジェクトの情報のリストからなる。図14に示すように、4個の表示オブジェクト#1~#4を画面に同時に表示する場合、N=4であり、移動オブジェクト・リスト記述文書は、4個分の表示オブジェクトに関する情報をリストする。
 移動オブジェクト・リスト記述文書内では、参照番号1311で示す情報ブロック内に、表示オブジェクト#1に関する情報として、表示オブジェクトを識別するタグ情報(Tag)と、表示オブジェクトを画面上に表示する位置(Position)及びサイズ(Size)、内挿情報としての速度ベクトル情報(Vector)及び角速度情報(θ)、表示オブジェクトの表示データの情報(MediaData)を含んでいる。上述したように、表示オブジェクトの情報としてハイパーリンクのURL情報をさらに含んでいてもよい(図13では省略)。図面の簡素化のため省略したが、他の情報ブロックも、それぞれ対応する表示オブジェクトに関する同様の情報を記述しているものと理解されたい。
 表示オブジェクトの表示データの情報(MediaData)は、表示データの取得先情報(参照するデータ参照番号又はURLなど)で表すことができる。図13に示す例では、表示オブジェクトの表示データ(画像ファイル)も、移動オブジェクト・リスト記述文書とパッケージ化することを想定しており、URLなどの取得先情報は、同じMPU内で伝送される、該当する画像ファイルを格納したMFUのロケーション情報を指定するものとする。あるいは、表示データ自体すなわちバイナリー・データを移動オブジェクト・リスト記述文書の情報ブロック内に記述することもできる。
 また、参照番号1330は、MPテーブルであり、放送信号を構成する各アセット(映像、音声、字幕、データ放送アプリケーションなど)のアセット識別情報とロケーション情報を指定している。このMPテーブルの第2ループ内に汎用データ・ストリームのアセットに対して配置されるMPUタイムスタンプ記述子1331で、MPU1300の表示時刻を指定する。すなわち、MPUタイムスタンプ記述子1331は、移動オブジェクト・リスト記述文書を伝送するMPU1300のシーケンス番号をmpu_sequence_numberで指定し、その表示時刻をmpu_presentation_timeで指定する。
 図13では、移動オブジェクト・リスト記述文書と同文書から参照される表示データをパッケージ化して伝送するMPUの構成例が示されており、各表示オブジェクトの表示データ(画像ファイル)が同じMPU内の後続のMFUで伝送される。この変形例として、図15に示すように、表示データを含まず、移動オブジェクト・リスト記述文書のMFUのみからなるMPUも想定される。このような移動オブジェクト・リスト記述文書は、先行するMPUに含まれるMFUで伝送される表示データを参照する。複数の移動オブジェクト・リスト記述文書で共通に参照される表示データを、1つの移動オブジェクト・リスト記述文書だけにパッケージ化して伝送するという方法により、伝送情報量を削減(すなわち、伝送帯域を節約)することができる。表示データの保持期限を指定する仕組みを導入することにより(後述)、受信機側では、表示データをパッケージ化したMPUを受信すると、指定された保持期限まで表示データをキャッシュしておくので、後から伝送される移動オブジェクト・リスト記述文書からも保持期限までは参照することが可能である。表示データを更新するときは、改めて更新後の表示データとパッケージ化した移動オブジェクト・リスト記述文書を伝送すればよい。但し、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、表示データをパッケージ化したMPUを一定間隔で伝送することが好ましい。
 なお、MMT方式ではなく、MPEG TS方式の放送システムで同様の機能を実現する場合には、PES(Packetized Elementary Stream)パケットで同様の情報を伝送するとともに、表示時刻をPTS(Presentation TimeStamp)で示すようにすればよい。
 図11には、汎用データのMFUのシンタックス例1100を示した。移動オブジェクト・リスト記述文書並びに同文書から参照される表示データの伝送に適用される場合のMFUの各パラメーターの利用方法について、以下でさらに説明する。
 参照番号1101で示したdata_type_byteは、当該MFUで伝送するデータのタイプを、data_type_lengthで指定したデータ長の文字列で指定する。図13に示したMPU内のMFUは、移動オブジェクト・リスト記述文書(MOLD)、又は、表示データの画像ファイルのいずれかを伝送する。data_type_byteの文字列が指定するデータのタイプを、以下の表2に示しておく。移動オブジェクト・リスト記述文書であれば「mld」、JPEG形式の表示データであれば「jpg」、PNG形式の表示データであれば「png」を、data_type_byteで指定するようにすればよい。
Figure JPOXMLDOC01-appb-T000002
 また、参照番号1102で示した付加情報領域(additional_info_byte)には、データ部に格納するデータに応じた付加情報が記述される。すなわち、移動オブジェクト・リスト記述文書を伝送するMFUであれば、移動オブジェクト・リスト記述文書用の付加情報が記述される。また、それ以外すなわち表示データなど表示オブジェクトの素材(material)を伝送するMFUの場合には、素材に関する付加情報が付加情報領域に記述される。
 参照番号1103で示したデータ部(data_byte)には、当該MFUで伝送される汎用データ自体が格納される。先行するパラメーターdata_type_byteで「mld」、すなわち移動オブジェクト・リスト記述文書が指定されている場合には、このデータ部には移動オブジェクト・リスト記述文書のファイルが格納される。また、data_type_byteで「jpg」又は「png」が指定されている場合には、JPEG形式又はPNG形式の表示デー 
 図16には、移動オブジェクト・リスト記述文書を伝送するMFUにおける付加情報(mold_info)のシンタックス例1600を示している。以下、付加情報(mold_info)の各パラメーターの意味について説明する。
 material_locationは、当該(すなわち、データ部に格納される)移動オブジェクト・リスト記述文書から参照される表示データの取得先情報を2ビットで示すフィールドである。material_locationの値が示す意味を、以下の表3に示しておく。表示データを移動オブジェクト・リスト記述文書と同じMPUで伝送する場合には(図13を参照のこと)、material_locationに00を指定する。また、表示データを以前のMPUで伝送した場合には、material_locationに01を指定する。また、表示データをインターネット上で参照する場合には、material_locationに10を指定する。material_locationに01並びに10を指定する場合、移動オブジェクト・リスト記述文書と同じMPU内に表示データをパッケージ化しないので(図15を参照のこと)、伝送帯域が節約される。後述するように、表示データを伝送するMFUは、保持期限を指定することができる。したがって、既に送信済みの表示データが保持期限内であれば、material_locationに01を指定することができる。
Figure JPOXMLDOC01-appb-T000003
 estimaled_next_MPU_timeは、(移動オブジェクト・リスト記述文書を伝送する)次のMPUの予測伝送時刻を示す。受信機側では、次のMPUの予測伝送時刻を考慮して、表示オブジェクトの表示位置を内挿する(図13を参照のこと)。
 また、図17には、移動オブジェクト・リスト記述文書から参照される素材(表示データ)を伝送するMFUにおける付加情報(material_info)のシンタックス例1700を示している。以下、付加情報(material_info)の各パラメーターの意味について説明する。
 material_name_lengthは、後続の素材名記述(material_name_byte)の長さをバイト単位で示す。material_name_byteは、当該MFUのデータ部で伝送される素材を移動オブジェクト・リスト記述文書から参照するときに使用される素材参照名を格納する領域である。
 persistent_flagは、当該MFUのデータ部(data_byte)に格納される表示データ(JPEG又はPNG画像ファイル)を、受信機が当該MPUの処理が終了した後も保持すべきか否かを指定するデータ保持フラグである。そして、persistent_flagに1が指定されている場合には、expire_dateフィールドに、当該MFUのデータ部に格納される表示データの保持期限が記述される。
 データ保持フラグやデータ保持期限は、汎用データ・ヘッダー部でMFU毎、すなわち表示データ毎に指定することができる。
 受信機側では、汎用データ・ヘッダー部のpersistent_flagに1が指定されている表示データを、当該MPUの処理が終了した後も、expire_dateで指定される保持期限に渡って保持(キャッシュ)し続ける。保持されている表示データは、以降のMPUで伝送される移動オブジェクト・リスト記述文書からも参照(すなわち再利用)することができる。要するに、後続のMPUは、移動オブジェクト・リスト記述文書から参照する表示データをパッケージ化して同じMPUで伝送する必要はなくなるので、伝送帯域を節約することができる。
 図18には、移動オブジェクト・リスト記述文書のシンタックス例1800を示している。MFUの汎用データ・ヘッダー部内のパラメーターdata_type_byteで「mld」が指定されたときには、そのデータ部には図示のような移動オブジェクト・リスト記述文書が格納される。同図中、先頭に@が付されたパラメーターは属性情報であり、@が付されていないパラメーターは要素を示す。以下、各パラメーターの意味について説明する。
 moldは、当該データが移動オブジェクト・リスト記述文書であることを示す。同時に画面に表示するオブジェクト数分だけ、移動オブジェクトmoの情報が当該文書内に配置される。
 各移動オブジェクトmoは、オブジェクト・タグで識別される。moTagフィールドには属性値としてのオブジェクト・タグが記述される。
 各移動オブジェクトmoの情報として、オブジェクトの位置情報(position)、オブジェクトのサイズ情報(size)、オブジェクトの動きベクトル情報(mv)、オブジェクトの表示データに関する情報(media)、オブジェクト操作時のリンク先情報(link)を含んでいる。
 オブジェクトの位置情報(position)は、画面上でのオブジェクトの表示位置(矩形領域であれば、左上隅)の水平座標xと垂直座標yを属性値として含み、それぞれ画素位置を整数値で示す。
 オブジェクトのサイズ情報(size)は、画面上に表示するオブジェクトのサイズを示す、矩形領域の幅xと高さyを属性値として含み、それぞれ画素値(整数値)で示す。
 オブジェクトの動きベクトル情報(mv)は、オブジェクトの水平方向速度x及び垂直方向速度yからなる速度ベクトルと、角速度情報θ(但し、オブジェクトの移動が弧で表現される曲線運動の場合)を属性値として含み、それぞれを示す整数値が記述される。受信機側では、動きベクトル情報(mv)を、次のMPU(すなわち、次の移動オブジェクト・リスト記述文書)のタイミングまでのオブジェクトの内挿位置を求めるために利用することができる(前述)。
 表示データに関する情報(media)は、オブジェクトの表示データのタイプtype(JPEG又はPNG)と、オブジェクトの表示データの取得先情報を示す。表示データの取得先は、同一のMPU内、以前のMPU、又はインターネット上のいずれかに大別され、汎用データ・ヘッダー部の付加情報(mold_info)内のパラメーターmaterial_locationで指定される(前述)。表示データの取得先情報は、material_locationで指定される場所での取得先をurl形式で指定し、url指定される取得先には表示データのタイプで指定される形式の画像ファイルが置かれていることが前提である。なお、表示データの取得先情報に0を指定した場合には、表示データのタイプ領域に、表示データのバイナリー・データを格納するようにしてもよい。
 オブジェクト操作時のリンク先情報(link)は、オブジェクトのリンク先情報をurl形式で指定する。映像の視聴者が表示オブジェクトを操作した場合、リンク先情報(link)で指定されるリンク先から情報を取得して表示することができる。
 図19には、表示オブジェクトの表示位置を、移動オブジェクト・リスト記述文書で指定される内挿情報に基づいて補間する仕組みを図解している。参照番号1901は、あるタイミングT1で送信された移動オブジェクト・リスト記述文書で指定される表示オブジェクトの表示位置(X1,Y1)を示している。また、参照番号1902は、次のタイミングT2で送信された移動オブジェクト・リスト記述文書で指定される、同じ表示オブジェクトの表示位置(X2,Y2)を示している。参照番号1911~1914は、タイミングの時間間隔を細分化した時刻毎の内挿位置とする。タイミングT1で送信された移動オブジェクト・リスト記述文書では、この表示オブジェクトの内挿情報として、速度ベクトル(x,y)と角速度θが指定されているとする。速度ベクトル(x,y)に基づいて、細分化した時刻毎の内挿位置1911、…を線形補間することが可能であり、さらに角速度θに基づいて内挿位置1911、…を弧の曲線補間することが可能である。
 映像に表示オブジェクトをオーバーレイ表示するアプリケーションを実行するアプリケーション・エンジン411は、汎用データ・ストリームで伝送される移動オブジェクト・リスト記述文書を逐次取得するとともに、内挿情報に基づいて補間することで、映像の動きに合わせて滑らかに移動する表示オブジェクトを表示することができる。
 図20には、移動オブジェクト・リスト記述文書を汎用データ・ストリームで伝送するシナリオを例示している。同図では、ある放送事業者(放送局)から送信される放送信号を例示しており、横軸を時間軸とする。放送信号は、放送番組を構成するコンポーネントとして、映像アセット2010、音声アセット2020、データ(アプリケーション)・アセット2030、汎用データ・アセット2040を含んでいる。放送信号は、さらに他のアセットを含んでいてもよいが、図面の簡素化のため省略する。
 また、放送信号には、MPテーブルなどのシグナリング・テーブル、シグナリング・テーブルのコンテナーとなるシグナリング・メッセージなど、制御情報(MMT-SI)を伝送する制御信号2050を含んでいる。
 同図では、データ・アセット2030では、放送番組の映像に対して表示オブジェクトのオーバーレイ表示を行なうデータ放送アプリケーションを伝送し、汎用データ・アセット2040では、表示オブジェクトの制御情報すなわち移動オブジェクト・リスト記述文書を汎用データ・ストリームとして間欠的に伝送することを想定している。また、汎用データ・アセット2040で伝送される各MPUの表示時刻は、MPテーブルのMPUタイムスタンプ記述子で指定される(前述)。
 参照番号2041は、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データ(画像ファイル)をパッケージ化したMPUを示している。先頭のMFUのデータ部に移動オブジェクト・リスト記述文書が格納され、2番目以降のMFUには、この移動オブジェクト・リスト記述文書から参照される表示データが1つずつ格納されている(図13を参照のこと)。
 また、参照番号2042は、表示データをパッケージ化しないMPUを示している。このMPUは、移動オブジェクト・リスト記述文書を格納する1つのMFUのみを伝送する。この移動オブジェクト・リスト記述文書からは、先行するMPU2041で既に伝送された表示データが参照されている(図15を参照のこと)。但し、参照される表示データは、MFUの汎用データ・ヘッダー部で、persistent_flagによりデータ保持が指定され、且つ、expire_dateで指定されるデータ保持期限が経過していないことが前提である。参照番号2043で示すMPUも、同様に、移動オブジェクト・リスト記述文書のMFUのみを伝送する。複数の移動オブジェクト・リスト記述文書で共通に参照される表示データを、1つの移動オブジェクト・リスト記述文書だけにパッケージ化して伝送するという方法により、伝送情報量を削減(すなわち、伝送帯域を節約)することができる。
 参照番号2044は、移動オブジェクト・リスト記述文書とこれから参照される表示オブジェクトの表示データをパッケージ化したMPUを示している。参照番号2041で示したMPUと同様に、先頭のMFUのデータ部に移動オブジェクト・リスト記述文書が格納され、2番目以降のMFUには、この移動オブジェクト・リスト記述文書から参照される表示データが1つずつ格納されている(同上)。
 表示データを更新したときは、改めて更新後の表示データとパッケージ化した移動オブジェクト・リスト記述文書を含むMPU2044を伝送すればよい。あるいは、番組の途中でチューニングしてきた受信機でも表示オブジェクトを表示できるようにするために、MPU2041を送信してから一定時間が経過した後に、表示データをパッケージ化したMPU2044を伝送する。
 参照番号2051で示すMPテーブル内のMPUタイムスタンプ記述子は、参照番号2041で示したMPUで伝送される移動オブジェクト・リスト記述文書による表示オブジェクトの表示時刻T10を指定している。同様に、参照番号2052で示すMPテーブル内のMPUタイムスタンプ記述子は参照番号2042で示したMPUの表示時刻T20を指定し、参照番号2053で示すMPテーブル内のMPUタイムスタンプ記述子は参照番号2043で示したMPUの表示時刻T30を指定し、参照番号2054で示すMPテーブル内のMPUタイムスタンプ記述子は参照番号2044で示したMPUの表示時刻を指定している。
 受信機側では、放送波で伝送されるMPU2041を受信すると、先頭のMFUで伝送される移動オブジェクト・リスト記述文書を解析するとともに、2番目以降のMFUで伝送される表示データを、ヘッダー部で指定されている保持期限だけ保持する。
 そして、MPテーブル2051のMPUタイムスタンプ記述子で指定する表示時刻T10が到来すると、受信機は、MPU2041で受信した移動オブジェクト・リスト記述文書の記述内容に従って、参照番号2061で示すように、各表示オブジェクトを放送番組の映像にオーバーレイ表示する。
 また、受信機は、次のMPU2042に対して指定された表示時刻T20が到来するまでの間は、時間間隔を細分化した時刻T11において、移動オブジェクト・リスト記述文書で各表示オブジェクトに対して指定された内挿情報(速度ベクトル、角速度)に基づいて内挿位置を求めて、参照番号2062で示すように、各表示オブジェクトの表示を更新する。
 その後、MPテーブル2052のMPUタイムスタンプ記述子で指定する表示時刻T20が到来すると、受信機は、MPU2042で受信した移動オブジェクト・リスト記述文書の記述内容に従って、参照番号2063で示すように、先行するMPU2041で伝送した表示データを参照して、各表示オブジェクトを放送番組の映像にオーバーレイ表示する。
 図21には、受信機が汎用データ・ストリームを受信する際の処理手順をフローチャートの形式で示している。図示の処理手順は、HTMLブラウザー(アプリケーション・エンジン411)において、受信及びデコードした汎用データを取得する処理に相当する。
 受信機は、放送サービスのエントリー・ポイントであるPAメッセージでMPテーブルを受信すると、汎用データ・アセットのMPUタイムスタンプ記述子が存在するかどうかをチェックする(ステップS2101)。
 汎用データ・アセットのMPUタイムスタンプ記述子が存在する場合には(ステップS2101のYes)、受信機は、そのMPUタイムスタンプ記述子の情報、すなわちMPUシーケンス番号とその提示時刻を記憶しておく(ステップS2102)。
 また、受信機は、汎用データ・アセットのMPUを受信すると(ステップS2103のYes)、そのMPUシーケンス番号を指定するMPUタイムスタンプ記述子の情報とともに汎用データMPUを記憶する(ステップS2104)。
 ここで、MPUの先頭のMFU(すなわち、移動オブジェクト・リスト記述文書を伝送するMFU)の汎用データ・ヘッダー部内のmaterial_locationを参照する。そして、material_location=10、すなわち表示データの取得先がインターネット上に指定されている場合には(ステップS2105のYes)、受信機は、そのMFUのデータ部に格納される移動オブジェクト・リスト記述文書で指定されている表示データ取得先のURLに基づいて、各表示オブジェクトの表示データ(画像ファイル)を取得しておく(ステップS2106)。
 また、図22には、受信機が汎用データ・ストリームに基づいて映像に同期する表示オブジェクトをオーバーレイ表示するための処理手順をフローチャートの形式で示している。図示の処理手順は、HTMLブラウザー(アプリケーション・エンジン411)において、最新の汎用データに基づいて表示オブジェクトの表示を更新する処理に相当する。
 受信機は、映像フレームの表示タイミングが到来する度に(ステップS2201のYes)、記憶したMPUタイムスタンプ記述子で指定されるMPU提示時刻と一致するか否かをチェックする(ステップS2202)。
 そして、今回の表示タイミングが、記憶しておいたMPUタイムスタンプ記述子で指定されるMPU提示時刻である場合には(ステップS2202のYes)、受信機は、該当するMPUの先頭のMFUで伝送される移動オブジェクト・リスト記述文書の記述に基づいて、素材データを参照して、表示オブジェクトを映像フレームにオーバーレイ表示する(ステップS2203)。
 また、受信機は、この提示時刻のMPUより前に受信したMPUにパッケージ化されていた表示データのうち、データ保持フラグ(persistent_flag)が1に設定されている以外の表示データは削除する(ステップS2204)。
 さらに、受信機は、保持している表示データがすべて保持期限内かどうかをチェックする(ステップS2205)。そして、保持期限が経過している表示データがある場合には、削除する(ステップS2206)。
 また、今回の表示タイミングが、記憶しておいたMPUタイムスタンプ記述子で指定されるMPU提示時刻でない場合には(ステップS2202のNo)、受信機は、処理対象となっているMPUの移動オブジェクト・リスト記述文書にリストされている表示オブジェクト毎に、動きベクトル(mv)の要素情報(すなわち、速度ベクトル情報並びに角速度情報)に基づいて、現在時刻における内挿位置を補間計算して、オブジェクトの表示を更新する(ステップS2207)。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書では、メディア伝送にMMT方式を採用した放送システムに本明細書で開示する技術を適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。データ放送アプリケーションで利用するデータのストリーミングを行なう仕組みを備えたさまざまなタイプの放送システムに、同様に本明細書で開示する技術を適用することができる。例えば、MPEG TS方式の放送システムで同様の機能を実現する場合には、PESパケットで同様の情報を伝送するとともに、表示時刻をPTSで示すようにすればよい。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)映像を含む放送信号を送信する送信部と、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信部と、
を具備する送信装置。
(2)前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを送信する、
上記(1)に記載の送信装置。
(3)前記データ送信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に送信する、
上記(1)又は(2)のいずれかに記載の送信装置。
(4)前記データ送信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に送信する、
上記(1)乃至(3)のいずれかに記載の送信装置。
(5)前記データ送信部は、前記オブジェクトの速度ベクトル情報又は角速度情報のうち少なくとも1つを含む前記補間情報を送信する、
上記(4)に記載の送信装置。
(6)前記データ送信部は、前記オブジェクトのリンク先情報を含めて前記データを送信する、
上記(1)乃至(5)のいずれかに記載の送信装置。
(7)前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを送信する、
上記(1)に記載の送信装置。
(8)前記データ送信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルをパッケージ化して、パッケージ単位で送信する、
上記(7)に記載の送信装置。
(9)前記データ送信部は、前記パッケージに含める各表示データの保持の要否及び保持期限を指定して送信する、
上記(8)に記載の送信装置。
(10)前記データ送信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに送信する、
上記(9)に記載の送信装置。
(11)映像を含む放送信号を送信する送信ステップと、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信ステップと、
を有する送信方法。
(12)映像を含む放送信号を受信する受信部と、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信部と、
 受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御部と、
を具備する受信装置。
(13)前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを受信し、
 前記制御部は、前記データで指定された画面上の位置及びサイズに前記オブジェクトの表示データを表示させる、
上記(12)に記載の受信装置。
(14)前記データ受信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に受信し、
 前記制御部は、前記タイムスタンプが指定する表示時刻に基づいて前記オブジェクトの表示タイミングを制御する、
上記(12)又は(13)のいずれかに記載の受信装置。
(15)前記データ受信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に受信し、
 前記制御部は、前記補間情報に基づいて求まる内挿位置に前記オブジェクトを表示させる、
上記(14)に記載の受信装置。
(16)前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを受信する、
上記(12)に記載の受信装置。
(17)前記データ受信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルからなるパッケージ単位で受信する、
上記(16)に記載の受信装置。
(18)前記データ受信部は、各表示データの保持の要否及び保持期限が指定された前記パッケージを受信し、
 前記制御部は、前記保持期限が経過するまで表示データを保持する、
上記(17)に記載の受信装置。
(19)前記データ受信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに受信し、
 前記制御部は、前記文書ファイルから参照される、他の文書ファイルとともにバッケージ化して送信された表示データを用いてオブジェクトを表示させる、
上記(18)に記載の受信装置。
(20)映像を含む放送信号を受信する受信ステップと、
 前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信ステップと、
 受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御ステップと、
を有する受信方法。
 10…ディジタル放送システム、11…放送送出システム
 12…受信機
 301…時計部、302…信号送出部
 303…ビデオ・エンコーダー、304…オーディオ・エンコーダー
 305…字幕/文字スーパー・エンコーダー
 306…シグナリング・エンコーダー
 307…ファイル・エンコーダー
 308…電子データ処理システム、
 309…TLVシグナリング・エンコーダー
 310…IPサービス・マルチプレクサー
 311…TLVマルチプレクサー、312…変調・送信部
 401…チューナー復調部、402…MMTデマルチプレクサー
 403…時計回復部、404…ビデオ・デコーダー
 405…オーディオ・デコーダー
 406…文字スーパー・デコーダー、407…字幕デコーダー
 408…マルチメディア・キャッシュ、409…SIキャッシュ
 410…放送システム制御部、411…アプリケーション・エンジン
 412…通信インターフェース、414…スケーラー
 415~418…合成部

Claims (20)

  1.  映像を含む放送信号を送信する送信部と、
     前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信部と、
    を具備する送信装置。
  2.  前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを送信する、
    請求項1に記載の送信装置。
  3.  前記データ送信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に送信する、
    請求項1に記載の送信装置。
  4.  前記データ送信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に送信する、
    請求項1に記載の送信装置。
  5.  前記データ送信部は、前記オブジェクトの速度ベクトル情報又は角速度情報のうち少なくとも1つを含む前記補間情報を送信する、
    請求項4に記載の送信装置。
  6.  前記データ送信部は、前記オブジェクトのリンク先情報を含めて前記データを送信する、
    請求項1に記載の送信装置。
  7.  前記データ送信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを送信する、
    請求項1に記載の送信装置。
  8.  前記データ送信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルをパッケージ化して、パッケージ単位で送信する、
    請求項7に記載の送信装置。
  9.  前記データ送信部は、前記パッケージに含める各表示データの保持の要否及び保持期限を指定して送信する、
    請求項8に記載の送信装置。
  10.  前記データ送信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに送信する、
    請求項9に記載の送信装置。
  11.  映像を含む放送信号を送信する送信ステップと、
     前記映像の動きに同期して移動するオブジェクトを表示するためのデータを送信するデータ送信ステップと、
    を有する送信方法。
  12.  映像を含む放送信号を受信する受信部と、
     前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信部と、
     受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御部と、
    を具備する受信装置。
  13.  前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと、前記オブジェクトの表示データに関する情報を含む前記データを受信し、
     前記制御部は、前記データで指定された画面上の位置及びサイズに前記オブジェクトの表示データを表示させる、
    請求項12に記載の受信装置。
  14.  前記データ受信部は、前記データの表示時刻を示すタイムスタンプとともに、前記データを間欠的に受信し、
     前記制御部は、前記タイムスタンプが指定する表示時刻に基づいて前記オブジェクトの表示タイミングを制御する、
    請求項12に記載の受信装置。
  15.  前記データ受信部は、次のタイミングまでの前記オブジェクトの内挿位置を求めるための補間情報を含めて、前記データを間欠的に受信し、
     前記制御部は、前記補間情報に基づいて求まる内挿位置に前記オブジェクトを表示させる、
    請求項14に記載の受信装置。
  16.  前記データ受信部は、前記オブジェクトの画面上の位置及びサイズと表示データの参照先を所定の形式で記述した文書ファイルを受信する、
    請求項12に記載の受信装置。
  17.  前記データ受信部は、前記文書ファイルと前記文書ファイルから参照される表示データのファイルからなるパッケージ単位で受信する、
    請求項16に記載の受信装置。
  18.  前記データ受信部は、各表示データの保持の要否及び保持期限が指定された前記パッケージを受信し、
     前記制御部は、前記保持期限が経過するまで表示データを保持する、
    請求項17に記載の受信装置。
  19.  前記データ受信部は、他の文書ファイルとともにパッケージ化して送信された表示データのファイルを参照する前記文書ファイルをさらに受信し、
     前記制御部は、前記文書ファイルから参照される、他の文書ファイルとともにバッケージ化して送信された表示データを用いてオブジェクトを表示させる、
    請求項18に記載の受信装置。
  20.  映像を含む放送信号を受信する受信ステップと、
     前記映像の動きに同期して移動するオブジェクトを表示するためのデータを受信するデータ受信ステップと、
     受信した前記データに基づいて、放送映像の画面上に前記オブジェクトを表示するための処理を実行する制御ステップと、
    を有する受信方法。
PCT/JP2016/063756 2015-06-05 2016-05-09 送信装置及び送信方法、並びに受信装置及び受信方法 WO2016194549A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/569,644 US10797811B2 (en) 2015-06-05 2016-05-09 Transmitting device and transmitting method, and receiving device and receiving method
DE112016002504.1T DE112016002504T5 (de) 2015-06-05 2016-05-09 Sendevorrichtung und Sendeverfahren und Empfangsvorrichtung und Empfangsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-115160 2015-06-05
JP2015115160A JP6641731B2 (ja) 2015-06-05 2015-06-05 送信装置及び送信方法、並びに受信装置及び受信方法

Publications (1)

Publication Number Publication Date
WO2016194549A1 true WO2016194549A1 (ja) 2016-12-08

Family

ID=57441068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063756 WO2016194549A1 (ja) 2015-06-05 2016-05-09 送信装置及び送信方法、並びに受信装置及び受信方法

Country Status (4)

Country Link
US (1) US10797811B2 (ja)
JP (1) JP6641731B2 (ja)
DE (1) DE112016002504T5 (ja)
WO (1) WO2016194549A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
JP7064144B2 (ja) * 2018-09-28 2022-05-10 日本電信電話株式会社 情報統合方法、情報統合装置、及び情報統合プログラム
JP7121277B2 (ja) * 2018-09-28 2022-08-18 日本電信電話株式会社 情報同期装置、情報同期方法及び情報同期プログラム
JP6803485B1 (ja) 2020-01-27 2020-12-23 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
CN117716398A (zh) * 2021-08-20 2024-03-15 斯塔特斯公司 将实况嵌入式跟踪数据用于实况体育视频流内的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259184A (ja) * 2010-06-09 2011-12-22 Nippon Hoso Kyokai <Nhk> リンク機能付動画再生装置およびリンク機能付動画再生プログラム
WO2013088604A1 (ja) * 2011-12-15 2013-06-20 パナソニック株式会社 情報表示装置、情報表示方法、及び、情報表示システム
US20130205334A1 (en) * 2012-02-02 2013-08-08 Electronics And Telecommunications Research Institute Method and apparatus for providing supplementary information about content in broadcasting system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359090A (ja) 1996-08-30 2001-12-26 Matsushita Electric Ind Co Ltd デジタル放送装置、受信装置、デジタル放送システム、受信装置に適用するプログラム記録媒体
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US7599689B2 (en) * 2002-04-22 2009-10-06 Nokia Corporation System and method for bookmarking radio stations and associated internet addresses
JPWO2013021643A1 (ja) * 2011-08-11 2015-03-05 パナソニック株式会社 放送通信連携システム、データ生成装置及び受信装置
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9899062B2 (en) * 2013-12-09 2018-02-20 Godo Kaisha Ip Bridge 1 Interface apparatus for designating link destination, interface apparatus for viewer, and computer program
WO2016060416A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259184A (ja) * 2010-06-09 2011-12-22 Nippon Hoso Kyokai <Nhk> リンク機能付動画再生装置およびリンク機能付動画再生プログラム
WO2013088604A1 (ja) * 2011-12-15 2013-06-20 パナソニック株式会社 情報表示装置、情報表示方法、及び、情報表示システム
US20130205334A1 (en) * 2012-02-02 2013-08-08 Electronics And Telecommunications Research Institute Method and apparatus for providing supplementary information about content in broadcasting system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HISAYUKI OMATA: "Enhancement of Integrated Broadcast-Broadband System : Toward Advanced Hybridcast Services", NHK SCIENCE AND TECHNICAL RESEARCH LABORATORIES R&D REPORT, vol. 146, August 2014 (2014-08-01), pages 27 - 38, ISSN: 0914-7535 *

Also Published As

Publication number Publication date
DE112016002504T5 (de) 2018-03-15
JP2017005388A (ja) 2017-01-05
US20180123711A1 (en) 2018-05-03
US10797811B2 (en) 2020-10-06
JP6641731B2 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
US9596510B2 (en) Method for transmitting broadcast service, method for receiving broadcast service, and apparatus for receiving broadcast service
US9860611B2 (en) Broadcast service transmitting method, broadcasting service receiving method and broadcast service receiving apparatus
KR101789631B1 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
KR101689616B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
WO2016194549A1 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
US9060151B2 (en) Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service
US20140304760A1 (en) Method for transmitting a broadcast service, and method and apparatus for receiving same
JP2014530558A (ja) マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置
US20140201797A1 (en) Method for transmitting and receiving broadcast service and receiving device thereof
JP2024040224A (ja) 送信方法及び送信装置、並びに受信方法及び受信装置
CN105812961B (zh) 自适应流媒体处理方法及装置
WO2016199527A1 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
KR20180040571A (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6935843B2 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
JP6791344B2 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
JP6303969B2 (ja) 受信装置並びに受信方法
JP6551558B2 (ja) 受信装置並びに受信方法
WO2016185794A1 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
JP2022019878A (ja) 受信方法及び受信装置
JP2019161677A (ja) 受信装置及び受信方法、並びに送信方法
WO2016185821A1 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
JP2016197789A (ja) 送信装置及び送信方法、並びに受信装置及び受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802986

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15569644

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016002504

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16802986

Country of ref document: EP

Kind code of ref document: A1