WO2011030477A1 - コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 - Google Patents

コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 Download PDF

Info

Publication number
WO2011030477A1
WO2011030477A1 PCT/JP2010/002789 JP2010002789W WO2011030477A1 WO 2011030477 A1 WO2011030477 A1 WO 2011030477A1 JP 2010002789 W JP2010002789 W JP 2010002789W WO 2011030477 A1 WO2011030477 A1 WO 2011030477A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
content
reception
unit
recovery
Prior art date
Application number
PCT/JP2010/002789
Other languages
English (en)
French (fr)
Inventor
緒方伸輔
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011530728A priority Critical patent/JP5456784B2/ja
Priority to US13/392,204 priority patent/US20120173668A1/en
Publication of WO2011030477A1 publication Critical patent/WO2011030477A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18Arrangements for synchronising broadcast or distribution via plural systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/20Arrangements for broadcast or distribution of identical information via plural systems
    • H04H20/22Arrangements for broadcast of identical information via plural broadcast systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/26Arrangements for switching distribution systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/42Arrangements for resource management
    • H04H20/426Receiver side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/11Arrangements for counter-measures when a portion of broadcast information is unavailable
    • H04H60/12Arrangements for counter-measures when a portion of broadcast information is unavailable wherein another information is substituted for the portion of broadcast information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present invention relates to a system for transmitting and receiving content, and more specifically to a technique for increasing packet lost resistance.
  • Patent Document 1 discloses a digital broadcast receiving device characterized in that data is smoothly switched to data without interruption.
  • a content transmission apparatus that has improved packet lost resistance while suppressing power consumption without continuously operating a plurality of tuners in parallel or constantly executing generation processing of a plurality of contents such as video data. It is an object of the present invention to provide a content reception device, a content transmission program, a content reception program, a content transmission method, and a content reception method.
  • the present invention is directed to a content transmission device, a content reception device, a content transmission program, a content reception program, a content transmission method, and a content reception method.
  • the content receiving apparatus of the present invention is a content receiving apparatus that receives a stream sent from a transmitting apparatus, extracts content data from the stream, and reproduces the content.
  • a recovery control unit that issues an instruction to start receiving the second stream for alternative display to be transmitted; and when receiving the instruction from the recovery control unit, The reception of a predetermined unit of the second stream corresponding to the first unit of the predetermined unit which is determined by the recovery control unit to start receiving the stream and has not been normally received.
  • a second receiving unit that extracts the second content data from the second stream in units of the unit, and the predetermined reception received by the second receiving unit when the recovery control unit determines that the second content data could not be received normally Based on the second content data extracted from the second stream of the unit, if the recovery control unit determines that the content for alternative display has been reproduced and has been successfully received, the alternative Extracted from the first stream of a predetermined unit received by the first receiver at the same timing as when the content for display is played back. Based on the first content data, and a reproduction control unit for reproducing the content for normal display.
  • the recovery control unit executes a reception process of the second stream when it is determined that the first stream of the predetermined unit has been normally received, and the second content It is preferable not to supply power to the component that executes the data extraction process.
  • the recovery control unit determines that the first stream of the predetermined unit cannot be normally received, the first stream is processed until a timing at which the process of receiving the first stream can be resumed. It is preferable that power is not supplied to the component that executes the receiving process and the component that executes the first content data extraction process.
  • the recovery control unit determines that the first stream of the predetermined unit has not been normally received, the recovery control unit corresponds to content that is reproduced based on the first stream of the predetermined unit.
  • reception may be started from a predetermined unit of the second stream including the content data of the required reference image.
  • the second stream has higher transmission tolerance than the first stream.
  • a content transmission apparatus is a content transmission apparatus that transmits a stream including content data that is a basis for reproducing content to a content reception apparatus, and the first content data is transmitted.
  • An alternative including second content data that generates a first stream including the second content data serving as a basis for reproducing the content for normal display reproduced based on the first content data and the content for alternative display substantially the same as the presentation target
  • a stream generation unit that generates a second stream for display, and the first stream is not processed normally in the content receiving apparatus when the first stream is transmitted and the first stream of a predetermined unit is not normally received by the content receiving apparatus. After it is found, the reception of the second stream is started.
  • a transmission unit that transmits the second stream with a delay relative to the first stream so that the second stream corresponding to the first stream of a predetermined unit that has not been normally received can be received. .
  • the stream generation unit includes a first generation unit that generates the first stream, a second generation unit that generates the second stream, and redundant data that is transmitted before the data of the second stream is transmitted.
  • a transmission delay time storage unit that preliminarily stores transmission delay time information indicating a section of the first transmission unit, the transmission unit transmitting a first stream, and a second transmission unit transmitting the second stream.
  • the second generation unit sends redundant data in a section indicated by the transmission delay time information stored in the transmission delay time storage unit to the second sending unit and waits for the second stream to be sent Then, the second stream may be sent relatively later than the first stream by passing it to the second sending unit.
  • the first generation unit further generates return reception time information specifying a time indicating how long the reception of the first stream can be interrupted when the packet is lost, in association with each packet
  • the second generation unit further generates reception time information for specifying a time at which reception of the second stream is started when the packet is lost, in association with each packet
  • the first transmission unit includes the first transmission unit.
  • the return reception time information generated by the generation unit and the reception time information generated by the second generation unit may be transmitted together with the first stream.
  • the second generation unit may generate a second stream having stronger transmission tolerance than the first stream generated by the first generation unit.
  • a content reception program receives a stream sent from a transmission device, extracts content data from the stream, and reproduces the content.
  • a reception program wherein the content receiving device sequentially receives a first stream for each predetermined unit, and extracts first content data from the received first stream in the predetermined unit. For each predetermined unit, for each of the predetermined units, it is determined whether the first stream has been normally received by the first reception step, and if it is determined that the first stream has not been normally received, Receiving the second stream for alternative display transmitted from the transmission device relatively later than the first stream.
  • the content for alternative display is reproduced based on the second content data extracted from the second stream of the predetermined unit received in the second reception step.
  • recovery control step determines that the reception was successful
  • a playback control step of playing back the content of the program based on the first content data extracted from the first stream of the predetermined unit received by the first reception step at the same timing as when the content for alternative display is played back.
  • the content transmission program of the present invention is a content reception program executed in a content transmission device that transmits a stream including content data to be a content reproduction base to the content reception device. Then, the first stream including the first content data is generated in the content transmitting apparatus, and the normal display content reproduced based on the first content data is an alternative display whose presentation target is substantially the same.
  • the second stream corresponding to the first stream of a predetermined unit that is not normally received can be received.
  • a transmission step of transmitting the second stream with a delay relative to the first stream is executed.
  • a content receiving method of the present invention is a content receiving method for receiving a stream sent from a transmitting device, extracting content data from the stream, and reproducing the content.
  • the content for alternative display is reproduced based on the second content data extracted from the second stream of the predetermined unit received in the second receiving step, and the content can be normally received in the recovery control step.
  • the above-described second display Based on the first content data extracted from the first stream of received predetermined unit by the receiving step, typically including a reproduction control step of reproducing the content for display.
  • the content transmission method of the present invention is a content transmission method for transmitting a stream including content data to be a content reproduction base to a content reception device, wherein the first content data Second content data serving as a basis for reproducing the content for normal display reproduced based on the first content data and the content for alternative display whose presentation target is substantially the same
  • a stream generation step for generating a second stream for alternative display, and the content is transmitted when the first stream is transmitted and the first stream of a predetermined unit is not normally received by the content receiver.
  • the second stream is delayed relative to the first stream so that the second stream corresponding to the first stream of a predetermined unit that has not been normally received can be received. And a transmission step of transmitting.
  • the content transmission apparatus generates and broadcasts the first stream including the first content data, and the second stream for alternative display including the second content data is converted into the first stream.
  • the content receiving apparatus succeeds in receiving the first stream and successfully extracting the first content data, and the second stream receiving process, Corresponds to the first content data that cannot be normally extracted by starting the reception of the second stream only when the first content data cannot be normally extracted without performing the content reproduction processing based on the two streams.
  • the second content data to be extracted is extracted, and the content is reproduced using this. According to such a configuration, even when the reception states of both the first stream for normal display and the second stream for alternative display deteriorate at the same time, it is possible to switch to the content for alternative display.
  • the power consumption is further reduced by pausing the reception process of the first stream and the content generation process based on the first stream until the timing at which the extraction of the first content data can be resumed. be able to.
  • the transmission resistance of the second stream stronger than that of the first stream, a part of the screen may not be displayed even in a severe reception environment where reception of the first stream frequently fails. It can be expected to efficiently avoid the situation where the entire screen is blacked out.
  • FIG. 1 is a diagram showing an outline of the configuration of a content transmission / reception system 10 according to the present invention.
  • FIG. 2 is a diagram illustrating a detailed outline of the main stream generation unit 104 and the recovery stream generation unit 108.
  • FIG. 3 is a diagram illustrating an example of the structure of return reception time information.
  • FIG. 4 is a diagram illustrating an example of the structure of the recovery reception time information.
  • FIG. 5 is a diagram illustrating a detailed configuration of the recovery control unit 204.
  • FIG. 6 is a diagram schematically showing transmission / reception and playback timing.
  • FIG. 7 is a diagram schematically showing transmission / reception and playback timing.
  • FIG. 8 is a diagram illustrating a procedure of main stream transmission operation in the content transmission apparatus 100.
  • FIG. 1 is a diagram showing an outline of the configuration of a content transmission / reception system 10 according to the present invention.
  • FIG. 2 is a diagram illustrating a detailed outline of the main stream generation unit 104 and the recovery
  • FIG. 9 is a diagram illustrating a procedure of a recovery stream transmission operation in the content transmission apparatus 100.
  • FIG. 10 is a diagram illustrating a procedure of a power supply control operation in the content receiving device 200.
  • FIG. 11 is a diagram illustrating a procedure of main stream reception operation in the content reception device 200.
  • FIG. 12 is a diagram illustrating a procedure of a recovery stream reception operation in the content reception device 200.
  • the present embodiment is a system for transmitting and receiving content, in which a transmission side sends a main stream that is a main reception target and a recovery stream for alternative display relatively later than the main stream.
  • a transmission side sends a main stream that is a main reception target and a recovery stream for alternative display relatively later than the main stream.
  • the receiving side does not perform recovery stream reception processing in order to reduce power consumption.
  • the receiving side performs main stream reception processing until the timing at which the extraction of the normal display content data can be resumed to further reduce power consumption. Not performed.
  • FIG. 1 is a diagram showing an outline of the configuration of a content transmission / reception system 10 according to the present invention.
  • the content transmission / reception system 10 includes a content transmission device 100, a content reception device 200, a transmission path 300, and a display unit 400, and a stream broadcast from the content transmission apparatus 100 is transmitted via the transmission path 300.
  • the content receiving apparatus 200 receives the content data, extracts the content data from the stream, reproduces the content, and causes the display unit 400 to display the content data.
  • the content transmission apparatus 100 includes a time control unit 101, a content acquisition unit 102, an output standby time storage unit 103, a main stream generation unit 104, a main transmission unit 105, a main transmission antenna 106, a recovery transmission delay time storage unit 107, and a recovery stream generation.
  • Unit 108, a recovery transmission unit 109, and a recovery transmission antenna 110 content data for normal display subjected to MPEG2 encoding processing, After generating the two types of encoded content data with the alternative display content data subjected to the H.264 encoding process, the normal display content data is included in the main stream and transmitted, and the alternative display content data Are included in the recovery stream and sent with a delay relative to the main stream.
  • the content receiving apparatus 200 includes a main packet receiving unit 201, a main antenna 202, a main decoding unit 203, a recovery control unit 204, a recovery packet receiving unit 205, a recovery antenna 206, a recovery decoding unit 207, a time control unit 208, and an output standby buffer. 209 and a display control unit 210, receive the main stream and the recovery stream sent from the content transmitting apparatus 100, extract the content data from the main stream and the recovery stream, play back and output the content.
  • the transmission path 300 is a space for transmitting a radio wave for transmitting a stream broadcast from the content transmitting apparatus 100 to the content receiving apparatus 200, or a transmission medium such as an optical cable.
  • the time control unit 101 controls and manages the current time in the content transmission apparatus 100, and is used as a reference when determining the operation timing in each component.
  • the content acquisition unit 102 generates content data such as video data by photographing or the like, or acquires content data itself to be transmitted from the outside.
  • the content acquisition unit 102 captures video in real time or sequentially acquires video data in real time
  • the content acquisition unit 102 assigns a PTS (Presentation Time Stamp) to each frame of the acquired video data.
  • the value of the PTS given here is a value obtained by adding an output delay value to the value of the current time managed by the time control unit 101.
  • the content receiving apparatus 200 refers to these PTSs, It is possible to output continuous video in the order of the obtained video data.
  • the output delay value is “(maximum estimated value of delay time taken from content data acquisition on the content transmission device 100 side until video display on the content reception device 200 side) + (output standby) Value stored in the time storage unit 103) ”.
  • “maximum estimated value of delay time taken from content data acquisition on the content transmission device 100 side until video display on the content reception device 200 side” means encoding processing, multiplexing processing, This is an integrated value of the time required for wireless transmission processing, demultiplexing processing, decoding processing, and the like.
  • the output standby time storage unit 103 obtains, for example, content data, the content reception device 200 must wait for the main content to be delayed and played back in advance so that the timing matches when recovery is necessary.
  • the reproduction standby time information indicating the standby time from the start to the reproduction is stored in advance.
  • the main stream generation unit 104 acquires content data from the content acquisition unit 102, performs MPEG2 encoding processing on the content data, generates a main stream, and multiplexes it into MPEG2-TS.
  • the main transmission unit 105 transmits the main stream generated by the main stream generation unit 104 to the transmission path 300 using the main transmission antenna 106.
  • the recovery transmission delay time storage unit 107 indicates a section of redundant data to be transmitted before transmitting the recovery stream data in order to transmit the recovery stream with a delay relative to the main stream in the content transmitting apparatus 100. Recovery transmission delay time information is stored in advance.
  • the recovery stream generation unit 108 acquires content data from the content acquisition unit 102, A recovery stream is generated by performing H.264 encoding processing.
  • the recovery transmission unit 109 transmits the recovery stream generated by the recovery stream generation unit 108 to the transmission path 300 using the recovery transmission antenna 110.
  • the recovery stream generation unit 108 transmits the redundant data in the section indicated by the recovery transmission delay time information stored in the recovery transmission delay time storage unit 107 and waits for the generated recovery stream to be transmitted
  • the recovery stream is delayed relative to the main stream by passing it to the recovery transmission unit 109.
  • FIG. 2 is a diagram illustrating a detailed outline of the main stream generation unit 104 and the recovery stream generation unit 108.
  • the main stream generation unit 104 includes a main encoding unit 111, a main storage unit 112, a main multiplexing unit 113, and a main reference storage unit 114
  • the recovery stream generation unit 108 includes a recovery encoding unit 121, a recovery storage unit 122, and a recovery multiplexing unit.
  • a recovery reference storage unit 124, a PID storage unit 125, and a collection time storage unit 126 is included in FIG. 2
  • the main stream generation unit 104 includes a main encoding unit 111, a main storage unit 112, a main multiplexing unit 113, and a main reference storage unit 114
  • the recovery stream generation unit 108 includes a recovery encoding unit 121, a recovery storage unit 122, and a recovery multiplexing unit.
  • the main encoding unit 111 performs MPEG2 encoding processing on the content data acquired by the content acquisition unit 102, assigns a PTS to each frame of the MPEG2 encoded processing data, and passes all of them to the main storage unit 112 for storage.
  • the PTS of the reference frame in the MPEG2-encoded content data is transferred to the main reference storage unit 114 for storage.
  • the PTS indicating the actual time at which the content is to be reproduced is used to specify each frame.
  • the present invention is not limited to this, and each frame can be specified and the main packet and the recovery can be specified. Other information may be used as long as the information can recognize the correspondence with the packet. For example, for specifying each frame, information indicating a relative time until a time at which each frame should be reproduced based on a reproduction time of the first frame or the like may be used.
  • the main encoding unit 111 acquires the PTS of the next reference frame for each packet, and uses this as a reference to return indicating the timing for resuming reception after the content receiving apparatus 200 interrupts reception of the main stream.
  • the reception time information is generated in association with each packet, passed to the main reference storage unit 114, and stored.
  • the return reception time information it is possible to know “a time indicating how long the reception of the main stream can be interrupted when the packet is lost”.
  • FIG. 3 is a diagram illustrating an example of the structure of return reception time information. In the return reception time information shown in FIG. 3, “return offset 501 indicating the PTS difference between encoded data and the next encoded data” is associated with each frame.
  • the return reception time information has a structure as shown in FIG. 3, but the information may not necessarily have such a structure as long as the same effect can be obtained.
  • the PTS added to the encoded data is synchronized with the actual time at which the encoded data is transmitted.
  • the actual time is also synchronized with the internal time of the content receiving apparatus 200 described later. That is, the PTS added to the encoded data is synchronized with the “internal time of the content receiving device 200”. Therefore, the “internal time of content receiving apparatus 200” for receiving the reference frame next to the reference frame can be obtained from the return offset included in the return reception time and the internal time of content receiving apparatus 200.
  • the “content receiving apparatus 200 receives the next reference frame of the missing data”. Can be obtained. That is, when the content reception device 200 cannot acquire the MPEG2 encoded data packet by multiplexing the return reception time information immediately before the reference frame, unnecessary MPEG2 encoded data up to the next reference frame is stored. The next reference frame can be received while avoiding reception.
  • the PTS of the content data and the actual transmission timing of the content data are synchronized, but this is only an example for facilitating the conversion from the PTS to the actual transmission timing. Therefore, the timing at which the target content data is directly transmitted may be superimposed as part of the return reception time information and the recovery reception time information without synchronizing the PTS of the content data and the transmission timing of the actual content data.
  • the main storage unit 112 stores the main content that has been MPEG2 encoded by the main encoding unit 111.
  • the main multiplexing unit 113 starts processing at regular time intervals, acquires the content data subjected to MPEG2 encoding stored in the main storage unit 112, and multiplexes it into MPEG2-TS as a main stream.
  • the main reference storage unit 114 stores the return reception time information generated by the main encoding unit 111, and receives and accumulates the PTS of the reference frame in the main stream from the main encoding unit 111.
  • the recovery encoding unit 121 adds H.264 to the content data obtained by the content obtaining unit 102. H.264 encoding processing is performed. All of the H.264 encoded content data is transferred to and stored in the recovery storage unit 122. The PTS of the reference frame in the H.264 encoded content data is passed to the recovery reference storage unit 124 for storage.
  • the recovery encoding unit 121 acquires the PTS of the reference frame in the recovery stream for each packet, and uses this as a reference for the recovery reception time information indicating the timing at which the content reception device 200 starts receiving the recovery stream,
  • the packet is generated in association with each packet, transferred to the recovery criterion storage unit 124, and stored.
  • the recovery reception time information it is possible to know the “time when reception of the recovery stream is started when the packet is lost”.
  • FIG. 4 is a diagram illustrating an example of the structure of the recovery reception time information.
  • the recovery reception time information for each frame, “PTS of a specific reference frame in the recovery stream (recovery start PTS 601)”, “PTS of the reference frame next to the specific reference frame (recovery end) PTS 602) ”and“ time from reception of the recovery reception time information until reception of the specific reference frame from the recovery stream (recovery start offset 603) ”is associated.
  • the recovery reception time information has a structure as shown in FIG. 4, but information having such a structure is not necessarily required as long as the same effect can be obtained.
  • the recovery reception start time for starting reception of the reference frame is obtained from the internal time of the content reception device 200 and the recovery start offset, and between the recovery start PTS and the recovery end PTS.
  • the replacement data of the missing data can be acquired by receiving the specific reference frame from the recovery stream. That is, in the main stream, when data having a PTS between the recovery start PTS and the recovery end PTS is lost, the reception of the recovery stream is started from the recovery reception start time, thereby receiving the specific reference frame.
  • Alternative data for the missing data can be obtained from the recovery stream.
  • the recovery accumulating unit 122 receives the H.264 data from the recovery encoding unit 121. H.264 encoded content data is stored.
  • the recovery multiplexing unit 123 starts processing at regular time intervals, and stores the H.264 stored in the recovery storage unit 122.
  • the H.264 encoded content data is acquired and multiplexed as a recovery stream.
  • the recovery reference storage unit 124 stores the recovery reception time information generated by the recovery encoding unit 121, and receives and accumulates the PTS of the reference frame in the recovery stream from the recovery encoding unit 121.
  • the PID storage unit 125 stores in advance a main return-PID value that identifies return reception time information (PID is an abbreviation for Packet ID) and a recovery-PID value that identifies recovery reception time information is doing.
  • PID is an abbreviation for Packet ID
  • the collection time storage unit 126 stores the PTS range of the encoded content data stored in the buffer in order to store the PTS of the reference frame of the reference stream and the recovery frame of the reference section of the reference stream in the fixed section.
  • the reference FR information collection time shown is stored in advance.
  • the main multiplexing unit 113 further stores the PTS of the reference frame in the main stream stored in the main reference storage unit 114, the return reception time information stored in the main reference storage unit 114, and the recovery reference storage unit 124.
  • the PTS of the reference frame in the recovery stream and the recovery reception time information stored in the recovery reference storage unit 124 are included in the main stream and transmitted as part of the internal parameters of the own apparatus.
  • the main return-PID value stored in the PID storage unit 125 is acquired and set as the PID of the MPEG2-TS to be multiplexed.
  • the recovery-PID value stored in the PID storage unit 125 is acquired and set as the PID of the MPEG2-TS to be multiplexed.
  • the main packet receiving unit 201 uses the main antenna 202 to receive main stream packets at regular intervals, and extracts content data from the received main stream packets.
  • the main stream packet received here includes PCR information (Program Clock Reference)
  • the main packet receiving unit 201 extracts the PCR information and passes it to the time control unit 208.
  • the main packet receiving unit 201 extracts the content data and passes it to the main decoding unit 203.
  • the main packet reception unit 201 extracts the return reception time information and sets it to the time axis of the content reception device 200.
  • the converted actual return reception time information is passed to the main power control unit 215 of the recovery control unit 204. Further, when the received main stream packet includes recovery reception time information indicating the reception timing of the recovery stream, the main packet receiving unit 201 extracts the recovery reception time information and sets it to the time axis of the content reception device 200. The converted actual recovery reception time information is output to the recovery power control unit 212 of the recovery control unit 204.
  • the main antenna 202 receives the main stream sent to the transmission line 300 by the main transmission antenna 106.
  • the main decoding unit 203 receives the MPEG2 encoded data of the main stream from the main packet receiving unit 201, sequentially decodes the MPEG2 encoded data in a predetermined unit, generates content data for normal display, and outputs it.
  • the data is temporarily stored in the standby buffer 209 and the display timing is delayed, and the data is transferred to the display control unit 210.
  • the recovery control unit 204 determines whether or not the main packet receiving unit 201 can receive a main stream of a predetermined unit for each predetermined unit. Here, it is determined whether or not the main stream packet can be normally received.
  • the recovery control unit 204 determines the reception timing of the predetermined unit recovery stream corresponding to the predetermined unit main stream, Judgment is made based on information multiplexed on the main stream, and power is applied to the components related to reception and reproduction of the recovery stream only at the reception timing to start reception of the recovery stream.
  • the recovery packet receiving unit 205 receives the recovery stream using the recovery antenna 206, and H.264 from the received recovery stream.
  • H.264 encoded data is extracted and passed to the recovery decoding unit 207.
  • the recovery antenna 206 receives the recovery stream sent to the transmission path 300 by the recovery transmission antenna 110.
  • the recovery decoding unit 207 receives the recovery stream H.264 from the recovery packet receiving unit 205.
  • H.264 encoded data is received, and the H.264 encoded data is sequentially transmitted in predetermined units.
  • H.264 encoded data The content data for alternative display is generated by H.264 decoding and passed to the display control unit 210.
  • the time control unit 208 controls and manages the current time in the content receiving device 200 and is used as a reference when determining the operation timing in each component, and when the PCR information is acquired, the current time value and time Control the speed of advance.
  • the output standby buffer 209 is for temporarily accumulating the content reproduced by the main decoding unit 203 before display and delaying the display timing. After obtaining each content, the output standby time storage unit The data is output after holding the standby time indicated by the reproduction standby time information stored in 103.
  • the display control unit 210 temporarily accumulates the normal display content temporarily accumulated by the output standby buffer 209 and output after a certain time, and the alternative display content reproduced by the recovery decoding unit 207. However, it is played back at the time indicated by the PTS added to the content data and displayed on the display unit 400.
  • the display control unit 210 plays the content for normal display preferentially over the content for alternative display.
  • the display unit 400 is a video or audio output device such as a video monitor or a speaker.
  • FIG. 5 is a diagram illustrating a detailed configuration of the recovery control unit 204 and the display control unit 210.
  • the recovery control unit 204 includes a recovery overhead storage unit 211, a recovery power control unit 212, a recovery time information storage queue storage unit 213, a main overhead storage unit 214, a main power control unit 215, a return time information storage queue storage unit 216, and a PID storage.
  • the display control unit 210 includes a main picture temporary storage unit 220, a recovery picture temporary storage unit 221, and a playback timing control unit.
  • the recovery overhead storage unit 211 stores in advance a recovery overhead value indicating a time from when reception of the recovery stream is started until when the recovery stream can actually be received.
  • the recovery power control unit 212 receives the actual recovery reception time information from the main packet reception unit 201, and based on this, determines whether or not to supply power necessary for receiving the recovery stream to the recovery packet reception unit 205. Switch.
  • the recovery decoding unit 207 receives the recovery stream by switching the power supply after the processing for the data received in the past is completed. , And the power input to the components related to regeneration may be controlled.
  • the recovery time information accumulation queue storage unit 213 stores the actual recovery reception time information passed from the main packet reception unit 201.
  • the main overhead storage unit 214 stores in advance a main overhead value indicating a time from when reception of the main stream is started until the main stream can actually be received.
  • the main power control unit 215 receives the actual recovery reception time information from the main packet receiving unit 201, and based on this, determines whether or not to supply the main packet receiving unit 201 with power necessary for receiving the main stream. Switch.
  • the main decoding unit 203 switches the power supply after the processing for the data received in the past is finished, thereby You may control both the electric power input to the component related to reception and reproduction
  • the return time information accumulation queue storage unit 216 stores the actual return reception time information passed from the main packet reception unit 201.
  • the PID storage unit 217 stores a recovery-PID value for identifying recovery reception time information and a main return-PID value for identifying return reception time information.
  • the recoverable time information accumulation queue storage unit 218 acquires the PTS of the reference frame from the recovery packet reception unit 205 and stores it.
  • the recovery reservation information accumulation queue storage unit 219 acquires and stores the PTS of the main stream content data acquired immediately before the main stream reception fails.
  • the main picture temporary storage unit 220 is temporarily stored in the output standby buffer 209 and output after a predetermined time, so that the normal display content data with the display timing delayed is displayed at the display time and the playback timing. The data is temporarily stored until it is played back by the control unit 222. Instead of the output standby buffer 209 and the main picture temporary storage unit 220, a single storage unit having these functions may be provided.
  • the recovery picture temporary storage unit 221 normally reproduces the content data for alternative display generated by the recovery decoding unit 207 by the reproduction timing control unit 222 at the display time, or is reproduced at the same time.
  • the display content is temporarily stored until it becomes unnecessary due to the fact that the content for display is stored in the main picture temporary storage unit 220.
  • the reproduction timing control unit 222 gives priority to the normal display content over the normal display content temporarily stored in the main picture temporary storage unit 220 and the alternative display content temporarily stored in the recovery picture temporary storage unit 221. Then, it is played back at the time indicated by the PTS added to the content data and displayed on the display unit 400.
  • the encoding method in the main encoding unit 111 is MPEG2
  • the encoding method in the recovery encoding unit 121 is H.264. H.264, but other encoding methods may be used. Also, these encoding methods can be the same.
  • the recovery encoding unit 121 by increasing the redundancy of the transmission signal so that the bit rate at the time of encoding in the recovery encoding unit 121 is lower than the bit rate at the time of encoding by the main encoding unit 111, it is possible for the alternative display.
  • Stream error tolerance can be increased. Therefore, even if the content data of the main stream received by the content receiving device 200 is missing, there is a high probability that replacement data for the missing data is acquired from the recovery stream, so that there is a high possibility of providing continuous video.
  • the recovery ability can be increased.
  • QPSK (4-layer displacement modulation, high transmission tolerance), 16QAM (16-level orthogonal modulation, medium transmission tolerance), 64QAM (64-value orthogonal modulation, low transmission tolerance), etc.
  • the recovery capability can be enhanced as described above by making the recovery stream transmission method higher in transmission tolerance than the main stream transmission method, including the selection of redundant bits.
  • FIG. 6 is a diagram schematically showing transmission / reception and playback timing.
  • the main stream transmission / reception, recovery stream transmission / reception, and playback timing will be described with reference to FIG.
  • the horizontal axis represents time, and time advances from left to right.
  • the top row shows the transmission timing of each packet in the main stream
  • the second row shows the transmission timing of each packet in the recovery stream.
  • uppercase alphabetic symbols are attached to the packets of the main stream
  • lowercase letters are also attached to the corresponding packets of the recovery stream
  • the corresponding packets are associated with uppercase and lowercase characters.
  • the third row shows the reproduction timing, and the used packet symbol is attached.
  • the first frame includes data of the reference frame and the second to tenth packets include data of the difference frame.
  • the packets including the reference frame data are “A”, “K”, “U”, “a”, “k”, and the packets including the difference frame data are “B” to “J”. , “L” to “T”, “V” to “b” to “j”, “l” to.
  • the reference frame interval is about 5 seconds at the maximum. Further, here, an example of operation when reception of the eighth packet “H” of the main stream has failed is shown.
  • the time from the start of transmission of the main stream to the start of transmission of the recovery stream is equal to the time when the reception of the 10th packet “J” immediately before the packet including the reference frame data in the main stream fails.
  • the packet “a” necessary for using the packet “j” of the recovery stream corresponding to the packet “J” must be receivable. Further, the time from the start of transmission of the main stream to the reproduction must be such that the corresponding recovery stream packet can be received when reception of the main stream packet fails.
  • the packet for the alternative display (here, “J”) from the packet that failed to be received (here, “H”) to the packet (here, “J”) immediately before the packet including the reference frame data after this frame is included. h to j "), and return to the main stream packet from the subsequent packet (here” K ").
  • the supply of power to the main packet receiving unit 201 related to the main stream reception process is stopped, and the main stream is stopped. Is not performed, power supply is resumed from the subsequent packet “K”, and normal playback is resumed.
  • power is not supplied to the recovery packet receiving unit 205 related to the recovery stream reception process until reception of the main stream fails.
  • FIG. 6 shows an example in which the reference frame of the main stream corresponds to the reference frame of the recovery stream. However, if the decoding method is different, it may be assumed that these do not correspond. Even in such a case, if the reference frame interval is set within a certain range determined by the delay time of the recovery stream, it operates normally without any problem.
  • FIG. 7 is a diagram schematically showing transmission / reception and playback timings as in FIG. 6, and shows an example in which the reference frame of the main stream does not correspond to the reference frame of the recovery stream.
  • the difference from FIG. 6 is the arrangement of the reference frame of the recovery stream.
  • the packets including the data of the reference frame are “A”, “K”, “U”, “a”, “e”, “ Packets that are “o” and “y” and contain differential frame data are “B” to “J”, “L” to “T”, “V” to “b” to “d”, “f” ”To“ n ”and“ p ”to“ x ”.
  • an example of operation when reception of the 14th packet “N” of the main stream has failed is shown.
  • the packet for the alternative display (here, “T”) from the packet that failed to be received (here “N”) to the packet immediately before the packet containing the data of the reference frame after this frame (here “T”) is displayed. “N to t”), and the subsequent packet (here “U”) is returned to the main stream packet.
  • the supply of power to the main packet receiving unit 201 related to the main stream reception process is stopped, and the main stream is stopped. Is not performed, power supply is resumed from the subsequent packet “U”, and normal playback is resumed.
  • reception of the main stream fails, power is not supplied to the recovery packet reception unit 205 related to the recovery stream reception process. If reception of the main stream fails, packet “N” of the failed main stream is received. From the reference frame “e” necessary for reproducing the packet “n” of the recovery stream corresponding to, the power supply is started and the reception of the recovery stream is started, and the recovery corresponding to the immediately preceding packet “T” After receiving the stream packet “t”, power supply is stopped until reception of the main stream packet again fails.
  • the main stream transmission operation shown in FIG. 8 and the recovery stream transmission operation shown in FIG. 9 are executed simultaneously in parallel, and the main stream and the recovery stream are transmitted simultaneously.
  • the recovery stream is relatively behind the main stream.
  • information for specifying the time to start receiving the recovery stream when the packet is damaged, information for specifying the time to restart receiving the main stream, and the like are multiplexed for each packet. .
  • FIG. 8 is a diagram illustrating a procedure of main stream transmission operation in the content transmission apparatus 100.
  • the content data generated or acquired by the content acquisition unit 102 is passed to the main stream generation unit 104 and the recovery stream generation unit 108 (step S1).
  • the main encoding unit 111 performs MPEG2 encoding processing on the delivered content data, and passes the encoded content data to the main storage unit 112 for storage (step S2).
  • the main encoding unit 111 passes the PTS of the reference frame to the main reference storage unit 114 for storage (step S4).
  • the PTS of the reference frame stored here is converted into return reception time information when a return reception time information acquisition request is issued, and is sent to the content reception device 200 to be sent to the main packet reception unit by the main power control unit 215. Used for power control 201.
  • the main multiplexing unit 113 appropriately inserts a NULL packet or other packet so that the stream is transmitted at the transmission bit rate.
  • the encoded data and other information are sent out as an MPEG2-TS packet sequence so that the PTS added to each encoded data and the timing at which these encoded data are transmitted are synchronized with each other (step S5). ).
  • content data of 60 fps is generated in the content acquisition unit 102, encoded by the main encoding unit 111, and then the encoded content data is stored in the main storage unit 112.
  • the main multiplexing unit 113 multiplexes the encoded data stored in the main storage unit 112 as an MPEG2-TS packet sequence at 48 Kbyte intervals.
  • the PTS of each encoded content data and the actual content data are multiplexed.
  • the transmission timing can be synchronized.
  • a recovery reception time information acquisition request is issued to the recovery stream generation unit 108 to acquire the information.
  • the acquired return reception time information is multiplexed as an MPEG2-TS packet and passed to the main transmission unit 105 (step S7).
  • the main multiplexing unit 113 determines whether or not the recovery reception time information specified by the PTS can be acquired from the recovery reference storage unit 124 using the PTS of the encoded data to be transmitted as a parameter (step S8). . (9) If the recovery reception time information can be acquired, the recovery reception time information is acquired, and the main multiplexing unit 113 multiplexes the acquired recovery reception time information as an MPEG2-TS packet and passes it to the main transmission unit 105 (Step S9). (10) The main transmission unit 105 determines whether the reference FR information collection time specified by the PTS can be acquired from the collection time storage unit 126 using the PTS of encoded data to be transmitted as a parameter (step S10). ).
  • Step S11 If the reference FR information collection time can be acquired, the reference FR information collection time is acquired, and the main multiplexing unit 113 multiplexes the acquired reference FR information collection time as an MPEG2-TS packet, and the main transmission unit 105 (Step S11). (12) It is determined whether or not the difference between the PTS of the oldest encoded data stored in the main storage unit 112 and the PTS of the newest encoded data is greater than the reference FR information collection time (step S12). . (13) When the difference in PTS becomes larger than the reference FR information collection time, it is determined that more encoded data is stored in the main storage unit 112 than indicated by the reference FR information collection time.
  • the main transmission unit sequentially obtains older encoded data indicating the past than the "(PTS of the future of the PTSs stored in the main storage unit 112)-(first-term reference FR information collection time)". It passes to 105 (step S13).
  • FIG. 9 is a diagram illustrating a procedure of a recovery stream transmission operation in the content transmission apparatus 100.
  • the content data generated or acquired by the content acquisition unit 102 is passed to the main stream generation unit 104 and the recovery stream generation unit 108 (step S11).
  • the recovery encoding unit 121 adds H.264 to the received content data.
  • the H.264 encoding process is performed to generate a recovery stream, and the encoded data is transferred to the recovery storage unit 122 for storage (step S12).
  • the recovery encoding unit 121 passes the PTS of the reference frame to the recovery reference storage unit 124 for storage (step S14).
  • the PTS of the reference frame stored here is converted into recovery reception time information when a recovery reception time information acquisition request is issued, sent to the content reception device 200, and a recovery packet reception unit by the recovery power control unit 212 Used for power control 201.
  • It is determined whether or not it is the head of the recovery stream (step S15).
  • the number of NULL packets indicated by the value of the recovery transmission delay time information stored in the recovery transmission delay time storage unit 107 is sent to the recovery transmission unit 109 (step S16). ).
  • the recovery multiplexing unit 123 sends encoded data that can be sent out in the past so that the remaining buffer capacity of the recovery storage unit 122 exceeds the time indicated by the value recorded in the collection time storage unit 126. Get sequentially from the ones registered in the buffer.
  • the recovery multiplexing unit 123 transmits the recovery stream at the transmission bit rate, and the PTS added to each encoded data and the timing at which these encoded data are transmitted are synchronized with each other.
  • a redundant packet is appropriately inserted into the encoded data and sent to the recovery transmission unit 109 (step S17).
  • content data of 15 fps is generated in the content acquisition unit 102 and encoded by the recovery encoding unit 121, and then the encoded data is stored in the recovery storage unit 122.
  • the recovery multiplexing unit 123 converts the encoded data stored in the recovery storage unit 122 to H.264 at 16 Kbyte intervals. It is multiplexed as a 264-TS packet sequence.
  • the PTS of each encoded data and the actual transmission timing are synchronized by multiplexing the encoded data at an appropriate position in the 264-TS packet sequence.
  • the encoded data and other information are transferred to H.264.
  • a 264-TS packet sequence is passed to the recovery transmission unit 109 (step S18).
  • the presentation target is substantially the same.
  • the main power control unit 215 supplies power to the main packet receiving unit 201.
  • the main stream receiving operation shown in FIG. 11 is started.
  • the recovery power control unit 212 does not supply power to the recovery packet reception unit 205, the recovery stream reception operation illustrated in FIG. 12 is not started.
  • reception of the recovery stream is started for each packet when the packet is damaged.
  • Information for specifying the power time, information for specifying the time to resume the reception of the main stream, and the like are extracted from the main stream and stored.
  • the main stream reception operation when recognizing the damage of the MPEG2-TS packet, the identification information for identifying each information corresponding to the damaged packet is registered from the previously stored information, and the main power control is performed.
  • the unit 215 By causing the unit 215 to stop supplying power to the main packet receiving unit 201, the main stream receiving operation illustrated in FIG. 11 is stopped.
  • the recovery power control unit 212 receives the main packet reception unit at the time when the reception of the recovery stream specified based on the identification information should be started.
  • the recovery stream reception operation shown in FIG. 12 is started, and the main power control unit 215 receives the main stream at the time when the reception of the main stream specified based on the identification information should be resumed.
  • the main stream reception operation illustrated in FIG. 11 is resumed.
  • the recovery power control unit 212 stops the supply of power to the recovery packet reception unit 205, whereby the recovery stream reception operation shown in FIG. Is canceled.
  • FIG. 10 is a diagram illustrating a procedure of a power supply control operation in the content receiving device 200.
  • the main power controller 215 supplies power to the main packet receiver 201, and the recovery power controller 212 does not supply power to the recovery packet receiver 205 (step S21).
  • step S24 it is determined whether or not the current time managed by the time control unit 208 has reached the oldest reception restart time registered in the return time information accumulation queue storage unit 216 (step S25). (6) When the current reception time reaches the oldest reception restart time, it is determined that it is time to restart the reception of the reference frame in the main stream, and the oldest reception registered in the return time information accumulation queue storage unit 216 is reached. The restart time is erased (step S26).
  • the main power control unit 215 determines whether or not the power supply to the main packet receiving unit 201 is stopped (step S27). (8) When the power supply to the main packet receiving unit 201 is stopped, the power supply to the main packet receiving unit 201 is resumed (step S28). Even if the main power control unit 215 is notified of the packet lost from the recovery control unit 204, if the main packet receiving unit 201 needs to acquire information other than the content data, The main power control unit 215 may continue to supply power to the main packet receiving unit 201.
  • FIG. 11 is a diagram illustrating a procedure of main stream reception operation in the content reception device 200.
  • the main packet receiving unit 201 receives main stream packets at regular intervals. Specifically, the main antenna 202 is used to receive an analog signal, the analog signal is OFDM-modulated to generate a digital signal, and an MPEG2-TS packet is extracted from the digital signal (step S31). (2) It is determined whether PCR information is included in the extracted PEG2-TS packet (step S32).
  • the main packet receiver 201 extracts the PCR information from the extracted PEG2-TS packet, passes it to the time controller 208, and returns to the beginning.
  • the time control unit 208 controls to update the current time according to the received PCR information (step S33).
  • PCR information is not included, issue a main reference FR-PID acquisition request to the recovery control unit 204 to acquire the main reference FR-PID, and the extracted MPEG2-TS PID is acquired. It is determined whether it is equal to the main reference FR-PID (step S34).
  • the main packet receiving unit 201 determines that the MPEG2-TS includes return reception time information.
  • the return reception time information is extracted from the PEG2-TS packet, transferred to the recovery control unit 204, and returns to the beginning.
  • the recovery control unit 204 controls power supply to the main packet receiving unit 201 based on the received return reception time information (step S35).
  • step S36 If the extracted MPEG2-TS PID is not equal to the acquired main reference FR-PID, issue a recovery reference FR-PID acquisition request to the recovery control unit 204 to acquire the recovery reference FR-PID Then, it is determined whether or not the PID of the extracted MPEG2-TS packet is equal to the acquired recovery standard FR-PID (step S36).
  • the main packet receiving unit 201 extracts the recovery reception time information from the PEG2-TS packet, passes it to the recovery control unit 204, and returns to the beginning.
  • the recovery control unit 204 controls power supply to the recovery packet receiving unit 205 based on the received recovery reception time information (step S37).
  • the PID of the extracted MPEG2-TS packet is not equal to the acquired recovery standard FR-PID, whether or not the extracted MPEG2-TS packet includes a PES (Packetized Elementary Stream). Judgment is made (step S38).
  • the main packet receiving unit 201 extracts the content data contained in the PES from the MPEG2-TS packet and passes it to the main decoding unit 203 (step S39).
  • step S40 It is determined whether or not the extracted content data is a reference frame (step S40).
  • the PTS of the reference frame is passed to the recovery control unit 204 (step S41).
  • the main decoding unit 203 decodes the received content data to generate a picture frame for normal display, temporarily stores it in the output standby buffer 209, and the display control unit 210 displays the content in the display unit 400. And return to the beginning (step S42).
  • step S38 NO
  • the main packet receiving unit 201 uses the packet lost location information as the PTS added to the content data received immediately before receiving the damaged MPEG2-TS. Is passed to the recovery control unit 204 (step S44).
  • the recovery control unit 204 acquires the packet lost position information
  • the recovery power control unit 212 is notified that the packet lost has occurred using the PTS that is the packet lost position information as a parameter.
  • the recovery power control unit 212 additionally registers PTS, which is packet lost location information received as a parameter, in the recovery reservation information accumulation queue storage unit 219.
  • the PTS registered in the recovery reservation information accumulation queue storage unit 219 is used for control of power supply to the recovery packet receiving unit 205 by the recovery power control unit 212 (step S45).
  • the main power control unit 215 stops the power supply to the main packet receiving unit 201 (step S46).
  • FIG. 12 is a diagram illustrating a procedure of a recovery stream reception operation in the content reception device 200.
  • the recovery packet receiving unit 205 receives a packet of the recovery stream at regular intervals. More specifically, the recovery antenna 206 is used to receive an analog signal, and the analog signal is OFDM-modulated to generate a digital signal.
  • a 264-TS packet is extracted (step S51).
  • the extracted H.P. It is determined whether or not PES is included in the 264-TS packet (step S52).
  • the recovery packet receiving unit 205 sets the H.264 The content data included in the PES is extracted from the 264-TS packet and transferred to the recovery decoding unit 207 (step S53).
  • step S54 It is determined whether the PTS added to the acquired content data is registered in the recoverable time information accumulation queue storage unit 218 (step S54). (5) If it is registered, it is determined that it is no longer necessary to receive the recovery stream and the reception of the recovery stream can be terminated. From the recoverable time information accumulation queue storage unit 218, The corresponding PTS is deleted, and a stop request message is notified to the recovery power control unit 212 (step S55). (6) When the recovery power control unit 212 receives the stop request message, the recovery power control unit 212 stops power supply to the recovery packet receiving unit 205 (step S56). (7) The recovery decoding unit 207 decodes the received content data to generate normal display content data, and the display control unit 210 displays the content on the display unit 400 (step S57).
  • the transmission device and the reception device of the present embodiment even when packet loss occurs during reception of the main stream and reception of the content data fails, an alternative display is performed from the intentionally delayed recovery stream. Content data can be obtained and a series of video images can be continuously output. Therefore, even if the reception status of a plurality of streams deteriorates at the same time, it is possible to switch to content data for alternative display. Further, the main stream is received while the main stream is successfully received, and the recovery stream is received only when reception of the main stream has failed, and content data for alternative display is acquired. Furthermore, after reception of the main stream has failed, reception of the main stream is stopped until the timing at which reception can be resumed, so that the operating time of the receiving unit can be minimized.
  • the content transmission device and the content reception device of the present invention can be used for any communication device, have high packet loss resistance, and can reduce power consumption. It is useful as a video communication means between home appliances.
  • the content transmission device can be used as a repeater for TV broadcasts such as digital terrestrial broadcasts, and even if the content reception device is brought into a place where it is difficult for radio waves of TV broadcasts to reach, the video is hardly interrupted and a good reception environment Is obtained.
  • the power consumption is suppressed, the battery life of the portable terminal is extended and it is suitable for weight reduction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Radio Transmission System (AREA)

Abstract

 複数のストリームの受信状態が同時に悪くなってもコンテンツを切り替えることができ消費電力を抑えパケットロスト耐性を高めた送信装置及び受信装置等を提供する。 受信装置は、第1ストリームを所定単位毎に受信して第1コンテンツデータを抽出する第1受信部と、所定単位毎に第1ストリームを正常に受信できたかを判断し、できなかった場合に相対的に遅れて送信される第2ストリームの受信を開始させる指示を出す制御部と、指示を受けると第2ストリームの受信を開始し、受信できなかった所定単位の第1ストリームに相当する第2ストリームを受信して第2コンテンツデータを抽出する第2受信部と、できなかった場合に第2コンテンツデータに基づき代替表示用のコンテンツを再生し、できた場合に代替表示用のコンテンツを再生するときのタイミングで第1コンテンツデータに基づき通常表示用のコンテンツを再生する再生制御部とを備える。

Description

コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
 本発明は、コンテンツを送受信するシステムに関し、より特定的には、パケットロスト耐性を高めるための技術に関する。
 近年、地上波アナログ放送の終了が予定されていることもあり、地上波デジタル放送を受信できるデジタルテレビの普及が目覚ましい。
 地上波デジタル放送の伝送方式においては、原理的に信号の劣化がほとんどないので、基本的に受信環境に因らずに高画質の映像を再生することができる、しかしながら、伝送中に電波障害等により部分的に受信状態が悪くなるような事態が生じると、アナログでは映像にノイズが入る程度の障害であったものが、デジタルではパケットロストが生じて、画面の一部が表示されなかったり、数秒間に渡ってブラックアウトするという問題がある。そのために、パケットロスト耐性を高めるための様々な提案がなされている。
 パケットロスト耐性を高めた従来のコンテンツ受信装置の一つとして、地上波デジタル放送用チューナを複数備え、それぞれに並列に、同系列の異なる周波数の放送を受信させて映像データの生成処理を実行させておき、一つのチューナが受信する放送により生成される映像データの表示中に、放送を取得し損ねて映像データの生成に失敗した場合に、他のチューナが受信する放送により生成されている映像データに、途切れなくスムーズに切り替えることを特徴とするデジタル放送受信装置が特許文献1に開示されている。
特開2006-166035号公報
 しかしながら、例えば雷等の強力な電波障害により1つのチューナの受信状態が悪くなったときには、他のチューナの受信状態も同時に悪くなると考えられるため、上記特許文献1に記載のデジタル放送受信装置では、車載の受信装置の移動により放送局を切り替えるような場合や、電波障害の程度が比較的軽い場合には、映像データを切途切れなくスムーズに切り替えることが可能かもしれないが、電波障害の程度が比較的重い場合には、同じタイミングで他のチューナも受信に失敗してしまうので、映像データを切り替えることができない。
 また、前記特許文献1に記載の構成では、いつ映像データの生成に失敗しても、途切れなくスムーズに映像データの切り替えができるように、パケットロストの有無にかかわらず、常に複数のチューナを並列に稼動し続け、複数の映像データの生成処理を実行し続ける必要があり、電力の消費量が大きいという問題がある。
 それ故に、本発明は、第1に、複数のストリームの受信状態が同時に悪くなったとしても、代替表示用のコンテンツに切り替えることが可能であり、また、第2に、前記特許文献1のように、複数のチューナを常に並列に稼動し続けたり、映像データ等の複数のコンテンツの生成処理を常に並列に実行し続けることなく、消費電力を抑えつつ、パケットロスト耐性を高めたコンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法を提供することを目的とする。
 本発明は、コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法に向けられている。そして上記課題を解決するために、本発明のコンテンツ受信装置は、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置であって、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信部と、前記所定の単位毎に、第1受信部により前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御部と、リカバリ制御部より前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御部により判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信部と、正常に受信することができなかったとリカバリ制御部により判断された場合に、前記第2受信部により受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御部により判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信部により受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御部とを備える。
 好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができたと判断した場合に、前記第2ストリームの受信処理を実行する構成部分、及び、前記第2コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないようにするとよい。
 好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、前記第1ストリームを受信する処理を再開できるタイミングまで、前記第1ストリームの受信処理を実行する構成部分、及び、当該第1コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないようにするとよい。
 好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、当該所定の単位の第1ストリームに基づいて再生されるコンテンツに相当する代替表示用のコンテンツを再生するために、参照画像のコンテンツデータが必要とされるときには、当該必要とされる参照画像のコンテンツデータを含む所定の単位の第2ストリームから受信を開始するとよい。
 好ましくは、前記第2ストリームは、前記第1ストリームよりも伝送耐性を強くするとよい。
 また上記課題を解決するために、本発明のコンテンツ送信装置は、コンテンツを再生する基となるコンテンツデータを含むストリームをコンテンツ受信装置へ向けて送出するコンテンツ送信装置であって、第1コンテンツデータを含む第1ストリームを生成するとともに当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む代替表示用の第2ストリームを生成するストリーム生成部と、前記第1ストリームを送出するとともに前記コンテンツ受信装置により所定の単位の第1ストリームが正常に受信されない場合に当該コンテンツ受信装置において正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように前記第2ストリームを当該第1ストリームよりも相対的に遅らせて送信する送信部とを備える。
 好ましくは、前記ストリーム生成部は、前記第1ストリームを生成する第1生成部と、前記第2ストリームを生成する第2生成部と、前記第2ストリームのデータを送出する前に送出する冗長データの区間を示す送信遅延時間情報を予め格納する送信遅延時間格納部とを含み、前記送信部は、前記第1ストリームを送出する第1送出部と、前記第2ストリームを送出する第2送出部とを含み、前記第2生成部は、前記送信遅延時間格納部に格納されている送信遅延時間情報により示される区間の冗長データを前記第2送出部へ送出して第2ストリームの送出を待機させた後で当該第2送出部へ渡すことによって第2ストリームの送出を第1ストリームよりも相対的に遅らせるとよい。
 好ましくは、前記第1生成部は、さらに、パケットロストした場合にいつまで第1ストリームの受信を中断することができるかを示す時刻を特定する復帰受信時刻情報をパケット毎に対応付けて生成し、前記第2生成部は、さらに、パケットロストした場合に前記第2ストリームの受信を開始させる時刻を特定する受信時刻情報をパケット毎に対応付けて生成し、前記第1送出部は、前記第1生成部により生成された復帰受信時刻情報及び前記第2生成部により生成された受信時刻情報を前記第1ストリームとともに送出するとよい。
 好ましくは、前記第2生成部は、前記第1生成部により生成される前記第1ストリームよりも伝送耐性が強い第2ストリームを生成するとよい。
 また上記課題を解決するために、本発明のコンテンツ受信プログラムは、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置において実行されるコンテンツ受信プログラムであって、前記コンテンツ受信装置に、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを実行させる。
 また上記課題を解決するために、本発明のコンテンツ送信プログラムは、コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置において実行されるコンテンツ受信プログラムであって、前記コンテンツ送信装置に、第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを実行させる。
 また上記課題を解決するために、本発明のコンテンツ受信方法は、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信方法であって、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを含む。
 また上記課題を解決するために、本発明のコンテンツ送信方法は、コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信方法であって、第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを含む。
 以上のように、本発明においては、コンテンツ送信装置が、第1コンテンツデータを含む第1ストリームを生成して放送するとともに、第2コンテンツデータを含む代替表示用の第2ストリームを、第1ストリームよりも相対的に遅らせて放送しておき、コンテンツ受信装置が、第1ストリームの受信に成功し第1コンテンツデータを正常に抽出することができている間は第2ストリームの受信処理、及び第2ストリームに基づいたコンテンツの再生処理を行わず、第1コンテンツデータを正常に抽出することができない時にだけ第2ストリームの受信を開始して、正常に抽出することができない第1コンテンツデータに相当する第2コンテンツデータを抽出して、これを用いてコンテンツを再生する。このような構成によれば、通常表示用第1ストリームと代替表示用の第2ストリームとの両方の受信状態が同時に悪くなったとしても、代替表示用のコンテンツに切り替えることが可能である。また、切り替える必要がない時には、第2ストリームの受信処理も第2ストリームに基づいたコンテンツの生成処理も実行させる必要がないので、2つのチューナを常に並列に稼動し続け、複数のコンテンツの生成処理を実行し続けるような装置に較べ、大幅に消費電力を抑えることができる。
 また、リカバリの最中において、第1コンテンツデータの抽出を再開できるタイミングまで、第1ストリームの受信処理、及び、第1ストリームに基づいたコンテンツの生成処理を休止させることにより、さらに消費電力を抑えることができる。
 また、第2ストリームの伝送耐性を第1ストリームよりも強くしておくことにより、第1ストリームの受信が頻繁に失敗するような厳しい受信環境であっても、画面の一部が表示されなかったり、画面全体がブラックアウトするというような事態を、効率よく回避することが期待できる。
図1は、本発明に係るコンテンツ送受信システム10の構成の概要を示す図である。 図2は、メインストリーム生成部104、及びリカバリストリーム生成部108の詳細な概要を示す図である。 図3は、復帰受信時刻情報の構造の一例を示す図である。 図4は、リカバリ受信時刻情報の構造の一例を示す図である。 図5は、リカバリ制御部204の詳細な構成を示す図である。 図6は、送受信、及び再生のタイミングを概略的に示す図である。 図7は、送受信、及び再生のタイミングを概略的に示す図である。 図8は、コンテンツ送信装置100におけるメインストリームの送信動作の手順を示す図である。 図9は、コンテンツ送信装置100におけるリカバリストリームの送信動作の手順を示す図である。 図10は、コンテンツ受信装置200における電源制御動作の手順を示す図である。 図11は、コンテンツ受信装置200におけるメインストリームの受信動作の手順を示す図である。 図12は、コンテンツ受信装置200におけるリカバリストリームの受信動作の手順を示す図である。
 [第1の実施形態]
  <概要>
 本実施形態は、コンテンツを送受信するシステムであって、送信側が、主たる受信対象であるメインストリームと、メインストリームよりも相対的に遅れて代替表示用のリカバリストリームとを送出し、受信側が、メインストリームから通常表示用のコンテンツデータを抽出してコンテンツを再生する際に、所定の単位の、コンテンツデータの抽出に失敗したことが判明した後に、相対的に遅れて放送されているリカバリストリームの受信を開始し、抽出に失敗した通常表示用のコンテンツデータに相当する代替表示用のコンテンツデータを抽出してコンテンツを再生する。これにより、複数のストリームの受信状態が同時に悪くなったとしても、提示対象が略同一である代替表示用のコンテンツに切り替えることを可能にする。また、受信側は、メインストリームから通常表示用のコンテンツデータが正常に抽出されるときには、消費電力を抑えるために、リカバリストリームの受信処理を行わない。また、受信側は、メインストリームから通常表示用のコンテンツデータが正常に抽出されないときには、さらに消費電力を抑えるために、通常表示用のコンテンツデータの抽出を再開できるタイミングまで、メインストリームの受信処理を行わない。
  <構成>
 図1は、本発明に係るコンテンツ送受信システム10の構成の概要を示す図である。
 コンテンツ送受信システム10は、図1に示すように、コンテンツ送信装置100、コンテンツ受信装置200、伝送路300、及び表示部400からなり、コンテンツ送信装置100から放送されるストリームを、伝送路300を介してコンテンツ受信装置200が受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生し、表示部400に表示させる。
 コンテンツ送信装置100は、時刻制御部101、コンテンツ入手部102、出力待機時間格納部103、メインストリーム生成部104、メイン送信部105、メイン送信アンテナ106、リカバリ送信遅延時間格納部107、リカバリストリーム生成部108、リカバリ送信部109、及びリカバリ送信アンテナ110を備え、MPEG2エンコード処理を施した通常表示用のコンテンツデータと、H.264エンコード処理を施した代替表示用のコンテンツデータとの2種類のエンコード済みコンテンツデータを生成した後、通常表示用のコンテンツデータをメインストリームに含ませて送出し、また、代替表示用のコンテンツデータをリカバリストリームに含ませて、メインストリームよりも相対的に遅らせて送出する。
 コンテンツ受信装置200は、メインパケット受信部201、メインアンテナ202、メインデコード部203、リカバリ制御部204、リカバリパケット受信部205、リカバリアンテナ206、リカバリデコード部207、時刻制御部208、出力待機用バッファ209、及び表示制御部210を備え、コンテンツ送信装置100により送出されたメインストリームとリカバリストリームとを受信し、当該メインストリーム、及びリカバリストリームからコンテンツデータを抽出し、コンテンツを再生して出力する。
 伝送路300は、コンテンツ送信装置100から放送されるストリームをコンテンツ受信装置200まで伝達する電波を伝える空間、あるいは光ケーブル等の伝達媒体である。
 時刻制御部101は、コンテンツ送信装置100における現在時刻を制御、管理し、各構成要素において動作タイミングを決める際の基準とされる。
 コンテンツ入手部102は、撮影等によって映像データ等のコンテンツデータを生成するか、あるいは、送出すべきコンテンツデータそのものを外部から入手する。ここで、コンテンツ入手部102が、リアルタイムで映像を撮影するか、順次映像データをリアルタイムで入手するような場合において、入手した映像データのフレーム毎にPTS(Presentation Time Stamp)を付与する。ここで付与されるPTSの値は、時刻制御部101により管理される現在時刻の値に出力遅延値を加えた値である。このように、時刻制御部101により管理されるコンテンツ送信装置100側の現在時刻を基準にした値をPTSとして各ピクチャデータに付与することにより、コンテンツ受信装置200側においてこれらのPTSを参照し、入手された映像データの順序通りの連続的な映像を出力することができる。
 また、ここで出力遅延値とは、「(コンテンツ送信装置100側においてコンテンツデータを取得してから、コンテンツ受信装置200側において映像を表示するまでにかかる遅延時間の最大見積もり値) + (出力待機時間格納部103に格納される値)」として定義される。
 また、ここで、「コンテンツ送信装置100側においてコンテンツデータを取得してから、コンテンツ受信装置200側において映像を表示するまでにかかる遅延時間の最大見積もり値」とは、エンコード処理、多重化処理、無線伝送処理、多重化分離処理、及びデコード処理などにかかる時間の積算値である。
 出力待機時間格納部103は、コンテンツ受信装置200において、リカバリが必要になったときにタイミングが合うように、メインコンテンツを予め遅らせて再生する際の待機しなければならない時間、例えばコンテンツデータを取得してから再生するまでの待機時間を示す再生待機時間情報を予め格納している。
 メインストリーム生成部104は、コンテンツ入手部102からコンテンツデータを取得して、これにMPEG2エンコード処理を施してメインストリームを生成し、MPEG2-TSに多重化する。
 メイン送信部105は、メインストリーム生成部104により生成されるメインストリームを、メイン送信アンテナ106を用いて伝送路300へ送出する。
 リカバリ送信遅延時間格納部107は、コンテンツ送信装置100において、リカバリストリームを、メインストリームよりも相対的に遅らせて送出するために、リカバリストリームのデータを送出する前に送出する冗長データの区間を示すリカバリ送信遅延時間情報を予め格納している。
 リカバリストリーム生成部108は、コンテンツ入手部102からコンテンツデータを取得して、これにH.264エンコード処理を施してリカバリストリームを生成する。
 リカバリ送信部109は、リカバリストリーム生成部108により生成されるリカバリストリームを、リカバリ送信アンテナ110を用いて伝送路300へ送出する。
 ここで、リカバリストリーム生成部108は、リカバリ送信遅延時間格納部107に格納されているリカバリ送信遅延時間情報により示される区間の冗長データを送出して、生成したリカバリストリームの送出を待機させた後で、リカバリ送信部109へ渡すことによって、リカバリストリームの送出をメインストリームよりも相対的に遅らせる。
 図2は、メインストリーム生成部104、及びリカバリストリーム生成部108の詳細な概要を示す図である。
 メインストリーム生成部104は、メインエンコード部111、メイン蓄積部112、メイン多重化部113、メイン基準格納部114を含み、リカバリストリーム生成部108は、リカバリエンコード部121、リカバリ蓄積部122、リカバリ多重化部123、リカバリ基準格納部124、PID格納部125、及び収集時間格納部126を含む。
 メインエンコード部111は、コンテンツ入手部102により入手されたコンテンツデータにMPEG2エンコード処理を施し、MPEG2エンコード処理されたデータのフレーム毎にPTSを付与して、その全てをメイン蓄積部112へ渡して格納させ、また、MPEG2エンコードされたコンテンツデータ中の基準フレームのPTSを、メイン基準格納部114へ渡して格納させる。なお、本実施の形態では、各フレームの特定に、コンテンツを再生すべき実際の時刻を示すPTSを用いているが、これに限られるものではなく、各フレームを特定でき、かつメインパケットとリカバリパケットとの対応関係が認識できる情報であれば他の情報でもよい。例えば、各フレームの特定に、先頭のフレームの再生時刻等を基準とした各フレームを再生すべき時刻までの相対的な時間を示す情報であってもよい。
 さらに、メインエンコード部111は、パケット毎に、次の基準フレームのPTSを取得し、これを基準にして、コンテンツ受信装置200がメインストリームの受信を中断した後に受信再開するためのタイミングを示す復帰受信時刻情報を、パケット毎に対応付けて生成し、メイン基準格納部114へ渡して格納させる。ここで復帰受信時刻情報によれば、「パケットロストした場合に、いつまでメインストリームの受信を中断することができるかを示す時刻」を知ることができる。
 図3は、復帰受信時刻情報の構造の一例を示す図である。
 図3に示す復帰受信時刻情報においては、各フレームに対して「エンコード済みデータとその次のエンコード済みデータとのPTSの差を示す復帰オフセット501」が対応付けられている。
 なお、本実施の形態では復帰受信時刻情報を図3のような構造にしているが、同様の効果が得られる情報であれば、必ずしもこのような構造の情報でなくてもよい。
 ここで、本実施の形態においては、エンコード済みデータに付加されたPTSと、当該エンコード済みデータが伝送される実際の時刻とが同期している。また、実際の時刻は後述するコンテンツ受信装置200の内部時刻とも同期している。つまり、エンコード済みデータに付加されたPTSと「コンテンツ受信装置200の内部時刻」とが同期する。従って、当該復帰受信時刻に含まれる復帰オフセットと、コンテンツ受信装置200の内部時刻とから、当該基準フレームの次の基準フレームを受信する「コンテンツ受信装置200の内部時刻」を求めることができる。つまり、復帰受信時刻情報を参照することで、当該基準フレームから次の基準フレームまでのいずれかのエンコード済みデータが欠落した場合において、欠落したデータの次の基準フレームを受信する「コンテンツ受信装置200の内部時刻」を求めることができる。即ち、帰受信時刻情報を基準フレームの直前に多重化することで、コンテンツ受信装置200においてMPEG2エンコード済みデータのパケットを取得できなかった場合に、次の基準フレームまでの不要なMPEG2エンコード済みデータを受信することを避けつつ、次の基準フレームを受信することが可能となる。
 なお、本実施の形態ではコンテンツデータのPTSと実際のコンテンツデータの伝送タイミングとを同期させているが、これはPTSから実際の伝送タイミングへの変換を容易にするための一例に過ぎない。従って、コンテンツデータのPTSと実際のコンテンツデータの伝送タイミングとを同期させずに、直接目的のコンテンツデータが伝送されるタイミングを復帰受信時刻情報及びリカバリ受信時刻情報の一部として重畳してもよい。
 メイン蓄積部112は、メインエンコード部111によりMPEG2エンコード処理されたメインコンテンツを蓄積する。
 メイン多重化部113は、一定時間毎に処理を開始し、メイン蓄積部112に蓄積されたMPEG2エンコードが施されたコンテンツデータを取得し、メインストリームとしてMPEG2-TSに多重化する。
 メイン基準格納部114は、メインエンコード部111により生成された復帰受信時刻情報を格納するとともに、メインエンコード部111からメインストリームにおける基準フレームのPTSを受け取って蓄積する。
 リカバリエンコード部121は、コンテンツ入手部102により入手されたコンテンツデータにH.264エンコード処理を施し、H.264エンコード処理されたコンテンツデータの全てをリカバリ蓄積部122へ渡して蓄積させ、また、H.264エンコード処理されたコンテンツデータ中の基準フレームのPTSを、リカバリ基準格納部124へ渡して格納させる。
 さらに、リカバリエンコード部121は、パケット毎に、リカバリストリームにおける基準フレームのPTSを取得し、これを基準にして、コンテンツ受信装置200がリカバリストリームの受信を開始するタイミングを示すリカバリ受信時刻情報を、パケット毎に対応付けて生成し、リカバリ基準格納部124へ渡して格納させる。ここでリカバリ受信時刻情報によれば、「パケットロストした場合に、リカバリストリームの受信を開始させる時刻」を知ることができる。
 図4は、リカバリ受信時刻情報の構造の一例を示す図である。
 図4に示すように、リカバリ受信時刻情報においては、各フレームに対して「リカバリストリームにおける特定基準フレームのPTS(リカバリ開始PTS601)」、「特定基準フレームの次の、基準フレームのPTS(リカバリ終了PTS602)」、及び「リカバリ受信時刻情報を受信してから特定基準フレームをリカバリストリームから受信開始するまでの時間(リカバリ開始オフセット603)」が対応付けられている。
 なお、本実施の形態ではリカバリ受信時刻情報を図4のような構造にしているが、同様の効果が得られる情報であれば、必ずしもこのような構造の情報でなくてもよい。
 コンテンツ受信装置200において、リカバリ受信時刻情報を取得すると、コンテンツ受信装置200内部の時刻とリカバリ開始オフセットから、基準フレームを受信開始するリカバリ受信開始時刻を求め、リカバリ開始PTSとリカバリ終了PTSとの間のPTSを持つデータが欠落した場合、リカバリストリームから特定基準フレームを受信することで、欠落したデータの代替データを取得できる。即ち、メインストリームにおいて、リカバリ開始PTSとリカバリ終了PTSとの間のPTSを持つデータが欠落した場合には、リカバリ受信開始時刻からリカバリストリームの受信を開始することで、特定基準フレームを受信し、欠落したデータの代替データをリカバリストリームから取得することができる。
 リカバリ蓄積部122は、リカバリエンコード部121によりH.264エンコード処理されたコンテンツデータを蓄積する。
 リカバリ多重化部123は、一定時間毎に処理を開始し、リカバリ蓄積部122に蓄積されたH.264エンコードが施されたコンテンツデータを取得し、リカバリストリームとして多重化する。
 リカバリ基準格納部124は、リカバリエンコード部121により生成されたリカバリ受信時刻情報を格納するとともに、リカバリエンコード部121からリカバリストリームにおける基準フレームのPTSを受け取って蓄積する。
 PID格納部125は、復帰受信時刻情報を識別するメイン復帰-PID値(PIDは、Packet IDの略で、パケット識別子の意)と、リカバリ受信時刻情報を識別するリカバリ-PID値とを予め格納している。
 収集時間格納部126は、一定区間のメインストリームの、基準フレームのPTS、及び一定区間のリカバリストリームの、基準フレームのPTSを蓄積するために、バッファに蓄積するエンコード済みコンテンツデータのPTSの範囲を示す基準FR情報収集時間を予め格納している。
 またメイン多重化部113は、さらに、メイン基準格納部114に格納されたメインストリームにおける基準フレームのPTS、メイン基準格納部114に格納された復帰受信時刻情報、リカバリ基準格納部124に格納されたリカバリストリームにおける基準フレームのPTS、及びリカバリ基準格納部124に格納されたリカバリ受信時刻情報を、自装置の内部パラメータの一部としてメインストリームに含ませて送出する。
 ここで復帰受信時刻情報をMPEG2-TSとして多重化する際、PID格納部125に格納されたメイン復帰-PID値を取得して、多重化するMPEG2-TSのPIDとする。また、リカバリ受信時刻情報をMPEG2-TSとして多重化する際、PID格納部125に格納されたリカバリ-PID値を取得して、多重化するMPEG2-TSのPIDとする。
 メインパケット受信部201は、メインアンテナ202を用いて、一定時間毎にメインストリームのパケットを受信し、受信されたメインストリームのパケットからコンテンツデータを抽出する。ここで受信したメインストリームのパケットにPCR情報(Program Clock Reference)が含まれているときには、メインパケット受信部201は当該PCR情報を抽出して時刻制御部208へ渡す。また受信したメインストリームのパケットにMPEG2エンコード処理が施されたコンテンツデータが含まれているときには、メインパケット受信部201は当該コンテンツデータを抽出してメインデコード部203へ渡す。また受信したメインストリームのパケットにメインストリームの受信タイミングを示す復帰受信時刻情報が含まれているときには、メインパケット受信部201は当該復帰受信時刻情報を抽出して、コンテンツ受信装置200の時間軸に変換した実復帰受信時刻情報を、リカバリ制御部204のメイン電力制御部215へ渡す。また受信したメインストリームのパケットにリカバリストリームの受信タイミングを示すリカバリ受信時刻情報が含まれているときには、メインパケット受信部201は当該リカバリ受信時刻情報を抽出して、コンテンツ受信装置200の時間軸に変換した実リカバリ受信時刻情報を、リカバリ制御部204のリカバリ電力制御部212へ出力する。
 メインアンテナ202は、メイン送信アンテナ106により伝送路300へ送出されたメインストリームを受信する。
 メインデコード部203は、メインパケット受信部201からメインストリームのMPEG2エンコード済みデータを受け取り、所定の単位で順次、当該MPEG2エンコード済みデータをMPEG2デコードして、通常表示用のコンテンツデータを生成し、出力待機用バッファ209に一旦蓄積して表示のタイミングを遅延させて、表示制御部210に渡す。
 リカバリ制御部204は、所定の単位毎に、メインパケット受信部201により、所定の単位のメインストリームが受信できるか否かを判断する。ここでは、メインストリームのパケットが正常に受信できるか否かを判断する。所定の単位のメインストリームを正常に受信することができないと判断された場合には、リカバリ制御部204は、当該所定の単位のメインストリームに相当する、所定の単位のリカバリストリームの受信タイミングを、メインストリームに多重された情報に基づいて判断して、当該受信タイミングにおいてのみ、リカバリストリームの受信、及び再生に関わる構成要素に電力を投入して、リカバリストリームの受信を開始させる。
 リカバリパケット受信部205は、リカバリアンテナ206を用いてリカバリストリームを受信し、受信されたリカバリストリームからH.264エンコード済みデータを抽出して、リカバリデコード部207へ渡す。
 リカバリアンテナ206は、リカバリ送信アンテナ110により伝送路300へ送出されたリカバリストリームを受信する。
 リカバリデコード部207は、リカバリパケット受信部205からリカバリストリームのH.264エンコード済みデータを受け取り、所定の単位で順次、当該H.264エンコード済みデータをH.264デコードして、代替表示用のコンテンツデータを生成して表示制御部210に渡す。
 時刻制御部208は、コンテンツ受信装置200における現在時刻を制御、及び管理し、各構成要素において動作タイミングを決める際の基準とされ、また、PCR情報を取得した際に現在の時刻値及び時刻の進む速度を制御する。
 出力待機用バッファ209は、メインデコード部203により再生されたコンテンツを、表示前に一旦蓄積して、表示のタイミングを遅延させるためのものであり、各コンテンツを入手してから出力待機時間格納部103に格納される再生待機時間情報により示させる待機時間だけ保持した後で出力する。
 表示制御部210は、出力待機用バッファ209により一旦蓄積されて一定時間後に出力された通常表示用のコンテンツ、及び、リカバリデコード部207により再生された代替表示用のコンテンツを、一時的に蓄積させながら、コンテンツデータに付加されているPTSにより示される時刻に再生して、表示部400へ表示させる。ここで表示制御部210は、通常表示用のコンテンツを代替表示用のコンテンツよりも優先的に再生する。
 表示部400は、例えば映像モニタやスピーカ等の映像や音声の出力機器である。
 図5は、リカバリ制御部204、及び表示制御部210の詳細な構成を示す図である。
 リカバリ制御部204は、リカバリオーバーヘッド格納部211、リカバリ電力制御部212、リカバリ時刻情報蓄積キュー格納部213、メインオーバーヘッド格納部214、メイン電力制御部215、復帰時刻情報蓄積キュー格納部216、PID格納部217、復帰可能時刻情報蓄積キュー格納部218、及びリカバリ予約情報蓄積キュー格納部219を含む。
 表示制御部210は、メインピクチャ一時蓄積部220、リカバリピクチャ一時蓄積部221、及び再生タイミング制御部を含む。
 リカバリオーバーヘッド格納部211は、リカバリストリームの受信を開始してから、実際にリカバリストリームを受信できるようになるまでの時間を示したリカバリオーバーヘッド値を予め格納している。
 リカバリ電力制御部212は、メインパケット受信部201から実リカバリ受信時刻情報を受け取り、これに基づいて、リカバリパケット受信部205に対して、リカバリストリームの受信に必要な電力供給を行うか否かを切り替える。なお、ここでリカバリパケット受信部205に対して電力供給を切り替える際に、リカバリデコード部207対して、過去に受信されたデータに対する処理が終わった後で電力供給を切り替えることにより、リカバリストリームの受信、及び再生に関わる構成要素に投入する電力の両方を制御してもよい。
 リカバリ時刻情報蓄積キュー格納部213は、メインパケット受信部201から渡された実リカバリ受信時刻情報を格納する。
 メインオーバーヘッド格納部214は、メインストリームの受信を開始してから、実際にメインストリームを受信できるようになるまでの時間を示したメインオーバーヘッド値を予め格納している。
 メイン電力制御部215は、メインパケット受信部201から実リカバリ受信時刻情報を受け取り、これに基づいて、メインパケット受信部201に対して、メインストリームの受信に必要な電力供給を行うか否かを切り替える。なお、ここでメインパケット受信部201に対して電力供給を切り替える際に、メインデコード部203に対して、過去に受信されたデータに対する処理が終わった後で電力供給を切り替えることにより、メインストリームの受信、及び再生に関わる構成要素に投入する電力の両方を制御してもよい。
 復帰時刻情報蓄積キュー格納部216は、メインパケット受信部201から渡された実復帰受信時刻情報を格納する。
 PID格納部217は、リカバリ受信時刻情報を識別するリカバリ-PID値及び復帰受信時刻情報を識別するメイン復帰-PID値を格納する。
 復帰可能時刻情報蓄積キュー格納部218は、リカバリパケット受信部205から基準フレームのPTSを取得して格納する。
 リカバリ予約情報蓄積キュー格納部219は、メインストリームの受信に失敗する直前に取得したメインストリームのコンテンツデータのPTSを取得して格納する。
 メインピクチャ一時蓄積部220は、出力待機用バッファ209により一旦蓄積されて一定時間後に出力されたことにより、表示のタイミングが遅延された通常表示用のコンテンツデータを、表示する時刻になって再生タイミング制御部222によって再生されるまで一時蓄積する。なお、出力待機用バッファ209とメインピクチャ一時蓄積部220の代わりに、これらの機能を兼ね備えた1つの蓄積部を備えてもよい。
 リカバリピクチャ一時蓄積部221は、リカバリデコード部207により生成された代替表示用のコンテンツデータを、表示する時刻になって再生タイミング制御部222によって再生されるか、あるいは、同時刻に再生される通常表示用のコンテンツがメインピクチャ一時蓄積部220に蓄積されていること等により不要になるまで一時蓄積する。
 再生タイミング制御部222は、メインピクチャ一時蓄積部220に一時蓄積された通常表示用のコンテンツ、及びリカバリピクチャ一時蓄積部221に一時蓄積された代替表示用のコンテンツを、通常表示用のコンテンツを優先させながら、コンテンツデータに付加されているPTSにより示される時刻に再生して、表示部400へ表示させる。
 なお、本実施の形態ではメインエンコード部111におけるエンコード方式をMPEG2とし、リカバリエンコード部121におけるエンコード方式をH.264としたが、これらは他のエンコード方式を用いてもよい。また、これらのエンコード方式を同じにすることもできる。
 また、本実施の形態のように、リカバリエンコード部121におけるエンコード時のビットレートがメインエンコード部111によるエンコード時のビットレートよりも低くなるよう伝送信号の冗長性を高めることで、代替表示用のストリームの伝送誤り耐性を高めることができる。従って、コンテンツ受信装置200において受信するメインストリームのコンテンツデータが欠落しても、欠落したデータの代替データをリカバリストリームから取得する確率が高いので、連続した映像を提供する可能性が高くなり、よってリカバリ能力を高めることができる。
 また、伝送方式として、例えば、QPSK(4層変位変調、伝送耐性高い)、16QAM(16値直交変調、伝送耐性中)、及び64QAM(64値直交変調、伝送耐性低い)等を用いることができ、冗長ビットの選択も含めて、リカバリストリームの伝送方式をメインストリームの伝送方式よりも伝送耐性が高いものにすることで、上記のようにリカバリ能力を高めることができる。
  <送受信、及び再生の動作タイミング>
 図6は、送受信、及び再生のタイミングを概略的に示す図である。
 図6を用いて、メインストリームの送受信、リカバリストリームの送受信、及び再生のタイミングについて説明する。
 図6において、横軸は時間を表し、左から右へ時間が進んでいる。最上段は、メインストリームにおけるパケット単位の送信タイミングを表し、2段目はリカバリストリームにおけるパケット単位の送信タイミングを表している。ここで、メインストリームのパケットに大文字のアルファベット記号を付け、リカバリストリームの対応するパケットには、小文字もアルファベット記号を付けて、対応するパケット同士を大文字と小文字で対応付けている。
 また、3段目は再生されるタイミングを示しており、使用したパケットの記号を付けている。
 ここでは、説明の簡略化のため、10個のパケット毎に、先頭のパケットに基準フレームのデータが含まれ、2~10番目のパケットに差分フレームのデータが含まれているものとする。例えば、基準フレームのデータが含まれるパケットは、「A」、「K」、「U」、「a」、「k」であり、差分フレームのデータが含まれるパケットは、「B」~「J」、「L」~「T」、「V」~、「b」~「j」、「l」~である。なお、実際には基準フレーム間隔は最大で5秒程度である。
 また、ここではメインストリームの8番目のパケット「H」の受信に失敗したときの動作例を示している。
 ここで、メインストリームの送信開始からリカバリストリームの送信開始までの時間は、メインストリームにおける基準フレームのデータが含まれるパケットの直前の10番目のパケット「J」の受信に失敗した時点においても、このパケット「J」に対応するリカバリストリームのパケット「j」を利用するために必要なパケット「a」が受信可能でなければならない。
 また、メインストリームの送信開始から再生までの時間は、メインストリームのパケットの受信に失敗した時点において、対応するリカバリストリームのパケットが受信可能でなければならない。
 ここでは受信に失敗したパケット(ここでは「H」)から、このフレーム以降の基準フレームデータが含まれるパケットの直前のパケット(ここでは「J」)までを、代替表示用のパケット(ここでは「h~j」)に置き換え、その後のパケット(ここでは「K」)からメインストリームのパケットに戻す。ここで、メインストリームの受信に失敗してから上記直前のパケット「J」の受信タイミングまでの間は、メインストリームの受信処理に関わるメインパケット受信部201への電力の供給を止めて、メインストリームの受信処理を行わず、その後のパケット「K」から電力の供給を再開して、通常再生に戻る。一方、メインストリームの受信に失敗するまでは、リカバリストリームの受信処理に関わるリカバリパケット受信部205への電力の供給をせず、メインストリームの受信に失敗すると、失敗したメインストリームのパケット「H」に対応するリカバリストリームのパケット「h」を再生するために必要な基準フレーム「a」から、電力の供給を開始してリカバリストリームの受信を開始し、上記直前のパケット「J」に対応するリカバリストリームのパケット「j」を受信したのち、電力の供給を止める。
 なお、メインパケット受信部201への電力の供給を止める際に、メインデコード部203等の、メインストリームの受信後の処理に関わる部分のうち、過去に受信されたデータに対する処理が終わったものから順次、電力の供給を止めてもよい。同様に、リカバリパケット受信部205への電力の供給を止める際に、リカバリデコード部207等のリカバリストリームの受信後の処理に関わる部分のうち、過去に受信されたデータに対する処理が終わったものから順次、電力の供給を止めてもよい。
 また図6では、メインストリームの基準フレームが、リカバリストリームの基準フレームに対応している例を示したが、デコードの方法が異なれば、これらが対応しないことも想定される。このような場合でも、基準フレーム間隔を、リカバリストリームの遅延時間によって決まる一定範囲内にしておけば、問題なく正常に動作する。
 図7は、図6と同様に送受信、及び再生のタイミングを概略的に示す図であり、メインストリームの基準フレームが、リカバリストリームの基準フレームに対応していない例を示す。
 図6と異なる点は、リカバリストリームの基準フレームの配置であり、例えば、基準フレームのデータが含まれるパケットは、「A」、「K」、「U」、「a」、「e」、「o」、「y」であり、差分フレームのデータが含まれるパケットは、「B」~「J」、「L」~「T」、「V」~、「b」~「d」、「f」~「n」、「p」~「x」である。
 また、ここではメインストリームの14番目のパケット「N」の受信に失敗したときの動作例を示している。
 ここでは受信に失敗したパケット(ここでは「N」)から、このフレーム以降の基準フレームのデータが含まれるパケットの直前のパケット(ここでは「T」)までを、代替表示用のパケット(ここでは「n~t」)に置き換え、その後のパケット(ここでは「U」)からメインストリームのパケットに戻す。ここで、メインストリームの受信に失敗してから上記直前のパケット「T」の受信タイミングまでの間は、メインストリームの受信処理に関わるメインパケット受信部201への電力の供給を止めて、メインストリームの受信処理を行わず、その後のパケット「U」から電力の供給を再開して、通常再生に戻る。一方、メインストリームの受信に失敗するまでは、リカバリストリームの受信処理に関わるリカバリパケット受信部205への電力の供給をせず、メインストリームの受信に失敗すると、失敗したメインストリームのパケット「N」に対応するリカバリストリームのパケット「n」を再生するために必要な基準フレーム「e」から、電力の供給を開始してリカバリストリームの受信を開始し、上記直前のパケット「T」に対応するリカバリストリームのパケット「t」を受信したのち、再びメインストリームのパケットの受信に失敗するまで電力の供給を止める。
  <送信動作概要>
  本実施の形態では、図8に示すメインストリーム送信動作と、図9に示すリカバリストリーム送信動作とが、同時並列的に実行され、メインストリームとリカバリストリームとが同時に送信される。ここで、リカバリストリームはメインストリームよりも相対的に遅れている。またメインストリームには、パケット毎に、そのパケットの破損が発生した時にリカバリストリームの受信を開始すべき時刻を特定する情報や、メインストリームの受信を再開すべき時刻を特定する情報等を多重する。
  <メインストリーム送信動作>
 図8は、コンテンツ送信装置100におけるメインストリームの送信動作の手順を示す図である。
 (1)操作者の指示に基づいて、コンテンツ入手部102により生成又は入手されたコンテンツデータが、メインストリーム生成部104、及びリカバリストリーム生成部108に渡される(ステップS1)。
 (2)メインエンコード部111が、渡されたコンテンツデータにMPEG2エンコード処理を施して、エンコード済みのコンテンツデータを、メイン蓄積部112へ渡して蓄積させる(ステップS2)。
 (3)基準フレームをエンコードしたか否かを判断する(ステップS3)。
 (4)基準フレームをエンコードした場合には、メインエンコード部111がその基準フレームのPTSをメイン基準格納部114へ渡して格納させる(ステップS4)。
 ここで格納される基準フレームのPTSは、復帰受信時刻情報取得要求が発行された際に復帰受信時刻情報に変換され、コンテンツ受信装置200へ送出されて、メイン電力制御部215によるメインパケット受信部201の電力制御に用いられる。
 (5)メイン多重化部113が、伝送ビットレート通りにストリーム伝送されるように、適宜NULLパケットやその他のパケットを挿入する。ここで、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングとが互いに同期するようエンコード済みデータとその他の情報とをMPEG2-TSパケット列として送出する(ステップS5)。
 ここで、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングを同期させるための手法の一例を以下に示す。
 まず、コンテンツ入手部102において60fpsのコンテンツデータを生成し、メインエンコード部111によりエンコード処理を行った後、メイン蓄積部112にエンコード済みのコンテンツデータを格納する。
 続いて、メイン多重化部113が、メイン蓄積部112に蓄積されたエンコード済みデータを、48KByte間隔でMPEG2-TSパケット列として多重化する。
 このMPEG2-TSパケット列を、伝送レート23.04Mbps(=48(KByte)×8(bit)×60(frame))にて、コンテンツ送信装置100とコンテンツ受信装置200との間で伝送を行う。
 このようにして、コンテンツデータのフレームレートと伝送ビットレートに合わせて、MPEG2-TSパケット列の適切な位置にエンコード済みのコンテンツデータを多重化することにより、各エンコード済みのコンテンツデータのPTSと実際の伝送タイミングとを同期させることができる。
 (6)送出するエンコード済みデータが基準フレームであるか否かを判断する(ステップS6)。
 (7)基準フレームである場合には、リカバリストリーム生成部108へ復帰受信時刻情報取得要求を出して、当該情報を取得する。そして、エンコード済みデータを送出する直前に、取得した復帰受信時刻情報をMPEG2-TSパケットとして多重化し、メイン送信部105へ渡す(ステップS7)。
 (8)メイン多重化部113が、送出するエンコード済みデータのPTSをパラメータとして、リカバリ基準格納部124から当該PTSにより特定されるリカバリ受信時刻情報を取得できるか否かを判断する(ステップS8)。
 (9)リカバリ受信時刻情報を取得できる場合には、当該リカバリ受信時刻情報を取得し、メイン多重化部113が、取得したリカバリ受信時刻情報をMPEG2-TSパケットとして多重化しメイン送信部105へ渡す(ステップS9)。
 (10)メイン送信部105が、送出するエンコード済みデータのPTSをパラメータとして、収集時間格納部126から、当該PTSにより特定される基準FR情報収集時間を取得できるか否かを判断する(ステップS10)。
 (11)基準FR情報収集時間を取得できる場合には、当該基準FR情報収集時間を取得し、メイン多重化部113が、取得した基準FR情報収集時間をMPEG2-TSパケットとして多重化しメイン送信部105へ渡す(ステップS11)。
 (12)メイン蓄積部112に蓄積された最も古いエンコード済みデータのPTSと最も新しいエンコード済みデータのPTSとの差が、基準FR情報収集時間よりも大きくなったか否かを判断する(ステップS12)。
 (13)PTSの差が、基準FR情報収集時間よりも大きくなった場合には、メイン蓄積部112に、基準FR情報収集時間で示されるよりも多くのエンコード済みデータが蓄積されていると判断し、PTSが「(メイン蓄積部112に蓄積されたPTSのうち最も未来のPTS) - (前期基準FR情報収集時間)」よりも過去を示す、より古いエンコード済みデータを順次取得しメイン送信部105へ渡す(ステップS13)。
  <リカバリストリーム送信動作>
 図9は、コンテンツ送信装置100におけるリカバリストリームの送信動作の手順を示す図である。
 (1)操作者の指示に基づいて、コンテンツ入手部102により生成又は入手されたコンテンツデータが、メインストリーム生成部104、及びリカバリストリーム生成部108に渡される(ステップS11)。
 (2)リカバリエンコード部121が、渡されたコンテンツデータにH.264エンコード処理を施して、リカバリストリームを生成し、エンコード済みデータをリカバリ蓄積部122へ渡して蓄積させる(ステップS12)。
 (3)基準フレームをエンコードしたか否かを判断する(ステップS13)。
 (4)基準フレームをエンコードした場合には、リカバリエンコード部121がその基準フレームのPTSをリカバリ基準格納部124へ渡して格納させる(ステップS14)。
 ここで格納される基準フレームのPTSは、リカバリ受信時刻情報取得要求が発行された際にリカバリ受信時刻情報に変換され、コンテンツ受信装置200へ送出されて、リカバリ電力制御部212によるリカバリパケット受信部201の電力制御に用いられる。
 (5)リカバリストリームの先頭であるか否かを判断する(ステップS15)。
 (6)リカバリストリームの先頭である場合には、リカバリ送信遅延時間格納部107に格納されているリカバリ送信遅延時間情報の値で示される数のNULLパケットをリカバリ送信部109へ送出する(ステップS16)。
 (7)リカバリ多重化部123は、リカバリ蓄積部122のバッファ残量が収集時間格納部126に記録された値で示される時間を超えた分だけの送出可能なエンコード済みデータを、より過去にバッファに登録されたものから先に順次取得する。また、リカバリ多重化部123は、リカバリストリームが伝送ビットレート通りにストリーム伝送され、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングとが互いに同期するように、エンコード済みデータに適宜冗長パケットを挿入し、リカバリ送信部109へ送出する(ステップS17)。
 ここで、コンテンツ入手部102において15fpsのコンテンツデータを生成し、リカバリエンコード部121によりエンコード処理を行った後、リカバリ蓄積部122にエンコード済みデータを蓄積する。リカバリ多重化部123はリカバリ蓄積部122に蓄積されたエンコード済みデータを16KByte間隔でH.264-TSパケット列として多重化する。このH.264-TSパケット列を伝送レート1.92Mbps(=16(KByte)×8(bit)×15(frame))にて、コンテンツ送信装置100とコンテンツ受信装置200との間での伝送を行う。このようにして、コンテンツデータのフレームレートと伝送ビットレートに合わせてH.264-TSパケット列の適切な位置にエンコード済みデータを多重化することにより、各エンコード済みデータのPTSと実際の伝送タイミングとを同期させる。
 (8)冗長パケットを多重化した後、エンコード済みデータとその他の情報とをH.264-TSパケット列としてリカバリ送信部109へ渡す(ステップS18)。
 ここで、図8のステップS1において生成又は入手されるコンテンツデータと、図9の
ステップS11において生成または入手されるコンテンツデータとは同一、あるいは、全く同一でなくても、代替表示か可能な程度に提示対象が略同一である。
  <受信動作概要>
 本実施の形態では、視聴者による特定の番組に対する再生の指示等に基づいて、まず、図10に示す電源制御動作において、メイン電力制御部215にメインパケット受信部201へ電力を供給させることにより、図11に示すメインストリーム受信動作が開始される。このときリカバリ電力制御部212にはリカバリパケット受信部205へ電力を供給させないので、図12に示すリカバリストリーム受信動作は開始されない。
 ここで図11に示すメインストリーム受信動作の中で、通常表示用のコンテンツを再生して表示させるのと平行して、パケット毎に、そのパケットの破損が発生した時にリカバリストリームの受信を開始すべき時刻を特定する情報や、メインストリームの受信を再開すべき時刻を特定する情報等を、メインストリームから抽出して格納しておく。そしてメインストリーム受信動作において、MPEG2-TSパケットの破損を認識すると、先に格納しておいた各情報から、破損したパケットに該当する各情報を特定するための識別情報を登録し、メイン電力制御部215にメインパケット受信部201への電力の供給を止めさせることにより、図11に示すメインストリーム受信動作が中止される。
 一方、図10に示す電源制御動作において、MPEG2-TSパケットの破損の後に、上記識別情報に基づいて特定されるリカバリストリームの受信を開始すべき時刻に、リカバリ電力制御部212にメインパケット受信部201へ電力を供給させることにより、図12に示すリカバリストリーム受信動作は開始され、また、上記識別情報に基づいて特定されるメインストリームの受信を再開すべき時刻に、メイン電力制御部215にメインパケット受信部201へ電力を供給させることにより、図11に示すメインストリーム受信動作が再開される。
 図12に示すリカバリストリーム受信動作において、メインストリーム受信動作が再開されると、リカバリ電力制御部212にリカバリパケット受信部205への電力の供給を止めさせることにより、図12に示すリカバリストリーム受信動作が中止される。
  <電源制御動作>
 図10は、コンテンツ受信装置200における電源制御動作の手順を示す図である。
 (1)メイン電力制御部215にメインパケット受信部201へ電力を供給させ、リカバリ電力制御部212にはリカバリパケット受信部205へ電力を供給させない(ステップS21)。
 (2)時刻制御部208により管理される現在時刻が、リカバリ時刻情報蓄積キュー格納部213に登録されている最も古いリカバリ開始時刻に達したか否かを判断する(ステップS22)。
 (3)現在時刻が最も古いリカバリ開始時刻に達した場合には、リカバリストリームにおける基準フレームの受信を開始できるタイミングになったと判断し、さらに、リカバリ開始時刻に対応するリカバリ開始PTS、及びリカバリ終了PTSの間のPTSのいずれかが、リカバリ予約情報蓄積キュー格納部219に登録されているか否かを判断する(ステップS23)。
 (4)登録されている場合には、リカバリ可能な範囲のコンテンツデータがメインストリームにおいて欠落していると判断し、リカバリ電力制御部212にリカバリパケット受信部205への電力供給を開始させる(ステップS24)。
 (5)時刻制御部208により管理される現在時刻が、復帰時刻情報蓄積キュー格納部216に登録された最も古い受信再開時刻に達したか否かを判断する(ステップS25)。
 (6)現在時刻が最も古い受信再開時刻に達した場合には、メインストリームにおける基準フレームの受信を再開できるタイミングになったと判断し、復帰時刻情報蓄積キュー格納部216に登録された最も古い受信再開時刻を消去する(ステップS26)。
 (7)メイン電力制御部215がメインパケット受信部201への電力供給を停止しているか否かを判断する(ステップS27)。
 (8)メインパケット受信部201への電力供給を停止している場合には、メインパケット受信部201への電力供給を再開させる(ステップS28)。
 なお、メイン電力制御部215がリカバリ制御部204からパケットロストを通知された場合であっても、メインパケット受信部201がコンテンツデータ以外の情報を取得する必要がある場合は、必要に応じて、メイン電力制御部215がメインパケット受信部201へ電源供給を継続してもよい。
  <メインストリーム受信動作>
 図11は、コンテンツ受信装置200におけるメインストリームの受信動作の手順を示す図である。
 (1)メインパケット受信部201が一定時間毎にメインストリームのパケットを受信する。詳細には、メインアンテナ202を用いて、アナログ信号を受信し、このアナログ信号をOFDM変調してデジタル信号を生成し、このデジタル信号からMPEG2-TSパケットを抽出する(ステップS31)。
 (2)抽出されたPEG2-TSパケットにPCR情報が含まれているか否かを判断する(ステップS32)。
 (3)PCR情報が含まれている場合には、メインパケット受信部201が抽出されたPEG2-TSパケットからPCR情報を抽出して時刻制御部208へ渡し、最初に戻る。時刻制御部208は受け取ったPCR情報に合わせて、現在時刻を更新するように制御する(ステップS33)。
 (4)PCR情報が含まれていない場合には、リカバリ制御部204へメイン基準FR-PID取得要求を発行してメイン基準FR-PIDを取得し、抽出されたMPEG2-TSのPIDが、取得したメイン基準FR-PIDと等しいか否かを判断する(ステップS34)。
 (5)抽出されたMPEG2-TSのPIDが、取得したメイン基準FR-PIDと等しい場合に、当該MPEG2-TSに復帰受信時刻情報が含まれていると判断して、メインパケット受信部201が当該PEG2-TSパケットから復帰受信時刻情報を抽出してリカバリ制御部204へ渡し、最初に戻る。リカバリ制御部204は、受け取った復帰受信時刻情報に基づいて、メインパケット受信部201への電力供給を制御する(ステップS35)。
 (6)抽出されたMPEG2-TSのPIDが、取得したメイン基準FR-PIDと等しくない場合には、リカバリ制御部204へリカバリ基準FR-PID取得要求を発行してリカバリ基準FR-PIDを取得し、抽出されたMPEG2-TSパケットのPIDが、取得したリカバリ基準FR-PIDと等しいか否かを判断する(ステップS36)。
 (7)抽出されたMPEG2-TSパケットのPIDが、取得したリカバリ基準FR-PIDと等しい場合には、当該MPEG2-TSにリカバリ受信時刻情報が格納されていると判断して、メインパケット受信部201が当該PEG2-TSパケットからリカバリ受信時刻情報を抽出してリカバリ制御部204へ渡し、最初に戻る。リカバリ制御部204は、受け取ったリカバリ受信時刻情報に基づいて、リカバリパケット受信部205への電力供給を制御する(ステップS37)。
 (8)抽出されたMPEG2-TSパケットのPIDが、取得したリカバリ基準FR-PIDと等しくいない場合には、抽出されたMPEG2-TSパケットにPES(Packetized Elementary Stream)が含まれているか否かを判断する(ステップS38)。
 (9)抽出されたMPEG2-TSパケットにPESが含まれている場合に、メインパケット受信部201が当該MPEG2-TSパケットからPESに含まれるコンテンツデータを抽出してメインデコード部203へ渡す(ステップS39)。
 (10)抽出したコンテンツデータが基準フレームであるか否かを判断する(ステップS40)。
 (11)抽出したコンテンツデータが基準フレームである場合には、基準フレームのPTSをリカバリ制御部204へ渡す(ステップS41)。
 (12)メインデコード部203が、受け取ったコンテンツデータをデコード処理して、通常表示用のピクチャフレームを生成し、出力待機用バッファ209に一旦蓄積させて、表示制御部210がコンテンツを表示部400へ表示させ、最初に戻る(ステップS42)。
 (13)抽出されたMPEG2-TSパケットにPESが含まれてないる場合に(ステップS38:NO)、抽出したMPEG2-TSパケットが破損しているか否かを判断する(ステップS43)。
 (14)抽出したMPEG2-TSパケットが破損している場合には、メインパケット受信部201が、破損したMPEG2-TSを受信する直前に受信したコンテンツデータに付加されたPTSを、パケットロスト位置情報であるとして、リカバリ制御部204へ渡す(ステップS44)。
 (15)リカバリ制御部204がパケットロスト位置情報を取得すると、パケットロスト位置情報であるPTSをパラメータとして、リカバリ電力制御部212へパケットロストが発生した旨を通知する。リカバリ電力制御部212はパラメータとして受け取ったパケットロスト位置情報であるPTSをリカバリ予約情報蓄積キュー格納部219へ追加登録する。リカバリ予約情報蓄積キュー格納部219へ登録されたPTSは、リカバリ電力制御部212によるリカバリパケット受信部205への電力供給の制御に用いられる(ステップS45)。
 (16)メイン電力制御部215が、メインパケット受信部201への電力供給を停止する(ステップS46)。
  <リカバリストリーム受信動作>
 図12は、コンテンツ受信装置200におけるリカバリストリームの受信動作の手順を示す図である。
 (1)電力供給が開始された後、リカバリパケット受信部205が、一定時間毎にリカバリストリームのパケットを受信する。詳細には、リカバリアンテナ206を用いて、アナログ信号を受信し、このアナログ信号をOFDM変調してデジタル信号を生成し、このデジタル信号からH.264-TSパケットを抽出する(ステップS51)。
 (2)抽出されたH.264-TSパケットにPESが含まれているか否かを判断する(ステップS52)。
 (3)PESが含まれている場合には、リカバリパケット受信部205がH.264-TSパケットからPESに含まれるコンテンツデータを抽出し、リカバリデコード部207に渡す(ステップS53)。
 (4)取得したコンテンツデータに付加されたPTSが、復帰可能時刻情報蓄積キュー格納部218に登録されているか否かを判断する(ステップS54)。
 (5)登録されている場合には、これ以上リカバリストリームを受信する必要がなくなって、リカバリストリームの受信を終了することが可能であると判断し、復帰可能時刻情報蓄積キュー格納部218から、該当するPTSを削除し、リカバリ電力制御部212に停止要求メッセージを通知する(ステップS55)。
 (6)リカバリ電力制御部212が、停止要求メッセージを受け取ると、リカバリパケット受信部205への電力供給を停止する(ステップS56)。
 (7)リカバリデコード部207が、受け取ったコンテンツデータをデコード処理して、通常表示用のコンテンツデータを生成し、表示制御部210がコンテンツを表示部400に表示させる(ステップS57)。
  <作用・効果>
 本実施の形態の送信装置及び受信装置によれば、メインストリームの受信中にパケットロストが発生し、コンテンツデータの受信に失敗した場合でも、意図的に遅延伝送しているリカバリストリームから、代替表示用のコンテンツデータを取得し、一連の映像を出力し続けることができるので、複数のストリームの受信状態が同時に悪くなったとしても、代替表示用のコンテンツデータに切り替えることが可能である。
 さらに、メインストリームの受信に成功している間はメインストリームを受信し、メインストリームの受信に失敗した時だけリカバリストリームを受信して、代替表示用のコンテンツデータを取得する。更にメインストリームの受信に失敗した後は、受信を再開できるタイミングになるまでメインストリームの受信を止めるので、受信部の稼動時間を極力抑えられる。
 上記の作用により、二つのチューナの稼働時間を極力抑えて消費電力を抑えるという効果を得ることができる。
 さらに、本構成において、リカバリストリームの画質を下げ、ビットレートを抑えることで、受信状態のよい時は高ビットレートでMPEG2のような高画質な映像を視聴し、受信状態が悪いときでも、冗長な信号成分が多く、かつ低ビットレートでパケットロスト耐性の強いH.264のような比較的画質を抑えた映像を視聴し続け、かつ本構成によれば、メインストリームによる映像とリカバリストリームによる映像とをシームレスに切り替えることができる。
 本発明のコンテンツ送信装置、及びコンテンツ受信装置は、あらゆる通信機器に利用可能であり、パケットロスト耐性が高く、かつ消費電力を抑えることができるので、例えば、監視カメラや携帯端末等の家庭用の家電間の映像通信手段として有用である。また、コンテンツ送信装置をデジタル地上波放送等のTV放送の中継器として用いることもでき、TV放送の電波が届きにくい場所にコンテンツ受信装置を持ち込んでも、映像が途切れることが少なく、良好な受信環境が得られる。その上、消費電力が抑えられているので、携帯端末の電池寿命が延び、軽量化にも適している。
100  コンテンツ送信装置
101  時刻制御部
102  コンテンツ入手部
103  出力待機時間格納部
104  メインストリーム生成部
105  メイン送信部
106  メイン送信アンテナ
107  リカバリ送信遅延時間格納部
108  リカバリストリーム生成部
109  リカバリ送信部
110  リカバリ送信アンテナ
111  メインエンコード部
112  メイン蓄積部
113  メイン多重化部
114  メイン基準格納部
121  リカバリエンコード部
122  リカバリ蓄積部
123  リカバリ多重化部
124  リカバリ基準格納部
125  PID格納部
126  収集時間格納部
200  コンテンツ受信装置
201  メインパケット受信部
202  メインアンテナ
203  メインデコード部
204  リカバリ制御部
205  リカバリパケット受信部
206  リカバリアンテナ
207  リカバリデコード部
208  時刻制御部
209  出力待機用バッファ
210  表示制御部
211  リカバリオーバーヘッド格納部
212  リカバリ電力制御部
213  リカバリ時刻情報蓄積キュー格納部
214  メインオーバーヘッド格納部
215  メイン電力制御部
216  復帰時刻情報蓄積キュー格納部
217  PID格納部
218  復帰可能時刻情報蓄積キュー格納部
219  リカバリ予約情報蓄積キュー格納部
220  メインピクチャ一時蓄積部
221  リカバリピクチャ一時蓄積部
222  再生タイミング制御部
300  伝送路
400  表示部

Claims (13)

  1.  送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置であって、
     第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信部と、
     前記所定の単位毎に、第1受信部により前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御部と、
     リカバリ制御部より前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御部により判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信部と、
     正常に受信することができなかったとリカバリ制御部により判断された場合に、前記第2受信部により受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御部により判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信部により受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御部とを備えることを特徴とする、コンテンツ受信装置。
  2.  前記リカバリ制御部は、
     前記所定の単位の第1ストリームを正常に受信することができたと判断した場合に、前記第2ストリームの受信処理を実行する構成部分、及び、前記第2コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないことを特徴とする、請求項1に記載のコンテンツ受信装置。
  3.  前記リカバリ制御部は、
     前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、前記第1ストリームを受信する処理を再開できるタイミングまで、前記第1ストリームの受信処理を実行する構成部分、及び、当該第1コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないことを特徴とする、請求項1に記載のコンテンツ受信装置。
  4.  前記リカバリ制御部は、
     前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、当該所定の単位の第1ストリームに基づいて再生されるコンテンツに相当する代替表示用のコンテンツを再生するために、参照画像のコンテンツデータが必要とされるときには、当該必要とされる参照画像のコンテンツデータを含む所定の単位の第2ストリームから受信を開始することを特徴とする、請求項1に記載のコンテンツ受信装置。
  5.  前記第2ストリームは、前記第1ストリームよりも伝送耐性が強いことを特徴とする、請求項1に記載のコンテンツ受信装置。
  6.  コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置であって、
     第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成部と、
     前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信部とを備える、コンテンツ送信装置。
  7.  前記ストリーム生成部は、
     前記第1ストリームを生成する第1生成部と、
     前記第2ストリームを生成する第2生成部と、
     前記第2ストリームのデータを送出する前に送出する冗長データの区間を示す送信遅延時間情報を予め格納する送信遅延時間格納部とを含み、
     前記送信部は、
     前記第1ストリームを送出する第1送出部と、
     前記第2ストリームを送出する第2送出部とを含み、、
     前記第2生成部は、
     前記送信遅延時間格納部に格納されている送信遅延時間情報により示される区間の冗長データを、前記第2送出部へ送出して、第2ストリームの送出を待機させた後で、当該第2送出部へ渡すことによって、第2ストリームの送出を第1ストリームよりも相対的に遅らせることを特徴とする、請求項6に記載のコンテンツ送信装置。
  8.  前記第1生成部は、さらに、
     パケットロストした場合に、いつまで第1ストリームの受信を中断することができるかを示す時刻を特定する復帰受信時刻情報を、パケット毎に対応付けて生成し、
     前記第2生成部は、さらに、
     パケットロストした場合に、前記第2ストリームの受信を開始させる時刻を特定する受信時刻情報を、パケット毎に対応付けて生成し、
     前記第1送出部は、
     前記第1生成部により生成された復帰受信時刻情報、及び前記第2生成部により生成された受信時刻情報を、前記第1ストリームとともに送出することを特徴とする、請求項7に記載のコンテンツ送信装置。
  9.  前記第2生成部は、前記第1生成部により生成される前記第1ストリームよりも、伝送耐性が強い第2ストリームを生成することを特徴とする、請求項7に記載のコンテンツ送信装置。
  10.  送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置において実行されるコンテンツ受信プログラムであって、
     前記コンテンツ受信装置に、
     第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、
     前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、
     リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、
     正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを実行させることを特徴とする、コンピュータ読み取り可能なコンテンツ受信プログラム。
  11.  コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置において実行されるコンテンツ受信プログラムであって、
     前記コンテンツ送信装置に、
     第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、
     前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを実行させることを特徴とする、コンピュータ読み取り可能なコンテンツ送信プログラム。
  12.  送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信方法であって、
     第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、
     前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、
     リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、
     正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを含むことを特徴とする、コンテンツ受信方法。
  13.  コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信方法であって、
     第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、
     前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを含むことを特徴とする、コンテンツ送信方法。
PCT/JP2010/002789 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 WO2011030477A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011530728A JP5456784B2 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
US13/392,204 US20120173668A1 (en) 2009-09-11 2010-04-16 Content transmitting apparatus, content receiving apparatus, content transmission program, content reception program, content transmitting method, and content receiving method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-210804 2009-09-11
JP2009210804 2009-09-11

Publications (1)

Publication Number Publication Date
WO2011030477A1 true WO2011030477A1 (ja) 2011-03-17

Family

ID=43732161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002789 WO2011030477A1 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法

Country Status (3)

Country Link
US (1) US20120173668A1 (ja)
JP (1) JP5456784B2 (ja)
WO (1) WO2011030477A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199704A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd 携帯端末装置および画像補正プログラム
JP2013239836A (ja) * 2012-05-14 2013-11-28 Sharp Corp マルチメディア放送受信装置及びプログラム
JP2016533596A (ja) * 2013-09-14 2016-10-27 クアルコム,インコーポレイテッド 様々な配信方法を使用するマルチメディアブロードキャスト/マルチキャストサービスネットワークにおける配信サービス
WO2017061428A1 (ja) * 2015-10-06 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
JP2018082241A (ja) * 2016-11-14 2018-05-24 日本電信電話株式会社 動画再生装置、動画再生方法及びプログラム
JP2020010356A (ja) * 2013-10-31 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542250B2 (en) * 2012-09-07 2017-01-10 International Business Machines Corporation Distributed maintenance mode control
US10079642B2 (en) 2013-01-02 2018-09-18 Renesas Electronics America Inc. Transporting multiple low-speed data streams across a high-speed communication link
US10256920B2 (en) 2015-01-25 2019-04-09 Valens Semiconductor Ltd. Mode-conversion digital canceller for high bandwidth differential signaling
US10171182B2 (en) 2015-01-25 2019-01-01 Valens Semiconductor Ltd. Sending known data to support fast convergence
EP3293931A1 (en) 2015-01-25 2018-03-14 Valens Semiconductor Ltd. Transceiver and method for fast recovery from quality degradation
US10827043B2 (en) * 2018-04-04 2020-11-03 Hall Labs Llc Normalization of communication between devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332665A (ja) * 1999-05-20 2000-11-30 Toyota Motor Corp ダイバーシチ受信装置およびダイバーシチ受信方法
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021900A (ja) * 2007-07-13 2009-01-29 Panasonic Corp サイマル放送受信装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004029551D1 (de) * 2003-01-28 2010-11-25 Thomson Licensing Staggercasting im robusten modus
US7810124B2 (en) * 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
US8027381B2 (en) * 2003-01-28 2011-09-27 Thomson Licensing Robust mode staggercasting user controlled switching modes
US20060082474A1 (en) * 2003-01-28 2006-04-20 Cooper Jeffrey A Robust mode staggercasting with multiple delays for multi-resolution signals
JP2007036815A (ja) * 2005-07-28 2007-02-08 Denso Corp 移動体用デジタル放送受信装置及びプログラム
US7796598B2 (en) * 2006-04-03 2010-09-14 Cisco Technology, Inc. Synchronizing redundant video streams encapsulated in IP/UDP packets
WO2008013528A1 (en) * 2006-07-25 2008-01-31 Thomson Licensing Recovery from burst packet loss in internet protocol based wireless networks using staggercasting and cross-packet forward error correction
US8290060B2 (en) * 2007-08-21 2012-10-16 Limberg Allen Leroy Staggercasting of DTV signals that employ concatenated convolutional coding
BRPI0815735A2 (pt) * 2007-08-28 2019-09-24 Thomson Licensing difusão alternada sem retardo durante a troca entre canais.
US20100254489A1 (en) * 2007-11-14 2010-10-07 Thomson Licensing Code enhanced staggercasting
EP2266237A1 (en) * 2008-04-11 2010-12-29 Thomson Licensing Staggercasting with temporal scalability
US7953883B2 (en) * 2009-01-27 2011-05-31 Cisco Technology, Inc. Failover mechanism for real-time packet streaming sessions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332665A (ja) * 1999-05-20 2000-11-30 Toyota Motor Corp ダイバーシチ受信装置およびダイバーシチ受信方法
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021900A (ja) * 2007-07-13 2009-01-29 Panasonic Corp サイマル放送受信装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199704A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd 携帯端末装置および画像補正プログラム
JP2013239836A (ja) * 2012-05-14 2013-11-28 Sharp Corp マルチメディア放送受信装置及びプログラム
JP2016533596A (ja) * 2013-09-14 2016-10-27 クアルコム,インコーポレイテッド 様々な配信方法を使用するマルチメディアブロードキャスト/マルチキャストサービスネットワークにおける配信サービス
JP2020010356A (ja) * 2013-10-31 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 方法
WO2017061428A1 (ja) * 2015-10-06 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
JPWO2017061428A1 (ja) * 2015-10-06 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
US11265595B2 (en) 2015-10-06 2022-03-01 Sony Interactive Entertainment Inc. Communication system, transmission apparatus, reception apparatus, communication system control method, and program
JP2018082241A (ja) * 2016-11-14 2018-05-24 日本電信電話株式会社 動画再生装置、動画再生方法及びプログラム

Also Published As

Publication number Publication date
JP5456784B2 (ja) 2014-04-02
JPWO2011030477A1 (ja) 2013-02-04
US20120173668A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5456784B2 (ja) コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
JP4533888B2 (ja) 携帯機器による音声映像受信のためのデータストリーム形式の処理
US20150074708A1 (en) Anticipatory video signal reception and processing
US20120147262A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, receiving method, and transmitting and receiving system
JP2008517536A (ja) チャンネル間変更の高速化
JP2006115264A (ja) デジタル放送の送出装置、受信装置およびデジタル放送システム
JP4891595B2 (ja) 移動式テレビジョン受信機
WO2001060057A1 (en) Receiving terminal device and control method therefor
US20120027377A1 (en) Playback apparatus and program content transmitting and receiving system
JP2006345169A (ja) デジタルテレビ受信端末装置
US20120019719A1 (en) Digital television broadcasting reproduction device and reproduction method therefor
JP5271544B2 (ja) デジタル放送受信装置、および、デジタル放送受信方法
JP2006345303A (ja) ディジタル放送受信装置
US8035743B2 (en) Method for processing data in a terminal with digital broadcasting receiver
JP4866135B2 (ja) 画像処理装置及び画像処理方法
JP2005117226A (ja) デジタル放送受信装置及びチャネル情報取得方法
US20100329354A1 (en) Systems and methods for achieving optimal digital video channel change performance
JP2010258489A (ja) 映像表示装置、受信装置、送受信システム、及び映像表示方法
JP3548113B2 (ja) 受信装置及び画像再生方法
JP2009141615A (ja) 受信装置および受信方法
JP5127112B2 (ja) ディジタル放送受信装置
JP2008167251A (ja) コンテンツ再生装置、及びコンテンツ案内方法
JP2001309255A (ja) デジタルテレビ放送受信機
JP2015511458A (ja) 複数の代替伝送経路を迅速に切り替える方法
JP4781690B2 (ja) 移動型放送受信装置、移動型放送受信装置の放送受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10815081

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13392204

Country of ref document: US

Ref document number: 2011530728

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10815081

Country of ref document: EP

Kind code of ref document: A1