JP5456784B2 - コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 - Google Patents

コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 Download PDF

Info

Publication number
JP5456784B2
JP5456784B2 JP2011530728A JP2011530728A JP5456784B2 JP 5456784 B2 JP5456784 B2 JP 5456784B2 JP 2011530728 A JP2011530728 A JP 2011530728A JP 2011530728 A JP2011530728 A JP 2011530728A JP 5456784 B2 JP5456784 B2 JP 5456784B2
Authority
JP
Japan
Prior art keywords
stream
content
reception
packet
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011530728A
Other languages
English (en)
Other versions
JPWO2011030477A1 (ja
Inventor
伸輔 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011530728A priority Critical patent/JP5456784B2/ja
Publication of JPWO2011030477A1 publication Critical patent/JPWO2011030477A1/ja
Application granted granted Critical
Publication of JP5456784B2 publication Critical patent/JP5456784B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18Arrangements for synchronising broadcast or distribution via plural systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/20Arrangements for broadcast or distribution of identical information via plural systems
    • H04H20/22Arrangements for broadcast of identical information via plural broadcast systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/26Arrangements for switching distribution systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/42Arrangements for resource management
    • H04H20/426Receiver side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/11Arrangements for counter-measures when a portion of broadcast information is unavailable
    • H04H60/12Arrangements for counter-measures when a portion of broadcast information is unavailable wherein another information is substituted for the portion of broadcast information
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Description

本発明は、コンテンツを送受信するシステムに関し、より特定的には、パケットロスト耐性を高めるための技術に関する。
近年、地上波アナログ放送の終了が予定されていることもあり、地上波デジタル放送を受信できるデジタルテレビの普及が目覚ましい。
地上波デジタル放送の伝送方式においては、原理的に信号の劣化がほとんどないので、基本的に受信環境に因らずに高画質の映像を再生することができる、しかしながら、伝送中に電波障害等により部分的に受信状態が悪くなるような事態が生じると、アナログでは映像にノイズが入る程度の障害であったものが、デジタルではパケットロストが生じて、画面の一部が表示されなかったり、数秒間に渡ってブラックアウトするという問題がある。そのために、パケットロスト耐性を高めるための様々な提案がなされている。
パケットロスト耐性を高めた従来のコンテンツ受信装置の一つとして、地上波デジタル放送用チューナを複数備え、それぞれに並列に、同系列の異なる周波数の放送を受信させて映像データの生成処理を実行させておき、一つのチューナが受信する放送により生成される映像データの表示中に、放送を取得し損ねて映像データの生成に失敗した場合に、他のチューナが受信する放送により生成されている映像データに、途切れなくスムーズに切り替えることを特徴とするデジタル放送受信装置が特許文献1に開示されている。
特開2006−166035号公報
しかしながら、例えば雷等の強力な電波障害により1つのチューナの受信状態が悪くなったときには、他のチューナの受信状態も同時に悪くなると考えられるため、上記特許文献1に記載のデジタル放送受信装置では、車載の受信装置の移動により放送局を切り替えるような場合や、電波障害の程度が比較的軽い場合には、映像データを切途切れなくスムーズに切り替えることが可能かもしれないが、電波障害の程度が比較的重い場合には、同じタイミングで他のチューナも受信に失敗してしまうので、映像データを切り替えることができない。
また、前記特許文献1に記載の構成では、いつ映像データの生成に失敗しても、途切れなくスムーズに映像データの切り替えができるように、パケットロストの有無にかかわらず、常に複数のチューナを並列に稼動し続け、複数の映像データの生成処理を実行し続ける必要があり、電力の消費量が大きいという問題がある。
それ故に、本発明は、第1に、複数のストリームの受信状態が同時に悪くなったとしても、代替表示用のコンテンツに切り替えることが可能であり、また、第2に、前記特許文献1のように、複数のチューナを常に並列に稼動し続けたり、映像データ等の複数のコンテンツの生成処理を常に並列に実行し続けることなく、消費電力を抑えつつ、パケットロスト耐性を高めたコンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法を提供することを目的とする。
本発明は、コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法に向けられている。そして上記課題を解決するために、本発明のコンテンツ受信装置は、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置であって、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信部と、前記所定の単位毎に、第1受信部により前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御部と、リカバリ制御部より前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御部により判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信部と、正常に受信することができなかったとリカバリ制御部により判断された場合に、前記第2受信部により受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御部により判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信部により受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御部とを備える。
好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができたと判断した場合に、前記第2ストリームの受信処理を実行する構成部分、及び、前記第2コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないようにするとよい。
好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、前記第1ストリームを受信する処理を再開できるタイミングまで、前記第1ストリームの受信処理を実行する構成部分、及び、当該第1コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないようにするとよい。
好ましくは、前記リカバリ制御部は、前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、当該所定の単位の第1ストリームに基づいて再生されるコンテンツに相当する代替表示用のコンテンツを再生するために、参照画像のコンテンツデータが必要とされるときには、当該必要とされる参照画像のコンテンツデータを含む所定の単位の第2ストリームから受信を開始するとよい。
好ましくは、前記第2ストリームは、前記第1ストリームよりも伝送耐性を強くするとよい。
また上記課題を解決するために、本発明のコンテンツ送信装置は、コンテンツを再生する基となるコンテンツデータを含むストリームをコンテンツ受信装置へ向けて送出するコンテンツ送信装置であって、第1コンテンツデータを含む第1ストリームを生成するとともに当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む代替表示用の第2ストリームを生成するストリーム生成部と、前記第1ストリームを送出するとともに前記コンテンツ受信装置により所定の単位の第1ストリームが正常に受信されない場合に当該コンテンツ受信装置において正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように前記第2ストリームを当該第1ストリームよりも相対的に遅らせて送信する送信部とを備える。
好ましくは、前記ストリーム生成部は、前記第1ストリームを生成する第1生成部と、前記第2ストリームを生成する第2生成部と、前記第2ストリームのデータを送出する前に送出する冗長データの区間を示す送信遅延時間情報を予め格納する送信遅延時間格納部とを含み、前記送信部は、前記第1ストリームを送出する第1送出部と、前記第2ストリームを送出する第2送出部とを含み、前記第2生成部は、前記送信遅延時間格納部に格納されている送信遅延時間情報により示される区間の冗長データを前記第2送出部へ送出して第2ストリームの送出を待機させた後で当該第2送出部へ渡すことによって第2ストリームの送出を第1ストリームよりも相対的に遅らせるとよい。
好ましくは、前記第1生成部は、さらに、パケットロストした場合にいつまで第1ストリームの受信を中断することができるかを示す時刻を特定する復帰受信時刻情報をパケット毎に対応付けて生成し、前記第2生成部は、さらに、パケットロストした場合に前記第2ストリームの受信を開始させる時刻を特定する受信時刻情報をパケット毎に対応付けて生成し、前記第1送出部は、前記第1生成部により生成された復帰受信時刻情報及び前記第2生成部により生成された受信時刻情報を前記第1ストリームとともに送出するとよい。
好ましくは、前記第2生成部は、前記第1生成部により生成される前記第1ストリームよりも伝送耐性が強い第2ストリームを生成するとよい。
また上記課題を解決するために、本発明のコンテンツ受信プログラムは、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置において実行されるコンテンツ受信プログラムであって、前記コンテンツ受信装置に、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを実行させる。
また上記課題を解決するために、本発明のコンテンツ送信プログラムは、コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置において実行されるコンテンツ送信プログラムであって、前記コンテンツ送信装置に、第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを実行させる。
また上記課題を解決するために、本発明のコンテンツ受信方法は、送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信方法であって、第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップとを含む。
また上記課題を解決するために、本発明のコンテンツ送信方法は、コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信方法であって、第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成ステップと、前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを含む。
以上のように、本発明においては、コンテンツ送信装置が、第1コンテンツデータを含む第1ストリームを生成して放送するとともに、第2コンテンツデータを含む代替表示用の第2ストリームを、第1ストリームよりも相対的に遅らせて放送しておき、コンテンツ受信装置が、第1ストリームの受信に成功し第1コンテンツデータを正常に抽出することができている間は第2ストリームの受信処理、及び第2ストリームに基づいたコンテンツの再生処理を行わず、第1コンテンツデータを正常に抽出することができない時にだけ第2ストリームの受信を開始して、正常に抽出することができない第1コンテンツデータに相当する第2コンテンツデータを抽出して、これを用いてコンテンツを再生する。このような構成によれば、通常表示用第1ストリームと代替表示用の第2ストリームとの両方の受信状態が同時に悪くなったとしても、代替表示用のコンテンツに切り替えることが可能である。また、切り替える必要がない時には、第2ストリームの受信処理も第2ストリームに基づいたコンテンツの生成処理も実行させる必要がないので、2つのチューナを常に並列に稼動し続け、複数のコンテンツの生成処理を実行し続けるような装置に較べ、大幅に消費電力を抑えることができる。
また、リカバリの最中において、第1コンテンツデータの抽出を再開できるタイミングまで、第1ストリームの受信処理、及び、第1ストリームに基づいたコンテンツの生成処理を休止させることにより、さらに消費電力を抑えることができる。
また、第2ストリームの伝送耐性を第1ストリームよりも強くしておくことにより、第1ストリームの受信が頻繁に失敗するような厳しい受信環境であっても、画面の一部が表示されなかったり、画面全体がブラックアウトするというような事態を、効率よく回避することが期待できる。
図1は、本発明に係るコンテンツ送受信システム10の構成の概要を示す図である。 図2は、メインストリーム生成部104、及びリカバリストリーム生成部108の詳細な概要を示す図である。 図3は、復帰受信時刻情報の構造の一例を示す図である。 図4は、リカバリ受信時刻情報の構造の一例を示す図である。 図5は、リカバリ制御部204の詳細な構成を示す図である。 図6は、送受信、及び再生のタイミングを概略的に示す図である。 図7は、送受信、及び再生のタイミングを概略的に示す図である。 図8は、コンテンツ送信装置100におけるメインストリームの送信動作の手順を示す図である。 図9は、コンテンツ送信装置100におけるリカバリストリームの送信動作の手順を示す図である。 図10は、コンテンツ受信装置200における電源制御動作の手順を示す図である。 図11は、コンテンツ受信装置200におけるメインストリームの受信動作の手順を示す図である。 図12は、コンテンツ受信装置200におけるリカバリストリームの受信動作の手順を示す図である。
[第1の実施形態]
<概要>
本実施形態は、コンテンツを送受信するシステムであって、送信側が、主たる受信対象であるメインストリームと、メインストリームよりも相対的に遅れて代替表示用のリカバリストリームとを送出し、受信側が、メインストリームから通常表示用のコンテンツデータを抽出してコンテンツを再生する際に、所定の単位の、コンテンツデータの抽出に失敗したことが判明した後に、相対的に遅れて放送されているリカバリストリームの受信を開始し、抽出に失敗した通常表示用のコンテンツデータに相当する代替表示用のコンテンツデータを抽出してコンテンツを再生する。これにより、複数のストリームの受信状態が同時に悪くなったとしても、提示対象が略同一である代替表示用のコンテンツに切り替えることを可能にする。また、受信側は、メインストリームから通常表示用のコンテンツデータが正常に抽出されるときには、消費電力を抑えるために、リカバリストリームの受信処理を行わない。また、受信側は、メインストリームから通常表示用のコンテンツデータが正常に抽出されないときには、さらに消費電力を抑えるために、通常表示用のコンテンツデータの抽出を再開できるタイミングまで、メインストリームの受信処理を行わない。
<構成>
図1は、本発明に係るコンテンツ送受信システム10の構成の概要を示す図である。
コンテンツ送受信システム10は、図1に示すように、コンテンツ送信装置100、コンテンツ受信装置200、伝送路300、及び表示部400からなり、コンテンツ送信装置100から放送されるストリームを、伝送路300を介してコンテンツ受信装置200が受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生し、表示部400に表示させる。
コンテンツ送信装置100は、時刻制御部101、コンテンツ入手部102、出力待機時間格納部103、メインストリーム生成部104、メインパケット送信部105、メイン送信アンテナ106、リカバリパケット送信遅延時間格納部107、リカバリストリーム生成部108、リカバリパケット送信部109、及びリカバリ送信アンテナ110を備え、MPEG2エンコード処理を施した通常表示用のコンテンツデータと、H.264エンコード処理を施した代替表示用のコンテンツデータとの2種類のエンコード済みコンテンツデータを生成した後、通常表示用のコンテンツデータをメインストリームに含ませて送出し、また、代替表示用のコンテンツデータをリカバリストリームに含ませて、メインストリームよりも相対的に遅らせて送出する。
コンテンツ受信装置200は、メインパケット受信部201、メインアンテナ202、メインデコード部203、リカバリ制御部204、リカバリパケット受信部205、リカバリアンテナ206、リカバリデコード部207、時刻制御部208、出力待機用バッファ209、及び表示制御部210を備え、コンテンツ送信装置100により送出されたメインストリームとリカバリストリームとを受信し、当該メインストリーム、及びリカバリストリームからコンテンツデータを抽出し、コンテンツを再生して出力する。
伝送路300は、コンテンツ送信装置100から放送されるストリームをコンテンツ受信装置200まで伝達する電波を伝える空間、あるいは光ケーブル等の伝達媒体である。
時刻制御部101は、コンテンツ送信装置100における現在時刻を制御、管理し、各構成要素において動作タイミングを決める際の基準とされる。
コンテンツ入手部102は、撮影等によって映像データ等のコンテンツデータを生成するか、あるいは、送出すべきコンテンツデータそのものを外部から入手する。ここで、コンテンツ入手部102が、リアルタイムで映像を撮影するか、順次映像データをリアルタイムで入手するような場合において、入手した映像データのフレーム毎にPTS(Presentation Time Stamp)を付与する。ここで付与されるPTSの値は、時刻制御部101により管理される現在時刻の値に出力遅延値を加えた値である。このように、時刻制御部101により管理されるコンテンツ送信装置100側の現在時刻を基準にした値をPTSとして各ピクチャデータに付与することにより、コンテンツ受信装置200側においてこれらのPTSを参照し、入手された映像データの順序通りの連続的な映像を出力することができる。
また、ここで出力遅延値とは、「(コンテンツ送信装置100側においてコンテンツデータを取得してから、コンテンツ受信装置200側において映像を表示するまでにかかる遅延時間の最大見積もり値) + (出力待機時間格納部103に格納される値)」として定義される。
また、ここで、「コンテンツ送信装置100側においてコンテンツデータを取得してから、コンテンツ受信装置200側において映像を表示するまでにかかる遅延時間の最大見積もり値」とは、エンコード処理、多重化処理、無線伝送処理、多重化分離処理、及びデコード処理などにかかる時間の積算値である。
出力待機時間格納部103は、コンテンツ受信装置200において、リカバリが必要になったときにタイミングが合うように、メインコンテンツを予め遅らせて再生する際の待機しなければならない時間、例えばコンテンツデータを取得してから再生するまでの待機時間を示す再生待機時間情報を予め格納している。
メインストリーム生成部104は、コンテンツ入手部102からコンテンツデータを取得して、これにMPEG2エンコード処理を施してメインストリームを生成し、MPEG2−TSに多重化する。
メインパケット送信部105は、メインストリーム生成部104により生成されるメインストリームを、メイン送信アンテナ106を用いて伝送路300へ送出する。
リカバリパケット送信遅延時間格納部107は、コンテンツ送信装置100において、リカバリストリームを、メインストリームよりも相対的に遅らせて送出するために、リカバリストリームのデータを送出する前に送出する冗長データの区間を示すリカバリ送信遅延時間情報を予め格納している。
リカバリストリーム生成部108は、コンテンツ入手部102からコンテンツデータを取得して、これにH.264エンコード処理を施してリカバリストリームを生成する。
リカバリパケット送信部109は、リカバリストリーム生成部108により生成されるリカバリストリームを、リカバリ送信アンテナ110を用いて伝送路300へ送出する。
ここで、リカバリストリーム生成部108は、リカバリパケット送信遅延時間格納部107に格納されているリカバリ送信遅延時間情報により示される区間の冗長データを送出して、生成したリカバリストリームの送出を待機させた後で、リカバリパケット送信部109へ渡すことによって、リカバリストリームの送出をメインストリームよりも相対的に遅らせる。
図2は、メインストリーム生成部104、及びリカバリストリーム生成部108の詳細な概要を示す図である。
メインストリーム生成部104は、メインエンコード部111、メイン蓄積部112、メイン多重化部113、メイン基準格納部114を含み、リカバリストリーム生成部108は、リカバリエンコード部121、リカバリ蓄積部122、リカバリ多重化部123、リカバリ基準格納部124、PID格納部125、及び収集時間格納部126を含む。
メインエンコード部111は、コンテンツ入手部102により入手されたコンテンツデータにMPEG2エンコード処理を施し、MPEG2エンコード処理されたデータのフレーム毎にPTSを付与して、その全てをメイン蓄積部112へ渡して格納させ、また、MPEG2エンコードされたコンテンツデータ中の基準フレームのPTSを、メイン基準格納部114へ渡して格納させる。なお、本実施の形態では、各フレームの特定に、コンテンツを再生すべき実際の時刻を示すPTSを用いているが、これに限られるものではなく、各フレームを特定でき、かつメインパケットとリカバリパケットとの対応関係が認識できる情報であれば他の情報でもよい。例えば、各フレームの特定に、先頭のフレームの再生時刻等を基準とした各フレームを再生すべき時刻までの相対的な時間を示す情報であってもよい。
さらに、メインエンコード部111は、パケット毎に、次の基準フレームのPTSを取得し、これを基準にして、コンテンツ受信装置200がメインストリームの受信を中断した後に受信再開するためのタイミングを示す復帰受信時刻情報を、パケット毎に対応付けて生成し、メイン基準格納部114へ渡して格納させる。ここで復帰受信時刻情報によれば、「パケットロストした場合に、いつまでメインストリームの受信を中断することができるかを示す時刻」を知ることができる。
図3は、復帰受信時刻情報の構造の一例を示す図である。
図3に示す復帰受信時刻情報においては、各フレームに対して「エンコード済みデータとその次のエンコード済みデータとのPTSの差を示す復帰オフセット501」が対応付けられている。
なお、本実施の形態では復帰受信時刻情報を図3のような構造にしているが、同様の効果が得られる情報であれば、必ずしもこのような構造の情報でなくてもよい。
ここで、本実施の形態においては、エンコード済みデータに付加されたPTSと、当該エンコード済みデータが伝送される実際の時刻とが同期している。また、実際の時刻は後述するコンテンツ受信装置200の内部時刻とも同期している。つまり、エンコード済みデータに付加されたPTSと「コンテンツ受信装置200の内部時刻」とが同期する。従って、当該復帰受信時刻に含まれる復帰オフセットと、コンテンツ受信装置200の内部時刻とから、当該基準フレームの次の基準フレームを受信する「コンテンツ受信装置200の内部時刻」を求めることができる。つまり、復帰受信時刻情報を参照することで、当該基準フレームから次の基準フレームまでのいずれかのエンコード済みデータが欠落した場合において、欠落したデータの次の基準フレームを受信する「コンテンツ受信装置200の内部時刻」を求めることができる。即ち、帰受信時刻情報を基準フレームの直前に多重化することで、コンテンツ受信装置200においてMPEG2エンコード済みデータのパケットを取得できなかった場合に、次の基準フレームまでの不要なMPEG2エンコード済みデータを受信することを避けつつ、次の基準フレームを受信することが可能となる。
なお、本実施の形態ではコンテンツデータのPTSと実際のコンテンツデータの伝送タイミングとを同期させているが、これはPTSから実際の伝送タイミングへの変換を容易にするための一例に過ぎない。従って、コンテンツデータのPTSと実際のコンテンツデータの伝送タイミングとを同期させずに、直接目的のコンテンツデータが伝送されるタイミングを復帰受信時刻情報及びリカバリ受信時刻情報の一部として重畳してもよい。
メイン蓄積部112は、メインエンコード部111によりMPEG2エンコード処理されたメインコンテンツを蓄積する。
メイン多重化部113は、一定時間毎に処理を開始し、メイン蓄積部112に蓄積されたMPEG2エンコードが施されたコンテンツデータを取得し、メインストリームとしてMPEG2−TSに多重化する。
メイン基準格納部114は、メインエンコード部111により生成された復帰受信時刻情報を格納するとともに、メインエンコード部111からメインストリームにおける基準フレームのPTSを受け取って蓄積する。
リカバリエンコード部121は、コンテンツ入手部102により入手されたコンテンツデータにH.264エンコード処理を施し、H.264エンコード処理されたコンテンツデータの全てをリカバリ蓄積部122へ渡して蓄積させ、また、H.264エンコード処理されたコンテンツデータ中の基準フレームのPTSを、リカバリ基準格納部124へ渡して格納させる。
さらに、リカバリエンコード部121は、パケット毎に、リカバリストリームにおける基準フレームのPTSを取得し、これを基準にして、コンテンツ受信装置200がリカバリストリームの受信を開始するタイミングを示すリカバリ受信時刻情報を、パケット毎に対応付けて生成し、リカバリ基準格納部124へ渡して格納させる。ここでリカバリ受信時刻情報によれば、「パケットロストした場合に、リカバリストリームの受信を開始させる時刻」を知ることができる。
図4は、リカバリ受信時刻情報の構造の一例を示す図である。
図4に示すように、リカバリ受信時刻情報においては、各フレームに対して「リカバリストリームにおける特定基準フレームのPTS(リカバリ開始PTS601)」、「特定基準フレームの次の、基準フレームのPTS(リカバリ終了PTS602)」、及び「リカバリ受信時刻情報を受信してから特定基準フレームをリカバリストリームから受信開始するまでの時間(リカバリ開始オフセット603)」が対応付けられている。
なお、本実施の形態ではリカバリ受信時刻情報を図4のような構造にしているが、同様の効果が得られる情報であれば、必ずしもこのような構造の情報でなくてもよい。
コンテンツ受信装置200において、リカバリ受信時刻情報を取得すると、コンテンツ受信装置200内部の時刻とリカバリ開始オフセットから、基準フレームを受信開始するリカバリ受信開始時刻を求め、リカバリ開始PTSとリカバリ終了PTSとの間のPTSを持つデータが欠落した場合、リカバリストリームから特定基準フレームを受信することで、欠落したデータの代替データを取得できる。即ち、メインストリームにおいて、リカバリ開始PTSとリカバリ終了PTSとの間のPTSを持つデータが欠落した場合には、リカバリ受信開始時刻からリカバリストリームの受信を開始することで、特定基準フレームを受信し、欠落したデータの代替データをリカバリストリームから取得することができる。
リカバリ蓄積部122は、リカバリエンコード部121によりH.264エンコード処理されたコンテンツデータを蓄積する。
リカバリ多重化部123は、一定時間毎に処理を開始し、リカバリ蓄積部122に蓄積されたH.264エンコードが施されたコンテンツデータを取得し、リカバリストリームとして多重化する。
リカバリ基準格納部124は、リカバリエンコード部121により生成されたリカバリ受信時刻情報を格納するとともに、リカバリエンコード部121からリカバリストリームにおける基準フレームのPTSを受け取って蓄積する。
PID格納部125は、復帰受信時刻情報を識別するメイン復帰−PID値(PIDは、Packet IDの略で、パケット識別子の意)と、リカバリ受信時刻情報を識別するリカバリ−PID値とを予め格納している。
収集時間格納部126は、一定区間のメインストリームの、基準フレームのPTS、及び一定区間のリカバリストリームの、基準フレームのPTSを蓄積するために、バッファに蓄積するエンコード済みコンテンツデータのPTSの範囲を示す基準FR情報収集時間を予め格納している。
またメイン多重化部113は、さらに、メイン基準格納部114に格納されたメインストリームにおける基準フレームのPTS、メイン基準格納部114に格納された復帰受信時刻情報、リカバリ基準格納部124に格納されたリカバリストリームにおける基準フレームのPTS、及びリカバリ基準格納部124に格納されたリカバリ受信時刻情報を、自装置の内部パラメータの一部としてメインストリームに含ませて送出する。
ここで復帰受信時刻情報をMPEG2−TSとして多重化する際、PID格納部125に格納されたメイン復帰−PID値を取得して、多重化するMPEG2−TSのPIDとする。また、リカバリ受信時刻情報をMPEG2−TSとして多重化する際、PID格納部125に格納されたリカバリ−PID値を取得して、多重化するMPEG2−TSのPIDとする。
メインパケット受信部201は、メインアンテナ202を用いて、一定時間毎にメインストリームのパケットを受信し、受信されたメインストリームのパケットからコンテンツデータを抽出する。ここで受信したメインストリームのパケットにPCR情報(Program Clock Reference)が含まれているときには、メインパケット受信部201は当該PCR情報を抽出して時刻制御部208へ渡す。また受信したメインストリームのパケットにMPEG2エンコード処理が施されたコンテンツデータが含まれているときには、メインパケット受信部201は当該コンテンツデータを抽出してメインデコード部203へ渡す。また受信したメインストリームのパケットにメインストリームの受信タイミングを示す復帰受信時刻情報が含まれているときには、メインパケット受信部201は当該復帰受信時刻情報を抽出して、コンテンツ受信装置200の時間軸に変換した実復帰受信時刻情報を、リカバリ制御部204のメイン電力制御部215へ渡す。また受信したメインストリームのパケットにリカバリストリームの受信タイミングを示すリカバリ受信時刻情報が含まれているときには、メインパケット受信部201は当該リカバリ受信時刻情報を抽出して、コンテンツ受信装置200の時間軸に変換した実リカバリ受信時刻情報を、リカバリ制御部204のリカバリ電力制御部212へ出力する。
メインアンテナ202は、メイン送信アンテナ106により伝送路300へ送出されたメインストリームを受信する。
メインデコード部203は、メインパケット受信部201からメインストリームのMPEG2エンコード済みデータを受け取り、所定の単位で順次、当該MPEG2エンコード済みデータをMPEG2デコードして、通常表示用のコンテンツデータを生成し、出力待機用バッファ209に一旦蓄積して表示のタイミングを遅延させて、表示制御部210に渡す。
リカバリ制御部204は、所定の単位毎に、メインパケット受信部201により、所定の単位のメインストリームが受信できるか否かを判断する。ここでは、メインストリームのパケットが正常に受信できるか否かを判断する。所定の単位のメインストリームを正常に受信することができないと判断された場合には、リカバリ制御部204は、当該所定の単位のメインストリームに相当する、所定の単位のリカバリストリームの受信タイミングを、メインストリームに多重された情報に基づいて判断して、当該受信タイミングにおいてのみ、リカバリストリームの受信、及び再生に関わる構成要素に電力を投入して、リカバリストリームの受信を開始させる。
リカバリパケット受信部205は、リカバリアンテナ206を用いてリカバリストリームを受信し、受信されたリカバリストリームからH.264エンコード済みデータを抽出して、リカバリデコード部207へ渡す。
リカバリアンテナ206は、リカバリ送信アンテナ110により伝送路300へ送出されたリカバリストリームを受信する。
リカバリデコード部207は、リカバリパケット受信部205からリカバリストリームのH.264エンコード済みデータを受け取り、所定の単位で順次、当該H.264エンコード済みデータをH.264デコードして、代替表示用のコンテンツデータを生成して表示制御部210に渡す。
時刻制御部208は、コンテンツ受信装置200における現在時刻を制御、及び管理し、各構成要素において動作タイミングを決める際の基準とされ、また、PCR情報を取得した際に現在の時刻値及び時刻の進む速度を制御する。
出力待機用バッファ209は、メインデコード部203により再生されたコンテンツを、表示前に一旦蓄積して、表示のタイミングを遅延させるためのものであり、各コンテンツを入手してから出力待機時間格納部103に格納される再生待機時間情報により示させる待機時間だけ保持した後で出力する。
表示制御部210は、出力待機用バッファ209により一旦蓄積されて一定時間後に出力された通常表示用のコンテンツ、及び、リカバリデコード部207により再生された代替表示用のコンテンツを、一時的に蓄積させながら、コンテンツデータに付加されているPTSにより示される時刻に再生して、表示部400へ表示させる。ここで表示制御部210は、通常表示用のコンテンツを代替表示用のコンテンツよりも優先的に再生する。
表示部400は、例えば映像モニタやスピーカ等の映像や音声の出力機器である。
図5は、リカバリ制御部204、及び表示制御部210の詳細な構成を示す図である。
リカバリ制御部204は、リカバリオーバーヘッド格納部211、リカバリ電力制御部212、リカバリ時刻情報蓄積キュー格納部213、メインオーバーヘッド格納部214、メイン電力制御部215、復帰時刻情報蓄積キュー格納部216、PID格納部217、復帰可能時刻情報蓄積キュー格納部218、及びリカバリ予約情報蓄積キュー格納部219を含む。
表示制御部210は、メインピクチャ一時蓄積部220、リカバリピクチャ一時蓄積部221、及び再生タイミング制御部222を含む。
リカバリオーバーヘッド格納部211は、リカバリストリームの受信を開始してから、実際にリカバリストリームを受信できるようになるまでの時間を示したリカバリオーバーヘッド値を予め格納している。
リカバリ電力制御部212は、メインパケット受信部201から実リカバリ受信時刻情報を受け取り、これに基づいて、リカバリパケット受信部205に対して、リカバリストリームの受信に必要な電力供給を行うか否かを切り替える。なお、ここでリカバリパケット受信部205に対して電力供給を切り替える際に、リカバリデコード部207対して、過去に受信されたデータに対する処理が終わった後で電力供給を切り替えることにより、リカバリストリームの受信、及び再生に関わる構成要素に投入する電力の両方を制御してもよい。
リカバリ時刻情報蓄積キュー格納部213は、メインパケット受信部201から渡された実リカバリ受信時刻情報を格納する。
メインオーバーヘッド格納部214は、メインストリームの受信を開始してから、実際にメインストリームを受信できるようになるまでの時間を示したメインオーバーヘッド値を予め格納している。
メイン電力制御部215は、メインパケット受信部201から実リカバリ受信時刻情報を受け取り、これに基づいて、メインパケット受信部201に対して、メインストリームの受信に必要な電力供給を行うか否かを切り替える。なお、ここでメインパケット受信部201に対して電力供給を切り替える際に、メインデコード部203に対して、過去に受信されたデータに対する処理が終わった後で電力供給を切り替えることにより、メインストリームの受信、及び再生に関わる構成要素に投入する電力の両方を制御してもよい。
復帰時刻情報蓄積キュー格納部216は、メインパケット受信部201から渡された実復帰受信時刻情報を格納する。
PID格納部217は、リカバリ受信時刻情報を識別するリカバリ−PID値及び復帰受信時刻情報を識別するメイン復帰−PID値を格納する。
復帰可能時刻情報蓄積キュー格納部218は、リカバリパケット受信部205から基準フレームのPTSを取得して格納する。
リカバリ予約情報蓄積キュー格納部219は、メインストリームの受信に失敗する直前に取得したメインストリームのコンテンツデータのPTSを取得して格納する。
メインピクチャ一時蓄積部220は、出力待機用バッファ209により一旦蓄積されて一定時間後に出力されたことにより、表示のタイミングが遅延された通常表示用のコンテンツデータを、表示する時刻になって再生タイミング制御部222によって再生されるまで一時蓄積する。なお、出力待機用バッファ209とメインピクチャ一時蓄積部220の代わりに、これらの機能を兼ね備えた1つの蓄積部を備えてもよい。
リカバリピクチャ一時蓄積部221は、リカバリデコード部207により生成された代替表示用のコンテンツデータを、表示する時刻になって再生タイミング制御部222によって再生されるか、あるいは、同時刻に再生される通常表示用のコンテンツがメインピクチャ一時蓄積部220に蓄積されていること等により不要になるまで一時蓄積する。
再生タイミング制御部222は、メインピクチャ一時蓄積部220に一時蓄積された通常表示用のコンテンツ、及びリカバリピクチャ一時蓄積部221に一時蓄積された代替表示用のコンテンツを、通常表示用のコンテンツを優先させながら、コンテンツデータに付加されているPTSにより示される時刻に再生して、表示部400へ表示させる。
なお、本実施の形態ではメインエンコード部111におけるエンコード方式をMPEG2とし、リカバリエンコード部121におけるエンコード方式をH.264としたが、これらは他のエンコード方式を用いてもよい。また、これらのエンコード方式を同じにすることもできる。
また、本実施の形態のように、リカバリエンコード部121におけるエンコード時のビットレートがメインエンコード部111によるエンコード時のビットレートよりも低くなるよう伝送信号の冗長性を高めることで、代替表示用のストリームの伝送誤り耐性を高めることができる。従って、コンテンツ受信装置200において受信するメインストリームのコンテンツデータが欠落しても、欠落したデータの代替データをリカバリストリームから取得する確率が高いので、連続した映像を提供する可能性が高くなり、よってリカバリ能力を高めることができる。
また、伝送方式として、例えば、QPSK(4層変位変調、伝送耐性高い)、16QAM(16値直交変調、伝送耐性中)、及び64QAM(64値直交変調、伝送耐性低い)等を用いることができ、冗長ビットの選択も含めて、リカバリストリームの伝送方式をメインストリームの伝送方式よりも伝送耐性が高いものにすることで、上記のようにリカバリ能力を高めることができる。
<送受信、及び再生の動作タイミング>
図6は、送受信、及び再生のタイミングを概略的に示す図である。
図6を用いて、メインストリームの送受信、リカバリストリームの送受信、及び再生のタイミングについて説明する。
図6において、横軸は時間を表し、左から右へ時間が進んでいる。最上段は、メインストリームにおけるパケット単位の送信タイミングを表し、2段目はリカバリストリームにおけるパケット単位の送信タイミングを表している。ここで、メインストリームのパケットに大文字のアルファベット記号を付け、リカバリストリームの対応するパケットには、小文字もアルファベット記号を付けて、対応するパケット同士を大文字と小文字で対応付けている。
また、3段目は再生されるタイミングを示しており、使用したパケットの記号を付けている。
ここでは、説明の簡略化のため、10個のパケット毎に、先頭のパケットに基準フレームのデータが含まれ、2〜10番目のパケットに差分フレームのデータが含まれているものとする。例えば、基準フレームのデータが含まれるパケットは、「A」、「K」、「U」、「a」、「k」であり、差分フレームのデータが含まれるパケットは、「B」〜「J」、「L」〜「T」、「V」〜、「b」〜「j」、「l」〜である。なお、実際には基準フレーム間隔は最大で5秒程度である。
また、ここではメインストリームの8番目のパケット「H」の受信に失敗したときの動作例を示している。
ここで、メインストリームの送信開始からリカバリストリームの送信開始までの時間は、メインストリームにおける基準フレームのデータが含まれるパケットの直前の10番目のパケット「J」の受信に失敗した時点においても、このパケット「J」に対応するリカバリストリームのパケット「j」を利用するために必要なパケット「a」が受信可能でなければならない。
また、メインストリームの送信開始から再生までの時間は、メインストリームのパケットの受信に失敗した時点において、対応するリカバリストリームのパケットが受信可能でなければならない。
ここでは受信に失敗したパケット(ここでは「H」)から、このフレーム以降の基準フレームデータが含まれるパケットの直前のパケット(ここでは「J」)までを、代替表示用のパケット(ここでは「h〜j」)に置き換え、その後のパケット(ここでは「K」)からメインストリームのパケットに戻す。ここで、メインストリームの受信に失敗してから上記直前のパケット「J」の受信タイミングまでの間は、メインストリームの受信処理に関わるメインパケット受信部201への電力の供給を止めて、メインストリームの受信処理を行わず、その後のパケット「K」から電力の供給を再開して、通常再生に戻る。一方、メインストリームの受信に失敗するまでは、リカバリストリームの受信処理に関わるリカバリパケット受信部205への電力の供給をせず、メインストリームの受信に失敗すると、失敗したメインストリームのパケット「H」に対応するリカバリストリームのパケット「h」を再生するために必要な基準フレーム「a」から、電力の供給を開始してリカバリストリームの受信を開始し、上記直前のパケット「J」に対応するリカバリストリームのパケット「j」を受信したのち、電力の供給を止める。
なお、メインパケット受信部201への電力の供給を止める際に、メインデコード部203等の、メインストリームの受信後の処理に関わる部分のうち、過去に受信されたデータに対する処理が終わったものから順次、電力の供給を止めてもよい。同様に、リカバリパケット受信部205への電力の供給を止める際に、リカバリデコード部207等のリカバリストリームの受信後の処理に関わる部分のうち、過去に受信されたデータに対する処理が終わったものから順次、電力の供給を止めてもよい。
また図6では、メインストリームの基準フレームが、リカバリストリームの基準フレームに対応している例を示したが、デコードの方法が異なれば、これらが対応しないことも想定される。このような場合でも、基準フレーム間隔を、リカバリストリームの遅延時間によって決まる一定範囲内にしておけば、問題なく正常に動作する。
図7は、図6と同様に送受信、及び再生のタイミングを概略的に示す図であり、メインストリームの基準フレームが、リカバリストリームの基準フレームに対応していない例を示す。
図6と異なる点は、リカバリストリームの基準フレームの配置であり、例えば、基準フレームのデータが含まれるパケットは、「A」、「K」、「U」、「a」、「e」、「o」、「y」であり、差分フレームのデータが含まれるパケットは、「B」〜「J」、「L」〜「T」、「V」〜、「b」〜「d」、「f」〜「n」、「p」〜「x」である。
また、ここではメインストリームの14番目のパケット「N」の受信に失敗したときの動作例を示している。
ここでは受信に失敗したパケット(ここでは「N」)から、このフレーム以降の基準フレームのデータが含まれるパケットの直前のパケット(ここでは「T」)までを、代替表示用のパケット(ここでは「n〜t」)に置き換え、その後のパケット(ここでは「U」)からメインストリームのパケットに戻す。ここで、メインストリームの受信に失敗してから上記直前のパケット「T」の受信タイミングまでの間は、メインストリームの受信処理に関わるメインパケット受信部201への電力の供給を止めて、メインストリームの受信処理を行わず、その後のパケット「U」から電力の供給を再開して、通常再生に戻る。一方、メインストリームの受信に失敗するまでは、リカバリストリームの受信処理に関わるリカバリパケット受信部205への電力の供給をせず、メインストリームの受信に失敗すると、失敗したメインストリームのパケット「N」に対応するリカバリストリームのパケット「n」を再生するために必要な基準フレーム「e」から、電力の供給を開始してリカバリストリームの受信を開始し、上記直前のパケット「T」に対応するリカバリストリームのパケット「t」を受信したのち、再びメインストリームのパケットの受信に失敗するまで電力の供給を止める。
<送信動作概要>
本実施の形態では、図8に示すメインストリーム送信動作と、図9に示すリカバリストリーム送信動作とが、同時並列的に実行され、メインストリームとリカバリストリームとが同時に送信される。ここで、リカバリストリームはメインストリームよりも相対的に遅れている。またメインストリームには、パケット毎に、そのパケットの破損が発生した時にリカバリストリームの受信を開始すべき時刻を特定する情報や、メインストリームの受信を再開すべき時刻を特定する情報等を多重する。
<メインストリーム送信動作>
図8は、コンテンツ送信装置100におけるメインストリームの送信動作の手順を示す図である。
(1)操作者の指示に基づいて、コンテンツ入手部102により生成又は入手されたコンテンツデータが、メインストリーム生成部104、及びリカバリストリーム生成部108に渡される(ステップS1)。
(2)メインエンコード部111が、渡されたコンテンツデータにMPEG2エンコード処理を施して、エンコード済みのコンテンツデータを、メイン蓄積部112へ渡して蓄積させる(ステップS2)。
(3)基準フレームをエンコードしたか否かを判断する(ステップS3)。
(4)基準フレームをエンコードした場合には、メインエンコード部111がその基準フレームのPTSをメイン基準格納部114へ渡して格納させる(ステップS4)。
ここで格納される基準フレームのPTSは、復帰受信時刻情報取得要求が発行された際に復帰受信時刻情報に変換され、コンテンツ受信装置200へ送出されて、メイン電力制御部215によるメインパケット受信部201の電力制御に用いられる。
(5)メイン多重化部113が、伝送ビットレート通りにストリーム伝送されるように、適宜NULLパケットやその他のパケットを挿入する。ここで、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングとが互いに同期するようエンコード済みデータとその他の情報とをMPEG2−TSパケット列として送出する(ステップS5)。
ここで、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングを同期させるための手法の一例を以下に示す。
まず、コンテンツ入手部102において60fpsのコンテンツデータを生成し、メインエンコード部111によりエンコード処理を行った後、メイン蓄積部112にエンコード済みのコンテンツデータを格納する。
続いて、メイン多重化部113が、メイン蓄積部112に蓄積されたエンコード済みデータを、48KByte間隔でMPEG2−TSパケット列として多重化する。
このMPEG2−TSパケット列を、伝送レート23.04Mbps(=48(KByte)×8(bit)×60(frame))にて、コンテンツ送信装置100とコンテンツ受信装置200との間で伝送を行う。
このようにして、コンテンツデータのフレームレートと伝送ビットレートに合わせて、MPEG2−TSパケット列の適切な位置にエンコード済みのコンテンツデータを多重化することにより、各エンコード済みのコンテンツデータのPTSと実際の伝送タイミングとを同期させることができる。
(6)送出するエンコード済みデータが基準フレームであるか否かを判断する(ステップS6)。
(7)基準フレームである場合には、リカバリストリーム生成部108へ復帰受信時刻情報取得要求を出して、当該情報を取得する。そして、エンコード済みデータを送出する直前に、取得した復帰受信時刻情報をMPEG2−TSパケットとして多重化し、メインパケット送信部105へ渡す(ステップS7)。
(8)メイン多重化部113が、送出するエンコード済みデータのPTSをパラメータとして、リカバリ基準格納部124から当該PTSにより特定されるリカバリ受信時刻情報を取得できるか否かを判断する(ステップS8)。
(9)リカバリ受信時刻情報を取得できる場合には、当該リカバリ受信時刻情報を取得し、メイン多重化部113が、取得したリカバリ受信時刻情報をMPEG2−TSパケットとして多重化しメインパケット送信部105へ渡す(ステップS9)。
(10)メインパケット送信部105が、送出するエンコード済みデータのPTSをパラメータとして、収集時間格納部126から、当該PTSにより特定される基準FR情報収集時間を取得できるか否かを判断する(ステップS10)。
(11)基準FR情報収集時間を取得できる場合には、当該基準FR情報収集時間を取得し、メイン多重化部113が、取得した基準FR情報収集時間をMPEG2−TSパケットとして多重化しメインパケット送信部105へ渡す(ステップS11)。
(12)メイン蓄積部112に蓄積された最も古いエンコード済みデータのPTSと最も新しいエンコード済みデータのPTSとの差が、基準FR情報収集時間よりも大きくなったか否かを判断する(ステップS12)。
(13)PTSの差が、基準FR情報収集時間よりも大きくなった場合には、メイン蓄積部112に、基準FR情報収集時間で示されるよりも多くのエンコード済みデータが蓄積されていると判断し、PTSが「(メイン蓄積部112に蓄積されたPTSのうち最も未来のPTS) − (基準FR情報収集時間)」よりも過去を示す、より古いエンコード済みデータを順次取得しメインパケット送信部105へ渡す(ステップS13)。
<リカバリストリーム送信動作>
図9は、コンテンツ送信装置100におけるリカバリストリームの送信動作の手順を示す図である。
(1)操作者の指示に基づいて、コンテンツ入手部102により生成又は入手されたコンテンツデータが、メインストリーム生成部104、及びリカバリストリーム生成部108に渡される(ステップS11)。
(2)リカバリエンコード部121が、渡されたコンテンツデータにH.264エンコード処理を施して、リカバリストリームを生成し、エンコード済みデータをリカバリ蓄積部122へ渡して蓄積させる(ステップS12)。
(3)基準フレームをエンコードしたか否かを判断する(ステップS13)。
(4)基準フレームをエンコードした場合には、リカバリエンコード部121がその基準フレームのPTSをリカバリ基準格納部124へ渡して格納させる(ステップS14)。
ここで格納される基準フレームのPTSは、リカバリ受信時刻情報取得要求が発行された際にリカバリ受信時刻情報に変換され、コンテンツ受信装置200へ送出されて、リカバリ電力制御部212によるリカバリパケット受信部201の電力制御に用いられる。
(5)リカバリストリームの先頭であるか否かを判断する(ステップS15)。
(6)リカバリストリームの先頭である場合には、リカバリパケット送信遅延時間格納部107に格納されているリカバリ送信遅延時間情報の値で示される数のNULLパケットをリカバリパケット送信部109へ送出する(ステップS16)。
(7)リカバリ多重化部123は、リカバリ蓄積部122のバッファ残量が収集時間格納部126に記録された値で示される時間を超えた分だけの送出可能なエンコード済みデータを、より過去にバッファに登録されたものから先に順次取得する。また、リカバリ多重化部123は、リカバリストリームが伝送ビットレート通りにストリーム伝送され、各エンコード済みデータに付加されたPTSと、これらのエンコード済みデータが伝送されるタイミングとが互いに同期するように、エンコード済みデータに適宜冗長パケットを挿入し、リカバリパケット送信部109へ送出する(ステップS17)。
ここで、コンテンツ入手部102において15fpsのコンテンツデータを生成し、リカバリエンコード部121によりエンコード処理を行った後、リカバリ蓄積部122にエンコード済みデータを蓄積する。リカバリ多重化部123はリカバリ蓄積部122に蓄積されたエンコード済みデータを16KByte間隔でH.264−TSパケット列として多重化する。このH.264−TSパケット列を伝送レート1.92Mbps(=16(KByte)×8(bit)×15(frame))にて、コンテンツ送信装置100とコンテンツ受信装置200との間での伝送を行う。このようにして、コンテンツデータのフレームレートと伝送ビットレートに合わせてH.264−TSパケット列の適切な位置にエンコード済みデータを多重化することにより、各エンコード済みデータのPTSと実際の伝送タイミングとを同期させる。
(8)冗長パケットを多重化した後、エンコード済みデータとその他の情報とをH.264−TSパケット列としてリカバリパケット送信部109へ渡す(ステップS18)。
ここで、図8のステップS1において生成又は入手されるコンテンツデータと、図9の
ステップS11において生成または入手されるコンテンツデータとは同一、あるいは、全く同一でなくても、代替表示か可能な程度に提示対象が略同一である。
<受信動作概要>
本実施の形態では、視聴者による特定の番組に対する再生の指示等に基づいて、まず、図10に示す電源制御動作において、メイン電力制御部215にメインパケット受信部201へ電力を供給させることにより、図11に示すメインストリーム受信動作が開始される。このときリカバリ電力制御部212にはリカバリパケット受信部205へ電力を供給させないので、図12に示すリカバリストリーム受信動作は開始されない。
ここで図11に示すメインストリーム受信動作の中で、通常表示用のコンテンツを再生して表示させるのと並行して、パケット毎に、そのパケットの破損が発生した時にリカバリストリームの受信を開始すべき時刻を特定する情報や、メインストリームの受信を再開すべき時刻を特定する情報等を、メインストリームから抽出して格納しておく。そしてメインストリーム受信動作において、MPEG2−TSパケットの破損を認識すると、先に格納しておいた各情報から、破損したパケットに該当する各情報を特定するための識別情報を登録し、メイン電力制御部215にメインパケット受信部201への電力の供給を止めさせることにより、図11に示すメインストリーム受信動作が中止される。
一方、図10に示す電源制御動作において、MPEG2−TSパケットの破損の後に、上記識別情報に基づいて特定されるリカバリストリームの受信を開始すべき時刻に、リカバリ電力制御部212にメインパケット受信部201へ電力を供給させることにより、図12に示すリカバリストリーム受信動作は開始され、また、上記識別情報に基づいて特定されるメインストリームの受信を再開すべき時刻に、メイン電力制御部215にメインパケット受信部201へ電力を供給させることにより、図11に示すメインストリーム受信動作が再開される。
図12に示すリカバリストリーム受信動作において、メインストリーム受信動作が再開されると、リカバリ電力制御部212にリカバリパケット受信部205への電力の供給を止めさせることにより、図12に示すリカバリストリーム受信動作が中止される。
<電源制御動作>
図10は、コンテンツ受信装置200における電源制御動作の手順を示す図である。
(1)メイン電力制御部215にメインパケット受信部201へ電力を供給させ、リカバリ電力制御部212にはリカバリパケット受信部205へ電力を供給させない(ステップS21)。
(2)時刻制御部208により管理される現在時刻が、リカバリ時刻情報蓄積キュー格納部213に登録されている最も古いリカバリ開始時刻に達したか否かを判断する(ステップS22)。
(3)現在時刻が最も古いリカバリ開始時刻に達した場合には、リカバリストリームにおける基準フレームの受信を開始できるタイミングになったと判断し、さらに、リカバリ開始時刻に対応するリカバリ開始PTS、及びリカバリ終了PTSの間のPTSのいずれかが、リカバリ予約情報蓄積キュー格納部219に登録されているか否かを判断する(ステップS23)。
(4)登録されている場合には、リカバリ可能な範囲のコンテンツデータがメインストリームにおいて欠落していると判断し、リカバリ電力制御部212にリカバリパケット受信部205への電力供給を開始させる(ステップS24)。
(5)時刻制御部208により管理される現在時刻が、復帰時刻情報蓄積キュー格納部216に登録された最も古い受信再開時刻に達したか否かを判断する(ステップS25)。
(6)現在時刻が最も古い受信再開時刻に達した場合には、メインストリームにおける基準フレームの受信を再開できるタイミングになったと判断し、復帰時刻情報蓄積キュー格納部216に登録された最も古い受信再開時刻を消去する(ステップS26)。
(7)メイン電力制御部215がメインパケット受信部201への電力供給を停止しているか否かを判断する(ステップS27)。
(8)メインパケット受信部201への電力供給を停止している場合には、メインパケット受信部201への電力供給を再開させる(ステップS28)。
なお、メイン電力制御部215がリカバリ制御部204からパケットロストを通知された場合であっても、メインパケット受信部201がコンテンツデータ以外の情報を取得する必要がある場合は、必要に応じて、メイン電力制御部215がメインパケット受信部201へ電源供給を継続してもよい。
<メインストリーム受信動作>
図11は、コンテンツ受信装置200におけるメインストリームの受信動作の手順を示す図である。
(1)メインパケット受信部201が一定時間毎にメインストリームのパケットを受信する。詳細には、メインアンテナ202を用いて、アナログ信号を受信し、このアナログ信号をOFDM変調してデジタル信号を生成し、このデジタル信号からMPEG2−TSパケットを抽出する(ステップS31)。
(2)抽出されたPEG2−TSパケットにPCR情報が含まれているか否かを判断する(ステップS32)。
(3)PCR情報が含まれている場合には、メインパケット受信部201が抽出されたPEG2−TSパケットからPCR情報を抽出して時刻制御部208へ渡し、最初に戻る。時刻制御部208は受け取ったPCR情報に合わせて、現在時刻を更新するように制御する(ステップS33)。
(4)PCR情報が含まれていない場合には、リカバリ制御部204へメイン基準FR−PID取得要求を発行してメイン基準FR−PIDを取得し、抽出されたMPEG2−TSのPIDが、取得したメイン基準FR−PIDと等しいか否かを判断する(ステップS34)。
(5)抽出されたMPEG2−TSのPIDが、取得したメイン基準FR−PIDと等しい場合に、当該MPEG2−TSに復帰受信時刻情報が含まれていると判断して、メインパケット受信部201が当該PEG2−TSパケットから復帰受信時刻情報を抽出してリカバリ制御部204へ渡し、最初に戻る。リカバリ制御部204は、受け取った復帰受信時刻情報に基づいて、メインパケット受信部201への電力供給を制御する(ステップS35)。
(6)抽出されたMPEG2−TSのPIDが、取得したメイン基準FR−PIDと等しくない場合には、リカバリ制御部204へリカバリ基準FR−PID取得要求を発行してリカバリ基準FR−PIDを取得し、抽出されたMPEG2−TSパケットのPIDが、取得したリカバリ基準FR−PIDと等しいか否かを判断する(ステップS36)。
(7)抽出されたMPEG2−TSパケットのPIDが、取得したリカバリ基準FR−PIDと等しい場合には、当該MPEG2−TSにリカバリ受信時刻情報が格納されていると判断して、メインパケット受信部201が当該PEG2−TSパケットからリカバリ受信時刻情報を抽出してリカバリ制御部204へ渡し、最初に戻る。リカバリ制御部204は、受け取ったリカバリ受信時刻情報に基づいて、リカバリパケット受信部205への電力供給を制御する(ステップS37)。
(8)抽出されたMPEG2−TSパケットのPIDが、取得したリカバリ基準FR−PIDと等しくいない場合には、抽出されたMPEG2−TSパケットにPES(Packetized Elementary Stream)が含まれているか否かを判断する(ステップS38)。
(9)抽出されたMPEG2−TSパケットにPESが含まれている場合に、メインパケット受信部201が当該MPEG2−TSパケットからPESに含まれるコンテンツデータを抽出してメインデコード部203へ渡す(ステップS39)。
(10)抽出したコンテンツデータが基準フレームであるか否かを判断する(ステップS40)。
(11)抽出したコンテンツデータが基準フレームである場合には、基準フレームのPTSをリカバリ制御部204へ渡す(ステップS41)。
(12)メインデコード部203が、受け取ったコンテンツデータをデコード処理して、通常表示用のピクチャフレームを生成し、出力待機用バッファ209に一旦蓄積させて、表示制御部210がコンテンツを表示部400へ表示させ、最初に戻る(ステップS42)。
(13)抽出されたMPEG2−TSパケットにPESが含まれてないる場合に(ステップS38:NO)、抽出したMPEG2−TSパケットが破損しているか否かを判断する(ステップS43)。
(14)抽出したMPEG2−TSパケットが破損している場合には、メインパケット受信部201が、破損したMPEG2−TSを受信する直前に受信したコンテンツデータに付加されたPTSを、パケットロスト位置情報であるとして、リカバリ制御部204へ渡す(ステップS44)。
(15)リカバリ制御部204がパケットロスト位置情報を取得すると、パケットロスト位置情報であるPTSをパラメータとして、リカバリ電力制御部212へパケットロストが発生した旨を通知する。リカバリ電力制御部212はパラメータとして受け取ったパケットロスト位置情報であるPTSをリカバリ予約情報蓄積キュー格納部219へ追加登録する。リカバリ予約情報蓄積キュー格納部219へ登録されたPTSは、リカバリ電力制御部212によるリカバリパケット受信部205への電力供給の制御に用いられる(ステップS45)。
(16)メイン電力制御部215が、メインパケット受信部201への電力供給を停止する(ステップS46)。
<リカバリストリーム受信動作>
図12は、コンテンツ受信装置200におけるリカバリストリームの受信動作の手順を示す図である。
(1)電力供給が開始された後、リカバリパケット受信部205が、一定時間毎にリカバリストリームのパケットを受信する。詳細には、リカバリアンテナ206を用いて、アナログ信号を受信し、このアナログ信号をOFDM変調してデジタル信号を生成し、このデジタル信号からH.264−TSパケットを抽出する(ステップS51)。
(2)抽出されたH.264−TSパケットにPESが含まれているか否かを判断する(ステップS52)。
(3)PESが含まれている場合には、リカバリパケット受信部205がH.264−TSパケットからPESに含まれるコンテンツデータを抽出し、リカバリデコード部207に渡す(ステップS53)。
(4)取得したコンテンツデータに付加されたPTSが、復帰可能時刻情報蓄積キュー格納部218に登録されているか否かを判断する(ステップS54)。
(5)登録されている場合には、これ以上リカバリストリームを受信する必要がなくなって、リカバリストリームの受信を終了することが可能であると判断し、復帰可能時刻情報蓄積キュー格納部218から、該当するPTSを削除し、リカバリ電力制御部212に停止要求メッセージを通知する(ステップS55)。
(6)リカバリ電力制御部212が、停止要求メッセージを受け取ると、リカバリパケット受信部205への電力供給を停止する(ステップS56)。
(7)リカバリデコード部207が、受け取ったコンテンツデータをデコード処理して、代替表示用のコンテンツデータを生成し、表示制御部210がコンテンツを表示部400に表示させる(ステップS57)。
<作用・効果>
本実施の形態の送信装置及び受信装置によれば、メインストリームの受信中にパケットロストが発生し、コンテンツデータの受信に失敗した場合でも、意図的に遅延伝送しているリカバリストリームから、代替表示用のコンテンツデータを取得し、一連の映像を出力し続けることができるので、複数のストリームの受信状態が同時に悪くなったとしても、代替表示用のコンテンツデータに切り替えることが可能である。
さらに、メインストリームの受信に成功している間はメインストリームを受信し、メインストリームの受信に失敗した時だけリカバリストリームを受信して、代替表示用のコンテンツデータを取得する。更にメインストリームの受信に失敗した後は、受信を再開できるタイミングになるまでメインストリームの受信を止めるので、受信部の稼動時間を極力抑えられる。
上記の作用により、二つのチューナの稼働時間を極力抑えて消費電力を抑えるという効果を得ることができる。
さらに、本構成において、リカバリストリームの画質を下げ、ビットレートを抑えることで、受信状態のよい時は高ビットレートでMPEG2のような高画質な映像を視聴し、受信状態が悪いときでも、冗長な信号成分が多く、かつ低ビットレートでパケットロスト耐性の強いH.264のような比較的画質を抑えた映像を視聴し続け、かつ本構成によれば、メインストリームによる映像とリカバリストリームによる映像とをシームレスに切り替えることができる。
本発明のコンテンツ送信装置、及びコンテンツ受信装置は、あらゆる通信機器に利用可能であり、パケットロスト耐性が高く、かつ消費電力を抑えることができるので、例えば、監視カメラや携帯端末等の家庭用の家電間の映像通信手段として有用である。また、コンテンツ送信装置をデジタル地上波放送等のTV放送の中継器として用いることもでき、TV放送の電波が届きにくい場所にコンテンツ受信装置を持ち込んでも、映像が途切れることが少なく、良好な受信環境が得られる。その上、消費電力が抑えられているので、携帯端末の電池寿命が延び、軽量化にも適している。
100 コンテンツ送信装置
101 時刻制御部
102 コンテンツ入手部
103 出力待機時間格納部
104 メインストリーム生成部
105 メインパケット送信部
106 メイン送信アンテナ
107 リカバリパケット送信遅延時間格納部
108 リカバリストリーム生成部
109 リカバリパケット送信部
110 リカバリ送信アンテナ
111 メインエンコード部
112 メイン蓄積部
113 メイン多重化部
114 メイン基準格納部
121 リカバリエンコード部
122 リカバリ蓄積部
123 リカバリ多重化部
124 リカバリ基準格納部
125 PID格納部
126 収集時間格納部
200 コンテンツ受信装置
201 メインパケット受信部
202 メインアンテナ
203 メインデコード部
204 リカバリ制御部
205 リカバリパケット受信部
206 リカバリアンテナ
207 リカバリデコード部
208 時刻制御部
209 出力待機用バッファ
210 表示制御部
211 リカバリオーバーヘッド格納部
212 リカバリ電力制御部
213 リカバリ時刻情報蓄積キュー格納部
214 メインオーバーヘッド格納部
215 メイン電力制御部
216 復帰時刻情報蓄積キュー格納部
217 PID格納部
218 復帰可能時刻情報蓄積キュー格納部
219 リカバリ予約情報蓄積キュー格納部
220 メインピクチャ一時蓄積部
221 リカバリピクチャ一時蓄積部
222 再生タイミング制御部
300 伝送路
400 表示部

Claims (13)

  1. 送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置であって、
    第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信部と、
    前記所定の単位毎に、第1受信部により前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される代替表示用の第2ストリームの受信を開始させる指示を出すリカバリ制御部と、
    リカバリ制御部より前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御部により判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信部と、
    正常に受信することができなかったとリカバリ制御部により判断された場合に、前記第2受信部により受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御部により判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信部により受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御部とを備え、
    前記第1ストリームは、パケット毎に、前記パケットが正常に受信することができなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示しており、
    前記第2受信部は、前記受信時刻情報に基づいて特定される時刻に、前記第2ストリームの受信を開始することを特徴とする、コンテンツ受信装置。
  2. 前記リカバリ制御部は、
    前記所定の単位の第1ストリームを正常に受信することができたと判断した場合に、前記第2ストリームの受信処理を実行する構成部分、及び、前記第2コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないことを特徴とする、請求項1に記載のコンテンツ受信装置。
  3. 前記リカバリ制御部は、
    前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、前記第1ストリームを受信する処理を再開できるタイミングまで、前記第1ストリームの受信処理を実行する構成部分、及び、当該第1コンテンツデータの抽出処理を実行する構成部分に、電力を供給しないことを特徴とする、請求項1に記載のコンテンツ受信装置。
  4. 前記リカバリ制御部は、
    前記所定の単位の第1ストリームを正常に受信することができなかったと判断した場合に、当該所定の単位の第1ストリームに基づいて再生されるコンテンツに相当する代替表示用のコンテンツを再生するために、参照画像のコンテンツデータが必要とされるときには、当該必要とされる参照画像のコンテンツデータを含む所定の単位の第2ストリームから受信を開始することを特徴とする、請求項1に記載のコンテンツ受信装置。
  5. 前記第2ストリームは、前記第1ストリームよりも伝送耐性が強いことを特徴とする、請求項1に記載のコンテンツ受信装置。
  6. コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置であって、
    第1コンテンツデータを含む第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、代替表示用の第2ストリームを生成するストリーム生成部と、
    前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信部とを備え、
    前記第1ストリームは、パケット毎に、前記コンテンツ受信装置により前記パケットが正常に受信することができなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、前記コンテンツ受信装置により正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示している、コンテンツ送信装置。
  7. 前記ストリーム生成部は、
    前記第1ストリームを生成する第1生成部と、
    前記第2ストリームを生成する第2生成部と、
    前記第2ストリームのデータを送出する前に送出する冗長データの区間を示す送信遅延時間情報を予め格納する送信遅延時間格納部とを含み、
    前記送信部は、
    前記第1ストリームを送出する第1送出部と、
    前記第2ストリームを送出する第2送出部とを含み、
    前記第2生成部は、
    前記送信遅延時間格納部に格納されている送信遅延時間情報により示される区間の冗長データを、前記第2送出部へ送出して、第2ストリームの送出を待機させた後で、当該第2送出部へ渡すことによって、第2ストリームの送出を第1ストリームよりも相対的に遅らせることを特徴とする、請求項6に記載のコンテンツ送信装置。
  8. 前記第1生成部は、さらに、
    パケットロストした場合に、いつまで第1ストリームの受信を中断することができるかを示す時刻を特定する復帰受信時刻情報を、パケット毎に対応付けて生成し、
    前記第2生成部は、さらに、
    前記受信時刻情報を生成し、
    前記第1送出部は、
    前記第1生成部により生成された復帰受信時刻情報、及び前記第2生成部により生成された受信時刻情報を、前記第1ストリームとともに送出することを特徴とする、請求項7に記載のコンテンツ送信装置。
  9. 前記第2生成部は、前記第1生成部により生成される前記第1ストリームよりも、伝送耐性が強い第2ストリームを生成することを特徴とする、請求項7に記載のコンテンツ送信装置。
  10. 送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信装置において実行されるコンテンツ受信プログラムであって、
    1ストリームと代替表示用の第2ストリームとを用い、
    前記第1ストリームは、パケット毎に、前記パケットが正常に受信することができなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示しており、
    前記コンテンツ受信装置に、
    前記第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、
    前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される前記第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、
    リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、
    正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップと、
    前記受信時刻情報に基づいて特定される時刻に、前記第2ストリームの受信を開始するステップとを実行させることを特徴とする、コンピュータ読み取り可能なコンテンツ受信プログラム。
  11. コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信装置において実行されるコンテンツ送信プログラムであって、
    1ストリームと代替表示用の第2ストリームとを用い、
    前記第1ストリームは、パケット毎に、前記パケットが正常に受信することができなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示しており、
    前記コンテンツ送信装置に、
    第1コンテンツデータを含む前記第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、前記第2ストリームを生成するストリーム生成ステップと、
    前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを実行させることを特徴とする、コンピュータ読み取り可能なコンテンツ送信プログラム。
  12. 送信装置から送出されるストリームを受信して、当該ストリームからコンテンツデータを抽出してコンテンツを再生するコンテンツ受信方法であって、
    1ストリームと代替表示用の第2ストリームとを用い、
    前記第1ストリームは、パケット毎に、前記パケットが正常に受信することがでなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示しており、
    前記第1ストリームを、所定の単位毎に、順次受信する処理を実行し、受信された所定の単位の前記第1ストリームから第1コンテンツデータを抽出する第1受信ステップと、
    前記所定の単位毎に、第1受信ステップにより前記第1ストリームを正常に受信することができたか否かを判断し、正常に受信することができなかったと判断すると、当該第1ストリームよりも相対的に遅れて送信装置から送信される前記第2ストリームの受信を開始させる指示を出すリカバリ制御ステップと、
    リカバリ制御ステップより前記指示を受けると、前記第2ストリームの受信を開始して、正常に受信することができなかったとリカバリ制御ステップにおいて判断された所定の単位の第1ストリームに相当する、所定の単位の第2ストリームを受信し、受信された所定の単位の前記第2ストリームから第2コンテンツデータを抽出する第2受信ステップと、
    正常に受信することができなかったとリカバリ制御ステップにおいて判断された場合に、前記第2受信ステップにより受信された所定の単位の前記第2ストリームから抽出された第2コンテンツデータに基づいて、代替表示用のコンテンツを再生し、また、正常に受信することができたとリカバリ制御ステップにおいて判断された場合に、当該代替表示用のコンテンツを再生するときと同様のタイミングで、前記第1受信ステップにより受信された所定の単位の前記第1ストリームから抽出された第1コンテンツデータに基づいて、通常表示用のコンテンツを再生する再生制御ステップと、
    前記受信時刻情報に基づいて特定される時刻に、前記第2ストリームの受信を開始するステップとを含むことを特徴とする、コンテンツ受信方法。
  13. コンテンツを再生する基となるコンテンツデータを含むストリームを、コンテンツ受信装置へ向けて送出するコンテンツ送信方法であって、
    1ストリームと代替表示用の第2ストリームとを用い、
    前記第1ストリームは、パケット毎に、前記パケットが正常に受信することができなかった場合に、前記第2ストリームの受信を開始すべき時刻を特定する受信時刻情報を含んでおり、
    前記受信時刻情報は、正常に受信することができなかった前記パケットに対応する代替表示用のパケットの前記第2ストリームにおける受信時刻、または、前記代替表示用のパケットを再生するために基準となるパケットの前記第2ストリームにおける受信時刻を示しており、
    第1コンテンツデータを含む前記第1ストリームを生成するとともに、当該第1コンテンツデータに基づいて再生される通常表示用のコンテンツと、提示対象が略同一である代替表示用のコンテンツを再生する基となる第2コンテンツデータを含む、前記第2ストリームを生成するストリーム生成ステップと、
    前記第1ストリームを送出するとともに、前記コンテンツ受信装置により、所定の単位の第1ストリームが正常に受信されない場合に、当該コンテンツ受信装置において、正常に処理されないことが判明した後で前記第2ストリームの受信を開始しても、正常に受信されなかった所定の単位の第1ストリームに相当する第2ストリームを受信できるように、前記第2ストリームを、当該第1ストリームよりも相対的に遅らせて送信する送信ステップとを含むことを特徴とする、コンテンツ送信方法。
JP2011530728A 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法 Expired - Fee Related JP5456784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011530728A JP5456784B2 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009210804 2009-09-11
JP2009210804 2009-09-11
PCT/JP2010/002789 WO2011030477A1 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
JP2011530728A JP5456784B2 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法

Publications (2)

Publication Number Publication Date
JPWO2011030477A1 JPWO2011030477A1 (ja) 2013-02-04
JP5456784B2 true JP5456784B2 (ja) 2014-04-02

Family

ID=43732161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011530728A Expired - Fee Related JP5456784B2 (ja) 2009-09-11 2010-04-16 コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法

Country Status (3)

Country Link
US (1) US20120173668A1 (ja)
JP (1) JP5456784B2 (ja)
WO (1) WO2011030477A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742342B2 (ja) * 2011-03-18 2015-07-01 富士通株式会社 携帯端末装置および画像補正プログラム
JP2013239836A (ja) * 2012-05-14 2013-11-28 Sharp Corp マルチメディア放送受信装置及びプログラム
US9542250B2 (en) * 2012-09-07 2017-01-10 International Business Machines Corporation Distributed maintenance mode control
US10079642B2 (en) 2013-01-02 2018-09-18 Renesas Electronics America Inc. Transporting multiple low-speed data streams across a high-speed communication link
US9473566B2 (en) * 2013-09-14 2016-10-18 Qualcomm Incorporated Delivering services using different delivery methods
EP3065412B1 (en) * 2013-10-31 2020-08-05 Panasonic Intellectual Property Corporation of America Content transmission method and content playback method
US10171182B2 (en) 2015-01-25 2019-01-01 Valens Semiconductor Ltd. Sending known data to support fast convergence
EP3293931A1 (en) 2015-01-25 2018-03-14 Valens Semiconductor Ltd. Transceiver and method for fast recovery from quality degradation
US10256920B2 (en) 2015-01-25 2019-04-09 Valens Semiconductor Ltd. Mode-conversion digital canceller for high bandwidth differential signaling
WO2017061428A1 (ja) * 2015-10-06 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
JP2018082241A (ja) * 2016-11-14 2018-05-24 日本電信電話株式会社 動画再生装置、動画再生方法及びプログラム
US10827043B2 (en) * 2018-04-04 2020-11-03 Hall Labs Llc Normalization of communication between devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332665A (ja) * 1999-05-20 2000-11-30 Toyota Motor Corp ダイバーシチ受信装置およびダイバーシチ受信方法
JP2007036815A (ja) * 2005-07-28 2007-02-08 Denso Corp 移動体用デジタル放送受信装置及びプログラム
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021900A (ja) * 2007-07-13 2009-01-29 Panasonic Corp サイマル放送受信装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060082474A1 (en) * 2003-01-28 2006-04-20 Cooper Jeffrey A Robust mode staggercasting with multiple delays for multi-resolution signals
US8027381B2 (en) * 2003-01-28 2011-09-27 Thomson Licensing Robust mode staggercasting user controlled switching modes
US7810124B2 (en) * 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
EP1588548B1 (en) * 2003-01-28 2010-10-13 Thomson Licensing Robust mode staggercasting
US7796598B2 (en) * 2006-04-03 2010-09-14 Cisco Technology, Inc. Synchronizing redundant video streams encapsulated in IP/UDP packets
JP5184527B2 (ja) * 2006-07-25 2013-04-17 トムソン ライセンシング スタガーキャスティング及びクロスパケット前方誤り訂正を用いたインターネットプロトコル型無線ネットワークでのバーストパケット損失からの回復
US8290060B2 (en) * 2007-08-21 2012-10-16 Limberg Allen Leroy Staggercasting of DTV signals that employ concatenated convolutional coding
WO2009032106A1 (en) * 2007-08-28 2009-03-12 Thomson Licensing Staggercasting with no channel change delay
US20100254489A1 (en) * 2007-11-14 2010-10-07 Thomson Licensing Code enhanced staggercasting
CN101999235A (zh) * 2008-04-11 2011-03-30 汤姆逊许可公司 具有时间可缩放性的交错播送
US7953883B2 (en) * 2009-01-27 2011-05-31 Cisco Technology, Inc. Failover mechanism for real-time packet streaming sessions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000332665A (ja) * 1999-05-20 2000-11-30 Toyota Motor Corp ダイバーシチ受信装置およびダイバーシチ受信方法
JP2007036815A (ja) * 2005-07-28 2007-02-08 Denso Corp 移動体用デジタル放送受信装置及びプログラム
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008252390A (ja) * 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021900A (ja) * 2007-07-13 2009-01-29 Panasonic Corp サイマル放送受信装置

Also Published As

Publication number Publication date
JPWO2011030477A1 (ja) 2013-02-04
US20120173668A1 (en) 2012-07-05
WO2011030477A1 (ja) 2011-03-17

Similar Documents

Publication Publication Date Title
JP5456784B2 (ja) コンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ受信プログラム、コンテンツ送信方法、及びコンテンツ受信方法
US10785529B2 (en) Anticipatory video signal reception and processing
US8326291B2 (en) Fast channel switching method and apparatus for digital broadcast receiver
KR20120066011A (ko) 정보 처리 장치, 데이터 관리 방법 및 프로그램
JP2006115264A (ja) デジタル放送の送出装置、受信装置およびデジタル放送システム
KR20070081780A (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법, 송수신시스템
WO2001060057A1 (en) Receiving terminal device and control method therefor
US20110063411A1 (en) Receiving device, receiving method, transmission device and computer program
US20120027377A1 (en) Playback apparatus and program content transmitting and receiving system
JP2007158492A (ja) 地上デジタルテレビジョン受信機
JP2006345169A (ja) デジタルテレビ受信端末装置
US20120019719A1 (en) Digital television broadcasting reproduction device and reproduction method therefor
JP2006345303A (ja) ディジタル放送受信装置
US20070200964A1 (en) Method for processing data in a terminal with digital broadcasting receiver
JP5476997B2 (ja) 受信装置及び方法、プログラム、並びに受信システム
JP3703381B2 (ja) Catv緊急放送受信装置
JP4866135B2 (ja) 画像処理装置及び画像処理方法
JP4074504B2 (ja) 受信装置
US20100329354A1 (en) Systems and methods for achieving optimal digital video channel change performance
JP2010258489A (ja) 映像表示装置、受信装置、送受信システム、及び映像表示方法
JP3548113B2 (ja) 受信装置及び画像再生方法
JP2008167251A (ja) コンテンツ再生装置、及びコンテンツ案内方法
JP4609449B2 (ja) データ処理装置及びデータ処理方法
JP2001309255A (ja) デジタルテレビ放送受信機
JP3885690B2 (ja) デジタル放送受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees