(本開示の基礎となった知見)
端末で、リアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを高品質に受信したいと要求がある。このとき、特に、回線コンテンツの場合、パケットの遅延、パケット欠損(パケットロス)が課題となる可能性が高い。以下ではこの点について説明する。
リアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを端末が受信し、端末が具備する表示部(ディスプレイ部)、または、端末が接続する表示装置(ディスプレイ)に表示する場合を考える。このとき、リアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを別々に表示するものとする。このとき、回線コンテンツを表示する場合、回線コンテンツのパケット遅延、パケット欠損を考慮し、映像の表示を制御することができる。
しかし、端末がリアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを表示部(または、表示装置)に同時に表示する場合、放送番組のコンテンツの映像と回線コンテンツの映像が時間的に同期しないことが大きな課題となる。
放送局は、リアルタイムの放送番組のコンテンツを端末に伝送する場合を考える。放送番組のコンテンツを、無線(地上デジタル放送、衛星デジタル放送など)、または、有線(ケーブル放送など)を介して送信する。このとき、伝搬路の状況により、番組のコンテンツの品質を劣化させることがあるが、これを克服するために、伝搬路の劣悪な状況に対応するための誤り訂正符号を導入することで、番組のコンテンツの品質を高品質に保つようにしている。なお、放送番組のコンテンツの情報の一部が遅延して届くような状況は考えづらい。
一方、電気通信回線を介して、端末に伝送される回線コンテンツの場合、例えば、UDP(User Datagram Protocol)などのプロトコルを利用した場合、パケットの遅延、パケット欠損(パケットロス)により、回線コンテンツの品質の劣化を招くことになる。特に、リアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを表示部(または、表示装置)に同時に表示する場合、放送番組のコンテンツの映像と回線コンテンツの映像が時間的に同期させるといくつかの課題が発生する。
例えば、回線コンテンツのパケットの到達遅延を考慮して、端末は、リアルタイムの放送番組のコンテンツの映像表示を遅延させるものとする。すると、端末に、到達遅延分のデータの記憶部を設ける必要があり、端末のシステム規模の増大を招くという課題が発生する。
また、リアルタイムの放送番組のコンテンツの映像表示にあわせて回線コンテンツの映像を表示すると、回線コンテンツのパケット遅延やパケット欠損により、回線コンテンツの映像が大きく乱れる可能性が高い。
本開示は、送信システムおよび端末のシステム規模を小さくするとともに、リアルタイムの放送番組のコンテンツとリアルタイムの回線コンテンツを表示部(または、表示装置)に同時に表示する際、高品質な映像の表示を実現することを目的し、これを実現するための送信システムおよび端末を提供する。
本開示に係る方法は、第1のコンテンツと第2のコンテンツを受信して再生する方法であって、第1の伝送路を介して前記第1のコンテンツを格納した第1のデータパケットと、URL(Uniform Resource Locator)情報を格納した制御パケットを受信し、第2の伝送路を介して前記第2のコンテンツを格納した第2のデータパケットを受信し、所定の時刻において、前記第1のデータパケットの一部が受信されているか否かを判定し、前記第1のデータパケットが受信されていると判定された場合、前記第1のコンテンツと前記第2のコンテンツをデコードし、デコードされた前記第1のコンテンツと前記第2のコンテンツを同期して表示し、前記第1のデータパケットが受信されていないと判定された場合、前記URL情報に基づいて代替データを取得し、前記代替データと前記第2のコンテンツをデコードし、デコードされた前記代替データと前記第2のコンテンツを表示する。
また、本開示に係る方法は、第1のコンテンツと第2のコンテンツを受信して再生する方法であって、第1の伝送路を介して前記第1のコンテンツを格納した第1のデータパケットと、前記第1のデータパケットから生成されたパリティパケットと、URL(Uniform Resource Locator)情報を格納した制御パケットとを受信し、第2の伝送路を介して前記第2のコンテンツを格納した第2のデータパケットを受信し、所定の時刻において、前記第1のデータパケットの一部が受信されていない場合、パケットレベルの復号処理により前記第1のデータパケットが復号できるか否かを判定し、前記第1のデータパケットが復号できると判定された場合、前記パケットレベルの復号処理を実施して前記第1のデータパケットを取得し、前記第1のコンテンツと前記第2のコンテンツをデコードし、デコードされた前記第1のコンテンツと前記第2のコンテンツを同期して表示し、前記第1のデータパケットが復号できないと判定された場合は、前記URL情報に基づいて代替データを取得し、前記代替データと前記第2のコンテンツをデコードし、デコードされた前記代替データと前記第2のコンテンツを表示する。
本開示の方法によると、所定の数以上の回線データパケット及び回線パリティパケットが受信されていれば、回線コンテンツのデコードを開始することができるので、パケット遅延やパケッの欠落が発生し得る通信回線を介して伝送される回線コンテンツの品質を向上させることができる。また、放送コンテンツの送出時刻が回線コンテンツの送出時刻より所定の時間遅延されているので、放送コンテンツの送出時刻を回線コンテンツの送出時刻に対して遅延させない場合と比較して、受信側において放送コンテンツを一時的に保持する記憶部の容量を少なくすることができる。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
図1は、本実施の形態における放送局、電気通信回線業者、端末の関係の一例を示している。図1において、101は現場を示しており、例として、野球場、サッカー場を考える。102A、102Bはカメラを示している。カメラ102A、102Bによって、例えば、異なるアングルの映像を撮影しているものとする。
このとき、カメラ102Aで撮影した「第1の映像および/または音声(オーディオ)の情報」を放送局103は受け取り、「第1の映像および/または音声(オーディオ)の情報」は、ケーブルなどの有線、または、無線を介して、端末105に伝送されるものとする。
そして、カメラ102Bで撮影した「第2の映像および/または音声(オーディオ)の情報」を放送局103は受け取り、「第2の映像および/または音声(オーディオ)の情報」は、電気通信回線業者104を介して、端末105に伝送されるものとする。
なお、「第2の映像および/または音声(オーディオ)の情報」は、放送局103を介さずに、電気通信回線業者104に直接伝送され、その後、端末105に伝送されてもよい。
図2は、本実施の形態における放送局と電気通信回線業者が保有する送信装置の構成の一例を示しており、点線240で囲まれた部分は放送局であり、点線250で囲まれた部分は電気通信回線業者が保有している送信装置である。なお、制御部232は、放送局、電気通信回線業者が保有している送信装置とは、別に存在してもよいし、放送局が具備してもよいし、電気通信回線業者が保有している送信装置が具備していてもよい。なお、図2では、別に存在している場合の構成図を記載している。
パケット(またはフレーム)処理部202は、「第1の映像および/または音声(オーディオ)の情報」201および第1の制御信号211を入力とし、第1の制御信号211にしたがって、パケット(またはフレーム)処理を施し、パケット(またはフレーム)処理後の第1の映像および/または音声(オーディオ)の情報203を出力する。なお、詳細の動作については、後で説明する。
物理層誤り訂正符号化部204は、パケット(またはフレーム)処理後の第1の映像および/または音声(オーディオ)の情報203、および、第1の制御信号211を入力とし、第1の制御信号211にしたがって、誤り訂正符号の方式(具体的な誤り訂正符号、符号化率)の符号化を行い、誤り訂正符号化後のデータ205を出力する。
変調部206は、誤り訂正符号化後のデータ205、および、第1の制御信号211を入力とし、第1の制御信号211にしたがった変調方式で、変調を行い、ベースバンド信号207を出力する。
送信部208は、ベースバンド信号207、および、第1の制御信号211を入力とし、第1の制御信号211にしたがった伝送方法に基づいた信号処理を施し、変調信号209を出力し、変調信号209はアンテナ210から例えば電波として出力する。そして、変調信号209で伝送されているデータは、端末に届けられることになる。
なお、上述の説明では、一つの変調信号を送信する例で説明しているが、これに限ったものではなく、特許文献1、特許文献2などに示されている、複数の変調信号を複数のアンテナを用いて、同一時刻、同一周波数を用いて送信する送信方法を用いてもよい。また、伝送方法としては、シングルキャリア方式、OFDM(orthogonal frequency division multiplexing)方式などのマルチキャリア方式、スペクトル拡散通信方式などを用いていることになる。加えて、図2では、放送局240は、無線での伝送を例で説明しているが、ケーブル等の有線による伝送方法を用いてもよい。
制御部232は、第2の映像および/または音声(オーディオ)の情報231を入力とし、第2の映像および/または音声(オーディオ)の情報212、および、第2の制御信号228を出力する。このとき、第2の制御信号228は、送信方法に関する情報を含んでいるものとする。そして、第2の映像および/または音声(オーディオ)の情報212は放送局240を経由するものとする。
パケット(またはフレーム)処理部222は、第2の映像および/または音声(オーディオ)の情報212、および、直接電気通信回線業者に届く際の第2の映像および/または音声(オーディオ)の情報221、第2の制御信号228を入力とし、第2の制御信号228により、第2の映像および/または音声(オーディオ)の情報212、第2の映像および/または音声(オーディオ)の情報221のうち、有効な第2の映像および/または音声(オーディオ)の情報を選択し、パケット(またはフレーム)処理を施し、パケット(またはフレーム)処理後の第2の映像および/または音声(オーディオ)の情報223を出力する。なお、詳細の動作については、後で説明する。
信号処理部224は、パケット(またはフレーム)処理後の第2の映像および/または音声(オーディオ)の情報223、第2の制御信号228を入力とし、第2の制御信号228に基づき各レイヤー(例えば、MAC(Media Access Control)レイヤーや物理レイヤーなど。ただし、当然であるが、これに限ったものではない。)の処理を施し、信号処理後の信号225を出力する。
送信部226は、信号処理後の信号225および第2の制御信号228を入力とし、第2の制御信号228に基づいて送信信号227を生成し、出力する。そして、送信信号227で伝送されているデータは端末に届けられることになる。
なお、送信信号227で伝送されているデータは、さらに、別の送信方式・規格を適用して、端末に届けられてもよい。例えば、無線LAN(Local Area Network)、PLC(Power Line Communications)、ミリ波を用いた無線伝送方式、セルラー方式(cellular communication system)、無線MAN(Metropolitan Area Network)などがあげられるが、これに限ったものではない。ただし、一般的には、インターネット・プロトコールが用いられることになり、転送プロトコルとして、TCP(transmission Control Protocol)
、または、UDP(user Datagram Protocol)が用いられることになる(なお、TCPはスイートのコンポーネントの一つであり、もう一つのコンポーネントとしてIP(Internet Protocol)があり、スイート全体をTCP/IPと呼ぶ)。
図3は端末の構成例を示している。アンテナ301は放送局が送信した変調信号を受信し、受信部303は、アンテナ301で受信した受信信号302を入力とし、周波数変換、直交復調等の処理を施し、ベースバンド信号304を出力する。
時間・周波数同期部305は、ベースバンド信号304を入力とし、放送局が送信した変調信号に含まれる、例えば、プリアンブル、パイロットシンボル、リファレンスシンボルなどを抽出し、時間同期、周波数同期、周波数オフセット推定等を行い、同期信号306を出力する。
チャネル推定部307は、ベースバンド信号304を入力とし、放送局が送信した変調信号に含まれる、例えば、プリアンブル、パイロットシンボル、リファレンスシンボルなどを抽出し、伝搬路の状態の推定(チャネル推定)を行い、チャネル推定信号308を出力する。
制御情報抽出部309は、ベースバンド信号304を入力とし、放送局が送信した変調信号に含まれる制御情報シンボルを抽出し、制御情報シンボルの復調、誤り訂正復号等の処理を行い、制御情報信号310を出力する。
復調部311は、ベースバンド信号304、同期信号306、チャネル推定信号308、制御情報信号310を入力とし、制御情報信号310に含まれる変調信号の情報に基づき、ベースバンド信号304を同期信号306、チャネル推定信号308を利用して復調し、各ビットの対数尤度比を求め、対数尤度比信号312を出力する。なお、このときの動作については、特許文献2、特許文献3などに記載されている。
物理層誤り訂正復号部313は、対数尤度比信号312、制御情報信号310を入力とし、制御情報信号310に含まれる誤り訂正符号に関する情報(例えば、誤り訂正符号の情報、符号長(ブロック長)、符号化率など)に基づき、誤り訂正復号を行い、受信データ314を出力する。
パケット(またはフレーム)処理部315は、受信データ314、制御情報信号310を入力とし、制御情報信号310の情報に基づき、パケット(またはフレーム)の処理を行い、パケット(またはフレーム)処理後のデータ316を出力する。なお、詳細の動作については、後で詳しく説明する。
上述の説明において、無線による伝送を例に説明しているが、ケーブル等の有線による伝送方法を用いてもよい。また、一つの変調信号を送信する例で説明しているが、これに限ったものではなく、特許文献1、特許文献2などに示されている、複数の変調信号を複数のアンテナを用いて、同一時刻、同一周波数を用いて送信する送信方法を用いてもよい。また、伝送方法としては、シングルキャリア方式、OFDM(orthogonal frequency division multiplexing)方式などのマルチキャリア方式、スペクトル拡散通信方式などを用いていることになり、これに対応する処理が、各部で行われることになる。
受信部353は、接続部351に接続されている、例えば、ケーブルを介して伝送されている信号352を入力とし、受信信号354を出力する。
信号処理部355は、受信信号354を入力とし、情報、および、制御情報の分離を行い、受信データ356および制御情報357を出力する。
パケット(またはフレーム)処理部358は、受信データ356および制御情報357を入力とし、制御情報357に基づき、受信データに対し、パケット(またはフレーム)処理を施し、パケット(またはフレーム)処理後のデータ359を出力する。なお、詳細の動作については、後で詳しく説明する。
上述の説明において、接続部351に対応した伝送方式を用いた場合を例に説明しているが有線の通信方式、無線通信方式、いずれであってもよい。
信号処理部380は、パケット(またはフレーム)処理後のデータ316、制御情報信号310、パケット(またはフレーム)処理後のデータ359、制御情報357を入力とし、表示部384に2つの映像を表示するためのデータを生成し、データ381を出力する。
デコーダ382は、映像・オーディオのデコードを行い、映像信号383、オーディオ信号385を出力し、映像信号383は、表示部384に出力される、または、外部出力端子から出力され、また、オーディオ信号385はスピーカ386から音が出力される、または、外部出力端子から出力される。
ここでは、「パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号を放送局では使用せず、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号を電気通信回線業者の送信装置は使用する」送信方法について以下で説明する。
図4は、電気通信回線業者の送信装置において、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号化方法に関連する部分の構成を示している。(ここでは、「パケットレベルでの誤り訂正符号化」と呼ぶ。ただし、呼び方はこれに限ったものではない。)なお、図4の構成は、図2の電気通信回線業者が保有する送信装置250において、パケット(またはフレーム)処理部222に含まれることになる。
パケット生成部402は、情報401、制御情報信号414を入力とし、制御情報信号414に含まれる、パケットサイズ(1パケットを構成するビット数)に関する情報に基づいて、情報パケット403を出力とする。なお、図4に例を示しており、情報パケット#1、情報パケット#2,・・・、情報パケット#(n-1)、情報パケット#nを生成するものとする。(つまり、情報パケット#k(kは1以上n以下の整数とする。(nは2以上の整数とする。)))また、情報パケット#1から#nを生成するだけの情報のビット数が不足していた場合、例えば既知のデータを挿入することにより、情報パケット#1から#nを生成することになる。
並び替え部404は、情報パケット403、制御情報信号414を入力とし、制御情報信号414に含まれる並び替え方法の情報に基づき、データの並び替えを行い、並び替え後のデータ系列405を出力する。なお、必ずしも並び替えを行わなくてもよい。例えば、情報パケット#1から#nを入力とし、情報パケット#1から#nを構成するビット系列の範囲内で、並び変えを行うことになる。
符号化部406は、並び変え後のデータ系列405、制御情報信号414を入力とし、制御情報414に含まれる誤り(消失)訂正符号化方式(例えば、使用する誤り(消失)訂正符号化方式の情報、符号長(ブロック長)、符号化率など)に基づいた符号化を行い、パリティパケット407を出力する。なお、図4に例を示しており、パリティパケット#1、パリティパケット#2,・・・、パリティパケット#(h-1)、パリティパケット#hを生成するものとする(つまり、パリティパケット#k(kは1以上h以下の整数とする。(hは1以上の整数とする)))。
誤り検出符号付加部408は、パリティパケット407を入力とし、パケット単位で誤り検出ができるように、例えば、CRC(Cyclic Redundancy Check)を付加し、CRC付加後のパリティパケット409を出力する。このとき、CRCを付加することで、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断を受信装置は行うことができることになる。なお、ここでは、CRCを例に説明しているが、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断が可能となるブロック符号、検査符号であれば、どのような符号を用いてもよい。なお、図4に例を示しており、CRC付加後のパリティパケット#1、CRC付加後のパリティパケット#2,・・・、CRC付加後のパリティパケット#(h-1)、CRC付加後のパリティパケット#hを生成するものとする(つまり、CRC付加後のパリティパケット#k(kは1以上h以下の整数とする。(hは1以上の整数とする)))。
同様に、誤り検出符号付加部410は、情報パケット403を入力とし、パケット単位で誤り検出ができるように、例えば、CRC(Cyclic Redundancy Check)を付加し、CRC付加後の情報パケット411を出力する。このとき、CRCを付加することで、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断を受信装置は行うことができることになる。なお、ここでは、CRCを例に説明しているが、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断が可能となるブロック符号、検査符号であれば、どのような符号を用いてもよい。なお、図4に例を示しており、CRC付加後の情報パケット#1、CRC付加後の情報パケット#2,・・・、CRC付加後の情報パケット#(n-1)、CRC付加後の情報パケット#nを生成するものとする(つまり、CRC付加後の情報パケット#k(kは1以上n以下の整数とする。(nは2以上の整数とする)))。
なお、図4における情報401に制御情報(例えば、情報の種類の情報、映像符号化の符号化方式の情報(フレームレート、圧縮率、圧縮方法)など(ただしこれに限ったものではない。))を含んでいてもよい。この点については、後で説明を行う。
図5は、電気通信回線業者の送信装置において、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号化方法に関連する部分の、図4とは異なる構成を示している。なお、図5の構成は、図2の電気通信回線業者が保有する送信装置250において、パケット(またはフレーム)処理部222に含まれることになる。
並び替え部502は、情報501、制御情報信号510を入力とし、制御情報信号510に含まれる並び替え方法の情報に基づき、データの並び替えを行い、並び変え後の情報503を出力する。
符号化部504は、並び変え後の情報503、制御情報信号510を入力とし、制御情報510に含まれる誤り(消失)訂正符号化方式(例えば、使用する誤り(消失)訂正符号化方式の情報、符号長(ブロック長)、符号化率など)に基づいた符号化を行い、符号化後のデータ505を出力する。この場合、符号化に使用する符号は、組織符号(符号語に情報系列がそのままの形で含まれる符号)、非組織符号いずれであってもよい。
パケット生成部506は、符号化後のデータ505、制御情報信号510を入力とし、制御情報信号503に含まれる、パケットサイズ(1パケットを構成するビット数)に関する情報に基づいて、パケット507を出力とする。なお、図5に例を示しており、パケット#1、パケット#2,・・・、パケット#(m-1)、情報パケット#mを生成するものとする。(つまり、パケット#k(kは1以上m以下の整数とする。(mは2以上の整数とする。)))また、パケット#1から#mを生成するだけの情報のビット数が不足していた場合、符号化部504において、例えば既知のデータを挿入することにより、符号化を行うことになる。
誤り検出符号付加部508は、パケット507を入力とし、パケット単位で誤り検出ができるように、例えば、CRC(Cyclic Redundancy Check)を付加し、CRC付加後のパケット509を出力する。このとき、CRCを付加することで、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断を受信装置は行うことができることになる。なお、ここでは、CRCを例に説明しているが、パケット内のデータがすべて正しいか、あるいは、パケットが欠損したかの判断が可能となるブロック符号、検査符号であれば、どのような符号を用いてもよい。なお、図5に例を示しており、CRC付加後のパケット#1、CRC付加後のパケット#2,・・・、CRC付加後のパケット#(m-1)、CRC付加後のパケット#mを生成するものとする(つまり、CRC付加後のパケット#k(kは1以上m以下の整数とする。(mは2以上の整数とする)))。
なお、図5における情報501に制御情報(例えば、情報の種類の情報、映像符号化の符号化方式の情報(フレームレート、圧縮率、圧縮方法)など(ただしこれに限ったものではない。))を含んでいてもよい。この点については、後で説明を行う。
以下では、上述で記載したパケットの構成方法の例を説明する。
図6は、上述で説明したパケットの構成方法の一例を示している。601はCRCであり、誤りを検出するために使用することが可能である。
602は、「誤り訂正符号によって得られるパケット数に関する情報」である。例えば、図4の場合、情報パケットの数がn、パリティパケットの数がhであるので、この情報は「n+h」となる。また、図5の場合、誤り訂正符号によって得られるパケット数に関する情報は「m」となる。
603は「パケットのID(identification)(識別子)の情報」である。例えば、図4のとき、誤り訂正符号によって得られるパケット数は「n+h」である。したがって、パケットのID(identification)(識別子)として、「0」から「n+h-1」を用意する。そして、各パケットに「0」から「n+h-1」の識別子のうち、いずれかの番号を与える。具体的には、図4に示すn個の情報パケット、h個のパリティパケットのそれぞれに「0」から「n+h-1」のIDのいずれかを付与することになる。図5のとき、誤り訂正符号によって得られるパケット数は「m」である。したがって、パケットのIDとして「0」から「m-1」を用意する。そして、各パケットに「0」から「m-1」の識別子のうちのいずれかの番号を与える。具体的には、図5に示すm個のパケットのそれぞれに「0」から「m-1」のIDのいずれかを付与することになる。
604は制御情報であり、「誤り訂正符号によって得られるパケット数に関する情報」および「パケットのID(identification)(識別子)」以外の制御情報である。例えば、パケットレベルでの誤り訂正符号化の方式の情報、パケット長が可変であれば、パケット長のビット数(または、バイト数)などを、制御情報としてもよい。
605はデータとなり、端末に伝送したいデータ(ここでは、例えば、映像、オーディオのデータ)となる。
図7は、上述で説明したパケットの構成方法の図6とは異なる例を示している。701はCRCであり、誤りを検出するために使用することが可能である。
702は、第1の制御情報であり、703は、第2の制御情報である。第1の制御情報、第2の制御情報に属する情報の例としては、「誤り訂正符号によって得られるパケット数に関する情報」、「パケットのID(identification)(識別子)の情報」、パケットレベルでの誤り訂正符号化の方式の情報、パケット長が可変であれば、パケット長のビット数(または、バイト数)などがあるが、これに限ったものではない。
704はデータとなり、端末に伝送したいデータ(ここでは、例えば、映像、オーディオのデータ)となる。
このとき、図6において、「CRC」601、「誤り訂正符号化によって得られるパケットの数に関する情報」602、「パケットのID(識別子)の情報」603、「制御情報」604、「データ」605により構成されたデータ群を図4、図5の「誤り検出符号付きのパケット一つ」とするものとする。
そして、図7の場合、「CRC」701、「第1の制御情報」702、「第2の制御情報」703、「データ」704により構成されたデータ群を図4、図5の「誤り検出符号付きのパケットの一つ」とするものとする。
このとき、図4、図5におけるパケットの構成方法として、以下の4つの方法を例として考える。
第1の方法:
図6に示しているように、制御情報604、データ605を図4、図5における誤り検出符号付加前のパケットとする。したがって、制御情報604、データ605は誤り訂正符号化(符号化部406、または、符号化部504)の入力となる。一方、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603、および、誤り検出符号の例となるCRC601が、制御情報604、データ605に付加され、誤り検出符号付きパケットとなる。
なお、誤り訂正符号化によって得られるパケットの数が、例えば、32となっていた場合、パケットのIDとしては、0から31のいずれかの値をとることになる。
このとき、図4、図5の誤り検出符号付加部408、410、508の前後いずれかに、制御情報付加部が必要となる。その構成を図8に示す。
図8の800は、制御情報付加部が誤り検出符号付加部の前段にある場合の構成の一例を示している。第1の方法の場合、制御情報付加部802は、制御情報604およびデータ605(801に相当)を入力とし、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603を付加し、データ群803を出力する。
誤り検出符号付加部804は、データ群803を入力とし、CRC601を付加し、誤り検出符号付きのパケット805を出力する。
図8の810は、制御情報付加部が誤り検出符号付加部の後段にある場合の構成の一例を示している。第1の方法の場合、誤り検出符号付加部812は、制御情報604およびデータ605(811に相当)を入力とし、CRC601を付加し、データ群813を出力する。
制御情報付加部814は、データ群813を入力とし、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603を付加し、誤り検出符号付きのパケット815を出力する。
第2の方法:
図6に示しているように、データ605を図4、図5における誤り検出符号付加前のパケットとする。したがって、データ605は誤り訂正符号化(符号化部406、または、符号化部504)の入力となる。一方、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603と制御情報604、および、誤り検出符号の例となるCRC601が、データ605に付加され、誤り検出符号付きパケットとなる。
なお、誤り訂正符号化によって得られるパケットの数が、例えば、32となっていた場合、パケットのIDとしては、0から31のいずれかの値をとることになる。
このとき、図4、図5の誤り検出符号付加部408、410、508の前後いずれかに、制御情報付加部が必要となる。その構成を図8に示す。
図8の800は、制御情報付加部が誤り検出符号付加部の前段にある場合の構成の一例を示している。第2の方法の場合、制御情報付加部802は、データ605(801に相当)を入力とし、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603と制御情報604を付加し、データ群803を出力する。
誤り検出符号付加部804は、データ群803を入力とし、CRC601を付加し、誤り検出符号付きのパケット805を出力する。
図8の810は、制御情報付加部が誤り検出符号付加部の後段にある場合の構成の一例を示している。第2の方法の場合、誤り検出符号付加部812は、データ605(811に相当)を入力とし、CRC601を付加し、データ群813を出力する。
制御情報付加部814は、データ群813を入力とし、誤り訂正符号化によって得られるパケットの数に関する情報602とパケットのID(identification)(識別子)の情報603と制御情報604を付加し、誤り検出符号付きのパケット815を出力する。
第3の方法:
図7に示しているように、データ704および第2の制御情報703を図4、図5における誤り検出符号付加前のパケットとする。したがって、データ704および第2の制御情報703は誤り訂正符号化(符号化部406、または、符号化部504)の入力となる。一方、第1の制御情報702、および、誤り検出符号の例となるCRC701が、データ704および第2の制御情報703に付加され、誤り検出符号付きパケットとなる。
なお、誤り訂正符号化によって得られるパケットの数が、例えば、32となっていた場合、パケットのIDとしては、0から31のいずれかの値をとることになる。
このとき、図4、図5の誤り検出符号付加部408、410、508の前後いずれかに、制御情報付加部が必要となる。その構成を図8に示す。
図8の800は、制御情報付加部が誤り検出符号付加部の前段にある場合の構成の一例を示している。第3の方法の場合、制御情報付加部802は、データ704および第2の制御情報703(801に相当)を入力とし、第1の制御情報702を付加し、データ群803を出力する。
誤り検出符号付加部804は、データ群803を入力とし、CRC601を付加し、誤り検出符号付きのパケット805を出力する。
図8の810は、制御情報付加部が誤り検出符号付加部の後段にある場合の構成の一例を示している。第3の方法の場合、誤り検出符号付加部812は、データ704および第2の制御情報703(811に相当)を入力とし、CRC601を付加し、データ群813を出力する。
制御情報付加部814は、データ群813を入力とし、第1の制御情報702を付加し、誤り検出符号付きのパケット815を出力する。
第4の方法:
図7に示しているように、データ704を図4、図5における誤り検出符号付加前のパケットとする。したがって、データ704は誤り訂正符号化(符号化部406、または、符号化部504)の入力となる。一方、第1の制御情報702と第2の制御情報703、および、誤り検出符号の例となるCRC701が、データ704に付加され、誤り検出符号付きパケットとなる。
なお、誤り訂正符号化によって得られるパケットの数が、例えば、32となっていた場合、パケットのIDとしては、0から31のいずれかの値をとることになる。
このとき、図4、図5の誤り検出符号付加部408、410、508の前後いずれかに、制御情報付加部が必要となる。その構成を図8に示す。
図8の800は、制御情報付加部が誤り検出符号付加部の前段にある場合の構成の一例を示している。第4の方法の場合、制御情報付加部802は、データ704(801に相当)を入力とし、第1の制御情報702、第2の制御情報703を付加し、データ群803を出力する。
誤り検出符号付加部804は、データ群803を入力とし、CRC601を付加し、誤り検出符号付きのパケット805を出力する。
図8の810は、制御情報付加部が誤り検出符号付加部の後段にある場合の構成の一例を示している。第4の方法の場合、誤り検出符号付加部812は、データ704(811に相当)を入力とし、CRC601を付加し、データ群813を出力する。
制御情報付加部814は、データ群813を入力とし、第1の制御情報702、第2の制御情報703を付加し、誤り検出符号付きのパケット815を出力する。
上述では、説明していないが、各パケット、または、一部のパケットに、時刻に関する情報が含まれていてもよい。このとき、すべてのパケットに時刻に関する情報が含まれていてもよいし、ある特定のパケットに時刻に関する情報が含まれていてもよい。
また、放送局が送信する変調信号の中に、時刻に関する情報が含まれていてもよい。このとき、パケットやフレームにおいて、パケットまたはフレームすべてに時刻に関する情報が含まれていてもよいし、ある特定のパケットやフレームに時刻に関する情報が含まれていてもよい。
電気通信回線業者が送信するパケットに含まれる時刻に関する情報と放送局が送信する変調信号に含まれる時刻に関する情報を、端末は用いて、電気通信回線業者が送信した映像と放送局が送信した映像の時間的な同期をとり、端末が具備する表示部に、同期した2つの映像を表示することができ、視聴者に不快感を与える可能性が低くなる。
この点については、上記で説明したとおりで、電気通信回線業者が送信する情報の中には、時刻に関する情報が含まれており、また、放送業者が送信する情報の中にも時刻に関する情報が含まれており、これらの情報を活用することで、第1の映像と第2の映像のデコード、表示の時間的な同期を、端末は行うことができる。また、本実施の形態で述べているパケットレベルに誤り訂正復号のタイミングの調整についても、これらの時刻に関する情報を活用することができる。
なお、上述では、「パケット」という語句を用いているが、「フレーム」「ブロック」など、別の呼び方をしてもよく、「パケット」、「フレーム」「ブロック」などは、複数のビットで構成されていることになる。
また、放送局が送信する変調信号は、必ずしもパケットをベースとするデータ構造である必要はない(パケットをベースとしてもよい。ただし、パケット長、制御情報の構成は、電気通信業者が送信するパケットの構成と同一であってもよいし、同一でなくてもよい)。
次に、放送局と電気通信回線業者が送信するパケットのタイミングと、端末が、放送局が送信したパケットと電気通信業者が送信したパケットを受信したときの受信状況を説明する。なお、以下の説明では、放送局はパケットを送信するとしているが、必ずしもパケットという単位で、情報を伝送しなければならないというわけではなく、フレーム単位であってもよいし、ストリームであってもよい。説明を簡略化するために、パケット単位で情報を伝送する例で説明する。
図9の900は、同一時刻の別アングルの2つ映像の情報を放送局と電気通信回線業者が送信する時の例を示している。なお、図9において、横軸は時間とする。放送局は第1の映像のデータを送信し、電気通信回線業者は第2の映像のデータを送信するものとする(第1の映像と第2の映像は、別アングルの同一時刻の映像であるものとする)。
図9に示すように、第1の映像は、パケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」で構成されているものとし、第2の映像は、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」で構成されているものとする。
なお、第1の映像は、パケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」だけで構成されているわけではなく、以降も同様に、放送局はパケットを送信する。(ただし、図9では、この点については記載していない。)そして、第2の映像は、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」だけで構成されているわけではなく、以降も同様に、電気通信回線業者はパケットを送信する(ただし、図9では、この点については記載していない)。
図9の900は放送局、および、電気通信回線業者がパケットを送信する状況を示しており、放送局はパケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」を送信し、電気通信回線業者はパケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を送信するものとする。
このとき、図9に示す時刻T1から送信するパケット「#1」およびパケット「$1」が、同一時刻の映像を含んだパケットであるものとし、放送局および電気通信回線業者は、パケットの送信しているものとする。
図9の910は、端末がパケットを受信している様子を示している。放送局が送信したパケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」は、端末に同一の順番で、放送局がパケットを連続的に送信していれば、連続的に届くことになる。したがって、図9のように端末は、パケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」を受信することになり、時点R1で受信が完了することになる。
前にも記載したとおり、電気通信回線業者は、端末に対し、TCP(TCP/IP)、または、UDPを用いてパケットを送信している。したがって、図9の900に示すように、同一時刻の別アングルの2つ映像の情報を放送局と電気通信回線業者が送信しても、図9の910に示すように、電気通信回線業者が送信したパケットは、パケットの到達の遅延、パケットの到達の順序の入れ替えが発生する。その様子を図9の910に示している。このように、放送局が送信したパケットの端末に到達する方法を、端末は予測が容易であるが、電気通信回線業者が送信したパケットの到達予想を端末が行うのが難しい。
例えば、図9の910のようにパケットを受信した場合、端末が放送局の最終パケットを受信完了した時刻をR1、端末が電気通信回線業者の最終パケットを受信完了した時刻をR2とすると、多くのケースでは、R1<R2となる。
ところで、第1の映像と第2の映像は同一時刻の別アングルの2つ映像であるので、第1の映像と第2の映像が図3の端末が具備している表示部384において、同期して表示されないと、視聴者は違和感を抱く可能性が高い。例えば、第1の映像がサッカーの全体アングル、第2の映像が個別の選手のアングルだとした場合、第1の映像がサッカーの全体アングルで選手Aがシュートをしている瞬間であるのに対し、第2の映像では、すでにゴールが決まっている瞬間であると、視聴者は不満を抱く可能性が高い。
時刻R1の時点で、第1の映像のデコード、および、第2映像のデコードのを行った場合、第1の映像は端末で表示されるが、第2の映像は、パケット「$1」、パケット「$3」、パケット「$6」が届いていないため、端末は、乱れの少ない第2の映像を表示するのが難しい。
時刻R2時点で、第1の映像のデコード、および、第2映像のデコードのを行った場合、端末は、第1の映像と第2の映像の表示を同期させるために、第1の映像を表示する時刻を遅延させる必要がある。したがって、第1の映像のデータの遅延分の記憶部(バッファ)が必要となる。このとき、遅延量が小さい場合(または、ある程度の許容範囲内)であれば、この方法でもよいが、TCP(TCP/IP)、または、UDPの場合、遅延量は一定でなく、また、さらに無線LANなどを介して端末はパケットを得ている場合、遅延量がさらに大きくなる可能性がある。よって、この方法で、乱れを少なく第1の映像と第2の映像の表示を同期させる場合、端末の記憶部の規模を大きくする必要がある。この点を考慮すると、端末が、デコードの開始時刻を遅延させる方法を採用した場合、遅延時間を短くしても、映像の乱れを少なくできる手法の導入が望まれる。
上記課題に対する一つの方法として、図10のような送信方法を提案する。図10の1000は、同一時刻の別アングルの2つの映像の情報を放送局と電気通信回線業者が送信する例を示しており、横軸は時間とする。図9の900と異なる点は、電気通信回線業者が送信するパケットの端末への到着遅延を考慮し、放送局が送信するパケットを遅延させている点である。図10において、電気通信回線業者は、時刻T1からパケットの送信を開始する。そして、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を順次送信する。
よって、図2のパケット(またはフレーム)処理部202、222は、生成したパケットを遅延して送信するためのパケット(またはフレーム)蓄積機能を有し、蓄積容量分遅延して、パケットまたはフレームを送信することができる。
そして、放送局は、時刻T2(T1≠T2ここでは、T1<T2としているが、T1>T2となることも考えられる。)からパケットの送信を開始する。そして、パケット「#1」、パケット「#2」、パケット「#3」、パケット「#4」、パケット「#5」、パケット「#6」、パケット「#7」を順次送信する。
図11は、放送局および電気通信回線業者がパケットを図10のように送信したときの端末のパケットの受信状況の例(1100)を示している。
図11において、端末は、図9のときと同様に、放送局が送信したパケット「#1」から「#7」を受信することになる。このとき、すべてのパケットを受信完了する時刻をR2とする。
そして、端末は、電気通信回線業者が送信したパケットを受信することになる。このとき、電気通信回線業者が送信したパケットすべてを端末が受信完了する時刻をR1とする。すると、図10のように送信しているため、図11の例では、R1<R2が成立している。他の例を考えた場合、「放送局が送信したパケットを、端末がすべて受信完了する時点」と「電気通信回線業者が送信したパケットを、端末がすべて受信完了する時点」の差は、図9のようにパケットを送信する場合と比較して、小さくすることができる可能性が高い。したがって、端末は、パケット蓄積・記憶するための回路規模が削減できる可能性がある。なお、図11の場合、時刻R2の時点で、第1の映像と第2の映像のデコードを開始すればよいことになる。しかし、放送局や電気通信回線業者は、パケットを遅延送信するためのパケット蓄積部が必要となり、回路規模の増大につながる。
端末は実際には複数(非常に多い)存在しているため、放送局や電気通信回線業者の送信局の回路規模の増大に比べ、端末の回路規模の増大は、トータルの回路規模の増大という点では、課題が大きいことになる。したがって、上述の方法は、回路規模の増大を抑えながら、映像の乱れを抑制できる有効な方法である。
ただし、必ず映像に乱れが発生しないというわけではない。例えば、図12のように端末が受信する、つまり、図9の910のように、電気通信回線業者が送信したパケットを端末は遅延して受信することがある。このとき、図9のときと比較すると、「放送局が送信したパケットを、端末がすべて受信完了する時点」と「電気通信回線業者が送信したパケットを、端末がすべて受信完了する時点」の差は、小さくなっているが、パケット「$3」、パケット「$7」をロスしている時点で、第1の映像と第2の映像を同期して表示するために、第2の映像のデコードを開始した場合、やはり、第2の映像の乱れが発生する。
さらに、第2の映像の乱れの課題を軽減するために、送信側で、遅延量を制御することにより実現することができる。
例えば、図3の端末の信号処理部380は、放送局が送信したパケットと同時刻の電気通信回線業者が送信したパケットの到達時間の差(または、その統計情報)に関する情報を求め時間差情報399として出力する。そして、時間差情報399は、端末が具備する送信装置から、例えば、電気通信回線業者に送信する。
図2の電気通信回線業者の送信装置250は受信部を具備し、端末が送信した時間差情報を取得する(図2の299)。そして、パケット(またはフレーム)処理部202、222は、時間差情報299を入力とし、パケットまたはフレーム記憶部の量を変化させることで、送信するタイミングを制御し、遅延量を制御したパケット、または、フレームを出力することになる。
なお、図2において、放送局240は、端末ごとに遅延量を制御することは難しい。(マルチキャストのため)したがって、電気通信回線業者の送信装置250のパケット(またはフレーム)処理部222が各端末に対する遅延量を制御することになる。ただし、電気通信回線業者の送信装置250は、各端末に対し個別にパケットを送信していない場合、つまり、マルチキャストしている場合は、放送局240が遅延時間(パケットの送信タイミング)の制御を行ってもよいし、電気通信回線業者が遅延時間(パケットの送信タイミング)を制御してもよい。
「パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号を電気通信回線業者の送信装置は使用する(パケットレベルでの誤り訂正符号化)」場合について説明する。
電気通信回線業者は、16384×4=65536ビットで構成された第2の映像の情報を伝送したいものとする。このとき、1パケットを構成する情報のビット数を16384ビットとする。(これに加え、上述で説明したように制御情報を別途伝送するものとする。)すると、65536/16384=4パケットを得ることができる情報ビットとなる。このとき、図4、図5で説明したように、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号(パケットレベルでの誤り訂正符号化)を行うものとする。このとき使用する誤り訂正符号は、符号長114688ビット、符号化率4/7であるものとする。
誤り訂正符号が組織符号の場合、例えば、図4のようなパケット生成を行い、誤り訂正符号が非組織符号の場合、例えば、図5のようなパケット生成を行うことになる。このとき、65536ビットで構成された第2の映像の情報に対し、図4、図5のいずれかの符号化を行うと、7つのパケットが生成される(1パケットを構成する情報のビット数を16384ビットであるので)。このときの7つのパケットを、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」とするものとする。このとき、符号化前の情報のビット数より多い数、つまり、5パケット以上端末が受信できれば、すべてのパケットを復元することができる。よって、前述のとおり、例えば、図9の901のように放送局および電気通信回線業者がパケットを送信するものとする(詳細の説明については、上述で説明したとおりであるので省略する)。
このとき、図3の端末のパケットの受信状況は、図13のとおりであるものとする。そして、図13の時点Rcにおいて、パケットレベルでの誤り訂正符号の復号を行うものとする。(つまり、図3の端末のパケット(またはフレーム)処理部315、358は、記憶部(バッファ)を有しており、端末が、放送局のパケット(またはフレーム)を受信した際、パケット(またはフレーム)処理部315は、パケットまたはフレームのデータを順次記憶し、データの処理を遅延させる。すると、パケットすべてを受信完了し、ある期間すぎ、電気通信回線業者が送信したパケットに対し、パケットレベルでの誤り訂正復号を行うことになる)。
図13の時点Rcでは、パケット「$3」、パケット「$6」を端末はロスしていることになる。(ただし、図13ではわかりやすくするため、図示している。)しかし、前述にも記載したように、端末が5パケット以上を得ているので、すべてのパケット、つまり、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を得ることができる。
したがって、端末は、時点Rcを過ぎたところで、第1の映像のデコード、第2の映像のデコードを行うことで、第1の映像、および、第2の映像を得ることができ、したがって、端末は、第1の映像と第2の映像を同期して表示部に表示することができる。よって、第2の映像のすべてのパケットを得ることができる図13に示す時点R2まで、端末は、待つ必要がなくなる。
以上のように実施することで、端末は第2の映像のすべてのパケットを得るための待機時間が短くなるため、第1映像のパケットまたはフレームのデータを蓄積するための記憶部の回路規模が大幅に削減することができるという効果が得られる。さらに、これまでは、第2の映像のパケットロスにより、端末において、映像の乱れが発生していたが、規定以内のパケットロスが発生しても、映像の乱れが発生しないという効果も得ることができる。
なお上述の説明で、「図9の901のように放送局および電気通信回線業者がパケットを送信する」としていたが、例えば、図10のように同一時刻の第1の映像のパケット(またはフレーム)と同一時刻の第2の映像のパケットを、時間差をあけて放送局と電気通信回線業者が送信してもよい。このとき、やはり、上述で説明した、図13のように端末が、放送局および電気通信回線業者が送信したパケット(またはフレーム)を受信することになることがある。この場合についても、時点Rcでは、パケット「$3」、パケット「$6」を端末はロスしていることになるが、前述にも記載したように、端末が5パケット以上を得ているので、すべてのパケット、つまり、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を得ることができる。
したがって、端末は、時点Rcを過ぎたところで、第1の映像のデコード、第2の映像のデコードを行うことで、第1の映像、および、第2の映像を得ることができ、したがって、端末は、第1の映像と第2の映像を同期して表示部に表示することができる。よって、第2の映像のすべてのパケットを得ることができる図13に示す時点R2まで、端末は、待つ必要がなくなる。
次に、図3の端末のパケット(またはフレーム)処理部358の動作について説明する。図14が端末のパケット(またはフレーム)処理部358の処理のフローチャートの一例を示している。
例えば、図13の時点Rcを特定の時刻とする。すると、まず、以下の確認をする。
(1)「特定の時刻(時点Rc)前に、端末は(電気通信回線業者が送信したパケットのうち)(映像デコードを実行するための)すべてのパケット(または、映像デコードを実行するのに必要なパケット)の受信が完了しているか?」
「はい」の場合、パケットレベルの符号化に組織符号を用いている場合、端末は、電気通信回線業者が送信したパケットに対し、パケットレベル復号を行わない。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能であるので、デコードを開始してもよい。パケットレベルの符号化に非組織符号を用いている場合、端末は、電気通信回線業者が送信したパケットに対し、パケットレベルの復号を行う。(なお、パケットレベルの復号は、時点Rcの時点で開始してもよいし、その前で、開始してもよい。)そして、端末は、第1の映像、第2の映像のデコードを開始することが可能であるので、デコードを開始してもよい。
「いいえ」の場合、以下にすすむ。
(2)「特定の時刻(時点Rc)において、端末は(電気通信回線業者が送信したパケットのうち)必要な数のパケット数(ここでは5パケット)以上のパケットを受信しているか?」
「いいえ」の場合、端末は、パケットレベルの復号を行っても、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができないので、パケットレベルの復号を実施しない。
「はい」の場合、端末はパケットレベルの復号を行うと、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができるので、パケットレベルの復号を実施する。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能でありので、デコードを開始する。
なお、図14の簡略化した、図15を実施してもよい。(図15では、特定の時刻(時点Rc)前での判断は行わないことを特徴としている)。
・「特定の時刻(時点Rc)において、端末は(電気通信回線業者が送信したパケットのうち)必要な数のパケット数(ここでは5パケット)以上のパケットを受信しているか?」
「いいえ」の場合、端末は、パケットレベルの復号を行っても、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができないので、パケットレベルの復号を実施しない。
「はい」の場合、端末はパケットレベルの復号を行うと、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができるので、パケットレベルの復号を実施する。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能でありので、デコードを開始する。
ただし、上述では、放送局で、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号の導入についての説明を行っていないが、導入しても同様に実施することができる。
次に、放送局が送信する変調信号のフレーム単位に対し、上述の説明を適用したときの実施について説明する。
図16の1600は、同一時刻の別アングルの2つの映像情報を放送局と電気通信回線業者が送信する時の例を示している。なお、図16において、横軸は時間とする。このとき、放送局は第1の映像データを送信し、電気通信回線業者は第2の映像のデータを送信するものとする(第1の映像と第2の映像は、別アングルの同一時刻の映像であるものとする)。
図16の1600が図9の900と異なる点は、放送局が送信する第1の映像は、放送局が無線による送信方法、有線による送信方法を適用したときの変調信号のフレーム単位で考えている点である。
図16の1600に示すように第1の映像は、フレーム「※1」で構成されているものとし、第2の映像は、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」で構成されているものとする。
なお、第1の映像は、フレーム「※1」だけで構成されているわけではなく、以降も同様に、放送局はフレームを送信する。(ただし、図16では、この点については記載していない。)そして、第2の映像は、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」だけで構成されているわけではなく、以降も同様に、電気通信回線業者はパケットを送信する(ただし、図9では、この点については記載していない)。
このとき、図16に示す時刻T1から送信するフレーム「※1」およびパケット「$1」が、同一時刻の映像を含んでいるものとし、放送局および電気通信回線業者は、フレーム、パケットの送信しているものとする。
図16の1610は、端末がフレーム、パケットを受信している様子を示している。放送局が送信したフレーム「※1」を受信することになる。このとき、端末は、時点R1で受信が完了することになる。
前にも記載したとおり、電気通信回線業者は、端末に対し、TCP(TCP/IP)、または、UDPを用いてパケットを送信している。したがって、図16の1600に示すように、同一時刻の別アングルの2つ映像の情報を放送局と電気通信回線業者が送信しても、図16の1610に示すように、電気通信回線業者が送信したパケットは、パケットの到達の遅延、パケットの到達の順序の入れ替えが発生する。その様子を図16の1610に示している。このように、放送局が送信したパケットの端末に到達する方法を、端末は予測が容易であるが、電気通信回線業者が送信したパケットの到達予想を端末が行うのが難しい。
例えば、図16の1610のようにパケットを受信した場合、端末が放送局の最終パケットを受信完了した時刻をR1、端末が電気通信回線業者の最終パケットを受信完了した時刻をR2とすると、多くのケースでは、R1<R2となる。
ところで、第1の映像と第2の映像は同一時刻の別アングルの2つ映像であるので、第1の映像と第2の映像が図3の端末が具備している表示部384において、同期して表示されないと、視聴者は違和感を抱く可能性が高い。例えば、第1の映像がサッカーの全体アングル、第2の映像が個別の選手のアングルだとした場合、第1の映像がサッカーの全体アングルで選手Aがシュートをしている瞬間であるのに対し、第2の映像では、すでにゴールが決まっている瞬間であると、視聴者は不満を抱く可能性が高い。
時刻R1の時点で、第1の映像のデコード、および、第2映像のデコードのを行った場合、第1の映像は端末で表示されるが、第2の映像は、パケット「$1」、パケット「$3」、パケット「$6」が届いていないため、端末は、乱れの少ない第2の映像を表示するのが難しい。
時刻R2時点で、第1の映像のデコード、および、第2映像のデコードのを行った場合、端末は、第1の映像と第2の映像の表示を同期させるために、第1の映像を表示する時刻を遅延させる必要がある。したがって、第1の映像のデータの遅延分の記憶部(バッファ)が必要となる。このとき、遅延量が小さい場合(または、ある程度の許容範囲内)であれば、この方法でもよいが、TCP(TCP/IP)、または、UDPの場合、遅延量は一定でなく、また、さらに無線LANなどを介して端末はパケットを得ている場合、遅延量がさらに大きくなる可能性がある。よって、この方法で、乱れを少なく第1の映像と第2の映像の表示を同期させる場合、端末の記憶部の規模を大きくする必要がある。この点を考慮すると、端末が、デコードの開始時刻を遅延させる方法を採用した場合、遅延時間を短くしても、映像の乱れを少なくできる手法の導入が望まれる。
上記課題に対する一つの方法として、図17のような送信方法を提案する。図17の1700は、同一時刻の別アングルの2つの映像の情報を放送局と電気通信回線業者が送信する例を示しており、横軸は時間とする。図16の1600と異なる点は、電気通信回線業者が送信するパケットの端末への到着遅延を考慮し、放送局が送信するフレームを遅延させている点である。図17において、電気通信回線業者は、時刻T1からパケットの送信を開始する。そして、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を順次送信する。
よって、図2のパケット(またはフレーム)処理部202、222は、生成したパケットを遅延して送信するためのパケット(またはフレーム)蓄積機能を有し、蓄積容量分遅延して、パケットまたはフレームを送信することができる。
そして、放送局は、時刻T2(T1≠T2ここでは、T1<T2としているが、T1>T2となることも考えられる。)からフレームの送信を開始する。そして、フレーム「※1」を送信する。
図18は、放送局および電気通信回線業者がパケットを図17のように送信したときの端末のパケットの受信状況の例(1800)を示している。
図18において、端末は、図16のときと同様に、放送局が送信したフレーム「※1」を受信することになる。このとき、受信完了する時刻をR2とする。
そして、端末は、電気通信回線業者が送信したパケットを受信することになる。このとき、電気通信回線業者が送信したパケットすべてを端末が受信完了する時刻をR1とする。すると、図17のように送信しているため、図19の例では、R1<R2が成立している。他の例を考えた場合、「放送局が送信したパケットを、端末がすべて受信完了する時点」と「電気通信回線業者が送信したパケットを、端末がすべて受信完了する時点」の差は、図16のようにパケットを送信する場合と比較して、小さくすることができる可能性が高い。したがって、端末は、パケット蓄積・記憶するための回路規模が削減できる可能性がある。なお、図19の場合、時刻R2の時点で、第1の映像と第2の映像のデコードを開始すればよいことになる。しかし、放送局や電気通信回線業者は、パケットを遅延送信するためのパケット蓄積部が必要となり、回路規模の増大につながる。
端末は実際には複数(非常に多い)存在しているため、放送局や電気通信回線業者の送信局の回路規模の増大に比べ、端末の回路規模の増大は、トータルの回路規模の増大という点では、課題が大きいことになる。したがって、上述の方法は、回路規模の増大を抑えながら、映像の乱れを抑制できる有効な方法である。
ただし、必ず映像に乱れが発生しないというわけではない。例えば、図19のように端末が受信する、つまり、図16の1610のように、電気通信回線業者が送信したパケットを端末は遅延して受信することがある。このとき、図16のときと比較すると、「放送局が送信したパケットを、端末がすべて受信完了する時点」と「電気通信回線業者が送信したパケットを、端末がすべて受信完了する時点」の差は、小さくなっているが、パケット「$3」、パケット「$7」をロスしている時点で、第1の映像と第2の映像を同期して表示するために、第2の映像のデコードを開始した場合、やはり、第2の映像の乱れが発生する。
さらに、第2の映像の乱れの課題を軽減するために、送信側で、遅延量を制御することにより実現することができる。
例えば、図3の端末の信号処理部380は、放送局が送信したフレームと同時刻の電気通信回線業者が送信したパケットの到達時間の差(または、その統計情報)に関する情報を求め時間差情報399として出力する。そして、時間差情報399は、端末が具備する送信装置から、例えば、電気通信回線業者に送信する。
図2の電気通信回線業者の送信装置250は受信部を具備し、端末が送信した時間差情報を取得する(図2の299)。そして、パケット(またはフレーム)処理部202、222は、時間差情報299を入力とし、パケットまたはフレーム記憶部の量を変化させることで、送信するタイミングを制御し、遅延量を制御したパケット、または、フレームを出力することになる。
なお、図2において、放送局240は、端末ごとに遅延量を制御することは難しい。(マルチキャストのため)したがって、電気通信回線業者の送信装置250のパケット(またはフレーム)処理部222が各端末に対する遅延量を制御することになる。ただし、電気通信回線業者の送信装置250は、各端末に対し個別にパケットを送信していない場合、つまり、マルチキャストしている場合は、放送局240が遅延時間(パケットの送信タイミング)の制御を行ってもよいし、電気通信回線業者が遅延時間(パケットの送信タイミング)を制御してもよい。
「パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号を電気通信回線業者の送信装置は使用する(パケットレベルでの誤り訂正符号化)」場合について説明する。
電気通信回線業者は、16384×4=65536ビットで構成された第2の映像の情報を伝送したいものとする。このとき、1パケットを構成する情報のビット数を16384ビットとする。(これに加え、上述で説明したように制御情報を別途伝送するものとする。)すると、65536/16384=4パケットを得ることができる情報ビットとなる。このとき、図4、図5で説明したように、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号(パケットレベルでの誤り訂正符号化)を行うものとする。このとき使用する誤り訂正符号は、符号長114688ビット、符号化率4/7であるものとする。
誤り訂正符号が組織符号の場合、例えば、図4のようなパケット生成を行い、誤り訂正符号が非組織符号の場合、例えば、図5のようなパケット生成を行うことになる。このとき、65536ビットで構成された第2の映像の情報に対し、図4、図5のいずれかの符号化を行うと、7つのパケットが生成される(1パケットを構成する情報のビット数を16384ビットであるので)。このときの7つのパケットを、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」とするものとする。このとき、符号化前の情報のビット数より多い数、つまり、5パケット以上端末が受信できれば、すべてのパケットを復元することができる。よって、前述のとおり、例えば、図16の1601のように放送局および電気通信回線業者がフレーム、パケットを送信するものとする(詳細の説明については、上述で説明したとおりであるので省略する)。
このとき、図3の端末のパケットの受信状況は、図20のとおりであるものとする。そして、図20の時点Rcにおいて、パケットレベルでの誤り訂正符号の復号を行うものとする。(つまり、図3の端末のパケット(またはフレーム)処理部315、358は、記憶部(バッファ)を有しており、端末が、放送局のフレームを受信した際、パケット(またはフレーム)処理部315は、フレームのデータを順次記憶し、データの処理を遅延させる。すると、フレームを受信完了し、ある期間すぎ、電気通信回線業者が送信したパケットに対し、パケットレベルでの誤り訂正復号を行うことになる)。
図20の時点Rcでは、パケット「$3」、パケット「$6」を端末はロスしていることになる。(ただし、図20ではわかりやすくするため、図示している。)しかし、前述にも記載したように、端末が5パケット以上を得ているので、すべてのパケット、つまり、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を得ることができる。
したがって、端末は、時点Rcを過ぎたところで、第1の映像のデコード、第2の映像のデコードを行うことで、第1の映像、および、第2の映像を得ることができ、したがって、端末は、第1の映像と第2の映像を同期して表示部に表示することができる。よって、第2の映像のすべてのパケットを得ることができる図20に示す時点R2まで、端末は、待つ必要がなくなる。
以上のように実施することで、端末は第2の映像のすべてのパケットを得るための待機時間が短くなるため、第1映像のフレームのデータを蓄積するための記憶部の回路規模が大幅に削減することができるという効果が得られる。さらに、これまでは、第2の映像のパケットロスにより、端末において、映像の乱れが発生していたが、規定以内のパケットロスが発生しても、映像の乱れが発生しないという効果も得ることができる。
なお上述の説明で、「図16の1601のように放送局および電気通信回線業者がフレーム、パケットを送信する」としていたが、例えば、図17のように同一時刻の第1の映像のフレームと同一時刻の第2の映像のパケットを、時間差をあけて放送局と電気通信回線業者が送信してもよい。このとき、やはり、上述で説明した、図20のように端末が、放送局および電気通信回線業者が送信したパケット(またはフレーム)を受信することになることがある。この場合についても、時点Rcでは、パケット「$3」、パケット「$6」を端末はロスしていることになるが、前述にも記載したように、端末が5パケット以上を得ているので、すべてのパケット、つまり、パケット「$1」、パケット「$2」、パケット「$3」、パケット「$4」、パケット「$5」、パケット「$6」、パケット「$7」を得ることができる。
したがって、端末は、時点Rcを過ぎたところで、第1の映像のデコード、第2の映像のデコードを行うことで、第1の映像、および、第2の映像を得ることができ、したがって、端末は、第1の映像と第2の映像を同期して表示部に表示することができる。よって、第2の映像のすべてのパケットを得ることができる図13に示す時点R2まで、端末は、待つ必要がなくなる。
次に、図3の端末のパケット(またはフレーム)処理部358の動作について説明する。図14が端末のパケット(またはフレーム)処理部358の処理のフローチャートの一例を示している。
例えば、図20の時点Rcを特定の時刻とする。すると、まず、以下の確認をする。
(1)「特定の時刻(時点Rc)前に、端末は(電気通信回線業者が送信したパケットのうち)(映像デコードを実行するための)すべてのパケット(または、映像デコードを実行するのに必要なパケット)の受信が完了しているか?」
「はい」の場合、パケットレベルの符号化に組織符号を用いている場合、端末は、電気通信回線業者が送信したパケットに対し、パケットレベル復号を行わない。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能であるので、デコードを開始してもよい。パケットレベルの符号化に非組織符号を用いている場合、端末は、電気通信回線業者が送信したパケットに対し、パケットレベルの復号を行う。(なお、パケットレベルの復号は、時点Rcの時点で開始してもよいし、その前で、開始してもよい。)そして、端末は、第1の映像、第2の映像のデコードを開始することが可能であるので、デコードを開始してもよい。
「いいえ」の場合、以下にすすむ。
(2)「特定の時刻(時点Rc)において、端末は(電気通信回線業者が送信したパケットのうち)必要な数のパケット数(ここでは5パケット)以上のパケットを受信しているか?」
「いいえ」の場合、端末は、パケットレベルの復号を行っても、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができないので、パケットレベルの復号を実施しない。
「はい」の場合、端末はパケットレベルの復号を行うと、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができるので、パケットレベルの復号を実施する。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能でありので、デコードを開始する。
なお、図14の簡略化した、図15を実施してもよい(図15では、特定の時刻(時点Rc)前での判断は行わないことを特徴としている)。
・「特定の時刻(時点Rc)において、端末は(電気通信回線業者が送信したパケットのうち)必要な数のパケット数(ここでは5パケット)以上のパケットを受信しているか?」
「いいえ」の場合、端末は、パケットレベルの復号を行っても、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができないので、パケットレベルの復号を実施しない。
「はい」の場合、端末はパケットレベルの復号を行うと、電気通信回線業者が送信したパケットのうち、ロスしているパケットを復元することができるので、パケットレベルの復号を実施する。そして、端末は、第1の映像、第2の映像のデコードを開始することが可能でありので、デコードを開始する。
ただし、上述では、放送局で、パケットまたはフレーム損失が発生した際に復元を可能とする誤り訂正符号の導入についての説明を行っていないが、導入しても同様に実施することができる。
なお、本実施の形態において、処理単位をパケットや、フレーム単位で説明しているが、これに限ったものではない。また、記憶部による遅延の発生は、フレームやパケット単位でなくてもよく、また、遅延時間は、複数フレーム単位の時間間隔や複数パケット単位の時間間隔で発生させてもよい。
上述の説明における図2の放送局と電気通信回線業者が保有する送信装置におけるパケット(またはフレーム処理部)202、222の構成について説明する。
図21は、図2の放送局と電気通信回線業者が保有する送信装置におけるパケット(またはフレーム)処理部202、222の構成の一例を示している。
パケット、または、フレーム生成部2102は、映像および/または音声(オーディオ)の情報2101、制御信号2105を入力とする。そして、パケット、または、フレーム生成部2102は、制御信号2105に基づく処理を行うことになる。例えば、パケットレイヤーの誤り訂正符号化を行う場合、パケット、または、フレーム生成部2102は、映像および/または音声(オーディオ)の情報2101に対し、図4,図5で示したような処理を行い、パケット化、または、フレーム化したデータ2103を出力する。また、パケット化、フレーム化する場合、パケット、または、フレーム生成部2102は、映像および/または音声(オーディオ)の情報2101に対し、パケット化またはフレーム化を行い、パケット化、または、フレーム化したデータ2103を出力する。
記憶部2104は、パケット化、または、フレーム化したデータ2103、制御信号2105を入力とし、制御信号2105に基づいて、パケット化、または、フレーム化したデータ2103を記憶し、遅延させ、遅延したパケット化、または、フレーム化したデータ2106を出力する。
なお、記憶部2104の構成の例は、図21に示したとおりで、記憶ブロックが直列に連接されており、記憶ブロックは、入力データ群を記憶し、その際、記憶しているデータ群を出力する、という動作を行うことになる。
次に、図3の端末におけるパケット(またはフレーム)処理部315、358の構成について説明する。
図22は、図3の端末におけるパケット(またはフレーム)処理部315、358において、パケットレイヤーの誤り訂正復号を行う場合の構成例を示している。なお、動作については、図20を例にして説明する。
誤り検出部(例えば、CRCチェック部)2202は、受信データ2201、制御信号2208を入力とする。
例えば、図20のように、パケットを受信している場合、誤り検出部(例えば、CRCチェック部)2202は、パケット「$2」に対し、誤り検出を行った結果、誤りがないので、パケット「$2」をパケット情報2203として出力する。
同様に、誤り検出部(例えば、CRCチェック部)2202は、パケット「$4」に対し、誤り検出を行った結果、誤りがないので、パケット「$4」をパケット情報2203として出力する。
また、誤り検出部(例えば、CRCチェック部)2202は、パケット「$5」に対し、誤り検出を行った結果、誤りがないので、パケット「$5」をパケット情報2203として出力する。
また、誤り検出部(例えば、CRCチェック部)2202は、パケット「$7」に対し、誤り検出を行った結果、誤りがないので、パケット「$7」をパケット情報2203として出力する。
また、誤り検出部(例えば、CRCチェック部)2202は、パケット「$1」に対し、誤り検出を行った結果、誤りがないので、パケット「$1」をパケット情報2203として出力する。
なお、前述で説明したように、時点Rcの時点でパケットレイヤーの復号を行ってしまうため、誤り検出部(例えば、CRCチェック部)2202は、パケット「$3」、パケット「$6」を受信したとしても、破棄することになる。
記憶部2204は、パケット情報2203、制御信号2208を入力とし、制御信号2208にもとづき、パケットの記憶、出力を制御することになる。
例えば、図20のような場合、パケット「$2」、パケット「$4」、パケット「$5」、パケット「$7」、パケット「$1」は、記憶部2204に入力されることになり、したがって、パケット「$2」、パケット「$4」、パケット「$5」、パケット「$7」、パケット「$1」を記憶する。そして、制御信号2208が時点Rcの時点を示したとき、記憶部2204に対し、記憶しているパケット「$2」、パケット「$4」、パケット「$5」、パケット「$7」、パケット「$1」を出力するように指示する。したがって、記憶部2204は、パケット「$2」、パケット「$4」、パケット「$5」、パケット「$7」、パケット「$1」を記憶しているパケット2205として出力する。
パケットレイヤー復号部(消失訂正復号部)2206は、記憶しているパケット2205、制御信号2208を入力とする。そして、制御信号2208が時点Rcの時点を示したとき、記憶部2204が出力したパケット「$2」、パケット「$4」、パケット「$5」、パケット「$7」、パケット「$1」を用いて、パケットレイヤー復号部(消失訂正復号部)2206は、消失訂正復号(例えば、誤り訂正符号として、LDPC(Low-Density Parity-Check)符号を用いていた場合、sum-product復号のような信頼度伝播復号)を実施する。このとき、パケットレイヤー復号部(消失訂正復号部)2206は、すべての情報を復元できるので、受信映像および/または音声(オーディオ)の情報2207を出力する。
なお、図2の放送局の送信において、パケットレイヤーの誤り訂正符号化を行った場合、図22の動作は上述と若干異なる。この点について、説明する。
放送局は、無線の伝送方式、有線の伝送方式を用いて、端末にパケット、または、フレームを送信することになるが、伝搬路の変動により、図3の端末で、物理層の誤り訂正復号を行っても、すべてのパケットが正しく受信できるわけではない。例えば、パケット「#1」は誤りなく受信でき、パケット「#2」は誤りを有する、パケット「#3」は誤りなく受信でき、・・・、というようになる。
このとき、図22の誤り検出部(例えば、CRCチェック部)2202は、誤り検出符号により、パケット単位で誤りがあるか、誤りがないか、を判別することになる。これにより、パケット「#1」は正しい、パケット「#2」は誤り、つまり、パケットロス、パケット「#3」は正しい、・・・、という判断を行うことになる。
そして、図22のパケットレイヤー復号部2208は、正しいパケットを用いて、誤り訂正復号(消失訂正復号)を行い、パケットロスしたパケットを復元し、受信映像および/または音声(オーディオ)の情報2207を出力する。
図2の放送局の送信において、パケットレイヤーの誤り訂正符号化を行っていない場合、図3のパケット(またはフレーム)処理部315の構成を図23に示す。なお、動作については、図20を例にして説明する。
記憶部2302は、受信データ2301、制御信号2304を入力とする。
例えば、図20のように、フレーム「※1」を端末が受信している場合、記憶部2302は、フレーム「※1」の受信データが入力となり、記憶することになる。そして、制御信号2304が、時点Rcであることを示したとき、記憶部2302は、記憶しているデータ(フレーム「※1」の受信データ)2303を出力することになる。
以上のように、本実施の形態では、マルチアングルの第1の映像と第2の映像に対し、放送局が第1の映像を送信し、電気通信回線業者が第2の映像を送信する際、第2の映像の伝送の際に、パケットレベルでの誤り訂正符号化を行う送信方法を説明し、これにより、端末は、同期した第1の映像と第2の映像を表示することができ、また、乱れが少ない映像となるという効果を得ることができる。
なお、本実施の形態において、端末の受信装置とアンテナが別々となっている構成であってもよい。例えば、アンテナで受信した信号、または、アンテナで受信した信号に対し、周波数変換を施した信号を、ケーブルを通して、入力するインターフェースを受信装置が具備し、受信装置はその後の処理を行うことになる。
また、受信装置が得たデータ・情報は、その後、映像や音に変換され、ディスプレイ(モニタ)に表示されたり、スピーカから音が出力されたりする。さらに、受信装置が得たデータ・情報は、映像や音に関する信号処理が施され(信号処理を施さなくてもよい)、受信装置が具備するRCA端子(映像端子、音用端子)、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、デジタル用端子等から出力されてもよい。
(実施の形態2)
本実施の形態では、放送局が複数存在する、または、放送局が複数の媒体を介して(例えば、衛星放送、地上放送、ケーブル放送)、情報を伝送する場合に対し、実施の形態1を適用した場合について説明する。
図24は、図1とは異なる放送局、電気通信回線業者、端末の関係の一例であり、図1と同様に動作するものについては、同一番号を付している。
図24において、特徴的な部分は、カメラ102Aで撮影したアングル(第1の映像)を、図1と同様の経路で放送局103は端末105に送信する方法(放送局103から端末105に向かう実線の矢印)に加え、これとは別の経路で放送局103は端末105に送信する方法(放送局103から端末105に向かう点線の矢印)、放送局103は中継器2401を介し、端末105に送信する方法があるものとする。図24では3つの経路が存在しているが、経路の個数はこれに限ったものではない。
図25は、図24と同様にカメラ102Aで撮影したアングル(第1の映像)を3つの経路で端末105に伝送する方法があるが、新たに、別の放送局2501を配置している。なお、図1、図24と同様に動作するものについては、同一番号を付している。
図25では、カメラ102Aで撮影したアングル(第1の映像)を、図1と同様の経路で放送局103は端末105に送信する方法(放送局103から端末105に向かう実線の矢印)に加え、これとは別の経路で放送局2501は端末105に送信する方法(放送局2501から端末105に向かう点線の矢印)、放送局2501は中継器2401を介し、端末105に送信する方法があるものとする。図25では3つの経路が存在しているが、経路の個数はこれに限ったものではない。
図26は、図24、図25の状態における放送局と電気通信回線業者が保有する送信装置の構成の一例を示しており、図2と同様に動作するものについては、同一番号を付している。したがって、電気通信回線業者が保有する送信装置250は、実施の形態1で説明した動作(パケットレベルの符号化を行う点、遅延送信をする点など)すべてを実施することができることになる。
送信装置2602は、第1の映像および/または音声(オーディオ)の情報2601、制御信号2603を入力とし、制御信号2603に基づき、送信方法を決定し、変調信号2604を出力し、変調信号2604はアンテナ2605から出力される。同様に、送信装置2612は、第1の映像および/または音声(オーディオ)の情報2601、制御信号2613を入力とし、制御信号2613に基づき、送信方法を決定し、変調信号2614を出力し、変調信号2614はアンテナ2615から出力される。
送信装置2622は、第1の映像および/または音声(オーディオ)の情報2601、制御信号2623を入力とし、制御信号2613に基づき、送信方法を決定し、変調信号2624を出力する。ただし、変調信号2624は有線で端末に伝送されるものとする。
このとき、送信装置2602、2612、2622は放送局に関連する送信装置である。なお、各送信装置の特徴的な動作については、後で説明する。
図27は、図26とは異なる、図24、図25における放送局と電気通信回線業者が保有する送信装置の構成の一例を示しており、図2、図26と同様に動作するものについては、同一番号を付している。
図27が、図26と異なる点は、第1の映像および/または音声(オーディオ)の情報がカメラ側から別々に送信装置2602、2612、2622に伝送される点であり、したがって、図27における2701、2712、2721はいずれも第1の映像および/または音声(オーディオ)の情報であり、送信装置2602、2612、2622の動作については、図26と同様となる。
このとき、送信装置2602、2612、2622は放送局に関連する送信装置である。
なお、各送信装置の特徴的な動作については、後で説明する。
図28は、端末の構成例を示しており、図3と同様に動作するものについては同一番号を付している。図28における351から359は、図3と同様、電気通信回線業者が送信したパケットを受信する部分の構成であり。実施の形態1で説明した動作(パケットレベルの復号を行う点、データを記憶する点など)を行うことになる。
図28の受信装置2803は、図26、図27の送信装置2602が送信した変調信号を受信するための装置、受信装置2813は、図26、図27の送信装置2612が送信した変調信号を受信するための装置、受信装置2823は、図26、図27の送信装置2622が送信した変調信号を受信するための装置となる。
受信装置2803は、アンテナ2801で受信した受信信号2802(図26、図27の送信装置2602が送信した変調信号の受信信号)を入力とし、受信信号に含まれる制御情報を抽出するとともに、復調、物理層の誤り訂正復号、(パケットレベルの誤り訂正符号化が行われている場合は、パケットレベルの復号)等の処理を施し、パケット(またはフレーム)処理後のデータ2704と制御情報信号2705を出力する。
同様に、受信装置2813は、アンテナ2811で受信した受信信号2812(図26、図27の送信装置2612が送信した変調信号の受信信号)を入力とし、受信信号に含まれる制御情報を抽出するとともに、復調、物理層の誤り訂正復号、(パケットレベルの誤り訂正符号化が行われている場合は、パケットレベルの復号)等の処理を施し、パケット(またはフレーム)処理後のデータ2714と制御情報信号2715を出力する。
受信装置2823は、接続部2821に接続されたケーブルなどからの受信信号2822(図26、図27の送信装置2622が送信した変調信号の受信信号)を入力とし、受信信号に含まれる制御情報を抽出するとともに、復調、物理層の誤り訂正復号、(パケットレベルの誤り訂正符号化が行われている場合は、パケットレベルの復号)等の処理を施し、パケット(またはフレーム)処理後のデータ2724と制御情報信号2725を出力する。
このとき、受信装置2803、2813、2823すべてが同時に動作しているとは限らない。例えば、端末のインターフェースとして、放送チャネルの選択部があれば、選択部を用いてユーザが設定したチャネルに関連する受信装置が動作することになる。これを実現するための信号が、選択信号2850であり、受信装置2803、2813、2823は、選択信号2850に基づき、動作するかどうかを決定することになる。
信号処理部380は、パケット(またはフレーム)処理後のデータ2804、2814、2824、制御情報信号2805、2815、2825、選択信号2850を入力とし、選択信号2850に基づき、有効となるパケット(またはフレーム)処理後のデータを選択することになる。
加えて、信号処理部380は、パケット(またはフレーム)処理後のデータ359、制御情報357を入力とし、有効となるパケット(またはフレーム)処理後のデータとパケット(またはフレーム)処理後のデータ359から表示部384に2つの映像を表示するためのデータを生成し、データ381を出力する。
なお、各受信装置の特徴的な動作については、後で説明する。
次に、図26、図27のように、第1の映像(および/または音声(オーディオ)の情報)を送信装置2602、2612、2622から送信するときの課題について説明する。なお、以下では、同一パケットを伝送したと仮定して説明するが、同一パケットではなく、送信装置2602、2612、2622が送信するパケットは異なる構成であってもよい。また、送信装置2602、2612、2622から送信する第1の映像のデータは、映像(オーディオ)符号化の方法、フレーム率、映像のサイズ(解像度)が異なっていてもよい。
図29は、図26、図27の送信装置2602、2612、2622が、第1の映像(および/または音声(オーディオ)の情報)に関するパケットを送信する状況の例を示している(図29の2900)。なお、図29において、横軸は時間である。
図26、図27の送信装置2602は、パケット「#0-1」、パケット「#0-2」、パケット「#0-3」、パケット「#0-4」、パケット「#0-5」、パケット「#0-6」、パケット「#0-7」、図26、図27の送信装置2612は、パケット「#1-1」、パケット「#1-2」、パケット「#1-3」、パケット「#1-4」、パケット「#1-5」、パケット「#1-6」、パケット「#1-7」、図26、図27の送信装置2622は、パケット「#2-1」、パケット「#2-2」、パケット「#2-3」、パケット「#2-4」、パケット「#2-5」、パケット「#2-6」、パケット「#2-7」を送信するものとする。
このとき、図26、図27の送信装置2602、送信装置2612、送信装置2622は、いずれも、時点T1から同一時刻のパケットを送信するものとする。
図30は、図26、図27の送信装置2602、2612、2622が図29のようにパケットを送信したときの、図28の端末がパケットを受信した様子を示している(図30の3000)。
図30に示すように、図28の受信装置2803がパケット「#0-7」を受信完了する時点をR1、図28の受信装置2813がパケット「#1-7」を受信完了する時点をR2、図28の受信装置2823がパケット「#2-7」を受信完了する時点をR3とする。このとき、R1、R2、R3は異なる値であり、それぞれの差は大きいことがある。なお、図30では、受信装置2803、2813、2823が同時に動作していると仮定しているが、実際には、同時に動作しなくてもよい。つまり、ユーザがチャネル(または送信媒体(地上放送、ケーブル放送、衛星放送))を選択した場合、それに対応する受信装置のみが動作することになる。
このとき、第1の映像(および/または音声(オーディオ)の情報)のみを端末が表示する場合は、問題はないが、実施の形態1で説明したように、第1の映像と第2の映像とを同期させて表示する場合、端末の回路規模という点で課題が発生する。
実施の形態1で説明したように、ユーザがマルチアングルの映像に対する違和感を感じないように、端末は、電気通信回線業者を介して伝送された第2の映像(および/または音声(オーディオ)の情報)と第1の映像(および/または音声(オーディオ)の情報)を時間的に同期させて、表示部に映像を表示させようとすることになる。このとき、ユーザがチャネル(または送信媒体(地上放送、ケーブル放送、衛星放送))を選択し、それに対応する受信装置のみが動作することになる。しかし、上記のように(図30参照)、ユーザ(端末)が選択するチャネルによって、第1の映像(および/または音声(オーディオ)の情報)のパケットの到達時間が大きく異なる。このため、特に、第2の映像のパケットの到達時間と大きく異なるチャネル(第1の映像を伝送しているチャネル)をユーザ(端末)が選択した場合、端末は、映像の同期をとるための記憶部の回路大きくなることになる。
この課題を解決するために、図30のパケットの到達の時間差を考慮し、図26、図27の第1の映像(および/または音声(オーディオ)の情報)を伝送する送信装置2602、2612、2622が、第1の映像(および/または音声(オーディオ)の情報)の情報を送信するタイミングを異なるようにする。その様子を図31に示す。
図31のように、図26、図27の送信装置2602は、時点T0に、第1の映像(および/または音声(オーディオ)の情報)のパケットの送信を開始する。そして、図26、図27の送信装置2612は、時点T1に、第1の映像(および/または音声(オーディオ)の情報)のパケットの送信を開始し、図26、図27の送信装置2622は、時点T2に、第1の映像(および/または音声(オーディオ)の情報)のパケットの送信を開始する。
図32は、図31のように、図26、図27の送信装置2602、2612、2622がパケットを送信したとき、図28の端末の受信装置にパケットが到達するときの様子を示している。
図32に示すように、図28の受信装置2823がパケット「#2-7」を受信完了する時点をZ1、図28の受信装置2823がパケット「#1-7」を受信完了する時点をZ2とする。このとき、図28の受信装置2803がパケット「#0-7」を時点Z1からZ2の間で受信するものとする。
図30と図32を比較すればわかるように、図31のように、第1の映像(および/または音声(オーディオ)の情報)のパケットを送信するタイミングを図26、図27の送信装置2602、2612、2622が調整したため、端末の受信装置2803、2813、2823にそれぞれ到達する第1の映像(および/または音声(オーディオ)の情報)のパケットの到達時間差が図30のときと比較して小さくなっている。これにより、端末の記憶部の回路規模を削減することができる効果を得ることができる。
つまり、端末の受信装置は、図26、図27の送信装置2602が送信する第1の映像(および/または音声(オーディオ)の情報)と第2の映像を時間的に同期させるのに、記憶部の回路を小さくすることができ、また、図26、図27の送信装置2612が送信する第1の映像(および/または音声(オーディオ)の情報)と第2の映像を時間的に同期させるのに、記憶部の回路を小さくすることができ、図26、図27の送信装置2622が送信する第1の映像(および/または音声(オーディオ)の情報)と第2の映像を時間的に同期させるのに、記憶部の回路を小さくすることができることになる。
なお、図32では、受信装置2803、2813、2823が同時に動作していると仮定しているが、実際には、同時に動作しなくてもよい。つまり、ユーザがチャネル(または送信媒体(地上放送、ケーブル放送、衛星放送))を選択した場合、それに対応する受信装置のみが動作することになる。
なお、図26、図27の送信装置2602が送信した第1の映像(および/または音声(オーディオ)の情報)と電気通信回線業者が送信した第2の映像のパケットを時間的に同期して表示するためのパケット処理、信号処理、復号処理については、実施の形態1で説明した方法と同様に実施することで実現することができる。第2の映像のパケットについては、パケットレベルの復号を行うことになり、その処理方法は、実施の形態1で説明したとおりである。
同様に、図26、図27の送信装置2612が送信した第1の映像(および/または音声(オーディオ)の情報)と電気通信回線業者が送信した第2の映像のパケットを時間的に同期して表示するためのパケット処理、信号処理、復号処理については、実施の形態1で説明した方法と同様に実施することで実現することができる。第2の映像のパケットについては、パケットレベルの復号を行うことになり、その処理方法は、実施の形態1で説明したとおりである。
また、図26、図27の送信装置2622が送信した第1の映像(および/または音声(オーディオ)の情報)と電気通信回線業者が送信した第2の映像のパケットを時間的に同期して表示するためのパケット処理、信号処理、復号処理については、実施の形態1で説明した方法と同様に実施することで実現することができる。第2の映像のパケットについては、パケットレベルの復号を行うことになり、その処理方法は、実施の形態1で説明したとおりである。
なお、実施の形態1でも説明したように、さらに、第2の映像の乱れの課題を軽減するために、送信側で、遅延量を制御してもよい。
例えば、図28の端末の信号処理部380は、各放送局(図26、図27に記載した送信装置2602、2612、2622)が送信したフレームと同時刻の電気通信回線業者が送信したパケットのそれぞれの到達時間の差(または、その統計情報)に関する情報を求め時間差情報399として出力する。そして、時間差情報399は、端末が具備する送信装置から、例えば、電気通信回線業者に送信する。
図26、図27の電気通信回線業者の送信装置250は受信部を具備し、端末が送信した時間差情報を取得する(図2の299)。そして、パケット(またはフレーム)処理部202、222は、時間差情報299を入力とし、パケットまたはフレーム記憶部の量を変化させることで、送信するタイミングを制御し、遅延量を制御したパケット、または、フレームを出力することになる。
なお、図26、図27において、各放送局(図26、図27に記載した送信装置2602、2612、2622)は、端末ごとに遅延量を制御することは難しい。(マルチキャストのため)したがって、電気通信回線業者の送信装置250のパケット(またはフレーム)処理部222が各端末に対する遅延量を制御することになる。ただし、電気通信回線業者の送信装置250は、各端末に対し個別にパケットを送信していない場合、つまり、マルチキャストしている場合は、各放送局(図26、図27に記載した送信装置2602、2612、2622)が遅延時間(パケットの送信タイミング)の制御を行ってもよいし、電気通信回線業者が遅延時間(パケットの送信タイミング)を制御してもよい。
別の方法として、放送局が送信したチャネルを、端末が自動選択してもよい。例えば、図26、図27のように、第1の映像(および/または音声(オーディオ)の情報)の情報を、送信装置2602、2612、2622が送信するものとする。自動選択を行うときの端末の構成を図33に示す。なお、図33において、図3、図28と同様に動作するものについては、同一番号を付しており、詳細の説明は、省略する。
図33において、信号処理部380は、受信装置2803が出力した第1の映像(および/または音声(オーディオ)の情報)のパケット(または、フレーム)と第2の映像のパケットの遅延時間、および、受信装置2813が出力した第1の映像(および/または音声(オーディオ)の情報)のパケット(または、フレーム)と第2の映像のパケットの遅延時間、および、受信装置2823が出力した第1の映像(および/または音声(オーディオ)の情報)のパケット(または、フレーム)と第2の映像のパケットの遅延時間に関する情報を含む信号3301を出力する。
遅延時間解析部3302は、信号3301を入力とし、第1の映像と第2の映像を時間的に同期して表示するのに適したパケット(2804、2814、2824)の情報3303を出力する。
選択部3306は、第1の映像と第2の映像を時間的に同期して表示するのに適したパケット(2804、2814、2824)の情報3303、ユーザが設定したチャネルの情報3304、制御信号3305を入力とし、制御信号3305により、第1の映像と第2の映像を時間的に同期して表示するのに適したパケット(2804、2814、2824)の情報3303、ユーザが設定したチャネルの情報3304のいずれかを選択し、選択信号3307として出力する。なお、制御信号3305により、第1の映像と第2の映像を時間的に同期して表示するのに適したパケット(2804、2814、2824)の情報3303が選択された場合、遅延時間解析部3302で解析した結果が反映することになる。
そして、受信装置2803、2813、2823は、選択信号3307に基づき、動作するかどうかの判定を行うことになる。
このようにすることで、「放送局が送信したチャネルを、端末が自動選択」が可能となる。
以上のように、本実施の形態では、マルチアングルの第1の映像と第2の映像に対し、放送局が第1の映像を送信し、電気通信回線業者が第2の映像を送信する際、第2の映像の伝送の際に、パケットレベルでの誤り訂正符号化を行うとともに、各放送局で、第1の映像の情報を送信するタイミングを制御する。さらに、端末は、第1の映像を入手する放送局を選択することが可能な機能を有する。これにより、端末は、同期した第1の映像と第2の映像を表示することができ、また、乱れが少ない映像となるという効果を得ることができる。
(実施の形態3)
実施の形態1、実施の形態2において、マルチアングルの第1の映像と第2の映像に対し、放送局が第1の映像を送信し、電気通信回線業者が第2の映像を送信する際、第2の映像の伝送の際に、パケットレベルでの誤り訂正符号化を行う送信方法について説明した。このとき、電気通信回線業者が、TCP(TCP/IP)、または、UDPによって、第2の映像のパケットを送信し、パケットの遅延、パケットの欠損の影響を少なくするために、パケットレベルの誤り訂正符号を導入している。
しかし、パケットレベルの誤り訂正符号を導入しても、パケットの遅延、パケットの欠損の影響は小さいながらあり、その際、映像に乱れが生じる。特に、端末が、無線LANやセルラー方式(cellular communication system)などの無線通信を介して、第2の映像のパケットを受信した場合、映像の乱れは大きくなる可能性があり、映像が乱れた際、視聴者は、不快に感じる可能性が高い。
本実施の形態では、この映像の乱れに対し、ユーザに与える不快感を低減する方法について説明する。
図34は、本実施の形態における放送局、電気通信回線業者、端末の関係の一例を示している。なお、図1と同様に動作するものについては同一番号を付している。図34において、101は現場を示しており、例として、野球場、サッカー場を考える。102A、102Bはカメラを示している。カメラ102A、102Bによって、例えば、異なるアングルの映像を撮影しているものとする。
このとき、カメラ102Aで撮影した「第1の映像および/または音声(オーディオ)の情報」を放送局103は受け取り、「第1の映像および/または音声(オーディオ)の情報」は、ケーブルなどの有線、または、無線を介して、端末105に伝送されるものとする。
そして、カメラ102Bで撮影した「第2の映像および/または音声(オーディオ)の情報」を放送局103は受け取り、「第2の映像および/または音声(オーディオ)の情報」は、電気通信回線業者104を介して、端末105に伝送されるものとする。
なお、「第2の映像および/または音声(オーディオ)の情報」は、放送局103を介さずに、電気通信回線業者104に直接伝送され、その後、端末105に伝送されてもよい。
さらに情報提供者3401は、放送局に対し情報を提供し、放送局は、この情報に基づいた情報を「第1の映像および/または音声(オーディオ)の情報」とあわせて端末に送信するものとする。
図35は、本実施の形態における、放送局と電気通信回線業者が送信するパケットの送信状況の例3500を示している。ただし、実施の形態2に示したように、複数の放送局が第1の映像のパケットを送信することができるが、図35では、一つの放送局の送信パケット(フレーム)しか示していないが、実施の形態2と同様に、複数の送信局が第1の映像パケットを送信する場合についても、以下で説明する内容を実施することは可能である。
実施の形態1、実施の形態2と同様に、放送局は、「第1の映像および/または音声(オーディオ)の情報」送信し、電気回線通信業者は、「第2の映像および/または音声(オーディオ)の情報」を送信するものとする。
図35において、放送局が送信する第1の映像のパケット群と電気通信回線業者が送信する第2映像のパケット群は、同一時間の映像であり、実施の形態1、実施の形態2で述べたように、端末は、時間的に同期させて、第1の映像と第2の映像を表示部に表示することになる。
そして、放送局は、第1映像のパケット群に加え、図35に示しているように、「文字情報(電文情報)」、および/または、「静止画情報」、および/または、「URL(Uniform Resource Locator)情報」を送信するものとする。この情報は、端末が第1の映像の情報を復元できず、これに伴い、第1の映像を表示部に表示するのが困難なときに用いられ、第1の映像の代わりとなる画面を端末の表示部に表示することになる。同様に、この情報は、端末が第2の映像の情報を復元できず、これに伴い、第2の映像を表示部に表示するのが困難なときに用いられ、第2の映像の代わりとなる画面を端末の表示部に表示することになる。
なお、図35では、放送局は、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」を送信しているが、すべての情報を送信しなくてもよく、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」のうちの一つの情報を送信してもよいし、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」のうちの二つの情報を送信してもよい。
また、これらの情報は、送信フレームのフレーム単位に常に含むものでなくてもよい、例えば、これらの情報を、複数のフレームごとに送信してもよい。したがって、これらの情報を送信するタイミングどのようなものであってもよい。
図36は、図35の情報を送信するときの、放送局と電気通信回線業者の送信装置の構成を示しており、図2と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2での説明と同様となるので、説明は省略する。
パケット(またはフレーム)処理部3602は、文字情報(電文情報)、および/または、静止画情報、および/または、URL情報3601、および、第1の制御信号211を入力とし、第1の制御信号211に基づいて、パケット化・フレーム化を行い、パケット(またはフレーム)処理後の情報3603を出力する。
物理層誤り訂正符号化部3604は、パケット(またはフレーム)処理後の情報3603、第1の制御信号211を入力とし、第1の制御信号211に含まれる物理層の誤り訂正符号化方式の情報に基づき、誤り訂正符号化を行い、誤り訂正符号化後のデータ3605を出力する。
変調部206は、誤り訂正符号化後のデータ205、3605、第1の制御信号211を入力とし、第1の制御信号211に含まれるフレーム構成に関する情報、変調方式・送信方法に関する情報に基づき、誤り訂正符号化後のデータ205、3605に対し、マッピングを施し、ベースバンド信号207を出力する。
図37は、図36のように送信した信号を受信する端末の受信装置の構成の一例を示しており、図3と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2での説明と同様となるので、説明は省略する。
復調部311は、ベースバンド信号304、同期信号306、チャネル推定信号308、制御情報信号310を入力とし、制御情報信号310に含まれるフレーム構成に関する情報、変調方式・送信方法に関する情報に基づき、同期信号306、チャネル推定信号308を用いて、ベースバンド信号304を復調し、対数尤度比信号312、および、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号3701」を出力する。
物理層誤り訂正復号部3702は、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号3701」、制御情報信号310を入力とし、制御情報信号310に含まれる誤り訂正符号化方法に関する情報に基づく復号を行い、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ3703」を出力する。
パケット(またはフレーム)処理部3704は、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ3703」、制御情報信号310を入力とし、制御情報信号310に基づいて、パケット(またはフレーム)処理を施し、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報3705」を出力する。
デコーダ3706は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報3705」を入力とし、文字情報(電文情報)、静止画情報、URL情報いずれかのデコードを行い、表示画面の情報3707を出力する。
このとき、デコーダ3706は、以下のような動作となる。「文字情報(電文情報)」の場合、表示画面の情報3707は「表示部に表示する文字情報(電文情報)」となる。「静止画情報」の場合、表示画面の情報3707は「表示部に表示する静止画情報」となる。URL情報」の場合、URL先からの情報(3708)を入手し、出力することになる。
信号処理部380は、第1の映像、第2の映像の同期した映像が得られたかどうか、を判定し、判定結果3700を出力する。
表示部384は、映像信号383、表示画面の情報3707、判定結果3700を入力とし、判定結果3700が「第1の映像、第2の映像の同期した映像が得られた」ということを示している場合、映像信号383を表示する。判定結果3700が「第1の映像、第2の映像の同期した映像が得られていない」という情報の場合、第1の映像が得られていない場合は、第1の映像に代わって、表示画面の情報3707を表示するとともに、第2の映像を表示する。第2の映像が得られていない場合、第2の映像に代わって、表示画面の情報3707を表示する。
図38は、図35の情報を送信するときの放送局と電気通信回線業者の送信装置の構成を示しており、図2、図36と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2、図36の説明と同様となるので説明は省略する。
図38が図36と異なる点は、図35の第1の映像パケット群を送信する際に使用される物理層の誤り訂正符号と文字情報(電文情報)、および/または、静止画情報、および/または、URL情報を送信する際に使用される物理層の誤り訂正符号とが同一の符号であり、このため、図38では、図36における物理層誤り訂正符号化部3604がなく、物理層誤り訂正符号化部204において、文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に関する符号化も行う点である。
図39は、図38で図35の情報を送信したときの端末の受信装置の構成の一例を示しており、図3、図37と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2、図37の説明と同様となるので説明は省略する。
図39が図38と異なる点は、図35の第1の映像パケット群を送信する際に使用される物理層の誤り訂正符号と文字情報(電文情報)、および/または、静止画情報、および/または、URL情報を送信する際に使用される物理層の誤り訂正符号とが同一の符号であり、このため、図39では、図37における物理層誤り訂正復号部3702がなく、物理層誤り訂正復号部313において、文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に関する復号も行う点である。
なお、図35における放送局の送信フレームにおいて、「第1のパケット群」、「文字情報(電文情報)」、「静止画情報」を時間分割で送信する例を記載しているが、これに限ったものではなく、マルチキャリア伝送方式、周波数軸上にチャネルが複数存在している場合などでは、「第1のパケット群」、「文字情報(電文情報)」、「静止画情報」を周波数分割して送信してもよい。また、時間分割、周波数分割の両者を併用してもよい。
図40は、図35と異なる放送局と電気通信回線業者が送信パケットの送信状況の例4000を示している。ただし、実施の形態2に示したように、複数の放送局が第1の映像のパケットを送信することができるが、図40では、一つの放送局の送信パケット(フレーム)しか示していないが、実施の形態2と同様に、複数の送信局が第1の映像パケットを送信する場合についても、以下で説明する内容を実施することは可能である。
実施の形態1、実施の形態2と同様に、放送局は、「第1の映像および/または音声(オーディオ)の情報」送信し、電気回線通信業者は、「第2の映像および/または音声(オーディオ)の情報」を送信するものとする。
図40において、放送局が送信する第1の映像のパケット群と電気通信回線業者が送信する第2映像のパケット群は、同一時間の映像であり、実施の形態1、実施の形態2で述べたように、端末は、時間的に同期させて、第1の映像と第2の映像を表示部に表示することになる。
そして、電気通信回線業者は、第2映像のパケット群に加え、図40に示しているように、「文字情報(電文情報)」、および/または、「静止画情報」、および/または、「URL(Uniform Resource Locator)情報」を送信するものとする。この情報は、端末が第1の映像の情報を復元できず、これに伴い、第1の映像を表示部に表示するのが困難なときに用いられ、第1の映像の代わりとなる画面を端末の表示部に表示することになる。同様に、この情報は、端末が第2の映像の情報を復元できず、これに伴い、第2の映像を表示部に表示するのが困難なときに用いられ、第2の映像の代わりとなる画面を端末の表示部に表示することになる。
なお、図40では、電気通信回線業者は、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」を送信しているが、すべての情報を送信しなくてもよく、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」のうちの一つの情報を送信してもよいし、「文字情報(電文情報)」、「静止画情報」、「URL(Uniform Resource Locator)情報」のうちの二つの情報を送信してもよい。
また、これらの情報は、送信フレームのフレーム単位に常に含むものでなくてもよい、例えば、これらの情報を、複数のフレームごとに送信してもよい。したがって、これらの情報を送信するタイミングどのようなものであってもよい。
なお、図40のようにフレームを送信する場合、図34における情報提供3401は、点線で示しているように電気通信回線業者104の情報を提供していることになり、そして、電気通信回線業者104は、点線で示しているように、その情報を端末に105に送信していることになる。
図41は、図40の情報を送信するときの、放送局と電気通信回線業者の送信装置の構成を示しており、図2と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2での説明と同様となるので、説明は省略する。
パケット(またはフレーム)処理部4102は、文字情報(電文情報)、および/または、静止画情報、および/または、URL情報4101、および、第2の制御信号228を入力とし、第2の制御信号228に基づいて、パケット化・フレーム化を行い、パケット(またはフレーム)処理後の情報4103を出力する。
信号処理部224は、パケット(またはフレーム)処理後の第2の映像および/または音声情報223、パケット(またはフレーム)処理後の情報4103、第2の制御信号228を入力とし、第2制御信号228に含まれる図40の電気通信回線業者の送信フレームの情報に基づき、送信信号生成のための信号処理を施し、信号処理後の信号225を出力する。
図42は、図41のように送信した信号を受信する端末の受信装置の構成の一例を示しており、図3と同様に動作するものについては、同一番号を付しており、実施方法は、実施の形態1、実施の形態2での説明と同様となるので、説明は省略する。
信号処理部355は、受信信号354を入力とし、第2の映像パケット群、制御情報、文字情報(電文情報)、静止画情報、URL情報の分離を行い、受信データ(第2の映像パケット群)356、制御情報357、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号4202」を出力する。
パケット(またはフレーム)処理部4203は、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号4202」、制御情報357を入力とし、制御情報357に含まれる送信方法・誤り訂正符号化方法に関する情報等に基づく信号処理を施し、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」を出力する。
デコーダ4205は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」を入力とし、文字情報(電文情報)、静止画情報、URL情報いずれかのデコードを行い、表示画面の情報4206を出力する。
このとき、デコーダ4205は、以下のような動作となる。「文字情報(電文情報)」の場合、表示画面の情報4206は「表示部に表示する文字情報(電文情報)」となる。「静止画情報」の場合、表示画面の情報4206は「表示部に表示する静止画情報」となる。URL情報」の場合、URL先からの情報(4210)を入手し、出力することになる。
信号処理部380は、第1の映像、第2の映像の同期した映像が得られたかどうか、を判定し、判定結果4201を出力する。
表示部384は、映像信号383、表示画面の情報4206、判定結果4201を入力とし、判定結果4201が「第1の映像、第2の映像の同期した映像が得られた」ということを示している場合、映像信号383を表示する。判定結果4201が「第1の映像、第2の映像の同期した映像が得られていない」という情報の場合、第1の映像が得られていない場合は、第1の映像に代わって、表示画面の情報4206を表示するとともに、第2の映像を表示する。第2の映像が得られていない場合、第2の映像に代わって、表示画面の情報4206を表示する。
以上のように、マルチアングルの第1の映像と第2の映像の表示に乱れが発生した場合、乱れる可能性のある映像に代わる情報を表示することにより、ユーザに与える不快感を低減できる可能性を高くすることができるという効果を得ることができる。
(実施の形態4)
実施の形態1、実施の形態2において、マルチアングルの第1の映像と第2の映像に対し、放送局が第1の映像を送信し、電気通信回線業者が第2の映像を送信する際、第2の映像の伝送の際に、パケットレベルでの誤り訂正符号化を行う送信方法について説明した。このとき、電気通信回線業者が、TCP(TCP/IP)、または、UDPによって、第2の映像のパケットを送信し、パケットの遅延、パケットの欠損の影響を少なくするために、パケットレベルの誤り訂正符号を導入している。
しかし、放送局が送信する第1の映像と電気通信回線業者が送信するデータを時間的に同期させる場合、消失訂正符号(パケットレベルでの誤り訂正符号化)を導入しなくてもよい場合もある。本実施の形態では、この点について説明する。
図43は、本実施の形態における、放送局と電気通信回線業者の送信装置の構成の一例を示している。図43において、図2と同様に動作するものについては、同一番号を付している。制御部232は、送信データ4300を入力とし、送信データ4301と第2の制御信号228を出力する。なお、詳細の動作については、図44を用いて後で説明する。
制御情報生成部4303は、送信データ4301、送信データ4302を入力とし、制御情報4302を生成し出力する。なお、詳細の動作については、図44を用いて後で説明する。
パケット(またはフレーム)処理部222は、送信データ4301、直接電気通信回線業者に届く際の送信データ4302、第2の制御信号228を入力とし、第2の制御信号228により、送信データ4301、送信データ4302のうち、有効な送信データを選択し、パケット(またはフレーム)処理を施し、パケット(またはフレーム)処理後のデータ4304を出力する。なお、詳細の動作については、図44を用いて後で説明する。
図44は、本実施の形態における、放送局と電気通信回線業者の送信装置送信するパケットの送信状況の例4400を示している。放送局が「第1映像のパケット群#1」(4401)を送信する際、電気通信回線業者は、制御情報4405、および、「第2映像のパケット群#1」(4406)を送信する。このとき、図43に示す電気通信回線業者の送信装置において、「第2映像のパケット群#1」(4406)生成のための消失訂正符号化(パケットレベルでの誤り訂正符号化)を実施するものとする。そして、制御情報4405には、「消失訂正符号化(パケットレベルでの誤り訂正符号化)を行ったことを示す情報」を含んでいるものとする。
図43に示す放送局が「第1映像のパケット群#2」(4402)を送信する際、電気通信回線業者は、制御情報4407、および、「第2映像のパケット群#2」(4408)を送信する。このとき、図43に示す電気通信回線業者の送信装置において、「第2映像のパケット群#2」(4406)生成のために消失訂正符号化(パケットレベルでの誤り訂正符号化)を実施しないものとする。そして、制御情報4405には、「消失訂正符号化(パケットレベルでの誤り訂正符号化)を行っていないことを示す情報」を含んでいるものとする。
上述で説明したように、第2の映像のパケットを送信する際、消失訂正符号化(パケットレベルでの誤り訂正符号化)を行う場合と行わない場合がある。例えば、映像符号化の圧縮率が高く、および/または、画面数が少ない(つまり、データサイズが小さい)場合、送信するパケット数を少なくすることができるので、図43の制御情報生成部4303は「消失訂正符号化を行わない」と判断することになる。逆に、映像符号化の圧縮率が低く、および/または、画素数が多い(つまり、データサイズが大きい)場合、送信するパケット数が多くなるので、図43の制御情報生成部4303は「消失訂正符号化を行う」と判断することになる。
図43に示す放送局が「第1映像のパケット群#3」(4403)を送信する際、電気通信回線業者は、制御情報4409、および、「データパケット群」(4410)を送信する。このとき、「データパケット群」(4410)のデータは、「文字情報」「静止画情報」「URLの情報」などとなる。このとき、図43に示す電気通信回線業者の送信装置において「データパケット群」(4410)生成のために消失訂正符号化(パケットレベルでの誤り訂正符号化)を実施しないものとする。そして、制御情報4409には、「消失訂正符号化(パケットレベルでの誤り訂正符号化)を行っていないことを示す情報」を含んでいるものとする。
「データパケット群」(4410)のデータは、「文字情報」「静止画情報」「URLの情報」などの場合、映像データと比較し、送信するデータ量が少ないため、図43の制御情報生成部4303は「消失訂正符号化を行わない」と判断することになる。
なお、消失訂正符号化を行うか、の情報は、制御情報4302に含まれることになる。
したがって、図43のパケット(またはフレーム)処理部222は、上記で説明したように、制御情報4302に含まれる「消失訂正符号化を行うか」の情報にもとづき、データに対し、消失訂正符号化を行うかを判断し、消失訂正符号化を行う、または行わないときに基づく処理を行うことになる。
図42は、図43、図44のように送信した信号を受信する端末の受信装置の構成の一例を示しており、実施方法は、実施の形態1、実施の形態2、実施の形態3での説明と同様となる。
信号処理部355は、受信信号354を入力とし、図44の制御情報(シンボル)から、電気通信回線業者が送信した情報の種類(映像データ、または、文字情報(電文情報)、または、静止画情報、または、URL情報)を判断し、受信データ(第2の映像パケット群)356、制御情報357、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号4202」を出力する。
パケット(またはフレーム)処理部4203は、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の対数尤度比信号4202」、制御情報357を入力とし、制御情報357の情報の種類の情報が、文字情報(電文情報)、または、静止画情報、または、URL情報の場合、送信方法・誤り訂正符号化方法に関する情報等に基づく信号処理を施し、「文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」を出力する。
デコーダ4205は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」を入力とし、文字情報(電文情報)、静止画情報、URL情報いずれかのデコードを行い、表示画面の情報4206を出力する。
このとき、デコーダ4205は、以下のような動作となる。「文字情報(電文情報)」の場合、表示画面の情報4206は「表示部に表示する文字情報(電文情報)」となる。「静止画情報」の場合、表示画面の情報4206は「表示部に表示する静止画情報」となる。URL情報」の場合、URL先からの情報(4210)を入手し、出力することになる。
パケット(またはフレーム)処理部358は、受信データ356、制御情報357を入力とし、制御情報357に含まれる情報の種類の情報が、第2の映像であることを示していたとき、さらに、消失訂正符号が適用されているという情報を得た場合、消失訂正復号(パケットレベルの誤り訂正復号)を行う。そして、消失訂正復号が適用されていないという情報を得た場合、消失訂正復号(パケットレベルの誤り訂正復号)は行われない。
信号処理部380は、第2の映像が得られたかどうか、図44の制御情報(シンボル)から判定し、判定結果4201を出力する。
表示部384は、映像信号383、表示画面の情報4206、判定結果4201を入力とし、判定結果4201が「第2の映像が得られた」ということを示している場合、映像信号383を表示する。判定結果4201が「第2の映像が得られていない」という情報の場合、表示画面の情報4206を表示する。
以上のように、消失訂正符号(パケットレベルでの誤り訂正符号化)の適用をする場合としない場合を切り替えることで、端末は、高いデータの受信品質とデータ伝送速度の向上の両立を図ることができる(消失訂正符号化を行った場合、データの伝送速度は低下することになる)。
(実施の形態5)
実施の形態1から実施の形態4で、消失訂正符号(パケットレベルでの誤り訂正符号化)の適用例について説明したが、本実施の形態では、消失訂正符号(パケットレベルでの誤り訂正符号化)を適用する別の例について説明する。
図45は、本実施の形態における放送局が送信するパケットの様子を示しており、横軸は時間である。図45において、4501は事前送信パケット群であり、このパケット群(4501)を受信した端末は、このパケット群(4501)を一時的に記憶しておくことになる。なお、端末は、事前送信パケット群4501を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできないものとする。(このときの特徴については後で詳しく説明する。)これにより、映像を含む番組の受信時間帯は、一意に設定することができるという特徴をもつことになる。
4502は映像パケット群であり、端末は、映像パケット群4502を得ることで、映像(および、音声)を表示することが可能であるものとする。(このときの特徴については後で詳しく説明する。)また、端末は、映像パケット群4502と記憶していた事前送信パケット群4501を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。
よって、事前送信パケット群4501を保持している端末、事前送信パケット群4501を保持していない端末、いずれも、映像パケット群4502を得ることで、映像のデコードが可能となる。
図46は、図45のように放送局がパケットを送信するのを実現する放送局の構成の一例を示しており、図2と同様に動作するものについては、同一番号を付しており、その説明は省略する。
パケット(またはフレーム)処理部202は、第1の映像、および/または、音声の情報201、第1の制御信号211を入力とし、第1の制御信号211に基づいて、パケットレベルの誤り訂正符号化を行い、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203を出力する。なお、本実施の形態では、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203は、図45の事前送信パケット群4501と映像パケット群4502は構成されている。このとき、図45の事前送信パケット群4501と映像パケット群4502では、制御情報(端末が復調、復号、信号処理等の処理を行うのに必要となる情報)を示していないが、放送局が事前送信パケット群4501を送信する際、制御情報も送信しており(事前送信パケット群4501に制御情報は含まれている)、また、放送局が映像パケット群4502を送信する際、制御情報も送信していることになる(映像パケット群4502に制御情報は含まれている)。
パケット振り分け部4600は、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203、第1の制御信号211を入力とし、第1の制御信号211において、「図45のような送信方法を採る」ことが示されている場合、事前(送信)パケット群4602、および、映像パケット群4603を出力する。そして、第1の制御信号211において、「図45のような送信方法を採らない」ことが示されている場合、パケット群4601を出力する。
事前(送信)パケット蓄積部4604、事前送信パケット群4602、第1の制御信号211を入力とし、一時的に事前送信パケット群を蓄積する(ただし、蓄積しなくても動作が可能であれば、蓄積を行わない。)。そして、第1の制御信号211にもとづき、事前(送信)パケット蓄積部4604は、蓄積している事前送信パケット群を事前送信パケット群4605として出力する。
映像パケット記憶部4607は、映像パケット群4603、第1の制御信号211を入力とし、一時的に映像パケット群を記憶する。そして、第1の制御信号211にもとづき、映像パケット記憶部4607は、記憶している映像パケット群を映像パケット群4608として出力する。
物理層誤り訂正符号化部204は、パケット群4601、事前(送信)パケット群4605、映像パケット群4608、第1の制御信号211を入力とし、第1の制御信号211において、「図45のような送信方法を採らない」ことが示されている場合、パケット群4601に対し、物理層の誤り訂正符号化を施し、誤り訂正符号化後のデータ205を出力する。
物理層誤り訂正符号化部204は、第1の制御信号211において、「図45のような送信方法を採る」ことが示されている場合、図45のフレームにしたがって、事前(送信)パケット群4605に対して物理層の誤り訂正符号化を施した誤り訂正符号化後のデータ、映像パケット群4608に対して物理層の誤り訂正符号化を施した誤り訂正符号化後のデータを出力することになる。
次に、事前(送信)パケット群4602(4605)(4501)、映像パケット群4603(4608)(4502)と第1の映像、および/または、音声の情報201の関係について説明する。
図47に、パケット群4602(4605)(4501)、映像パケット群4603(4608)(4502)と第1の映像、および/または、音声の情報201の関係の一例を示している。また、図48に、図47とは異なる、「パケット群4602(4605)(4501)、映像パケット群4603(4608)(4502)と第1の映像、および/または、音声の情報201の関係の一例」を示している。
図47において、4701は、「第1の映像、および/または、音声の情報」を示しており、「第1の映像、および/または、音声の情報」4701のビット数をXビット(Xは自然数)とする。そして、パケットレベルでの誤り訂正符号化において、組織符号を用いる際、「第1の映像、および/または、音声の情報」4701を符号化することにより、「第1の映像、および/または、音声の情報」4702とパリティ4703を得ることになる。なお、「第1の映像、および/または、音声の情報」4701と「第1の映像、および/または、音声の情報」4702は同一のデータとなる。よって、「第1の映像、および/または、音声の情報」4702のビット数をXビット(Xは自然数)となる。そして、パリティ4703のビット数をYビット(Yは自然数)とし、Y<Xの関係が成立するものとする。
そして、「第1の映像、および/または、音声の情報」4702から図45における映像パケット群4502を生成し、パリティ4703から図45の事前(送信)パケット群4501を生成するものとする(例えば、各パケットでは、制御情報などの付加情報を付加することになることがある)。
図47のようにして映像パケット群と事前送信パケット群を生成した場合、上述の「端末は、事前送信パケット群4501を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできない」を満たすことになる(Y<Xを満たすので)。
また、図47の映像パケット群の構成から、上述の「端末は、映像パケット群4502を得ることで、映像(および、音声)を表示することが可能であるものとする。」を満たすことになり、また、上述の「端末は、映像パケット群4502と記憶していた事前送信パケット群4501を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。」を実現することができる。
図48において、4801は、「第1の映像、および/または、音声の情報」を示しており、「第1の映像、および/または、音声の情報」4801のビット数をXビット(Xは自然数)とする。
そして、パケットレベルでの誤り訂正符号化において、組織符号、または、非組織符号を用いる際、「第1の映像、および/または、音声の情報」4801を符号化することにより、「第1データ」4802と「第2データ」4803を得るものとする。
なお、「第1データ」4802のビット数をZビット(Zは自然数)とし、Z>Xが成立するものとする。そして、「第2データ」4803のビット数をYビット(Yは自然数)とし、Y<Xの関係が成立するものとする。
そして、「第1データ」4802から図45における映像パケット群4502を生成し、「第2データ」4803から図45の事前(送信)パケット群4501を生成するものとする(例えば、各パケットでは、制御情報などの付加情報を付加することになることがある)。
図48のようにして映像パケット群と事前送信パケット群を生成した場合、上述の「端末は、事前送信パケット群4501を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできない」を満たすことになる(Y<Xを満たすので)。
また、図48の映像パケット群の構成から、上述の「端末は、映像パケット群4502を得ることで、映像(および、音声)を表示することが可能であるものとする。」を満たすことになり、また、上述の「端末は、映像パケット群4502と記憶していた事前送信パケット群4501を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。」を実現することができる。
図49は、図45のように送信されるパケット群を受信する端末の構成の一例を示しており、図3と同様に動作するものについては、同一番号を付しており、その説明は省略する。
記憶部4901は、受信データ314、制御情報信号310を入力とし、制御情報信号310が「受信データ314が図45の事前(送信)パケット群4501のデータである」ことを示している場合、受信データ314を記憶する。そして、記憶部4901は、指示があった場合、記憶部に記憶しているデータ(記憶データ4902)を出力する。
パケット(またはフレーム)処理部315は、受信データ314、記憶データ4902、制御情報信号310を入力とする。
制御情報信号310が「受信データ314が図45の事前(送信)パケット群4501のデータである」ことを示している場合、パケット(またはフレーム)処理部315は、受信データ314を無視する。
制御情報信号310が「受信データ314が図45の映像パケット群4502のデータである」ことを示している場合。
<a>記憶部4901が、図45の事前送信パケット群4501を記憶している場合、パケット(またはフレーム)処理部315は、受信データ314と記憶データ4902を用いて、パケットレベルの誤り訂正復号を行い、パケット(またはフレーム)処理後のデータ316を出力する。
<b>記憶部4901が、図45の事前送信パケット群4501を記憶していない場合、パケット(またはフレーム)処理部315は、受信データ314を用いて、パケットレベルの誤り訂正復号を行い、パケット(またはフレーム)処理後のデータ316を出力する。
制御情報信号310が「図45の送信方法でない」ことを示している場合、パケット(またはフレーム)処理部315は、制御情報信号310に基づき、パケット(またはフレーム)処理を行い、パケット(またはフレーム)処理後のデータ316を出力する。
以上のように実施することで、端末は、高いデータの受信品質を得ることができると共に、柔軟性の高い放送システム(マルチキャストシステム)を構築することができるという効果を得ることができる。
上述では、事前(送信)パケットを放送局が送信する場合について説明したが、この方法に限ったものではない。したがって、以降では、他の送信方法を用いた場合について説明する。
図50は、本実施の形態における放送局および電気通信回線業者の送信装置が送信するパケットの様子を示しており、横軸は時間である。図50において、5001は事前送信パケット群であり、このパケット群(5001)を電気通信回線業者の送信装置が送信する。そして、このパケット群(5001)を受信した端末は、このパケット群(5001)を一時的に記憶しておくことになる。なお、端末は、事前送信パケット群5001を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできないものとする。(このときの特徴については後で詳しく説明する。)これにより、映像を含む番組の受信時間帯は、一意に設定することができるという特徴をもつことになる。
5002は映像パケット群であり、このパケット群(5002)を放送局が送信する。
そして、端末は、映像パケット群5002を得ることで、映像(および、音声)を表示することが可能であるものとする。(このときの特徴については後で詳しく説明する。)また、端末は、映像パケット群5002と記憶していた事前送信パケット群5001を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。
よって、事前送信パケット群5001を保持している端末、事前送信パケット群5001を保持していない端末、いずれも、映像パケット群5002を得ることで、映像のデコードが可能となる。
図51は、図50のように放送局および電気通信回線業者の送信装置がパケットを送信するのを実現する放送局および電気通信回線業者の送信装置の構成の一例を示しており、図2と同様に動作するものについては、同一番号を付しており、その説明は省略する。
パケット(またはフレーム)処理部202は、第1の映像、および/または、音声の情報201、第1の制御信号211を入力とし、第1の制御信号211に基づいて、パケットレベルの誤り訂正符号化を行い、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203を出力する。
なお、本実施の形態では、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203は、図50の事前送信パケット群5001と映像パケット群5002は構成されている。このとき、図50の事前送信パケット群5001と映像パケット群5002では、制御情報(端末が復調、復号、信号処理等の処理を行うのに必要となる情報)を示していないが、電気通信回線業者の送信装置が事前送信パケット群5001を送信する際、制御情報も送信しており(事前送信パケット群5001に制御情報は含まれている)、また、放送局が映像パケット群5002を送信する際、制御情報も送信していることになる(映像パケット群5002に制御情報は含まれている)。
パケット振り分け部5100は、パケット(またはフレーム)処理後の第1の映像、および/または、音声の情報203、第1の制御信号211を入力とし、第1の制御信号211において、「図50のような送信方法を採る」ことが示されている場合、事前(送信)パケット群5103、および、映像パケット群5102を出力する。そして、第1の制御信号211において、「図50のような送信方法を採らない」ことが示されている場合、パケット群5101を出力する。
なお、図51では、放送局が、パケット(またはフレーム)処理部202、パケット振り分け部5100を具備している構成としているが、これに限ったものではなく、電気通信回線業者の送信装置が、パケット(またはフレーム)処理部202、パケット振り分け部5100を具備していてもよいし、別の装置が、パケット(またはフレーム)処理部202、パケット振り分け部5100を具備していてもよい。
映像パケット記憶部5104は、映像パケット群5102、第1の制御信号211を入力とし、一時的に映像パケット群を記憶する。そして、第1の制御信号211にもとづき、映像パケット記憶部5104は、記憶している映像パケット群を映像パケット群5105として出力する。
物理層誤り訂正符号化部204は、パケット群5101、映像パケット群5105、第1の制御信号211を入力とし、第1の制御信号211において、「図50のような送信方法を採らない」ことが示されている場合、パケット群5101に対し、物理層の誤り訂正符号化を施し、誤り訂正符号化後のデータ205を出力する。
物理層誤り訂正符号化部204は、第1の制御信号211において、「図50のような送信方法を採る」ことが示されている場合、図50のフレームにしたがって、映像パケット群5105に対して物理層の誤り訂正符号化を施した誤り訂正符号化後のデータを出力することになる。
電気通信回線業者の送信装置における信号処理部224は、パケット(またはフレーム)処理後の情報223、事前(送信)パケット群5103、第1の制御信号211、第2の制御信号228を入力とし、第1の制御信号211において、「図50のような送信方法を採る」ことが示されている場合、図50のフレームにしたがって、事前(送信)パケット群5103に対して信号処理を施し、信号処理後の信号225を出力する。
それ以外の場合は、第2の制御信号228の情報にもとづき、信号処理部224は、パケット(またはフレーム)処理後の情報223に対して信号処理を施し、信号処理後の信号225を出力する。
次に、事前(送信)パケット群5103(5001)、映像パケット群5102(5105)(5002)と第1の映像、および/または、音声の情報201の関係について説明する。
図47に、パケット群5103(5001)、映像パケット群5102(5105)(5002)と第1の映像、および/または、音声の情報201の関係の一例を示している。また、図48に、図47とは異なる、「パケット群5103(5001)、映像パケット群5102(5105)(5002)と第1の映像、および/または、音声の情報201の関係の一例」を示している。
図47において、4701は、「第1の映像、および/または、音声の情報」を示しており、「第1の映像、および/または、音声の情報」4701のビット数をXビット(Xは自然数)とする。そして、パケットレベルでの誤り訂正符号化において、組織符号を用いる際、「第1の映像、および/または、音声の情報」4701を符号化することにより、「第1の映像、および/または、音声の情報」4702とパリティ4703を得ることになる。なお、「第1の映像、および/または、音声の情報」4701と「第1の映像、および/または、音声の情報」4702は同一のデータとなる。よって、「第1の映像、および/または、音声の情報」4702のビット数をXビット(Xは自然数)となる。そして、パリティ4703のビット数をYビット(Yは自然数)とし、Y<Xの関係が成立するものとする。
そして、「第1の映像、および/または、音声の情報」4702から図50における映像パケット群5002を生成し、パリティ4703から図50の事前(送信)パケット群5001を生成するものとする(例えば、各パケットでは、制御情報などの付加情報を付加することになることがある)。
図47のようにして映像パケット群と事前送信パケット群を生成した場合、上述の「端末は、事前送信パケット群5001を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできない」を満たすことになる(Y<Xを満たすので)。
また、図47の映像パケット群の構成から、上述の「端末は、映像パケット群5002を得ることで、映像(および、音声)を表示することが可能であるものとする。」を満たすことになり、また、上述の「端末は、映像パケット群5002と記憶していた事前送信パケット群5001を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。」を実現することができる。
図48において、4801は、「第1の映像、および/または、音声の情報」を示しており、「第1の映像、および/または、音声の情報」4801のビット数をXビット(Xは自然数)とする。
そして、パケットレベルでの誤り訂正符号化において、組織符号、または、非組織符号を用いる際、「第1の映像、および/または、音声の情報」4801を符号化することにより、「第1データ」4802と「第2データ」4803を得るものとする(例えば、各パケットでは、制御情報などの付加情報を付加することになることがある)。
なお、「第1データ」4802のビット数をZビット(Zは自然数)とし、Z>Xが成立するものとする。そして、「第2データ」4803のビット数をYビット(Yは自然数)とし、Y<Xの関係が成立するものとする。
そして、「第1データ」4802から図50における映像パケット群5002を生成し、「第2データ」4803から図50の事前(送信)パケット群5001を生成するものとする。
図48のようにして映像パケット群と事前送信パケット群を生成した場合、上述の「端末は、事前送信パケット群5001を受信し、パケットレベルの誤り訂正復号を行っても、映像(および、音声)を得ることはできない」を満たすことになる(Y<Xを満たすので)。
また、図48の映像パケット群の構成から、上述の「端末は、映像パケット群5002を得ることで、映像(および、音声)を表示することが可能であるものとする。」を満たすことになり、また、上述の「端末は、映像パケット群5002と記憶していた事前送信パケット群5001を用いて、パケットレベルの誤り訂正復号を行うことで、より、高いデータ(パケット)の受信品質を得ることができ、映像の乱れが少ない状態での映像のデコードが可能となる。」を実現することができる。
図52は、図50のように送信されるパケット群を受信する端末の構成の一例を示しており、図3と同様に動作するものについては、同一番号を付しており、その説明は省略する。
記憶部5201は、制御情報信号310、受信データ356、制御情報357を入力とし、制御情報357が「受信データ356が、図50の事前(送信)パケット群5001のデータである」ことを示している場合、受信データ356を記憶する。そして、記憶部5201は、制御情報信号310から指示があった場合、記憶部に記憶しているデータ(記憶データ5202)を出力する。
パケット(またはフレーム)処理部358は、受信データ314、制御情報357を入力とし、制御情報357が「図50の送信方法でない」ことを示している場合、制御情報357に基づき、パケット(またはフレーム)処理を行い、パケット(またはフレーム)処理後のデータ359を出力する。
パケット(またはフレーム)処理部315は、受信データ314、記憶データ5202、制御情報信号310を入力とする。
制御情報信号310が「受信データ314が図50の映像パケット群5002のデータである」ことを示している場合。
<a>記憶部5201が、図50の事前送信パケット群5001を記憶している場合、パケット(またはフレーム)処理部315は、受信データ314と記憶データ5202を用いて、パケットレベルの誤り訂正復号を行い、パケット(またはフレーム)処理後のデータ316を出力する。
<b>記憶部5201が、図50の事前送信パケット群5001を記憶していない場合、パケット(またはフレーム)処理部315は、受信データ314を用いて、パケットレベルの誤り訂正復号を行い、パケット(またはフレーム)処理後のデータ316を出力する。
制御情報信号310が「図50の送信方法でない」ことを示している場合、パケット(またはフレーム)処理部315は、制御情報信号310に基づき、パケット(またはフレーム)処理を行い、パケット(またはフレーム)処理後のデータ316を出力する。
以上のように実施することで、端末は、高いデータの受信品質を得ることができると共に、柔軟性の高い放送システム(マルチキャストシステム)を構築することができるという効果を得ることができる。
当然であるが、放送局は、本実施の形態以外の送信方法をとることができてもよく、その際、放送局は、本実施の形態の送信方法と本実施の形態以外の送信方法を切り替えて実施することになる。
(実施の形態6)
実施の形態1から実施の形態5において、端末が表示部を具備する構成について説明している。しかし、端末の構成は、この構成に限ったものではなく、端末が表示部を具備するとともに表示部をもつ他の装置(表示装置と名付ける)と接続可能である構成、端末が表示部を具備しない構成などが考える。
このような構成の端末を用いて、実施の形態1から実施の形態5を実施する場合の端末の詳細の構成について、以下では説明する。
まず、端末が表示装置を具備し、表示部をもつ他の装置(表示装置と名付ける)と接続可能である構成の場合について説明する。
図53は、図3、図28、図33、図37、図39、図52などの端末における表示部周辺の構成の一例を示しており、図3と同様に動作するものについては、同一番号を付している。
デコーダ382は,データ381、制御信号5301を入力とする。そして、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第1の映像および/または音声の情報」のデコード後の映像データを図53の383として出力し、「第1の映像および/または音声の情報」のデコード後の音声データを図53の385として出力するものとする。このとき、表示部384は、第1の映像を表示する。
加えて、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第2の映像および/または音声の情報」のデコード後の映像データを図53の5302、「第2の映像および/または音声の情報」のデコード後の音声データを図53の5303として出力するものとする。そして、「第2の映像および/または音声の情報」のデコード後の映像データを図53の5302、および、「第2の映像および/または音声の情報」のデコード後の音声データを図53の5303は、接続部5304を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
デコーダ382は,データ381、制御信号5301を入力とする。そして、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第2の映像および/または音声の情報」のデコード後の映像データを図53の383として出力し、「第2の映像および/または音声の情報」のデコード後の音声データを図53の385として出力するものとする。このとき、表示部384は、第2の映像を表示する。
加えて、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第1の映像および/または音声の情報」のデコード後の映像データを図53の5302、「第1の映像および/または音声の情報」のデコード後の音声データを図53の5303として出力するものとする。そして、「第1の映像および/または音声の情報」のデコード後の映像データを図53の5302、および、「第1の映像および/または音声の情報」のデコード後の音声データを図53の5303は、接続部5304を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
上述の例のように、表示部384において、第1の映像、第2の映像、どちらを表示してもよいし、また、表示装置5306も、第1の映像、第2の映像、どちらを表示してもよい。表示方法については、例えば、制御信号5301により、制御すればよい。
なお、制御信号5301には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5301に、表示部384と表示装置5306の表示タイミングを調整するための制御情報を含んでいてもよい。
図54は、図3、図28、図33、図37、図39、図52などの端末における表示部周辺の構成の一例を示しており、図3、図53と同様に動作するものについては、同一番号を付している。
データ分離部(「データ制御部」と呼んでもよい)5402は、データ381、制御信号5401を入力とする。そして、制御信号5401が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5402は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第1の映像および/または音声の情報」をデータ5407として出力し、「第2の映像および/または音声の情報」に関連するデータをデータ5403として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、表示部384に第1の映像が表示される。
また、「第2の映像および/または音声の情報」に関連するデータは、接続部5404を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
データ分離部(「データ制御部」と呼んでもよい)5402は、データ381、制御信号5401を入力とする。そして、制御信号5401が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5402は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第2の映像および/または音声の情報」をデータ5407として出力し、「第1の映像および/または音声の情報」に関連するデータをデータ5403として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、表示部384に第2の映像が表示される。
また、「第1の映像および/または音声の情報」に関連するデータは、接続部5404を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
上述の例のように、表示部384において、第1の映像、第2の映像、どちらを表示してもよいし、また、表示装置5306も、第1の映像、第2の映像、どちらを表示してもよい。表示方法については、例えば、制御信号5401により、制御すればよい。
なお、制御信号5401には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5401に、表示部384と表示装置5306の表示タイミングを調整するための制御情報を含んでいてもよい。
また、図54の場合、表示装置5308が、映像のデコーダを有していることになる。
図55は、図42などの端末における表示部周辺の構成の一例を示しており、図3、図42と同様に動作するものについては、同一番号を付している。
端末が図55の構成を具備している場合、表示部384は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
そして、表示装置5510は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
デコーダ382は、データ381、制御信号5504を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第1の映像および/または音声の情報」のデコード後の映像データを図55の383として出力し、「第1の映像および/または音声の情報」のデコード後の音声データを図55の385として出力するものとする。このとき、表示部384は、第1の映像を表示する。
加えて、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第2の映像および/または音声の情報」のデコード後の映像データを図55の5501、「第2の映像および/または音声の情報」のデコード後の音声データを図55の5502として出力するものとする。
そして、「第2の映像および/または音声の情報」のデコード後の映像データを図55の5501、および、「第2の映像および/または音声の情報」のデコード後の音声データを図55の5302は、選択部5505、接続部5508を介して、表示装置5510に届けられるものとする。(なお、接続5509は、無線、有線、いずれであってもよい。)表示装置5510は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
デコーダ382は、データ381、制御信号5504を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第2の映像および/または音声の情報」のデコード後の映像データを図55の383として出力し、「第2の映像および/または音声の情報」のデコード後の音声データを図55の385として出力するものとする。このとき、表示部384は、第2の映像を表示する。
加えて、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第1の映像および/または音声の情報」のデコード後の映像データを図55の5501、「第1の映像および/または音声の情報」のデコード後の音声データを図55の5502として出力するものとする。
そして、「第1の映像および/または音声の情報」のデコード後の映像データを図55の5501、および、「第1の映像および/または音声の情報」のデコード後の音声データを図55の5302は、選択部5505、接続部5508を介して、表示装置5510に届けられるものとする。(なお、接続5509は、無線、有線、いずれであってもよい。)表示装置5510は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
デコーダ4205は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」、URLからの情報4210、制御信号5504を入力とする。
制御信号5504が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示部384に表示するということを示している場合、表示画面の情報4206を出力する。
制御信号5504が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示装置5510に表示するということを示している場合、表示画面の情報5503を出力する。
選択部5505は、信号5501、5502、5505、制御信号5504を入力とし、制御信号5504に基づいて、表示装置5510に表示する表示情報とスピーカから流す音の情報を5506、5507として出力する。
そして、信号5506、5507は、接続部5508を介して、表示装置5510に伝送される。
上述の例のように、表示部384において、複数の画面を表示してもよいし、また、端末は、表示装置5306に表示の一部の情報を伝送し、表示装置5306が映像(または画面)を表示してもよい。表示方法については、例えば、制御信号5504により、制御すればよい。
なお、制御信号5504には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5504に、表示部384と表示装置5510の表示タイミングを調整するための制御情報を含んでいてもよい。
図56は、図42などの端末における表示部周辺の構成の一例を示しており、図3、図42と同様に動作するものについては、同一番号を付している。
端末が図56の構成を具備している場合、表示部384は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
そして、表示装置5510は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
データ分離部(データ制御部)5602は、データ381、制御信号5601を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5602は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第1の映像および/または音声の情報」をデータ5603として出力し、「第2の映像および/または音声の情報」に関連するデータをデータ5604として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、第1の映像は、表示部384に表示される候補となる(判定結果4201により、候補の映像のなかから表示部384に表示される映像が選択される)。
そして、「第2の映像および/または音声の情報」に関連するデータは、選択部5608、接続部5611を介して、表示装置5613に届けられるものとする。(なお、接続5612は、無線、有線、いずれであってもよい。)表示装置5613は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
データ分離部(データ制御部)5602は、データ381、制御信号5601を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5602は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第2の映像および/または音声の情報」をデータ5603として出力し、「第1の映像および/または音声の情報」に関連するデータをデータ5604として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、第2の映像は、表示部384に表示される候補となる(判定結果4201により、候補の映像のなかから表示部384に表示される映像が選択される)。
そして、「第1の映像および/または音声の情報」に関連するデータは、選択部5608、接続部5611を介して、表示装置5613に届けられるものとする。(なお、接続5612は、無線、有線、いずれであってもよい。)表示装置5613は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
データ分離部(データ制御部)5605は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」、URLからの情報4210、制御信号5601を入力とする。
制御信号5601が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示部384に表示するということを示している場合、データ分離部(データ制御部)5605「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を信号5606として出力する。
制御信号5601が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示装置5510に表示するということを示している場合、データ分離部(データ制御部)5605「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を信号5607として出力する。
選択部5608は、信号5604、5607、制御信号5601を入力とし、制御信号5601に基づいて、表示装置5613に表示する表示情報とスピーカから流す音の情報を5609、5610として出力する。
そして、信号5609、5610は、接続部5611を介して、表示装置5613に伝送される。
上述の例のように、表示部384において、複数の画面を表示してもよいし、また、端末は、表示装置5613に表示の一部の情報を伝送し、表示装置5613が映像(または画面)を表示してもよい。表示方法については、例えば、制御信号5601により、制御すればよい。
なお、制御信号5601には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5601に、表示部384と表示装置5613の表示タイミングを調整するための制御情報を含んでいてもよい。
上述の例では、端末が表示部を具備するとともに、端末は他の表示装置と接続可能である場合の、実施例について説明したが、このとき、上述の実施例とは異なる場合についても、端末の表示部と他の表示装置の両者を利用し、二つの映像を表示してもよい。例えば、端末の表示部に、放送業者が送信した映像を表示し、その映像と連動した映像、または、文字情報、または、静止画(文字付きであってもよい)を、他の表示装置に表示してもよい。また、他の表示装置に放送業者が送信した映像を表示し、その映像と連動した映像、または、文字情報、または、静止画(文字付きであってもよい)を、端末の表示部に表示してもよい。そして、データ伝送の際、実施の形態5で述べたような伝送方法を適用してもよい。
次に、端末が表示部を具備しない構成について説明する。
図57は、図3、図28、図33、図37、図39、図52などの端末における表示部周辺の構成の一例を示しており、図3、図53と同様に動作するものについては、同一番号を付している。
デコーダ382は,データ381、制御信号5301を入力とする。そして、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第1の映像および/または音声の情報」のデコード後の映像データを図53の383として出力し、「第1の映像および/または音声の情報」のデコード後の音声データを図53の385として出力し、接続部5701を介して、表示装置5703に伝送され、表示装置5703は、第1の映像を表示するとともに、音声を出力する(なお、接続5702は、無線、有線、いずれであってもよい)。
加えて、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第2の映像および/または音声の情報」のデコード後の映像データを図53の5302、「第2の映像および/または音声の情報」のデコード後の音声データを図53の5303として出力するものとする。そして、「第2の映像および/または音声の情報」のデコード後の映像データを図53の5302、および、「第2の映像および/または音声の情報」のデコード後の音声データを図53の5303は、接続部5304を介して、表示装置5306に届けられるものとする(なお、接続5305は、無線、有線、いずれであってもよい)。表示装置5306は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
デコーダ382は,データ381、制御信号5301を入力とする。そして、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第2の映像および/または音声の情報」のデコード後の映像データを図53の383として出力し、「第2の映像および/または音声の情報」のデコード後の音声データを図53の385として出力し、接続部5701を介して、表示装置5703に伝送され、表示装置5703は、第2の映像を表示するとともに、音声を出力する(なお、接続5702は、無線、有線、いずれであってもよい)。
加えて、制御信号5301が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第1の映像および/または音声の情報」のデコード後の映像データを図53の5302、「第1の映像および/または音声の情報」のデコード後の音声データを図53の5303として出力するものとする。そして、「第1の映像および/または音声の情報」のデコード後の映像データを図53の5302、および、「第1の映像および/または音声の情報」のデコード後の音声データを図53の5303は、接続部5304を介して、表示装置5306に届けられるものとする(なお、接続5305は、無線、有線、いずれであってもよい)。表示装置5306は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
上述の例のように、表示装置5306において、第1の映像、第2の映像、どちらを表示してもよいし、また、表示装置5306も、第1の映像、第2の映像、どちらを表示してもよい。表示方法については、例えば、制御信号5301により、制御すればよい。
なお、制御信号5301には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5301に、表示装置5306と表示装置5306の表示タイミングを調整するための制御情報を含んでいてもよい。
図58は、図3、図28、図33、図37、図39、図52などの端末における表示部周辺の構成の一例を示しており、図3、図53、図54と同様に動作するものについては、同一番号を付している。
データ分離部(「データ制御部」と呼んでもよい)5402は、データ381、制御信号5401を入力とする。そして、制御信号5401が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5402は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第1の映像および/または音声の情報」をデータ5407として出力し、「第2の映像および/または音声の情報」に関連するデータをデータ5403として出力する。
そして、デコーダ382は、データ5407を入力とし、デコード後のデータ(映像、音声)383、395を出力する。そして、デコード後のデータ(映像、音声)383、395、データ5407は、接続部5801を介して、表示装置5803に伝送され(なお、接続5802は、無線、有線、いずれであってもよい。)、表示装置5803は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
また、「第2の映像および/または音声の情報」に関連するデータは、接続部5404を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
データ分離部(「データ制御部」と呼んでもよい)5402は、データ381、制御信号5401を入力とする。そして、制御信号5401が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5402は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第2の映像および/または音声の情報」をデータ5407として出力し、「第1の映像および/または音声の情報」に関連するデータをデータ5403として出力する。
そして、デコーダ382は、データ5407を入力とし、デコード後のデータ(映像、音声)383、395を出力する。そして、デコード後のデータ(映像、音声)383、395、データ5407は、接続部5801を介して、表示装置5803に伝送され(なお、接続5802は、無線、有線、いずれであってもよい。)、表示装置5803は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
また、「第1の映像および/または音声の情報」に関連するデータは、接続部5404を介して、表示装置5306に届けられるものとする。(なお、接続5305は、無線、有線、いずれであってもよい。)表示装置5306は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
上述の例のように、表示装置5803において、第1の映像、第2の映像、どちらを表示してもよいし、また、表示装置5306も、第1の映像、第2の映像、どちらを表示してもよい。表示方法については、例えば、制御信号5401により、制御すればよい。
なお、制御信号5401には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示装置5803に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5401に、表示装置5803と表示装置5306の表示タイミングを調整するための制御情報を含んでいてもよい。
また、図58の場合、表示装置5308が、映像のデコーダを有していることになる。
図59は、図42などの端末における表示部周辺の構成の一例を示しており、図3、図42、図55と同様に動作するものについては、同一番号を付している。
端末が図59の構成を具備している場合、表示装置5903は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
そして、表示装置5510は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
デコーダ382は、データ381、制御信号5504を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第1の映像および/または音声の情報」のデコード後の映像データを図59の383として出力し、「第1の映像および/または音声の情報」のデコード後の音声データを図59の385として出力するものとする。
そして、信号383、385、4206は、接続部5901を介して、表示装置5903に伝送される(なお、接続5902は、無線、有線、いずれであってもよい)。
加えて、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第2の映像および/または音声の情報」のデコード後の映像データを図59の5501、「第2の映像および/または音声の情報」のデコード後の音声データを図59の5502として出力するものとする。
そして、「第2の映像および/または音声の情報」のデコード後の映像データを図59の5501、および、「第2の映像および/または音声の情報」のデコード後の音声データを図59の5302は、選択部5505、接続部5508を介して、表示装置5510に届けられるものとする。(なお、接続5509は、無線、有線、いずれであってもよい。)表示装置5510は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
デコーダ382は、データ381、制御信号5504を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、デコーダ382は、例えば、「第2の映像および/または音声の情報」のデコード後の映像データを図59の383として出力し、「第2の映像および/または音声の情報」のデコード後の音声データを図59の385として出力するものとする。
そして、信号383、385、4206は、接続部5901を介して、表示装置5903に伝送される(なお、接続5902は、無線、有線、いずれであってもよい)。
加えて、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示しているので、デコーダ382は、「第1の映像および/または音声の情報」のデコード後の映像データを図59の5501、「第1の映像および/または音声の情報」のデコード後の音声データを図59の5502として出力するものとする。
そして、「第1の映像および/または音声の情報」のデコード後の映像データを図59の5501、および、「第1の映像および/または音声の情報」のデコード後の音声データを図59の5302は、選択部5505、接続部5508を介して、表示装置5510に届けられるものとする。(なお、接続5509は、無線、有線、いずれであってもよい。)表示装置5510は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
デコーダ4205は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」、URLからの情報4210、制御信号5504を入力とする。
制御信号5504が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示するということを示している場合、表示画面の情報4206を出力する。
制御信号5504が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示装置5510に表示するということを示している場合、表示画面の情報5503を出力する。
選択部5505は、信号5501、5502、5505、制御信号5504を入力とし、制御信号5504に基づいて、表示装置5510に表示する表示情報とスピーカから流す音の情報を5506、5507として出力する。
そして、信号5506、5507は、接続部5508を介して、表示装置5510に伝送される。
上述の例のように、表示装置5510において、複数の画面を表示してもよいし、また、端末は、表示装置5306に表示の一部の情報を伝送し、表示装置5306が映像(または画面)を表示してもよい。表示方法については、例えば、制御信号5504により、制御すればよい。
なお、制御信号5504には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示部384に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5504に、表示部384と表示装置5510の表示タイミングを調整するための制御情報を含んでいてもよい。
図60は、図42などの端末における表示部周辺の構成の一例を示しており、図3、図42、図56と同様に動作するものについては、同一番号を付している。
端末が図56の構成を具備している場合、表示装置6003は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
そして、表示装置5510は、「第1の映像を表示する」、「第2の映像を表示する」、「第1の映像および第2の映像の両者を表示する」、「{第1の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{第2の映像}および{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」、「{文字情報(電文情報)、および/または、静止画情報、および/または、URL情報に基づく表示画面}を表示する」のいずれかを実施することになる。
データ分離部(データ制御部)5602は、データ381、制御信号5601を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5602は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第1の映像および/または音声の情報」をデータ5603として出力し、「第2の映像および/または音声の情報」に関連するデータをデータ5604として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、第1の映像のデータ383、音声データ385を出力する。
そして、「第2の映像および/または音声の情報」に関連するデータは、選択部5608、接続部5611を介して、表示装置5613に届けられるものとする。(なお、接続5612は、無線、有線、いずれであってもよい。)表示装置5613は、第2の映像を表示する(なお、第2の音声をスピーカから流してもよい)。
別の例を記載する。
データ分離部(データ制御部)5602は、データ381、制御信号5601を入力とする。そして、制御信号5504が、「第1の映像および/または音声の情報」と「第2の映像および/または音声の情報」を別々の表示部に表示する、ことを示していた場合、データ分離部(データ制御部)5602は、例えば、データ381を、「第1の映像および/または音声の情報」に関連するデータと「第2の映像および/または音声の情報」に関連するデータに分離し、「第2の映像および/または音声の情報」をデータ5603として出力し、「第1の映像および/または音声の情報」に関連するデータをデータ5604として出力する。
そして、デコーダ382は、データ5407を入力とし、デコードを行い、第2の映像のデータ383、音声データ385を出力する。
そして、「第1の映像および/または音声の情報」に関連するデータは、選択部5608、接続部5611を介して、表示装置5613に届けられるものとする。(なお、接続5612は、無線、有線、いずれであってもよい。)表示装置5613は、第1の映像を表示する(なお、第1の音声をスピーカから流してもよい)。
データ分離部(データ制御部)5605は、「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」、URLからの情報4210、制御信号5601を入力とする。
制御信号5601が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示部384に表示するということを示している場合、データ分離部(データ制御部)5605「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を信号5606として出力する。
制御信号5601が「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を表示装置5510に表示するということを示している場合、データ分離部(データ制御部)5605「パケット(またはフレーム)処理後の文字情報(電文情報)、および/または、静止画情報、および/または、URL情報の受信データ4204」またはURLからの情報4210のいずれかの情報を信号5607として出力する。
選択部5608は、信号5604、5607、制御信号5601を入力とし、制御信号5601に基づいて、表示装置5613に表示する表示情報とスピーカから流す音の情報を5609、5610として出力する。
そして、信号5609、5610は、接続部5611を介して、表示装置5613に伝送される。
接続部5901は、表示装置5903と接続(5902)され、表示装置5903は、映像を表示するとともに、音声をスピーカから出力する(なお、接続5902は、無線、有線、いずれであってもよい)。
上述の例のように、表示装置5903において、複数の画面を表示してもよいし、また、端末は、表示装置5613に表示の一部の情報を伝送し、表示装置5613が映像(または画面)を表示してもよい。表示方法については、例えば、制御信号5601により、制御すればよい。
なお、制御信号5601には、上述のように第1の映像と第2の映像を表示する場合と、他の実施の形態で説明したように、第1の映像と第2の映像を表示装置5903に表示する場合とを切り替えることができるような制御情報を含んでいてもよい。また、制御信号5601に、表示装置5903と表示装置5613の表示タイミングを調整するための制御情報を含んでいてもよい。
上述の例では、端末が、第1の表示装置と第2の表示装置と接続可能である場合の、実施例について説明したが、このとき、上述の実施例とは異なる場合についても、第1の表示装置と第2の表示装置の両者を利用し、二つの映像を表示してもよい。例えば、第1の表示装置に、放送業者が送信した映像を表示し、その映像と連動した映像、または、文字情報、または、静止画(文字付きであってもよい)を、第2の表示装置に表示してもよい。また、第2の表示装置に放送業者が送信した映像を表示し、その映像と連動した映像、または、文字情報、または、静止画(文字付きであってもよい)を、第1の表示装置に表示してもよい。そして、データ伝送の際、実施の形態5で述べたような伝送方法を適用してもよい。
以上のように実施することで、端末は、高いデータの受信品質を得ることができると共に、柔軟性の高い放送システム(マルチキャストシステム)を構築することができるという効果を得ることができる。
当然であるが、放送局は、本実施の形態以外の送信方法をとることができてもよく、その際、放送局は、本実施の形態の送信方法と本実施の形態以外の送信方法を切り替えて実施することになる。
(補足1)
本明細書のなかで、「映像(および/または音声(オーディオ)の情報)」という表現を行っているが、送信/受信する情報の中には映像の情報が含まれていることが前提となるケースが主の実施の形態となる。
本明細書の中で、「音声」と記載しているが、「音声」が、オーディオ、音などであっても同様に実施することができる。
本明細書のなかで、端末の受信装置の構成として、例えば、図3、図28、図33、図37、図39、図42、図49、図52などでは、表示部を記載しているが、端末は、表示部を具備していなくてもよい。このとき、例えば、端末として、「映像、および/または、音声のデータを出力する端子を具備する端末」、「映像、および/または、音声のデータを記録するための記憶部(ハードディスク、半導体メモリー、ディスク)を具備する端末」の構成が考えられる(このとき、映像、および/または、音声のデータとしては、端末が受信動作により得たデータ自身であってもよいし、端末が受信動作により得たデータをフォーマット変換したデータであってもよい)。
また、端末の受信装置の構成として、例えば、図3、図28、図33、図37、図39、図42、図49、図52などでは、表示部を記載しているが、端末は、表示部を具備していないとき、端末は、「映像、および/または、音声のデータ」を出力する出力部を具備し、この出力部の表示装置を接続することで、ユーザは、映像、および/または、音声を視聴することができることになる。
当然であるが、本明細書において説明した実施の形態、その他の内容を複数組み合わせて、実施してもよい。
また、各実施の形態、その他の内容については、あくまでも例であり、例えば、「変調方式、誤り訂正符号化方式(使用する誤り訂正符号、符号長、符号化率等)、制御情報など」を例示していても、別の「変調方式、誤り訂正符号化方式(使用する誤り訂正符号、符号長、符号化率等)、制御情報など」を適用した場合でも同様の構成で実施することが可能である。
そして、各パケット、各フレームには、データ(情報)に加えて、制御情報(送信方法に関する情報など)を伝送するためのシンボル、復調を実施するためのプリアンブル、パイロットシンボル、リファレンスシンボル、ユニークワード、ポストアンブル、などのシンボルが含まれていてもよい(ただし、これらのシンボルは、どのような名付け方を行ってもよく、その機能自身が重要となっている)。
本明細書において、放送局は、無線によりデータを伝送することになるが、そのときの送信方法は、どのような送信方法であってもよく、シングルキャリアによる送信方法、OFDM(Orthogonal Frequency Division Multiplexing)方式のようなマルチキャリア伝送方法、スペクトル拡散通信方式を用いた伝送方法、プリコーディングや時空間(または時間-周波数)符号化(例えば時空間ブロック符号化(space-time block codes))の処理を行い複数の変調信号を同一時刻・同一周波数を用いて送信する伝送方法などの送信方法を用いることになる。また、放送局は、ケーブルなどの有線を用いてデータを伝送する方法を用いてもよい。
本明細書において、電気通信回線業者の送信装置が送信するデータを有線で伝送する場合を例について説明しているが、無線によりデータを伝送する方法であってもよい。また、有線による伝送と無線による伝送の両者を用いる方式であってもよい。
本明細書において、端末の受信装置とアンテナが別々となっている構成であってもよい。例えば、アンテナで受信した信号、または、アンテナで受信した信号に対し、周波数変換を施した信号を、ケーブルを通して、入力するインターフェースを受信装置が具備し、受信装置はその後の処理を行うことになる。
また、受信装置が得たデータ・情報は、その後、映像や音に変換され、ディスプレイ(モニタ)に表示されたり、スピーカから音が出力されたりする。さらに、受信装置が得たデータ・情報は、映像や音に関する信号処理が施され(信号処理を施さなくてもよい)、受信装置が具備するRCA端子(映像端子、音用端子)、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、HDMI(登録商標)2.0デジタル用端子等から出力されてもよい。
本明細書において、受信装置を具備しているのは、テレビ、ラジオ、端末、パーソナルコンピュータ、携帯電話、アクセスポイント、基地局等の通信機器であることが考えられる。また、本開示における送信装置、受信装置は、通信機能を有している機器であって、その機器が、テレビ、ラジオ、パーソナルコンピュータ、携帯電話等のアプリケーションを実行するための装置に何らかのインターフェースを解して接続できるような形態であることも考えられる。
なお、本開示は各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態では、通信装置として行う場合について説明しているが、これに限られるものではなく、この通信方法をソフトウェアとして行うことも可能である。
送信装置の送信アンテナ、受信装置の受信アンテナ、共に、図面で記載されている1つのアンテナは、複数のアンテナにより構成されていても良い。
なお、例えば、上記通信方法を実行するプログラムを予めROM(Read Only
Memory)に格納しておき、そのプログラムをCPU(Central Processor Unit)によって動作させるようにしても良い。
また、上記通信方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのRAM(Random Access Memory)に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
そして、上記の各実施の形態などの各構成は、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらは、個別に1チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
(補足2)
なお、上記の実施の形態1から3では、放送局及び電気通信事業者がそれぞれ1または複数の経路(送信媒体)でコンテンツを伝送する場合を例に挙げて説明したが、例えば放送局が複数の送信媒体を用いてコンテンツを送信する場合や、電気通信事業者が複数の経路を介してコンテンツを伝送する場合においても、上記の実施の形態1から3で説明した送信タイミングの制御を適用できることは言うまでもない。
例えば、電気通信業者#1と電気通信事業者#2が複数の経路(送信媒体)でコンテンツを伝送してもよいし、放送局#1と放送局#2が複数の経路(送信媒体)でコンテンツを伝送してもよい。なお。送信局を2としたが、それ以上の数の放送局が複数の経路(送信媒体)でコンテンツを伝送してもよい。
また、例えば、電気通信事業者(送信局、基地局)が第1の経路を第2の経路を含む、互いに異なる複数の経路でコンテンツを送信する場合に、電気通信事業者の保有する送信装置は、送信装置がデータを送信してから第1の経路を経由して端末に到着するまでの第1の時間と送信装置がデータを送信してから第2の経路を経由して端末に到着するまでの第2の時間の差分に応じて、第1の経路で送信されるパケット群と第2の経路で送信されるパケット群のいずれか一方、または両方の送信タイミングを制御してもよい(つまり、複数の通信経路を用い、かつ、時間分割を行い(ただし、少なくとも一部のパケットが同時に送信されていてもよい)、パケット群が、端末に届けられることになる。ただし、パケット群は、本明細書で示したように、パケットレベルでの誤り訂正符号化が行われているか、パケットレベルでの誤り訂正符号化が行われているか否かを示す情報を含むことになる)。
ここで、第1の経路と第2の経路は少なくとも経路上の一部が異なっていれば、経路上のその他の部分が同一であってもよい。また、一部の中継装置間で互いに異なる伝送媒体や互いに異なるプロトコルを使用することによって、送信装置がデータを送信してから端末に到着するまでの時間に差が生じる場合は、経路上の装置がいずれも同一であっても互いに異なる経路であるとみなして、送信タイミングの制御を行っても良い。
一方、実際には異なる中継装置を経由する場合であっても、送信装置がデータを送信してから端末に到着するまでの時間の差が小さい場合は、それらを同一の経路であるとして扱っても良い。例えば、実際には3以上の経路を経由してコンテンツの伝送が行われるものの、当該3以上の経路を、送信装置がデータを送信してから端末に到着するまでの時間が第1の範囲に含まれる第1のグループと、送信装置がデータを送信してから端末に到着するまでの時間が第1の範囲とは異なる第2の範囲に含まれる第2のグループに分類できる場合は、第1のグループ及び第2のグループをそれぞれ第1の経路及び第2の経路とみなして、送信タイミングの制御を行っても良い。
また、第1の経路に対してパケット群を送信する送信装置と、第2の経路に対してパケット群を送信する送信装置とは、同じであっても良いし、異なっていても良い。
これにより、同期して再生されるコンテンツの乱れの発生を抑制することができる。また、端末における回路の規模を削減することができる。
また、上記の実施の形態1から3では、複数のカメラで撮影されたマルチアングルの第1の映像と第2の映像を、それぞれ放送局及び電気通信事業者が送信する場合を例に挙げて説明したが、送信されるコンテンツはマルチアングルの第1の映像と第2の映像である必要は無く、それぞれの経路で伝送されたデータを同期して再生する必要があれば、実施の形態1から3で説明した送信タイミングの制御を行うことにより、同期して再生されるコンテンツの乱れの発生を抑制するという効果を得ることができる。
例えば、同期して再生される音声と映像がそれぞれ異なる経路で伝送されてもよいし、映像を符号化して生成された符号化データを第1のストリームと第2のストリームに分離し、分離された第1のストリームと第2のストリームがそれぞれ異なる経路で送信されてもよい。ここで、第1のストリームが単独で低品質の映像として再生可能な第1階層の符号化データを含み、第2のストリームが第1階層の符号化データと組み合わせて高品質の映像として再生可能な第2階層の符号化データを含むとしてもよいし、第1のストリームと第2のストリームは共に他方のストリームに含まれる符号化データと組み合わせて再生する必要のある符号化データを含むとしてもよい。また、第1のストリームが含む符号化データの少なくとも一部について、同じ符号化データを第2のストリームが含んでいてもよい。
なお、本補足2で説明した送信タイミングの制御方法に、実施の形態4から6のいずれか一つまたは複数を組み合わせて実施しても良いことは言うまでもない。
なお、本開示では、マルチキャストで提供されるサービスの例を中心に説明したが、ユニキャストで提供されるサービスに適用可能なことは言うまでもない。つまり、複数の電気通信業者により、パケット群が複数の経路で送信されてもよく、このとき、各電気通信業者に対し、端末のフィードバックがあり、パケットの再送の要求を電気通信業者が受け付けてもよい。