JP5885727B2 - ストリーム伝送システム、送信装置、受信装置及びストリーム伝送方法 - Google Patents

Description

本発明の実施形態は、映像データや音声データをストリーム伝送するストリーム伝送システム、送信装置、受信装置及びストリーム伝送方法に関する。

デジタル放送の進展、放送・通信の融合が進展する中、益々これらの融合領域における新たなサービスの展開が進んでいる。

従来の放送は、割り当てられた電波の周波数帯域において各種パラメータを最適化して発信される。放送の伝送路は、広域性と同報性（同時性・同一性）に大変優れており、地理的にも分散した非常に多数の受信機に対して同時に少数のコンテンツを配信する場合に適している。しかし、対象の受信機スペックが予め決まっており、長期にわたって運用される想定であるため、後から各種パラメータを大きく変更することや、そもそもの方式改訂を実施することは難しい。

一方、従来の通信は、通信路で利用可能な伝送帯域において各種パラメータを最適化して伝送される。通信の伝送路は、局所性と個別性に大変優れており、明示的な個々の端末に対して別々に異なるコンテンツを配信する場合に適している。ゆえに、対象の受信機スペックを個別に想定することも可能であり、後から各種パラメータを大きく変更することや、そもそもの方式改訂を実施することは比較的容易い。なお、通信でもマルチキャスト等で広域性と同報性を実現する方法はあるが、放送と比べると、品質面では有利なものの、規模や同時性の面から見れば不利である。

また従来、伝送路の通信品質が何らかの原因で劣化した場合に動的にコンテンツの伝送レートを変動させたり、異質な受信機スペックに応じて異なる複数のパラメータのデータストリームを選択可能としたりするための技術として、Ｈ．２６４／ＳＶＣ（Scalable Video Coding）がある。Ｈ．２６４／ＳＶＣでは、予め複数のデータストリームを同時に生成し出力しておき、それらの組み合わせのみから所望の伝送レートのコンテンツを得られる技術である。

具体的には、最低レートのデータストリーム自体である基本ストリームと、それ以外のより高レートな複数のデータストリームについては、基本ストリームからの各々の差分のみである複数の拡張ストリームとして構成されるデータストリームである。符号化装置においてこれらのデータストリームを生成し、送信装置や受信装置あるいは復号化装置において、送信装置が送信する拡張ストリーム数の選択を増減するのみで伝送レートの変動が可能であり、不要な拡張ストリームについては破棄するのみで受信機スペックに応じたコンテンツを得ることが可能である。

特開２００４−２６６５０３号公報

Scalable Video Coding over RTP and MPEG-2 Transport Stream in Broadcast and IPTV Channels, Thomas Schierl, Karsten Gruneberg, and Thomas Wiegand, IEEE Wireless Communications Magazine, vol. 16, no. 5, pp. 64-71, October 2009.

上記の非特許文献１には、Ｈ．２６４／ＳＶＣ形式によって階層符号化された映像データをＲＴＰパケットやＭＰＥＧ２−ＴＳパケットに格納し、従来の通信や放送の伝送路を利用して送受信できるようにするための技術が記載されている。

しかしながら、従来技術では、映像ストリームを単純に単一の種類の伝送路を利用して送受信する想定である。また、放送の伝送路で送られるデータストリームは既存の放送で想定する受信機スペックに沿って、現状の放送で送出されるデータストリームと全く同等であることが望ましい。このような状況下で複数の異なる種類の伝送路を用いて再生品質を向上することは極めて困難である。

本実施形態の目的は、複数の異なる種類の伝送路を用いて再生品質を向上できるストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラムを提供することにある。

本実施形態に係るストリーム伝送システムは、基本データを含む第１階層と前記基本データを補強するデータを含む第２階層とを有するデータストリームを送信装置から受信装置に伝送するシステムであって、前記送信装置は、前記第１階層のデータと前記第２階層のデータとをそれぞれパケット化して第１階層のデータパケットと第２階層のデータパケットとを送出する送出調整手段と、前記第１階層のデータパケットを第１伝送路を通じて前記受信装置に送信する第１送信手段と、前記第２階層のデータパケットを前記第１伝送路と異なる伝送方式の第２伝送路を通じて前記受信装置に送信する第２送信手段とを具備し、前記受信装置は、前記第１伝送路から送られてくるデータパケットを受信する第１受信手段と、前記第２伝送路から送られてくるデータパケットを受信する第２受信手段と、前記第１受信手段で受信したデータパケットと前記第２受信手段で受信したデータパケットとをもとに前記階層符号化されたデータストリームを再構成する受信調整手段とを具備する。

本実施形態に係る送信装置は、基本データを含む第１階層と前記基本データを補強するデータを含む第２階層とを有するデータストリームを受信装置に伝送する送信装置であって、前記第１階層のデータと前記第２階層のデータとをそれぞれパケット化して第１階層のデータパケットと第２階層のデータパケットとを送出する送出調整手段と、前記第１階層のデータパケットを第１伝送路を通じて前記受信装置に送信する第１送信手段と、前記第２階層のデータパケットを前記第１伝送路と異なる伝送方式の第２伝送路を通じて前記受信装置に送信する第２送信手段とを具備する。

本実施形態に係る受信装置は、階層符号化されたデータストリームを構成する第１階層のデータと第２階層のデータとをそれぞれパケット化して、第１階層のデータパケットを第１伝送路を通じて送信し、第２階層のデータパケットを前記第１伝送路と異なる伝送方式の第２伝送路を通じて送信する送信装置に接続される受信装置であって、前記第１伝送路から送られてくるデータパケットを受信する第１受信手段と、前記第２伝送路から送られてくるデータパケットを受信する第２受信手段と、前記第１受信手段で受信したデータパケットと前記第２受信手段で受信したデータパケットとをもとに前記階層符号化されたデータストリームを再構成する受信調整手段とを具備する。

本実施形態に係るストリーム伝送方法は、基本データを含む第１階層と前記基本データを補強するデータを含む第２階層とを有するデータストリームを送信装置から受信装置に伝送する伝送システムに用いられる方法であって、前記送信装置は、前記第１階層のデータと前記第２階層のデータとをそれぞれパケット化して第１階層のデータパケットと第２階層のデータパケットとを送出するステップと、前記第１階層のデータパケットを第１伝送路を通じて前記受信装置に送信するステップと、前記第２階層のデータパケットを前記第１伝送路と異なる伝送方式の第２伝送路を通じて前記受信装置に送信するステップとを有し、前記受信装置は、前記第１伝送路から送られてくるデータパケットを受信するステップと、前記第２伝送路から送られてくるデータパケットを受信するステップと、前記第１受信手段で受信したデータパケットと前記第２受信手段で受信したデータパケットとをもとに前記階層符号化されたデータストリームを再構成するステップとを有する。

本実施形態に係るストリーム伝送プログラムは、基本データを含む第１階層と前記基本データを補強するデータを含む第２階層とを有するデータストリームを送信装置から受信装置に伝送する伝送システムに用いられるプログラムであって、前記送信装置において、前記第１階層のデータと前記第２階層のデータとをそれぞれパケット化して第１階層のデータパケットと第２階層のデータパケットとを送出する処理と、前記第１階層のデータパケットを第１伝送路を通じて前記受信装置に送信する処理と、前記第２階層のデータパケットを前記第１伝送路と異なる伝送方式の第２伝送路を通じて前記受信装置に送信する処理とを、前記受信装置において、前記第１伝送路から送られてくるデータパケットを受信する処理と、前記第２伝送路から送られてくるデータパケットを受信する処理と、前記第１受信手段で受信したデータパケットと前記第２受信手段で受信したデータパケットとをもとに前記階層符号化されたデータストリームを再構成する処理とをコンピュータに実行させるものである。

また、本実施形態に係るストリーム伝送システムは、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムであって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示す第２構成情報テーブルを前記受信装置へ送信する送信手段を具備し、前記受信装置は、前記送信手段から送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信手段と、前記第１構成情報テーブル及び前記第２構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段とを具備する。

本実施形態に係るストリーム伝送システムは、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムであって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを前記受信装置へ送信する送信手段を具備し、前記受信装置は、前記送信手段から送信された前記第１データストリーム、前記第１構成テーブル、前記第２データストリーム、及び前記第３構成テーブルを受信する受信手段と、前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段とを具備する。

本実施形態に係るストリーム伝送システムは、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムであって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを含む第１データストリームを前記受信装置へ送信し、前記第２データストリームを前記受信装置へ送信する送信手段を具備し、前記受信装置は、前記送信手段から送信された前記第１データストリーム、前記第１構成テーブル、及び前記第２データストリームを受信する受信手段と、前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを、前記第１データストリーム及び第２データストリームの外から取得し、前記受信手段によって受信された前記第１構成情報テーブル及び前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成する受信調整手段とを具備する。

本実施形態に係る送信装置は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、受信装置に伝送する送信装置であって、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示す第２構成情報テーブルを前記受信装置へ送信する送信手段を具備する。

本実施形態に係る送信装置は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、受信装置に伝送する送信装置であって、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを前記受信装置へ送信する送信手段を具備する。

本実施形態に係る送信装置は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、受信装置に伝送する送信装置であって、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを含む第１データストリームを前記受信装置へ送信し、前記第２データストリームを前記受信装置へ送信する送信手段を具備する。

本実施形態に係る受信装置は、第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを送信し、前記第１データストリームを拡張する第２データストリームとともに前記第２データストリームの構成情報を示す第２構成情報テーブルを送信する送信装置に接続される受信装置であって、前記送信装置から送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信手段と、前記第１構成情報テーブル及び前記第２構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段とを具備する。

本実施形態に係る受信装置は、第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを送信し、前記第１データストリームを拡張する第２データストリームとともに前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを送信する送信装置に接続される受信装置であって、前記送信装置から送信された前記第１データストリーム、前記第１構成テーブル、前記第２データストリーム、及び前記第３構成テーブルを受信する受信手段と、前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段とを具備する。

本実施形態に係る受信装置は、第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを含む第１データストリームを送信し、前記第１データストリームを拡張する第２データストリームを送信する送送信装置に接続される受信装置であって、前記送信装置から送信された前記第１データストリーム、前記第１構成テーブル、及び前記第２データストリームを受信する受信手段と、前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを、前記第１データストリーム及び第２データストリームの外から取得し、前記受信手段によって受信された前記第１構成情報テーブル及び前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成する受信調整手段とを具備する。

本実施形態に係るストリーム伝送方法は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムに用いられる方法であって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示す第２構成情報テーブルを前記受信装置へ送信する送信ステップを有し、前記受信装置は、前記送信ステップにより送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信ステップと、前記第１構成情報テーブル及び前記第２構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整ステップとを有する。

本実施形態に係るストリーム伝送方法は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムに用いられる方法であって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを前記受信装置へ送信する送信ステップを有し、前記受信装置は、前記送信ステップにより送信された前記第１データストリーム、前記第１構成テーブル、前記第２データストリーム、及び前記第３構成テーブルを受信する受信ステップと、前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整ステップとを有する。

本実施形態に係るストリーム伝送方法は、第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムに用いられる方法であって、前記送信装置は、前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを含む第１データストリームを前記受信装置へ送信し、前記第２データストリームを前記受信装置へ送信する送信ステップを有し、前記受信装置は、前記送信ステップにより送信された前記第１データストリーム、前記第１構成テーブル、及び前記第２データストリームを受信する受信ステップと、前記第１データストリームの構成情報及び前記第２データストリームの構成情報を示す第３構成情報テーブルを、前記第１データストリーム及び第２データストリームの外から取得し、前記受信ステップによって受信された前記第１構成情報テーブル及び前記第３構成情報テーブルに基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成する受信調整ステップとを有する。

本実施形態に係るストリーム伝送システムの全体構成を示すブロック図。 送信調整部の詳細構成を示したブロック図。 受信調整部の詳細構成を示したブロック図。 データストリーム及びデータパケットの一例を示す図。 構成情報テーブルの一例を示す図。 送信調整装置の動作を示すフローチャート。 構成情報テーブルの構成例を示す図。 ハッシュ値の格納方法の一例を示す図。 ハッシュ値の格納方法の他の例を示す図。 受信調整装置の動作を示すフローチャート。

以下、図面を参照しながら本実施形態に係るストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラムを説明する。

（装置構成）
図１は、本発明に関わるストリーム伝送システムの全体構成を示したブロック図である。ストリーム伝送システムは、送信システム１と、この送信システムから送出される放送波を受信する受信システム２とを備える。送信システム１は、例えば、デジタル放送の送信所に設けられる。受信システム２は、例えば、テレビジョン受信機に設けられるＳＴＢ（Set Top Box）で構成される。本実施形態では、一例として、送信システム１から受信システム２へ、既存の地上デジタル放送波による放送の伝送路（第１伝送路）を通じた伝送と、ＩＰの通信網（第２伝送路）を通じた伝送とを行うものとする。

図１において、送信システム１は、送信調整装置１０、符号化装置３０、ＲＦ（Radio Frequency）送信装置５０、ＩＰ（Internet Protocol）送信装置７０、及び制御部９０を備える。受信システム２は、受信調整装置２０、復号化装置４０、ＲＦ受信装置６０、ＩＰ受信装置８０、及び制御部９１を備える。

送信調整装置１０は、送出調整部１１を備える。受信調整装置２０は、受信調整部２１を備える。符号化装置３０は、入力受付部３１と、符号化変換部３２とを備える。復号化装置４０は、復号化変換部４１を備える。ＲＦ送信装置５０は、ＲＦ送信部５１を備える。ＲＦ受信装置６０は、ＲＦ受信部６１を備える。ＩＰ送信装置７０は、ＩＰ送信部７１を備える。ＩＰ受信装置８０は、ＩＰ受信部８１を備える。また、表示装置１００は、再生表示部１０１を備える。

図２は、送信調整装置１０の送信調整部１１の詳細構成を示したブロック図である。送信調整部１１は、データストリームバッファ１２、データパケット生成１３、データパケットバッファ１４、及び送信判定部１５を備える。

図３は、受信調整装置２０の受信調整部２１の詳細構成を示したブロック図である。受信調整部２１は、データパケットバッファ２２、データストリーム再構成２３、及びデータストリームバッファ２４を備える。

ここで、データストリームとは、符号化装置３０や復号化装置４０の入出力にて用いられるデータフォーマットで記述された映像データ、音声データを含むファイルやビット列を指すものであり、階層符号化されたデータを含むものである。また、データパケットとは、伝送路に対する送信装置や受信装置の入出力にて用いられるデータフォーマットで記述されたビット列を指すものであり、データストリームから抽出して小分けしてまとめられたものである。これらの詳細は後述する。

（各部の接続関係・作用）
制御部９０は、送信調整装置１０、符号化装置３０、ＲＦ送信装置５０、及びＩＰ送信装置７０の制御を行う。制御部９１は、受信調整装置２０、復号化装置４０、ＲＦ受信装置６０、ＩＰ受信装置８０の制御を行う。

符号化装置３０では、入力受付部３１によりデータの入力を受ける。ここでデータの入力元は、固定ディスクやネットワークドライブ、カメラなど特に形式は問わない、符号化変換部３２が扱えるものであればよい。符号化変換部３２は、入力受付部３１から受信したコンテンツなどのデータを、階層符号化されたデータを含むデータストリームに変換する。なお、入力受付部３１から受信したデータと、符号化変換部３２の出力するデータとが同じ形式である場合には、符号化変換部３２の処理を省略することができる。また、この場合には、送出調整部１１が入力受付部３１から直接データ入力を受けるように構成しても良い。

送信調整装置１０では、送出調整部１１が符号化変換部３２の出力を受け取って送出のために必要な調整処理を実施し、ＲＦ送信装置５０のＲＦ送信部５１から放送の伝送路に送信し、ＩＰ送信装置のＩＰ送信部７１からＩＰの通信網に送信する。図２において、送出調整部１１は、符号化変換部３２から階層符号化されたデータを含むデータストリームの入力を受け、データストリームバッファ１２に格納した後に、データパケット生成部１３でパケット化してデータパケットバッファ１４に格納する。このとき、送出判定部１５は、データパケットバッファ１４から送出すべきインタフェース（ＲＦ又はＩＰ）とタイミングとを判定し、この判定に従ってデータパケットが各送信装置に送られる。

ＲＦ送信装置５０から送信されたデータパケットは、放送波を通じてＲＦ受信装置６０のＲＦ受信部６１で受信される。また、ＩＰ送信装置７０によりＩＰの通信網に送信されたデータパケットは、ＩＰの通信網を経由してＩＰ受信装置８０のＩＰ受信部８１により受信される。ＲＦ受信装置６０とＩＰ受信装置８０とでそれぞれ受信したデータパケットは、受信調整装置２０の受信調整部２１に入力される。受信調整部２１において、データ間の関係性や同期処理を実施し、元の階層符号化されたデータストリームを得る。このデータストリームは、復号化装置４０の復号化変換部４１で復号されて、表示装置１００の再生表示部１０１の画面に表示される。

図３において、受信調整装置２０の受信調整部２１は、各受信装置から受け入れたデータパケットをデータパケットバッファ２２に格納した後、データストリーム再構成部２３において元の階層符号化されたデータストリームに再構成し、データストリームバッファ２４に格納する。データストリームバッファ２４に格納されたデータストリームは、復号化変換部４１に送られるが、このタイミングやデータ量は任意であり、復号化変換部４１が取得するようにしても良いし、制御部９１がこの動作を制御しても良い。

次に、図４を参照して、本システムで扱うデータストリーム及びデータパケットの一例を示す。

図４（ａ）は、Ｈ．２６４／ＳＶＣ（Scalable Video Coding）の符号化データストリームの基本記述形式を示したものである。図４では、Ｂａｓｅが基本階層（第１階層）を、Ｅｘｔが拡張階層（第２階層）を示し、ここではＥｘｔ（Ａ）とＥｘｔ（Ｂ）の２つの拡張階層が存在する。なお、［１］〜［４］の数字はアクセスユニットのインデックスを示す。

図４（ｂ）は、図４（ａ）のデータストリームを、中間フォーマットであるエレメンタリストリーム化したのち、送出する伝送路ごとに仕分けてまとめたものである。この場合、上段が基本階層のデータ、下段が拡張階層のデータである。各エレメンタリストリームに含まれる“ＴＳ”は、データストリームをエレメンタリストリーム化する際に付与されるタイムスタンプを示す。

図４（ｃ）は、図４（ｂ）のエレメンタリストリームを含めたトランスポートストリームをパケット化してデータパケットとしたものである。“Ｈ”はヘッダ、“Ｐｌｄ”はペイロードを示す。上段が基本階層のデータを含むデータパケットであり、下段が拡張階層のデータを含むデータパケットである。エレメンタリストリームのデータは全てトランスポートストリームパケットのペイロード内に格納される。

なお、図４では階層符号化されたデータのみを示しているが、図４（ｃ）のトランスポートストリームパケットには、その他のデータとして、動画像、音声、セクション情報、その他メタデータなどを含んでもよい。

図５を参照して、Ｈ．２６４／ＳＶＣの符号化データストリームをデータパケット化した場合の構成情報を示すテーブル（ＰＭＴ：Program Map Table）の一例を示す。この構成情報テーブルは、データパケット生成部１３が実際に調整を行った内容を記載したものである。この内容は、データパケット内のデータの関連性を示すものであり、受信調整部２１が受信したデータパケットをデータストリームに再構成するときに必要となる。

（送信調整処理）
次に、図６を参照して送信調整装置１０の処理について説明する。ここでは、符号化装置３０から入力したデータストリームをＲＦ送信装置５０とＩＰ送信装置７０とに出力する処理について説明する。なお、ＲＦ送信装置５０は通常のデジタル放送送出設備であり、この入出力もそれに準ずるものとなる。

まず、符号化装置３０から送信調整装置１０へ階層符号化されたデータを含むデータストリームが入力されてくる（Ｓ１０１）。送信調整装置１０は、このデータストリームの入力を受けるとデータストリームバッファ１２に入力してバッファリングする（Ｓ１０２）。この後、データパケット生成１３はデータストリームバッファ１２を参照してデータパケットが生成可能か否かを判断する（Ｓ１０３）。データパケットが生成可能な場合、データパケット生成１３は、データストリームバッファ１２から必要なデータを取り出してデータパケットを生成し（Ｓ１０４）、データパケットバッファ１４に入力してバッファリングする（Ｓ１０５）。

このとき、データストリームバッファ１２においては、データパケットに出力先の送出装置を示すデータなどを伴ってバッファリングしてもよいし、出力先の送出装置ごとに分かれた個別のキューによって別々に管理してもよい。なお、データパケットの出力先の送出装置を決定するのは、データパケット生成部１３であるが、この決定は、予め設定ファイルの読み込みやオペレータ入力などその他の手段によって送出調整部１１に伝えられ、データパケット生成部１３が把握できるようになっている。

また、データパケット生成部１３が実際に調整を行った内容を構成情報テーブルに記載するが、これはデータパケットの中に含めて一緒に送信しても良いし、あるいは他の装置に転送して何らかの別の手段で受信調整装置２０が入手できるようにしてもよい。

図７に、構成情報テーブルの構成例を示す。図７（ａ）及び７（ｂ）は、ストリーム内に埋め込む場合、図７（ｃ）は、ストリーム外の情報を参照する場合を示す。上記図４（ｃ）に示したように、２つのストリーム（１）と（２）があり、図７（ａ）乃至７（ｃ）において、ストリーム（１）のテーブルは、既存の放送方式であり、独立しても単独のストリームとして成立するようにストリーム（１）内の構成を表すテーブルのみを定義する。

これに対し、ストリーム（２）のテーブルについては３通りのバリエーションを提案する。図７（ａ）は、ストリーム内（２）のテーブルにはストリーム（２）内の構成を表すテーブルのみを定義し、ストリーム（１）と（２）のテーブルを合わせて参照することで全ストリームの構成を表すものである。図７（ｂ）は、ストリーム（２）内のテーブルにストリーム（１）と（２）の全ストリームの構成を表すテーブルを持つことで、ストリーム（１）のテーブルを参照しないで済むようにするものである。図７（ｃ）は、外部にテーブルを用意し、ストリーム外のテーブルを独立で、或いはストリーム（１）のテーブルと合わせて参照するものである。

なお、構成情報テーブルがトランスポートストリーム内に格納される手法は、通常規定される方式に従うものとする。また、図７（ｃ）のトランスポートストリーム外の情報を参照するに場合は、ＸＭＬファイルなどでサーバに格納し取得するなどの手法を適用できる。

また、ここでデータストリームが伝送路毎に複数のデータパケット群として分けられるため、受信調整部２１で再構成するために、同期するための情報を含める必要がある。

通常、細粒度のタイミング同期は、図４（ｂ）で示されるようにタイムスタンプ（ＴＳ１〜ＴＳ４）が付与されてトランスポートストリームに含まれるため、この値を参照すれば同期が可能である。しかし、ＲＦとＩＰの伝送路では伝送条件や遅延が大きく異なるため、タイムスタンプのみでは正しく同期できない場合が生じる。また、ＲＦ送信装置５０は通常のデジタル放送送出設備であり、この入出力もそれに準ずるものとする制約があるため、特別な情報を付加することはできないという問題もある。

そこで、タイムスタンプ同士の同期をとるため、ＩＰ送信部７１で送信されるデータパケットに、ＲＦ送信部５１で送信されるデータパケットとの関連付け情報を格納しておく。例えば、基本階層のデータのタイムスタンプと実データを含めてハッシュ値をとったものを拡張階層のデータパケットとあわせてＩＰ送信部７１から転送することにより、受信調整部２１で確実に同期することが可能となる。

図８及び図９は、ハッシュ値の具体的な格納方法の例を示す図である。

図８は、ハッシュ値をトランスポートストリーム内にセクションデータや別ＰＩＤデータとして格納する場合を示す。この場合は、図４（ｃ）の上段の基本階層のデータを含むデータパケットに関連するハッシュ値のデータが、図４（ｃ）の下段の拡張階層のデータを含むデータパケットに、トランスポートストリーム内で同期して混ぜられて単一のトランスポートストリームとなる。図９は、ハッシュ値をトランスポートストリーム外にＩＰヘッダやペイロード等として格納する場合を示す。この場合は、図４（ｃ）の上段の基本階層のデータを含むデータパケットに関連するハッシュ値のデータが、図４（ｃ）の下段の拡張階層のデータを含むデータパケットにおいて、トランスポートストリーム外で同期して混ぜられて単一のデータパケットとなる。

そして、送出判定部１５は、データパケットバッファ１４を参照し、ＲＦ送信部５１を経由して送出するデータパケットが有るか否か判定し（Ｓ１０６）、宛先やタイミングなどが該当すればＲＦ送信部５１に対して該当データパケットを送出する（Ｓ１０７）。同様に、送出判定部１５は、データパケットバッファ１４を参照し、ＩＰ送信部７１を経由して送出するデータパケットが有るか否か判定し（Ｓ１０８）、宛先やタイミングなどが該当すればＲＦ送信部７１に対して該当データパケットを出力する（Ｓ１０９）。このとき、ＲＦ送信部５１からは放送ＴＳとして送出され、ＩＰ送信部７１からはＲＴＰとして送出されるなどの手法が考えられるが、トランスポートプロトコル等は特に限定しないものとする。

（受信調整処理）
図１０は、受信調整装置２０の動作を示すフローチャートである。図１０を参照して、受信調整装置２０が、ＲＦ受信装置６０及びＩＰ受信装置８０から入力されるデータパケットを復号化装置４０に出力する処理について説明する。

まず、ＲＦ受信装置６０とＩＰ受信装置８０とからそれぞれ階層符号化されたデータを含むデータパケットが入力されてくる（Ｓ２０１，Ｓ２０３）。受信調整部２１は、これらのデータパケットをデータパケットバッファ２２に格納する（Ｓ２０２，Ｓ２０４）。そして、データストリーム再構成部２３は、構成情報テーブルをデータパケット内かその他の何らかの手段で取得して参照し、これに基づいてデータストリームの再構成を実施する（Ｓ２０５，Ｓ２０６）。この再構成については、送信調整部１１からＩＰ伝送路のデータパケットに格納された、ＩＰ伝送路とＲＦ伝送部で転送されるデータパケットとの関連付け情報と、それぞれのエレメンタリストリームのタイムスタンプを用いて同期し再構成することが可能である。

再構成されたデータストリームは、階層符号化されたデータを含み、データストリームバッファ２４に入力されバッファリングされ（Ｓ２０７）、制御部９１からの要求にしたがって復号化装置４０に出力される（Ｓ２０８，Ｓ２０９）。なお、送出調整部１１に入力されるデータストリームと受信調整部２１が出力するデータストリームの内容は、伝送中にパケットロス等によるデータ欠損がない限り、基本的に同一の内容を含むデータとなる。

以上述べたように、上記実施形態によれば、Ｈ．２６４／ＳＶＣ形式等により符号化された映像データを、（例えば放送と通信など）異なる複数の種類の伝送路を利用して送受信する場合に生じる差異を吸収することが可能となる。したがって、放送側は既存の放送波のデジタル放送送出設備や受信機等をそのままに運用しつつ、さらに通信側の受信データをあわせることで再生される映像等の品質の向上を図ることができる。

（変形例１）
変形例１は、上記実施形態において、基本階層のデータの伝送を冗長化するものである。ＩＰ送信部７１は、ＩＰ側で送信される拡張階層のデータと共に、ＲＦ側で送信される基本階層のデータをＩＰの通信網を通じて送信する。ただし、ＩＰ側では、送出調整部１１のデータパケット生成部１３において送信する基本階層のデータと拡張階層のデータとから単一のデータパケット群を生成するようにしてもよいし、別々のデータパケット群として送信しても良い。

変形例１についても、上記実施形態と同様に、ＲＦ側は既存の放送波の送受信設備をそのままに運用しつつ、さらにＩＰ側の受信データをあわせることで再生される映像等の品質の向上を図ることが可能となる。さらに、ＲＦ側でパケットロス等によるデータ欠損があった場合でも、ＩＰ側だけで確実にデータの再生が可能となる。

（変形例２）
上記実施形態では、ＲＦ送信装置５０は通常のデジタル放送送出設備であり、この入出力もそれに準ずるものという制約があったが、変形例２は、この制約に縛られずに、ＲＦ側の各種パラメータを大きく変更することや、そもそもの方式改訂を任意に改変できる状況を想定したものである。この場合、ＲＦ伝送路とＩＰ伝送路のそれぞれのパケットに同期のための関連付け情報を格納することが可能である。この情報は、送出調整部１１のデータパケット生成部１３において、例えば、トランスポートパケット内に格納されるか、ＰＣＲの様にトランスポートパケットの流れの中に格納されるか、ＴＴＳやＰａｒｔｉａｌＴＳの様にＴＳパケットのヘッダやトレイラに格納されるか、ＲＴＰパケットのヘッダやトレイラに格納される。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…送信システム、２…受信システム、１０…送信調整装置、１１…送出調整部、２０…受信調整装置、２１…受信調整部、３０…符号化装置、３１…入力受付部、３２…符号化変換部、４０…復号化装置、４１…復号化変換部、５０…ＲＦ送信装置、５１…ＲＦ送信部、６０…ＲＦ受信装置、６１…ＲＦ受信部、７０…ＩＰ送信装置、７１…ＩＰ送信部、８０…ＩＰ受信装置、８２…ＩＰ受信部、９０…制御部、９１…制御部、１００…表示装置、１０１…再生表示部、１２…データストリームバッファ、１３…データパケット生成部、１４…データパケットバッファ、１５…送出判定部、２２…データパケットバッファ、２３…データストリーム再構成部、２４…データストリームバッファ。

Claims (11)

1. 第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムであって、
   前記送信装置は、
   前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示し、前記第１の構成情報テーブルと共に参照することで前記第１データストリームと前記第２データストリームとを用いた映像の全体構成を示す第２構成情報テーブルを前記受信装置へ送信する送信手段を具備し、
   前記受信装置は、
   前記送信手段から送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信手段と、
   前記第１構成情報テーブル及び前記第２構成情報テーブルとを共に参照し、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段と
   を具備することを特徴とするストリーム伝送システム。
2. 前記第１及び第２構成情報テーブルは、ＰＭＴ（Program Map Table）であることを特徴とする請求項１に記載のストリーム伝送システム。
3. 前記第１データストリーム及び前記第２データストリームには、互いの同期情報が含まれ、
   前記受信調整手段は、さらに前記同期情報に基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成することを特徴とする請求項１に記載のストリーム伝送システム。
4. 第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、受信装置に伝送する送信装置であって、
   前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示し、前記第１の構成情報テーブルと共に参照することで前記第１データストリームと前記第２データストリームとを用いた映像の全体構成を示す第２構成情報テーブルを前記受信装置へ送信する送信手段を具備することを特徴とする送信装置。
5. 前記第１及び第２構成情報テーブルは、ＰＭＴ（Program Map Table）であることを特徴とする請求項４に記載の送信装置。
6. 第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを送信し、前記第１データストリームを拡張する第２データストリームとともに前記第２データストリームの構成情報を示し、前記第１の構成情報テーブルと共に参照することで前記第１データストリームと前記第２データストリームとを用いた映像の全体構成を示す第２構成情報テーブルを送信する送信装置に接続される受信装置であって、
   前記送信装置から送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信手段と、
   前記第１構成情報テーブル及び前記第２構成情報テーブルを共に参照し、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整手段と
   を具備することを特徴とする受信装置。
7. 前記第１及び第２構成情報テーブルは、ＰＭＴ（Program Map Table）であることを特徴とする請求項６に記載の受信装置。
8. 前記第１データストリーム及び前記第２データストリームには、互いの同期情報が含まれ、
   前記受信調整手段は、さらに前記同期情報に基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成することを特徴とする請求項６に記載の受信装置。
9. 第１データストリームと、前記第１データストリームを拡張する第２データストリームとを、送信装置から受信装置に伝送するシステムに用いられる方法であって、
   前記送信装置は、
   前記第１データストリームとともに前記第１データストリームの構成情報を示す第１構成情報テーブルを前記受信装置へ送信し、前記第２データストリームとともに前記第２データストリームの構成情報を示し、前記第１の構成情報テーブルと共に参照することで前記第１データストリームと前記第２データストリームとを用いた映像の全体構成を示す第２構成情報テーブルを前記受信装置へ送信する送信ステップを有し、
   前記受信装置は、
   前記送信ステップにより送信された前記第１データストリーム、前記第１構成情報テーブル、前記第２データストリーム、及び前記第２構成情報テーブルを受信する受信ステップと、
   前記第１構成情報テーブル及び前記第２構成情報テーブルを共に参照し、前記第１データストリームと前記第２データストリームとを用いた映像を構成する受信調整ステップと
   を有することを特徴とするストリーム伝送方法。
10. 前記第１及び第２構成情報テーブルは、ＰＭＴ（Program Map Table）であることを特徴とする請求項９に記載のストリーム伝送方法。
11. 前記第１データストリーム及び前記第２データストリームには、互いの同期情報が含まれ、
    前記受信調整ステップは、さらに前記同期情報に基づき、前記第１データストリームと前記第２データストリームとを用いて映像を構成することを特徴とする請求項９に記載のストリーム伝送方法。