JP4322851B2

JP4322851B2 - 動画配信システムおよび動画配信サーバー

Info

Publication number: JP4322851B2
Application number: JP2005238606A
Authority: JP
Inventors: 寿和青柳; 知浩三原
Original assignee: NEC Display Solutions Ltd
Current assignee: Sharp NEC Display Solutions Ltd
Priority date: 2005-08-19
Filing date: 2005-08-19
Publication date: 2009-09-02
Anticipated expiration: 2025-08-19
Also published as: US20070040818A1; US9049474B2; US8107538B2; CN1917636A; CN2927563Y; JP2007053668A; US20120036547A1; CN1917636B

Description

本発明は、ネットワークを介して動画配信を配信するシステムに関し、特に、映像と音声の位相調整が可能な動画配信システムに関する。

近年ではネットワークを介した動画の配信が増加している。プロジェクタのような表示装置においてもネットワークを介して動画配信サーバーと接続し、そこから動画の配信を受けることが可能となっている。表示装置は、動画配信サーバーから受信した映像および音声を、システムクロックを基準として再生する（特許文献１参照）。

そのような表示装置ではビデオ信号やＲＧＢ信号など様々な映像信号による画像を表示するために信号処理が行われる。その信号処理としては、インターレース形式からプログレッシブ形式に変換するＩ／Ｐ変換や、映像信号の解像度を表示デバイスに合わせて変換する解像度変換などがある。

その信号処理のため映像の表示に遅延が生じ、その遅延により映像と音声の位相が数フィールド分ずれて違和感を生じさせるという問題があった。それを解消するために、遅延回路により音声を遅延させ、音声と映像の位相を一致させる必要があった。
特開平１１−２７５５１９号公報

従来の動画配信システムでは、映像と音声の位相を一致させるために、音声を遅延させる遅延回路などを追加する必要がありコストアップとなっていた。

本発明の目的は、表示装置のコストアップを抑制しつつ映像と音声との位相調整が可能な動画配信システムを提供することである。

上記目的を達成するために、本発明の動画配信システムは、
映像データおよび音声データを含み、映像と音声の各々のデコード時刻および再生時刻を規定することのできる動画データを配信する動画配信システムであって、
前記映像データおよび前記音声データのデコード時刻および再生時刻の情報を含む前記動画データを予め格納しており、該動画データを読み出し、それに含まれている前記デコード時刻または前記再生時刻の情報を所定の位相調整量に基づいて変更することにより映像と音声との位相関係を調整してから配信する動画配信サーバーと、
前記動画配信サーバーから配信された前記動画データを受信し、該動画データに含まれる前記デコード時刻の情報に従って該動画データの映像データおよび音声データをデコードし、前記再生時刻の情報に従って映像および音声を再生する再生装置と、
を有している。

したがって、本発明によれば、動画配信サーバーが、ストリーム中の映像または音声のデコード時刻または再生時刻を変更するので、再生装置は、動画配信サーバーから受信した映像および音声をそのデコード時刻または再生時刻に従ってデコードまたは再生すればよく、映像と音声の位相を調整するための特別な手段を再生装置に設けることなく低コストで位相の調整を可能にする。

また、前記動画配信サーバーは、前記位相調整量に基づいて前記音声データまたは前記映像データの少なくとも一方のストリーム中の位置を変更することにより、前記音声データと前記映像データとのストリーム中の位置関係を、映像と音声との調整後の位相関係に合わせてから配信することとしてもよい。

したがって、これによれば、動画配信サーバーは、デコード時刻または再生時刻の変更に伴ってストリーム中のデータの位置を変更することにより、再生装置におけるデコーダへのデータの到着時刻を調整するので、再生装置に位相調整用のバッファを追加せず、低コストで音声と映像の位相の調整が可能である。

また、前記動画データは、ＭＰＥＧ２−ＴＳ形式ストリームであり、
前記動画配信サーバーは、前記ＭＰＥＧ２−ＴＳ形式ストリームのトランスポートパケットの単位で前記音声データのパケットまたは前記映像データのパケットのストリーム中の位置を変更することとしてもよい。

また、前記動画データの配信にＴＣＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つの前記トランスポートパケットを１つのＴＣＰパケットにパケット化し、該ＴＣＰパケットのヘッダ部のシーケンス番号を前記位相調整量に従って変更することにより、前記トランスポートパケットの位置を変更することとしてもよい。

したがって、これによれば、動画配信サーバーは、ＴＣＰヘッダのシーケンス番号を書き換えることによりストリーム中のデータの位置を移動させるので、再生装置は、ＴＣＰの通常の動作として、動画配信サーバーから受信したパケットをＴＣＰヘッダのシーケンス番号で並べ替えるだけで、パケットの到着時刻が調整される。

また、前記動画データの配信にＵＤＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つの前記トランスポートパケットを１つのＵＤＰパケットにパケット化し、該ＵＤＰパケットのデータ部に前記位相調整量に従ったシーケンス番号を付加することにより、前記トランスポートパケットの位置を変更し、
前記再生装置は、前記データ部に付加された前記シーケンス番号に従ってＵＤＰパケットを並べ替えることとしてもよい。

したがって、これによれば、動画配信サーバーは、ＵＤＰパケットのデータ部にシーケンス番号を付加し、再生装置は、動画配信サーバーから受信したパケットをシーケンス番号で並べ替えるので、ＵＤＰ／ＩＰの場合でも再生装置はＴＣＰ／ＩＰのシーケンス番号に関する処理と同様な容易な処理を追加するだけでパケットの到着時刻を調整することができる。

また、前記動画データは、ＭＰＥＧ２−ＰＳ形式ストリームであり、
前記動画配信サーバーは、前記ＭＰＥＧ２−ＰＳ形式ストリームのＰＥＳパケットの単位で前記音声のパケットまたは前記映像のパケットのストリーム中の位置を変更することとしてもよい。

また、前記動画データの配信にＴＣＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つのＴＣＰパケットが複数の前記ＰＥＳパケットに跨ることがないようにＴＣＰパケットにパケット化し、該ＴＣＰパケットのヘッダ部のシーケンス番号を前記位相調整量に従って変更することにより、前記ＰＥＳパケットの位置を変更することとしてもよい。

また、前記動画データの配信にＵＤＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つのＵＤＰパケットが複数の前記ＰＥＳパケットに跨ることがないようにＵＤＰパケットにパケット化し、該ＵＤＰパケットのデータ部に前記位相調整量に従ったシーケンス番号を付加することにより、前記ＰＥＳパケットの位置を変更し、
前記再生装置は、前記データ部に付加された前記シーケンス番号に従ってＵＤＰパケットを並べ替えることとしてもよい。

また、前記動画配信サーバーは、前記映像データまたは前記音声データの位置を変更したとき、その変更により、前記動画データに含まれる基準クロックに関する情報の位置が変更されれば、その変更に合わせて、前記動画データに含まれる基準クロックに関する情報を修正し、
前記再生装置は、前記動画配信サーバーから配信された前記動画データに含まれる前記基準クロックに関する情報に従って作成した基準クロックを用いて前記動画データを再生することとしてもよい。

したがって、これによれば、動画配信サーバーは、映像データまたは音声データを移動させた後の位置に合わせて基準クロックに関する情報を書き換え、再生装置は、その情報に基づく基準クロックを用いてデコードまたは再生を行うので、正確な基準クロックでのデコードおよび再生が可能である。

また、前記再生装置は、前記動画データの配信に用いる通信プロトコルを前記動画配信サーバーに指示し、
前記動画配信サーバーは、前記再生装置から指示された前記通信プロコトルで該再生装置への前記動画データの配信を行うこととしてもよい。

また、前記動画データは、ＭＰＥＧ２−ＴＳ形式ストリームであり、前記基準クロックに関する情報はＰＣＲであるとしてもよい。

また、前記動画データは、ＭＰＥＧ２−ＰＳ形式ストリームであり、前記基準クロックに関する情報はＳＣＲであるとしてもよい。

また、前記再生装置は、前記位相調整量を前記動画配信サーバーに通知し、
前記動画配信サーバーは、前記再生装置から通知された前記位相調整量を用いることとしてもよい。

また、前記動画データは、ＭＰＥＧのＰＥＳパケットで構成されており、
前記動画配信サーバーは、前記ＰＥＳパケット中のＤＴＳまたはＰＴＳを書き換えることとしてもよい。

本発明によれば、動画配信サーバーが、ストリーム中の映像または音声のデコード時刻または再生時刻を変更するので、再生装置は、動画配信サーバーから受信した映像および音声をそのデコード時刻または再生時刻に従ってデコードまたは再生すればよく、映像と音声の位相を調整するための特別な手段を再生装置に設けることなく低コストで位相の調整を可能にする。

本発明を実施するための形態について図面を参照して詳細に説明する。

図１は、第１の実施形態による動画配信システムの構成を示すブロック図である。第１の実施形態は、ＭＰＥＧ２−ＴＳ（ＭＰＥＧ２トランスポートストリーム）形式ストリームの動画データを配信する例を示す。図１を参照すると、第１の実施形態による動画配信システムは動画配信サーバー１と再生装置２を有している。動画配信サーバー１と再生装置２はネットワーク３を介して接続されている。動画配信サーバー１は、映像および音声を含む動画データを配信するサーバーである。再生装置２は、動画配信サーバー１からの動画データを受信し、その映像および音声を再生する装置である。

ＭＰＥＧ２−ＴＳ形式ストリームを生成する際にはデコード時刻や再生時刻を規定する情報が付与されるが、一般に、その情報はプロジェクタ等の様々な再生装置の信号処理による映像の遅延を全て考慮しているわけではない。そこで、動画配信サーバー１は、再生装置２から通知された位相調整量だけ音声を遅らせたＭＰＥＧ２−ＴＳ形式ストリームを再生装置２に配信する。これにより、再生装置２における映像と音声の再生位相が一致する。

図２は、動画配信サーバーから再生装置に配信されるＭＰＥＧ２−ＴＳ形式ストリームを説明するための図である。図２を参照すると、ＭＰＥＧ２−ＴＳ形式ストリームは、映像をＭＰＥＧエンコードしたＥＳ（エレメンタリストリーム）と、音声をＭＰＥＧエンコードしたＥＳを含んでいる。映像データおよび音声データのＥＳの各々は、可変長のＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅｅｍ）パケットにパケット化され、さらに固定長のトランスポートパケットに分割されてＭＰＥＧ２−ＴＳ形式ストリームに多重されている。

デコードおよび再生の単位となるアクセスユニットは複数のＰＥＳパケットから構成されており、その先頭のＰＥＳパケットのヘッダには、そのアクセスユニットのデコード時刻を示すＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）と再生時刻を示すＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）とが付加されている。また、トランスポートパケットの中には、ヘッダに続くアダプションフィールドに、デコーダに到着する時刻を示すＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）が付加されているものがある。図２のＭＰＥＧ２−ＴＳ形式ストリームにおいて映像のトランスポートパケットが“Ｖ”で示され、音声のトランスポートパケットが“Ａ”で示されている。

画像配信サーバー１は、音声の位相調整のために、位相調整量に応じて動画データ中の音声のＰＥＳパケットに付加されているＰＴＳまたはＤＴＳを書き換える。このＰＴＳまたはＤＴＳの書き換えにより、再生装置２における音声のデコード時刻または再生時刻が位相調整量だけ遅れるので、再生される映像と音声の位相が一致する。

ただし、ＭＰＥＧデコーダのバッファサイズはＭＰＥＧ規格で定められており、またＭＰＥＧ２−ＴＳ形式ストリームはその規格に合わせて構成されている。そのため、再生装置２のデコーダがＭＰＥＧ規格に従ったものであれば、音声のＰＥＳパケットがデコード時刻あるいは再生時刻よりも早く配信されることは想定外であり、デコーダのバッファがオーバーフローする恐れがある。これを回避するためには、動画配信サーバー１から受信した音声のＰＥＳパケットをデコード時刻あるいは再生時刻まで保持するバッファを再生装置２に追加しなければならず、コストアップにつながる。そこで、本実施形態の動画配信サーバー１は、ＭＰＥＧ２−ＴＳ形式ストリームにおける音声のトランスポートパケットの位置を移動させる。トランスポートパケットの位置の移動はシーケンス番号を書き換えることにより行うが、その詳細は後述する。なお、デコーダのバッファがオーバーフローする恐れが無ければトランスポートパケットの位置の移動は必要ない。

さらに、それに伴って移動するトランスポートパケットにＰＣＲが付加されていれば、動画配信サーバー１は、そのトランスポートパケットの移動分に相当する時間だけＰＣＲを修正する。

図３は、動画配信サーバー１によるＭＰＥＧ２−ＴＳ形式ストリームの変換の一例を説明するための図である。図３を参照すると、ＭＰＥＧ２−ＴＳ形式ストリームには複数のトランスポートパケットが含まれている。図３では、映像のトランスポートパケットが“Ｖ”で示され、音声のトランスポートパケットが“Ａ”で示されている。“３”、“６”、“Ｍ＋３”、および“Ｍ＋７”の位置に音声のトランスポートがあり、その他の位置には映像のトランスポートパケットがある。また、“Ｍ＋１”の位置にあるトランスポートパケットにはＰＣＲが付加されているものとする。

ここでは、“３”の位置にある音声のトランスポートパケットを“Ｍ＋１”の位置に移動させ、“７”の位置にある音声トランスポートパケットを“Ｍ＋５”の位置に移動させるものとする。

なお、“３”の位置にあるトランスポートパケットには、アクセスユニットの先頭のＰＥＳパケットに付加されたＰＴＳおよびＤＴＳが含まれているとする。そこで、動画配信サーバー１は、“３”の位置にあるトランスポートパケットに含まれているＰＴＳまたはＤＴＳを“Ｍ＋１”の位置に合わせて書き換える。

また、この移動に伴って“Ｍ＋１”の位置にあったトランスポートパケットの位置が移動するとすると、動画配信サーバー１は、そのＰＣＲを移動後の位置に合わせて修正する。

再生装置２は、トランスポートパケットに付加されているＰＣＲによって示される時刻をＳＴＣにセットし、ＰＬＬで周波数の調整した基準クロックによりＳＴＣ（システムタイムクロック）をカウントする。そして、再生装置２は、ＳＴＣで示された時刻とＤＴＳで示されたデコード時刻とが一致したときにそのアクセスユニットをデコードし、ＳＴＣで示された時刻とＰＴＳで示された再生時刻とが一致したときに、デコードしておいたそのアクセスユニットを再生する。

動画配信サーバー１から再生装置２への動画データの配信にはＴＣＰ／ＩＰまたはＵＤＰ／ＩＰのプロトコルが用いられる。

まず、ＴＣＰ／ＩＰを用いる場合のトランスポートパケットの位置移動について説明する。

動画配信サーバー１は、再生装置２に配信するＭＰＥＧ２−ＴＳ形式ストリームをＴＣＰパケット化し、さらにＩＰパケット化して送信する。

図４は、ＴＣＰ／ＩＰによるパケット化の様子を示す図である。図４を参照すると、ＴＣＰパケットはヘッダとデータからなる。動画配信サーバー１は、ＴＣＰパケットのデータ長をトランスポートパケット長と同じサイズとし、１つのＴＣＰパケットに１つのトランスポートパケットを格納する。また、動画配信サーバー１は、そのＴＣＰパケットをＩＰパケット化する。

ＴＣＰパケットのヘッダにはシーケンス番号が含まれる。シーケンス番号の初期値は乱数により定められ、それ以降のＴＣＰパケットでは、前のパケットのシーケンス番号に、そのパケットのデータ長（オクテット単位）を加算した値が付与される。

図５は、動画配信サーバー１にてＴＣＰパケットに付与されるシーケンス番号を示す図である。図５において、乱数で定まった初期値が“Ｃ”であり、ＴＣＰパケットのデータ長が“Ｓ”である。

動画配信サーバー１は、まず、位置移動前のＭＰＥＧ２−ＴＳ形式ストリームのトランスポートパケットをそのままＴＣＰパケット化し、各ＴＣＰパケットにシーケンス番号を付与する。そして次に、動画配信サーバー１は、トランスポートパケットの位置移動に合わせてＴＣＰパケットのシーケンス番号を書き換える。

図５を参照すると、動画配信サーバー１は、“０”の位置のトランスポートパケットを格納したＴＣＰパケットにシーケンス番号“Ｃ”を付与する。同様に、動画配信サーバー１は、それ以降のＴＣＰパケットに“Ｓ＋Ｃ”、“２Ｓ＋Ｃ”、“３Ｓ＋Ｃ”・・・“（Ｍ＋７）Ｓ＋Ｃ”を順次付与する。

ここでは図３と同じ位置移動をするものとする。そこで、動画配信サーバー１は、その位置変更に合わせて、“３”の位置のトランスポートパケットを格納したＴＣＰパケットのシーケンス番号を“３Ｓ＋Ｃ”から“（Ｍ−１）Ｓ＋Ｃ”に書き換える。同様に、動画配信サーバー１は、それ以降のＴＣＰパケットのシーケンス番号を移動後の位置に合わせて書き換える。

再生装置２は、動画配信サーバー１から受信したＴＣＰパケットをＴＣＰプロトコルに従ってシーケンス番号が昇順となるように並べ替え、ＭＰＥＧ２−ＴＳ形式ストリームを再構成する。再構成されたＭＰＥＧ２−ＴＳ形式ストリームは、音声のトランスポートパケットの位置が移動しているので、書き換えられたＤＴＳまたはＰＴＳに示された時刻にデコードまたは再生するのにＭＰＥＧデコーダのバッファが破綻することがない。

次に、ＵＤＰ／ＩＰを用いる場合のトランスポートパケットの位置移動について説明する。

動画配信サーバー１は、再生装置２に配信するＭＰＥＧ２−ＴＳ形式ストリームをＵＤＰパケット化し、さらにＩＰパケット化して送信する。

図６は、ＵＤＰ／ＩＰによるパケット化の様子を示す図である。図６を参照すると、ＵＤＰパケットはヘッダとデータからなる。動画配信サーバー１は、ＴＣＰの場合と同様に、ＵＤＰパケットのデータ長をトランスポートパケット長と同じサイズとし、１つのＵＤＰパケットに１つのトランスポートパケットを格納する。また、動画配信サーバー１は、そのＵＤＰパケットをＩＰパケット化する。

ＴＣＰと異なり、ＵＤＰヘッダにはシーケンス番号が含まれていない。そこで動画配信サーバー１は、ＵＤＰパケットのデータ部にシーケンス番号を付加する。シーケンス番号は、例えば図５に示したＴＣＰの場合と同様に付与すればよい。

再生装置２は、動画配信サーバー１からのＵＤＰパケットをシーケンス番号が昇順となるように並べ替えてＭＰＥＧ２−ＴＳ形式ストリームを再構成する。再構成されたＭＰＥＧ２−ＴＳ形式ストリームは、音声のトランスポートパケットの位置が移動しているので、書き換えられたＤＴＳまたはＰＴＳに示された時刻にデコードまたは再生するのにＭＰＥＧデコーダのバッファが破綻することがない。

図１に戻り、動画配信サーバー１は、音声位相調整量格納部４、ＭＰＥＧ２−ＴＳファイル５、音声パケットＰＴＳ/ＤＴＳ書き換え部６、音声パケット位置移動計算部７、音声パケット位置変換テーブル８、ＰＣＲ書き換え部９、ＴＣＰ部１１、シーケンス番号書き換え部１２、ＵＤＰ部１３、シーケンス番号付加部１４、ＴＣＰ/ＵＤＰ設定部１５、ＴＣＰ/ＵＤＰ切替部１６、およびＩＰ部１７を有している。

再生装置２は、音声位相制御部１８、ＩＰ部１９、ＴＣＰ部２０、パケット並び替え部２１、ＵＤＰ部２２、ＴＣＰ/ＵＤＰ切替部２３、プロトコル制御部２４、ＭＰＥＧデコーダ２５、映像信号処理部２６、映像出力部２９、表示デバイス部３０、音声出力部３１、およびスピーカ３２を有している。映像信号処理部２６は、ＩＰ変換部２７と解像度変換部２８を有している。

動画配信サーバー１において、音声位相調整量格納部４は音声の位相を調整するための位相調整量を格納している。位相調整量は再生装置２から通知される。

ＭＰＥＧ２−ＴＳファイル５は、再生装置２に配信するための動画データを格納している。動画データは、ＭＰＥＧ２−ＴＳ形式ストリームである。

音声パケットＰＴＳ/ＤＴＳ書き換え部６は、音声の位相調整のために、音声位相調整量格納部４に格納されている位相調整量に応じて、ＭＰＥＧ２−ＴＳファイル５の動画データ中の音声のＰＥＳパケットに付加されているＰＴＳまたはＤＴＳを書き換え、そのファイルを音声パケット位置移動計算部７に送る。ＰＴＳまたはＤＴＳの書き換えは、具体的にはＰＴＳまたはＤＴＳに位相調整量を加算することにより行う。

音声パケット位置移動計算部７は、音声パケットＰＴＳ/ＤＴＳ書き換え部６によりＰＥＳパケットのＰＴＳまたはＤＴＳが書き換えられた音声のトランスポートパケットの位置移動量を計算し、移動するトランスポートパケットと移動先の位置を示す位置移動情報を音声パケット位置変換テーブル部８に記録すると共に、ＭＰＥＧ２−ＴＳ形式ストリームをＰＣＲ書き換え部９に送る。図７は、音声パケット位置変換テーブルの一例を示す図である。図７には、図３、図５に示した位置移動の例で音声パケット位置移動計算部７が記録する音声パケット変換テーブルが示されている。図７を参照すると、音声パケット変換テーブルには、“３”の位置のトランスポートパケットを“Ｍ＋１”に移動し、“７”の位置のトランスポートパケットを“Ｍ＋５”に移動させるという位置移動情報が記録されている。

ＰＣＲ書き換え部９は、音声パケット位置変換テーブル部８を参照してＭＰＥＧ２−ＴＳ形式ストリーム中のＰＣＲを書き換え、そのＭＰＥＧ２−ＴＳ形式ストリームをＴＣＰ部１１およびＵＤＰ部１３に送る。

ＴＣＰ部１１は、ＰＣＲ書き換え部９からのＭＰＥＧ２−ＴＳ形式ストリームをＴＣＰパケット化し、シーケンス番号書き換え部１２に送る。

シーケンス番号書き換え部１２は、音声パケット位置変換テーブル部８のテーブルを参照してＴＣＰパケットのシーケンス番号を書き換え、そのＴＣＰパケットをＴＣＰ／ＵＤＰ切替部１６に送る。

ＵＤＰ部１３は、ＰＣＲ書き換え部９からのＭＰＥＧ２−ＴＳ形式ストリームをＵＤＰパケット化し、シーケンス番号付加部１４に送る。

シーケンス番号付加部１４は、音声パケット位置変換テーブル部８のテーブルを参照してＵＤＰパケットにシーケンス番号を付加し、そのＵＤＰパケットをＴＣＰ／ＵＤＰ切替部１６に送る。

ＴＣＰ/ＵＤＰ設定部１５は、動画配信にＴＣＰを用いるかＵＤＰを用いるかを示す設定情報を保持している。この設定情報は再生装置２より指示される。

ＴＣＰ/ＵＤＰ切替部１６は、ＴＣＰ/ＵＤＰ設定部１５の保持している設定情報に従ってＴＣＰあるいはＵＤＰを選択する。

ＩＰ部１７は、ＩＰプロトコルの処理を行い、ネットワーク３を介して再生装置２にＩＰパケットを送信する。

一方、再生装置２において、音声位相制御部１８は、動画配信サーバー１の音声位相調整量格納部４に位相調整量を通知する。

ＩＰ部１９は、動画配信サーバー１からのＩＰパケットに対してＩＰプロトコルの処理を行う。

ＴＣＰ部２０は、動画配信にＴＣＰ／ＩＰが用いられている場合に、ＩＰ部１９からのＴＣＰパケットに対してＴＣＰプロトコルの処理を行い、再構成されたＭＰＥＧ２−ＴＳ形式ストリームをＴＣＰ／ＵＤＰ切替部２３に送る。このとき、ＴＣＰ部２０は、シーケンス番号が昇順となるようにＴＣＰパケットを並べ替える。

パケット並び替え部２１は、動画配信にＵＤＰ／ＩＰが用いられている場合に、ＩＰ部１９からのＵＤＰパケットをシーケンス番号に従って並べ替えてＵＤＰ部２２に送る。

ＵＤＰ部２２は、パケット並べ替え部２１からのＵＤＰパケットに対してＵＤＰプロトコルの処理を行い、再構成されたＭＰＥＧ２−ＴＳ形式ストリームをＴＣＰ／ＵＤＰ切替部２３に送る。

ＴＣＰ/ＵＤＰ切替部２３は、プロトコル制御部２４の指示に従ってＴＣＰあるいはＵＤＰを選択する。

プロトコル制御部２４は、動画配信にＴＣＰを用いるかＵＤＰを用いるかを設定し、ＴＣＰ／ＵＤＰ切替部２３に指示すると共に、動画配信サーバー１のＴＣＰ／ＵＤＰ設定部１５に通知する。

ＭＰＥＧデコーダ２５は、動画配信サーバー１からのＭＰＥＧ形式ストリームの動画データをデコードし、映像信号を映像信号処理部２６に送り、音声信号を音声出力部３１に送る。

映像信号処理部２６は、ＭＰＥＧデコーダ２５からの映像信号を処理し、映像出力部２９に送る。

Ｉ／Ｐ変換部２７は、ＭＰＥＧデコーダ２５からの映像信号がインターレース形式のとき、それをプログレッシブ形式に変換して解像度変換部２８に送る。

解像度変換部２８は、Ｉ／Ｐ変換部２７からの映像の解像度を表示デバイスに合わせて変換し、映像出力部２９に送る。

映像出力部２９は、映像信号処理部２６からの映像信号を表示デバイスに出力する。

表示デバイス部３０は、映像出力部２９からの出力信号に従って映像を表示する。

音声出力部３１は、ＭＰＥＧデコーダ２５からの音声信号をスピーカ３２へ出力する。

スピーカ３２は音声出力部３１からの出力信号に従って音声を発生させる。

以上説明したように、本実施形態によれば、動画配信サーバー１は、映像と音声の位相を合わせるために動画データ中のデコード時刻または再生時刻の情報を変更する。また、再生装置２は、動画配信サーバー１から受信したパケットの映像および音声をその情報に従ってデコードまたは再生する。再生装置２にて従来と同様にデコードおよび再生を行うことで容易に位相の調整が可能であり、位相調整の機能に伴う再生装置２のコストアップを抑制することができる。

また、本実施形態によれば、動画配信サーバー１は、デコード時刻または再生時刻の変更に伴ってストリーム中のパケットの位置を変更することにより、再生装置２におけるＭＰＥＧデコーダ２５へのパケットの到着時刻を修正するので、再生装置２に位相調整用のバッファを追加せず、低コストで音声と映像の位相の調整が可能な動画配信システムを構成することができる。

また、本実施形態によれば、動画配信にＴＣＰ／ＩＰを用いる場合、動画配信サーバー１は、ＤＴＳまたはＰＴＳに合わせた位置に音声パケットを移動させるためにＴＣＰヘッダのシーケンス番号をシーケンス番号書き換え部１２にて書き換えるので、再生装置２は、ＴＣＰ部２０にて、ＴＣＰの通常の処理として、動画配信サーバー１から受信したパケットをシーケンス番号で並べ替えるだけで、ＭＰＥＧデコーダ２５へのパケットの到着時刻が調整される。その結果、ＭＰＥＧデコーダ２５のバッファが破綻することがなく、位置移動に伴うＭＰＥＧデコーダ２５におけるバッファ追加の必要も無い。

また、本実施形態によれば、動画配信にＵＤＰ／ＩＰを用いる場合、動画配信サーバー１は、ＤＴＳまたはＰＴＳに合わせた位置に音声パケットを移動させるために、シーケンス番号付加部１４にてＵＤＰパケットのデータ部にシーケンス番号を付加し、再生装置２は、パケット並べ替え部２１にて、動画配信サーバー１から受信したパケットをシーケンス番号で並べ替えるので、ＵＤＰ／ＩＰの場合でも再生装置２はＴＣＰ／ＩＰのシーケンス番号に関する処理と同様な容易な処理を追加するだけでパケットの到着時刻を調整することができる。

また、本実施形態によれば、動画配信サーバー１は、音声パケットを移動させた後のＰＣＲを含むパケットの位置に合わせてＰＣＲをＰＣＲ書き換え部９にて書き換え、再生装置２は、ＰＣＲに基づくＳＴＣを用いてデコードまたは再生を行うので、正確なＳＴＣでのデコードおよび再生が可能である。

なお、本実施形態では、音声の位相を調整する例を示したが、本発明はそれに限定されるものではない。音声の代わりに映像の位相を調整することとしてもよい。

また。本実施形態では、調整として位相を遅らせる例を示したが、本発明はそれに限定されるものではない。他の例として、調整として位相を早めることも可能である。その場合、ＴＣＰパケットのシーケンス番号の書き換えはアンダーフローによるバッファの破綻を防ぐように機能する。

本発明の第２の実施形態について説明する。

第２の実施形態では、第１の実施形態と異なりＭＰＥＧ２−ＰＳ（ＭＰＥＧ２プログラムストリーム）形式ストリームを配信する例を示す。

図８は、第２の実施形態による動画配信システムの構成を示すブロック図である。図８を参照すると、第２の実施形態による動画配信システムは、第１の実施形態と同様に、動画配信サーバー１と再生装置２を有している。動画配信サーバー１は、映像および音声を含む動画データを配信するサーバーである。再生装置２は、動画配信サーバー１からの動画データを受信し、その映像および音声を再生する装置である。

動画配信サーバー１は、再生装置２から通知された位相調整量だけ音声を遅らせたＭＰＥＧ２−ＰＳ形式ストリームを再生装置２に配信する。これにより、再生装置２における映像と音声の再生位相が一致する。

図９は、動画配信サーバーから再生装置に配信されるＭＰＥＧ２−ＰＳ形式ストリームを説明するための図である。図９を参照すると、ＭＰＥＧ２-ＰＳ形式ストリームには、ＭＰＥＧ２-ＴＳ形式ストリームと同様に、映像のＥＳをパケット化したＰＥＳパケットと、音声のＥＳをパケット化したＰＥＳパケットとが多重されている。また、ＭＰＥＧ２−ＰＳ形式ストリームは、パックと呼ばれる単位で構成されている。そのパックは、パックヘッダ、システムヘッダ、および複数のＰＥＳパケットで構成されている。なお、システムヘッダはＭＰＥＧ２−ＰＳ形式ストリームの最初のパックにだけは必ず付加される。

パックヘッダには、そのパックがＭＰＥＧデコーダに到着する予定時刻を示すＳＣＲ（ＳｙｓｔｅｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）が付加されている。第１の実施形態ではＰＣＲを書き換えたが、第２の実施形態の動画配信サーバー１は、ＭＰＥＧ２−ＰＳ形式ストリームのＳＣＲを書き換えて配信する点で第１の実施形態と異なる。第２の実施形態の再生装置２は、ＭＰＥＧデコーダにて、第１の実施形態におけるＰＣＲと同様に、このＳＣＲをＳＴＣにセットし、ＰＬＬで周波数調整した基準クロックによりＳＴＣをカウントする。

図１０は、ＴＣＰ／ＩＰによるパケット化の様子を示す図である。図１０を参照すると、動画配信にＴＣＰ／ＩＰが用いられる場合、動画配信サーバー１は、ＭＰＥＧ２−ＰＳ形式ストリームのパックに含まれるパックヘッダ、システムヘッダのそれぞれを１つのＴＣＰパケットにパケット化する。また、動画配信サーバー１は、ＰＥＳパケットを分割して複数のＴＣＰパケットにパケット化する。なお、このとき複数のＰＥＳパケットのデータが１つのＴＣＰパケットに格納されることはない。

動画配信にＵＤＰ／ＩＰが用いられる場合、動画配信サーバー１は、ＭＰＥＧ２−ＰＳ形式ストリームのパックに含まれるパックヘッダ、システムヘッダのそれぞれを１つのＵＤＰパケットにパケット化し、ＰＥＳパケットを分割して複数のＵＤＰパケットにパケット化する。なお、このとき複数のＰＥＳパケットのデータが１つのＵＤＰパケットに格納されることはない。

図８に戻り、動画配信サーバー１は、音声位相調整量格納部４、ＭＰＥＧ２−ＰＳファイル３３、音声パケットＰＴＳ/ＤＴＳ書き換え部６、音声パケット位置移動計算部７、音声パケット位置変換テーブル８、ＳＣＲ書き換え部３４、ＴＣＰ部１１、シーケンス番号書き換え部１２、ＵＤＰ部１３、シーケンス番号付加部１４、ＴＣＰ/ＵＤＰ設定部１５、ＴＣＰ/ＵＤＰ切替部１６、およびＩＰ部１７を有している。

第２の実施形態では、音声パケット位置移動計算部７がＰＥＳパケットの単位で位置の移動を計算する点で、トランスポートパケットを単位とする第１の実施形態と異なる。そのため、音声パケット位置変換テーブル８には、ＰＥＳパケットの単位での位置移動情報が記録される。

ＴＣＰ部１１は、１つのＴＣＰパケットが複数のＰＥＳパケットに跨ることがないようにパックをＴＣＰパケットにパケット化する。そのため、シーケンス番号書き換え部１２がＴＣＰヘッダのシーケンス番号を書き換えることによりＰＥＳパケットの位置を変更することができる。

同様に、ＵＤＰ部１３は、１つのＵＤＰパケットが複数のＰＥＳパケットに跨ることがないようにパックをＵＤＰパケットにパケット化する。そのため、シーケンス番号付加部１４がＵＤＰパケットのデータ部にシーケンス番号を付加することによりＰＥＳパケットの位置を変更することができる。

また、第２の実施形態の動画配信システムは、動画配信サーバー１がＰＣＲ書き換え部９の代わりにＳＣＲ書き換え部３４を有している点で第１の実施形態と異なる。動画配信サーバー１のＳＣＲ書き換え部３４は、音声パケット位置変換テーブル部８を参照してＭＰＥＧ２−ＰＳ形式ストリーム中のＳＣＲを書き換え、そのＭＰＥＧ２−ＰＳ形式ストリームをＴＣＰ部１１およびＵＤＰ部１３に送る。

第１の実施形態による動画配信システムの構成を示すブロック図である。動画配信サーバーから再生装置に配信されるＭＰＥＧ２−ＴＳ形式ストリームを説明するための図である。動画配信サーバーによるＭＰＥＧ２−ＴＳ形式ストリームの変換の一例を説明するための図である。ＴＣＰ／ＩＰによるパケット化の様子を示す図である。動画配信サーバーにてＴＣＰパケットに付与されるシーケンス番号を示す図である。ＵＤＰ／ＩＰによるパケット化の様子を示す図である。音声パケット位置変換テーブルの一例を示す図である。第２の実施形態による動画配信システムの構成を示すブロック図である。動画配信サーバーから再生装置に配信されるＭＰＥＧ２−ＰＳ形式ストリームを説明するための図である。ＴＣＰ／ＩＰによるパケット化の様子を示す図である。

符号の説明

１動画配信サーバー
２再生装置
３ネットワーク
４音声位相調整量格納部
５ＭＰＥＧ２−ＴＳファイル
６音声パケットＰＴＳ/ＤＴＳ書き換え部
７音声パケット位置移動計算部
８音声パケット位置変換テーブル
９ＰＣＲ書き換え部
１１ＴＣＰ部
１２シーケンス番号書き換え部
１３ＵＤＰ部
１４シーケンス番号付加部
１５ＴＣＰ/ＵＤＰ設定部
１６ＴＣＰ/ＵＤＰ切替部
１７ＩＰ部
１８音声位相制御部
１９ＩＰ部
２０ＴＣＰ部
２１パケット並び替え部
２２ＵＤＰ部
２３ＴＣＰ/ＵＤＰ切替部
２４プロトコル制御部
２５ＭＰＥＧデコーダ
２６映像信号処理部
２７ＩＰ変換部
２８解像度変換部
２９映像出力部
３０表示デバイス部
３１音声出力部
３２スピーカ
３３ＭＰＥＧ２−ＰＳファイル
３４ＳＣＲ書き換え部

Claims

映像データおよび音声データを含み、映像と音声の各々のデコード時刻および再生時刻を規定することのできる動画データを配信する動画配信システムであって、
前記映像データおよび前記音声データのデコード時刻および再生時刻の情報を含む前記動画データを予め格納しており、該動画データを読み出し、それに含まれている前記デコード時刻または前記再生時刻の情報を所定の位相調整量に基づいて変更することにより映像と音声との位相関係を調整してから配信する動画配信サーバーと、
前記動画配信サーバーから配信された前記動画データを受信し、該動画データに含まれる前記デコード時刻の情報に従って該動画データの映像データおよび音声データをデコードし、前記再生時刻の情報に従って映像および音声を再生する再生装置と、
を有し、
前記動画配信サーバーは、前記位相調整量に基づいて前記音声データまたは前記映像データの少なくとも一方のストリーム中の位置を変更することにより、前記音声データと前記映像データとのストリーム中の位置関係を、映像と音声との調整後の位相関係に合わせてから配信する、動画配信システム。
前記動画データは、ＭＰＥＧ２−ＴＳ形式ストリームであり、
前記動画配信サーバーは、前記ＭＰＥＧ２−ＴＳ形式ストリームのトランスポートパケットの単位で前記音声データのパケットまたは前記映像データのパケットのストリーム中の位置を変更する、請求項１記載の動画配信システム。
前記動画データの配信にＴＣＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つの前記トランスポートパケットを１つのＴＣＰパケットにパケット化し、該ＴＣＰパケットのヘッダ部のシーケンス番号を前記位相調整量に従って変更することにより、前記トランスポートパケットの位置を変更する、請求項２記載の動画配信システム。
前記動画データの配信にＵＤＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つの前記トランスポートパケットを１つのＵＤＰパケットにパケット化し、該ＵＤＰパケットのデータ部に前記位相調整量に従ったシーケンス番号を付加することにより、前記トランスポートパケットの位置を変更し、
前記再生装置は、前記データ部に付加された前記シーケンス番号に従ってＵＤＰパケットを並べ替える、請求項２または３に記載の動画配信システム。
前記動画データは、ＭＰＥＧ２−ＰＳ形式ストリームであり、
前記動画配信サーバーは、前記ＭＰＥＧ２−ＰＳ形式ストリームのＰＥＳパケットの単位で前記音声のパケットまたは前記映像のパケットのストリーム中の位置を変更する、請求項１記載の動画配信システム。
前記動画データの配信にＴＣＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つのＴＣＰパケットが複数の前記ＰＥＳパケットに跨ることがないようにＴＣＰパケットにパケット化し、該ＴＣＰパケットのヘッダ部のシーケンス番号を前記位相調整量に従って変更することにより、前記ＰＥＳパケットの位置を変更する、請求項５記載の動画配信システム。
前記動画データの配信にＵＤＰ／ＩＰが用いられるとき、
前記動画配信サーバーは、１つのＵＤＰパケットが複数の前記ＰＥＳパケットに跨ることがないようにＵＤＰパケットにパケット化し、該ＵＤＰパケットのデータ部に前記位相調整量に従ったシーケンス番号を付加することにより、前記ＰＥＳパケットの位置を変更し、
前記再生装置は、前記データ部に付加された前記シーケンス番号に従ってＵＤＰパケットを並べ替える、請求項５または６に記載の動画配信システム。
前記動画配信サーバーは、前記映像データまたは前記音声データの位置を変更したとき、その変更により、前記動画データに含まれる基準クロックに関する情報の位置が変更されれば、その変更に合わせて、前記動画データに含まれる基準クロックに関する情報を修正し、
前記再生装置は、前記動画配信サーバーから配信された前記動画データに含まれる前記基準クロックに関する情報に従って作成した基準クロックを用いて前記動画データを再生する、請求項１〜７のいずれか１項に記載の動画配信システム。
前記再生装置は、前記動画データの配信に用いる通信プロトコルを前記動画配信サーバーに指示し、
前記動画配信サーバーは、前記再生装置から指示された前記通信プロコトルで該再生装置への前記動画データの配信を行う、請求項１〜８のいずれか１項に記載の動画配信システム。
前記動画データは、ＭＰＥＧ２−ＴＳ形式ストリームであり、前記基準クロックに関する情報はＰＣＲである、請求項８記載の動画配信システム。
前記動画データは、ＭＰＥＧ２−ＰＳ形式ストリームであり、前記基準クロックに関する情報はＳＣＲである、請求項８記載の動画配信システム。
前記再生装置は、前記位相調整量を前記動画配信サーバーに通知し、
前記動画配信サーバーは、前記再生装置から通知された前記位相調整量を用いる、請求項１〜１１のいずれか１項に記載の動画配信システム。
前記動画データは、ＭＰＥＧのＰＥＳパケットで構成されており、
前記動画配信サーバーは、前記ＰＥＳパケット中のＤＴＳまたはＰＴＳを書き換える、請求項１〜１２のいずれか１項に記載の動画配信システム。
映像データおよび音声データを含み、映像と音声の各々のデコード時刻および再生時刻を規定することのできる動画データを再生装置に配信する動画配信サーバーであって、
前記映像データおよび前記音声データのデコード時刻および再生時刻の情報を含む前記動画データを予め格納しているデータ格納部と、
所定の位相調整量を格納する位相調整量格納部と、
前記格納部に格納されている前記動画データを読み出し、該動画データに含まれている前記デコード時刻または前記再生時刻の情報を前記位相調整量に基づいて変更することにより映像と音声との位相関係を調整する第１の書き換え部と、
前記第１の書き換え部によって前記デコード時刻または前記再生時刻の情報が書き換えられた前記動画データに含まれている前記音声データまたは前記映像データの少なくとも一方のストリーム中の位置を変更することにより、前記音声データと前記映像データとのストリーム中の位置関係を、映像と音声との調整後の位相関係に合わせる位置移動計算部と、
を有する動画配信サーバー。
前記映像データまたは前記音声データのストリーム中の位置を変更したとき、その変更により、前記動画データに含まれる基準クロックに関する情報のストリーム中の位置が変更されれば、変更後の位置に合わせて、前記動画データに含まれる基準クロックに関する情報を修正する第２の書き換え部をさらに有する、請求項１４記載の動画配信サーバー。