JP4445012B2 - パケットの配信帯域制御方法、配信装置及び映像配信システム - Google Patents

Description

本発明は、映像または音声データを含むパケットの配信帯域制御方法、パケットの配信装置及び映像配信システムに関する。

インターネット通信を初めてとして様々な通信手段を介した画像データ、音声データ等のデータ通信の需要が高まっている。インターネットを利用した通信サービスとして、ビデオオンデマンド、ライブ映像のストリーミング配信、テレビ会議システム等がある。

ストリーム配信ではリアルタイムで画像データを伝送する必要があり、このようなリアルタイム通信に適したインターネット技術としてＲＴＰ（Real-time Transport Protocol）プロトコルが知られている。ＲＴＰプロトコルを利用したデータ通信では、送信側でパケットに時間情報としてタイムスタンプを付加し、受信側でそのタイムスタンプを参照して受信したパケットを時間順に再生する。これにより、パケット転送時の遅延やゆらぎ（ジッター）などの影響を受けずに同期を取った再生を可能にしている。

しかしながら、ＲＴＰは実時間でのデータ通信を保証するものではないため、ＲＴＰプロトコルに基づくパケットは他のプロトコルのパケットと同様にネットワーク上での配信遅延やパケットロストが発生する可能性があり、高品質なデータ配信処理を行っている場合でも、受信側でその品質を保持した再生を行えないという問題点があった。

このようなＲＴＰを用いたデータ転送における問題点を解決するために、データ転送の信頼性の高いＴＣＰ（Transmission Control Protocol）を利用してパケットの再送要求と再送パケットの送信を行わせることが考えられている。

しかし、ＴＣＰはエラー訂正には強いが、スループットが低く遅延が大きいため、デコーダ側の再送要求に従ってパケットを再送しても再生時間に間に合わない可能性があり、リアルタイム通信を実現する上では問題がある。

パケットロストが発生した場合のエラー訂正方法としてＦＥＣ（Forward Error Correction）という技術が知られている。
図１０は、映像配信システムにおけるＦＥＣによるエラー訂正の説明図である。

図１０において、エンコーダ装置１０１は、ＦＥＣ符号化処理部１０２において、送信データＤ１とＤ２から冗長パリティＰ１を生成し、送信データＤ１，Ｄ２・・・を格納したデータパケットと、冗長パリティを格納した冗長パケットとをデコーダ装置１０３に配信する。

デコーダ装置１０３側でパケットロストが発生すると、ＦＥＣ復元処理部１０４がロストしたパケットを冗長パケットを用いて復元する。例えば、データＤ１を格納したパケットをロストした場合には、冗長パケットＰ１とデータＤ２とからデータＤ１を復元する。

上記のようなＦＥＣを用いたエラー訂正はバースト的なパケットロストが発生するとパケットの復元が困難になる。
バースト的なパケットロストが発生した場合のエラー訂正方法として、ＡＲＱ（Automatic Repeat Request）という技術が知られている。図１１は、その説明図である。

このエラー訂正方法は、パケットロストが発生すると、デコーダ装置１１２が、即時にロストしたパケットの再送を要求する再送要求をエンコーダ装置１１１に送り、エンコーダ装置１１１が要求されたパケットをデコーダ装置１１２に配信することでパケットロストを補う。

特許文献１には、ネットワーク状況監視部の監視するネットワーク状況に基づいてＦＥＣまたはＡＲＱのエラー制御を動的に変更することが記載されている。
しかしながら、特許文献１におけるネットワークの状況に基づくエラー制御とは、ネットワークの往復伝搬遅延（ＲＴＴ）が所定値より長いか、短いかを判定し、往復伝搬遅延が短いときには、ＡＲＱによるエラー訂正を行い、ＲＴＴが長いときにはＦＥＣによるエラー訂正を行うことを意味しているにすぎない。
特開２００３−１７９５８０号公報

本発明の課題は、ネットワークの帯域が変動する場合に映像データ等の品質を確保したリアルタイム配信を可能にすることである。
ネットワークを介して映像または音声データを含むパケットを配信する配信装置のパケットの配信帯域制御方法であって、受信装置から送信されてくる前記パケットの再送要求または前記パケットの復元を行ったことを知らせるパケット復元通知をエラー情報受信手段で受信し、一定時間内に前記エラー情報受信手段で受信した前記パケットの再送要求の数または前記パケット復元通知の数が所定数以内の時、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分増加させるように制御する。

このように構成することで、パケットの再送要求の数またはパケット復元通知の数が所定値以内でネットワークの帯域に余裕があるときには、パケットの配信に使用する帯域を冗長パケットの送信に使用する帯域分増加することでネットワークの帯域を有効に活用することができる。

上記の発明のパケットの配信帯域制御方法において、一定時間内に受信した前記パケットの再送要求の数または前記パケット復元通知の数が所定以上のとき、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分減少させる。

このように構成することでネットワークの帯域が減少したときには、パケットの配信に使用する帯域を冗長パケットの使用帯域分減らすことで、パケットの欠落を少なくし、一定の品質を確保しながらリアルタイム配信を維持することができる。

上記の発明のパケットの配信帯域制御方法において、前記パケットはＭＰＥＧ符号化されたデータを格納するＭＰＥＧストリームであり、一定時間内に受信した再送要求数と、ＦＥＣ（Forward Error Correction）パケット復元通知数とに基づいて前記ＭＰＥＧストリームの配信帯域を可変制御する。

このように構成することでＭＰＥＧストリームを配信する場合に、ネットワークの帯域変動があっても一定品質でのリアルタイム配信を維持することができる。

以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明に係る映像配信システムの配信装置１２と受信装置１１の基本構成を示す図である。
図１において、受信装置１１は、配信装置１２からネットワーク１３を介して符号化されて送信されてくる映像データまたは音声データを含むパケットを受信し、受信したパケットを時間情報に従って再生する。

受信装置１１は、受信したパケットの欠落を検出するパケット欠落検出部１４と、パケットの欠落を検出した場合に、欠落したパケットの再送を要求する再送要求送信部１５と、冗長パケットを用いてパケットを復元した場合にパケット復元通知を送信する復元通知送信部１６を有する。

配信装置１２は、受信装置１１から送信されてくる再送要求、あるいは復元通知等のエラー情報を受信するエラー情報受信部１７と、エラー情報受信部１７で受信されたエラー情報に基づいてパケットの配信帯域を制御する配信帯域制御部１８と、その配信帯域制御１８により指定される帯域（伝送レート）を使用してパケットを配信するパケット配信部１９とを有する。

パケットの配信に使用されているネットワーク１３の帯域の減少により、受信装置１１側でのパケットの欠落が多くなり、配信装置１２で受信するパケットの再送要求数が所定値以上となったとき、あるいは欠落したパケットを冗長データを用いて復元したことを通知する復元通知数が所定値以上となったとき、配信帯域制御部１８が、パケットの配送に使用する帯域を減少させて受信側でのパケットロスト等のエラーの発生を減らす。これにより、所望の品質を確保しならがら映像のリアルタイム配信を維持することができる。

次に、図２は実施の形態の映像配信システムのシステム構成を示す図である。この映像配信システムは、映像データをＭＰＥＧストリームでライブ配信するＭＰＥＧエンコーダ２１と、そのＭＰＥＧエンコーダ２１から配信されるＭＰＥＧストリームを受信して再生するＭＰＥＧデコーダ２３とからなる。

図２において、ＭＰＥＧエンコーダ（配信装置）２１は、画像データをＭＰＥＧ方式で符号化し、符号化したＭＰＥＧデータをインターネットプロトコル（ＩＰ）に基づくＭＰＥＧストリーム（パケット）に変換してインターネットプロトコルネットワーク（以下、ＩＰネットワークという）２２に送出する。

ＩＰネットワーク２２には、複数のＭＰＥＧデコーダ（受信装置）２３とパーソナルコンピュータからなる複数のクライアント（受信装置）２４と、１台または複数台のサーバ２５が接続されている。サーバ２５は、ＭＰＥＧエンコーダ２１とＭＰＥＧデコーダ２３の動作条件等の設定データを送信する。

ＭＰＥＧデコーダ２３は、ＭＰＥＧエンコーダ２１により配信されるパケットを受信し、そのパケットに格納されているＭＰＥＧデータを復号して画像及び音声の再生を行う。クライアント２４はＭＰＥＧデコード機能を有しパケットのデータを復号して画像及び音声の再生を行う。

図３は、ＭＰＥＧエンコーダ２１の構成を示すブロック図である。図３において太い線の矢印はデータの流れを示し、細い線の矢印は制御データの流れを示す。
図３の映像入力部３１及び音声入力部３２から入力するアナログの映像信号及び音声信号は、映像Ａ／Ｄ変換器３３及び音声Ａ／Ｄ変換器３４においてデジタルデータに変換され、さらにＭＰＥＧ符号化部３５において映像及び音声データがＭＰＥＧ方式で符号化され、さらにＩＰプロトコルに従ってＩＰパケットに変換される。冗長パケット生成部３６は、複数のパケットに対して排他論理演和演算を行い、演算結果に基づいてエラー訂正用の冗長パケットを生成する。

ＭＰＥＧ符号化部３５及び冗長パケット生成部３６で生成されたパケットは、パケット配信部３７に出力されると共に、パケットバッファ３８に保存される。パケット配信部３７は、パケットを所定の伝送レートでＩＰネットワーク２２に送出する。

再送要求受信部３９は、配信先のＭＰＥＧデコーダ２３，クライアント２４等の受信装置からのパケットの再送要求を受信する。再送要求を受信した場合には、パケット再送部４０に対して該当するパケットの再送を指示する。パケット再送部４０は、送信済のパケットをパケットバッファ３８から読み出し、読み出したパケットをＩＰネットワーク２２に送出する。

ＦＥＣ復元通知受信部４１は、ＭＰＥＧデコーダ２３、クライアント２４等から送信されるＦＥＣ（Forward Error Correction）によりパケットの復元を行ったことを通知するパケット復元通知を受信し、その受信結果を自動レート制御部４２に出力する。

自動レート制御部４２は、ＦＥＣ復元通知受信部４１または再送要求受信部３９の受信結果からＩＰネットワークの帯域が変動していることを推定し、パケットの配信に使用する帯域の増減をパケット配信部３７に指示する。

サーバインタフェース（ＩＦ）部４３は、サーバ２５からの設定データを受け取るインターフェース部であり、サーバ２５から受信する各種の設定データを設定制御部４４に出力する。設定制御部４４は、サーバ２５からの設定データに従って、例えば、符号化モードをＭＰＥＧ符号化部３５に設定し、ライブ配信アドレスをパケット配信部３７に設定し、冗長パケットの生成割合を冗長パケット生成部３６に設定し、再送パケットの保存時間をパケットバッファ３８に設定する。

次に、図４は、ＭＰＥＧデコーダ２３の構成を示すブロック図である。図４において、太い線の矢印はデータの流れを示し、細い線の矢印は制御データの流れを示す。
図４のパケット受信部５１はＭＰＥＧエンコーダ２１により配信されるパケットを受信する。パケット抜け判定部５２はパケットの欠落の有無を判定する。

エラー訂正部５４は、パケットの抜けが検出された場合に、映像または音声のデータパケットと冗長パケットから欠落したパケットを復元してエラー訂正を行うと共に、ＦＥＣ復元通知送信部５５にパケットの復元を行ったことを知らせる。

上記のパケット抜け判定部５２は、エラー訂正部５４においてパケットの復元が出来なかった場合には、再送要求送信部５３にパケットの再送要求の送信を指示する。再送要求送信部５３は、パケット抜け判定部５２の指示に従ってパケットの再送要求を出力する。

ＦＥＣ復元通知送信部５５は、エラー訂正部５４からパケットの復元を行ったとの連絡を受けたとき、ＦＥＣ復元通知をＭＰＥＧエンコーダ２１に送信する。
ＭＰＥＧ復号化部５６は、パケットが正常に受信された場合には、ＭＰＥＧ復号化を行い、復号した映像データを映像Ｄ／Ａ変換器５７に出力し、音声データを音声Ｄ／Ａ変換器５８に出力する。また、パケット抜け判定部５２でパケットの抜けが検出された場合には、ＦＥＣによりパケットの復元が行われるか、あるいは再送要求に対してロストしたパケットが再度送信されるのを待ってＭＰＥＧ復号化を行う。

映像Ｄ／Ａ変換器５７は映像データをアナログの映像信号に変換して映像出力部５９に出力し、音声Ｄ／Ａ変換器５８は音声データをアナログの音声信号に変換して音声出力部６０に出力する。

サーバインタフェース（ＩＦ）部６１は、サーバ２５からの設定データを受付、設定データを設定制御部６２に出力する。設定制御部６２は、サーバ２５から受信した設定データをパケット受信部５１及びＭＰＥＧ復号化部５６に設定して配信されるライブデータの受信及び復号化を可能にする。

次に、以上のような構成のＭＰＥＧエンコーダ２１及びＭＰＥＧデコーダ２３の処理動作を図５〜図７のフローチャートを参照して説明する。
図５は、ＭＰＥＧデコーダ２３のＦＥＣ復元通知送信処理のフローチャートである。

ＭＰＥＧデコーダ２３のパケット受信部５１でＭＰＥＧエンコーダ２１から配信されるパケットを受信する（図５，Ｓ１１）。
次に、パケット受信部５１で受信されたパケットに欠落が無いか否かを判別する（Ｓ１２）。パケットの欠落（ロスト）が未発生の場合には（Ｓ１２，ＹＥＳ）、ステップＳ１１に戻り次のパケットの判定を行う。

他方、パケットロストが発生している場合には（Ｓ１２，ＮＯ）、ステップＳ１３に進み、冗長パケットと受信できたデータパケットを用いてＦＥＣ（Forward Error Correction）によりロストしたパケットを復元する（Ｓ１３）。

ＦＥＣではパケットを復元できない場合には（Ｓ１３，ＮＯ）、ステップＳ１４に進み、ＡＲＱ（Automatic Repeat Request）によるエラー訂正技術を利用し、再送要求送信部５３からＭＰＥＧエンコーダ２１に送信しロストしたパケットの再送を依頼する。

また、ＦＥＣによりロストしたパケットを復元できた場合には（Ｓ１３，ＹＥＳ）、ステップＳ１５に進み、パケットの復元を行ったことを知らせるＦＥＣ復元通知をＦＥＣ復元通知送信部５５からＭＰＥＧエンコーダ２１に送信する。

図６は、ＭＰＥＧエンコーダ２１側のＦＥＣ復元通知受信処理のフローチャートである。
ＭＰＥＧエンコーダ２１のＦＥＣ復元通知受信部４１でパケットを受信すると（図６，Ｓ２１）、受信したパケットがＦＥＣ復元通知か否かを判別する（Ｓ２２）。

受信したパケットがＦＥＣ復元通知であった場合には（Ｓ２２，ＹＥＳ）、ステップＳ２３に進み、ＦＥＣ復元通知数をカウントする。また、受信したパケットがＦＥＣ復元通知でないときには（Ｓ２２，ＮＯ）、そこで処理を終了する。

次に、ＭＰＥＧエンコーダ２１におけるパケットの配信に使用する帯域の制御処理を図７のフローチャートを参照して説明する。
最初に、ＦＥＣ復元通知数とＡＲＱの再送依頼数をカウントするための一定時間をタイマーに設定する（図７，Ｓ３１）。

次に、タイマーで計時した時間が設定時間に達したか否かを判別する（Ｓ３２）。タイマーの計時した時間が設定時間に達していなければ（Ｓ３２，ＮＯ）、タイマーの計時をを継続し、その間上述したＦＥＣ復元通知受信処理を実行する。

タイマーの値が設定値に達したときには（Ｓ３２，ＹＥＳ）、ステップＳ３３に進み、タイマーに設定された時間内に計数したＦＥＣ復元通知の数をカウンタＣＯＵＮＴ１に設定する。

次に、ＡＲＱの再送依頼（要求）数をカウンタＣＯＵＮＴ２に設定する（Ｓ３４）。ここで、ＡＲＱの再送依頼数とは、図３の再送要求受信部３９で上記の設定時間内に受信されるパケットの再送要求の累計値であり、ＭＰＥＧデコーダ２３側でのパケットの欠落の発生頻度を示している。

次に、カウンタＣＯＵＮＴ１の値が０か否かを判別する（Ｓ３５）。ＣＯＵＮＴ１の値が０のときには（Ｓ３５、ＹＥＳ）、ステップＳ３６に進みカウンタＣＯＵＮＴ２の値が０か否かを判別する。ＣＯＵＮＴ２の値が０のときには、ステップＳ３７に進み、メディア（映像、音声等のパケット）の配信に使用する帯域を所定帯域分、例えば、ＦＥＣパケット（冗長パケット）の送信に使用する帯域分増加させる。

すなわち、ＭＰＥＧデコーダ２３からＦＥＣによるパケットの復元通知が送信されず、またパケットの再送要求も送信されていない場合には、配信に使用しているネットワーク帯域に余裕があるものと推定し、メディアの配信に使用している帯域を増加させる。これによりネットワークの帯域を有効に活用して配信を行うことができる。

他方、ステップＳ３５においてＣＯＵＮＴ１が０でないと判別された場合には（Ｓ３５，ＮＯ）、ステップＳ３８に進み、ＣＯＵＮＴ１の値が第１の許容値以内か否かを判別する。

ＣＯＵＮＴ１の値が許容値以内のときには（Ｓ３８，ＹＥＳ）、ステップＳ４０に進み、ＣＯＵＮＴ２の値が第２の許容値以内か否かを判別する。
ＣＯＵＮＴ１及びＣＯＵＮＴ２の値がどちらも第１及び第２の許容値以内であった場合には（Ｓ３８及びＳ４０、ＹＥＳ）、ＦＥＣパケットによるエラー訂正の回数が少なく、かつパケットの再送要求が少ない場合であるのでメディアの配信に使用する帯域の変更は行わない。

ステップＳ３８において、ＣＯＵＮＴ１の値が第１の許容値以上の場合には（Ｓ３８、ＮＯ）、ステップＳ３９に進み、メディアパケットの配信に使用する帯域を所定帯域分、例えば、ＦＥＣパケットの送信に使用する帯域分減少させる。

また、ステップＳ４０において、ＣＯＵＮＴ２の値が第２の許容値以上の場合にも（Ｓ４０，ＮＯ）、ステップＳ３９に進み、メディアの配信に使用する帯域をＦＥＣパケットの送信に使用する帯域分減少させる。

すなわち、ＦＥＣパケットによるパケット復元通知の回数が第１の許容値値以上のとき、あるいはパケットの再送要求の回数が第２の許容値値以上のときには、ネットワークの帯域が減少しているものと判断し、配信側でメディアの配信に使用する帯域をＦＥＣパケットの使用帯域分減少させる。そして、減少させた帯域でメディアの配信を行い、受信側からのパケット復元通知の数とパケットの再送要求の数が上記の許容値以内か否かを再度判断し、許容値以上であれば、再度メディアの配信に使用する帯域をＦＥＣパケットの使用帯域分減少させる。このような帯域制御を行うことで、パケットの配信に使用しているネットワークの帯域が変動してパケットロストが増加した場合でも、配信帯域を可変制御することで一定の品質を確保して映像のリアルタイム配信を実現できる。また、パケットの復元通知の数とパケットの再送要求の数が０のときには、パケットの配信に使用する帯域をＦＥＣパケットの使用帯域分増加させる。これにより、ネットワークの帯域を有効に活用できる。

ここで、メディアの配信帯域を固定している従来の方法と、メディアの配信帯域を可変制御する実施の形態の方法を図８及び図９を参照して比較する。
図８に示すようにメディアの配信帯域が固定されている場合には、配信に使用されるネットワークの帯域が減少して、ネットワーク帯域がメディアの配信に使用されている帯域とＦＥＣパケットの送信に使用する帯域とＡＲＱパケットの送信に使用する帯域の合計帯域より小さくなると、パケットロストの発生頻度が高くなり、一定の品質でのリアルタイム配信ができなくなる。また、ネットワークの帯域がメディアの配信帯域に対して十分余裕がある場合でも配信帯域を増加させることは従来行われていなかった。

これに対して、図９に示す実施の形態のパケットの配信帯域制御方法では、ネットワークの帯域が減少して、ネットワーク帯域がメディアの配信に使用されている帯域とＦＥＣパケットの送信に使用する帯域とＡＲＱによる再送パケットの送信に使用する帯域の合計帯域より小さくなると、配信側でメディアの配信に使用する帯域をＦＥＣパケットの使用帯域分減少させる。そして、新たに設定した帯域でメディアの配信を行い、ＦＥＣによるパケット復元通知の数と、ＡＲＱによる再送要求数が所定値以内となったか否かを判定し、所定値以上であれば、再度メディアの配信に使用する帯域をＦＥＣパケットの使用帯域分減少させる。以下、この帯域制御を繰り返してパケット復元通知数とＡＲＱによる再送要求数が所定値以内となったなら配信帯域をその状態に維持する。

この結果、図９に示すように配信に使用するネットワークの帯域が変動する場合にも、そのときネットワークが有する実際の通信帯域に適合した配信帯域をメディアの配信帯域として設定することができるので一定の映像品質を確保をしたリアルタイム配信を実現できる。

本発明は、上述した実施の形態に限らず、例えば、以下のように構成しても良い。
（１）実施の形態では、ＦＥＣのパケット復元通知数またはＡＲＱによる再送要求数が所定値以上となったとき、メディアの使用帯域をＦＥＣパケットの使用帯域分減少させているが、これに限らず予め定めた所定の帯域分減少させるようにしても良い。
（２）実施の形態では、ＦＥＣのパケット復元通知数とＡＲＱによる再送要求数の両方に基づいて配信帯域を制御しているが、どちらか一方に基づいて配信帯域を制御するようにしても良い。
（３）本発明は、ＭＰＥＧ方式で符号化されたデータパケットに限らず、他の符号化方式で符号化されたデータ、あるいは符号化されていないデータにも適用できる。

本発明の映像配信システムの基本構成を示す図である。 実施の形態の映像配信システムのシステム構成図である。 ＭＰＥＧエンコーダの構成を示す図である。 ＭＰＥＧデコーダの構成を示す図である。 ＦＥＣ復元通知送信処理のフローチャートである。 ＦＥＣ復元通知受信処理のフローチャートである。 パケットの配信帯域制御処理のフローチャートである。 従来の配信帯域の説明図である。 実施の形態の配信帯域の説明図である。 ＦＥＣパケットによるパケットの復元の説明図である。 ＡＲＱを利用したエラー訂正技術の説明図である。

Claims (4)

1. ネットワークを介して映像または音声データを含むパケットを配信する配信装置のパケットの配信帯域制御方法であって、
   受信装置から送信されてくる前記パケットの再送要求または前記パケットの復元を行ったことを知らせるパケット復元通知をエラー情報受信手段で受信し、
   一定時間内に前記エラー情報受信手段で受信した前記パケットの再送要求の数または前記パケット復元通知の数が所定数以内の時、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分増加させるように制御するパケットの配信帯域制御方法。
2. 請求項１記載のパケットの配信帯域制御方法において、
   一定時間内に受信した前記パケットの再送要求の数または前記パケット復元通知の数が所定数以上のとき、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分減少させるパケットの配信帯域制御方法。
3. ネットワークを介して映像または音声データを含むパケットを配信する配信装置であって、
   受信装置から送信されてくる前記パケットの再送要求または前記パケットの復元を行ったことを知らせるパケット復元通知を受信するエラー情報受信手段と、
   一定時間内に前記エラー情報受信手段で受信する前記パケットの再送要求の数または前記パケット復元通知の数が所定数以内の時、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分増加させるように制御する配信帯域制御手段を備える配信装置。
4. 請求項３記載の配信装置において、
   前記配信帯域制御手段は、前記エラー情報受信手段で一定時間内に受信した前記パケットの再送要求の数または前記パケット復元通知の数が所定値以上のとき、前記パケットの配信に使用する帯域をエラー訂正用の冗長パケットの送信に使用する帯域分減少させる配信装置。