JP3598110B2 - データ伝送方法および装置 - Google Patents

Description

本発明はデータ伝送方法及び装置に関し、特にビデオストリーミングアプリケーションに関する。

映像通信およびマルチメディア通信では、非信頼性伝送路を通じてビデオストリームが配信される多数のアプリケーションが存在する。そのようなアプリケーションの例として、パーソナルコンピュータ、テレビ受像機およびコンピュータカード、ＭＰＥＧデコーダおよびボード、マルチメディア送受信装置およびセットトップ受信装置、ＤＶＤ装置、ビデオレコーダおよびＣＣＤカメラ、映像信号装置、フレームグラッバおよびビデオキャプチャボード、産業用および医療用画像化製品、ビデオプリンタ、ビデオプロジェクタなどがある。このように、ソフトウェアとしてもハードウェアとしても多くの種類の消費者市場のビデオストリーミングアプリケーションと専門技術者用アプリケーションが存在していることがわかる。

ビデオストリームはビデオ映像自身に関する情報だけでなく時刻表示などのメタ情報を含んだフレームと呼ばれる単位ビット列データ（パケット）の流れからなっている。フレームには、映像圧縮方式によって異なる様々なフォーマットの映像情報が含まれる。これらフレームの一部はいわゆる内部符号化フレームまたはＩフレームと呼ばれ独立に使用することができ、別の一部はいわゆる予測符号化フレームまたはＰフレームと呼ばれ先行フレームに従属する。

図１は従来のビデオストリーミングシステムを示す。ビデオサーバ１１０は伝送路１５０を通じて映像データをビデオクライアント１６０に伝送する。この目的のために、ビデオサーバ１１０は、映像源アプリケーション１２０からほとんど遅延を生ずることなく映像フレームを受け取る送信バッファ装置１３０を備えている。この内部伝送のビットレートは映像源アプリケーションのビットレートによってのみ制限される。送信バッファ装置１３０では、最初に、フレームがセグメント化される。すなわち、より下層のプロトコルによって、データパケットがそのパケットの長さによって異なるセグメント数のさらに小さなセグメントに分割される。パケットの長さは可変であり、例えば合計で２００バイトであったり２０００バイトであったりする。このセグメント化により、各パケットの伝送時間の一部が決まる。

一旦フレームがセグメント化されると、そのセグメントは使用可能な伝送路のビットレートに応じた所定のタイムスロットで伝送路に送出される。非信頼伝送路１５０の場合、ビット誤りが発生し、多数のユーザが伝送路を共有しているときには、使用可能な伝送路のビットレートが時間によって変動する。これにより、伝播遅延が大きくなりかつ変動しやすくなる。

伝送路１５０へのアクセスは、伝送路アクセス制御装置１４０の制御により送信バッファ装置１３０が行う。伝送路１５０のビットレートは映像源アプリケーション１２０から受け取るビデオストリームのビットレートより低いので、送出できなかったセグメントが先入れ先出し待ち行列規律に基づいて送信バッファ装置１３０に一時的に記憶される。送信バッファ装置と伝送路アクセス制御装置は孤立したエンティティであり、映像源アプリケーション１２０から完全に独立している。したがって、映像源アプリケーション１２０は、既に送出されたのかあるいはバッファに一時記憶されているのかなどのフレームの状態に関するいかなるフィードバックも受け取らない。全てのデータは送信バッファ装置１３０により到着順に送出されることになる。

ビデオサーバ１１０により送出されたセグメントやプロトコルデータ単位（ＰＤＵ）はビデオクライアント１６０の受信バッファ装置１７０で受け取られる。受信バッファ装置１７０は受け取ったデータを記憶するバッファを備えており、さらに、セグメントからフレームを再構成する。その後、映像フレームは、例えば、同様の記憶装置等からなる映像表示アプリケーション１８０に送出される。

非信頼性リンクを介した映像伝送においては、２つの主要な問題が発生する。第１の問題は伝送路状態の変化のせいでパケットの紛失を発生させるほどビット誤り率が上昇する点である。圧縮ビデオストリームはパケット紛失を非常に起こしやすいので、映像品質が劇的に低下する。第２の問題は映像データの遅延が変動しやすく、時には非常に大きくなることによって、伝送の遅延要件をもはや満たすことができずまたも映像性能が劇的に低下するという状況に至る恐れがある点である。

パケット紛失を削減するために、従来、いくつかの機構が存在している。その一つは自動再送要求（ＡＲＱ）と呼ばれる方法であり、この方法によれば、パケット紛失が受け側で検出され、それが送り側に通知される。その後、送り側が紛失パケットの送出を自動的に繰り返すことによって、欠けている映像フレームが再送される。しかしながら、遅延要件や転送用伝送路の帯域制限のせいで、紛失したパケットの全てが再送可能であるわけではない。さらに、このような従来のシステムはいずれも許容限度を超えるほどの大きな遅延を招く恐れがある。

上記第２の問題、すなわち、伝送路遅延が変動しやすく時には非常に大きくなること、を克服する従来システムはリアルタイムトランスポートプロトコル（ＲＴＰ）と称される。表示時間を制御するとともにリアルタイム要件に対処するために、このプロトコルは、映像フレームに対して時刻表示や順序番号などの情報を追加してＲＴＰパケットに収める。この情報は映像フレームを正確な時間に正しい順序で送出するために使用される。受け側は何らかの計測、例えば、遅延ジッタの計測を行い、その結果をＲＴＰ制御プロトコル（ＲＴＣＰ）を使ってデータソースに送信することができる。

両方の問題、すなわち、パケット紛失と伝送路遅延、に対処する一つの手法としては、Ｉフレームのみを再送し、他のフレームを送出する前に再送されたＩフレームが間に合って到着するか否かを判定するようにＲＴＰ技術を改良することである。このような再送機構のＲＴＰ技術への組み込みは、プロトコル固有のフィールドによって拡張可能な多目的受領確認（ＭＡＣＫ）パケットを使用して行うことができる。再送をＩフレームに限定するとともにフレームを送出すべきかあるいは廃棄すべきかを決定するタイマ基準の判定を導入することにより、両方の問題に対処できるので、より多くのフレームを表示可能にして映像品質を向上させることができる。“古い”フレーム、すなわち、表示時間の経過後に受け取られるであろうフレームを廃棄することによって、遅延を妥当な範囲内に抑える。

しかしながら、上記のようなシステムは、全てのフレームを再送するのに使用可能な自由な帯域幅が十分に存在する場合でさえ再送をＩフレームに限定するので適応性が低くなる。ある伝送路状態では、先行のＰフレームが正しく受け取られなかったために、正しく受け取られていた多数のＰフレームがビデオクライアント側で廃棄されてしまう。

また、このような技術は、廃棄するはずだったフレームが送出され、送出されるはずだったフレームが廃棄されるので、性能が悪い。これは、フレームを送出すべきか廃棄すべきかの判定が、伝送路状態や各パケット長に依存しておらず、各パケットの送出開始時でありしかも全てのパケットにとって同じ時間である固定の推定伝送時間に基づいているからである。この固定の推定伝送時間はフレームが受け取られるはずの時間を算出するのに必要とされる。

同様にデータストリームの欠けたデータパケットを選択的に再送する方法として、米国特許５，９１８，００２号に開示された方法がある。この方法では、データパケットのデータタイプに基づいて再送の優先順位が与えられる。例えば、親Ｉフレームは従属する子Ｐフレームを提供する必要があるので、Ｉフレームを含むデータパケットに対してＰフレームしか含まないデータパケットよりも送出および／または再送に関して高い優先度を割り当てる。さらに、再送要求の順番は優先度に依存するものとする。

また、ＩフレームとＰフレームの重要性の差を考慮して再生を再開する別の技術として、米国特許５，７８４，５２７号に開示された技術がある。

あるいは、米国特許５，７６８，５２７号には、紛失パケットの検出時にクライアント側装置が紛失フレームの重要性によって異なる数の多数の紛失パケットの多重複製を要求する技術が開示されている。

しかしながら、上記従来技術は、非信頼性伝送路を通じて映像データを送出する際の上述の欠点、すなわち、容量の制限並びに非効率的な伝送路帯域幅の使用による映像ストリーム品質の低下を招く。

したがって、本発明の目的は、データストリームを構成する映像データを授受して非信頼性伝送路上で動作する場合の映像品質を向上させる方法と装置を提供することである。

本発明によれば、紛失したデータフレームの再送はそのフレームの優先度レベルと閾値との比較に基づいて行われる。これは、Ｉフレームしか再送されないという従来技術の教示に優っている。したがって、優先度の閾値を設けることにより、本発明は送出機能を実際の伝送路特性などの多くの要因に適応させることができる。好ましい実施形態によれば、送出される全てのデータフレームの優先度レベルを上記閾値と比較する。したがって、本発明によれば、優先度閾値が固定値であっても映像品質を向上させることができる。

それ故、本発明は非信頼性リンク（例えば、無線リンク）を通じた圧縮映像（例えば、ＭＰＥＧ４）のストリーミング伝送に適用される場合に特に有利である。

欠けているデータフレームの優先度レベルを閾値と比較し、その比較結果に基づいてフレームを送出することをサーバ側でもクライアント側でも実行できれば有利である。クライアント側で決定がなされる場合には、その決定が否認されたときは再送要求を発する必要はないが、実際のフレームの優先度を送信する必要がある。これにより、アップリンク方向の伝送路帯域幅を最も有効に利用することができるが、ダウンリンク方向の伝送データはわずかに増加するだけである。他方、送出の決定がサーバ側でなされる時は、サーバは役立つ可能性のあるフィードバック情報を受け取ることができる。さらに、クライアントはより安価な構成を有することになるので有利である。

送出の決定がサーバ側でなされた場合、クライアントの再送要求が先行する２つのデータフレームの受取り時間とフレーム長を含んでいるならば有利である。この情報を利用すれば、サーバは最も効率よく伝送路状態に関する知識を更新し、遅延要件を維持するとともに伝送路帯域幅を使用することができる立場にいることができる。

さらに、従来のシステムと異なり、ビデオストリーミング時にパケットの伝送時間を計測するので、それが全てのパケットについて同じであるとはもはや推定されることはない。したがって、伝送時間の変化により、ビデオストリームの品質を伝送路状態の変化に動的に適応させることができるようになる。

送出の決定が送り側で行われるか受け側で行われるかにかかわらず、好ましくは多重従属関係の論理的深度に基づいてデータフレームに優先度レベルを割り当てる。この手法により、独立フレーム（Ｉフレーム）が最も重要なフレームであり、従属フレームはそれほど重要でないことが付随的に考慮される。また、従来技術と異なり、従属フレームの集合もより重要なフレームとそれほど重要でないフレームとに分類することができる。これにより、再送の挙動を従来技術からは得られない程度まで微調整することが可能になる。

本発明のもう一つの利点は、送出の決定を動的にすることによって映像品質の向上をさらに高めることができる点である。これは、本発明の好ましい実施形態にしたがい、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出することによって実現される。さらに、送信ビットレートも計測して使用してもよい。その結果、欠けたパケットの補整をさらに向上させることができる。

また、再送されたフレームが間に合って到着することが予想される場合にのみ紛失されたフレームを再送するという要件を本発明と結び付けてもよい。特に、複数のユーザ間やアプリケーション間で伝送路帯域幅を共有する場合には、できる限り少ないデータを伝送することが非常に重要である。このことは、特にユーザが使用された帯域幅、すなわち、伝送されたビットに関して支払を行うことから、そうである。伝送路の利用度が高いせいで受け側に間に合って到着しない再送映像パケットがある場合には、帯域幅が浪費されることになる。この帯域幅を、優先度がより高いフレームの再送やあるいは他のユーザやアプリケーションのために利用することができる。

以下、本発明を図面に基づいてさらに詳細に説明する。

図２に示すように、ビデオサーバ１１０は、映像源アプリケーション１２０と、送信バッファ装置１３０と、図１の従来のビデオストリーミングシステムの記述の際に説明したものとほぼ同じ機能を有する伝送路アクセス制御装置１４０とを備えている。同様に、ビデオクライアント１６０は、受信バッファ装置１７０と映像表示アプリケーション１８０を備えている。データはビデオサーバ１１０から伝送路１５０を介してビデオクライアント１６０に伝送される。

さらに、ビデオクライアント１６０は受信バッファ装置１７０に接続された紛失検出装置２４０を備えている。一旦紛失検出装置２４０がフレームが欠けていることを検出すると、好ましくは２つの先行データフレームの受取り時間とフレーム長を含んだ再送要求を生成する。この目的のために、紛失検出装置２４０は通常動作時に最近の２つのパケットの時刻表示とパケット長を記憶する。一旦非受領（ＮＡＣＫ）パケットもしくは多目的受領確認（ＭＡＣＫ）パケットである再送要求が生成されると、その要求は送信バッファ装置２５０によってセグメント化され、伝送路アクセス制御装置２６０の制御により伝送路１５０を介してビデオサーバ１１０に送出される。

ビデオサーバ１１０では、受信バッファ装置２３０がそのデータを受け取り、要求を再構成する。その後、要求は制御装置２１０に送られ、そして再送信バッファ２２０に送られる。再送信バッファ２２０は映像源アプリケーション１２０から送信バッファ装置１３０へ再送のために送られるＩフレームとＰフレームを一時的に記憶する。

最近の２個のパケットの時間と長さに関する情報を受け取ると、制御装置２１０は優先度の閾値を更新する。映像源アプリケーション１２０もしくは再送信バッファ２２０から映像フレームを受け取ると、制御装置２１０はそのデータフレームに割り当てられた優先度のレベルに基づいて送出の決定を行う。フレームに対する優先度の割当てを図３に詳細に示す。

図３から明らかなように、本発明によれば、Ｉフレームは他のフレームから独立して映像表示アプリケーション１８０に表示されるので、最も高い優先度が与えられている。Ｉフレームに直に続く最初のＰフレームはその先行するＩフレームのみに従属する。２番目のＰフレームは最初のＰフレームに従属するとともに、最初のＰフレームがＩフレームに従属するので、二重の従属関係になり、したがって、最初のＰフレームより重要度が低い。この方式を以降のＰフレームに採用し、多重従属関係が深いＰフレームほど、すなわち、より後のＰフレームほど重要度を低くしてより低い優先度レベルを与えるようにしてもよい。図３の実施形態では、ｎ番目のＰフレームに対する優先度が１／ｎに設定されている。しかしながら、当業者であれば、別の関数従属性を選択できることは理解できるであろう。

図４に示すように、ビデオストリーム送出プロセスは映像源アプリケーション１２０から映像フレームを受け取る工程（ステップＳ４１０）を有している。その後、ステップＳ４２０で、再送要求が受け取られたか否かが検査される。再送要求が受け取られていない場合は、プロセスはステップＳ４４０に進み、そうでなければ、上記再送要求からの情報を利用して最初に伝送路の推定値を更新する（ステップＳ４３０）。ステップＳ４４０では、以後の図面で詳細に説明するように、送出の決定がなされる。

フレームの伝送時間は２つの部分からなる。一方の部分はフレームの長さに依存せず、他方の部分は長さに依存している。そのうち、フレーム長非依存時間は主にネットワーク遅延、すなわち、伝播遅延と、輻輳に起因する一時記憶遅延からなる。それと異なり、フレーム長依存遅延はセグメント化と使用可能帯域幅によって決まる。次の式はフレームｉの伝送遅延を示す。

但し、Ｄ_iは伝送遅延、ｌ₁はフレームのビット長、ｔ₁はフレーム長非依存時間、ｔ₂はビット当りのフレーム長依存時間である。

時間ｔ₁およびｔ₂が２個のパケットの到着期間内でほぼ一定であると仮定すると、２つの先行フレームの伝送遅延Ｄ₁およびＤ₂が前もって計測されているとき、上記の式を以下の式のように解くことができる。

したがって、２つの先行フレームの伝送遅延に基づいて評価される時間ｔ₁およびｔ₂から欠けているフレームの伝送遅延を算出することが可能である。この目的のために、紛失検出装置２４０は最近のフレームの受取り時間とパケット長を記憶している。エラーが発生すると、これらの値と欠けているフレームや正しく受け取られなかったフレームの値がビデオサーバ１１０に送信される。これは、非受領パケットに受取り側レポートを添付したり多目的受領確認パケットを使用することで実現できる。非受領確認パケットや多目的受領確認パケットにそのような追加情報を補足することによって追加されるオーバーヘッドは無視できるほど小さい。

ステップＳ４４０でフレームの廃棄が決定された場合は、プロセスはステップＳ４６０に進む。そのフレームを送信バッファ装置１３０に送る必要がある場合は、ステップＳ４５０が実行される。その後、ステップＳ４７０で送信ビットレートが更新され、制御装置２１０が映像源アプリケーション１２０または再送信バッファ２２０から次に受け取るフレームを待つことになる（ステップＳ４１０）。

ステップＳ４４０の送出決定を図５に基づいてさらに詳細に説明する。既に遅れすぎているフレームを送出する必要はないので、優先度と閾値を比較する前に、推定到着時間に応じてフレームを送出すべきか廃棄すべきかを決定する機構を導入する。その目的のために、ステップＳ５１０で、フレームの到着時間の推定、すなわち、伝送遅延の算出を行う。

その後、ステップＳ５２０で、推定到着時間が映像フレームの表示予定時間より遅れると判定すると、フレームを送出せずに廃棄することになる。そうでない場合は、これから詳細に説明するように、制御装置２１０が欠けているフレームの優先度を評価する。

図６に示すように、制御装置２１０は最初にステップＳ６１０でフレームの優先度レベルを取得し、次にステップＳ６２０で固定閾値レベルにアクセスする。２種類の優先度レベルが存在し、一つは初めて送出されるフレーム（おそらくは、全てのフレームが初めて送出される）用の優先度レベルであり、もう一つは再送用の優先度レベルである。固定閾値レベルは送出の準備時に伝送路状態とそのときの映像ビットレートにしたがって決定されている。その後、ステップＳ６３０で、フレームの優先度レベルが優先度の閾値レベルを超えているか否かが決定される。それが当てはまる場合にのみ、フレームが送出される。そうでない場合には、フレームの廃棄が決定される。

このプロセスは最小限のオーバーヘッドと実施努力で済むので有利であるが、図７から明らかなようにさらに向上させることも可能である。図７に示すプロセスは、主として固定閾値レベルを使用せず、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出する（ステップＳ７１０、Ｓ７２０）という点で図６のプロセスと異なる。この方式は、わずかな帯域幅しか使用可能でない場合には、より優先度の高いフレームのみを送出するほうがよいという考えに基づいている。

使用可能な帯域幅はｔ₂の逆数であるので、使用可能な伝送路帯域幅の計測には上記伝送遅延の計測を使用することができる。すなわち、

ステップＳ７１０で計測された使用可能伝送路帯域幅Ｂ_chを、その後、ステップＳ７２０で使用し、以下の式にしたがって優先度閾値Ｐ_thを算出する。

但し、Ｂ_vは再送が全く行われない場合に映像伝送に必要な帯域幅であり、ｋは上記の機構をシステムに適応させるための係数であって、ビット誤り率は映像伝送に関して一定であると仮定されている。２種類の係数ｋが存在し、一つは初めての送出（おそらくは、全てのフレームが初めて送出される）用の係数であり、もう一つは再送用の係数である。

図８に示すように、さらにステップＳ８１０で、送出されたフレームのビットレートを計測することにより、優先度決定プロセスをさらに改善させることが可能である。この改善は伝送路状態が悪い場合、すなわち、ビット誤り率が高い場合に再送されるフレーム数が増加するという知見に基づいている。したがって、少なくとも重要なフレームを送出するのに十分な伝送路帯域幅が確保されていることを確認するために、送出されたデータの量を監視するのが有利である。送出フレームのビットレートを推定するために、送出された多数の先行フレームの平均ビットレートを以下の式にしたがって算出する。

この等式において、Ｂ_sは送出フレームのビットレート、ｐおよびｑはそれぞれ最も古い送出フレームと最も新しい送出フレーム、ｌ_iは予め記憶されているビット長、ｔ_pおよびｔ_qはそれぞれ各フレームの伝送時間を示す。

その後、ステップＳ８２０では、ステップＳ８１０で計測された送出フレームのビットレートＢ_sを使用し、上述の計算手順と同様にして、優先度閾値Ｐ_thを算出する。すなわち、

優先度決定に基づく送出機構を到着時間推定の機構とともに説明したが、当業者であれば、これらの機構をそれぞれ独立して使用可能であることは理解できるであろう。

図９はビデオクライアント１６０でビデオストリームを受け取るプロセスを示す。ステップＳ９２０で映像フレームが欠けていることを検出すると、上述したように、ステップＳ９３０で再送要求が生成され、ステップＳ９４０でそれが送出される。好ましい実施形態では、ビデオサーバ１１０の制御装置２１０が再送決定を行っているが、当業者であれば分かるように、欠けているフレームを再送すべきか否かの決定を受け側で同様にして行うこともできる。この目的のためには、ビデオクライアント１６０は、優先度閾値を算出するとともに欠けているフレームの優先度レベルと閾値とを比較する制御装置（図示せず）を備えることになる。欠けているフレームの再送を決定した場合にのみビデオクライアント１６０からビデオサーバ１１０に対して再送要求が送信されることになる。図５ないし図８に示す再送決定ステップＳ４４０は、この場合、図９のビデオストリーム受取プロセスの再送要求生成ステップＳ９３０の前に組み込まれることになる。

従来のビデオストリーミングシステムを示す図。 本発明の好ましい実施形態にかかるビデオストリーミングシステムを示す図。 上記本発明の好ましい実施形態においてフレームに対する優先度割当てを示すグラフ。 ビデオストリーム送出プロセスを示すフロー図。 図４に示すビデオストリーム送出プロセスにおける再送決定手順を示すフロー図。 図５に示す再送決定手順の一部である優先度決定の第１の例を示すフロー図。 上記優先度決定の第２の例を示すフロー図。 上記優先度決定の第３の例を示すフロー図。 ビデオストリーム受取りプロセスを示すフロー図。

符号の説明

１１０ ビデオサーバ
１２０ 映像源アプリケーション
１３０ 送信バッファ装置
１４０ 伝送路アクセス制御装置
１５０ 伝送路
１６０ ビデオクライアント
１７０ 受信バッファ装置
１８０ 映像表示アプリケーション
２１０ 制御装置
２２０ 再送信バッファ
２３０ 受信バッファ装置
２４０ 紛失検出装置
２５０ 送信バッファ装置
２６０ 伝送路アクセス制御装置

Claims (10)

1. 送信側からパケット単位でデータを受信するデータ伝送方法であって、
   パケットの紛失の有無を決定するステップと、
   伝送路状態と、紛失したパケットの重要度と、先行して受信したパケットのビットレートとに基づいて、紛失したパケットの再送要求を行うか否かを決定するステップと、
   前記再送要求を行うと決定した場合に送信側へ前記再送要求を送信するステップと、
   前記再送要求に基づいて送信側から再送されてきたパケットを受信するステップとを備えたことを特徴とするデータ伝送方法。
2. 前記伝送路状態は、使用可能な伝送路帯域幅であることを特徴とする請求項１記載のデータ伝送方法。
3. 前記伝送路状態は、伝送路の伝送遅延であることを特徴とする請求項１記載のデータ伝送方法。
4. 前記伝送路状態は、伝送路のビット誤り率であることを特徴とする請求項１記載のデータ伝送方法。
5. 前記再送要求は、非受領（ＮＡＣＫ）パケットであることを特徴とする請求項１記載のデータ伝送方法。
6. 送信側からパケット単位でデータを受信する受信装置であって、
   パケットの紛失の有無を決定し、かつ伝送路状態と、紛失したパケットの重要度と、先行して受信したパケットのビットレートとに基づいて、紛失したパケットの再送要求を行うか否かを決定する紛失検出装置と、
   前記再送要求を行うと決定した場合に送信側へ前記再送要求を送信する送信バッファ装置と、
   前記再送要求に基づいて送信側から再送されてきたパケットを受信する受信バッファ装置とを備えたことを特徴とする受信装置。
7. 前記伝送路状態は、使用可能な伝送路帯域幅であることを特徴とする請求項６記載の受信装置。
8. 前記伝送路状態は、伝送路の伝送遅延であることを特徴とする請求項６記載の受信装置。
9. 前記伝送路状態は、伝送路のビット誤り率であることを特徴とする請求項６記載の受信装置。
10. 前記再送要求は、非受領（ＮＡＣＫ）パケットであることを特徴とする請求項６記載の受信装置。

Images