JP4250036B2

JP4250036B2 - メディア伝送方法及びメディア伝送装置

Info

Publication number: JP4250036B2
Application number: JP2003289634A
Authority: JP
Inventors: 篤史一木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-08-08
Filing date: 2003-08-08
Publication date: 2009-04-08
Anticipated expiration: 2023-08-08
Also published as: JP2005064648A

Description

本発明は、符号化されたメディアデータの伝送を行うメディア伝送方法及びメディア伝送装置に関する。

メディアデータ、例えば、動画像を符号化したデータを、ベストエフォート型のインターネット網や無線伝送路により伝送するシステムが知られている。この動画像を符号化する技術として、ＩＴＵ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ）−Ｔ（ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｔａｎｄａｒｄｉｚａｔｉｏｎ）で標準化されたＨ．２６１／Ｈ．２６３、又はＩＳＯ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｉｚａｔｉｏｎ）で標準化されたＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−１／２／４等がある。

又インターネット網に於ける伝送技術として、ＩＥＴＦ（ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｒｉｎｇＴａｓｋＦｏｒｃｅ）で、ＲＦＣ（ＲｅｑｕｅｓｔＦｏｒＣｏｍｍｅｎｔ）として定義されているＴＣＰ（ＴｒａｎｓｐｏｒｔＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）や、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）等がある。

インターネット網等のベストエフォート型の伝送路環境によって、ストリーミングやビデオ電話等によりメディアデータを伝送する手段が実用化されている。このようなベストエフォート型の伝送路環境では、通信トラフィックの増加によって発生する輻輳（ｃｏｎｇｅｓｔｉｏｎ）により、伝送しているメディアデータの品質が著しく低下する。この品質の低下を防止する為に、前方誤り訂正（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：ＦＥＣ）方式のように、冗長符号を利用する方式や、自動再送要求（ＡｕｔｏｍａｔｉｃＲｅｐｅａｔＲｅｑｕｅｓｔ：ＡＲＱ）方式のように、再送を利用する方式がある。

前者のＦＥＣ方式は、送信側でメディアデータのパリティ情報を生成して送信することにより、受信側でパケット損失が発生した場合に、そのパリティ情報を利用して、損失したパケットの復元を行うものである。又後者のＡＲＱ方式は、受信側でパケット損失を検出すると、送信側に対して再送要求を行い、送信側は、要求されたパケットを再送する。何れの方式も、パケット損失を復元することができるから、メディア品質の低下を防止することができる。

又ＦＥＣ方式は、定常的なパケット損失に有効であり、これに対してＡＲＱ方式は、バースト的なパケット損失に有効である。そこで、ＡＲＱ方式による受信側で誤り率／伝送率を指標値とし、この指標値を送信側に送信し、送信側では、閾値と指標値とを比較し、指標値が閾値を超えると、ＦＥＣ方式に切替える方法が提案されている（例えば、特許文献１参照）。又移動無線通信に於いて、無線区間の状態に応じて、伝送速度の変更と、ＡＲＱ方式とＦＥＣ方式との切替え又はＡＲＱ方式とＦＥＣ方式との併用によりデータ伝送を行う方式が提案されている（例えば、特許文献２参照）。
特開２００２−９８８３号公報特開平７−６７１７５号公報

ベストエフォート型の伝送路環境に於いては、他の通信トラフィックを予測することは困難である。その為、突発的な輻輳（ｃｏｎｇｅｓｔｉｏｎ）発生の場合には対応することができない問題がある。又ＦＥＣ方式とＡＲＱ方式とを組合せる方式の場合は、再送の増加によって伝送帯域が増加し、他の通信トラフィックに悪影響を及ぼす問題がある。特に輻輳発生時には、バースト的にパケット損失が発生し、再送処理が多発することによって、更に送信帯域が増加し、伝送路の状態を更に悪化させることになり、伝送路状態の悪化によって再送パケットも損失する悪循環に陥って、ＡＲＱ方式の効果が発揮されない問題がある。

本発明は、冗長符号方式と再送方式とを組合せ、且つ送信帯域の増加を生じないように、メディアデータのエラー訂正伝送を可能とすることを目的とする。

本発明のメディア伝送方法は、メディアデータの使用帯域と、このメディアデータを基に生成した冗長符号の使用帯域と、メディアデータについての再送の使用帯域との和の送信帯域を一定の値に維持して、伝送状態に対応して各使用帯域の増減を適応的に制御する過程を含むものである。

又前記冗長符号の使用帯域と前記再送の使用帯域との和を一定の値に維持するように適応的に制御し、前記再送の使用帯域の増加により前記一定の値を超えた時に、前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように前記メディアデータの使用帯域を適応的に制御して、全体の送信帯域を一定の値に維持する過程を含むことができる。

又前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように、前記再送の使用帯域の増加による分を前記メディアデータの符号化の手段に従った優先順位による順に従って該メディアデータの使用帯域を減少させる過程を含むことができる。

又本発明のメディア伝送装置は、前記メディアデータを符号化する符号化部と、該符号化部により符号化されたメディアデータをパケット化するパケッタイザと、パケット化されたメディアデータを再送の為に格納する再送用バッファと、パケット化されたメディアデータを基に冗長符号化する冗長符号生成部と、前記メディアデータの使用帯域と前記再送用バッファから再送要求に従って読出して送出する再送の使用帯域と前記冗長符号の使用帯域との和を一定の値に維持するように、前記各使用帯域を適応的に制御する帯域制御部とを含む構成を備えている。

前記制御部は、再送要求に従って前記再送用バッファから前記メディアデータを読出して再送制御を行い、再送の使用帯域と、前記メディアデータの使用帯域と、前記冗長符号の使用帯域との和を一定の値に維持するように、前記符号化部の符号化レート又は前記冗長符号生成部の冗長符号レートを制御する機能を備えている。

ベストエフォート型のインターネット網や無線伝送網に於いて、再送方式による使用帯域と冗長符号方式による使用帯域とメディアデータの使用帯域との和の送信帯域を一定となるように、各使用帯域を適応的に制御することにより、輻輳発生によっても、他の通信トラフィックに悪影響を及ぼすことなく、メディアデータのエラー訂正を可能とし、メディアデータの伝送品質を維持することが可能となる。

本発明のメディア伝送方法は、図１を参照して説明すると、符号化部１１によりメディアデータを符号化してデータ送信部１３から送信するメディアデータの使用帯域と、このメディアデータを基に冗長符号生成部１４により生成した冗長符号の使用帯域と、再送用バッファ１７から再送要求に従ってメディアデータを読出して送信する再送の使用帯域との和の送信帯域を一定の値に維持して、伝送状態に対応して各使用帯域の増減を適応的に帯域制御部２２により制御する過程及び構成を含むものである。

図１は、本発明の実施例を説明するメディア伝送装置の原理的な機能ブロック図を示し、１１はメディアデータを符号化する符号部、１２は符号化データをパケット化するパケッタイザ、１３はパケット化されたメディアデータを送信するデータ送信部、１４は冗長符号パケットを生成する冗長符号生成部、１５は冗長符号化された冗長符号パケットを送信する冗長符号送信部、１６は冗長符号化したデータの使用帯域を制御する冗長符号制御部、１７は再送用のパケットを蓄積する再送用バッファ、１８は再送要求を受信処理する再送要求受信部、１９は再送要求を送信する再送要求送信部、２０は再送の為の使用帯域を制御する機能も備えた再送制御部、２１はパケット損失率等のフィードバック情報を受信するフィードバック受信部、２２は帯域制御部、２３はダミーパケットを生成するダミー生成部、２４はインターネット網や無線伝送網等のネットワークを示す。

ネットワーク２４を介してメディア伝送装置間で、再送パケット、再送要求、冗長符号パケット、メディアデータ、フィードバック情報を伝送する。このメディア伝送装置に於いては、符号化部１１に動画像データ等のメディアデータを入力し、帯域制御部２２により符号化部１１を制御し、使用帯域に対応した符号化処理を行い、パケッタイザ１２によりパケット化し、再送用バッファ１７と冗長符号生成部１４とデータ送信部１３とに転送し、このデータ送信部１３からメディアデータパケットを送信する。

又再送制御部２０により再送用バッファ１７を制御し、再送要求に従ったパケットを読出して再送送信部１９に転送し、再送制御部２０の制御に従って再送パケットを送信する。又冗長符号制御部１６により冗長符号生成部１４を制御し、複数のパケットを基に冗長符号パケットを生成して冗長符号送信部１５に転送し、冗長符号制御部１６の制御に従って冗長符号パケットを送信する。

又帯域制御部２２により制御されるダミー生成部２３は、一定の送信帯域に余裕が生じた場合に、ダミーデータを生成してデータ送信部１３から送信する。又再送要求受信部１８は、相手メディア伝送装置からの再送要求を受信して再送制御部２０に転送する。又フィードバック受信部２１は、相手メディア伝送装置からのパケット損失率等のフィードバック情報を受信して、帯域制御部２２に転送する。

図２は、送信帯域の説明図であり、（Ａ）は、メディアデータパケットと冗長符号パケットと再送パケットとの使用帯域の和を送信帯域とし、この送信帯域を一定の値に維持するように、適応的にそれぞれの使用帯域を帯域制御部２２により制御する場合を示す。この場合、冗長符号の使用帯域と再送の使用帯域との和を一定の値となるように、各使用帯域を帯域制御部２２に於いて管理し、再送要求に従って再送制御部２０により再送用バッファ１７からメディアデータパケットを読出して再送送信部１９から送信し、その再送の使用帯域を帯域制御部２２に通知する。
帯域制御部２２は、例えば、再送要求が多発して再送の使用帯域が増加した時に、冗長符号制御部１６に対して、冗長符号の使用帯域を減少させるように指示する。この場合、メディアデータパケットの使用帯域は一定の値とする。従って、伝送路状態に従って変化する再送の使用帯域の増減に対して、冗長符号制御部１６を介して冗長符号生成部１４を制御することにより、冗長符号の使用帯域を制御し、全体としての送信帯域を一定となるように制御するもので、他の通信トラフィックに対する影響をなくすことができる。

又図２の（Ｂ）は、メディアデータの使用帯域と再送の使用帯域との和を一定となるように適応的に制御する場合を示し、例えば、再送要求に従って、再送の使用帯域が増加し、一定の値を超えた場合、帯域制御部２２は、符号化部１１を制御して、符号化レートを低下するように指示する。この場合、冗長符号の使用帯域は一定とし、又メディアデータの使用帯域と再送の使用帯域との和を一定となるように制御することにより、再送の使用帯域の増減によっても全体の送信帯域は一定となる。

又メディアデータの使用帯域の制御手段として、メディアデータの符号化方式に従った優先順位を設定し、その優先順位に従った順位で使用帯域を制御することができる。例えば、ＭＰＥＧ方式による動画像データを伝送する場合に於いて、優先順位をＢフレーム、Ｐフレーム、Ｉフレームの順とし、この順位に従ってフレームを落とすことにより、メディアデータの使用帯域を低下させることができる。

又フレームレートを低下させないように制御する場合は、例えば、符号化部１１を制御して、符号化レートを、１０Ｍｂｐｓから８Ｍｂｐｓ、８Ｍｂｐｓから６Ｍｂｐｓのように段階的に低下させ、例えば、Ｂ，Ｐ，Ｉフレームのフレームレートを低下させずに、メディアデータの使用帯域を減少させることができる。このメディアデータの使用帯域を減少させることにより、全体の送信帯域を一定の値に維持して、再送パケットの使用帯域を増加させることができる。

又図２の（Ｃ）は、前述のように、メディアデータの使用帯域と再送の使用帯域との和を一定の値に維持するように制御し、メディアデータの使用帯域と再送の使用帯域との和が一定の値に達しない場合に、その不足分を冗長符号パケットの使用帯域に割当てることにより、全体としての送信帯域を一定とする場合を示す。

又図２の（Ｄ）は、前述のように、メディアデータの使用帯域と再送パケットの使用帯域との和が一定の値に達しない場合に、その不足分にダミー生成部２３を制御して生成したダミーデータを送信し、全体として送信帯域を一定とする場合を示す。

図３は、ＭＰＥＧ−２により符号化した動画像データをＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）により伝送する場合のメディア伝送装置の説明図であり、１０１は符号化部、１０２はパケッタイザ、１０３はＲＴＰ送信部、１０４はＦＥＣ生成部、１０５は再送用バッファ、１０６は帯域制御部、１０７はＲＴＣＰ（ＲＴＰＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）送受信部、１０８は再送制御部、１０９はダミー生成部を示す。

符号化部１０１は、図１に於ける符号化部１１に対応し、帯域制御部１０６（図１の帯域制御部２２に対応）からの符号化レートに従ってメディアデータを、例えば、ＭＰＥＧ−２に従った符号化を行い、その符号化データをパケッタイザ１０２（図１のパケッタイザ１２に対応）に転送し、パケット化してＲＴＰ送信部１０３とＦＥＣ生成部１０４とに転送する。ＲＴＰ送信部１０３は、ＲＴＰヘッダを付加したＲＴＰパケットとＦＥＣパケットと再送パケットとを、インターネット網を介して相手メディア伝送装置に送信する。従って、図１のデータ送信部１３と冗長符号送信部１５と再送送信部１９との機能に相当することになる。

又ＲＴＰ送信部１０３から送信されるＲＴＰパケットは、複製されて再送用バッファ１０５に格納される。この再送用バッファ１０５は、図１に於ける再送用バッファ１７に対応する。この再生用バッファ１０５に格納されたＲＴＰパケットは、再送制御部１０８の制御に従って読出され、再送パケットとしてＲＴＰ送信部１０３から送信される。この再送制御部１０８は、図１に於ける再送制御部２０に対応する。

又ＦＥＣ生成部１０４は、パケット化された符号化データを基にＦＥＣパケットを生成し、ＲＴＰ送信部１０３から送信する。このＦＥＣ生成部１０４は、図１に於ける冗長符号生成部１４の機能に相当する。即ち、冗長符号として前方誤り訂正（ＦＥＣ）方式を用いる場合を示す。又ダミー生成部１０９は、帯域制御部１０６によって制御され、ダミーデータパケットを生成して、ＲＴＰ送信部１０３から送信する。このダミー生成部１０９は、図１に於けるダミー生成部２３に対応する。

又ＲＴＣＰ送受信部１０７は、図１に於ける再送要求受信部１８とフィードバック受信部２１とに相当する機能を有し、再送要求を受信すると、この再送要求を再送制御部１０８に転送する。又フィードバック情報は、ＲＴＰで規定されているＲＴＣＰによるフィードバック機構を利用するもので、このＲＴＣＰは、サーバからクライアントに一定時間毎に送信されるＳＲ（ＳｅｎｄｅｒＲｅｐｏｒｔ）と、クライアントからサーバに一定時間毎に送信されるＲＲ（ＲｅｃｅｉｖｅｒＲｅｐｏｒｔ）とがある。

帯域制御部１０６は、図１に於ける帯域制御部２２に対応し、送信帯域を決定し、その送信帯域内のＲＴＰパケットとＦＥＣパケットと再送パケットとの使用帯域を制御するものであり、ＲＴＣＰ送受信部１０７により一定時間毎に送受信されるＳＲ信号とＲＲ信号とを利用して算出されるラウンドトリップ時間（ＲＴＴ；ＲｏｕｎｄＴｒｉｐＴｉｍｅ）を用いて、全体としての送信帯域を決定することができる。なお、この全体としての送信帯域の決定は、他の既に知られた手段を適用することも可能である。

図４は、ＲＴＰパケットのヘッダ部の説明図であり、Ｖは２ビット構成のバージョンを示し、現在は、バージョン２である。又Ｐは１ビット構成のパケット最後のパディングの有無を示すパディングビット、Ｘは１ビット構成の拡張ヘッダの有無を示すエクステンションビット、ＣＣは４ビット構成の寄与送信元識別子の含まれる数を示すＣＳＲＣカウント、Ｍは１ビット構成のアプリケーションデータの境界を示すマーカビット、ＰＴは７ビット構成のアプリケーションデータの符号化方式を示すペイロードタイプ、ＳｅｑｕｅｎｃｅＮｕｍｂｅｒは１６ビット構成のシーケンス番号、ＴｉｍｅＳｔａｍｐは３２ビット構成のタイムスタンプ、ＳＳＲＣは３２ビット構成の同期送信元識別子、ＣＳＲＣは３２ビット構成の寄与送信元識別子を示す。メディアデータにこのヘッダ部を付加したパケットを送信する。

図５は、ＦＥＣパケットの説明図であり、（Ａ）は、ＲＴＰヘッダ部（ＲＴＰＨｅａｄｅｒ）と、ＦＥＣヘッダ部（ＦＥＣＨｅａｄｅｒ）と、リカバリ部（ＦＥＣＲｅｃｏｖｅｒｙ）とを含むＦＥＣパケットを示し、（Ｂ）はＦＥＣヘッダ部（ＦＥＣＨｅａｄｅｒ）の構成を示すもので、ＳＮｂａｓｅは、１６ビット構成で、ＦＥＣ処理対象のＲＴＰパケットのシーケンス番号のオフセット、Ｌｅｎｇｔｈｒｅｃｏｖｅｒｙは、１６ビット構成で、ＲＴＰパケットの長さのパリティ情報、Ｅは１ビット構成のヘッダ拡張ビット、ＰＴｒｅｃｏｖｅｒｙは、７ビット構成のペイロードタイプのパリティ情報、Ｍａｓｋは、２４ビット構成で、ＦＥＣ処理対象のＲＴＰパケットを示すフラグ、ＴＳｒｅｃｏｖｅｒｙは、３２ビット構成のタイムスタンプのパリティ情報を示す。

ＦＥＣパケットは、ＲＦＣ２７３３“ＡｎＲＴＰＰａｙｌｏａｄＦｏｒｍａｔｆｏｒＧｅｎｅｒｉｃＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ”で定義された構成を利用することができる。このＲＦＣ２７３３によれば、複数のＲＴＰパケットに対して、パケット全体のパリティを計算したＦＥＣパケットを用いることにより、パケット損失発生時に、ＦＥＣパケットを利用して復元するものであり、最低でも、２４個のＲＴＰパケットに対して１個のＦＥＣパケットを生成することを推奨している。

このＦＥＣパケットの生成は、パケッタイザ１０２（図３参照）に於いて生成された符号化データパケットを複製し、ＦＥＣ生成部１０４内のバッファ（図示せず）に格納し、帯域制御部１０６からのＦＥＣ使用帯域の指示に従って、例えば、２４パケット分蓄積されると、ＦＥＣパケットを生成する。この場合、ＦＥＣパケットの使用帯域を、全体の送信帯域の２５％とすると、２４個のＲＴＰパケットに対して６個のＦＥＣパケットを生成することになる。従って、帯域制御部１０６からのＦＥＣ帯域の指示に従って、使用帯域を減少させる場合は、例えば、２４個のＲＴＰパケットに対して４個のＦＥＣパケットとすると、全体の送信帯域の約１７％の使用帯域に減少させることができる。

この場合のＦＥＣパケットは、図６に示すように、ＲＴＰパケットＮｏ．１〜ＲＴＰパケットＮｏ．４のそれぞれ対応するＲＴビットａ１，ｂ１，ｃ１，ｄ１の論理和をパリティビットＦ１とし、同様にＲＴビットａ２，ｂ２，ｃ２，ｄ２の論理和をパリティビットＦ２とし、以下同様にして、各ＲＴビット対応にパリティビットを生成して、ＦＥＣパケットのパリティ情報を生成する。従って、１個のＲＴＰパケットが紛失しても、正常に受信したＲＴＰパケットとＦＥＣパケットとを基に、紛失したＲＴＰパケットを復元することができる。

前述のパリティ情報に、図５の（Ａ）に示すように、ＲＴＰヘッダとＦＥＣヘッダとを付加してＦＥＣパケットとする。ＦＥＣヘッダは、図５の（Ｂ）に示すように、ＦＥＣ処理の対象となるＲＴＰパケットのシーケンス番号のオフセット番号を示すＳＮｂａｓｅ、ＲＴＰパケットの長さについてのパリティ情報を示すＬｅｎｇｔｈｒｅｃｏｖｅｒｙ、ＲＴＰヘッダの拡張を行っているか否かを示すＥ（ここでは、ヘッダ拡張は行わない）、ＲＴＰパケットのＰＴビットのパリティ情報を示すＰＴｒｅｃｏｖｅｒｙ、ＦＥＣ処理の対象となるＲＴＰパケットを示すＭａｓｋ、ＲＴＰパケットのタイムスタンプのパリティ情報を示すＴＳｒｅｃｏｖｅｒｙにより構成される。ＦＥＣ処理の対象となるＲＴＰパケットは、ＳＮｂａｓｅから２４パケットのうちのＭａｓｋで、ｉ番目のビットが“１”になっている場合、（ＳＮｂａｓｅ＋ｉ）番目のパケットになる。

図７は、再送要求パケットの説明図であり、Ｖ（Ｖｅｒｓｉｏｎ）は２ビット構成でＲＴＰのバージョンを示す。ここでは、バージョン２である。又Ｐ（Ｐａｄｄｉｎｇ）は１ビット構成で、パケットの最後のパディングの有無を示すフラグ、ＦＭＴ（ＦｅｅｄｂａｃｋＭｅｓｓａｇｅＴｙｐｅ）は４ビット構成でフィードバックメッセージの識別子を示し、ここでは、“１”である。又ＰＴ（ＰａｙｌｏａｄＴｙｐｅ）は８ビット構成で、ペイロードタイプを示し、ここでは、“２０５”である。又ｌｅｎｇｔｈは１６ビット構成で、再送要求パケットの長さを示す。

又ＳＳＲＣｏｆｐａｃｋｅｔｓｅｎｄｅｒは３２ビット構成で、再送要求パケットの送信側のＳＳＲＣ（同期送信元識別子）を示す。又ＳＳＲＣｏｆｍｅｄｉａｓｏｕｒｃｅは３２ビット構成で、メディア送信側のＳＳＲＣ（同期送信元識別子）を示す。又ＰＩＤ（ＰａｃｋｅｔＩＤ）は１６ビット構成で、損失したパケットのシーケンス番号を示す。又ＢＬＰ（ＢｉｔｍａｓｋｏｆｆｏｌｌｏｗｉｎｇＬｏｓｔＰａｃｋｅｔ）は１６ビット構成で、ＰＩＤから続く１６個のパケットの何れが損失したかを示す。なお、ここでは使用しない。

ＲＴＣＰ送受信部１０７（図３参照）は、前述の再送要求パケットを受信すると、再送要求されたパケットのシーケンス番号を抽出して、再送制御部１０８に再送要求として通知する。再送制御部１０８は、通知されたシーケンス番号に該当するＲＴＰパケットが再送用バッファ１０５に格納されているか否かを検索し、格納されていれば、そのＲＴＰパケットを読出して、そのＲＴＰパケットのヘッダを、再送用ヘッダに置換して、ＲＴＰ送信部１０３に転送し、再送パケットとして送信する。この処理と同時に、再送制御部１０８は、再送パケットのサイズを帯域制御部１０６に通知する。帯域制御部１０６は、再送パケットのサイズ分の帯域を下げるようにＦＥＣ生成部１０４に通知する。この場合、図２の（Ａ）に示す冗長符号パケットの使用帯域と再送パケットの使用帯域との和を一定の値となるように制御し、全体の送信帯域を一定に維持することができる。

図８は、再送パケットの説明図であり、ＲＴＰＨｅａｄｅｒは、図４に示すＲＴＰパケットのヘッダ部と基本的に同じものであるが、シーケンス番号とＳＳＲＣとは、再送用のものを使用する。又ＯＳＮは１６ビット構成のオリジナルのシーケンス番号、ＲＴＰＰａｙｌｏａｄはオリジナルＲＴＰペイロードデータを示す。

又帯域制御部１０６は、全体の送信帯域、符号化データの使用帯域、ＦＥＣの使用帯域、再送の使用帯域を管理し、それぞれに対して、例えば、１秒間に何ビットのデータを送信することができるかを示すカウンタを備えている。このカウンタは、例えば、全体の送信帯域カウンタと、符号化データカウンタと、ＦＥＣカウンタと、再送カウンタとを含み、これらのカウンタを１秒毎に初期値にリセットする。例えば、全体の送信帯域を１０Ｍｂｐｓ、符号化データの使用帯域を８Ｍｂｐｓ、ＦＥＣの使用帯域を２Ｍｂｐｓとすると、全体の送信帯域カウンタ＝１０，０００，０００、符号化データカウンタ＝８，０００，０００、ＦＥＣカウンタ＝２，０００，０００、再送カウンタ＝０のそれぞれ初期値とすることになる。

帯域制御部１０６は、再送制御部１０６から再送パケットのサイズの通知を受ける度に、ＦＥＣカウンタから再送パケットのサイズ分を差引き、再送カウンタをそのサイズ分インクリメントする。ＦＥＣカウンタが０となると、ＦＥＣの使用帯域を総て再送の使用帯域に割当てた状態を示すことになる。この状態で、更に再送要求が発生すると、符号化部１０１に対して符号化レートを下げるように指示し、全体の送信帯域を一定に維持することができる。この符号化レートを低下させる時に、例えば、ＭＰＥＧ−２のＢフレーム、Ｐフレーム、Ｉフレームの順でフレームを落として、符号化データの使用帯域を減少させル事により、全体の送信帯域を一定の値に維持しながら、再送の使用帯域の増加を行うことができる。

又符号化レートを段階的に下げて再送の使用帯域を確保する場合、（再送カウンタ）＋（ＦＥＣカウンタ）＋（符号化データカウンタ）の内容が、全体の送信帯域に満たない時は、帯域制御部１０６は、ＦＥＣ生成部１０４又はダミー生成部１０９を制御して、不足分を補うことにより、全体の送信帯域を一定の値となるように、ＦＥＣパケットの生成又はダミーデータの生成を行うことができる。

（付記１）符号化したメディアデータを伝送するメディア伝送方法に於いて、前記メディアデータの使用帯域と、該メディアデータを基に生成した冗長符号の使用帯域と、該メディアデータについての再送の使用帯域との和の送信帯域を一定の値に維持して、伝送状態に対応して前記各使用帯域の増減を適応的に制御する過程を含むことを特徴とするメディア伝送方法。

（付記２）前記冗長符号の使用帯域と前記再送の使用帯域との和を一定の値に維持するように適応的に制御し、前記再送の使用帯域の増加により前記一定の値を超えた時に、前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように前記メディアデータの使用帯域を適応的に制御して、全体の送信帯域を一定の値に維持する過程を含むことを特徴とする付記１記載のメディア伝送方法。

（付記３）前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように、前記再送の使用帯域の増加による分を前記メディアデータの符号化の手段に従った優先順位による順に従って該メディアデータの使用帯域を減少させる過程を含むことを特徴とする付記１又は２記載のメディア伝送方法。

（付記４）前記冗長符号は、前方誤り訂正方式による複数のメディアデータパケットのビット対応のパリティビットからなるパリティ情報を用いることを特徴とする付記１又は２又は３記載のメディア伝送方法。

（付記５）前記再送の使用帯域と前記冗長符号の使用帯域との和が一定の値を超えた時に、前記メディアデータの使用帯域と前記再送の使用帯域との和の値を一定の値に維持するように前記メディアデータの符号化方式に従った優先順位を定めて、該優先順位に従ってメディアデータの使用帯域を減少し、該メディアデータの使用帯域を減少させた分を前記再送の使用帯域に割当てる過程を含むことを特徴とする付記１乃至４の何れかに記載のメディア伝送方法。

（付記６）前記再送の使用帯域と前記冗長符号の使用帯域との和が一定の値を超えた時に、前記メディアデータの使用帯域と前記再送の使用帯域との和の値を一定の値に維持するように前記メディアデータの符号化レートを段階的に減少し、該メディアデータの使用帯域を減少させた分を前記再送の使用帯域に割当てる過程を含むことを特徴とする付記１乃至４の何れかに記載のメディア伝送方法。

（付記７）前記メディアデータの使用帯域を段階的に減少させた時に、該メディアデータの使用帯域と前記再生の使用帯域との和が前記一定の値に満たない場合は、不足分の使用帯域を前記冗長符号の使用帯域として付加する過程を含むことを特徴とする付記５又は６記載のメディア伝送方法。

（付記８）前記メディアデータの使用帯域を段階的に減少させた時に、該メディアデータの使用帯域と前記再生の使用帯域との和が前記一定の値に満たない場合は、不足分の使用帯域をダミーデータの使用帯域として割当てる過程を含むことを特徴とする付記５又は６記載のメディア伝送方法。

（付記９）符号化したメディアデータを伝送するメディア伝送装置に於いて、前記メディアデータを符号化する符号化部と、該符号化部により符号化されたメディアデータをパケット化するパケッタイザと、パケット化されたメディアデータを再送の為に格納する再送用バッファと、パケット化されたメディアデータを基に冗長符号化する冗長符号生成部と、前記メディアデータの使用帯域と前記再送用バッファから再送要求に従って読出して送出する再送の使用帯域と前記冗長符号の使用帯域との和を一定の値に維持するように、前記各使用帯域を適応的に制御する帯域制御部とを備えたことを特徴とするメディア伝送装置。

（付記１０）前記帯域制御部は、再送要求に従って前記再送用バッファから前記メディアデータを読出して再送制御を行い、再送の使用帯域と、前記メディアデータの使用帯域と、前記冗長符号の使用帯域との和を一定の値に維持するように、前記符号化部の符号化レート又は前記冗長符号生成部の冗長符号レートを制御する機能を備えていることを特徴とする付記１０記載のメディア伝送装置。

本発明の実施例の機能ブロック図である。帯域の説明図である。本発明の実施例のメディア伝送装置の説明図である。ＲＴＰパケットのヘッダ部の説明図である。ＦＥＣパケットの説明図である。ＦＥＣパリティ情報の生成説明図である。再送要求パケットの説明図である。再送パケットの説明図である。

符号の説明

１１符号化部
１２パケッタイザ
１３データ送信部
１４冗長符号生成部
１５冗長符号送信部
１６冗長符号制御部
１７再送用バッファ
１８再送要求受信部
１９再送送信部
２０再送制御部
２１フィードバック受信部
２２帯域制御部

Claims

符号化したメディアデータを伝送するメディア伝送方法に於いて、
前記メディアデータの使用帯域と、該メディアデータを基に生成した冗長符号の使用帯域と、該メディアデータについての再送の使用帯域との和の送信帯域を一定の値に維持し
て、伝送状態に対応して前記各使用帯域の増減を適応的に制御する過程を含む
ことを特徴とするメディア伝送方法。
前記冗長符号の使用帯域と前記再送の使用帯域との和を一定の値に維持するように適応的に制御し、前記再送の使用帯域の増加により前記一定の値を超えた時に、前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように前記メディアデータの使用帯域を適応的に制御して、全体の送信帯域を一定の値に維持する過程を含むことを特徴とする請求項１記載のメディア伝送方法。
前記メディアデータの使用帯域と前記再送の使用帯域との和を一定の値に維持するように、前記再送の使用帯域の増加による分を前記メディアデータの符号化の手段に従った優先順位による順に従って該メディアデータの使用帯域を減少させる過程を含むことを特徴とする請求項１又は２記載のメディア伝送方法。
符号化したメディアデータを伝送するメディア伝送装置に於いて、
前記メディアデータを符号化する符号化部と、
該符号化部により符号化されたメディアデータをパケット化するパケッタイザと、
パケット化されたメディアデータを再送の為に格納する再送用バッファと、
パケット化されたメディアデータを基に冗長符号化する冗長符号生成部と、
前記メディアデータの使用帯域と前記再送用バッファから再送要求に従って読出して送出する再送の使用帯域と前記冗長符号の使用帯域との和を一定の値に維持するように、前記各使用帯域を適応的に制御する帯域制御部と
を備えたことを特徴とするメディア伝送装置。
前記帯域制御部は、再送要求に従って前記再送用バッファから前記メディアデータを読出して再送制御を行い、再送の使用帯域と、前記メディアデータの使用帯域と、前記冗長符号の使用帯域との和を一定の値に維持するように、前記符号化部の符号化レート又は前記冗長符号生成部の冗長符号レートを制御する機能を備えていることを特徴とする請求項４記載のメディア伝送装置。