JP3730974B2

JP3730974B2 - メディア伝送方法及びその送信装置

Info

Publication number: JP3730974B2
Application number: JP2003145962A
Authority: JP
Inventors: 智祥伊藤; 孝雄山口; 治峰 ▲吉▼羽; 直行大利; 学中村; 準一濱田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-06-14
Filing date: 2003-05-23
Publication date: 2006-01-05
Anticipated expiration: 2023-05-23
Also published as: JP2004072720A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラやマイクからの音声・映像データ、すなわちメディアデータを高品質で伝送するためのメディア伝送方法に関するものである。
【０００２】
【従来の技術】
イントラネット、インターネットといった、ＩＰ（Internet Protocol）ネットワーク上では、様々な接続形態があり、接続形態により利用可能な帯域が数Ｋｂｐｓ〜数百Ｍｂｐｓと大きく異なる。しかも、他のフロー（伝送データ）の影響により、利用可能な帯域が時間的に変動する。このようなネットワークでメディアデータ伝送を行うためには、利用可能な伝送帯域にあわせて伝送レートを調整する伝送レート制御が必要になる。
【０００３】
メディアデータをインターネットでリアルタイムに伝送するプロトコルとしてＲＴＰ（Realtime Transport Protocol）／ＲＴＣＰ（RTP Control Protocol）が知られている（非特許文献１参照）。このＲＴＰ／ＲＴＣＰによれば、受信端末から送信端末へパケットロス率、伝播遅延時間、ジッタなどに関する情報をフィードバックし、このフィードバック情報に基づいてメディアデータの伝送レートを決定する。受信端末からのフィードバック情報の送信間隔（通知間隔）は固定値、例えば５秒であった。
【０００４】
フィードバック情報を利用した伝送レート制御方法の１つとして、ＴＦＲＣ（TCP Friendly Rate Control）が知られている（非特許文献２参照）。このＴＦＲＣによれば、パケットロスが発生するまで伝送レートを上昇させ、パケットロスが発生した場合に伝送レートを下げるという制御を行うことで、メディアデータの伝送に適した円滑な伝送レートの更新が達成される。伝送レートの更新間隔は、１×ＲＴＴ（Round Trip Time：往復伝播遅延時間）、例えば数十〜数百ｍｓである。
【０００５】
一方、ＲＴＰに誤り訂正能力を付加する技術であるＲＦＣ２７３３方式も知られている（非特許文献３参照）。このＲＦＣ２７３３方式では、前方誤り訂正（ＦＥＣ：Forward Error Correction）のための冗長データであるＦＥＣデータが、送信すべきデータに付加される。
【０００６】
【非特許文献１】
H. Schulzrinne et al., "RTP: A Transport Protocol for Real-Time Applications", RFC 1889, Internet Engineering Taskforce, Jan. 1996
【非特許文献２】
M. Handley et al., "TCP Friendly Rate Control (TFRC): Protocol Specification", RFC 3448, Internet Engineering Taskforce, Jan. 2003
【非特許文献３】
J. Rosenberg et al., "An RTP Payload Format for Generic Forward Error Correction", RFC 2733, Internet Engineering Taskforce, Dec. 1999
【０００７】
【発明が解決しようとする課題】
メディアデータに基づく符号化データを伝送する場合、ＴＦＲＣに従って伝送レートを数十〜数百ｍｓ間隔で更新し、伝送レートが更新されるたびに符号化レートを更新することとすると、符号化レートが頻繁に変化する。したがって、例えば伝送する映像の画質が頻繁に変化することとなるため、主観画質が低下してしまう。
【０００８】
また、受信端末から送信端末へのフィードバック情報の通知間隔を短くすると、利用可能な伝送帯域にすばやく追従し、伝送帯域を効率良く利用できるという利点がある反面、送信端末での伝送レートの更新頻度が高くなり、メディアデータの品質が頻繁に変化することになり、安定した品質でメディア伝送ができなくなる。また、他のフローとのスループットの公平性が低下する。逆に、フィードバック情報の通知間隔を長くすると、伝送レートの更新頻度が低くなり、伝送レートが安定するが、伝送帯域の変動にすばやく追従できなくなり、伝送帯域の効率的な利用ができなくなる。また、通知間隔が長い場合には、利用可能な伝送帯域が狭くなるとパケットがバースト的にロスすることになり、メディアデータの伝送品質が極端に劣化する。
【０００９】
更に、従来は、データのパケットサイズが一定であったため、伝送レートが低下すると、送出するパケット数が少なくなる。パケットロス率Ｌは通常、受信端末において、
Ｌ＝１−（期間Ｔのうちに受信端末に到達したデータパケットの数）／（期間Ｔのうちに送信端末が送信したデータパケットの数）
で算出される。期間Ｔは通常、前回のフィードバック情報を送信してから、今回のフィードバック情報を送信するまでの時間間隔である。この式から、送信端末が送出するパケット数が少なくなると、１つのパケットのパケットロスがパケットロス率を大きく変化させることが判る。例えば、伝送レートが極端に低くなり、期間Ｔのうちに１つしかパケットを送出できない状況であった場合には、パケットロス率は、そのパケットがロスしなかった場合には０％となり、ロスした場合には１００％となる。このような状況では、パケットロス率をきめ細かく観測できないことが原因で、ネットワークの輻輳状態を正確に把握することができなくなる。
【００１０】
更に、ＴＦＲＣに代表される、ＴＣＰとの公平性を主眼に置いた方式においては、伝送レートを決定するための計算式の分母にＲＴＴを含んでいる。ＲＴＴは、送信端末と受信端末との間をパケットが往復するのに要する時間であり、送信端末と受信端末との間の距離が短ければ１ｍｓ以下の値をとり得る。このような状況下では、ＲＴＴの測定結果が、送信端末からパケットを送信する処理を行うオペレーティングシステムの処理遅延の揺らぎや、パケットの転送処理を行うルータなどの転送処理の遅延の揺らぎなど、ネットワークの輻輳状態とは関連のない遅延の揺らぎによる影響を受け、その結果として伝送レートが大きく揺らいでしまう。
【００１１】
本発明の目的は、利用可能な帯域が大きく変動する環境下で高品質のメディアデータ伝送を実現することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明は、符号化レートの頻繁な更新を抑制することとしたものである。
【００１３】
具体的に説明すると、本発明は、メディアデータに基づく符号化データの伝送において、ネットワークの伝送状態に応じて伝送レートを更新し、かつ伝送レートの更新頻度より少ない頻度で符号化レートを更新することとしたものである。例えば、伝送レートの更新間隔より長いタイムアウト時間が設定されたタイマがタイムアウトした時、あるいは伝送レートが所定の範囲を外れる値に更新された時に、ある時間内の伝送レートの最小値に応じて符号化レートを更新する。符号化データに誤り訂正のための冗長データを付加する場合には、伝送レートと符号化レートとの差を冗長データの送出レートに割り当てればよい。
【００１７】
【発明の実施の形態】
以下、本発明に係るメディア伝送方法並びにその送信装置及び受信装置の実施形態について、図面を参照しつつ説明する。
【００１８】
図１及び図２は、メディアデータに基づく符号化データを伝送するためのメディア伝送システムの構成を示している。図１はメディア送信装置（送信端末）１００の内部構成例を、図２はメディア受信装置（受信端末）２００の内部構成例をそれぞれ示す。これら送信端末１００と受信端末２００とは、ネットワーク１５０を介して互いに接続されている。ネットワーク１５０は、有線網、無線網のいずれでもよく、有線網と無線網とを相互接続したネットワークであってもよい。送信端末１００と受信端末２００との間の伝送プロトコルとして、例えばＲＴＰ／ＲＴＣＰを採用する。
【００１９】
図１の送信端末１００は、音声・映像入力部１０１と、符号化部１０２と、ＦＥＣ生成部１０３と、伝送部１０４と、伝送レート決定部１０５と、符号化レート及びＦＥＣデータ送出レート決定部１０６と、パケットサイズ決定部１０８と、ＲＴＴ計算部１０９とで構成されている。音声・映像入力部１０１は、符号化すべき音声・映像データ（メディアデータ）を入力するためのカメラ、マイクなどの手段である。符号化部１０２は、指定された符号化レートＲｃに従ってメディアデータから符号化データを生成するための手段である。例えばＭＰＥＧ（Moving Picture Coding Experts Group）１／２／４、ＡＭＲ（Audio/Modem Riser）などの標準化された圧縮・符号化方式を採用すればよい。また、この符号化部１０２は、パケットサイズ決定部１０８により決定されたパケットサイズでデータを出力する機能を有する。ＦＥＣ生成部１０３は、指定されたＦＥＣデータ送出レートＲｆに従って符号化データから、誤り訂正用の冗長データであるＦＥＣデータを生成するための手段である。伝送部１０４は、符号化データとともにＦＥＣデータをネットワーク１５０へ送信し、かつネットワーク１５０の伝送状態を示すフィードバック情報（パケットロス率、伝播遅延時間、ジッタなど）が受信端末２００から得られるように制御情報を送受信するための手段である。伝送レート決定部１０５は、フィードバック情報と、ＲＴＴ計算部１０９により計算されたＲＴＴとに基づいて伝送レートＲｓを更新し、かつＦＥＣ生成部１０３へパケットロス率を伝えるための手段である。伝送レートＲｓの決定アルゴリズムとして、例えばＴＦＲＣを採用する。符号化レート及びＦＥＣデータ送出レート決定部１０６は、Ｒｃ更新タイマ１０７を用いて伝送レートＲｓの更新頻度より少ない頻度で符号化レートＲｃを更新し、かつ伝送レートＲｓと符号化レートＲｃとの差をＦＥＣデータ送出レートＲｆに割り当てるための手段である。パケットサイズ決定部１０８は、伝送レート決定部１０５より通知された伝送レートＲｓからパケットサイズを決定し、その結果を符号化部１０２に通知するための手段である。ＲＴＴ計算部１０９は、伝送部１０４よりフィードバック情報を受け取り、このフィードバック情報から、伝送レートＲｓの計算に使用する往復伝播遅延時間（ＲＴＴ）を算出するための手段である。
【００２０】
図２の受信端末２００は、伝送部２０１と、パケットロス回復部２０２と、復号部２０３と、再生部２０４と、フィードバック情報生成部２０５と、通知間隔制御部２０６とで構成されている。伝送部２０１は、送信端末１００からネットワーク１５０を介して伝送されてきた符号化データ及びＦＥＣデータを受信し、かつ当該ネットワーク１５０の伝送状態を示すフィードバック情報を生成できるように制御情報を送受信するための手段である。パケットロス回復部２０２は、ネットワーク１５０でロスしたパケット中の符号化データを、ＦＥＣデータを用いて復元するための手段である。復号部２０３は、符号化データを復号することによりメディアデータを得るための手段である。再生部２０４は、復号結果を再生するためのディスプレイ、スピーカなどの手段である。フィードバック情報生成部２０５は、ネットワーク１５０の伝送状態を示すフィードバック情報を生成するための手段である。生成されたフィードバック情報は、伝送部２０１によりネットワーク１５０を介して送信端末１００へ通知される。通知間隔制御部２０６は、ネットワーク１５０の伝送状態に応じてフィードバック情報の通知間隔Ｔｆを制御するための手段である。
【００２１】
図３は、図１中の符号化レート及びＦＥＣデータ送出レート決定部１０６の初期動作を示している。送信端末１００が起動すると、まず定数Ｕ及びＶの値を取得する。定数Ｕは伝送レートＲｓの小変動幅を定義するための値（Ｕ＞１）であり、定数Ｖは符号化レートＲｃが伝送レートＲｓを上回ることがないようにするための値（０＜Ｖ＜１）である。次に、Ｒｃ更新タイマ１０７のタイムアウト時間Ｔｏ（１×ＲＴＴより長く、例えば３秒）と、伝送レートＲｓの初期値とをそれぞれ取得する。次に、符号化レートＲｃの初期値をＶ×Ｒｓとし、ＦＥＣデータ送出レートＲｆの初期値をＲｓ−Ｒｃとする。そして、最大伝送レートＲｓ＿ｍａｘを変数Ｒｓ＿ｍｉｎにセットしたうえ、Ｒｃ更新タイマ１０７をスタートしてＷＡＩＴ（待機）状態になる。Ｒｓ＿ｍｉｎは、ある時間内の伝送レートＲｓの最小値を求めるための変数である。
【００２２】
図４は、図１中の符号化レート及びＦＥＣデータ送出レート決定部１０６の割り込み動作を示している。同決定部１０６に割り込みが入ってＷＡＩＴ状態を脱するのは、伝送レート決定部１０５により伝送レートＲｓが更新された時と、Ｒｃ更新タイマ１０７がタイムアウトした時である。なお、伝送レートＲｓは、受信端末２００からのフィードバック情報の到着毎に、伝送レート決定部１０５によりＴＦＲＣ方式に従って更新されるものとする。
【００２３】
更新された伝送レートＲｓが符号化レート及びＦＥＣデータ送出レート決定部１０６に通知されると（ステップ３０１）、通知された伝送レートＲｓが現在の符号化レートＲｃにより定義される変動幅（Ｒｃ＜Ｒｓ＜Ｕ×Ｒｃ）に収まっているかどうかが調べられる（ステップ３０２）。伝送レートＲｓが当該変動幅に収まっている場合には、現在の符号化レートＲｃを更新せずに、通知された伝送レートＲｓに従ってＦＥＣデータ送出レートＲｆを更新する（Ｒｆ＝Ｒｓ−Ｒｃ：ステップ３０３）。更に、通知された伝送レートＲｓが、Ｒｃ更新タイマ１０７をスタートしてから現在までの間で最小の伝送レートであれば、これを変数Ｒｓ＿ｍｉｎに保存して（ステップ３０４）、ＷＡＩＴ状態に戻る。
【００２４】
一方、Ｒｃ更新タイマ１０７のタイムアウトが発生した場合には（ステップ３０５）、その時点での変数Ｒｓ＿ｍｉｎの値を用いて符号化レートＲｃを更新し（Ｒｃ＝Ｖ×Ｒｓ＿ｍｉｎ）、現在の伝送レートＲｓ及び更新された符号化レートＲｃに従ってＦＥＣデータ送出レートＲｆを更新し（Ｒｆ＝Ｒｓ−Ｒｃ）、Ｒｃ更新タイマ１０７をリスタートさせ、最大伝送レートＲｓ＿ｍａｘを変数Ｒｓ＿ｍｉｎに再度セットしたうえ（ステップ３０６）、ＷＡＩＴ状態に戻る。
【００２５】
上記変動幅（Ｒｃ＜Ｒｓ＜Ｕ×Ｒｃ）を外れるほど伝送レートＲｓが大きく変動させられた場合には、通知された伝送レートＲｓを変数Ｒｓ＿ｍｉｎにセットしたうえ（ステップ３０７）、符号化レートＲｃの更新などの上記ステップ３０６の動作を行い、ＷＡＩＴ状態に戻る。
【００２６】
以上のアルゴリズムにより、符号化レートＲｃの更新頻度が抑制され、かつ適切なＦＥＣデータ送出レートＲｆが得られる。
【００２７】
次に、図１中のＦＥＣ生成部１０３の動作例を説明する。ＦＥＣデータの生成には、例えばＲＦＣ２７３３のＸＯＲ（排他的論理和）演算を用いる。簡易的には、固定の誤り耐性を前提として、例えば２つの連続したパケットのロスを回復できるようにＦＥＣデータを生成する。ただし、連続して何個のパケットにロスが発生するかを検出して、誤り訂正能力を変更してもよい。図３及び図４のアルゴリズムで決定されたＦＥＣデータ送出レートＲｆよりも生成されたＦＥＣデータ量の方が小さければ全てのＦＥＣデータを送出し、大きければ送出するＦＥＣデータ量を調整する。送出すべきＦＥＣデータ量が多過ぎる場合は、誤り訂正能力を低くすることでＦＥＣデータ量を削減してもよい。ＸＯＲ演算以外に、パリティやリードソロモンといった誤り訂正方式も利用できる。
【００２８】
ＦＥＣデータ送出レートＲｆや、パケットロス率に応じて、複数の誤り訂正方式を動的に切り替えることとしてもよい。例えば、パケットロス率が高い場合にはリードソロモンとインターリーブとを組み合わせた強い誤り耐性を、パケットロス率が低い場合にはパリティのような弱い誤り耐性をそれぞれ選択する。
【００２９】
ＦＥＣデータ送出レートＲｆが一定期間、閾値Ｄ２（固定値）より高い場合には、誤り訂正の演算処理量が少ないが、誤り耐性の低いパリティ方式を用いる。逆に、ＦＥＣデータ送出レートＲｆが一定期間、閾値Ｄ２以下の場合には、誤り訂正の演算処理量が多いが、誤り耐性の高いリードソロモン方式を用いる。このようにすることで、ＦＥＣデータの送出量が多い場合にはパリティ方式で受信端末２００の処理負荷を抑え、ＦＥＣデータの送出量が少ない場合にはリードソロモン方式で誤り耐性を高く保つことができる。なお、パリティ方式で受信端末２００の処理負荷を下げることにより、より多くの送信端末１００からの映像データを受信することができ、また処理遅延が小さくなり低遅延でメディアデータ再生が可能となるといった利点がある。
【００３０】
また、ＦＥＣ生成部１０３において、パケットロス率に応じて誤り耐性を付与するデータを選択したり、データ数を決定することとしてもよい。パケットロス率が高い場合には、例えば映像データの場合はイントラフレームや、ビデオヘッダ、音声データの場合は有音部分など、復号に重要なデータに対して選択的に誤り耐性を付与するのである。
【００３１】
これを詳細に説明すると、ＭＰＥＧ２の映像符号化データにおいて、パケットロス率が低い場合には、映像符号化データ全体にＦＥＣデータを付加する（方式Ｘとする）。一方、パケットロス率が高い場合には、Ｉ（Intra）、Ｐ（Predictive）フレームにのみＦＥＣデータを付加し、Ｂ（Bidirectionally predictive）フレームにはＦＥＣデータを付加しないこととする（方式Ｙとする）。方式Ｘ、ＹともＦＥＣデータの量は同じであるため、Ｉ、Ｐフレームに関しては、方式Ｘの方が方式Ｙよりも弱い誤り耐性が付与されることになる。
【００３２】
このようにパケットロス率に応じて方式Ｘ、Ｙを切り替えることで、方式Ｘ、Ｙをそれぞれ単独で使用した場合よりも、受信端末２００で再生可能なフレーム数を増加させることができる。例えば、パケットロス率が低い場合には、弱い誤り訂正能力でもロスしたパケットを回復できるため、映像符号化データ全体に誤り耐性を付与する方式Ｘの方が再生フレーム数は多くなる。一方、パケットロス率が高くなると、方式ＸではＩ、Ｐフレームの再生フレーム数が少なくなるため、これらを参照するＰ、Ｂフレームが再生できなくなり、再生フレーム数が急激に少なくなる。これと違って方式Ｙでは、Ｉ、Ｐフレームに強い誤り耐性を付与しているため、パケットロス率が高くなっても、参照されるフレーム（Ｉ、Ｐフレーム）がロスせず、再生フレーム数が多くなる結果となるのである。
【００３３】
なお、上記説明ではＩ、Ｐ、Ｂフレームを対象としたが、階層符号化を使用し、Ｉ、Ｐフレームの代わりに基本レイヤを、Ｂフレームの代わりに拡張レイヤを使用することとしてもよい。
【００３４】
図５は、図２中のフィードバック情報生成部２０５及び通知間隔制御部２０６の主要動作を示している。フィードバック情報生成部２０５は、伝送部２０１と協働してパケットロス率を計測する（ステップ４０１）。通知間隔制御部２０６は、パケットロス率が閾値Ｌ１（固定値）よりも高い場合には、フィードバック情報の通知間隔Ｔｆを、その最小値Ｔｆｍｉｎを下回らない範囲で、現在の通知間隔よりも固定値Ｔｃ１だけ短くする（ステップ４０２）。これにより、利用可能な伝送帯域に伝送レートＲｓをすばやく追従させ、パケットロスの発生を少なくすることができる。また、通知間隔制御部２０６は、パケットロス率が閾値Ｌ２（Ｌ１より小さい固定値）よりも低い場合には、フィードバック情報の通知間隔Ｔｆを現在の通知間隔よりも固定値Ｔｃ２だけ長くする（ステップ４０３）。これにより、伝送レートＲｓの頻繁な切り替えを抑え、更に、他のフローとの間の公平性を向上させることができる。
【００３５】
図６は、図１及び図２の送受信端末１００，２００によるメディアデータ伝送における伝送レートＲｓ及び符号化レートＲｃの変動例を示している。図６によれば、伝送レートＲｓが頻繁に更新される状況下でも、符号化レート及びＦＥＣデータ送出レート決定部１０６の動作により符号化レートＲｃの更新頻度が抑制されることが判る。また、パケットロス率が低い場合には、通知間隔制御部２０６の動作により伝送レートＲｓの無用の更新も抑制される。
【００３６】
図７は、図１中のパケットサイズ決定部１０８の動作を示している。図７によれば、伝送レートＲｓが低下した場合にデータのパケットサイズを小さくすることで、パケットロス率をきめ細かく観測することができる。
【００３７】
まず、パケットサイズ決定部１０８は、伝送レート決定部１０５により決定された伝送レートＲｓを受信する（ステップ７０１）。その後、Ｓを予め定められた通常時のパケットサイズとして、観測期間Ｔにおいて伝送レートＲｓで伝送可能なパケット数Ｎを
Ｎ＝Ｒｓ×Ｔ／Ｓ
により求め、当該パケット数Ｎの値が予め定められた閾値Ｎｍｉｎよりも小さいかどうかを判定する（ステップ７０２）。ＮがＮｍｉｎよりも小さくないと判定された場合には、通常時のパケットサイズＳを採用する（ステップ７０３）。ＮがＮｍｉｎよりも小さいと判定された場合には、採用すべきパケットサイズＳ’を、
Ｓ’＝Ｒｓ×Ｔ／Ｎｍｉｎ
により計算する（ステップ７０４）。そして、ステップ７０３又はステップ７０４により決定されたパケットサイズを符号化部１０２に通知して（ステップ７０５）、処理を終了する。
【００３８】
なお、図５で説明したとおり、図１及び図２の実施形態ではフィードバック情報の通知間隔Ｔｆが変化するため、それにつれて観測期間Ｔが変動する。ただし、観測期間の最小値Ｔｆｍｉｎを用いれば、最低限Ｎｍｉｎ個のパケットを送信することができる。
【００３９】
図８は、図１中のＲＴＴ計算部１０９の動作を示している。図８によれば、ＲＴＴにオフセットを加算することで、ＲＴＴが小さい場合に、ネットワーク１５０の輻輳状態とは関連のない遅延の揺らぎにより発生する伝送レートＲｓの揺らぎを抑えることが可能となる。
【００４０】
まず、ＲＴＴ計算部１０９は、受信端末２００からのフィードバック情報を受信し（ステップ８０１）、このフィードバック情報から、測定された往復伝播遅延時間ＲＴＴｔを取得する（ステップ８０２）。続いて、ＲＴＴｔが予め定められた閾値ＲＴＴｍｉｎよりも小さいかどうかを判定する（ステップ８０３）。ＲＴＴｔがＲＴＴｍｉｎよりも小さくない場合には、伝送レートＲｓの計算に使用する往復伝播遅延時間ＲＴＴｃａｌｃとしてＲＴＴｔを採用する（ステップ８０４）。また、ＲＴＴｔがＲＴＴｍｉｎよりも小さい場合には、
ＲＴＴｃａｌｃ＝ＲＴＴｔ＋ｏｆｓ×（ＲＴＴｍｉｎ−ＲＴＴｔ）／ＲＴＴｍｉｎ
により、計算に使用する往復伝播遅延時間ＲＴＴｃａｌｃを求める（ステップ８０５）。ここで、ｏｆｓは予め定められた定数である。そして、ステップ８０４又はステップ８０５により決定されたＲＴＴｃａｌｃを伝送レート決定部１０５に通知して（ステップ８０６）、処理を終了する。
【００４１】
図９は、上記ＲＴＴｔとＲＴＴｃａｌｃとの関係を示している。図９では、横軸がＲＴＴｔであり、縦軸がＲＴＴｃａｌｃである。上記アルゴリズムにより得られる、ＲＴＴｔとＲＴＴｃａｌｃとの関係を太い実線の折れ線により表している。破線は、ＲＴＴｃａｌｃ＝ＲＴＴｔの場合、すなわち測定されたＲＴＴをそのまま計算に用いる場合を示している。図９に示すとおり、ＲＴＴｔがＲＴＴｍｉｎよりも小さい場合に正の加算オフセットが採用される。したがって、ＲＴＴｔが小さい場合でもＲＴＴｃａｌｃは小さくなり過ぎることがない。
【００４２】
輻輳による伝播遅延の増大は数百ｍｓ以上であり、機器の処理遅延は数ｍｓのオーダーである。したがって、上記ＲＴＴｍｉｎやｏｆｓを数十ｍｓ以下のオーダーに設定することで、上記オフセット加算が輻輳発生時の伝播遅延時間に影響を与えることはなくなる。
【００４３】
なお、送信端末１００と受信端末２００との間の伝送プロトコルは、ＩＰ以外の独自プロトコルであってもよい。接続形態も１対１型に限らず、１対Ｎの放送型（マルチキャスト、ブロードキャスト）、あるいはＮ対Ｍのメッシュ型であってもよい。メディアデータは、単一で伝送されていても、また並列に同時に伝送されていてもよい。標準化された符号化方式に限らず、独自の符号化方式を用いてもよい。
【００４４】
【発明の効果】
以上説明してきたとおり、本発明によれば、符号化レートの頻繁な更新を抑制することとしたので、利用可能な帯域が大きく変動する環境下で高品質のメディアデータ伝送を実現することができる。したがって、本発明は、インターネット電話に利用されるＶｏＩＰ（Voice Over Internet Protocol）、ＴＶ電話、ネットワークを利用した監視・放送などの様々なアプリケーションに適用できる。
【図面の簡単な説明】
【図１】本発明に係るメディア送信装置（送信端末）の内部構成例を示すブロック図である。
【図２】本発明に係るメディア受信装置（受信端末）の内部構成例を示すブロック図である。
【図３】図１中の符号化レート及びＦＥＣデータ送出レート決定部の初期動作を示すフローチャート図である。
【図４】同決定部の割り込み動作を示すフローチャート図である。
【図５】図２中のフィードバック情報生成部及び通知間隔制御部の主要動作を示すフローチャート図である。
【図６】図１及び図２の装置によるメディアデータ伝送における伝送レート及び符号化レートの変動例を示すタイムチャート図である。
【図７】図１中のパケットサイズ決定部の動作を示すフローチャート図である。
【図８】図１中のＲＴＴ計算部の動作を示すフローチャート図である。
【図９】図８の動作により実現するＲＴＴオフセット加算を説明するための図である。
【符号の説明】
１００送信端末（メディア送信装置）
１０１音声・映像入力部
１０２符号化部
１０３ＦＥＣ生成部
１０４伝送部
１０５伝送レート決定部
１０６符号化レート及びＦＥＣデータ送出レート決定部
１０７Ｒｃ更新タイマ
１０８パケットサイズ決定部
１０９ＲＴＴ計算部
１５０ネットワーク
２００受信端末（メディア受信装置）
２０１伝送部
２０２パケットロス回復部
２０３復号部
２０４再生部
２０５フィードバック情報生成部
２０６通知間隔制御部
Ｒｃ符号化レート
ＲｆＦＥＣデータ送出レート
Ｒｓ伝送レート
ＲＴＴｃａｌｃ伝送レートの計算に使用するＲＴＴ
ＲＴＴｔ測定されたＲＴＴ
Ｔｆフィードバック情報の通知間隔

Claims

ネットワークを介して、メディアデータに基づく符号化データを伝送するためのメディア伝送方法であって、
前記ネットワークの伝送状態に応じて伝送レートを更新する第１のステップと、
前記伝送レートの更新頻度より少ない頻度で符号化レートを更新する第２のステップとを備えたことを特徴とするメディア伝送方法。
請求項１記載のメディア伝送方法において、
前記第２のステップは、前記伝送レートの更新間隔より長いタイムアウト時間が設定されたタイマがタイムアウトした時に前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
請求項１記載のメディア伝送方法において、
前記第２のステップは、前記伝送レートが所定の範囲を外れる値に更新された時に前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
請求項１記載のメディア伝送方法において、
前記第２のステップは、ある時間内の前記伝送レートの最小値に応じて前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
請求項１記載のメディア伝送方法において、
前記伝送レートと前記符号化レートとの差を誤り訂正のための冗長データの送出レートに割り当て、前記符号化データに前記冗長データを付加して伝送する第３のステップを更に備えたことを特徴とするメディア伝送方法。
請求項５記載のメディア伝送方法において、
前記第３のステップは、前記冗長データの送出レートに応じて誤り訂正方式を変更するステップを有することを特徴とするメディア伝送方法。
請求項５記載のメディア伝送方法において、
前記第３のステップは、前記ネットワークのパケットロス率に応じて誤り訂正方式を変更するステップを有することを特徴とするメディア伝送方法。
請求項７記載のメディア伝送方法において、
前記第３のステップは、前記ネットワークのパケットロス率が低い場合には全ての符号化データに誤り耐性を付与し、前記ネットワークのパケットロス率が高い場合には重要度の高い符号化データにのみ誤り耐性を付与するステップを有することを特徴とするメディア伝送方法。
請求項１記載のメディア伝送方法において、
前記第１のステップは、前記ネットワークの伝送状態を示すフィードバック情報を受信端末から通知するステップを有することを特徴とするメディア伝送方法。
請求項９記載のメディア伝送方法において、
前記フィードバック情報の通知間隔を前記ネットワークの伝送状態に応じて可変に制御するステップを更に備えたことを特徴とするメディア伝送方法。
メディアデータに基づく符号化データをネットワークへ送信するためのメディア送信装置であって、
前記メディアデータから前記符号化データを生成するための手段と、
前記符号化データから誤り訂正用の冗長データを生成するための手段と、
前記ネットワークの伝送状態に応じて伝送レートを更新するための手段と、
前記伝送レートの更新頻度より少ない頻度で符号化レートを更新するための手段と、
前記伝送レートと前記符号化レートとの差を前記冗長データの送出レートに割り当てるための手段と、
前記符号化データに前記冗長データを付加して送信するための手段とを備えたことを特徴とするメディア送信装置。