WO2006054442A1

WO2006054442A1 - 送信装置、受信装置及び通信システム

Info

Publication number: WO2006054442A1
Application number: PCT/JP2005/020005
Authority: WO
Inventors: Michihiro Ohno; Masafumi Takahashi; Katsuo Doi
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2004-11-17
Filing date: 2005-10-31
Publication date: 2006-05-26
Also published as: EP1821442A4; CN101057439A; EP1821442A1; JP4838143B2; JPWO2006054442A1; US20080095247A1; CN101057439B; US8281356B2

Description

明細書

送信装置、受信装置及び通信システム

技術分野

[0001] 本発明は、ストリームデータの送受信において、データ伝送の遅延時間やパケットロス率を求め、それに基づいて回線品位や帯域余裕を考慮して最適な送信ビットレート又はエンコードレートを与えるように制御する送信装置、受信装置及び通信システムに関する。

背景技術

[0002] インターネット等のネットワークでは、伝送帯域や回線品位等の原因により、データ伝送に遅延が生じ、さらにはパケットが失われたり、伝送遅延にジッタが発生したりする。このため、映像や音声情報のような連続メディアを圧縮して得られたストリームデータを伝送して連続再生する場合、データ伝送品質の劣化を生じてしまい、スムーズな再生が困難となる場合がある。

[0003] すなわち、ネットワークは有限長のキューと有限帯域の回線の連鎖と考えられる。回線の帯域以上のデータを流そうとすると、キューに蓄積され、伝送に力かる遅延が増大する。さらに帯域以上のデータを流し続けるとついにはキューがオーバフローしてパケットが失われる。また、伝送の品質が悪い回線では、データ量とは無関係にパケットが失われたり、パケットの順序が変わったり、伝送遅延に揺らぎが発生したりする。

[0004] そこで、例えば後述する特許文献 1に開示されて!、るように、データ受信側の品質低下をできる限り抑えて、効率的にデータ伝送ができるように、エンコードレートを制御する。

[0005] 図 11は、従来の通信システムを示すブロック図である。図示都合上、 A点を境にして（a)、（b)に分割して示している。送信側は、カメラ 101、リアルタイムエンコーダ 10 2、送信制御部 103を備え、受信側は、受信制御部 111、リアルタイムデコーダ 112、再生表示部 113を備える。送信側と受信側はネットワーク 105を介して接続されている。

[0006] 同図（a)の送信側において、カメラ 101から入力された映像情報は、リアルタイムェンコーダ 102において、送信制御部 103により指定された送出ビットレートでリアルタィムエンコードされる。リアルタイムエンコーダ 102における送出ビットレートは、送信制御部 103からのビットレートフィードバック情報により指定される。

[0007] この送出のデータフォーマットは、送信したパケットの順序ならびに再生タイミングが受信側で分力るようにパケット毎にシリアル番号が付与され、そのパケットに含まれるデータの再生タイミングを表すタイムスタンプも同様に付与されたものとなっている。このようなフォーマットとしては RTP (ReaH:ime Transport Protocol)が広く使われている。また、 RTPを使った伝送を制御するために RTCP (RTP Control Protocol)が広く使われている。本発明、ならびに従来技術は RTPZRTCPに限定されるものではないが、以下では簡単のため広く理解されうる RTPZRTCPを想定したシステムについて説明する。

[0008] ネットワーク 105により伝送された映像データパケットは、図（b)の受信側の受信制御部 111により受信される。受信制御部 111において、受信した映像データパケットに格納されて、るシリアル番号に基づ、て映像データパケットのロスや到着順序入替り、重複受信などのイレギュラーな映像データパケットの受信状況が検出される。再生時刻に間に合つたと判定された映像データパケットからは、そのペイロード内に格納されている映像データが取り出される。再生時刻に間にあわない映像データパケットは捨てられる。この映像データは、タイムスタンプと共にリアルタイムデコーダ 11 2に渡されてリアルタイムでデコードされた後、タイムスタンプに従って再生表示部 11 3にお、て再生表示される。

[0009] 送信制御部 103からは、映像データパケット以外に、ネットワークの品質パラメータを測定し輻輳状態を判定するために、コントロール情報を伝える SR (Sender Report) パケット（以下、 SRパケットという。）が送出される。この SRパケットは、送信制御部 10 3から図 1 (b)の受信側の受信制御部 111に対して定期的に送出される。 SRパケットのフォーマット中には送信した時の時刻情報 (送信タイムスタンプ）が含まれて、る。

[0010] また、 SRパケットを受信すると受信制御部 111から送信制御部 103に対してコントロール情報を伝える RR (Receiver Report)パケット（以下、 RRパケットという。）が送出される。この RRパケットのフォーマット中には、受信した SRパケット中に含まれていた送信タイムスタンプ情報および受信側が SRパケットを受信してから RRパケットを送信するまでの経過時間情報が格納される。

[0011] RRパケットを受信した送信制御部 103おいて、コントロールパケット（SRパケット、 R Rパケット）の往復伝播遅延（ラウンドトリップタイム： Round Trip Time)を下記（1)式により求めることができる。

Trnd = 、rrcv ― Tsnd) ― Tstay · · · (1)

ここで、

Trnd:コントロール信号パケットの往復伝播遅延、

Trcv:送信制御部が RRパケットを受信した時刻、

Tsnd：送信制御部が受信した RRパケットに対応する SRパケットを送信した時刻 (R Rパケットに格納されて、る送信タイムスタンプ情報）、

Tstay：受信制御部が SRパケットを受信してから RRパケットを送信するまでの時間（

RRパケットに格納されて、る経過時間情報）、

である。

[0012] また、 RRパケットのフォーマット中には、受信制御部 111で受信された映像データパケットに関するパケットロス率と伝播遅延のゆらぎを表すジッタ情報などのネットヮークの輻輳情報も格納される。

特許文献 1：特開 2003 - 244695

発明の開示

発明が解決しょうとする課題

[0013] 上記従来技術で伝送レート制御に用いられているラウンドトリップタイム（以降 RTT と呼ぶ）は、送受信装置それぞれの計時部間のずれの影響を受けないため、算出しやすい。しかし、 RTTは送信装置力受信装置に向けての伝送遅延だけではなぐ受信装置力送信装置に向けての伝送遅延の影響を受けてしまう。ここで、受信装置から送信装置に至るまでの逆方向の遅延は、送信装置が送り出すストリームデータの伝送レートには無関係であり、このような要素の影響を受けることは正確な伝送レート制御の妨げとなっている。このような悪影響は回線の帯域が非対称な ADSL (As ymmetnc Digital Subscriber Lineノにおヽて顕奢に表れる。 [0014] また、図 12に示すように、送信レートを徐々に増加させていくと、最初、遅延時間は一定で、受信レートが送信レートに一致して上昇していく。送信レートが回線帯域に達すると、受信レートは頭打ちとなり、ネットワーク中のキューにデータが蓄積されることによる伝送遅延の増加が観測される。さらに送信レートが回線帯域を越える状態が継続するとパケットロスが発生し、送信したデータの一部が失われる。この状態では、送信データを単に捨てることになるため、送信レートを高めても再生される映像や音声の品質は向上しないば力りかデータの欠落による品位の悪ィ匕をもたらすことになる。そのため、上記従来技術はパケットロス率だけが上昇した場合でも、伝送レートを下げるように制御する。しかしながら、パケットロスは送信装置の過剰な伝送レート以外の原因によって発生する可能性があり、この場合に伝送レートを下げたとしても伝送される映像や音声の品位が低下するだけでパケットロス率は低下しない。

[0015] 本発明は、斯かる実情に鑑み、データ伝送の遅延時間やパケットロス率を求め、それらに基づいて回線品位や帯域余裕を考慮して最適な送信ビットレート又はェンコードレートを与えるように制御する送信装置、受信装置及び通信システムを提供しようとするちのである。

課題を解決するための手段

[0016] 本発明の送信装置は、ストリームデータを送信し、受信装置が受信して求めたストリームデータの伝送遅延及びパケットロス率に基づき、送信ビットレート又はエンコードレートを制御する送信装置であって、制御に使用する前記伝送遅延は、少なくとも通信開始時の遅延を基準とする増減値であることを特徴とする。

[0017] 本発明の送信装置は、ストリームデータを送信し、受信装置が受信して求めたストリームデータの伝送遅延及びパケットロス率に基づき、送信ビットレート又はエンコードレートを制御する送信装置であって、制御に使用する前記伝送遅延は、送信開始からの前記通信遅延の最小値を基準とする増減値であることを特徴とする。

[0018] 本発明の送信装置は、前記エンコードレートを、伝送遅延が第 1の閾値を上回ったときに減少させ、第 2の閾値を下回ったときに増加させることを特徴とする。

[0019] 本発明の送信装置は、前記パケットロス率が第 3の閾値を上回った場合に、前記ェンコードレートを減少させることを特徴とする。 [0020] 本発明の送信装置は、前記伝送遅延が増加せず前記パケットロス率が増力!]した場合には、前記エンコードレートを変化させないことを特徴とする。

[0021] 本発明の送信装置は、前記伝送遅延が増カロし前記パケットロス率が増カロした場合に、前記エンコードレートを減少させることを特徴とする。

[0022] 本発明の送信装置は、前記エンコードレートを変更させた後、所定の時間、当該ェンコードレートを維持することを特徴とする。

[0023] 本発明の送信装置は、前記エンコードレートを変更させた後、前記送信ビットレートが前記エンコードレートを上回っている場合には、当該エンコードレートを超える送信データを捨てて送信することを特徴とする。

[0024] 本発明の送信装置は、前記捨てる送信データを選ぶ際、前後のデータのデコードに利用されるデータより前後のデータのデコードに利用されないデータを優先的に捨てることを特徴とする。

[0025] 本発明の受信装置は、送信装置から送信されたストリームデータを受信し、該ストリームデータの伝送遅延及びパケットロス率を求めて、それらに基づ、て送信ビットレート又はエンコードレートを制御する送信装置に、前記伝送遅延及びパケットロス率を送信する受信装置であって、前記伝送遅延は、少なくとも通信開始時の遅延を基準とする増減値であることを特徴とする。

[0026] 本発明の受信装置は、送信装置から送信されたストリームデータを受信し、該ストリームデータの伝送遅延及びパケットロス率を求めて、それらに基づ、て送信ビットレート又はエンコードレートを制御する送信装置に、前記伝送遅延及びパケットロス率を送信する受信装置であって、前記伝送遅延は、送信開始からの前記通信遅延の最小値を基準とする増減値であることを特徴とする。

[0027] 本発明の通信システムは、前記送信装置と前記受信装置を備えたことを特徴とする

発明の効果

[0028] 本発明によれば、送信装置が送ったストリームデータに基づいて、受信装置が伝送遅延及びパケットロス率を求め、その求めた値によって送信側が送信ビットレート又はエンコードレートを制御するので、 IP網のような、不安定なネットワークにおいても、乱れを最小限にとどめた状態でデータを送受信できる。特に、送信装置から受信装置への一方向の伝送遅延やパケットロス率を求めているので、 RTTのように不要な方向の遅延の影響を受けずに済む。

図面の簡単な説明

[0029] [図 1]本発明の通信システムの一実施形態を示すブロック図である。

[図 2]回線品位、帯域余裕を軸にネットワーク状態を示す説明図である。

[図 3]ソース装置とシンク装置の制御内容を示す表である。

[図 4]初期適応期間後の基準遅延設定期間を設ける説明図である。

[図 5]所定の算定期間毎に、遅延時間の平均値を求めて基準遅延時間とする説明図である。

[図 6]回線帯域の変動に応じてエンコードレートを変更する状況を示す説明図である

[図 7]デッドタイムを設けたエンコード設定手順を示すフローチャートである。

[図 8]エンコードレートを変更直後から応答時間内にエンコードレートを越えるェンコードデータを捨てる状況を示す説明図である。

[図 9]エンコードレートを超えるデータは捨てる手順を示すフローチャートである。

[図 10]エンコードレートを超えた Iフレーム以外のパケットデータを破棄する場合の送信状況を示す説明図である。

[図 11]従来の通信システムを示すブロック図である。

[図 12]回線帯域に対する送信レートの増加によるネットワーク状態を示す説明図である。

[図 13]拡張ヘッダ部分に送信タイムスタンプを入れた RTPパケットの構造を示す説明図である。

符号の説明

[0030] 10 ソース装置

11 エンコード部

12 パケット送信部

13 計時部 14 ネットワークインターフェース

15 パケット受信部

16 回線帯域推定部

20 シンク装置

20 ソース装置

21 ネットワークインターフェース

22 パケット受信部

23 統計データ取得部

24 パケット送信部

25 デコード部

26 計時部

30 ネットワーク

発明を実施するための最良の形態

[0031] 以下、本発明の実施の形態を添付図面を参照して説明する。

[0032] 図 1は、本発明の通信システムの一実施形態を示すブロック図である。この通信システムは送信側のソース装置 10、インターネット等のネットワーク 30、受信側のシンク装置 20力構成されている。ネットワーク 30としている力この部分はソース装置 10 とシンク装置 20を繋ぐ単なる回線でも構わな、。

[0033] ソース装置 10は、エンコード部 11、パケット送信部 12、計時部 13、ネットワークインターフェース 14、パケット受信部 15、回線帯域推定部 16とから構成される。また、シンク装置 20は、ネットワークインターフェース 21、パケット受信部 22、統計データ取得部 23、パケット送信部 24、デコード部 25、計時部 26とから構成される。

[0034] この通信システムの送受信装置は、このソース装置 10とシンク装置 20を一組備え、互ヽにデータの送受信を行って!/、る。

[0035] ソース装置 10に入力された映像音声は、エンコード部 11で例えば MPEG4にェンコードされ、パケット送信部 12で RTPパケットに分割されて、ネットワークインターフエース 14を介してネットワーク 30に送出される。このとき、パケットには計時部 13で計測されて、る時刻がタイムスタンプとして付与される。 [0036] シンク装置 20は、ネットワークインターフェース 21を介して受け取った RTPパケットをパケット受信部 22にて MPEG4ストリームに組み立て、デコード部 25によりデコードして映像音声を出力する。またパケット受信部 22では、パケットの通し番号やパケットサイズ、タイムスタンプなどの情報を抽出して、統計データ取得部 23により片側遅延時間、パケットロス率、受信レート等の統計データを算出する。パケット送信部 24では、片方向遅延を伝送するために拡張した RTCPパケットによって統計データをネットワークインターフェース 21を介してシンク装置 20からソース装置 10に向けて送信する。

[0037] ソース装置 20でネットワークインターフェース 14を介して受信された統計情報は、パケット受信部 15にて抽出されて回線帯域推定部 16に入力され、回線帯域推定部 16はエンコード部 11に対して最適なエンコードを与えるよう指示する。

[0038] 次に、それぞれの領域でソース側、シンク側で行うべき制御の概要を示す。

[0039] 発明が解決しょうとする課題の項目において説明したように、一般に、送信レートを徐々に増加させていくと、最初、遅延時間は一定で、受信レートが送信レートに一致して上昇していく。送信レートが回線帯域に達すると、受信レートは頭打ちになり、ネットワーク中のキューにデータが蓄積されることによる伝送遅延の増加が観測される。さらに送信レートが回線帯域を越える状態が継続するとパケットロスが発生し、送信したデータの一部が失われる。この状態では遅延時間は飽和する。

[0040] ここで、回線品位、帯域余裕（=回線帯域—送信レート）を軸にネットワーク状態を整理すると図 2に示すようになる。縦軸に回線品位、横軸に帯域余裕を設ける。まず、第 1象限は問題のない領域であり、回線品位が高いためパケットロス率は小さぐまた右に行くに従って、帯域余裕は大きくなるため送信レートの微細な揺らぎに伴う遅延変動も少なくなる。この領域においては特に、送信ビットレートやエンコードレートを制御する必要はな、。

[0041] 第 2,第 3象限は、帯域が不足している領域であり、伝送遅延が増加中 Z—定があるので、便宜上斜めの線で区切っている。斜め線の上側は帯域不足で遅延大、パケットロス率が大である。また、斜め線の下側は、遅延が増大し、帯域がやや不足している。なお、第 2象限においては、回線品位がよいので、斜め線の下側は、パケット口ス率は少ない。第 3象限においては、回線品位がよくないので、斜め線の下側は、パケットロス率は中程度である。これら領域では帯域不足を解消するため、伝送遅延とパケットロス率に基づいて、損失データをできる限り抑えるように、送信ビットレートやエンコードレートを制御する。本発明は、これら第 2,第 3象限における制御に関するものである。

[0042] 第 4象限は、帯域余裕はあるが、回線品位が低い領域であり、遅延変動を起こし、パケット率も中程度である力これらは回線品位に起因するため、ソース装置における制御によって伝送品位が改善する見込みはなく制御を行う必要はない。

[0043] 図 3は、ソース装置とシンク装置の制御内容を示す表である。各項目毎にソース装置とシンク装置の制御内容を説明する。

伝送良好の場合は、ソース装置とシンク装置共に現状維持である。帯域余裕が大きい場合は、ソース装置はエンコードレートを増カロさせて伝送効率を増加させ、シンク装置は現状維持とする。帯域余裕がない場合は、ソース装置とシンク装置共に現状維持かエンコードレートをやや減少させる。伝送品質が低い場合は、ソース装置は現状維持で、シンク装置はデータのエラー補正を行う。帯域が不足している場合は、ソース装置はエンコードレートを受信レートに変更し、シンク装置はエラーコンシールメント、すなわちエラーを隠す処理を行う。例えば、動画の壊れたフレームを捨てその間静止画を表示するなどの処理である。帯域がやや不足している場合は、ソース装置はエンコードレートを減少させ、シンク装置は遅延パケットを破棄する。

各項目ではこのような制御が考えられるが、次に伝送品位と帯域余裕を考慮した具体的制御につ!、て説明する。

[0044] このような制御を行うには、まず遅延時間を求めなければならな、。遅延時間を求めるためには、シンク装置 20で受信した時刻から、ソース装置 10で付与されたタイムスタンプを引けばよい。しかし、ソース装置 10、シンク装置 20のそれぞれの計時部 1 3と計時部 26を正確に同期させることは困難である。そこで、シンク装置 20は、ネットワーク 30の標準的な遅延時間を基準遅延時間として求め、これを 0とみなして、求めた遅延時間を補正する。つまり、

遅延時間 =パケット受信時刻送信タイムスタンプ一基準遅延時間 · · · (2) となる。

[0045] 図 4に示すように、通信開始直後の初期適応期間は遅延時間やパケットロス率等が求められておらず過大な送信を行う可能性があるため、この期間の遅延時間は無視する。通信安定後、基準遅延設定期間を設けて、この期間の遅延時間を測定し、この遅延時間を平均して、基準遅延時間とする。

[0046] しかし、インターネット等のネットワークにおいては、データ伝送経路が変わる可能性があり、そのため回線品位や帯域余裕等が変化し、突然遅延時間が変化する可能性がある。そこで、基準遅延時間により補正した遅延時間が、通信中に大きくマイナスに振れた場合、平均値である基準遅延時間基準遅延時間を見直す。詳しくは、式（2)で求められる遅延時間が、あらかじめ定めておいた基準値 (例えば、 200m sec)を下回ったときに、再び、基準遅延設定期間だけ遅延時間を測定し、その平均値を基準遅延時間とする。

[0047] また、図 5に示すように、所定の算定期間毎に、遅延時間の平均値を求めて基準遅延時間とする方法もある。そして、算定期間中は、前回の算定期間中に求めた基準遅延時間を用いて遅延時間を求める。こうして基準遅延時間を定期的に見直すことにより、求める遅延時間に大きな誤差が生じな、ようにして、る。

片方向遅延の測定方法に関して、 RTCPを利用する方法の他に、 RTPパケットの拡張ヘッダ部分に送信タイムスタンプを入れることで、パケット単位で測定することができる。送信タイムスタンプを含んだ RTPパケットフォーマットは、例えば図 13のようになる。

RTCPの送信間隔は、あまり短くすることができないが、 RTPパケットに送信タイムスタンプを入れる方法では、例えば 10パケット間隔で、片方向遅延の平均値や最大値で増減傾向を判断することによって、より迅速かつ正確に輻輳状態を把握することができる。

[0048] また、基準遅延時間の他の求め方としては、それまでの遅延時間の最小値を用いる方法もある。通信開始力すべてのパケットの遅延時間の最小値を遅延時間とみなす方法だけではなぐ現時刻力も一定期間さかのぼった範囲だけで最小値を求める方法や、図 5と同様にオーバラップさせながら最小値を更新していく方法もある。 [0049] さて、こうして求めた遅延時間に基づいて、ソース装置 10のエンコード部 11は、ェンコードレートを回線帯域に対して、エンコーダの出力揺らぎ、他のトラヒックのための余裕帯域を加味して決定する。

[0050] 回線帯域が一時的に減少した際にはパケットロス率、片側伝送遅延など力これを検出して、エンコードレートを絞る操作を行う。遅延の増加が見られる段階では、ェンコードレートを少し絞るような制御を行う。詳しくは、以下のとおりである。

[0051] (1)送信遅延が上昇したときには、遅延を解消するために必要な分送信レートを落とす。

(2)送信遅延が上昇したと判断する閾値は、通常時の遅延が 200msec以下であると仮定し、その 2倍の 400msecとする。

(3)遅延 Z送信レートの計測結果より、送信レートを 10%落とす。送信レートを落とした後、 3秒後に送信遅延が減少していな力つたら再度 10%落とす。

[0052] 送信レートが回線帯域を大幅に上回って、るためにパケットロスが発生して、ると考えられる場合には、受信レートを参考にエンコードレートを定める。この状況には、回線品位が低いためにパケットロスが発生している状況を含まない。例えば、図 6に示すように、初期適応期間においては、ソース装置 10のエンコード部 11は、回線品位や帯域余裕等の情報がないため、まずは送信レートが回線帯域を大幅に上回るように設定し、シンク装置 20から送られてくる遅延時間やパケットロス率をみて、受信レートを推定し、エンコードレートを設定する。送信レートが回線帯域を大幅に上回らなければ、パケットロスは発生しないことから、「大幅に上回る」とは、帯域オーバーによつてある一定以上、例えば 1%を越えるパケットロスが発生することによって判別する。ここで、 1%とは回線品位が低いことによって発生しうるパケットロス率の最大値として仮定している。

[0053] 多くのエンコーダにおいて、エンコードレートを変更してからそれが出力レートに反映されるまでには遅延があるため、この期間の統計データに基づいてさらに制御を行うと制御が収束しなくなる可能性がある。そのため、エンコードレートを変更してからしばらくはエンコードレートの変更を行わないデッドタイムを設ける。デッドタイムは、基本的にはエンコーダ依存の固定値であり、例えば、 3秒である。 3秒としたのは、ェンコードレート設定 (反映まで 1秒の遅延)→伝送→シンク側で統計情報更新 (1秒間隔 )→統計情報伝送 (余裕 1秒)のステップを経て初めてソース側に伝わる力である。

[0054] 図 7は、デッドタイムを設けたエンコード設定手順を示すフローチャートである。

ソース装置 10の計時部 13の計時から、エンコード部 11はエンコードレートの最終変更時刻を現在時刻とする (ステップ Sl)。さらに、現在時刻は最終変更時刻より 3秒経過したかを確認する (ステップ S 2)。 3秒を経過した場合、シンク装置 20からソース装置 10の回線帯域推定部 16に統計データが入力され、このデータ力も回線帯域推定部 16がネットワーク状態を検出し (ステップ S3)、エンコードレート変更が必要力否かを判断する (ステップ S4)。エンコードレート変更が必要であれば、エンコード部 11 にエンコードレートを設定し (ステップ S5)、再びステップ S1に戻る。エンコードレート変更が不要であれば、ステップ S3に戻り、ネットワーク状態を検出する。

[0055] こうして、回線帯域推定部 16がエンコードレートを変更しても、応答期間内はェンコード部 11にエンコードレートの設定を行わな、ので、制御が収束しな!、等の問題は回避できる。

[0056] し力しながら、図 8に示すように、デッドタイムの存在は制御応答性の悪ィ匕を招くため、ソース装置 10のパケット送信部 12において、ネットワークにパケットを送出する前に、エンコードレートを変更直後力エンコードレートを越えるエンコードデータを捨てるような操作も有効である。捨てるデータはデコードに影響を与えにくいデータを選択的に捨てることが望ましい。すなわち、エンコード部 11がエンコードレートを変更しても、その応答時間の間は、エンコードの変更はされないので、エンコードレートを超えるデータを破棄することにすれば、デッドタイムを設ける必要がな、。

[0057] ここで、「デコードに影響を与えにくいデータ」とは、 MPEGの場合であれば、 Iフレームよりは Pフレーム、 Pフレームよりは Bフレームに相当するデータである。さらには次の Iフレームに近い Pフレームや Bフレームに相当するデータが影響を与えにくいデータである。また、各フレームの末尾に近いデータつまり、画面の下端に近いデータを捨てるほうが人間の視覚的には影響を与えにくい。

[0058] エンコード出力を選択的に捨てるためには、データの再生画像に与える影響を評価し、影響の軽微なものから捨てるようにすることになる。このアルゴリズムの一例として次のようなものが考えられる。

•Iフレームは最重要であるため、捨てない。

•Bフレームを最優先に捨てる。

• Bフレームを捨てても足りな、場合は Pフレームを捨てる。

'次の Iフレームまでの時間が長い Pフレームは優先的に残す。

この判定基準に基づきデータを捨てるアルゴリズムの一例を示す。簡単のため、 Iフレームと Pフレームのみを含む MPEGストリームに関する処理を示している。

[0059] 図 9は、エンコードレートを超えるデータは捨てる手順を示すフローチャートであり、エンコードレートを変更された場合にこの手順が開始される。

まず、エンコード部 11がエンコードレートを変更した変更時刻を計数部 13が測定し、それを現在時刻とする (ステップ Sl l)。回線帯域推定部 16は、初期のリミットをェンコードレート X Iフレーム間隔 X O. 2、総伝送量を 0とし、フラグを偽とする (ステップ S 12)。ここで、リミットはこれを越えるデータを送信するとデータを捨てるべきであると判定する基準値であり、フラグは一度 Pフレームを捨てると次の Iフレームが表れるまでデータを捨てつづけることを示すフラグである。ここでは、 Iフレームと次の Iフレームまでに伝送されるデータ量が 20%程度変動すると仮定してリミットの初期値を設定している。

データ力フレームであるか否かを判定し (ステップ S 13)、 Iフレームであればリミットにエンコードレート X Iフレーム間隔を加え、フラグを偽とし (ステップ S 14)、パケット送信部 12からパケット送信を行う（ステップ S 15)。そして、（総伝送量 +フレームデータ量）を総伝送量として (ステップ S 16)、ステップ S 17に進む。

[0060] データが Iフレームではない場合は、回線帯域推定部 16は、総伝送量 +フレームデータ量がリミットより小さぐ且つフラグが偽であるかを判断し (ステップ S18)、そうであればステップ 15に進む。そうでなければ、（総伝送量 +フレームデータ量）を総伝送量とし、且つフラグを真として (ステップ S19)、ステップ S17に進む。

[0061] ステップ S17におヽて、最終変更時刻 + 1秒と現在時刻とを比較し、最終変更時刻より 1秒が経過していた場合は処理が終了し、次のエンコードレート変更に備える。経過していない場合はステップ S 13に戻る。ここで 1秒はエンコードレートを変更してからェンコーダが応答するまでに要する時間である。

[0062] 図 10は、これを適応した場合の送信状況を示す説明図である。マージンは上記のエンコードレート X Iフレーム間隔 X O. 2に相当する。また、各長方形の高さがそれぞれのパケットのデータ量を示しており、斜線を付した長方形が Iフレームに対応するパケットを示す。破線のパケットは破棄されたパケットを示す。一度パケットが破棄されると、次の Iフレームまでのパケットは無条件に捨てられる。

[0063] こうして、ネットワーク状態に応じてエンコードレートを下げた場合、エンコーダの応答時間に相当する時間分だけデッドタイムを短縮することができる。また、応答時間内にエンコードレートを超えるデータを捨てる必要が生じても、 Iフレーム以外のパケットデータを捨てるので、視覚的に再生される映像品質をあまり落とさずに対応できる

Claims

請求の範囲

[1] ストリームデータを送信し、受信装置が受信して求めたストリームデータの伝送遅延及びパケットロス率に基づき、送信ビットレート又はエンコードレートを制御する送信装置であって、

制御に使用する前記伝送遅延は、少なくとも通信開始時の遅延を基準とする増減値であることを特徴とする送信装置。

[2] ストリームデータを送信し、受信装置が受信して求めたストリームデータの伝送遅延及びパケットロス率に基づき送信ビットレート又はエンコードレートを制御する送信装置であって、

制御に使用する前記伝送遅延は、送信開始からの前記通信遅延の最小値を基準とする増減値であることを特徴とする送信装置。

[3] 前記エンコードレートを、伝送遅延が第 1の閾値を上回ったときに減少させ、第 2の閾値を下回ったときに増カロさせることを特徴とする請求項 1又は 2に記載の送信装置

[4] 前記パケットロス率が第 3の閾値を上回った場合に、前記エンコードレートを減少させることを特徴とする請求項 1又は 2の送信装置。

[5] 前記伝送遅延が増加せず前記パケットロス率が増加した場合には、前記エンコードレートを変化させないことを特徴とする請求項 1又は 2に記載の送信装置。

[6] 前記伝送遅延が増加し前記パケットロス率が増加した場合に、前記エンコードレートを減少させることを特徴とする請求項 1又は 2に記載の送信装置。

[7] 前記エンコードレートを変更させた後、所定の時間、当該エンコードレートを維持することを特徴とする請求項 1又は 2に記載の送信装置。

[8] 前記エンコードレートを変更させた後、前記送信ビットレートが前記エンコードレートを上回っている場合には、当該エンコードレートを超える送信データを捨てて送信することを特徴とする請求項 1又は 2の記載の送信装置。

[9] 前記捨てる送信データを選ぶ際、前後のデータのデコードに利用されるデータより前後のデータのデコードに利用されないデータを優先的に捨てることを特徴とする請求項 8に記載の送信装置。

[10] 送信装置から送信されたストリームデータを受信し、該ストリームデータの伝送遅延及びパケットロス率を求めて、それらに基づいて送信ビットレート又はエンコードレートを制御する送信装置に、前記伝送遅延及びパケットロス率を送信する受信装置であつて、

前記伝送遅延は、少なくとも通信開始時の遅延を基準とする増減値であることを特徴とする受信装置。

[11] 送信装置から送信されたストリームデータを受信し、該ストリームデータの伝送遅延及びパケットロス率を求めて、それらに基づいて送信ビットレート又はエンコードレートを制御する送信装置に、前記伝送遅延及びパケットロス率を送信する受信装置であつて、

前記伝送遅延は、送信開始からの前記通信遅延の最小値を基準とする増減値であることを特徴とする受信装置。

[12] 請求項 1〜9のいずれかに記載の送信装置と請求項 10〜： L 1のいずれかに記載の受信装置を備えたことを特徴とする通信システム。