JP4140000B2

JP4140000B2 - Information processing apparatus and method, recording medium, and program

Info

Publication number: JP4140000B2
Application number: JP2003002773A
Authority: JP
Inventors: 宏久曽神
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2008-08-27
Anticipated expiration: 2023-01-09
Also published as: JP2004215199A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークの輻輳状態の変化に対応して、効率よくデータを送受信できるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
送信端末装置から受信端末装置に対して、インターネットなどのネットワークを経由して、連続してパケットを送信する場合、受信端末装置から送信端末装置に対して、損失した（受信されなかった）パケットを特定する情報や、パケットの受信時刻などの情報を含む確認応答が通知される。送信端末装置は、受信端末装置から受信した確認応答に応じて、送信するパケットの送信間隔やパケットサイズを変更して、ネットワークの帯域の状態に最適な送信レートで、パケットを送信する。
【０００３】
ネットワークの帯域の状態に従って、パケットの送信レートを制御するレート制御アルゴリズムは、通常、パケットロス率（送信端末装置から送信された全パケットに対する、受信端末装置に受信されずに損失したパケットの割合）や、RTT（Round Trip Time）を基に、ネットワークの帯域の状態を推測して、送信レートを制御している。
【０００４】
例えば、TCP（Transmission Control Protocol）の送信レート制御には、TCP-TahoeやTCP-Renoがある。TCPはウィンドウフロー制御を行なっている。
【０００５】
TCP-Tahoeの送信レート制御方式においては、まず、ウィンドウサイズが１の状態からスタートし、ウィンドウサイズを徐々に大きくしてゆく。そして、パケットロスが発生した場合、ウィンドウサイズを１に戻して、Slow Start Phaseにより、再度、徐々にウィンドウサイズを大きくしてゆく。TCP-Tahoeの送信レート制御方式においては、このウィンドウサイズの増減を周期的に繰り返すことにより、送信レートを制御している。
【０００６】
TCP-Renoの送信レート制御方式においても、TCP-Tahoeの場合と同様、まず、ウィンドウサイズが１の状態からスタートし、ウィンドウサイズを徐々に大きくしてゆく。そして、パケットロスが発生した場合、タイムアウト前にパケットの再送（Fast Retransmit（RFC2581））が成功した場合、ウィンドウサイズをパケットロス発生直前の１／２に設定する（Fast Recovery（RFC2582））。図１は、TCP-Renoにおける送信レートの制御例を表している。
【０００７】
図１において、縦軸は送信レートを表し、横軸は時間を表している。図１において、時刻ｔ０のときウィンドウサイズを１として、そこから時間の経過と共に、ウィンドウサイズが大きくなっている（送信レートが高くなっている）。時刻ｔ１でパケットロスが発生し、ウィンドウサイズがパケットロス直前の約１／２に設定される。その後、また徐々にウィンドウサイズを大きくし、時刻ｔ２で再度パケットロスが発生すると、ウィンドウサイズがパケットロス直前の約１／２に設定される。その後も同様にして、ウィンドウサイズが周期的に変動する。
【０００８】
UDP（User Datagram Protocol）の送信レート制御方式には、例えば、TFRC（TCP-Friendly Rate Control）がある。TFRCにおいては、送信端末装置は、輻輳状態に対応して、理想的な送信レートでパケットを送信する（例えば、非特許文献１参照）。
【０００９】
また、送信端末装置が、受信端末装置に実時間データを送信中に、受信端末装置からデータ損失率を受信した場合、データ損失率が、予め設定された第１の閾値及び第２の閾値よりも低いときには送信レートを増加させ、データ損失率が第１の閾値よりも高く、第２の閾値よりも低いときには送信レートを変更せず、データ損失率が第１の閾値及び第２の閾値よりも高いときには送信レートを減少させるようにしたものがある（例えば、特許文献１参照）。
【００１０】
【特許文献１】
特開2001-320440号公報（第６−８ページ、図５）
【非特許文献１】
Sally Floyd,Mark Handley,Jitendra Pandhye and Joerg Widmer，“Equation-Based Congestion Control for Unicast Applications”，Proceedings of ACM SIGCOMM 2000，May 2000 pp2
【００１１】
【発明が解決しようとする課題】
しかしながら、従来、パケットロスが発生すると、必要以上に送信レートを急激に低下させてしまうことがあるという課題があった。
【００１２】
例えば、パケットロスが発生した場合、TCP-Tahoeでは、ウィンドウサイズが１に初期化されてしまい、TCP-Renoでは、ウィンドウサイズが、パケットロス直前の１／２のサイズに縮小されてしまう。
【００１３】
その結果、例えば、動画データや音声データを実時間送信していた場合、送信する動画や音声の品質が、急激に極端に低下してしまうことがあるという問題があった。
【００１４】
本発明は、このような状況に鑑みてなされたものであり、ネットワークの輻輳状態の変化に対応して、より効率的にデータを送受信させることを目的とする。
【００１５】
【課題を解決するための手段】
本発明の第１の情報処理装置は、送信可能レートを算出する算出手段と、算出手段により算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットを送信する送信手段と、送信可能レートが予め設定された閾値より大きい場合、連続してパケットロスが発生したとき、算出手段に送信可能レートを再計算させ、非連続でパケットロスが発生したとき、算出手段に送信可能レートを再計算させないように制御する制御手段とを備えることを特徴とする。
【００１６】
本発明の第１の情報処理方法は、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットを送信する送信ステップと、送信可能レートが予め設定された閾値より大きい場合、連続してパケットロスが発生したとき、算出ステップの処理により送信可能レートを再計算させ、非連続でパケットロスが発生したとき、算出ステップにより送信可能レートを再計算させないように制御する制御ステップとを含むことを特徴とする。
【００１７】
本発明の第１の記録媒体のプログラムは、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートによる、他の情報処理装置へのパケットの送信を制御する送信制御ステップと、送信可能レートが予め設定された閾値より大きい場合、連続してパケットロスが発生したとき、算出ステップの処理により送信可能レートを再計算させ、非連続でパケットロスが発生したとき、算出ステップにより送信可能レートを再計算させないように制御する制御ステップとを含むことを特徴とする。
【００１８】
本発明の第１のプログラムは、他の情報処理装置との間でパケット通信を行なう情報処理装置を制御するコンピュータに、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートによる、他の情報処理装置へのパケットの送信を制御する送信制御ステップと、送信可能レートが予め設定された閾値より大きい場合、連続してパケットロスが発生したとき、算出ステップの処理により送信可能レートを再計算させ、非連続でパケットロスが発生したとき、算出ステップにより送信可能レートを再計算させないように制御する制御ステップとを実行させることを特徴とする。
【００１９】
本発明の第２の情報処理装置は、送信可能レートを算出する算出手段と、算出手段により算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットを送信する送信手段と、現在設定されている送信可能レートを第１の送信可能レートとして記憶すると共に、パケットロスが発生した場合、算出手段に送信可能レートを第２の送信可能レートとして算出させ、第１の送信可能レートが予め設定された第１の閾値より大きく、かつ第２の送信可能レートが、第１の閾値より小さい値である第２の閾値より大きいとき、送信レートを変更しないように制御する制御手段とを備えることを特徴とする。
【００２０】
本発明の第２の情報処理方法は、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットを送信する送信ステップと、現在設定されている送信可能レートを第１の送信可能レートとして記憶すると共に、パケットロスが発生した場合、算出ステップの処理により、送信可能レートを第２の送信可能レートとして算出させ、第１の送信可能レートが予め設定された第１の閾値より大きく、かつ第２の送信可能レートが、第１の閾値より小さい値である第２の閾値より大きいとき、送信レートを変更しないように制御する制御ステップとを含むことを特徴とする。
【００２１】
本発明の第２の記録媒体のプログラムは、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートによる、他の情報処理装置へのパケットの送信を制御する送信制御ステップと、現在設定されている送信可能レートを第１の送信可能レートとして記憶すると共に、パケットロスが発生した場合、算出ステップの処理により、送信可能レートを第２の送信可能レートとして算出させ、第１の送信可能レートが予め設定された第１の閾値より大きく、かつ第２の送信可能レートが、第１の閾値より小さい値である第２の閾値より大きいとき、送信レートを変更しないように制御する制御ステップとを含むことを特徴とする。
【００２２】
本発明の第２のプログラムは、他の情報処理装置とパケット通信を行なう情報処理装置を制御するコンピュータに、送信可能レートを算出する算出ステップと、算出ステップの処理により算出された送信可能レート以下の送信レートによる、他の情報処理装置へのパケットの送信を制御する送信制御ステップと、現在設定されている送信可能レートを第１の送信可能レートとして記憶すると共に、パケットロスが発生した場合、算出ステップの処理により、送信可能レートを第２の送信可能レートとして算出させ、第１の送信可能レートが予め設定された第１の閾値より大きく、かつ第２の送信可能レートが、第１の閾値より小さい値である第２の閾値より大きいとき、送信レートを変更しないように制御する制御ステップとを実行させることを特徴とする。
【００２３】
本発明の第１の情報処理装置および方法、記録媒体、並びにプログラムにおいては、送信可能レートが算出され、算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットが送信され、送信可能レートが予め設定された閾値より大きい場合、連続してパケットロスが発生したとき、送信可能レートが再計算され、非連続でパケットロスが発生したとき、送信可能レートは再計算されない。
【００２４】
本発明の第２の情報処理装置および方法、記録媒体、並びにプログラムにおいては、送信可能レートが算出され、算出された送信可能レート以下の送信レートで、他の情報処理装置にパケットが送信される。また、現在設定されている送信可能レートが第１の送信可能レートとして記憶されると共に、パケットロスが発生した場合、第２の送信可能レートが算出され、第１の送信可能レートが予め設定された第１の閾値より大きく、かつ第２の送信可能レートが、第１の閾値より小さい値である第２の閾値より大きいとき、送信レートは変更されない。
【００２５】
本発明は、ネットワークに接続される電子機器に適用することができる。
【００２６】
【発明の実施の形態】
図２は、本発明を適用した情報処理システムの一実施の形態の構成を示す図である。
【００２７】
図２において、画像送信装置１１および、画像受信装置１３は、インターネットを含むネットワーク１０を介して、接続されている。画像送信装置１１は、撮像装置１２により撮像された動画を、例えばMPEG（Moving Picture Experts Group）やJPEG（Joint Photographic Experts Group）2000動画などの符号化方式により符号化し、符号化された動画データを含むデータパケットを生成し、生成したデータパケットを、ネットワーク１０を介して、画像受信装置１３に実時間送信する。また、画像送信装置１１は、画像受信装置１３より、RTT（Round Trip Time）やパケットロス率などの情報を含むフィードバックパケットを受信し、フィードバックパケットに含まれている情報に基づいて、データパケットの送信レートを制御する。
【００２８】
撮像装置１２は、例えば、カメラ一体型ビデオテープレコーダやデジタルスチルカメラであり、被写体を撮像し、撮像した被写体の動画データを画像送信装置１１に供給する。
【００２９】
画像受信装置１３は、画像送信装置１１から受信したデータパケットから、動画データを取得し、取得した動画データを表示装置１４に供給するとともに、RTTやパケットロス率などの情報を含むフィードバックパケットを生成し、このフィードバックパケットを、画像送信装置１１に送信する。
【００３０】
表示装置１４は、例えば、CRT（CathodeRay Tube）やLCD（Liquid Crystal Display）により構成され、画像受信装置１３から供給された動画データを表示する。
【００３１】
次に、図３は、画像送信装置１１の内部の構成例を表している。図３において、操作部１０１は、ユーザからの操作の入力を受け付け、受け付けられた操作に対応する操作情報を制御部１０２に通知する。制御部１０２は、予め設定されたプログラムや、操作部１０１からの操作情報に基づいて、画像送信装置１１の各部の動作を制御する。
【００３２】
映像入力部１０３は、撮像装置１２より、動画データの入力を受け付け、入力された動画データをエンコーダ１０４に供給する。
【００３３】
エンコーダ１０４は、映像入力部１０３から供給された動画データを、レート設定部１２２により設定されたフレームレート、および画質になるように、MPEGの符号化方式に従って符号化し、符号化されたデータ（以下の説明において、符号化されたデータを符号化データと称する）を、データパケット生成部１０５に供給する。
【００３４】
データパケット生成部１０５は、エンコーダ１０４から供給された符号化データを、複数に分割してパケット化し、生成したデータパケットに、TCP/IP（Transmission Control Protocol/Internet Protocol）、またはUDP/IP（User Datagram Protocol/Internet Protocol）のパケットヘッダを付加して、データパケット送信部１０６に供給する。なお、パケットヘッダには、データパケットの個々を識別するための、シーケンス番号が含まれている。
【００３５】
データパケット送信部１０６は、データパケット生成部１０５からデータパケットが供給されると、これを、レート設定部１２２により指定されたタイミングで、ネットワーク１０を介して、画像受信装置１３に送信する。なお、データパケット送信部１０６は、データパケットを送信するとき、データパケットの送信時刻として、現在時刻をパケットヘッダに記録する。
【００３６】
フィードバックパケット受信部１０７は、画像受信装置１３より、フィードバックパケットを受信すると、受信したフィードバックパケットをレート制御部１０８のレート設定部１２２に供給する。
【００３７】
レート制御部１０８は、送信可能レート算出部１２１、およびレート設定部１２２により構成される。
【００３８】
送信可能レート算出部１２１は、レート設定部１２２から、RTTおよびパケットロス率の情報が供給されると、供給された情報を基に、データパケットの理想的な送信レートを算出し、算出した理想的送信レートをレート設定部１２２に供給する。なお、以下の説明において、送信可能レート算出部１２１により算出される理想的な送信レートを送信可能レートと称する。
【００３９】
レート設定部１２２は、適宜、フィードバックパケットから読み出したRTTおよびパケットロス率の情報を、送信可能レート算出部１２１に供給し、送信可能レート算出部１２１から、送信可能レートを取得する。そして、レート設定部１２２は、送信可能レートに基づいて、実際の送信レートを設定し、設定した送信レートに基づいて、エンコーダ１０４に、符号化する画像の画質やフレームレートを所定の値に設定するように指示するとともに、データパケット送信部１０６に、データパケットを送信する間隔を所定の値に設定するように指示する。
【００４０】
次に、図４は、画像受信装置１３の内部の構成例を表している。図４において、操作部１５１は、ユーザからの操作の入力を受け付け、受け付けられた操作に対応する操作情報を制御部１５２に通知する。制御部１５２は、予め設定されたプログラムや、操作部１５１からの操作情報に基づいて、画像受信装置１３の各部の動作を制御する。
【００４１】
データパケット受信部１５３は、画像送信装置１１により送信されたデータパケットを、ネットワーク１０を介して受信し、図示せぬ内部時計から受信時刻を取得する。そして、データパケット受信部１５３は、受信したデータパケットのパケットヘッダに含まれている情報（データパケットの送信時刻およびシーケンス番号を含む）、および取得した受信時刻情報を、状態測定部１５８に供給するとともに、データパケットをデータ再構成部１５４に供給する。
【００４２】
データ再構成部１５４は、データパケット受信部１５３からデータパケットが供給されると、供給された複数のデータパケットから、元の符号化データを再構成する。すなわち、画像送信装置１１は、符号化データを送信する際、複数に分割して、それぞれをパケット化して、画像受信装置１３に送信するので、画像受信装置１３は、受信した複数のデータパケットから、元の符号化データを復元する必要がある。データ再構成部１５４は、この再構成処理を行なう。データ再構成部１５４は、符号化データを再構成した後、再構成した符号化データをデコーダ１５５に供給する。
【００４３】
デコーダ１５５は、データ再構成部１５４から、符号化データの供給を受け、供給された符号化データを復号して動画データを生成し、この動画データを記憶部１５６に供給する。
【００４４】
記憶部１５６は、デコーダ１５５から供給された動画データを、一時的に記憶（バッファリング）する。記憶部１５６に記憶された動画データは、所定のタイミングでビデオ出力部１５７により読み出される。
【００４５】
ビデオ出力部１５７は、所定のタイミングで、記憶部１５６から動画データを読み出し、読み出した動画データを表示装置１４に表示可能な画像信号に変換して、表示装置１４に供給する。
【００４６】
状態測定部１５８は、データパケット受信部１５３から、データパケットのパケットヘッダに含まれている情報（データパケットの送信時刻およびシーケンス番号を含む）、およびデータパケットの受信時刻情報を取得する。そして、状態測定部１５８は、データパケットの送信時刻および受信時刻をRTT算出部１５９に供給し、RTT算出部１５９からRTTを取得する。また、状態測定部１５８は、データパケットのシーケンス番号が、その直前に受信したデータパケットのシーケンス番号と連続しているか否かを判定することにより、データパケットの損失の有無を判定する。なお、損失したデータパケットとは、画像送信装置１１から送出されたものの、画像受信装置１３に届いていないパケットのことである。その結果、損失したデータパケットが存在した場合（パケットロスが発生した場合）、状態測定部１５８は、損失したデータパケットのシーケンス番号（以下の説明において、損失したデータパケットのシーケンス番号のことを損失パケット番号と称する）を特定する。そして、状態測定部１５８は、損失パケット番号、損失したパケットの直前に最後に受信したデータパケットのシーケンス番号と受信時刻、および損失後に始めて受信したデータパケットのシーケンス番号と受信時刻を、ロス率算出部１６０に供給し、ロス率算出部１６０から、算出されたパケットロス率を取得する。状態測定部１５８は、取得したRTTやパケットロス率の情報をフィードバックパケット生成部１６１に供給する。
【００４７】
RTT算出部１５９は、状態測定部１５８からデータパケットの送信時刻および受信時刻の情報が供給されると、これらに基づいてRTTを算出し、算出されたRTTを、状態測定部１５８に供給する。
【００４８】
ロス率算出部１６０は、状態測定部１５８から、損失パケット番号、損失したパケットの直前に最後に受信したデータパケットのシーケンス番号と受信時刻、および損失後に始めて受信したデータパケットのシーケンス番号と受信時刻等の情報が供給されると、供給された情報に基づいて、パケットロス率を算出し、算出されたパケットロス率を状態測定部１５８に供給する。
【００４９】
フィードバックパケット生成部１６１は、状態測定部１５８から、RTTが供給されると、このRTTを情報として含むフィードバックパケットを生成し、生成したフィードバックパケットをフィードバックパケット送信部１６２に供給する。なお、状態測定部１５８から、パケットロス率の情報も供給された場合、フィードバックパケット生成部１６１は、RTTと共に、パケットロス率も含むフィードバックパケットを生成し、フィードバックパケット送信部１６２に供給する。
【００５０】
フィードバックパケット送信部１６２は、フィードバックパケット生成部１６１から、フィードバックパケットが供給されると、供給されたフィードバックパケットを、所定のタイミングで、ネットワーク１０を介して、画像送信装置１１に送信する。
【００５１】
次に、図５のフローチャートを参照して、画像送信装置１１の画像送信処理、および画像受信装置１３の画像受信処理について説明する。
【００５２】
撮像装置１２により撮像された被写体の動画データは、映像入力部１０３に入力され、映像入力部１０３から、エンコーダ１０４に供給されている。図６のステップＳ１において、画像送信装置１１のエンコーダ１０４は、映像入力部１０３から供給された動画データを符号化して、符号化データを生成し、生成された符号化データをデータパケット生成部１０５に供給する。なお、エンコーダ１０４は、レート設定部１２２により指示されたフレームレートおよび画質になるように、動画データを符号化する。
【００５３】
ステップＳ１の処理の後、ステップＳ２において、データパケット生成部１０５は、エンコーダ１０４から供給された符号化データを分割して、分割したデータそれぞれを含むデータパケットを生成し、生成したデータパケットにシーケンス番号を含むパケットヘッダを付加する。データパケット生成部１０５は、パケットヘッダを付加した後、データパケットをデータパケット送信部１０６に供給する。
【００５４】
ステップＳ２の処理の後、ステップＳ３において、データパケット送信部１０６は、データパケット生成部１０５から供給されたデータパケットを、レート設定部１２２により指定された所定のタイミングで、ネットワーク１０を介して、画像受信装置１３に送信する。なお、データパケット送信部１０６は、データパケットを送信する際に、図示せぬ内部時計から現在時刻を取得し、パケットヘッダに付加する。その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が繰り返される。
【００５５】
ステップＳ１１において、画像受信装置１３のデータパケット受信部１５３は、画像送信装置１１がステップＳ３で送信したデータパケットを、ネットワーク１０を介して受信し、データ再構成部１５４に供給する。
【００５６】
画像送信装置１１は、符号化データを複数個のデータパケットに分割して送信するため、データ再構成部１５４は、分割された複数個のデータパケットが揃わないと、符号化データを再構成することができない。そこで、ステップＳ１１の後、ステップＳ１２において、データ再構成部１５４は、符号化データを再構成できるだけのデータパケットが揃ったか否かを判定し、符号化データを再構成できるだけのデータパケットが揃っていない場合、後述するステップＳ１３乃至ステップＳ１４の処理はスキップされる。なお、データ再構成部１５４は、データパケットが揃うまでの間、データパケット受信部１５３から供給されたデータパケットを記憶しておく。
【００５７】
そして、ステップＳ１２において、データ再構成部１５４が、符号化データを再構成できるだけのデータパケットが揃ったと判定した場合、処理はステップＳ１３に進む。
【００５８】
ステップＳ１３において、データ再構成部１５４は、記憶しておいた複数個のデータパケットから、分割された符号化データを抽出し、これらのデータを統合して、元の符号化データを再構成し、再構成した符号化データを、デコーダ１５５に供給する。
【００５９】
ステップＳ１３の後、ステップＳ１４において、デコーダ１５５は、データ再構成部１５４から供給された符号化データを復号し、記憶部１５６に供給し、記憶させる。
【００６０】
その後、処理はステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返される。
【００６１】
以上のようにして、画像送信装置１１から画像受信装置１３に動画データが送信される。なお、画像受信装置１３のビデオ出力部１５７は、ステップＳ１４の処理により記憶部１５６に記憶された動画データを、所定のタイミングで読み出し、表示用の画像信号に変換して、表示装置１４に出力する。表示装置１４は、ビデオ出力部１５７から出力された画像信号に対応する画像を表示する。
【００６２】
なお、上述したステップＳ１乃至ステップＳ３の処理は、説明の便宜上、ステップＳ３の処理が終了後、ステップＳ１の処理が再度実行されるようになされているが、実際には、ステップＳ３の処理が終了してから、ステップＳ１の処理に戻るとは限らない。例えば、ステップＳ１において、エンコーダ１０４は、符号化データをデータパケット生成部１０５に供給した後、ステップＳ２およびステップＳ３の処理の完了を待たずに、次の動画データの符号化を実行し、データパケット生成部１０５は、生成したデータパケットをデータパケット送信部１０６に供給した後、ステップＳ３の処理の完了を待たずに、次の符号化データのパケット化を実行する。
【００６３】
また、上述したステップＳ１１乃至ステップＳ１４の処理は、説明の便宜上、ステップＳ１４の処理が終了した後（または、ステップＳ１２でＮＯの場合）、ステップＳ１１の処理が再度実行されるようになされているが、実際には、ステップＳ１４の処理が終了する前に（または、ステップＳ１２でＮＯの場合）、次のステップＳ１１以降の処理が実行されることもあり得る。例えば、ステップＳ１１において、データパケット受信部１５３は、データパケットを受信し、データ再構成部１５４に、受信したデータパケットを供給した後、ステップＳ１２乃至ステップＳ１４の処理の完了を待たずに、次のデータパケットを受信することも可能である。
【００６４】
ところで、本発明においては、画像受信装置１３から画像送信装置１１に、フィードバックパケットが送信され、このフィードバックパケットに基づいて、データパケットの送信レートが制御される。
【００６５】
そこで、次に、図６のフローチャートを参照して、画像受信装置１３のフィードバックパケット送信処理、すなわち、画像受信装置１３が、フィードバックパケットを作成し、画像送信装置１１に送信する処理について説明する。
【００６６】
画像受信装置１３は、現在時刻を取得するために、図示せぬ内部時計を内蔵しており、図６のステップＳ１０１において、状態測定部１５８は、内部時計より現在時刻ｔを取得し、これを、基準時刻TMRとして記憶する。基準時刻TMRは、一定時間の経過を測定するための変数である。ステップＳ１０１の処理の後、処理はステップＳ１０２に進む。
【００６７】
ステップＳ１０２において、状態測定部１５８は、データパケット受信部１５３から、パケットヘッダに含まれている情報（データパケットの送信時刻およびシーケンス番号を含む）、および受信時刻情報が供給されたか否かを判定することにより、データパケットを受信したか否かを判定し、パケットヘッダに含まれている情報、および受信時刻情報が供給されていない場合、データパケットを受信していなと判定し、ステップＳ１０２の処理を繰り返し実行する。そして、データパケット受信部１５３から、パケットヘッダに含まれている情報、および受信時刻情報が供給された場合、状態測定部１５８は、データパケットを受信したと判定し、処理はステップＳ１０３に進む。
【００６８】
ステップＳ１０３において、状態測定部１５８は、データパケット受信部１５３から供給されたパケットヘッダに含まれている情報から、データパケットのシーケンス番号を抽出する。ステップＳ１０３の処理の後、処理はステップＳ１０４に進む。
【００６９】
ステップＳ１０４において、状態測定部１５８は、ステップＳ１０３で抽出したシーケンス番号が、その直前に受信したデータパケットのシーケンス番号と連続しているか否かを判定することにより、パケットロスの有無を判定し、パケットロスが発生していた場合、処理はステップＳ１０５に進む。
【００７０】
ステップＳ１０５において、状態測定部１５８は、損失パケット番号、損失したパケットの直前に最後に受信したデータパケットのシーケンス番号と受信時刻、および損失後に始めて受信したデータパケットのシーケンス番号と受信時刻を、ロス率算出部１６０に供給する。ロス率算出部１６０は、状態測定部１５８から供給されたこれらの情報に基づいて、パケットロス率を算出し、算出したパケットロス率を、状態測定部１５８に供給する。なお、パケットロス率の算出方法は、TFRCで規定された算出方法に従う。その後、処理はステップＳ１０６に進む。
【００７１】
ステップＳ１０６において、状態測定部１５８は、ステップＳ１０２で受信したと判定したデータパケットの送信時刻および受信時刻を、RTT算出部１５９に供給する。RTT算出部１５９は、状態測定部１５８から供給された送信時刻および受信時刻に基づいて、RTTを算出し、算出したRTTを状態測定部１５８に供給する。
【００７２】
なお、RTT算出部１５９は、例えば、データパケットの送信時刻および受信時刻から、以下の式により片道遅延時間（RTT/２）を計算し、その結果を２倍してRTTを算出する。
【００７３】
片道遅延時間（RTT/２）＝（受信時刻）−（送信時刻）（１）
【００７４】
なお、この処理は、画像送信装置１１と画像受信装置１３の内部時計が同期していることが前提となる。内部時計の同期方法の説明は省略するが、インターネットで一般的に用いられているNTP(Network Time Protocol)あるいはNTPに代わる独自プロトコルを用いて、内部時計は同期させることができる。
【００７５】
ステップＳ１０７において、状態測定部１５８は、ステップＳ１０５で算出されたパケットロス率、およびステップＳ１０６で算出されたRTTを、フィードバックパケット生成部１６１に供給する。フィードバックパケット生成部１６１は、状態測定部１５８から供給されたパケットロス率とRTTを情報として含むフィードバックパケットを生成し、フィードバックパケット送信部１６２に供給する。ステップＳ１０７の処理の後、処理はステップＳ１１１に進む。
【００７６】
ステップＳ１０４に戻って、状態測定部１５８が、パケットロスは発生していないと判定した場合、処理はステップＳ１０８に進む。
【００７７】
ステップＳ１０８において、状態測定部１５８は、ステップＳ１０２で受信したと判定したデータパケットの送信時刻および受信時刻を、RTT算出部１５９に供給する。RTT算出部１５９は、状態測定部１５８から供給された送信時刻および受信時刻に基づいて、RTTを算出し、算出したRTTを状態測定部１５８に供給する。その後、処理はステップＳ１０９に進む。
【００７８】
ステップＳ１０９において、状態測定部１５８は、ステップＳ１０１で基準時刻TMRを設定してから、RTTより長い時間が経過したか否かを判定する。すなわち、状態測定部１５８は、まず、ステップＳ１０１で記憶しておいたTMRを読み出すとともに、内部時計より現在時刻ｔを取得し、（ｔ−TMR）を算出する。そして、状態測定部１５８は、（ｔ−TMR）とステップＳ１０８で算出されたRTTを比較する式（２）が成り立つか否かを判定する。
【００７９】
RTT＜（ｔ−TMR）（２）
【００８０】
そして、式（２）が成立しない場合、すなわち、ステップＳ１０１で基準時刻TMRを設定してから経過した時間が、RTT以下であると判定した場合、処理はステップＳ１０２に戻り、上述したステップＳ１０２以降の処理がくり返し実行される。
【００８１】
ステップＳ１０９において、状態測定部１５８が、式（２）は成立する、なわち、ステップＳ１０１で基準時刻TMRを設定してから経過した時間が、RTTより長いと判定した場合、処理はステップＳ１１０に進む。
【００８２】
ステップＳ１１０において、状態測定部１５８は、ステップＳ１０８で算出されたRTTを、フィードバックパケット生成部１６１に供給する。フィードバックパケット生成部１６１は、状態測定部１５８から供給されたRTTを情報として含むフィードバックパケットを生成し、フィードバックパケット送信部１６２に供給する。ステップＳ１１０の処理の後、処理はステップＳ１１１に進む。
【００８３】
ステップＳ１１１において、フィードバックパケット送信部１６２は、フィードバックパケット生成部１６１から供給されたフィードバックパケットを、ネットワーク１０を介して、画像送信装置１１に送信する。その後、処理はステップＳ１０１に戻り、上述したステップＳ１０１以降の処理がくり返し実行される。なお、ステップＳ１１１の処理の後、再び実行されるステップＳ１０１の処理においては、状態測定部１５８は、既に記憶されているTMRを消去し、新たに現在時刻を取得して、これをTMRとして記憶する。
【００８４】
以上のようにして、画像受信装置１３のフィードバックパケット送信処理が実行される。
【００８５】
画像送信装置１１は、画像受信装置１３から受信したフィードバックパケットに基づいて、データパケットの送信レートを制御する。
【００８６】
次に、図７のフローチャートを参照して、画像送信装置１１のレート制御処理、すなわち、データパケットの送信レートの制御について説明する。
【００８７】
図７のステップＳ１５１において、画像送信装置１１のレート設定部１２２は、フィードバックパケット受信部１０７からフィードバックパケットが供給されたか否かを判定することにより、フィードバックパケットが受信されたか否かを判定し、フィードバックパケット受信部１０７からフィードバックパケットが供給されるまで（フィードバックパケットが受信されるまで）、ステップＳ１５１の処理を繰り返して、待機する。そして、フィードバックパケット受信部１０７からフィードバックパケットが供給されたとき、レート設定部１２２は、フィードバックパケットを受信したと判定し、処理はステップＳ１５２に進む。
【００８８】
ステップＳ１５２において、レート設定部１２２は、受信したフィードバックパケットから、パケットロス率とRTTを読み出し、読み出したパケットロス率とRTTを、送信可能レート算出部１２１に供給する。送信可能レート算出部１２１は、レート設定部１２２から供給されたパケットロス率とRTTをもとに、送信可能レートＴを式（３）により算出する。
【００８９】
【数１】

【００９０】
式（３）において、Ｔは送信可能レート（理想的な送信レート）、ｓはパケットサイズ、ｐはパケットロス率、ｔはTCPのタイムアウト時間（通常は、RTTの４倍）である。送信可能レート算出部１２１は、式（３）により、送信可能レートＴを算出した後、算出した送信可能レートＴを、レート設定部１２２に通知する。その後、処理はステップＳ１５３に進む。
【００９１】
ステップＳ１５３において、レート設定部１２２は、送信レート変更処理を実行する。図８のフローチャートを参照して、図７のステップＳ１５３の送信レート変更処理について詳細に説明する。なお、以下の説明において、実際に設定する送信レートの設定値を設定値Ｘとする。画像送信装置１１は、送信レートが設定値Ｘになるように、パケットを送信する。
【００９２】
動画データの実時間ストリーミングを行なう場合、通常、送信する動画データの最低画質と最高画質を予め設定する。従って、設定可能な送信レートにも上限値Ｒｍａｘと下限値Ｒｍｉｎが設定される。なお、勿論、Ｒｍａｘ＞Ｒｍｉｎである。
【００９３】
例えば、最高画質時のフレームのサイズが、縦×横＝１０００×１０００ピクセル、フレームレートが３０fps、１画素当りのデータ量が１ビットであるとすると、設定可能な送信レートの上限値Ｒｍａｘは、式（４）のようになる。
【００９４】
Ｒｍａｘ＝（１０００×１０００）×３０×１＝３０Mbps （４）
【００９５】
また、最低画質時のフレームのサイズが、縦×横＝１０００×１０００ピクセル、フレームレートが５fps、１画素当りのデータ量が０．５ビットであるとすると、設定可能な送信レートの下限値Ｒｍｉｎは、式（５）のようになる。
【００９６】
Ｒｍｉｎ＝（１０００×１０００）×５×０．５＝２．５Mbps （５）
【００９７】
そこで、レート設定部１２２は、設定可能な送信レートの上限値Ｒｍａｘ、および下限値Ｒｍｉｎを予め内部に記憶しており、ステップＳ２０１において、送信可能レート算出部１２１から供給された送信可能レートＴが、下限値Ｒｍｉｎより小さいか否かを判定し、送信可能レート算出部１２１から供給された送信可能レートＴが、下限値Ｒｍｉｎより小さい場合、処理はステップＳ２０２に進む。
【００９８】
ステップＳ２０２において、レート設定部１２２は、送信レートＸをＸ＝Ｒｍｉｎに設定する。ステップＳ２０２の処理を実行後、送信レート変更処理が終了する。
【００９９】
ステップＳ２０１において、レート設定部１２２が、送信可能レート算出部１２１から供給された送信可能レートＴが、下限値Ｒｍｉｎより小さくない（送信可能レート算出部１２１から供給された送信可能レートＴは、下限値Ｒｍｉｎ以上である）と判定した場合、処理はステップＳ２０３に進む。
【０１００】
ステップＳ２０３において、レート設定部１２２は、送信可能レート算出部１２１から供給された送信可能レートＴは、上限値Ｒｍａｘより大きいか否かを判定し、送信可能レート算出部１２１から供給された送信可能レートＴが、上限値Ｒｍａｘより大きい場合、処理はステップＳ２０４に進む。
【０１０１】
ステップＳ２０４において、レート設定部１２２は、送信レートＸをＸ＝Ｒｍａｘに設定する。ステップＳ２０４の処理を実行後、送信レート変更処理が終了する。
【０１０２】
ステップＳ２０３において、レート設定部１２２が、送信可能レート算出部１２１から供給された送信可能レートＴは、上限値Ｒｍａｘより大きくない（送信可能レート算出部１２１から供給された送信可能レートＴは、上限値Ｒｍａｘ以下である）と判定した場合、処理はステップＳ２０５に進む。
【０１０３】
ステップＳ２０５において、現在設定されている送信レートＸが、送信可能レートＴより大きいか否かを判定し、現在設定されている送信レートＸが、送信可能レートＴより大きい場合、処理はステップＳ２０６に進む。
【０１０４】
ステップＳ２０６において、レート設定部１２２は、送信レートＸを送信可能レートＴ以下の値に減少させる。ステップＳ２０６の処理を実行後、送信レート変更処理が終了する。
【０１０５】
ステップＳ２０５において、レート設定部１２２が、現在設定されている送信レートＸが、送信可能レートＴより大きくない（現在設定されている送信レートＸは送信可能レートＴ以下である）と判定した場合、処理はステップＳ２０７に進む。
【０１０６】
ステップＳ２０７において、レート設定部１２２は、現在設定されている送信レートＸが、送信可能レートＴより小さいか否かを判定し、現在設定されている送信レートＸが、送信可能レートＴより小さい場合、処理はステップＳ２０８に進む。
【０１０７】
ステップＳ２０８において、レート設定部１２２は、送信レートＸを送信可能レートＴ以下の範囲で、増加させる。ステップＳ２０８の処理を実行後、送信レート変更処理が終了する。
【０１０８】
ステップＳ２０７において、レート設定部１２２が、現在設定されている送信レートＸが、送信可能レートＴより小さくない（現在設定されている送信レートＸは、送信可能レートＴ以上である）と判定した場合、送信レート変更処理が終了する。
【０１０９】
以上のようにして、ステップＳ１５３の送信レート変更処理が実行される。図７に戻って、ステップＳ１５３の送信レート変更処理が実行された後、処理はステップＳ１５１に戻り、ステップＳ１５１以降の処理が繰り返し実行される。
【０１１０】
図９は、図７の送信レート設定処理により設定される送信レートの経時変化を表している。
【０１１１】
図９において、縦軸は送信レートを表し、横軸は時間を表している。また、図中、送信可能レートＴが、点線で表され、設定された送信レートＸが、実線で表されている。さらに、設定可能な送信レートの上限値Ｒｍａｘおよび下限値Ｒｍｉｎが、１点鎖線で示されている。
【０１１２】
図９において、時刻ｔ０乃至ｔ１の間は、送信可能レートＴが、下限値Ｒｍｉｎを下回っている。このとき、図８のステップＳ２０１でＹＥＳと判定され、ステップＳ２０２で送信レートＸはＸ＝Ｒｍｉｎと設定されるため、図９において、送信レートＸは、Ｒｍｉｎとなっている。
【０１１３】
また、図９において、時刻ｔ１乃至ｔ２の間は、送信可能レートＴは、下限値Ｒｍｉｎと上限値Ｒｍａｘの間にあり、Ｘ＜Ｔである。従って、図８のステップＳ２０１でＮＯと判定され、ステップＳ２０３でＮＯと判定され、ステップＳ２０５でＮＯと判定され、ステップＳ２０７でＹＥＳと判定され、ステップＳ２０８で送信レートＸが、送信可能レートＴ以下の範囲で増加される。図９において、時刻ｔ３乃至ｔ４の間、時刻ｔ５乃至ｔ６の間、および時刻ｔ７以降も時刻ｔ１乃至ｔ２の間と同様の処理により、送信レートＸは、送信可能レートＴ以下の範囲で増加される。
【０１１４】
また、図９において、時刻ｔ２乃至ｔ３の間は、送信可能レートＴは、上限値Ｒｍａｘを上回っている。従って、図８のステップＳ２０１でＮＯと判定され、ステップＳ２０３でＹＥＳと判定され、ステップＳ２０４で、送信レートＸは、Ｘ＝Ｒｍａｘに設定される。図９において、時刻ｔ４乃至ｔ５の間、時刻ｔ６乃至ｔ７の間も時刻ｔ２乃至ｔ３の間と同様の処理により、送信レートＸは、上限値Ｒｍａｘに設定される。
【０１１５】
また、図９の時刻ｔ３において、送信可能レートＴは、上限値Ｒｍａｘより大きい値から、Ｒｍａｘより小さい値に減少している。このとき、図８のステップＳ２０１でＮＯと判定され、ステップＳ２０３でＮＯと判定され、ステップＳ２０５でＹＥＳと判定され、ステップＳ２０６で、送信レートＸは、送信可能レートＴ以下の値に減少させられる。図９において、時刻ｔ５および時刻ｔ７においても、時刻ｔ３と同様の処理により、送信レートＸは、送信可能レートＴ以下の値に設定される。
【０１１６】
ところで、画像送信装置１１は、図７に示したような送信レート設定処理により送信レートを設定することもできるが、図７以外の送信レート設定処理により送信レートを設定することもできる。次に、図１０のフローチャートを参照して、図７とは異なる送信レート設定処理について説明する。
【０１１７】
図１０のステップＳ２５１において、レート設定部１２２は、０または１に設定可能なステイタスを０に設定して記憶する。その後、処理はステップＳ２５２に進む。
【０１１８】
ステップＳ２５２において、レート設定部１２２は、フィードバックパケット受信部１０７を監視し、フィードバックパケットを受信したか否かを判定し、フィードバックパケットを受信するまで、ステップＳ２５２の処理を繰り返し実行して待機する。そして、フィードバックパケットを受信したとき、処理はステップＳ２５３に進む。
【０１１９】
レート設定部１２２は、設定可能な送信レートの上限値Ｒｍａｘより大きな値の閾値ＴＨを予め記憶しており、ステップＳ２５３において、現在記憶している送信可能レートＴが閾値ＴＨより大きいか否かを判定し、現在記憶している送信可能レートＴが閾値ＴＨより大きくない場合（現在記憶している送信可能レートＴが閾値ＴＨ以下である場合）、処理はステップＳ２５４に進む。なお、送信レート設定処理を開始当初、レート設定部１２２は、送信可能レートＴを記憶していないので、ステップＳ２５３において、ＮＯと判定し、処理はステップＳ２５４に進む。
【０１２０】
ステップＳ２５４において、レート設定部１２２は、受信したフィードバックパケットから、パケットロス率とRTTを読み出し、読み出したパケットロス率とRTTを、送信可能レート算出部１２１に供給する。送信可能レート算出部１２１は、レート設定部１２２から供給されたパケットロス率とRTTをもとに、送信可能レートＴを式（３）により算出する。送信可能レート算出部１２１は、式（３）により、送信可能レートＴを算出した後、算出した送信可能レートＴを、レート設定部１２２に通知する。レート設定部１２２は、送信可能レート算出部１２１から通知された送信可能レートＴを記憶する。なお、以前算出された送信可能レートＴが既に記憶されていた場合、レート設定部１２２は、それを消去し、新たに算出された送信可能レートＴを記憶する。その後、処理はステップＳ２５５に進む。
【０１２１】
ステップＳ２５５において、レート設定部１２２は、送信レート変更処理を実行する。ステップＳ２５５の送信レート変更処理は、図８で説明した送信レート変更処理と同様であるので、説明を省略する。
【０１２２】
ステップＳ２５５の送信レート変更処理の後、処理はステップＳ２５６に進む。
【０１２３】
ステップＳ２５６において、レート設定部１２２は、ステイタスを０に設定して記憶する。なお、既に０に設定されていた場合、レート設定部１２２は、そのままのステイタスを保つ。ステップＳ２５６の処理の後、処理はステップＳ２５２に戻り、ステップＳ２５２以降の処理を繰り返し実行する。
【０１２４】
ステップＳ２５３において、レート設定部１２２が、現在記憶している送信可能レートＴは、閾値ＴＨより大きいと判定した場合、処理はステップＳ２５７に進む。
【０１２５】
ステップＳ２５７において、レート設定部１２２は、受信したフィードバックパケットにパケットロス率が含まれているか否かを判定することにより、フィードバックパケットは、パケットロスの通知であるか否かを判定し、フィードバックパケットにパケットロス率が含まれていた場合（パケットロスの通知であった場合）、処理はステップＳ２５８に進む。
【０１２６】
ステップＳ２５８において、レート設定部１２２は、ステイタスが０か否かを判定し、ステイタスが０ではない場合（ステイタスが１の場合）、処理はステップＳ２５４に進み、上述したステップＳ２５４以降の処理を繰り返し実行する。
【０１２７】
ステップＳ２５８において、レート設定部１２２が、ステイタスが０であると判定した場合、処理はステップＳ２５９に進む。
【０１２８】
ステップＳ２５９において、レート設定部１２２は、ステイタスを１に設定して記憶する。その後、処理はステップＳ２５２に戻り、上述したステップＳ２５２以降の処理を繰り返し実行する。
【０１２９】
ステップＳ２５７において、レート設定部１２２が、受信したフィードバックパケットにパケットロス率が含まれていないと判定した場合（パケットロスの通知ではないと判定した場合）、処理はステップＳ２６０に進む。
【０１３０】
ステップＳ２６０において、レート設定部１２２は、ステイタスを０に設定して記憶する。その後、処理はステップＳ２５２に戻り、上述したステップＳ２５２以降の処理を繰り返し実行する。
【０１３１】
以上の処理により、送信可能レートＴが、閾値ＴＨより大きい値である場合、連続的にパケットロスが発生したときのみ、送信レートを減少させることが可能となる。
【０１３２】
すなわち、連続的にパケットロスが発生した場合、以下のようになる。まず、１回目のパケットロスが発生すると、画像受信装置１３から画像送信装置１１に、パケットロス率を含むフィードバックパケットが受信される。そこで、レート設定部１２２は、ステップＳ２５２でＹＥＳと判定し、ステップＳ２５３でＹＥＳと判定し、ステップＳ２５７でＹＥＳと判定し、ステップＳ２５９でステイタスを１に設定する。その後、連続的に２回目のパケットロスが発生した場合、画像受信装置１３から送信されるフィードバックパケットにはパケットロス率が含まれている。従って、このフィードバックパケットを受信した場合、レート設定部１２２は、ステップＳ２５２でＹＥＳと判定し、ステップＳ２５３でＹＥＳと判定し、ステップＳ２５７でＹＥＳと判定し、ステップＳ２５８でＮＯと判定し、ステップＳ２５４で送信可能レートＴを算出し、ステップＳ２５５で送信レート変更処理を実行し、ステップＳ２５６でステイタスを０に戻す。
【０１３３】
これに対して、非連続で１回だけパケットロスが発生したとき、画像受信装置１３から画像送信装置１１に、パケットロス率を含むフィードバックパケットが受信される。そこで、レート設定部１２２は、ステップＳ２５２でＹＥＳと判定し、ステップＳ２５３でＹＥＳと判定し、ステップＳ２５７でＹＥＳと判定し、ステップＳ２５９でステイタスを１に設定する。非連続で１回だけパケットロスが発生した場合、次に画像受信装置１３から送信されるフィードバックパケットにはパケットロス率は含まれていない。従って、このフィードバックパケットを受信した場合、レート設定部１２２は、ステップＳ２５２でＹＥＳと判定し、ステップＳ２５３でＹＥＳと判定し、ステップＳ２５７でＮＯと判定し、ステップＳ２６０で、ステイタスを０に設定する。
【０１３４】
以上のような処理により、連続的にパケットロスの通知があった場合のみ、送信レート変更処理が実行され、非連続でパケットロスの通知があっても、送信レート変更処理は実行されない。これにより、パケットロスが発生した場合、必要以上の送信レートの低下を防止することが可能となる。結果的に、より効率的に、データの送信を行なうことが可能となる。
【０１３５】
図１１は、図１０の送信レート設定処理により設定される送信レートの経時変化を表している。
【０１３６】
図１１において、縦軸は送信レートを表し、横軸は時間を表している。また、図中、送信可能レートＴが、点線で表され、設定された送信レートＸが、実線で表されている。さらに、設定可能な送信レートの上限値Ｒｍａｘおよび下限値Ｒｍｉｎ、並びに閾値ＴＨが１点鎖線で示されている。
【０１３７】
図１１において、時刻ｔ０乃至ｔ１の間は、送信可能レートＴが、下限値Ｒｍｉｎを下回っている。このとき、画像受信装置１３から画像送信装置１１にフィードバックパケットが受信されると、図１０のステップＳ２５３でＮＯと判定され、ステップＳ２５４で送信可能レートＴが算出され、ステップＳ２５５の処理の中において、図８のステップＳ２０１でＹＥＳと判定され、ステップＳ２０２で送信レートＸはＸ＝Ｒｍｉｎと設定されるため、図１１において、送信レートＸは、Ｒｍｉｎとなっている。
【０１３８】
図１１において、時刻ｔ１乃至ｔ２の間は、送信可能レートＴは、下限値Ｒｍｉｎと上限値Ｒｍａｘの間にあり、Ｘ＜Ｔである。従って、画像受信装置１３から画像送信装置１１にフィードバックパケットが受信されると、図１０のステップＳ２５３でＮＯと判定され、ステップＳ２５４で送信可能レートＴが算出され、ステップＳ２５５の処理の中において、図８のステップＳ２０１でＮＯと判定され、ステップＳ２０３でＮＯと判定され、ステップＳ２０５でＮＯと判定され、ステップＳ２０７でＹＥＳと判定され、ステップＳ２０８で送信レートＸが、送信可能レートＴ以下の範囲で増加される。
【０１３９】
図１１において、時刻ｔ２乃至ｔ３の間は、送信可能レートＴは、上限値Ｒｍａｘと閾値ＴＨの間にある。従って、画像受信装置１３から画像送信装置１１にフィードバックパケットが受信されると、図１０のステップＳ２５３でＮＯと判定され、ステップＳ２５４で送信可能レートＴが算出され、ステップＳ２５５の処理の中において、図８のステップＳ２０１でＮＯと判定され、ステップＳ２０３でＹＥＳと判定され、ステップＳ２０４で、送信レートＸがＸ＝Ｒｍａｘに設定される。
【０１４０】
図１１において、時刻ｔ３乃至ｔ８の間は、送信可能レートＴは、閾値ＴＨより大きい。従って、図１０のステップＳ２５３で、ＹＥＳと判定されるため、送信可能レートＴは更新されない。また、図１１の時刻ｔ４、および時刻ｔ５に、それぞれ、１回パケットロスが発生しているが、このとき送信レートの変更は行われない。これに対して、時刻ｔ６およびｔ７で、連続的にパケットロスの通知が受信された場合、送信可能レートＴが再計算され、送信レートＸが送信可能レートＴ以下になるように設定される。
【０１４１】
ところで、図１０の送信レート設定処理においては、閾値ＴＨを１つだけ設けて、閾値ＴＨに基づいて、送信レートを設定していたが、閾値を２つ設定して、送信レートを設定するようにすることもできる。
【０１４２】
次に、図１２のフローチャートを参照して、閾値を２つ設定した場合の送信レート設定処理について説明する。なお、以下の説明において、２つの閾値のうち１つ目の閾値ＴＨ１を、設定可能な送信レートの上限値Ｒｍａｘより大きい値とし、もう１つの閾値ＴＨ２を、上限値Ｒｍａｘと下限値Ｒｍｉｎの間の値とする。レート設定部１２２は、予め、これら閾値ＴＨ１および閾値ＴＨ２を記憶している。
【０１４３】
図１２のステップＳ３０１において、レート設定部１２２は、フィードバックパケット受信部１０７を監視し、フィードバックパケットを受信したか否かを判定し、フィードバックパケットを受信するまで、ステップＳ３０１の処理を繰り返し実行して待機する。そして、フィードバックパケットを受信したとき、処理はステップＳ３０２に進む。
【０１４４】
ステップＳ３０２において、レート設定部１２２は、受信したフィードバックパケットから、パケットロス率とRTTを読み出し、読み出したパケットロス率とRTTを、送信可能レート算出部１２１に供給する。送信可能レート算出部１２１は、レート設定部１２２から供給されたパケットロス率とRTTをもとに、送信可能レートＴを式（３）により算出する。送信可能レート算出部１２１は、式（３）により、送信可能レートＴを算出した後、算出した送信可能レートＴを、レート設定部１２２に通知する。レート設定部１２２は、通知された送信可能レートＴを記憶する。
【０１４５】
なお、図１２の送信レート設定処理を開始当初、レート設定部１２２は、送信可能レートＴを記憶していないが、一旦、送信可能レートが算出されると、レート設定部１２２は、算出された送信可能レートＴを記憶する。レート設定部１２２は、送信可能レートを記憶する２つの領域を備えており、１つ目の領域には、送信レートＸの設定の基準として採用されている送信可能レートＴが記憶され、２つ目の領域には、ステップＳ３０２で算出された直後の送信可能レートＴが記憶される。以下の説明において、上記の１つ目の領域に記憶される送信可能レートを送信可能レートＴと区別するために、２つ目の領域に記憶される送信可能レートを送信可能レートＴｎと称する。
【０１４６】
図１２の送信レート設定処理の開始当初、上記の２つの領域には、ステップＳ３０２で算出された送信レートが記憶される（２つの領域には同じ値が記憶される）。そして、次回、ステップＳ３０２により送信可能レートＴｎが算出された場合、レート設定部１２２は、１つ目の領域に既に記憶されている送信可能レートＴはそのまま保持し、新たに算出された送信可能レートＴｎを２つ目の領域に記憶する。
【０１４７】
ステップＳ３０２の処理の後、処理はステップＳ３０３に進む。
【０１４８】
ステップＳ３０３において、レート設定部１２２は、送信可能レートＴが閾値ＴＨ１より大きいか否かを判定し、送信可能レートＴが閾値ＴＨ１より大きい場合、処理はステップＳ３０４に進む。
【０１４９】
ステップＳ３０４において、レート設定部１２２は、送信可能レートＴｎが閾値ＴＨ２より大きいか否かを判定し、送信可能レートＴｎが閾値ＴＨ２より大きい場合、処理はステップＳ３０１に戻り、上述したステップＳ３０１以降の処理が繰り返し実行される。従って、この場合、送信レートは変更されない。
【０１５０】
ステップＳ３０４において、レート設定部１２２が、送信可能レートＴｎは閾値ＴＨ２より大きくないと判定した場合（送信可能レートＴｎが閾値ＴＨ２以下であると判定した場合）、処理はステップＳ３０５に進む。
【０１５１】
ステップＳ３０３において、レート設定部１２２が、送信可能レートＴが閾値ＴＨ１より大きくない（送信可能レートＴは閾値ＴＨ１以下である）と判定した場合、処理はステップＳ３０５に進む。
【０１５２】
ステップＳ３０５において、レート設定部１２２は、ステップＳ３０２で算出された送信可能レートＴｎを、送信可能レートＴとして設定する。すなわち、レート設定部１２２は、２つ目の領域に記憶されている送信可能レートＴｎの値を、１つ目の領域に送信可能レートＴとして記憶させる。その後、処理はステップＳ３０６に進む。
【０１５３】
ステップＳ３０６において、レート設定部１２２は、送信レート変更処理を実行する。ステップＳ３０６の送信レート変更処理の詳細は、図８のフローチャートを参照して説明した通りである。なお、レート設定部１２２は、１つ目の領域に記憶された送信可能レートＴを利用して、図８のフローチャートの処理を実行する。ステップＳ３０６の送信レート変更処理の後、処理はステップＳ３０１に戻り、上述したステップＳ３０１以降の処理が繰り返し実行される。
【０１５４】
以上のようにして、送信レート設定処理が実行される。
【０１５５】
図１２の送信レート設定処理においては、送信レートＸの設定の基準として採用されている送信可能レートＴが閾値ＴＨ１以下の場合、および送信可能レートＴが閾値ＴＨ１より大きく、かつ、算出された送信可能レートＴｎが閾値ＴＨ２以下の場合、送信レート変更処理が実行され、送信可能レートＴが閾値ＴＨ１よりも大きく、かつ、算出された送信可能レートＴｎが閾値ＴＨ２よりも大きい場合、送信レート変更処理を実行しない。
【０１５６】
以上のように、送信レートＸの設定の基準として採用されている送信可能レートＴが、閾値ＴＨ１よりも大きく、かつ、算出された送信可能レートＴｎが、閾値ＴＨ２よりも大きい場合、送信レートの変更を行なわないようにすることにより、パケットロスが発生した場合、必要以上に送信レートを低下させることを防止することができる。
【０１５７】
図１３は、図１２の送信レート設定処理により設定される送信レートの経時変化を表している。
【０１５８】
図１３の時刻ｔ０乃至ｔ１の間において、送信可能レートＴは、下限値Ｒｍｉｎを下回っている。従って、送信レートＸはＸ＝Ｒｍｉｎと設定される。
【０１５９】
図１３の時刻ｔ１乃至ｔ２の間において、送信可能レートＴは、下限値Ｒｍｉｎと上限値Ｒｍａｘの間にあり、送信レートＸが、送信可能レートＴ以下の範囲で増加される。
【０１６０】
図１３の時刻ｔ２乃至ｔ７の間において、送信可能レートＴは、上限値Ｒｍａｘを上回っている。従って、送信レートＸがＸ＝Ｒｍａｘに設定される。
【０１６１】
また、図１３の時刻ｔ３乃至ｔ７の間において、送信可能レートＴは、閾値ＴＨ１を上回っている。従って、時刻ｔ４、ｔ５、およびｔ６においてパケットロスが発生した場合、送信可能レートＴｎが算出され、閾値ＴＨ２と比較される。その結果、時刻ｔ４およびｔ５においては、図１３に点線の矢印で図示されているように、送信可能レートＴｎが閾値ＴＨ２より大きい値であるため、送信可能レートＴは新しい値に更新されないが、時刻ｔ６においては、図１３の点線の矢印で示されているように、送信可能レートＴｎが閾値ＴＨ２より小さい値であるため、送信可能レートＴが更新され、更新された送信可能レートに従って、送信レートＸの値も更新される。
【０１６２】
以上のように、本発明によれば、偶発したパケットロスに対しては、送信レートを低下させないようにすることができる。そのため、より効率的に、データを通信することが可能となる。従って、例えば、動画のストリーミングなどにおいて、送信する動画の画質が急激に低下することを防止することが可能となる。
【０１６３】
なお、以上の説明においては、撮像装置１２で撮像された動画を、画像送信装置１１から画像受信装置１２に送信する場合を例にして説明したが、画像送信装置１１から画像受信装置１２に送信する動画は、予め記録媒体に記録されていても良い。
【０１６４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。
【０１６５】
図１４は、このような処理を実行するパーソナルコンピュータ４００の内部構成例を示す図である。パーソナルコンピュータのCPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４０３には、CPU４０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース４０５は、キーボードやマウスから構成される入力部４０６が接続され、入力部４０６に入力された信号をCPU４０１に出力する。また、入出力インタフェース４０５には、ディスプレイやスピーカなどから構成される出力部４０７も接続されている。
【０１６６】
さらに、入出力インタフェース４０５には、ハードディスクなどから構成される記憶部４０８、および、インターネットなどのネットワーク１０を介して他の装置とデータの通信を行う通信部４０９も接続されている。ドライブ４１０は、磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、半導体メモリ４２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１６７】
記録媒体は、図１４に示されるように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク４２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM４０２や記憶部４０８が含まれるハードディスクなどで構成される。
【０１６８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１７０】
【発明の効果】
以上のように、第１の本発明によれば、ネットワークを介して、情報を送信することができる。また、第１の本発明によれば、送信レートを減少させるタイミングを、より適切にコントロールし、必要以上の送信レートの低下を防ぐことができる。その結果、ストリーミング中の画像の画質が、急激に低下することを防ぐことが可能となる。
【０１７１】
第２の本発明によれば、ネットワークを介して、情報を送信することができる。また、第２の本発明によれば、送信レートを減少させるタイミングを、より適切にコントロールし、必要以上の送信レートの低下を防ぐことができる。その結果、ストリーミング中の画像の画質が、急激に低下することを防ぐことが可能となる。
【図面の簡単な説明】
【図１】従来のパケット通信における送信レートの制御を説明するための図である。
【図２】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図３】画像送信装置の構成例を示すブロック図である。
【図４】画像受信装置の構成例を示すブロック図である。
【図５】画像送信装置の画像送信処理、および画像受信装置の画像受信処理を説明するフローチャートである。
【図６】画像受信装置のフィードバックパケット送信処理を説明するフローチャートである。
【図７】画像送信装置の送信レート設定処理を説明するフローチャートである。
【図８】図７のステップＳ１５３、図１０のステップＳ２５５、および図１２のステップＳ３０６の処理を詳細に説明するフローチャートである。
【図９】図７のフローチャートの送信レート設定処理による送信レートの制御を説明するための図である。
【図１０】画像送信装置の送信レート設定処理を説明する他のフローチャートである。
【図１１】図１０のフローチャートの送信レート設定処理による送信レートの制御を説明するための図である。
【図１２】画像送信装置の送信レート設定処理を説明するさらに他のフローチャートである。
【図１３】図１２のフローチャートの送信レート設定処理による送信レートの制御を説明するための図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１０ネットワーク，１１画像送信装置，１２撮像装置，１３画像受信装置，１４表示装置，１０１操作部，１０２制御部，１０３映像入力部，１０４エンコーダ，１０５データパケット生成部，１０６データパケット送信部，１０７フィードバックパケット受信部，１０８レート制御部，１２１送信可能レート算出部，１２２レート設定部，１５１操作部，１５２制御部，１５３データパケット受信部，１５４データ再構成部，１５５デコーダ，１５６記憶部，１５７ビデオ出力部，１５８状態測定部，１５９ RTT算出部，１６０ロス率算出部，１６１フィードバックパケット生成部，１６２フィードバックパケット送信部，４０１ CPU，４２１磁気ディスク，４２２光ディスク，４２３光磁気ディスク，４２４半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus and method, a recording medium, and a program, and in particular, an information processing apparatus and method, a recording medium, and a program that can efficiently transmit and receive data in response to changes in the congestion state of a network. About.
[0002]
[Prior art]
When packets are continuously transmitted from a transmitting terminal device to a receiving terminal device via a network such as the Internet, lost (not received) packets are transmitted from the receiving terminal device to the transmitting terminal device. An acknowledgment including information to be specified and information such as the reception time of the packet is notified. The transmitting terminal device changes the transmission interval and packet size of the packets to be transmitted according to the acknowledgment received from the receiving terminal device, and transmits the packets at a transmission rate that is optimal for the state of the network bandwidth.
[0003]
The rate control algorithm that controls the packet transmission rate according to the state of the network bandwidth usually has a packet loss rate (the ratio of packets lost without being received by the receiving terminal device to the total packets transmitted from the transmitting terminal device) Also, based on RTT (Round Trip Time), the transmission rate is controlled by estimating the state of the network bandwidth.
[0004]
For example, transmission rate control of TCP (Transmission Control Protocol) includes TCP-Tahoe and TCP-Reno. TCP performs window flow control.
[0005]
In the TCP-Tahoe transmission rate control method, first, the window size is started from 1, and the window size is gradually increased. When packet loss occurs, the window size is returned to 1, and the window size is gradually increased again by the Slow Start Phase. In the TCP-Tahoe transmission rate control method, the transmission rate is controlled by periodically repeating the increase / decrease of the window size.
[0006]
Also in the TCP-Reno transmission rate control method, as in the case of TCP-Tahoe, first, the window size is started from 1, and the window size is gradually increased. If packet loss occurs and if retransmission of the packet succeeds before timeout (Fast Retransmit (RFC2581)), the window size is set to ½ immediately before the occurrence of packet loss (Fast Recovery (RFC2582)). FIG. 1 shows an example of transmission rate control in TCP-Reno.
[0007]
In FIG. 1, the vertical axis represents the transmission rate, and the horizontal axis represents time. In FIG. 1, the window size is set to 1 at time t0, and the window size increases with the passage of time (the transmission rate increases). A packet loss occurs at time t1, and the window size is set to about ½ immediately before the packet loss. After that, when the window size is gradually increased again and packet loss occurs again at time t2, the window size is set to about ½ immediately before the packet loss. In the same manner, the window size varies periodically thereafter.
[0008]
As a transmission rate control method of UDP (User Datagram Protocol), for example, there is TFRC (TCP-Friendly Rate Control). In TFRC, a transmission terminal apparatus transmits packets at an ideal transmission rate in response to a congestion state (see, for example, Non-Patent Document 1).
[0009]
In addition, when the transmission terminal device receives the data loss rate from the reception terminal device while transmitting real-time data to the reception terminal device, the data loss rate is greater than the first threshold value and the second threshold value set in advance. Is lower, the transmission rate is increased, the data loss rate is higher than the first threshold value, and when it is lower than the second threshold value, the transmission rate is not changed, and the data loss rate is higher than the first threshold value and the second threshold value. In some cases, the transmission rate is decreased when the value is higher (see, for example, Patent Document 1).
[0010]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-320440 (page 6-8, FIG. 5)
[Non-Patent Document 1]
Sally Floyd, Mark Handley, Jitendra Pandhye and Joerg Widmer, “Equation-Based Congestion Control for Unicast Applications”, Proceedings of ACM SIGCOMM 2000, May 2000 pp2
[0011]
[Problems to be solved by the invention]
However, conventionally, when packet loss occurs, there has been a problem that the transmission rate may be drastically reduced more than necessary.
[0012]
For example, when a packet loss occurs, the window size is initialized to 1 in TCP-Tahoe, and the window size is reduced to half the size immediately before the packet loss in TCP-Reno.
[0013]
As a result, for example, when moving image data and audio data are transmitted in real time, there is a problem that the quality of the moving image and sound to be transmitted may be drastically reduced.
[0014]
The present invention has been made in view of such a situation, and an object thereof is to more efficiently transmit and receive data in response to a change in the congestion state of a network.
[0015]
[Means for Solving the Problems]
The first information processing apparatus of the present invention includes a calculation unit that calculates a transmittable rate, a transmission unit that transmits a packet to another information processing apparatus at a transmission rate that is equal to or lower than the transmittable rate calculated by the calculation unit, When the transmittable rate is larger than a preset threshold, when packet loss occurs continuously, the calculation unit recalculates the transmittable rate, and when discontinuous packet loss occurs, the calculation unit transmits the transmittable rate. And control means for controlling so as not to recalculate.
[0016]
The first information processing method of the present invention includes a calculation step for calculating a transmittable rate, and a transmission step for transmitting a packet to another information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step. When the transmittable rate is larger than a preset threshold, when packet loss occurs continuously, the transmittable rate is recalculated by the processing of the calculation step, and when packet loss occurs discontinuously, the calculation step And a control step for controlling so as not to recalculate the transmittable rate.
[0017]
The program of the first recording medium of the present invention includes a calculation step for calculating a transmittable rate, and packet transmission to another information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the processing of the calculation step. When the transmission control step to be controlled and the transmittable rate are larger than the preset threshold, when the packet loss occurs continuously, the transmittable rate is recalculated by the processing of the calculation step, and the packet loss occurs discontinuously And a control step for controlling so that the transmittable rate is not recalculated by the calculating step.
[0018]
A first program of the present invention is a computer that controls an information processing apparatus that performs packet communication with another information processing apparatus, a calculation step of calculating a transmittable rate, and a transmission calculated by processing of the calculation step A transmission control step for controlling the transmission of packets to other information processing devices at a transmission rate that is less than or equal to the possible rate, and a calculation when packet loss occurs continuously if the transmittable rate is greater than a preset threshold. The transmission rate is recalculated by the processing of the step, and when a packet loss occurs discontinuously, a control step is executed to control so that the transmission rate is not recalculated by the calculation step.
[0019]
The second information processing apparatus of the present invention includes a calculating means for calculating a transmittable rate, a transmitting means for transmitting a packet to another information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculating means, The currently set transmittable rate is stored as the first transmittable rate, and when packet loss occurs, the calculation means calculates the transmittable rate as the second transmittable rate, and the first transmittable rate Control means for controlling so as not to change the transmission rate when is greater than a preset first threshold and the second transmittable rate is greater than a second threshold, which is a value smaller than the first threshold. It is characterized by providing.
[0020]
A second information processing method according to the present invention includes a calculation step of calculating a transmittable rate, and a transmission step of transmitting a packet to another information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step. And the currently set transmittable rate is stored as the first transmittable rate, and when packet loss occurs, the process of the calculation step calculates the transmittable rate as the second transmittable rate, The transmission rate is not changed when the transmittable rate of 1 is greater than a preset first threshold and the second transmittable rate is greater than a second threshold which is a value smaller than the first threshold. And a control step for controlling.
[0021]
The program of the second recording medium of the present invention includes a calculation step for calculating a transmittable rate, and packet transmission to another information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the processing of the calculation step. The transmission control step to be controlled and the currently set transmittable rate are stored as the first transmittable rate, and when packet loss occurs, the transmittable rate is set to the second transmittable rate by the process of the calculation step. When the first transmittable rate is greater than a preset first threshold and the second transmittable rate is greater than a second threshold that is smaller than the first threshold, the transmit rate And a control step for controlling so as not to change.
[0022]
A second program of the present invention includes a calculation step for calculating a transmittable rate for a computer that controls an information processing apparatus that performs packet communication with another information processing apparatus, and a transmittable rate that is equal to or lower than the transmittable rate calculated by the calculation step process. The transmission control step for controlling the transmission of packets to other information processing devices according to the transmission rate of the current and the currently set transmittable rate are stored as the first transmittable rate, and when packet loss occurs, By the processing of the calculation step, the transmittable rate is calculated as the second transmittable rate, the first transmittable rate is greater than a preset first threshold, and the second transmittable rate is the first transmittable rate. A control step for controlling the transmission rate so as not to change when the second threshold value is greater than the second threshold value. The features.
[0023]
In the first information processing apparatus and method, recording medium, and program of the present invention, a transmittable rate is calculated, and a packet is transmitted to another information processing apparatus at a transmission rate equal to or less than the calculated transmittable rate. When the transmittable rate is larger than a preset threshold, the transmittable rate is recalculated when packet loss occurs continuously, and the transmittable rate is not recalculated when packet loss occurs discontinuously.
[0024]
In the second information processing apparatus and method, recording medium, and program of the present invention, a transmittable rate is calculated, and a packet is transmitted to another information processing apparatus at a transmission rate that is equal to or less than the calculated transmittable rate. . In addition, the currently set transmittable rate is stored as the first transmittable rate, and when a packet loss occurs, the second transmittable rate is calculated and the first transmittable rate is set in advance. The transmission rate is not changed when the second transmittable rate is larger than the second threshold, which is larger than the first threshold and the second transmittable rate is smaller than the first threshold.
[0025]
The present invention can be applied to an electronic device connected to a network.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 2 is a diagram showing a configuration of an embodiment of an information processing system to which the present invention is applied.
[0027]
In FIG. 2, an image transmission device 11 and an image reception device 13 are connected via a network 10 including the Internet. The image transmission device 11 encodes the moving image captured by the imaging device 12 by an encoding method such as MPEG (Moving Picture Experts Group) or JPEG (Joint Photographic Experts Group) 2000 moving image, and the encoded moving image data. The generated data packet is generated, and the generated data packet is transmitted to the image receiving device 13 through the network 10 in real time. Further, the image transmission device 11 receives a feedback packet including information such as an RTT (Round Trip Time) and a packet loss rate from the image reception device 13, and based on the information included in the feedback packet, Control the transmission rate.
[0028]
The imaging device 12 is, for example, a camera-integrated video tape recorder or a digital still camera, images a subject, and supplies moving image data of the captured subject to the image transmission device 11.
[0029]
The image receiving device 13 acquires moving image data from the data packet received from the image transmitting device 11, supplies the acquired moving image data to the display device 14, and generates a feedback packet including information such as an RTT and a packet loss rate. Then, this feedback packet is transmitted to the image transmission device 11.
[0030]
The display device 14 is composed of, for example, a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays the moving image data supplied from the image receiving device 13.
[0031]
Next, FIG. 3 illustrates an internal configuration example of the image transmission apparatus 11. In FIG. 3, the operation unit 101 receives an operation input from the user, and notifies the control unit 102 of operation information corresponding to the received operation. The control unit 102 controls the operation of each unit of the image transmission apparatus 11 based on a preset program and operation information from the operation unit 101.
[0032]
The video input unit 103 receives input of moving image data from the imaging device 12 and supplies the input moving image data to the encoder 104.
[0033]
The encoder 104 encodes the moving image data supplied from the video input unit 103 according to the MPEG encoding method so that the frame rate and the image quality set by the rate setting unit 122 are obtained, and the encoded data (hereinafter referred to as “encoded data”). In this description, the encoded data is referred to as encoded data) to the data packet generator 105.
[0034]
The data packet generation unit 105 divides the encoded data supplied from the encoder 104 into a plurality of packets and converts the encoded data into TCP / IP (Transmission Control Protocol / Internet Protocol) or UDP / IP (User A packet header of (Datagram Protocol / Internet Protocol) is added and supplied to the data packet transmitting unit 106. The packet header includes a sequence number for identifying each data packet.
[0035]
When the data packet is supplied from the data packet generation unit 105, the data packet transmission unit 106 transmits the data packet to the image reception device 13 via the network 10 at the timing specified by the rate setting unit 122. The data packet transmission unit 106 records the current time in the packet header as the transmission time of the data packet when transmitting the data packet.
[0036]
When receiving the feedback packet from the image receiving device 13, the feedback packet receiving unit 107 supplies the received feedback packet to the rate setting unit 122 of the rate control unit 108.
[0037]
The rate control unit 108 includes a transmittable rate calculation unit 121 and a rate setting unit 122.
[0038]
When the RTT and the packet loss rate information are supplied from the rate setting unit 122, the transmittable rate calculation unit 121 calculates an ideal transmission rate of the data packet based on the supplied information, and calculates the calculated ideal The target transmission rate is supplied to the rate setting unit 122. In the following description, an ideal transmission rate calculated by the transmittable rate calculation unit 121 is referred to as a transmittable rate.
[0039]
The rate setting unit 122 appropriately supplies information on the RTT and packet loss rate read from the feedback packet to the transmittable rate calculation unit 121, and acquires the transmittable rate from the transmittable rate calculation unit 121. Then, the rate setting unit 122 sets the actual transmission rate based on the transmittable rate, and sets the image quality and frame rate of the image to be encoded to a predetermined value in the encoder 104 based on the set transmission rate. And instructing the data packet transmitting unit 106 to set the data packet transmission interval to a predetermined value.
[0040]
Next, FIG. 4 illustrates an example of the internal configuration of the image receiving device 13. In FIG. 4, the operation unit 151 receives an operation input from the user and notifies the control unit 152 of operation information corresponding to the received operation. The control unit 152 controls the operation of each unit of the image reception device 13 based on a preset program and operation information from the operation unit 151.
[0041]
The data packet receiving unit 153 receives the data packet transmitted from the image transmission device 11 via the network 10 and acquires the reception time from an internal clock (not shown). Then, the data packet receiving unit 153 supplies the information (including the transmission time and sequence number of the data packet) included in the packet header of the received data packet and the acquired reception time information to the state measuring unit 158. At the same time, the data packet is supplied to the data reconstruction unit 154.
[0042]
When the data packet is supplied from the data packet receiving unit 153, the data reconstruction unit 154 reconstructs the original encoded data from the supplied plurality of data packets. That is, when transmitting the encoded data, the image transmitting device 11 divides the data into a plurality of pieces, packetizes each of them, and transmits them to the image receiving device 13. It is necessary to restore the original encoded data. The data reconstruction unit 154 performs this reconstruction process. The data reconstruction unit 154 reconstructs the encoded data, and then supplies the reconstructed encoded data to the decoder 155.
[0043]
The decoder 155 receives supply of encoded data from the data reconstruction unit 154, decodes the supplied encoded data to generate moving image data, and supplies the moving image data to the storage unit 156.
[0044]
The storage unit 156 temporarily stores (buffers) the moving image data supplied from the decoder 155. The video data stored in the storage unit 156 is read by the video output unit 157 at a predetermined timing.
[0045]
The video output unit 157 reads the moving image data from the storage unit 156 at a predetermined timing, converts the read moving image data into an image signal that can be displayed on the display device 14, and supplies the image signal to the display device 14.
[0046]
The state measuring unit 158 acquires information (including the transmission time and sequence number of the data packet) included in the packet header of the data packet and the reception time information of the data packet from the data packet receiving unit 153. Then, the state measurement unit 158 supplies the transmission time and reception time of the data packet to the RTT calculation unit 159, and acquires the RTT from the RTT calculation unit 159. Further, the state measuring unit 158 determines whether or not the data packet is lost by determining whether or not the sequence number of the data packet is continuous with the sequence number of the data packet received immediately before. The lost data packet is a packet that has been transmitted from the image transmission device 11 but has not reached the image reception device 13. As a result, when there is a lost data packet (when a packet loss occurs), the state measuring unit 158 determines the sequence number of the lost data packet (in the following description, the sequence number of the lost data packet is lost). (Referred to as packet number). Then, the state measuring unit 158 calculates the loss rate by calculating the lost packet number, the sequence number and reception time of the data packet last received immediately before the lost packet, and the sequence number and reception time of the data packet received first after the loss. The calculated packet loss rate is acquired from the loss rate calculation unit 160. The state measurement unit 158 supplies the acquired RTT and packet loss rate information to the feedback packet generation unit 161.
[0047]
When the information on the transmission time and the reception time of the data packet is supplied from the state measurement unit 158, the RTT calculation unit 159 calculates the RTT based on these information, and supplies the calculated RTT to the state measurement unit 158.
[0048]
The loss rate calculation unit 160 receives the lost packet number, the sequence number and reception time of the data packet last received immediately before the lost packet from the state measurement unit 158, and the sequence number and reception time of the data packet received for the first time after the loss. Is supplied, the packet loss rate is calculated based on the supplied information, and the calculated packet loss rate is supplied to the state measurement unit 158.
[0049]
When the RTT is supplied from the state measurement unit 158, the feedback packet generation unit 161 generates a feedback packet including the RTT as information, and supplies the generated feedback packet to the feedback packet transmission unit 162. When the packet loss rate information is also supplied from the state measurement unit 158, the feedback packet generation unit 161 generates a feedback packet including the packet loss rate together with the RTT and supplies the feedback packet to the feedback packet transmission unit 162.
[0050]
When the feedback packet is supplied from the feedback packet generation unit 161, the feedback packet transmission unit 162 transmits the supplied feedback packet to the image transmission device 11 via the network 10 at a predetermined timing.
[0051]
Next, the image transmission processing of the image transmission device 11 and the image reception processing of the image reception device 13 will be described with reference to the flowchart of FIG.
[0052]
The moving image data of the subject imaged by the imaging device 12 is input to the video input unit 103 and is supplied from the video input unit 103 to the encoder 104. In step S 1 of FIG. 6, the encoder 104 of the image transmission device 11 encodes the moving image data supplied from the video input unit 103 to generate encoded data, and the generated encoded data is used as the data packet generation unit 105. To supply. The encoder 104 encodes the moving image data so that the frame rate and the image quality specified by the rate setting unit 122 are obtained.
[0053]
After the process of step S1, in step S2, the data packet generation unit 105 divides the encoded data supplied from the encoder 104, generates a data packet including each of the divided data, and sequences the generated data packet. Add a packet header containing a number. The data packet generator 105 adds the packet header and then supplies the data packet to the data packet transmitter 106.
[0054]
After the processing of step S2, in step S3, the data packet transmission unit 106 transmits the data packet supplied from the data packet generation unit 105 via the network 10 at a predetermined timing designated by the rate setting unit 122. The image is transmitted to the image receiving device 13. Note that the data packet transmission unit 106 acquires the current time from an internal clock (not shown) and transmits the data packet to the packet header when transmitting the data packet. Thereafter, the process returns to step S1, and the processes after step S1 are repeated.
[0055]
In step S 11, the data packet reception unit 153 of the image reception device 13 receives the data packet transmitted by the image transmission device 11 in step S 3 via the network 10 and supplies the data packet to the data reconstruction unit 154.
[0056]
Since the image transmission apparatus 11 transmits the encoded data by dividing it into a plurality of data packets, the data reconstruction unit 154 reconstructs the encoded data if the plurality of divided data packets are not prepared. I can't. Therefore, after step S11, in step S12, the data reconstruction unit 154 determines whether or not there are enough data packets to reconstruct the encoded data, and there are enough data packets to reconstruct the encoded data. If there is not, processing in steps S13 to S14 described later is skipped. The data reconstruction unit 154 stores the data packet supplied from the data packet reception unit 153 until the data packets are ready.
[0057]
If the data reconstruction unit 154 determines in step S12 that there are enough data packets to reconstruct the encoded data, the process proceeds to step S13.
[0058]
In step S13, the data reconstruction unit 154 extracts the divided encoded data from the plurality of stored data packets, integrates these data, and reconstructs the original encoded data. The reconstructed encoded data is supplied to the decoder 155.
[0059]
After step S13, in step S14, the decoder 155 decodes the encoded data supplied from the data reconstruction unit 154, supplies the decoded data to the storage unit 156, and stores it.
[0060]
Thereafter, the process returns to step S11, and the processes after step S11 are repeated.
[0061]
As described above, moving image data is transmitted from the image transmission device 11 to the image reception device 13. Note that the video output unit 157 of the image receiving device 13 reads the moving image data stored in the storage unit 156 by the process of step S14 at a predetermined timing, converts it into an image signal for display, and outputs it to the display device 14. To do. The display device 14 displays an image corresponding to the image signal output from the video output unit 157.
[0062]
In addition, for the sake of convenience of explanation, the processing of step S1 is performed again after the processing of step S3 is completed. However, in actuality, the processing of step S3 is performed. After the end, the process does not always return to the process of step S1. For example, in step S1, the encoder 104 supplies the encoded data to the data packet generation unit 105, and then performs encoding of the next moving image data without waiting for the completion of the processing in steps S2 and S3. The packet generation unit 105 supplies the generated data packet to the data packet transmission unit 106, and then packetizes the next encoded data without waiting for the completion of the process of step S3.
[0063]
Further, for the sake of convenience of explanation, the processing of step S11 to step S14 described above is performed again after the processing of step S14 is completed (or NO in step S12). However, in practice, before the process of step S14 ends (or in the case of NO at step S12), the process after the next step S11 may be executed. For example, in step S11, the data packet receiving unit 153 receives the data packet, supplies the received data packet to the data reconstructing unit 154, and then waits for the completion of the processing in steps S12 to S14. It is also possible to receive the data packet.
[0064]
By the way, in the present invention, a feedback packet is transmitted from the image receiving device 13 to the image transmitting device 11, and the transmission rate of the data packet is controlled based on the feedback packet.
[0065]
Next, with reference to the flowchart of FIG. 6, feedback packet transmission processing of the image reception device 13, that is, processing in which the image reception device 13 creates a feedback packet and transmits it to the image transmission device 11 will be described.
[0066]
The image receiving device 13 incorporates an internal clock (not shown) in order to acquire the current time. In step S101 in FIG. 6, the state measuring unit 158 acquires the current time t from the internal clock, And stored as the reference time TMR. The reference time TMR is a variable for measuring the passage of a certain time. After the process of step S101, the process proceeds to step S102.
[0067]
In step S102, the state measurement unit 158 determines whether the information (including the transmission time and sequence number of the data packet) and the reception time information included in the packet header are supplied from the data packet reception unit 153. It is determined whether or not the data packet has been received. If the information included in the packet header and the reception time information are not supplied, it is determined that the data packet has not been received. Repeat the process. When the information included in the packet header and the reception time information are supplied from the data packet reception unit 153, the state measurement unit 158 determines that the data packet has been received, and the process proceeds to step S103.
[0068]
In step S103, the state measurement unit 158 extracts the sequence number of the data packet from the information included in the packet header supplied from the data packet reception unit 153. After the process of step S103, the process proceeds to step S104.
[0069]
In step S104, the state measurement unit 158 determines whether or not there is a packet loss by determining whether or not the sequence number extracted in step S103 is continuous with the sequence number of the data packet received immediately before that, If a packet loss has occurred, the process proceeds to step S105.
[0070]
In step S105, the state measurement unit 158 displays the lost packet number, the sequence number and reception time of the data packet last received immediately before the lost packet, and the sequence number and reception time of the data packet received for the first time after the loss. This is supplied to the rate calculation unit 160. The loss rate calculation unit 160 calculates a packet loss rate based on these pieces of information supplied from the state measurement unit 158, and supplies the calculated packet loss rate to the state measurement unit 158. The packet loss rate calculation method follows the calculation method defined by TFRC. Thereafter, the process proceeds to step S106.
[0071]
In step S106, the state measurement unit 158 supplies the RTT calculation unit 159 with the transmission time and reception time of the data packet determined to have been received in step S102. The RTT calculation unit 159 calculates the RTT based on the transmission time and the reception time supplied from the state measurement unit 158, and supplies the calculated RTT to the state measurement unit 158.
[0072]
Note that the RTT calculation unit 159 calculates the one-way delay time (RTT / 2) from the transmission time and reception time of the data packet by the following equation, for example, and calculates the RTT by doubling the result.
[0073]
One-way delay time (RTT / 2) = (Reception time)-(Transmission time) (1)
[0074]
This process is based on the premise that the internal clocks of the image transmission device 11 and the image reception device 13 are synchronized. Although the description of the method of synchronizing the internal clock is omitted, the internal clock can be synchronized using an NTP (Network Time Protocol) generally used on the Internet or a unique protocol replacing NTP.
[0075]
In step S107, the state measurement unit 158 supplies the packet loss rate calculated in step S105 and the RTT calculated in step S106 to the feedback packet generation unit 161. The feedback packet generation unit 161 generates a feedback packet including the packet loss rate and RTT supplied from the state measurement unit 158 as information, and supplies the feedback packet to the feedback packet transmission unit 162. After the process of step S107, the process proceeds to step S111.
[0076]
Returning to step S104, if the state measurement unit 158 determines that no packet loss has occurred, the process proceeds to step S108.
[0077]
In step S108, the state measurement unit 158 supplies the RTT calculation unit 159 with the transmission time and reception time of the data packet determined to have been received in step S102. The RTT calculation unit 159 calculates the RTT based on the transmission time and the reception time supplied from the state measurement unit 158, and supplies the calculated RTT to the state measurement unit 158. Thereafter, the process proceeds to step S109.
[0078]
In step S109, the state measurement unit 158 determines whether or not a time longer than RTT has elapsed since the reference time TMR was set in step S101. That is, the state measurement unit 158 first reads the TMR stored in step S101, obtains the current time t from the internal clock, and calculates (t−TMR). Then, the state measurement unit 158 determines whether or not Expression (2) for comparing (t−TMR) with the RTT calculated in Step S108 is established.
[0079]
RTT <(t-TMR) (2)
[0080]
And when Formula (2) is not materialized (ie, when it determines with the time which passed since setting the reference time TMR in step S101 being RTT or less, a process returns to step S102 and after step S102 mentioned above) The process is repeatedly executed.
[0081]
In step S109, when the state measurement unit 158 determines that the expression (2) is satisfied, that is, the time elapsed after setting the reference time TMR in step S101 is longer than RTT, the process proceeds to step S110. move on.
[0082]
In step S110, the state measurement unit 158 supplies the RTT calculated in step S108 to the feedback packet generation unit 161. The feedback packet generation unit 161 generates a feedback packet including the RTT supplied from the state measurement unit 158 as information, and supplies the feedback packet to the feedback packet transmission unit 162. After the process of step S110, the process proceeds to step S111.
[0083]
In step S 111, the feedback packet transmission unit 162 transmits the feedback packet supplied from the feedback packet generation unit 161 to the image transmission device 11 via the network 10. Thereafter, the process returns to step S101, and the processes after step S101 described above are repeatedly executed. In the process of step S101, which is executed again after the process of step S111, the state measurement unit 158 deletes the already stored TMR, newly acquires the current time, and stores this as the TMR. To do.
[0084]
As described above, the feedback packet transmission process of the image reception device 13 is executed.
[0085]
The image transmission device 11 controls the transmission rate of the data packet based on the feedback packet received from the image reception device 13.
[0086]
Next, the rate control process of the image transmission apparatus 11, that is, the control of the transmission rate of the data packet will be described with reference to the flowchart of FIG.
[0087]
In step S151 of FIG. 7, the rate setting unit 122 of the image transmission device 11 determines whether or not a feedback packet is received by determining whether or not a feedback packet is supplied from the feedback packet receiving unit 107, Until the feedback packet is supplied from the feedback packet receiving unit 107 (until the feedback packet is received), the process of step S151 is repeated and waits. When the feedback packet is supplied from the feedback packet receiving unit 107, the rate setting unit 122 determines that the feedback packet has been received, and the process proceeds to step S152.
[0088]
In step S152, the rate setting unit 122 reads the packet loss rate and RTT from the received feedback packet, and supplies the read packet loss rate and RTT to the transmittable rate calculation unit 121. The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3) based on the packet loss rate and RTT supplied from the rate setting unit 122.
[0089]
[Expression 1]

[0090]
In Equation (3), T is a transmittable rate (ideal transmission rate), s is a packet size, p is a packet loss rate, and t is a TCP timeout time (usually 4 times RTT). The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3), and then notifies the rate setting unit 122 of the calculated transmittable rate T. Thereafter, the process proceeds to step S153.
[0091]
In step S153, the rate setting unit 122 executes transmission rate change processing. With reference to the flowchart of FIG. 8, the transmission rate change process in step S153 of FIG. 7 will be described in detail. In the following description, the transmission rate setting value that is actually set is referred to as a setting value X. The image transmission device 11 transmits the packet so that the transmission rate becomes the set value X.
[0092]
When real-time streaming of moving image data is performed, usually the minimum image quality and the maximum image quality of the moving image data to be transmitted are set in advance. Accordingly, the upper limit value Rmax and the lower limit value Rmin are also set for the settable transmission rates. Of course, Rmax> Rmin.
[0093]
For example, if the frame size at the highest image quality is vertical × horizontal = 1000 × 1000 pixels, the frame rate is 30 fps, and the data amount per pixel is 1 bit, the upper limit value Rmax of the settable transmission rate is Equation (4) is obtained.
[0094]
Rmax = (1000 × 1000) × 30 × 1 = 30 Mbps (4)
[0095]
Further, assuming that the frame size at the lowest image quality is vertical × horizontal = 1000 × 1000 pixels, the frame rate is 5 fps, and the data amount per pixel is 0.5 bits, the lower limit value Rmin of the settable transmission rate. Is as shown in Equation (5).
[0096]
Rmin = (1000 × 1000) × 5 × 0.5 = 2.5 Mbps (5)
[0097]
Therefore, the rate setting unit 122 stores therein an upper limit value Rmax and a lower limit value Rmin of a settable transmission rate in advance, and the transmittable rate T supplied from the transmittable rate calculating unit 121 is determined in step S201. Then, it is determined whether or not it is smaller than the lower limit value Rmin, and if the transmittable rate T supplied from the transmittable rate calculation unit 121 is smaller than the lower limit value Rmin, the process proceeds to step S202.
[0098]
In step S202, the rate setting unit 122 sets the transmission rate X to X = Rmin. After executing the process of step S202, the transmission rate change process ends.
[0099]
In step S201, the rate setting unit 122 does not have the transmittable rate T supplied from the transmittable rate calculating unit 121 smaller than the lower limit value Rmin (the transmittable rate T supplied from the transmittable rate calculating unit 121 is the lower limit). If it is determined that the value is equal to or greater than the value Rmin, the process proceeds to step S203.
[0100]
In step S 203, the rate setting unit 122 determines whether the transmittable rate T supplied from the transmittable rate calculating unit 121 is greater than the upper limit value Rmax, and the transmittable rate supplied from the transmittable rate calculating unit 121. If the rate T is greater than the upper limit value Rmax, the process proceeds to step S204.
[0101]
In step S204, the rate setting unit 122 sets the transmission rate X to X = Rmax. After executing the process of step S204, the transmission rate change process ends.
[0102]
In step S203, the transmittable rate T supplied by the rate setting unit 122 from the transmittable rate calculating unit 121 is not greater than the upper limit value Rmax (the transmittable rate T supplied from the transmittable rate calculating unit 121 is the upper limit value). If it is determined that the value is equal to or less than the value Rmax, the process proceeds to step S205.
[0103]
In step S205, it is determined whether or not the currently set transmission rate X is greater than the transmittable rate T. If the currently set transmission rate X is greater than the transmittable rate T, the process proceeds to step S206. move on.
[0104]
In step S206, the rate setting unit 122 decreases the transmission rate X to a value equal to or lower than the transmittable rate T. After executing the process of step S206, the transmission rate changing process ends.
[0105]
When the rate setting unit 122 determines in step S205 that the currently set transmission rate X is not greater than the transmittable rate T (the currently set transmission rate X is less than or equal to the transmittable rate T), The process proceeds to step S207.
[0106]
In step S207, the rate setting unit 122 determines whether or not the currently set transmission rate X is smaller than the transmittable rate T, and if the currently set transmission rate X is smaller than the transmittable rate T. The process proceeds to step S208.
[0107]
In step S208, the rate setting unit 122 increases the transmission rate X within a range equal to or lower than the transmittable rate T. After executing the process of step S208, the transmission rate change process ends.
[0108]
When the rate setting unit 122 determines in step S207 that the currently set transmission rate X is not smaller than the transmittable rate T (the currently set transmission rate X is greater than or equal to the transmittable rate T). Then, the transmission rate change process ends.
[0109]
As described above, the transmission rate changing process in step S153 is executed. Returning to FIG. 7, after the transmission rate changing process of step S153 is executed, the process returns to step S151, and the processes after step S151 are repeatedly executed.
[0110]
FIG. 9 shows a change with time of the transmission rate set by the transmission rate setting process of FIG.
[0111]
In FIG. 9, the vertical axis represents the transmission rate, and the horizontal axis represents time. In the figure, the transmittable rate T is represented by a dotted line, and the set transmission rate X is represented by a solid line. Furthermore, the upper limit value Rmax and the lower limit value Rmin of the settable transmission rate are indicated by a one-dot chain line.
[0112]
In FIG. 9, the transmittable rate T is below the lower limit value Rmin between times t0 and t1. At this time, YES is determined in step S201 in FIG. 8, and the transmission rate X is set to X = Rmin in step S202. Therefore, in FIG. 9, the transmission rate X is Rmin.
[0113]
In FIG. 9, between the times t1 and t2, the transmittable rate T is between the lower limit value Rmin and the upper limit value Rmax, and X <T. Accordingly, NO is determined in step S201 in FIG. 8, NO is determined in step S203, NO is determined in step S205, YES is determined in step S207, and the transmission rate X is equal to or lower than the transmittable rate T in step S208. Increased in the range. In FIG. 9, the transmission rate X is increased in a range equal to or lower than the transmittable rate T by the same processing as during the time t3 to t4, during the time t5 to t6, and after the time t7 between the time t1 and t2. The
[0114]
In FIG. 9, the transmittable rate T exceeds the upper limit value Rmax between times t2 and t3. Accordingly, NO is determined in step S201 in FIG. 8, YES is determined in step S203, and the transmission rate X is set to X = Rmax in step S204. In FIG. 9, the transmission rate X is set to the upper limit value Rmax between time t4 and t5 and between time t6 and t7 by the same processing as during time t2 to t3.
[0115]
Further, at time t3 in FIG. 9, the transmittable rate T decreases from a value larger than the upper limit value Rmax to a value smaller than Rmax. At this time, NO is determined in step S201 in FIG. 8, NO is determined in step S203, YES is determined in step S205, and the transmission rate X is decreased to a value equal to or lower than the transmittable rate T in step S206. . In FIG. 9, at time t5 and time t7, the transmission rate X is set to a value equal to or lower than the transmittable rate T by the same processing as at time t3.
[0116]
By the way, the image transmission apparatus 11 can set the transmission rate by the transmission rate setting process as shown in FIG. 7, but can also set the transmission rate by the transmission rate setting process other than FIG. Next, a transmission rate setting process different from that in FIG. 7 will be described with reference to the flowchart in FIG.
[0117]
In step S251 of FIG. 10, the rate setting unit 122 sets the status that can be set to 0 or 1 to 0 and stores it. Thereafter, the process proceeds to step S252.
[0118]
In step S252, the rate setting unit 122 monitors the feedback packet receiving unit 107, determines whether or not a feedback packet has been received, and repeats the process of step S252 and waits until a feedback packet is received. When the feedback packet is received, the process proceeds to step S253.
[0119]
The rate setting unit 122 stores in advance a threshold value TH that is larger than the upper limit value Rmax of the settable transmission rate. If it is determined and the currently stored transmittable rate T is not greater than the threshold value TH (if the currently stored transmittable rate T is less than or equal to the threshold value TH), the process proceeds to step S254. Since the rate setting unit 122 does not store the transmittable rate T at the beginning of the transmission rate setting process, it determines NO in step S253, and the process proceeds to step S254.
[0120]
In step S254, the rate setting unit 122 reads the packet loss rate and RTT from the received feedback packet, and supplies the read packet loss rate and RTT to the transmittable rate calculation unit 121. The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3) based on the packet loss rate and RTT supplied from the rate setting unit 122. The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3), and then notifies the rate setting unit 122 of the calculated transmittable rate T. The rate setting unit 122 stores the transmittable rate T notified from the transmittable rate calculating unit 121. If the previously calculated transmittable rate T has already been stored, the rate setting unit 122 deletes it and stores the newly calculated transmittable rate T. Thereafter, the process proceeds to step S255.
[0121]
In step S255, the rate setting unit 122 executes transmission rate change processing. The transmission rate change process in step S255 is the same as the transmission rate change process described with reference to FIG.
[0122]
After the transmission rate change process in step S255, the process proceeds to step S256.
[0123]
In step S256, the rate setting unit 122 sets the status to 0 and stores it. If it has already been set to 0, the rate setting unit 122 maintains the status as it is. After the process of step S256, the process returns to step S252, and the processes after step S252 are repeatedly executed.
[0124]
In step S253, if the rate setting unit 122 determines that the currently transmittable rate T stored is greater than the threshold value TH, the process proceeds to step S257.
[0125]
In step S257, the rate setting unit 122 determines whether or not the feedback packet is a packet loss notification by determining whether or not the received feedback packet includes a packet loss rate. If the packet loss rate is included in (when it is a packet loss notification), the process proceeds to step S258.
[0126]
In step S258, the rate setting unit 122 determines whether or not the status is 0. When the status is not 0 (when the status is 1), the process proceeds to step S254, and the processes after step S254 described above are repeated. Execute.
[0127]
In step S258, when the rate setting unit 122 determines that the status is 0, the process proceeds to step S259.
[0128]
In step S259, the rate setting unit 122 sets the status to 1 and stores it. Thereafter, the process returns to step S252, and the processes after step S252 described above are repeatedly executed.
[0129]
In step S257, when the rate setting unit 122 determines that the received feedback packet does not include a packet loss rate (when it is determined that it is not a packet loss notification), the process proceeds to step S260.
[0130]
In step S260, the rate setting unit 122 sets the status to 0 and stores it. Thereafter, the process returns to step S252, and the processes after step S252 described above are repeatedly executed.
[0131]
With the above processing, when the transmittable rate T is a value larger than the threshold value TH, it is possible to reduce the transmission rate only when packet loss occurs continuously.
[0132]
That is, when packet loss occurs continuously, the following occurs. First, when the first packet loss occurs, a feedback packet including a packet loss rate is received from the image reception device 13 to the image transmission device 11. Therefore, the rate setting unit 122 determines YES in step S252, determines YES in step S253, determines YES in step S257, and sets the status to 1 in step S259. Thereafter, when the second packet loss occurs continuously, the feedback packet transmitted from the image receiving device 13 includes the packet loss rate. Therefore, when this feedback packet is received, the rate setting unit 122 determines YES in step S252, determines YES in step S253, determines YES in step S257, determines NO in step S258, and step S254. In step S255, the transmission rate T is calculated. In step S255, the transmission rate change process is executed. In step S256, the status is returned to zero.
[0133]
On the other hand, when a packet loss occurs only once in a discontinuous manner, a feedback packet including a packet loss rate is received from the image reception device 13 to the image transmission device 11. Therefore, the rate setting unit 122 determines YES in step S252, determines YES in step S253, determines YES in step S257, and sets the status to 1 in step S259. When packet loss occurs only once in a discontinuous manner, the packet loss rate is not included in the feedback packet transmitted from the image receiving apparatus 13 next time. Accordingly, when this feedback packet is received, the rate setting unit 122 determines YES in step S252, determines YES in step S253, determines NO in step S257, and sets the status to 0 in step S260. .
[0134]
Through the above processing, the transmission rate changing process is executed only when there is a continuous notification of packet loss, and the transmission rate changing process is not executed even when there is a discontinuous notification of packet loss. Thereby, when packet loss occurs, it is possible to prevent a decrease in transmission rate more than necessary. As a result, data can be transmitted more efficiently.
[0135]
FIG. 11 shows the change with time of the transmission rate set by the transmission rate setting process of FIG.
[0136]
In FIG. 11, the vertical axis represents the transmission rate, and the horizontal axis represents time. In the figure, the transmittable rate T is represented by a dotted line, and the set transmission rate X is represented by a solid line. Furthermore, the upper limit value Rmax and lower limit value Rmin of the settable transmission rate, and the threshold value TH are indicated by a one-dot chain line.
[0137]
In FIG. 11, between the times t0 and t1, the transmittable rate T is lower than the lower limit value Rmin. At this time, when a feedback packet is received from the image receiving device 13 to the image transmitting device 11, NO is determined in step S253 in FIG. 10, a transmittable rate T is calculated in step S254, and the processing in step S255 is performed. 8, YES is determined in step S201, and the transmission rate X is set to X = Rmin in step S202. Therefore, in FIG. 11, the transmission rate X is Rmin.
[0138]
In FIG. 11, between the times t1 and t2, the transmittable rate T is between the lower limit value Rmin and the upper limit value Rmax, and X <T. Therefore, when a feedback packet is received from the image receiving device 13 to the image transmitting device 11, NO is determined in step S253 in FIG. 10, a transmittable rate T is calculated in step S254, and in the process of step S255, In step S201 in FIG. 8, NO is determined, in step S203 NO is determined, in step S205 NO is determined, in step S207 YES is determined, and in step S208, the transmission rate X is within the transmittable rate T or less. Increased by
[0139]
In FIG. 11, between the times t2 and t3, the transmittable rate T is between the upper limit value Rmax and the threshold value TH. Therefore, when a feedback packet is received from the image receiving device 13 to the image transmitting device 11, NO is determined in step S253 in FIG. 10, a transmittable rate T is calculated in step S254, and in the process of step S255, In step S201 of FIG. 8, NO is determined, YES is determined in step S203, and in step S204, the transmission rate X is set to X = Rmax.
[0140]
In FIG. 11, between the times t3 and t8, the transmittable rate T is larger than the threshold value TH. Therefore, since YES is determined in step S253 of FIG. 10, the transmittable rate T is not updated. Further, a packet loss occurs once at each of time t4 and time t5 in FIG. 11, but at this time, the transmission rate is not changed. On the other hand, when packet loss notifications are continuously received at times t6 and t7, the transmittable rate T is recalculated and the transmit rate X is set to be equal to or less than the transmittable rate T.
[0141]
Incidentally, in the transmission rate setting process of FIG. 10, only one threshold value TH is provided and the transmission rate is set based on the threshold value TH. However, two threshold values are set and the transmission rate is set. It can also be.
[0142]
Next, a transmission rate setting process when two threshold values are set will be described with reference to the flowchart of FIG. In the following description, the first threshold value TH1 of the two threshold values is set to a value larger than the settable upper limit value Rmax, and the other threshold value TH2 is set between the upper limit value Rmax and the lower limit value Rmin. The value of The rate setting unit 122 stores the threshold value TH1 and the threshold value TH2 in advance.
[0143]
In step S301 of FIG. 12, the rate setting unit 122 monitors the feedback packet receiving unit 107, determines whether or not the feedback packet has been received, and repeatedly executes the process of step S301 until the feedback packet is received. stand by. When the feedback packet is received, the process proceeds to step S302.
[0144]
In step S 302, the rate setting unit 122 reads the packet loss rate and RTT from the received feedback packet, and supplies the read packet loss rate and RTT to the transmittable rate calculation unit 121. The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3) based on the packet loss rate and RTT supplied from the rate setting unit 122. The transmittable rate calculation unit 121 calculates the transmittable rate T using Equation (3), and then notifies the rate setting unit 122 of the calculated transmittable rate T. The rate setting unit 122 stores the notified transmittable rate T.
[0145]
In addition, at the beginning of the transmission rate setting process of FIG. 12, the rate setting unit 122 does not store the transmittable rate T, but once the transmittable rate is calculated, the rate setting unit 122 calculates The transmittable rate T is stored. The rate setting unit 122 includes two areas for storing a transmittable rate, and the first area stores a transmittable rate T that is adopted as a reference for setting the transmission rate X. In the eye area, the transmittable rate T immediately after the calculation in step S302 is stored. In the following description, in order to distinguish the transmittable rate stored in the first area from the transmittable rate T, the transmittable rate stored in the second area is referred to as a transmittable rate Tn.
[0146]
At the beginning of the transmission rate setting process of FIG. 12, the transmission rates calculated in step S302 are stored in the above two areas (the same value is stored in the two areas). Next, when the transmittable rate Tn is calculated in the next step S302, the rate setting unit 122 keeps the transmittable rate T already stored in the first area as it is, and newly calculated transmittable The rate Tn is stored in the second area.
[0147]
After the process of step S302, the process proceeds to step S303.
[0148]
In step S303, the rate setting unit 122 determines whether or not the transmittable rate T is greater than the threshold value TH1, and if the transmittable rate T is greater than the threshold value TH1, the process proceeds to step S304.
[0149]
In step S304, the rate setting unit 122 determines whether or not the transmittable rate Tn is greater than the threshold value TH2. If the transmittable rate Tn is greater than the threshold value TH2, the process returns to step S301, and the above-described steps after step S301 are performed. The process is executed repeatedly. Therefore, in this case, the transmission rate is not changed.
[0150]
In step S304, when the rate setting unit 122 determines that the transmittable rate Tn is not greater than the threshold value TH2 (when it is determined that the transmittable rate Tn is equal to or less than the threshold value TH2), the process proceeds to step S305.
[0151]
In step S303, when the rate setting unit 122 determines that the transmittable rate T is not greater than the threshold value TH1 (the transmittable rate T is equal to or less than the threshold value TH1), the process proceeds to step S305.
[0152]
In step S305, the rate setting unit 122 sets the transmittable rate Tn calculated in step S302 as the transmittable rate T. That is, the rate setting unit 122 stores the value of the transmittable rate Tn stored in the second area as the transmittable rate T in the first area. Thereafter, the process proceeds to step S306.
[0153]
In step S306, the rate setting unit 122 executes transmission rate change processing. Details of the transmission rate change processing in step S306 are as described with reference to the flowchart of FIG. Note that the rate setting unit 122 executes the process of the flowchart of FIG. 8 using the transmittable rate T stored in the first area. After the transmission rate change process in step S306, the process returns to step S301, and the processes after step S301 described above are repeatedly executed.
[0154]
The transmission rate setting process is executed as described above.
[0155]
In the transmission rate setting process of FIG. 12, when the transmittable rate T adopted as a reference for setting the transmit rate X is equal to or less than the threshold TH1, the transmittable rate T is greater than the threshold TH1, and the calculated transmission When the possible rate Tn is less than or equal to the threshold value TH2, a transmission rate change process is executed. When the possible transmission rate T is greater than the threshold value TH1 and the calculated transmittable rate Tn is greater than the threshold value TH2, the transmission rate change process is performed. Do not execute.
[0156]
As described above, when the transmittable rate T adopted as the reference for setting the transmission rate X is larger than the threshold value TH1 and the calculated transmittable rate Tn is larger than the threshold value TH2, the transmission rate By preventing the change, it is possible to prevent the transmission rate from being lowered more than necessary when packet loss occurs.
[0157]
FIG. 13 shows the change with time of the transmission rate set by the transmission rate setting process of FIG.
[0158]
Between times t0 and t1 in FIG. 13, the transmittable rate T is below the lower limit value Rmin. Therefore, the transmission rate X is set as X = Rmin.
[0159]
Between times t1 and t2 in FIG. 13, the transmittable rate T is between the lower limit value Rmin and the upper limit value Rmax, and the transmission rate X is increased in a range equal to or lower than the transmittable rate T.
[0160]
Between times t2 and t7 in FIG. 13, the transmittable rate T exceeds the upper limit value Rmax. Therefore, the transmission rate X is set to X = Rmax.
[0161]
Further, the transmittable rate T is higher than the threshold value TH1 between times t3 and t7 in FIG. Accordingly, when packet loss occurs at times t4, t5, and t6, the transmittable rate Tn is calculated and compared with the threshold value TH2. As a result, at the times t4 and t5, as shown by the dotted arrows in FIG. 13, since the transmittable rate Tn is a value greater than the threshold value TH2, the transmittable rate T is not updated to a new value. At time t6, as shown by the dotted arrow in FIG. 13, since the transmittable rate Tn is smaller than the threshold value TH2, the transmittable rate T is updated, and transmission is performed according to the updated transmittable rate. The value of rate X is also updated.
[0162]
As described above, according to the present invention, it is possible to prevent the transmission rate from being lowered for an accidental packet loss. Therefore, data can be communicated more efficiently. Therefore, for example, in streaming of moving images, it is possible to prevent the image quality of the moving images to be transmitted from suddenly decreasing.
[0163]
In the above description, the case where the moving image captured by the imaging device 12 is transmitted from the image transmission device 11 to the image reception device 12 has been described as an example. However, the image transmission device 11 transmits the moving image to the image reception device 12. The moving image may be recorded in advance on a recording medium.
[0164]
The series of processes described above can be executed by hardware, or can be executed by software as described above. When a series of processing is executed by software, various functions can be executed by installing a computer in which the programs that make up the software are installed in dedicated hardware, or by installing various programs. For example, it is installed from a recording medium or the like into a general-purpose personal computer or the like.
[0165]
FIG. 14 is a diagram showing an example of the internal configuration of a personal computer 400 that executes such processing. A CPU (Central Processing Unit) 401 of the personal computer executes various processes according to a program stored in a ROM (Read Only Memory) 402. A RAM (Random Access Memory) 403 appropriately stores data and programs necessary for the CPU 401 to execute various processes. The input / output interface 405 is connected to an input unit 406 including a keyboard and a mouse, and outputs a signal input to the input unit 406 to the CPU 401. The input / output interface 405 is also connected with an output unit 407 including a display, a speaker, and the like.
[0166]
Further, a storage unit 408 constituted by a hard disk or the like and a communication unit 409 that performs data communication with other devices via the network 10 such as the Internet are also connected to the input / output interface 405. The drive 410 is used when data is read from or written to a recording medium such as the magnetic disk 421, the optical disk 422, the magneto-optical disk 423, and the semiconductor memory 424.
[0167]
As shown in FIG. 14, the recording medium is distributed to provide a program to the user separately from the personal computer, and a magnetic disk 421 (including a flexible disk) on which the program is recorded, an optical disk 422 (CD -Package media including ROM (Compact Disc-Read Only Memory), DVD (including Digital Versatile Disc), magneto-optical disc 423 (including MD (Mini-Disc) (registered trademark)), or semiconductor memory 424 In addition to being configured, it is configured by a ROM 402 storing programs and a hard disk including the storage unit 408 provided to the user in a state of being pre-installed in a computer.
[0168]
In this specification, the steps for describing the program provided by the medium are performed in parallel or individually in accordance with the described order, as well as the processing performed in time series, not necessarily in time series. The process to be executed is also included.
[0169]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0170]
【The invention's effect】
As described above, according to the first aspect of the present invention, information can be transmitted via a network. Further, according to the first aspect of the present invention, it is possible to more appropriately control the timing for reducing the transmission rate, and to prevent the transmission rate from being lowered more than necessary. As a result, it is possible to prevent the image quality of the image being streamed from rapidly decreasing.
[0171]
According to the second aspect of the present invention, information can be transmitted via a network. Further, according to the second aspect of the present invention, it is possible to more appropriately control the timing at which the transmission rate is reduced, and to prevent the transmission rate from being lowered more than necessary. As a result, it is possible to prevent the image quality of the image being streamed from rapidly decreasing.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining transmission rate control in conventional packet communication;
FIG. 2 is a block diagram showing a configuration example of an information processing system to which the present invention is applied.
FIG. 3 is a block diagram illustrating a configuration example of an image transmission apparatus.
FIG. 4 is a block diagram illustrating a configuration example of an image receiving device.
FIG. 5 is a flowchart illustrating image transmission processing of the image transmission device and image reception processing of the image reception device.
FIG. 6 is a flowchart for describing feedback packet transmission processing of the image receiving apparatus.
FIG. 7 is a flowchart illustrating transmission rate setting processing of the image transmission apparatus.
8 is a flowchart for explaining in detail processing in step S153 in FIG. 7, step S255 in FIG. 10, and step S306 in FIG.
FIG. 9 is a diagram for explaining transmission rate control by transmission rate setting processing in the flowchart of FIG. 7;
FIG. 10 is another flowchart illustrating the transmission rate setting process of the image transmission apparatus.
FIG. 11 is a diagram for explaining transmission rate control by transmission rate setting processing in the flowchart of FIG. 10;
FIG. 12 is still another flowchart illustrating a transmission rate setting process of the image transmission apparatus.
13 is a diagram for explaining transmission rate control by transmission rate setting processing in the flowchart of FIG. 12;
FIG. 14 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present invention has been applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Network, 11 Image transmission apparatus, 12 Imaging apparatus, 13 Image reception apparatus, 14 Display apparatus, 101 Operation part, 102 Control part, 103 Image input part, 104 Encoder, 105 Data packet generation part, 106 Data packet transmission part, 107 Feedback packet receiving unit, 108 rate control unit, 121 transmittable rate calculation unit, 122 rate setting unit, 151 operation unit, 152 control unit, 153 data packet receiving unit, 154 data reconstruction unit, 155 decoder, 156 storage unit, 157 Video output unit, 158 state measurement unit, 159 RTT calculation unit, 160 loss rate calculation unit, 161 feedback packet generation unit, 162 feedback packet transmission unit, 401 CPU, 421 magnetic disk, 422 optical disk, 423 magneto-optical disk 424 semiconductor memory

Claims

In an information processing apparatus that performs packet communication with another information processing apparatus,
A calculating means for calculating a transmittable rate;
Transmitting means for transmitting packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculating means;
When the transmittable rate is larger than a preset threshold, when the packet loss occurs continuously, the calculation unit recalculates the transmittable rate, and when the packet loss occurs discontinuously, the calculation unit And a control means for controlling the transmission rate so as not to recalculate.

In an information processing method of an information processing apparatus that performs packet communication with another information processing apparatus,
A calculation step of calculating a transmittable rate;
A transmission step of transmitting a packet to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
When the transmittable rate is larger than a preset threshold, when the packet loss occurs continuously, the transmittable rate is recalculated by the processing of the calculation step, and when the packet loss occurs discontinuously, And a control step of controlling so that the transmittable rate is not recalculated by the calculating step.

A program for an information processing apparatus that performs packet communication with another information processing apparatus,
A calculation step of calculating a transmittable rate;
A transmission control step for controlling transmission of packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
When the transmittable rate is larger than a preset threshold, when the packet loss occurs continuously, the transmittable rate is recalculated by the processing of the calculation step, and when the packet loss occurs discontinuously, And a control step of controlling so that the transmittable rate is not recalculated by the calculating step. A recording medium on which a computer-readable program is recorded.

A computer that controls an information processing apparatus that performs packet communication with another information processing apparatus,
A calculation step of calculating a transmittable rate;
A transmission control step for controlling transmission of packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
When the transmittable rate is larger than a preset threshold, when the packet loss occurs continuously, the transmittable rate is recalculated by the processing of the calculation step, and when the packet loss occurs discontinuously, And a control step for performing control so that the transmittable rate is not recalculated by the calculating step.

In an information processing apparatus that performs packet communication with other information processing apparatuses,
A calculating means for calculating a transmittable rate;
Transmitting means for transmitting packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculating means;
The currently set transmittable rate is stored as a first transmittable rate, and when a packet loss occurs, the calculation means calculates the transmittable rate as a second transmittable rate, and the first The transmission rate is not changed when the transmission possible rate is greater than a preset first threshold value and the second transmission possible rate is greater than a second threshold value that is smaller than the first threshold value. An information processing apparatus comprising control means for controlling the information processing apparatus.

In an information processing method of an information processing apparatus that performs packet communication with another information processing apparatus,
A calculation step of calculating a transmittable rate;
A transmission step of transmitting a packet to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
The currently set transmittable rate is stored as the first transmittable rate, and when packet loss occurs, the process of the calculating step causes the transmittable rate to be calculated as the second transmittable rate, The transmission rate when the first transmittable rate is greater than a preset first threshold and the second transmittable rate is greater than a second threshold that is less than the first threshold. And a control step for controlling so as not to change the information processing method.

A program for an information processing apparatus that performs packet communication with another information processing apparatus,
A calculation step of calculating a transmittable rate;
A transmission control step for controlling transmission of packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
The currently set transmittable rate is stored as the first transmittable rate, and when packet loss occurs, the process of the calculating step causes the transmittable rate to be calculated as the second transmittable rate, The transmission rate when the first transmittable rate is greater than a preset first threshold and the second transmittable rate is greater than a second threshold that is less than the first threshold. And a control step for controlling so as not to change the recording medium.

To a computer that controls an information processing apparatus that performs packet communication with other information processing apparatuses,
A calculation step of calculating a transmittable rate;
A transmission control step for controlling transmission of packets to the other information processing apparatus at a transmission rate equal to or lower than the transmittable rate calculated by the calculation step;
The currently set transmittable rate is stored as the first transmittable rate, and when packet loss occurs, the process of the calculating step causes the transmittable rate to be calculated as the second transmittable rate, The transmission rate when the first transmittable rate is greater than a preset first threshold and the second transmittable rate is greater than a second threshold that is less than the first threshold. And a control step for controlling so as not to change the program.