JP4232553B2 - 通信装置、その方法およびプログラム - Google Patents
通信装置、その方法およびプログラム Download PDFInfo
- Publication number
- JP4232553B2 JP4232553B2 JP2003184005A JP2003184005A JP4232553B2 JP 4232553 B2 JP4232553 B2 JP 4232553B2 JP 2003184005 A JP2003184005 A JP 2003184005A JP 2003184005 A JP2003184005 A JP 2003184005A JP 4232553 B2 JP4232553 B2 JP 4232553B2
- Authority
- JP
- Japan
- Prior art keywords
- packet data
- data
- packet
- time
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、パケットデータの伝送時間が変動する通信経路を介してパケットデータの通信を行う通信装置、その方法およびプログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システムなどの通信システムでは、連続して復号されるそれぞれ複数のオーディオおよびビデオのパケットデータの各々をそれぞれ１回ずつ送信側の通信装置が送信し、受信側の通信装置が受信したパケットデータを復号してビデオおよびオーディオをリアルタイムに出力する。
このような通信システムでは、上記パケットデータの送受信を、インターネットなどを利用したネットワークを介して行う場合がある。このようなネットワークは、ネットワーク上でのパケットデータの消失（パケットロス）や、ネットワークを介したパケットデータの伝送遅延が生じる。
上述したパケットロス対策として、パケットデータを受信した通信装置が、ネットワーク上で消失して受信していないパケットデータを特定し、その再送要求を送信側の通信装置に出す手法がある。
当該手法によれば、ネットワーク上で消失したパケットデータは受信側の通信装置が安定して受信できるので画像および音声の出力品質を高めることができる。しかしながら、受信側の通信装置は、再送要求を出してから、それに対応するパケットデータを受信するまでの間、当該パケットデータの復号を行うことができず、リアルタイム性を低下させる要因となる。
すなわち、上述した通信システムでは、リアルタイム性と、ビデオおよびオーディオの出力の品質とはトレードオフの関係にある。
上述した従来の通信システムでは、受信側の通信装置は、上述したパケットロスを検出すると再送要求を原則として常に送信している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の通信システムでは、オーディオのパケットデータがパケットロスした場合でも、ビデオのオーディオデータと同様に再送要求を出すため、ネットワークの遅延時間が大きい場合に、受信側の通信装置におけるオーディオ出力のリアルタイム性が損なわれることになる。通信装置を利用したコミュニケーションでは、オーディオ出力のリアルタイム性が損なわれると、コミュニケーションに支障を来す可能性が高いという問題がある。
その一方、ネットワークの遅延時間が小さい場合には、リアルタイム性を損なわない範囲で、高品質なビデオおよびオーディオの出力を得たいという要請がある。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、その目的は、受信側におけるオーディオの品質およびリアルタイム性を安定して確保し、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めるこ
とができる通信装置、その方法およびプログラムを提供することにある。
【０００５】
また、本発明のその他の目的は、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置、その方法、および、プログラムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明の通信装置は、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信装置であって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する伝送時間検出手段と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出するパケット欠落検出手段と、受信した前記パケットデータを保持し、当該保持した前記パケットデータを復号に供するデータ保持手段と、前記パケット欠落検出手段で検出された前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する検証手段と、前記パケット欠落検出手段の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記検証手段が前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を前記第１の動作に加えて行う第２の動作とのうち、前記伝送時間検出手段が検出した前記伝送時間を基に選択した動作を実行する制御手段とを有する。
【００１３】
本発明の通信装置において、伝送時間検出手段が、送信元との間の通信経路上での前記パケットデータの伝送時間を検出する。
また、パケット欠落手段が、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する。
また、検証手段が、前記パケット欠落検出手段で検出された前記欠落したパケットデータが、データ保持手段に保持されたか否かを所定の周期で検証する。
そして、制御手段が、前記パケット欠落検出手段の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記検証手段が前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を前記第１の動作に加えて行う第２の動作とのうち、前記伝送時間検出手段が検出した前記伝送時間を基に選択した動作を実行する。
【００１４】
本発明の通信方法は、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信方法であって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の工程と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の工程と、受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の工程と、前記第２の工程で検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の工程と、前記第２の工程の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の工程で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の工程とを有する。
また本発明のプログラムは、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信処理を行うプログラムであって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の手順と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の手順と、受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の手順と、前記第２の手順により検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の手順と、前記第２の手順による検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の手順で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の手順とをコンピュータに実行させる、プログラムである。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態に係わる通信システムについて説明する。
図１は、本発明の実施形態に係わる通信システム１の全体構成図である。
図２は、図１に示す通信装置３ａ（３ｂ）の構成図である。
図１に示すように、通信システム１は、例えば、通信装置３ａ，３ｂを有し、これらがネットワーク９を介して通信を行う。
ここで、通信装置３ａ，３ｂの各々が第１、第２および第５の発明の通信装置、並びに第４の発明の第１の通信装置および第２の通信装置に対応している。
ネットワーク９は、例えば、ＴＣＰ／ＩＰ(Transmission Control protocol/Internet Protocol) などの通信プロトコルを利用した通信が行われる伝送負荷により伝送時間が変動すると共に、パケットロスなどが生じる可能性のあるネットワークである。
通信装置３ａ，３ｂは、テレビ会議システムの端末装置、パーソナルコンピュータ、ＰＤＡ(Personal Digital Assistants) などのオーディオおよびビデオのデータの符号化、復号、並びに送受信が可能な装置である。
通信装置３ａには、例えば、モニタ１０ａ、スピーカ１１ａ、カメラ１２ａおよびマイク１３ａが接続される。
通信装置３ｂには、例えば、モニタ１０ｂ、スピーカ１１ｂ、カメラ１２ｂおよびマイク１３ｂが接続される。
【００１６】
通信システム１は、通信装置３ａと３ｂとが、ネットワーク９を介して、オーディオデータおよびビデオデータによるリアルタイムなコミュニケーションを双方向通信により行う。
通信システム１では、例えば、通信装置３ａから通信装置３ｂにオーディオおよびビデオのパケットデータを送信する場合に、通信装置３ａが通信装置３ｂとの間のネットワーク９を介したパケットデータの伝送時間を計測する。
そして、通信装置３ａが、上記検出した伝送時間が所定の時間を超える場合に、オーディオに関する同じパケットデータを複数回、通信装置３ｂに送信し、ビデオに関する同じパケットデータを１回、通信装置３ｂに送信する。
一方、通信装置３ａは、上記検出した伝送時間が上記所定の時間を超えない場合に、同じオーディオおよびビデオに関するパケットデータをそれぞれ１回づつ通信装置３ｂに送信する。
【００１７】
通信装置３ａと３ｂとの間の通信は、ＩＥＴＦの規定文書ＲＦＣ１８８９にて規定されるＲＴＰ(Real-time Transport Protocol)パケットデータおよびＲＴＣＰ(Real-time Transport Control Protocol)パケットデータを送受信して行われる。
ＲＴＰパケットデータは、オーディオデータおよびビデオデータを符号化したデータを伝送するためのパケットデータであり、ビデオ、オーディオおよびそれ以外のデータ毎に独立のストリームである。
ＲＴＣＰデータは、メディアごとのＲＴＰパケットデータの制御用のパケットである。ＲＴＣＰパケットデータのフォーマットを拡張し、送受信することにより、後述するＡＲＱ(Auto Repeat reQuest) が実現される。
【００１８】
図２に示すように、通信装置３ａは、例えば、送受信部２１、ＲＴＣＰパケット解析部２２、ＲＴＣＰパケット生成部２３、ネットワーク監視部２４、ＲＴＰパケット解析部２５、受信バッファメモリ２６、復号部２７、パケット送信制御部２８、符号化部２９、ＲＴＰパケット化部３０、送信バッファメモリ３１および再送信バッファメモリ３２を有する。
なお、通信装置３ｂは、例えば、通信装置３ａと同じ構成を有している。
【００１９】
図２において、ネットワーク監視部２４のＲＴＴ(Round Trip Time)計測部３５が第１、第２、第５の発明の伝送時間検出手段、並びに第３の発明の第１の伝送時間検出手段および第３の発明の第２の伝送時間検出手段に対応し、パケット送信制御部２８が第１、第５の発明の制御手段および第３の発明の第１の制御手段に対応している。
また、図５に示すパケット送信制御部２８内の受信バッファ監視部５２が第２、第３、第５の発明のパケット欠落検出手段に対応し、再送制御部５５が第２の発明の制御手段および第３の発明の第２の制御手段に対応している。
また、受信バッファメモリ２６が本発明のデータ保持手段に対応している。
【００２０】
以下、図２に示す各構成要素について説明する。
送受信部２１は、ＲＴＣＰパケット生成部２２、送信バッファメモリ３１および再送信バッファメモリ３２から入力したパケットデータに対してＩＰｖ４，ＩＰｖ６などのＩＰヘッダなどを付加してネットワーク９に送出する。
送受信部２１は、ネットワーク９から入力したパケットデータのＩＰヘッダを基に所定のＩＰ処理を行い、当該パケットデータ内のＲＴＣＰパケットをＲＴＣＰパケット解析部２３に出力し、ＲＴＰパケットデータをＲＴＰパケット解析部２５に出力する。
【００２１】
ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがネットワーク遅延計測用のパケットデータＥＣＨＯである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの送信指示をＲＴＣＰパケット生成部２２に出力する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがパケットデータＥＣＨＯ−ＲＥＰＬＹである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの受信時刻、並びに当該パケットデータＥＣＨＯ−ＲＥＰＬＹに含まれる受信時刻および送信時刻をネットワーク監視部２４に通知する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータが再送要求ＮＡＣＫの場合には、その旨をパケット送信制御部２８に通知する。
【００２２】
ＲＴＣＰパケット生成部２３は、ＲＴＣＰパケット解析部２２からパケットデータＥＣＨＯ−ＲＥＰＬＹの送信指示を受けると、パケットデータＥＣＨＯ−ＲＥＰＬＹを、上記パケットデータＥＣＨＯの送信元（通信装置３ｂ）に送信する。このとき、ＲＴＣＰパケット生成部２３は、パケットデータＥＣＨＯ−ＲＥＰＬＹ内に、それに対応するパケットデータＥＣＨＯの受信時刻と、当該パケットデータＥＣＨＯ−ＲＥＰＬＹの送信時刻とを格納する。
また、ＲＴＣＰパケット生成部２３は、ネットワーク監視部２４からの指示に応じて定期的に、パケットデータＥＣＨＯを通信装置３ｂに送信する。
また、ＲＴＣＰパケット生成部２３は、パケット送信制御部２８から再送要求ＮＡＣＫの送信指示を受けると、再送要求ＮＡＣＫを通信装置３ｂに送信する。
【００２３】
ネットワーク監視部２４は、ＥＣＨＯパケットデータを送信する指示を定期的にＲＴＣＰパケット生成部２３に出す。
また、ネットワーク監視部２４は、ＲＴＴ計測部３５およびパケットロス検出部３６を有する。
ＲＴＴ計測部３５は、パケットデータＥＣＨＯの送信時刻と、当該パケットデータＥＣＨＯに対応してＲＴＣＰパケット生成部２３から受けた上記通知とを基に、通信装置３ａと３ｂとの間のパケットデータが往復する時間である往復伝送時間ＲＴＴを生成する。
パケットロス検出部３６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータのシーケンス番号を基にパケットロスを検出し、パケットロス検出結果ＰＬをパケット送信制御部２８に通知する。
【００２４】
ＲＴＰパケット解析部２５は、送受信部２１から入力した図３に示すＲＴＰパケットデータの種別（ＴＹＰＥ）、並びにシーケンス番号（ＮＵＭ）を解析し、その結果をパケット送信制御部２８に通知する。
種別ＴＹＰＥは、ＲＴＰパケットデータに含まれるペイロードデータＰＡＹＬがオーディオデータ、ビデオデータ、それ以外のデータの何れであるかを示している。
シーケンス番号ＮＵＭは、複数のＲＴＰパケットデータのペイロードデータＰＡＹＬによってオーディオデータおよびビデオデータが構成される場合に、その復号順などを示している。
【００２５】
受信バッファメモリ２６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータを、所定の時間保持した後に復号部２７に出力する。
具体的には、受信バッファメモリ２６は、入力したＲＴＰパケットデータを、パケット送信制御部２８によって制御された時間保持した後に後段の復号部２７に出力する。すなわち、受信バッファメモリ２６のバッファ長は、パケット送信制御部２８によって制御される。
受信バッファメモリ２６は、ビデオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、オーディオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、それ以外のデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力する。
【００２６】
復号部２７は、例えば、図４に示すように、入力処理部４１、ビデオ復号部４２、Ｄ／Ａ部４３、オーディオ復号部４４、Ｄ／Ａ部４５、データ復号部４６およびＤ／Ａ部４７を有する。
入力処理部４１は、受信バッファメモリ２６から入力したＲＴＰパケットデータのうち、ビデオのＲＴＰパケットデータをビデオ復号部４２に出力し、オーディオのＲＴＰパケットデータをオーディオ復号部４４に出力し、それ以外のパケットデータをデータ復号部４６に出力する。
ビデオ復号部４２は、ビデオのＲＴＰパケットデータを復号してＤ／Ａ部４３でアナログ信号にしてモニタ１０ａに出力する。
オーディオ復号部４４は、オーディオのＲＴＰパケットデータを復号してＤ／Ａ部４５でアナログ信号にしてスピーカ１１ａに出力する。
データ復号部４６は、入力処理部４１から入力したパケットデータを復号してＤ／Ａ部４７でアナログ信号にして所定の処理装置に出力する。
【００２７】
パケット送信制御部２８は、例えば、図５に示すように、パケットロス率検出部５１、受信バッファ監視部５２、モード選択部５３、受信バッファ長制御部５４、再送制御部５５、送信制御部５６およびタイマ５７を有する。
パケットロス率検出部５１は、ネットワーク監視部２４から入力したパケットロス検出結果ＰＬを基に、パケットロス率ＰＬＲを生成する。
【００２８】
受信バッファ監視部５２は、タイマ５７で規定される時間間隔ＳＮＣＣ(SyncNack Check Cycle) で、既に再送要求ＮＡＣＫを出したＲＴＰパケットデータが受信バッファメモリ２６に既に記憶されているか否かを監視する。
【００２９】
モード選択部５３は、受信バッファメモリ２６についての許容バッファリング遅延時間ＰＢＤ（第１の発明の最長時間）を決定する。
許容バッファリング遅延時間ＰＢＤは、通信装置３ａと３ｂとの間でリアルタム通信を行うために許容される全体遅延時間（通信装置３ｂがオーディオやビデオを符号化部２９へ入力してから、当該ＲＴＰパケットデータに応じた信号が復号部２７から出力されるまでの時間）から、通信装置３ａ内で生じる受信バッファメモリ２６以外の構成要素による遅延時間とネットワーク９上で生じる遅延時間とを差し引いた時間である。
通信装置３ａ内で生じる受信バッファメモリ２６以外の構成要素による遅延時間としては、例えば、パケットロスの検出遅れ時間、リップシンク遅延時間およびそれ以外の固定遅延時間がある。
ここで、パケットロスの検出遅れ時間は、前述したようにネットワーク監視部２４のパケットロス検出部３６でパケットロスを検出するのに要する時間であり、パケットロスがバースト的に発生する場合以外はパケット受信間隔となり、固定時間である。
また、リップシンク遅延時間も固定時間である。
一方、ネットワーク９上で生じる遅延時間は、通信装置３ａから３ｂにＲＴＰパケットデータを送信する際にネットワーク９上を当該ＲＴＰパケットデータが伝送する時間であり、ネットワーク９の負荷状態などによって変動する。
従って、モード選択部５３は、変動するネットワーク９上で生じる遅延時間を得られれば、受信バッファメモリ２６についての許容バッファリング遅延時間ＰＢＤを決定できる。すなわち、モード選択部５３は、例えば、ネットワーク監視部２４のＲＴＴ計測部３５から入力した往復伝送時間ＲＴＴを基に、許容バッファリング遅延時間ＰＢＤを決定する。
【００３０】
モード選択部５３は、上記決定した許容バッファリング遅延時間ＰＢＤと、ＲＴＴ計測部３５が計測した往復伝送時間ＲＴＴ、同期型の再送要求ＮＡＣＫを送信する間隔を示す時間ＳＮＣＣ(Sync Nack Check Cycle) と、パケットロス率検出部５１が検出したパケットロス率ＰＬＲとを基に、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのうち何れかのモードを選択する。
図６は、モード選択部５３のモード選択動作を説明するためのフローチャートである。
また、図７は、パケットロス率ＰＬＲおよび往復伝送時間ＲＴＴと、モード選択部５３によるモード選択との対応を視覚的に示す図である。
【００３１】
なお、図６および図７において、ＡＲＱ１モードおよびＡＲＱ２モードが第１〜第４の発明の第１の動作に対応し、オーディオ２重送信モードが第１〜第４の発明の第２の動作に対応している。
また、ＡＲＱモード１が第５および第６の発明の第１の動作に対応し、ＡＲＱモード２が第５および第６の発明の第２の動作に対応している。
【００３２】
ステップＳＴ１：
モード選択部５３は、往復伝送時間ＲＴＴと時間ＳＮＣＣとの総和が許容バッファリング遅延時間ＰＢＤ以下の場合にステップＳＴ２に進み、そうでない場合にステップＳＴ５に進む。
ステップＳＴ２：
モード選択部５３は、パケットロス率ＰＬＲが「０」であるか否かを判断し、「０」であると判断するとステップＳＴ４に進み、そうでない場合にステップＳＴ３に進む。
ステップＳＴ３：
モード選択部５３は、ＡＲＱ２モードを選択する。
ここで、ＡＲＱ２モードは、後述するように、パケットロス発生時に、非同期型の再送要求ＮＡＣＫに加えて、同期型の再送要求ＮＡＣＫを送信するモードであり、ＡＲＱ１モードに比べてパケットロスに対しての耐性が高い。
本実施形態では、上述したように、往復伝送時間ＲＴＴが短く、しかも、パケットロスが生じている場合に、ＡＲＱ２モードを選択することで、リアルタイム性を損なわない範囲で、受信側において高い品質のオーディオおよびビデオの出力が得られる。
【００３３】
ステップＳＴ４：
モード選択部５３は、スタンバイモードを選択する。
ここで、スタンバイモードは、後述するように、再送要求ＮＡＣＫを出さず、しかも、受信バッファメモリ２６のバッファ長を０にする、すなわちバッファリングを行わないモードである。
本実施形態では、上述したように、パケットロスが生じない場合に、当該スタンバイモードを選択することで、高いリアルタイム性を達成できる。
【００３４】
ステップＳＴ５：
モード選択部５３は、往復伝送時間ＲＴＴが許容バッファリング遅延時間ＰＢＤ以下の場合にステップＳＴ６に進み、そうでない場合にステップＳＴ８に進む。
ステップＳＴ６：
モード選択部５３は、パケットロス率ＰＬＲが「０」であるか否かを判断し、「０」であると判断するとステップＳＴ４に進み、そうでない場合にステップＳＴ７に進む。
ステップＳＴ７：
モード選択部５３は、ＡＲＱ１モードを選択する。
ここで、ＡＲＱ１モードは、後述するように、パケットロス発生時に、非同期型の再送要求ＮＡＣＫのみを送信するモードであり、ＡＲＱ１モードに比べてパケットロスに対しての耐性は低いが、ある程度の耐性を有している。
本実施形態では、上述したように、往復伝送時間ＲＴＴがある程度短く、しかも、パケットロスが生じている場合に、ＡＲＱ１モードを選択することで、リアルタイム性を損なわない範囲で、受信側においてある程度高い品質のオーディオおよびビデオの出力が得られる。
【００３５】
ステップＳＴ８：
モード選択部５３は、オーディオ２重送信モードを選択する。
ここで、オーディオ２重送信モードは、オーディオのパケットデータをそれぞれ２回送信し、ビデオのパケットデータは１回送信し、再送要求ＮＡＣＫを送信しないモードである。
本実施形態では、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤより大きい場合に、オーディオ２重送信モードを採用することで、オーディオのパケットデータについては、受信側の通信装置が高い確率で受信することができ、オーディオ出力のリアルタイム性は確保される。これにより、オーディオを利用したコミュニケーションを円滑に行うことができる。一方、ビデオのパケットデータによる出力は、遅延するが、それがコミュニケーションに与える影響はオーディオに比べて小さい。また、オーディオのパケットデータのデータ量は、ビデオのパケットデータに比べて小さいため、２重送信しても、ネットワーク９の負荷に与える影響は比較的小さい。
なお、本実施形態では、例えば、パケットロス率が極めて高い場合（ある一定の値を超えた場合）に、図７に示すように、スタンバイモードに移行することで、ネットワーク９の負荷を軽減できる。
【００３６】
再送制御部５５は、モード選択部５３が選択した上記各モードに応じて以下の処理を行う。
再送制御部５５は、ＡＲＱ１モードを選択した場合に、ネットワーク監視部２４からのパケットロス検出結果ＰＬを基にパケットロスが発生した場合に、非同期型の再送要求ＮＡＣＫのみを通信装置３ｂに送信するようにＲＴＣＰパケット生成部２３に指示を出す。
ここで非同期型の再送要求ＮＡＣＫは、再送制御部５５がネットワーク監視部２４からのパケットロス検出結果がパケットロスを検出したことを示した後に直ちにＲＴＣＰパケット生成部２３から送信される再送要求である。
パケットロスが発生した場合に、パケットロスしたＲＴＰパケットデータに続くＲＴＰパケットデータを受信バッファメモリ２６に保持する必要がある時間は、非同期型の再送要求ＮＡＣＫを送信してから、当該再送要求ＮＡＣＫに対応したＲＴＰパケットデータを受信するまでの時間、すなわち往復伝送時間ＲＴＴとなる。これが、受信バッファメモリ２６の最小遅延時間ＭＤＴとなる。
【００３７】
再送制御部５５は、ＡＲＱ２モードを選択した場合に、上述した非同期型の再送要求ＮＡＣＫの他に、同期型の再送要求ＮＡＣＫの送信指示をＲＴＣＰパケット生成部２３に出す。
ここで、同期型の再送要求ＮＡＣＫは、受信バッファ監視部５２による受信バッファメモリ２６の上記時間間隔ＳＮＣＣでの監視結果を基に、再送要求ＮＡＣＫが出されたＲＴＰパケットデータが受信バッファメモリ２６に未だ記憶されていない場合にパケット送信制御部２８によってＲＴＣＰパケット生成部２３に送信指示が出される再送要求である。
パケットロスが発生した場合に、上述したＡＲＱ１モードの最小遅延時間と時間間隔ＳＮＣＣとの総和が受信バッファメモリ２６の最小遅延時間ＭＤＴとなる。
【００３８】
再送制御部５５は、オーディオ２重送信モードを選択した場合に、再送要求ＮＡＣＫの送信指示は出さない。
再送制御部５５は、スタンバイモードを選択した場合に、再送要求ＮＡＣＫの送信指示は出さない。
【００３９】
受信バッファ長制御部５４は、モード選択部５３が選択したモードに応じて、受信バッファメモリ２６のバッファ長を制御する。
上述した受信バッファメモリ２６の最小遅延時間ＭＤＴを、ネットワーク９を介した通信レート（ビットレート）から規定されるパケットデータの平均受信間隔で割ることにより、受信バッファメモリ２６が記憶すべきパケットデータの数が得られる。
受信バッファ長制御部５４は、例えば、上述したＡＲＱ１モードまたはＡＲＱ２モードがモード選択部５３によって選択された場合に、上述した受信バッファメモリ２６が記憶すべきパケットデータの数分のバッファ長を受信バッファメモリ２６が持つように制御する。
また、モード選択部５３は、例えば、上述したオーディオ２重送信モードまたはスタンバイモードが選択された場合に、受信バッファメモリ２６のバッファ長を０に制御、すなわちバッファリングを行わないように制御する。
なお、モード選択部５３は、例えば、リップシンクのためのオーディオのパケットデータの遅延量がパケットデータの受信間隔より長い場合には、オーディオのパケットデータのバッファリングのためのバッファ長を、ビデオのパケットデータのバッファリングのためのバッファ長より長くする。これにより、復号部２７において、リップシンクのためのバッファメモリを設ける必要がなくなる。
なお、リップシンクのための機能の一部のみを受信バッファメモリ２６に持たせ、残りを復号部２７内にリップシンク用のバッファメモリに持たせてもよい。
【００４０】
送信制御部５６は、ＡＲＱ１モード、ＡＲＱ２モードあるいはスタンバイモードが選択された場合には、送信バッファメモリ３１に対してのみ送信指示を出す。
これにより、オーディオデータを構成する連続した複数のＲＴＰパケットデータ、並びにビデオデータを構成する複数のＲＴＰパケットデータがそれぞれ１回づつ通信装置３ｂに送信される。
また、送信制御部５６は、オーディオ２重送信モードまたはスタンバイモード、ＡＲＱ２モードあるいはスタンバイモードが選択された場合には、送信バッファメモリ３１に送信指示を出す。また、送信制御部５６は、再送信バッファメモリ３２に対して、オーディオのＲＴＰパケットデータの送信指示を出す。
これにより、オーディオデータを構成する連続した複数のパケットデータがそれぞれ２回づつ通信装置３ｂに送信され、ビデオデータを構成する複数のパケットデータがそれぞれ１回づつ通信装置３ｂに送信される。
【００４１】
以下、上述した通信システム１の動作例を説明する。
先ず、通信システム１では、通信装置３ａ，３ｂが、図６および図７を用いて説明したように、モード選択部５３は、上記決定した許容バッファリング遅延時間ＰＢＤと、ＲＴＴ計測部３５が計測した往復伝送時間ＲＴＴ、同期型の再送要求ＮＡＣＫを送信する間隔を示す時間ＳＮＣＣと、パケットロス率検出部５１が検出したパケットロス率ＰＬＲとを基に、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのうち何れかのモードを選択する。
【００４２】
以下、各モードが選択された場合の通信システム１の動作例を説明する。
〔ＡＲＱ１モードでの動作例〕
例えば、通信装置３ａの符号化部２９が、カメラ１２ａから入力したビデオデータと、マイク１３ａから入力したオーディオデータとを符号化してＲＴＰパケット化部３０に出力する。
次に、ＲＴＰパケット化部３０が、符号化部２９から入力したビデオデータおよびオーディオデータからＲＴＰパケットデータを生成し、これらを復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持させる。
そして、パケット送信制御部２８からの送信指示により、送信バッファメモリ３１から読み出したビデオおよびオーディオのＲＴＰパケットデータを送受信部２１からネットワーク９を介して通信装置３ｂに送信させる。
【００４３】
そして、通信装置３ｂのＲＴＰパケット解析部２５が、受信したＲＴＰパケットデータを送受信部２１を介して入力し、そのシーケンス番号などの解析結果をネットワーク監視部２４およびパケット送信制御部２８に出力する。
そして、パケット送信制御部２８が前述したように、パケットロスを検出し、消失したＲＴＰパケットデータの非同期型の再送要求ＮＡＣＫをＲＴＣＰパケット生成部２３に送信させる。
一方、受信バッファメモリ２６に格納された連続したＲＴＰパケットデータは、復号部２７に出力され、復号部２７で復号される。
そして、復号部２７からモニタ１０ａに復号されたビデオデータが出力され、復号部２７からスピーカ１１ａに復号されたオーディオデータが出力される。
【００４４】
一方、上述したように通信装置３ｂが送信した再送要求ＮＡＣＫは、通信装置３ａの送受信部２１を介してＲＴＣＰパケット解析部２２に入力され、その解析結果を基に、パケット送信制御部２８が、再送要求ＮＡＣＫに係わるＲＴＰパケットデータを指定した送信指示を再送信バッファメモリ３２に出力する。これにより、再送要求ＮＡＣＫに係わるＲＴＰパケットデータが通信装置３ｂに再送される。
【００４５】
〔ＡＲＱ２モードでの動作例〕
この場合に、上述したＡＲＱ１モードでの動作例において、通信装置３ｂのパケット送信制御部２８が、パケットロスが生じた場合に、非同期型の再送要求ＮＡＣＫに加えて同期型の再送要求ＮＡＣＫも送信する。
それ以外の通信装置３ａ，３ｂの動作例は、上述したＡＲＱ１モードでの動作例と同じである。
【００４６】
〔オーディオ２重モードでの動作例〕
ＡＲＱ１モードでの動作例と同様に、ＲＴＰパケット化部３０が生成したビデオデータおよびオーディオデータのＲＴＰパケットデータが、復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持される。
そして、パケット送信制御部２８からの送信指示により、送信バッファメモリ３１から読み出されたビデオおよびオーディオのＲＴＰパケットデータが送受信部２１からネットワーク９を介して通信装置３ｂに送信される。
また、パケット送信制御部２８からの送信指示により、再送信バッファメモリ３２に記憶されたオーディオのＲＴＰパケットデータが送受信部２１からネットワーク９を介して通信装置３ｂに送信される。
すなわち、オーディオについては、同じパケットデータが２回送信される。
【００４７】
そして、通信装置３ｂのＲＴＰパケット解析部２５が、送受信部２１を介して、上記ＲＴＰパケットデータを受信し、そのシーケンス番号などの解析結果をネットワーク監視部２４およびパケット送信制御部２８に出力する。
このとき、ＲＴＰパケット解析部２５は、オーディオに関する同じＲＴＰパケットデータを２つ（複数）受信した場合には、そのうち一つを選択して受信バッファメモリ２６に出力する。受信バッファメモリ２６は、例えば、入力したパケットデータを保持せずに、あるいはパケットデータの受信間隔分だけ保持して復号部２７に出力する。
また、パケット送信制御部２８は、パケットロスを検出した場合でも、再送要求ＮＡＣＫの送信指示は出さない。
上述した以外の通信装置３ａ，３ｂの動作は、ＡＲＱ１モードでの動作例と同じである。
【００４８】
〔スタンバイモードでの動作例〕
通信装置３ａのパケット送信制御部２８は、送信バッファメモリ３１に送信指示を出し、ビデオおよびオーディオのパケットデータを１回づつ送信する。
通信装置３ｂは、受信したパケットデータを、受信バッファメモリ２６における保持時間を「０」あるいはパケットデータの受信間隔分にして復号部２７に出力する。
【００４９】
以上説明したように、通信システム１によれば、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤより大きい場合に、通信装置３ａ，３ｂがオーディオ２重送信モードを選択する。これにより、オーディオのパケットデータについては、受信側の通信装置が高い確率で受信することができ、オーディオ出力のリアルタイム性は確保される。そのため、オーディオを利用したコミュニケーションを円滑に行うことができる。一方、ビデオのパケットデータによる出力は、遅延するが、コミュニケーションに与える影響はオーディオに比べて小さい。また、オーディオのパケットデータのデータ量は、ビデオのパケットデータに比べて小さいため、２重送信してもネットワーク９の負荷に与える影響は比較的小さくできる。
また、通信システム１によれば、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤ以下の場合に、ＡＲＱ１モードあるいはＡＲＱ２モードを選択する。これにより、リアルタイム性を損なわない範囲で、受信側において高い品質のオーディオおよびビデオの出力が得られる。
また、通信システム１によれば、リアルタイム性を損なわない範囲で、上述したように、ＡＲＱ１モードとＡＲＱ２モードとを選択して行うため、ＡＲＱ１モードのみを使用する場合に比べて、受信側において高い品質のオーディオおよびビデオの出力が得られる。
また、通信システム１によれば、パケットロス率が０の場合にスタンバイモードを選択することで、リアルタイム性をさらに高めることができる。
【００５０】
本発明は上述した実施形態には限定されない。
上述した実施形態では、図６および図７に示すように、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのなかからモードを選択した場合を例示したが、これらの一部のモードのなかから選択を行ってよい。
例えば、通信装置３ａ，３ｂは、許容バッファリング遅延時間ＰＢＤと往復伝送時間ＲＴＴとを基に、ＡＲＱ１モードおよびＡＲＱ２モードの何れか一方と、オーディオ２重送信モードとのうち一方を選択してもよい。
また、通信装置３ａ，３ｂは、許容バッファリング遅延時間ＰＢＤ、往復伝送時間ＲＴＴおよび時間ＳＭＣＣを基に、ＡＲＱ１モードおよびＡＲＱ２モードのうち一方を選択してもよい。この場合には、ＲＴＰパケットデータで送受信するのは、ビデオとオーディオの何れか一方でもよい。
【００５１】
【発明の効果】
以上説明したように、第１〜第４の発明によれば、オーディオ出力のリアルタイム性を安定して確保し、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置、その方法およびその通信システムを提供することができる。
また、第５および第６の発明によれば、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態に係わる通信システムの全体構成図である。
【図２】図２は、図１に示す通信装置の構成図である。
【図３】図３は、本発明の実施形態で使用されるＲＴＰパケットデータのフォーマットを説明するための図である。
【図４】図４は、図２に示す復号部の構成図である。
【図５】図５は、図２に示すパケット送信制御部の構成図である。
【図６】図６は、図５に示すモード選択部の動作例を説明するための図である。
【図７】図７は、図５に示すモード選択部の動作例を説明するための図である。
【符号の説明】
３ａ，３ｂ…通信装置、９…ネットワーク、１０ａ，１０ｂ…モニタ、１１ａ，１１ｂ…スピーカ、１２ａ，１２ｂ…カメラ、１３ａ，１３ｂ…マイク、２１…送受信部、２２…ＲＴＣＰパケット解析部、２３…ＲＴＣＰパケット生成部、２４…ネットワーク監視部、２５…ＲＴＰパケット解析部、２６…受信バッファメモリ、２７…復号部、２８…パケット送信制御部、２９…符号化部、３０…ＲＴＰパケット化部、３１…送信バッファメモリ、３２…再送信バッファメモリ、３５…ＲＴＴ計測部、３６…パケットロス検出部、５１…パケットロス率検出部、５２…受信バッファ監視部、５３…モード選択部、５４…受信バッファ長制御部、５５…再送制御部、５６…送信制御部、５７…タイマ
【発明の属する技術分野】
本発明は、例えば、パケットデータの伝送時間が変動する通信経路を介してパケットデータの通信を行う通信装置、その方法およびプログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システムなどの通信システムでは、連続して復号されるそれぞれ複数のオーディオおよびビデオのパケットデータの各々をそれぞれ１回ずつ送信側の通信装置が送信し、受信側の通信装置が受信したパケットデータを復号してビデオおよびオーディオをリアルタイムに出力する。
このような通信システムでは、上記パケットデータの送受信を、インターネットなどを利用したネットワークを介して行う場合がある。このようなネットワークは、ネットワーク上でのパケットデータの消失（パケットロス）や、ネットワークを介したパケットデータの伝送遅延が生じる。
上述したパケットロス対策として、パケットデータを受信した通信装置が、ネットワーク上で消失して受信していないパケットデータを特定し、その再送要求を送信側の通信装置に出す手法がある。
当該手法によれば、ネットワーク上で消失したパケットデータは受信側の通信装置が安定して受信できるので画像および音声の出力品質を高めることができる。しかしながら、受信側の通信装置は、再送要求を出してから、それに対応するパケットデータを受信するまでの間、当該パケットデータの復号を行うことができず、リアルタイム性を低下させる要因となる。
すなわち、上述した通信システムでは、リアルタイム性と、ビデオおよびオーディオの出力の品質とはトレードオフの関係にある。
上述した従来の通信システムでは、受信側の通信装置は、上述したパケットロスを検出すると再送要求を原則として常に送信している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の通信システムでは、オーディオのパケットデータがパケットロスした場合でも、ビデオのオーディオデータと同様に再送要求を出すため、ネットワークの遅延時間が大きい場合に、受信側の通信装置におけるオーディオ出力のリアルタイム性が損なわれることになる。通信装置を利用したコミュニケーションでは、オーディオ出力のリアルタイム性が損なわれると、コミュニケーションに支障を来す可能性が高いという問題がある。
その一方、ネットワークの遅延時間が小さい場合には、リアルタイム性を損なわない範囲で、高品質なビデオおよびオーディオの出力を得たいという要請がある。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、その目的は、受信側におけるオーディオの品質およびリアルタイム性を安定して確保し、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めるこ
とができる通信装置、その方法およびプログラムを提供することにある。
【０００５】
また、本発明のその他の目的は、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置、その方法、および、プログラムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明の通信装置は、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信装置であって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する伝送時間検出手段と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出するパケット欠落検出手段と、受信した前記パケットデータを保持し、当該保持した前記パケットデータを復号に供するデータ保持手段と、前記パケット欠落検出手段で検出された前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する検証手段と、前記パケット欠落検出手段の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記検証手段が前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を前記第１の動作に加えて行う第２の動作とのうち、前記伝送時間検出手段が検出した前記伝送時間を基に選択した動作を実行する制御手段とを有する。
【００１３】
本発明の通信装置において、伝送時間検出手段が、送信元との間の通信経路上での前記パケットデータの伝送時間を検出する。
また、パケット欠落手段が、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する。
また、検証手段が、前記パケット欠落検出手段で検出された前記欠落したパケットデータが、データ保持手段に保持されたか否かを所定の周期で検証する。
そして、制御手段が、前記パケット欠落検出手段の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記検証手段が前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を前記第１の動作に加えて行う第２の動作とのうち、前記伝送時間検出手段が検出した前記伝送時間を基に選択した動作を実行する。
【００１４】
本発明の通信方法は、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信方法であって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の工程と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の工程と、受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の工程と、前記第２の工程で検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の工程と、前記第２の工程の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の工程で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の工程とを有する。
また本発明のプログラムは、予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信処理を行うプログラムであって、前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の手順と、受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の手順と、受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の手順と、前記第２の手順により検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の手順と、前記第２の手順による検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の手順で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の手順とをコンピュータに実行させる、プログラムである。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態に係わる通信システムについて説明する。
図１は、本発明の実施形態に係わる通信システム１の全体構成図である。
図２は、図１に示す通信装置３ａ（３ｂ）の構成図である。
図１に示すように、通信システム１は、例えば、通信装置３ａ，３ｂを有し、これらがネットワーク９を介して通信を行う。
ここで、通信装置３ａ，３ｂの各々が第１、第２および第５の発明の通信装置、並びに第４の発明の第１の通信装置および第２の通信装置に対応している。
ネットワーク９は、例えば、ＴＣＰ／ＩＰ(Transmission Control protocol/Internet Protocol) などの通信プロトコルを利用した通信が行われる伝送負荷により伝送時間が変動すると共に、パケットロスなどが生じる可能性のあるネットワークである。
通信装置３ａ，３ｂは、テレビ会議システムの端末装置、パーソナルコンピュータ、ＰＤＡ(Personal Digital Assistants) などのオーディオおよびビデオのデータの符号化、復号、並びに送受信が可能な装置である。
通信装置３ａには、例えば、モニタ１０ａ、スピーカ１１ａ、カメラ１２ａおよびマイク１３ａが接続される。
通信装置３ｂには、例えば、モニタ１０ｂ、スピーカ１１ｂ、カメラ１２ｂおよびマイク１３ｂが接続される。
【００１６】
通信システム１は、通信装置３ａと３ｂとが、ネットワーク９を介して、オーディオデータおよびビデオデータによるリアルタイムなコミュニケーションを双方向通信により行う。
通信システム１では、例えば、通信装置３ａから通信装置３ｂにオーディオおよびビデオのパケットデータを送信する場合に、通信装置３ａが通信装置３ｂとの間のネットワーク９を介したパケットデータの伝送時間を計測する。
そして、通信装置３ａが、上記検出した伝送時間が所定の時間を超える場合に、オーディオに関する同じパケットデータを複数回、通信装置３ｂに送信し、ビデオに関する同じパケットデータを１回、通信装置３ｂに送信する。
一方、通信装置３ａは、上記検出した伝送時間が上記所定の時間を超えない場合に、同じオーディオおよびビデオに関するパケットデータをそれぞれ１回づつ通信装置３ｂに送信する。
【００１７】
通信装置３ａと３ｂとの間の通信は、ＩＥＴＦの規定文書ＲＦＣ１８８９にて規定されるＲＴＰ(Real-time Transport Protocol)パケットデータおよびＲＴＣＰ(Real-time Transport Control Protocol)パケットデータを送受信して行われる。
ＲＴＰパケットデータは、オーディオデータおよびビデオデータを符号化したデータを伝送するためのパケットデータであり、ビデオ、オーディオおよびそれ以外のデータ毎に独立のストリームである。
ＲＴＣＰデータは、メディアごとのＲＴＰパケットデータの制御用のパケットである。ＲＴＣＰパケットデータのフォーマットを拡張し、送受信することにより、後述するＡＲＱ(Auto Repeat reQuest) が実現される。
【００１８】
図２に示すように、通信装置３ａは、例えば、送受信部２１、ＲＴＣＰパケット解析部２２、ＲＴＣＰパケット生成部２３、ネットワーク監視部２４、ＲＴＰパケット解析部２５、受信バッファメモリ２６、復号部２７、パケット送信制御部２８、符号化部２９、ＲＴＰパケット化部３０、送信バッファメモリ３１および再送信バッファメモリ３２を有する。
なお、通信装置３ｂは、例えば、通信装置３ａと同じ構成を有している。
【００１９】
図２において、ネットワーク監視部２４のＲＴＴ(Round Trip Time)計測部３５が第１、第２、第５の発明の伝送時間検出手段、並びに第３の発明の第１の伝送時間検出手段および第３の発明の第２の伝送時間検出手段に対応し、パケット送信制御部２８が第１、第５の発明の制御手段および第３の発明の第１の制御手段に対応している。
また、図５に示すパケット送信制御部２８内の受信バッファ監視部５２が第２、第３、第５の発明のパケット欠落検出手段に対応し、再送制御部５５が第２の発明の制御手段および第３の発明の第２の制御手段に対応している。
また、受信バッファメモリ２６が本発明のデータ保持手段に対応している。
【００２０】
以下、図２に示す各構成要素について説明する。
送受信部２１は、ＲＴＣＰパケット生成部２２、送信バッファメモリ３１および再送信バッファメモリ３２から入力したパケットデータに対してＩＰｖ４，ＩＰｖ６などのＩＰヘッダなどを付加してネットワーク９に送出する。
送受信部２１は、ネットワーク９から入力したパケットデータのＩＰヘッダを基に所定のＩＰ処理を行い、当該パケットデータ内のＲＴＣＰパケットをＲＴＣＰパケット解析部２３に出力し、ＲＴＰパケットデータをＲＴＰパケット解析部２５に出力する。
【００２１】
ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがネットワーク遅延計測用のパケットデータＥＣＨＯである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの送信指示をＲＴＣＰパケット生成部２２に出力する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがパケットデータＥＣＨＯ−ＲＥＰＬＹである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの受信時刻、並びに当該パケットデータＥＣＨＯ−ＲＥＰＬＹに含まれる受信時刻および送信時刻をネットワーク監視部２４に通知する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータが再送要求ＮＡＣＫの場合には、その旨をパケット送信制御部２８に通知する。
【００２２】
ＲＴＣＰパケット生成部２３は、ＲＴＣＰパケット解析部２２からパケットデータＥＣＨＯ−ＲＥＰＬＹの送信指示を受けると、パケットデータＥＣＨＯ−ＲＥＰＬＹを、上記パケットデータＥＣＨＯの送信元（通信装置３ｂ）に送信する。このとき、ＲＴＣＰパケット生成部２３は、パケットデータＥＣＨＯ−ＲＥＰＬＹ内に、それに対応するパケットデータＥＣＨＯの受信時刻と、当該パケットデータＥＣＨＯ−ＲＥＰＬＹの送信時刻とを格納する。
また、ＲＴＣＰパケット生成部２３は、ネットワーク監視部２４からの指示に応じて定期的に、パケットデータＥＣＨＯを通信装置３ｂに送信する。
また、ＲＴＣＰパケット生成部２３は、パケット送信制御部２８から再送要求ＮＡＣＫの送信指示を受けると、再送要求ＮＡＣＫを通信装置３ｂに送信する。
【００２３】
ネットワーク監視部２４は、ＥＣＨＯパケットデータを送信する指示を定期的にＲＴＣＰパケット生成部２３に出す。
また、ネットワーク監視部２４は、ＲＴＴ計測部３５およびパケットロス検出部３６を有する。
ＲＴＴ計測部３５は、パケットデータＥＣＨＯの送信時刻と、当該パケットデータＥＣＨＯに対応してＲＴＣＰパケット生成部２３から受けた上記通知とを基に、通信装置３ａと３ｂとの間のパケットデータが往復する時間である往復伝送時間ＲＴＴを生成する。
パケットロス検出部３６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータのシーケンス番号を基にパケットロスを検出し、パケットロス検出結果ＰＬをパケット送信制御部２８に通知する。
【００２４】
ＲＴＰパケット解析部２５は、送受信部２１から入力した図３に示すＲＴＰパケットデータの種別（ＴＹＰＥ）、並びにシーケンス番号（ＮＵＭ）を解析し、その結果をパケット送信制御部２８に通知する。
種別ＴＹＰＥは、ＲＴＰパケットデータに含まれるペイロードデータＰＡＹＬがオーディオデータ、ビデオデータ、それ以外のデータの何れであるかを示している。
シーケンス番号ＮＵＭは、複数のＲＴＰパケットデータのペイロードデータＰＡＹＬによってオーディオデータおよびビデオデータが構成される場合に、その復号順などを示している。
【００２５】
受信バッファメモリ２６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータを、所定の時間保持した後に復号部２７に出力する。
具体的には、受信バッファメモリ２６は、入力したＲＴＰパケットデータを、パケット送信制御部２８によって制御された時間保持した後に後段の復号部２７に出力する。すなわち、受信バッファメモリ２６のバッファ長は、パケット送信制御部２８によって制御される。
受信バッファメモリ２６は、ビデオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、オーディオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、それ以外のデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力する。
【００２６】
復号部２７は、例えば、図４に示すように、入力処理部４１、ビデオ復号部４２、Ｄ／Ａ部４３、オーディオ復号部４４、Ｄ／Ａ部４５、データ復号部４６およびＤ／Ａ部４７を有する。
入力処理部４１は、受信バッファメモリ２６から入力したＲＴＰパケットデータのうち、ビデオのＲＴＰパケットデータをビデオ復号部４２に出力し、オーディオのＲＴＰパケットデータをオーディオ復号部４４に出力し、それ以外のパケットデータをデータ復号部４６に出力する。
ビデオ復号部４２は、ビデオのＲＴＰパケットデータを復号してＤ／Ａ部４３でアナログ信号にしてモニタ１０ａに出力する。
オーディオ復号部４４は、オーディオのＲＴＰパケットデータを復号してＤ／Ａ部４５でアナログ信号にしてスピーカ１１ａに出力する。
データ復号部４６は、入力処理部４１から入力したパケットデータを復号してＤ／Ａ部４７でアナログ信号にして所定の処理装置に出力する。
【００２７】
パケット送信制御部２８は、例えば、図５に示すように、パケットロス率検出部５１、受信バッファ監視部５２、モード選択部５３、受信バッファ長制御部５４、再送制御部５５、送信制御部５６およびタイマ５７を有する。
パケットロス率検出部５１は、ネットワーク監視部２４から入力したパケットロス検出結果ＰＬを基に、パケットロス率ＰＬＲを生成する。
【００２８】
受信バッファ監視部５２は、タイマ５７で規定される時間間隔ＳＮＣＣ(SyncNack Check Cycle) で、既に再送要求ＮＡＣＫを出したＲＴＰパケットデータが受信バッファメモリ２６に既に記憶されているか否かを監視する。
【００２９】
モード選択部５３は、受信バッファメモリ２６についての許容バッファリング遅延時間ＰＢＤ（第１の発明の最長時間）を決定する。
許容バッファリング遅延時間ＰＢＤは、通信装置３ａと３ｂとの間でリアルタム通信を行うために許容される全体遅延時間（通信装置３ｂがオーディオやビデオを符号化部２９へ入力してから、当該ＲＴＰパケットデータに応じた信号が復号部２７から出力されるまでの時間）から、通信装置３ａ内で生じる受信バッファメモリ２６以外の構成要素による遅延時間とネットワーク９上で生じる遅延時間とを差し引いた時間である。
通信装置３ａ内で生じる受信バッファメモリ２６以外の構成要素による遅延時間としては、例えば、パケットロスの検出遅れ時間、リップシンク遅延時間およびそれ以外の固定遅延時間がある。
ここで、パケットロスの検出遅れ時間は、前述したようにネットワーク監視部２４のパケットロス検出部３６でパケットロスを検出するのに要する時間であり、パケットロスがバースト的に発生する場合以外はパケット受信間隔となり、固定時間である。
また、リップシンク遅延時間も固定時間である。
一方、ネットワーク９上で生じる遅延時間は、通信装置３ａから３ｂにＲＴＰパケットデータを送信する際にネットワーク９上を当該ＲＴＰパケットデータが伝送する時間であり、ネットワーク９の負荷状態などによって変動する。
従って、モード選択部５３は、変動するネットワーク９上で生じる遅延時間を得られれば、受信バッファメモリ２６についての許容バッファリング遅延時間ＰＢＤを決定できる。すなわち、モード選択部５３は、例えば、ネットワーク監視部２４のＲＴＴ計測部３５から入力した往復伝送時間ＲＴＴを基に、許容バッファリング遅延時間ＰＢＤを決定する。
【００３０】
モード選択部５３は、上記決定した許容バッファリング遅延時間ＰＢＤと、ＲＴＴ計測部３５が計測した往復伝送時間ＲＴＴ、同期型の再送要求ＮＡＣＫを送信する間隔を示す時間ＳＮＣＣ(Sync Nack Check Cycle) と、パケットロス率検出部５１が検出したパケットロス率ＰＬＲとを基に、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのうち何れかのモードを選択する。
図６は、モード選択部５３のモード選択動作を説明するためのフローチャートである。
また、図７は、パケットロス率ＰＬＲおよび往復伝送時間ＲＴＴと、モード選択部５３によるモード選択との対応を視覚的に示す図である。
【００３１】
なお、図６および図７において、ＡＲＱ１モードおよびＡＲＱ２モードが第１〜第４の発明の第１の動作に対応し、オーディオ２重送信モードが第１〜第４の発明の第２の動作に対応している。
また、ＡＲＱモード１が第５および第６の発明の第１の動作に対応し、ＡＲＱモード２が第５および第６の発明の第２の動作に対応している。
【００３２】
ステップＳＴ１：
モード選択部５３は、往復伝送時間ＲＴＴと時間ＳＮＣＣとの総和が許容バッファリング遅延時間ＰＢＤ以下の場合にステップＳＴ２に進み、そうでない場合にステップＳＴ５に進む。
ステップＳＴ２：
モード選択部５３は、パケットロス率ＰＬＲが「０」であるか否かを判断し、「０」であると判断するとステップＳＴ４に進み、そうでない場合にステップＳＴ３に進む。
ステップＳＴ３：
モード選択部５３は、ＡＲＱ２モードを選択する。
ここで、ＡＲＱ２モードは、後述するように、パケットロス発生時に、非同期型の再送要求ＮＡＣＫに加えて、同期型の再送要求ＮＡＣＫを送信するモードであり、ＡＲＱ１モードに比べてパケットロスに対しての耐性が高い。
本実施形態では、上述したように、往復伝送時間ＲＴＴが短く、しかも、パケットロスが生じている場合に、ＡＲＱ２モードを選択することで、リアルタイム性を損なわない範囲で、受信側において高い品質のオーディオおよびビデオの出力が得られる。
【００３３】
ステップＳＴ４：
モード選択部５３は、スタンバイモードを選択する。
ここで、スタンバイモードは、後述するように、再送要求ＮＡＣＫを出さず、しかも、受信バッファメモリ２６のバッファ長を０にする、すなわちバッファリングを行わないモードである。
本実施形態では、上述したように、パケットロスが生じない場合に、当該スタンバイモードを選択することで、高いリアルタイム性を達成できる。
【００３４】
ステップＳＴ５：
モード選択部５３は、往復伝送時間ＲＴＴが許容バッファリング遅延時間ＰＢＤ以下の場合にステップＳＴ６に進み、そうでない場合にステップＳＴ８に進む。
ステップＳＴ６：
モード選択部５３は、パケットロス率ＰＬＲが「０」であるか否かを判断し、「０」であると判断するとステップＳＴ４に進み、そうでない場合にステップＳＴ７に進む。
ステップＳＴ７：
モード選択部５３は、ＡＲＱ１モードを選択する。
ここで、ＡＲＱ１モードは、後述するように、パケットロス発生時に、非同期型の再送要求ＮＡＣＫのみを送信するモードであり、ＡＲＱ１モードに比べてパケットロスに対しての耐性は低いが、ある程度の耐性を有している。
本実施形態では、上述したように、往復伝送時間ＲＴＴがある程度短く、しかも、パケットロスが生じている場合に、ＡＲＱ１モードを選択することで、リアルタイム性を損なわない範囲で、受信側においてある程度高い品質のオーディオおよびビデオの出力が得られる。
【００３５】
ステップＳＴ８：
モード選択部５３は、オーディオ２重送信モードを選択する。
ここで、オーディオ２重送信モードは、オーディオのパケットデータをそれぞれ２回送信し、ビデオのパケットデータは１回送信し、再送要求ＮＡＣＫを送信しないモードである。
本実施形態では、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤより大きい場合に、オーディオ２重送信モードを採用することで、オーディオのパケットデータについては、受信側の通信装置が高い確率で受信することができ、オーディオ出力のリアルタイム性は確保される。これにより、オーディオを利用したコミュニケーションを円滑に行うことができる。一方、ビデオのパケットデータによる出力は、遅延するが、それがコミュニケーションに与える影響はオーディオに比べて小さい。また、オーディオのパケットデータのデータ量は、ビデオのパケットデータに比べて小さいため、２重送信しても、ネットワーク９の負荷に与える影響は比較的小さい。
なお、本実施形態では、例えば、パケットロス率が極めて高い場合（ある一定の値を超えた場合）に、図７に示すように、スタンバイモードに移行することで、ネットワーク９の負荷を軽減できる。
【００３６】
再送制御部５５は、モード選択部５３が選択した上記各モードに応じて以下の処理を行う。
再送制御部５５は、ＡＲＱ１モードを選択した場合に、ネットワーク監視部２４からのパケットロス検出結果ＰＬを基にパケットロスが発生した場合に、非同期型の再送要求ＮＡＣＫのみを通信装置３ｂに送信するようにＲＴＣＰパケット生成部２３に指示を出す。
ここで非同期型の再送要求ＮＡＣＫは、再送制御部５５がネットワーク監視部２４からのパケットロス検出結果がパケットロスを検出したことを示した後に直ちにＲＴＣＰパケット生成部２３から送信される再送要求である。
パケットロスが発生した場合に、パケットロスしたＲＴＰパケットデータに続くＲＴＰパケットデータを受信バッファメモリ２６に保持する必要がある時間は、非同期型の再送要求ＮＡＣＫを送信してから、当該再送要求ＮＡＣＫに対応したＲＴＰパケットデータを受信するまでの時間、すなわち往復伝送時間ＲＴＴとなる。これが、受信バッファメモリ２６の最小遅延時間ＭＤＴとなる。
【００３７】
再送制御部５５は、ＡＲＱ２モードを選択した場合に、上述した非同期型の再送要求ＮＡＣＫの他に、同期型の再送要求ＮＡＣＫの送信指示をＲＴＣＰパケット生成部２３に出す。
ここで、同期型の再送要求ＮＡＣＫは、受信バッファ監視部５２による受信バッファメモリ２６の上記時間間隔ＳＮＣＣでの監視結果を基に、再送要求ＮＡＣＫが出されたＲＴＰパケットデータが受信バッファメモリ２６に未だ記憶されていない場合にパケット送信制御部２８によってＲＴＣＰパケット生成部２３に送信指示が出される再送要求である。
パケットロスが発生した場合に、上述したＡＲＱ１モードの最小遅延時間と時間間隔ＳＮＣＣとの総和が受信バッファメモリ２６の最小遅延時間ＭＤＴとなる。
【００３８】
再送制御部５５は、オーディオ２重送信モードを選択した場合に、再送要求ＮＡＣＫの送信指示は出さない。
再送制御部５５は、スタンバイモードを選択した場合に、再送要求ＮＡＣＫの送信指示は出さない。
【００３９】
受信バッファ長制御部５４は、モード選択部５３が選択したモードに応じて、受信バッファメモリ２６のバッファ長を制御する。
上述した受信バッファメモリ２６の最小遅延時間ＭＤＴを、ネットワーク９を介した通信レート（ビットレート）から規定されるパケットデータの平均受信間隔で割ることにより、受信バッファメモリ２６が記憶すべきパケットデータの数が得られる。
受信バッファ長制御部５４は、例えば、上述したＡＲＱ１モードまたはＡＲＱ２モードがモード選択部５３によって選択された場合に、上述した受信バッファメモリ２６が記憶すべきパケットデータの数分のバッファ長を受信バッファメモリ２６が持つように制御する。
また、モード選択部５３は、例えば、上述したオーディオ２重送信モードまたはスタンバイモードが選択された場合に、受信バッファメモリ２６のバッファ長を０に制御、すなわちバッファリングを行わないように制御する。
なお、モード選択部５３は、例えば、リップシンクのためのオーディオのパケットデータの遅延量がパケットデータの受信間隔より長い場合には、オーディオのパケットデータのバッファリングのためのバッファ長を、ビデオのパケットデータのバッファリングのためのバッファ長より長くする。これにより、復号部２７において、リップシンクのためのバッファメモリを設ける必要がなくなる。
なお、リップシンクのための機能の一部のみを受信バッファメモリ２６に持たせ、残りを復号部２７内にリップシンク用のバッファメモリに持たせてもよい。
【００４０】
送信制御部５６は、ＡＲＱ１モード、ＡＲＱ２モードあるいはスタンバイモードが選択された場合には、送信バッファメモリ３１に対してのみ送信指示を出す。
これにより、オーディオデータを構成する連続した複数のＲＴＰパケットデータ、並びにビデオデータを構成する複数のＲＴＰパケットデータがそれぞれ１回づつ通信装置３ｂに送信される。
また、送信制御部５６は、オーディオ２重送信モードまたはスタンバイモード、ＡＲＱ２モードあるいはスタンバイモードが選択された場合には、送信バッファメモリ３１に送信指示を出す。また、送信制御部５６は、再送信バッファメモリ３２に対して、オーディオのＲＴＰパケットデータの送信指示を出す。
これにより、オーディオデータを構成する連続した複数のパケットデータがそれぞれ２回づつ通信装置３ｂに送信され、ビデオデータを構成する複数のパケットデータがそれぞれ１回づつ通信装置３ｂに送信される。
【００４１】
以下、上述した通信システム１の動作例を説明する。
先ず、通信システム１では、通信装置３ａ，３ｂが、図６および図７を用いて説明したように、モード選択部５３は、上記決定した許容バッファリング遅延時間ＰＢＤと、ＲＴＴ計測部３５が計測した往復伝送時間ＲＴＴ、同期型の再送要求ＮＡＣＫを送信する間隔を示す時間ＳＮＣＣと、パケットロス率検出部５１が検出したパケットロス率ＰＬＲとを基に、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのうち何れかのモードを選択する。
【００４２】
以下、各モードが選択された場合の通信システム１の動作例を説明する。
〔ＡＲＱ１モードでの動作例〕
例えば、通信装置３ａの符号化部２９が、カメラ１２ａから入力したビデオデータと、マイク１３ａから入力したオーディオデータとを符号化してＲＴＰパケット化部３０に出力する。
次に、ＲＴＰパケット化部３０が、符号化部２９から入力したビデオデータおよびオーディオデータからＲＴＰパケットデータを生成し、これらを復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持させる。
そして、パケット送信制御部２８からの送信指示により、送信バッファメモリ３１から読み出したビデオおよびオーディオのＲＴＰパケットデータを送受信部２１からネットワーク９を介して通信装置３ｂに送信させる。
【００４３】
そして、通信装置３ｂのＲＴＰパケット解析部２５が、受信したＲＴＰパケットデータを送受信部２１を介して入力し、そのシーケンス番号などの解析結果をネットワーク監視部２４およびパケット送信制御部２８に出力する。
そして、パケット送信制御部２８が前述したように、パケットロスを検出し、消失したＲＴＰパケットデータの非同期型の再送要求ＮＡＣＫをＲＴＣＰパケット生成部２３に送信させる。
一方、受信バッファメモリ２６に格納された連続したＲＴＰパケットデータは、復号部２７に出力され、復号部２７で復号される。
そして、復号部２７からモニタ１０ａに復号されたビデオデータが出力され、復号部２７からスピーカ１１ａに復号されたオーディオデータが出力される。
【００４４】
一方、上述したように通信装置３ｂが送信した再送要求ＮＡＣＫは、通信装置３ａの送受信部２１を介してＲＴＣＰパケット解析部２２に入力され、その解析結果を基に、パケット送信制御部２８が、再送要求ＮＡＣＫに係わるＲＴＰパケットデータを指定した送信指示を再送信バッファメモリ３２に出力する。これにより、再送要求ＮＡＣＫに係わるＲＴＰパケットデータが通信装置３ｂに再送される。
【００４５】
〔ＡＲＱ２モードでの動作例〕
この場合に、上述したＡＲＱ１モードでの動作例において、通信装置３ｂのパケット送信制御部２８が、パケットロスが生じた場合に、非同期型の再送要求ＮＡＣＫに加えて同期型の再送要求ＮＡＣＫも送信する。
それ以外の通信装置３ａ，３ｂの動作例は、上述したＡＲＱ１モードでの動作例と同じである。
【００４６】
〔オーディオ２重モードでの動作例〕
ＡＲＱ１モードでの動作例と同様に、ＲＴＰパケット化部３０が生成したビデオデータおよびオーディオデータのＲＴＰパケットデータが、復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持される。
そして、パケット送信制御部２８からの送信指示により、送信バッファメモリ３１から読み出されたビデオおよびオーディオのＲＴＰパケットデータが送受信部２１からネットワーク９を介して通信装置３ｂに送信される。
また、パケット送信制御部２８からの送信指示により、再送信バッファメモリ３２に記憶されたオーディオのＲＴＰパケットデータが送受信部２１からネットワーク９を介して通信装置３ｂに送信される。
すなわち、オーディオについては、同じパケットデータが２回送信される。
【００４７】
そして、通信装置３ｂのＲＴＰパケット解析部２５が、送受信部２１を介して、上記ＲＴＰパケットデータを受信し、そのシーケンス番号などの解析結果をネットワーク監視部２４およびパケット送信制御部２８に出力する。
このとき、ＲＴＰパケット解析部２５は、オーディオに関する同じＲＴＰパケットデータを２つ（複数）受信した場合には、そのうち一つを選択して受信バッファメモリ２６に出力する。受信バッファメモリ２６は、例えば、入力したパケットデータを保持せずに、あるいはパケットデータの受信間隔分だけ保持して復号部２７に出力する。
また、パケット送信制御部２８は、パケットロスを検出した場合でも、再送要求ＮＡＣＫの送信指示は出さない。
上述した以外の通信装置３ａ，３ｂの動作は、ＡＲＱ１モードでの動作例と同じである。
【００４８】
〔スタンバイモードでの動作例〕
通信装置３ａのパケット送信制御部２８は、送信バッファメモリ３１に送信指示を出し、ビデオおよびオーディオのパケットデータを１回づつ送信する。
通信装置３ｂは、受信したパケットデータを、受信バッファメモリ２６における保持時間を「０」あるいはパケットデータの受信間隔分にして復号部２７に出力する。
【００４９】
以上説明したように、通信システム１によれば、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤより大きい場合に、通信装置３ａ，３ｂがオーディオ２重送信モードを選択する。これにより、オーディオのパケットデータについては、受信側の通信装置が高い確率で受信することができ、オーディオ出力のリアルタイム性は確保される。そのため、オーディオを利用したコミュニケーションを円滑に行うことができる。一方、ビデオのパケットデータによる出力は、遅延するが、コミュニケーションに与える影響はオーディオに比べて小さい。また、オーディオのパケットデータのデータ量は、ビデオのパケットデータに比べて小さいため、２重送信してもネットワーク９の負荷に与える影響は比較的小さくできる。
また、通信システム１によれば、伝送往復時間ＲＴＴが許容バッファリング遅延時間ＰＢＤ以下の場合に、ＡＲＱ１モードあるいはＡＲＱ２モードを選択する。これにより、リアルタイム性を損なわない範囲で、受信側において高い品質のオーディオおよびビデオの出力が得られる。
また、通信システム１によれば、リアルタイム性を損なわない範囲で、上述したように、ＡＲＱ１モードとＡＲＱ２モードとを選択して行うため、ＡＲＱ１モードのみを使用する場合に比べて、受信側において高い品質のオーディオおよびビデオの出力が得られる。
また、通信システム１によれば、パケットロス率が０の場合にスタンバイモードを選択することで、リアルタイム性をさらに高めることができる。
【００５０】
本発明は上述した実施形態には限定されない。
上述した実施形態では、図６および図７に示すように、ＡＲＱ１モード、ＡＲＱ２モード、オーディオ２重送信モードおよびスタンバイモードのなかからモードを選択した場合を例示したが、これらの一部のモードのなかから選択を行ってよい。
例えば、通信装置３ａ，３ｂは、許容バッファリング遅延時間ＰＢＤと往復伝送時間ＲＴＴとを基に、ＡＲＱ１モードおよびＡＲＱ２モードの何れか一方と、オーディオ２重送信モードとのうち一方を選択してもよい。
また、通信装置３ａ，３ｂは、許容バッファリング遅延時間ＰＢＤ、往復伝送時間ＲＴＴおよび時間ＳＭＣＣを基に、ＡＲＱ１モードおよびＡＲＱ２モードのうち一方を選択してもよい。この場合には、ＲＴＰパケットデータで送受信するのは、ビデオとオーディオの何れか一方でもよい。
【００５１】
【発明の効果】
以上説明したように、第１〜第４の発明によれば、オーディオ出力のリアルタイム性を安定して確保し、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置、その方法およびその通信システムを提供することができる。
また、第５および第６の発明によれば、リアルタイム性を損なわない範囲で受信側におけるビデオおよびオーディオの出力品質を高めることができる通信装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態に係わる通信システムの全体構成図である。
【図２】図２は、図１に示す通信装置の構成図である。
【図３】図３は、本発明の実施形態で使用されるＲＴＰパケットデータのフォーマットを説明するための図である。
【図４】図４は、図２に示す復号部の構成図である。
【図５】図５は、図２に示すパケット送信制御部の構成図である。
【図６】図６は、図５に示すモード選択部の動作例を説明するための図である。
【図７】図７は、図５に示すモード選択部の動作例を説明するための図である。
【符号の説明】
３ａ，３ｂ…通信装置、９…ネットワーク、１０ａ，１０ｂ…モニタ、１１ａ，１１ｂ…スピーカ、１２ａ，１２ｂ…カメラ、１３ａ，１３ｂ…マイク、２１…送受信部、２２…ＲＴＣＰパケット解析部、２３…ＲＴＣＰパケット生成部、２４…ネットワーク監視部、２５…ＲＴＰパケット解析部、２６…受信バッファメモリ、２７…復号部、２８…パケット送信制御部、２９…符号化部、３０…ＲＴＰパケット化部、３１…送信バッファメモリ、３２…再送信バッファメモリ、３５…ＲＴＴ計測部、３６…パケットロス検出部、５１…パケットロス率検出部、５２…受信バッファ監視部、５３…モード選択部、５４…受信バッファ長制御部、５５…再送制御部、５６…送信制御部、５７…タイマ
Claims (14)
- 予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信装置であって、
前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する伝送時間検出手段と、
受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出するパケット欠落検出手段と、
受信した前記パケットデータを保持し、当該保持した前記パケットデータを復号に供するデータ保持手段と、
前記パケット欠落検出手段で検出された前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する検証手段と、
前記パケット欠落検出手段の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記検証手段が前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を前記第１の動作に加えて行う第２の動作とのうち、前記伝送時間検出手段が検出した前記伝送時間を基に選択した動作を実行する制御手段と
を有する通信装置。 - 前記伝送時間検出手段は、前記送信元との間の前記通信経路を前記パケットデータが往復する時間を示す前記伝送時間を検出し、
前記データ保持手段は、前記パケットデータを、当該パケットデータを保持することが許可された最長時間である所定の時間以内で保持した後に前記復号に供し、
前記制御手段は、前記伝送時間検出手段が検出した前記伝送時間と、前記所定の時間とを基に前記選択を行う
請求項１に記載の通信装置。 - 前記制御手段は、前記所定の時間が、前記検証手段が前記検証を行う前記周期と前記伝送時間検出手段が検出した前記伝送時間との総和を超える場合に前記第２の動作を選択し、前記総和を超えない場合に前記第１の動作を選択する
請求項２に記載の通信装置。 - 前記データ保持手段は、オーディオの前記パケットデータと、ビデオの前記パケットデータとが前記復号後に同期するようにタイミングを調整して前記復号に供する
請求項１に記載の通信装置。 - 当該通信装置は、前記受信したパケットデータを基にパケットロス率を検出するパケットロス率検出手段をさらに有し、
前記制御手段は、前記パケットロス率検出手段が検出した前記パケットロス率を基に、前記データ保持手段による前記パケットデータの保持を行うか否かを決定する
請求項１に記載の通信装置。 - 予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信方法であって、
前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の工程と、
受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の工程と、
受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の工程と、
前記第２の工程で検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の工程と、
前記第２の工程の検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の工程で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の工程と
を有する通信方法。 - 前記第１の工程において、前記送信元との間の前記通信経路を前記パケットデータが往復する時間を示す前記伝送時間を検出し、
前記第３の工程において、前記パケットデータを、当該パケットデータを保持することが許可された最長時間である所定の時間以内で保持した後に前記復号に供し、
前記第５の工程において、前記第１の工程において検出した前記伝送時間と、前記許可された最長時間である所定の時間とを基に前記選択を行う、
請求項６に記載の通信方法。 - 前記第５の工程において、前記所定の時間が、前記第４の工程において検証を行う前記周期と前記第１の工程において検出した前記伝送時間との総和を越える場合に前記第２の動作を選択し、前記総和を越えない場合に前記第１の動作を選択する、
請求項７に記載の通信方法。 - 前記第３の工程において、オーディオの前記パケットデータと、ビデオの前記パケットデータとが前記復号後に同期するようにタイミングを調整して前記復号に供する、
請求項６に記載の通信方法。 - 当該通信方法は、前記受信したパケットデータを基にパケットロス率を検出する第６の工程をさらに有し、
前記第５の工程において、前記第６の工程において検出した前記パケットロス率を基に、前記データ保持手段による前記パケットデータの保持を行うか否かを決定する、
請求項６に記載の通信方法。 - 予め決められた順序で復号される連続した複数のパケットデータを送信元から受信する通信処理を行うプログラムであって、
前記送信元との間の通信経路上での前記パケットデータの伝送時間を検出する第１の手順と、
受信した前記パケットデータの前記順序を基に、欠落して受信していない前記パケットデータを検出する第２の手順と、
受信した前記パケットデータをデータ保持手段に保持させ、当該保持した前記パケットデータを復号に供する第３の手順と、
前記第２の手順により検出した前記欠落したパケットデータが、前記データ保持手段に保持されたか否かを所定の周期で検証する第４の手順と、
前記第２の手順による検出結果を基に前記欠落した前記パケットデータの再送要求を前記送信元に送信する第１の動作と、前記第１の動作に加えて、前記第４の手順で前記欠落したパケットデータが前記データ保持手段に保持されていないと検証した場合に当該パケットデータの再送要求を送信する動作を行う第２の動作とのうち、前記第１の工程で検出した前記伝送時間を基に選択した動作を実行する第５の手順と
をコンピュータに実行させる、プログラム。 - 前記第１の手順として、前記送信元との間の前記通信経路を前記パケットデータが往復する時間を示す前記伝送時間を検出し、
前記第３の手順として、前記パケットデータを、当該パケットデータを保持することが許可された最長時間である所定の時間以内で保持した後に前記復号に供し、
前記第５の手順として、前記第１の手順により検出した前記伝送時間と、前記許可された最長時間である所定の時間とを基に前記選択を行う、
請求項１１に記載のプログラム。 - 前記第５の手順として、前記所定の時間が、前記第４の手順における検証を行う前記周期と前記第１の手順により検出した前記伝送時間との総和を越える場合に前記第２の動作を選択し、前記総和を越えない場合に前記第１の動作を選択する、
請求項１２に記載のプログラム。 - 前記受信したパケットデータを基にパケットロス率を検出する第６の手順をさらに有し、
前記第５の手順として、前記第６の手順において検出した前記パケットロス率を基に、前記データ保持手段による前記パケットデータの保持を行うか否かを決定する、
請求項１１に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003184005A JP4232553B2 (ja) | 2003-06-27 | 2003-06-27 | 通信装置、その方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003184005A JP4232553B2 (ja) | 2003-06-27 | 2003-06-27 | 通信装置、その方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020499A JP2005020499A (ja) | 2005-01-20 |
| JP4232553B2 true JP4232553B2 (ja) | 2009-03-04 |
Family
ID=34183906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003184005A Expired - Fee Related JP4232553B2 (ja) | 2003-06-27 | 2003-06-27 | 通信装置、その方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4232553B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4513725B2 (ja) | 2005-11-09 | 2010-07-28 | ソニー株式会社 | パケット送信装置、通信システム及びプログラム |
| JP2007190154A (ja) * | 2006-01-18 | 2007-08-02 | Matsushita Electric Ind Co Ltd | 超音波診断装置及び超音波診断装置の制御方法 |
| JP4886849B2 (ja) * | 2006-06-22 | 2012-02-29 | エルジー エレクトロニクス インコーポレイティド | 移動通信システムにおけるデータ再転送方法 |
-
2003
- 2003-06-27 JP JP2003184005A patent/JP4232553B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020499A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109729439B (zh) | 实时视频传输方法 | |
| EP1786136B1 (en) | Packet retransmission apparatus, communication system and program | |
| JP4697525B2 (ja) | 送受信システム、送信装置および送信方法、受信装置および受信方法、並びにプログラム | |
| JP5094593B2 (ja) | 送信装置、受信装置、及び方法、プログラム | |
| JP4699187B2 (ja) | 受信装置、通信システム、および受信装置の制御プログラム | |
| KR20030045643A (ko) | 데이터 통신 시스템, 데이터 송신 장치, 데이터 수신 장치, 데이터 통신 방법, 및 컴퓨터 프로그램 기록 매체 | |
| CN108353074B (zh) | 用于拥塞控制的方法、多点控制单元和计算机可读装置 | |
| JP6412160B2 (ja) | 通信装置、通信装置システム及び通信方法 | |
| US20150103885A1 (en) | Real time ip video transmission with high resilience to network errors | |
| JP2007150859A5 (ja) | ||
| JP2009272794A (ja) | データ伝送システム、プログラム及び方法 | |
| Herrero | Integrating HEC with circuit breakers and multipath RTP to improve RTC media quality | |
| JP3871661B2 (ja) | マルチメディアコンテンツ受信装置及びマルチメディアコンテンツ受信方法 | |
| US20020122434A1 (en) | Data transmitting apparatus and data receiving apparatus | |
| JP4061643B2 (ja) | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム | |
| JP2014093584A (ja) | 送信装置、送信方法、受信装置、受信方法およびコンピュータプログラム | |
| JP4285111B2 (ja) | 通信装置、その方法およびそのシステム | |
| JP4232553B2 (ja) | 通信装置、その方法およびプログラム | |
| JP4445012B2 (ja) | パケットの配信帯域制御方法、配信装置及び映像配信システム | |
| JP4909590B2 (ja) | メディア信号の受信装置、送信装置及び送受信システム | |
| JP6200870B2 (ja) | データ転送制御装置、方法及びプログラム | |
| JP2011211616A (ja) | 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム | |
| Huszák et al. | Source controlled semi-reliable multimedia streaming using selective retransmission in DCCP/IP networks | |
| JP2016019198A (ja) | 通信装置、通信装置の制御方法、プログラム | |
| Huszák et al. | Source controlled and delay sensitive selective retransmission scheme for multimedia streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |