JP4049378B2 - 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム - Google Patents

Description

本発明は、サーバ・クライアント方式のビデオ会議システムにおけるサーバに関する技術に係り、特に、サーバとクライアント間の通信帯域を有効利用したデータ送受信を可能とする技術に関する。

ＩＰネットワークを用いたビデオ会議システムにおいて、ネットワークの通信帯域が変動して伝送速度が低下した場合、伝送遅延が大きくなるため、受信側での動画像や音声の質に支障が生じるという問題がある。

このような問題を解決すべく、ＫＤＤＩが製品化しているＱｕａｌｉｔｙ Ｍｅｅｔｉｎｇ（http://avs.kddlabs.co.jp/qmeet/body.html）では、通信可能な帯域を監視し、クライアント側でエンコーダのビットレートを変化させ、帯域に応じた通信を行っている（特許文献１参照）。

しかしながら、上記の従来技術を用いても、サーバ・クライアント形式のビデオ会議システムにおいては以下のような問題が生ずる。

例えばサーバにクライアント１とクライアント２が接続されている構成において、クライアント１がサーバを介してクライアント２に符号化データを送信する場合、上記の従来技術では、クライアント１とサーバ間の帯域しか考慮できないので、クライアント２とサーバ間の帯域がクライアント１とサーバ間の帯域より狭い場合には、クライアント２でクライアント１の映像が受信できない場合が生じる。従って、クライアント１のエンコーダのビットレートは、帯域の狭い方に合わせて設定しておかなければならない。

従って、３つ以上のクライアントがサーバに接続している場合に、３つのクライアント間で双方向通信を実現するためには、最も帯域の狭い回線に合わせてエンコーダのビットレートを設定しなければならず、サーバと各クライアント間の帯域を有効利用できないという問題がある。この問題を解決するために、サーバで符号化データをデコードし、クライアント毎に適切なビットレートでエンコードすることが考えられるが、この方法ではサーバ側で複雑な処理を要し、サーバの負担が大きくなるという問題がある。
特開２００３−１１６１３３号公報 「要点チェック式Ｈ．３２３／ＭＰＥＧ４教科書」、（株）ＩＥインスティチュート、２００１年

本発明は上記の点を鑑みてなされたものであり、サーバに多大な負担をかけることなく、サーバと各クライアント間の帯域を有効利用可能とする技術を提供することを目的とする。

上記の課題は、フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行うサーバとを有する双方向画像通信システムにおいて使用されるサーバであって、符号化データを送信元クライアントから受信し、受信した符号化データを複製してバッファに蓄積し、該符号化データを送信先クライアントに送信し、該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、送信元クライアントから受信する内挿フレームに対する符号化データ、又は、送信元クライアントから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信することを特徴とするサーバにより解決される。

本発明によれば、上記応答時間に応じて、内挿フレームに対する符号化データもしくはキーフレームに対する符号化データのいずれかを、次に送信先クライアントに送信する符号化データとして選択することとしたので、サーバ−クライアント間のネットワークの帯域に適したデータ送受信が可能となる。

より詳細には、前記サーバは、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に前記送信元クライアントから受信する最新の内挿フレームに対する符号化データを送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に前記送信元クライアントから受信する最新のキーフレームに対する符号化データを送信する。

更に、前記サーバが複数の送信先クライアントに符号化データを送信する場合において、前記サーバは、送信先クライアント毎に備えられたバッファの各々に前記符号化データを蓄積し、各バッファに蓄積された符号化データを各送信先クライアントに送信する。

また、前記双方向画像通信システムは、フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行う複数のサーバとを有するように構成でき、当該複数のサーバのうちの１つとして使用されるサーバは、前記複数のサーバのうちの一のサーバから受信した符号化データをバッファに蓄積し、該符号化データを送信先クライアントに送信し、該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、前記一のサーバから受信する内挿フレームに対する符号化データ、又は、前記一のサーバから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信するように構成することができる。

上記のように本発明によれば、符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、内挿フレームに対する符号化データもしくはキーフレームに対する符号化データのいずれかを、次に送信先クライアントに送信する符号化データとして選択することとしたので、サーバ−クライアント間のネットワークの帯域に適したデータ送受信が可能となる。また、帯域が変動する場合においても、変動する帯域に動的に対応した符号化データの送受信が可能となる。

更に、本発明によれば、従来技術のように帯域を監視する必要がないので、ネットワークの帯域が急激に変動する場合にも、その帯域に適したレートで適切な符号化データを送信先クライアントに送信することができる。

以下、本願発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１に、本発明の第１の実施の形態におけるビデオ会議システムの構成を示す。図１に示すように、本発明の第１の実施の形態におけるビデオ会議システムは、サーバ３、クライアントＡ（４）、クライアントＢ（５）、クライアントＣ（６）を有し、クライアントＡ及びクライアントＢはネットワーク１を介してサーバ３と接続され、クライアントＣはネットワーク２を介してサーバ３と接続される。

また、各クライアントにはカメラが接続されており、カメラの映像は予め設定されたビットレートで符号化される。各クライアントに接続されたカメラは、例えば、ＵＳＢ接続カメラやキャプチャボードを介して接続されたＮＴＳＣのＴＶカメラ等である。

ネットワーク１及びネットワーク２はインターネットやイントラネット等であり、ネットワーク１においてサーバ・クライアント間の上りの最大ビットレートを上りビットレート１、下りの最大ビットレートを下りビットレート１とする。

同様に、ネットワーク２におけるサーバ・クライアント間の上りの最大ビットレートを上りビットレート２、下りの最大ビットレートを下りビットレート２とする。ここで、下りビットレート２は上りビットレート１より小さく、下りビットレート１は上りビットレート１及び上りビットレート２より十分に大きい（少なくともそれらの２倍以上）とする。

サーバ３は、サーバ・クライアント方式のビデオ会議システムにおけるサーバとしての一般的な機能を有するとともに、後述する本願発明に係る機能を有している。サーバ３は、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なハードウェア構成を有し、本願発明に係る機能は、サーバ３に搭載されるプログラムが実行されることにより実現される。当該プログラムはCD-ROM等の記録媒体からサーバにインストールすることもできるし、ネットワークを介してサーバにダウンロードし、インストールすることもできる。

図２に、図１に示した第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートを示す。図２を参照して、第１の実施の形態におけるビデオ会議システムの動作概要を説明する。

まず、各クライアントにおいてカメラ映像の取得を行う（ステップ１）。次に、各クライアントでカメラ映像の符号化処理を行う（ステップ２）。ここでは、クライアントＡ及びクライアントＢは各々、上りビットレート１と同じビットレートでカメラ映像を符号化し、クライアントＣは上りビットレート２と同じビットレートでカメラ映像を符号化することにする。また、フレームレートは全てのクライアントで同じ（例えば３０ｆｐｓ）とする。

符号化にはフレーム内圧縮されたフレーム（本明細書ではキーフレームと称する）とフレーム間圧縮されたフレーム（本明細書では内挿フレームと称する）とを生成する映像圧縮形式を用い、例えば、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等である。

次に、映像の符号化データを各クライアントからサーバへ送信する（ステップ３）。ここでは、通信プロトコルとして、例えばＲＴＰ／ＵＤＰや、ＲＴＰをＨＴＴＰでカプセリングしたＴＣＰを用い、符号化データをフレーム単位で分割したビデオパケットとして送信する。以下、“ビデオパケット”と“符号化データ”とを同じ意味で用いる場合がある。

次に、サーバ３において受信した符号化データを各クライアント毎に複製し蓄積する（ステップ４）。そして、サーバとクライアント間の送信帯域に基づいて符号化データを選択し、クライアントに送信する（ステップ５）。符号化データの選択は、サーバがクライアントに送信した符号化データに対する応答を、サーバがクライアントから受信するまでの時間に応じて行う。この処理については後に詳細に説明する。その後、符号化データを受信したクライアントは受信データの復号化及び表示処理を行う（ステップ６）。

以下、上記のステップ４、５におけるビデオパケットの複製と蓄積及び送信までのサーバにおける処理を図３〜図５を用いてより詳細に説明する。この処理は本発明に係るプログラムにより実現されるものである。

まず、図３の場合について説明する。図３は、クライアントＣから受信したビデオパケットをクライアントＡ、クライアントＢに送信する場合を示す。前述したように、図１における下りビットレート１は上りビットレート２より十分に大きく、クライアントＣは上りビットレート２と同じビットレートでカメラ映像を符号化するので、図３の場合、サーバからクライアントＡもしくはクライアントＢへの下りビットレート１は、送信されるデータのビットレートより十分に大きい。

図３において、ＩはＩピクチャ（フレーム内圧縮されたキーフレーム）、ＰはＰピクチャ（順方向予測の内挿フレーム）、ＢはＢピクチャ（双方向予測の内挿フレーム）に対するビデオパケットを示す。

サーバがクライアントＣからビデオパケットを受信すると、サーバは、ビデオパケットの受信順に、接続されているクライアント数分だけビデオパケットを複製し、クライアント毎に用意されたバッファに蓄積する。なお、バッファは例えばサーバにおけるメモリ内の所定のエリアとして実現される。

ここで用意するバッファ量は、少なくとも１つ以上のＩピクチャのビデオパケットが含まれるように設定される。例えば、図３の場合では、Ｉ，Ｂ，Ｐ，Ｂが蓄積できるバッファ量を設定している。

次にサーバにおいて送信状態に基づいてビデオパケットを選択し、クライアントに送信する処理について説明する。

まず、バッファに蓄積されたＩピクチャのビデオパケットを各クライアントへ送信する。各クライアントはビデオパケットを受け取った直後に応答を返し、Ｉピクチャのビデオパケットを受信したことをサーバへ通知する。この場合、下りのビットレートが十分に確保されているので、ビデオパケット送信から応答受信までの時間がフレーム間隔時間未満となる。

この場合、バッファをクリアし次のＢピクチャのビデオパケットを待つ。クライアントＣからのＢピクチャのビデオパケットが到着したら、バッファに蓄積し、Ｉピクチャのビデオパケットと同様に各クライアントへＢピクチャのビデオパケットを送信し応答を待つ。これを繰り返し行うことにより、各クライアントヘビデオパケットを送信できる。ここでは、送信と応答のパケットの同定は、パケットに付加されたタイムスタンプの一致で判断する。

以上説明したように、ビデオパケット送信から応答受信までの時間がフレーム間隔時間未満の場合には、送信元のクライアントから送信されたビデオパケットと同じビデオパケットが送信先のクライアントに送信されることになる。

次に、図４に示す場合について説明する。図４は、クライアントＡから受信したビデオパケットをクライアントＣに送信する場合を示す。前述したように、図１における下りビットレート２は上りビットレート１より小さく、クライアントＡは上りビットレート１と同じビットレートでカメラ映像を符号化するので、図４の場合、サーバからクライアントＣへの下りビットレート２は、送信されるデータのビットレートより小さい。

まず、図３の場合と同様に、クライアントＡからＩピクチャのビデオパケットを受信し、複製してバッファに蓄積し、バッファに蓄積されたＩピクチャのビデオパケットをクライアントＣへ送信する。

しかしながら、図４に示す場合には、下りのビットレートが低いため、次のＢフレームのビデオパケットがクライアントＡからサーバに到着しても、クライアントＣからの応答をサーバは未だ受信していない。

この場合、図３の場合と異なり、バッファをクリアすることなく、Ｉピクチャのビデオパケットの後ろに続くバッファ内にＢピクチャのビデオパケットを保持する。同様に、続くＰパケットとＢパケットのビデオパケットもバッファ内に保持される。この間に、クライアントＣからの応答があれば、次のＩピクチャのビデオパケットをクライアントＡからサーバが受け取ったときに、バッファを全てクリアし、同様にＩピクチャのビデオパケットをクライアントＣへ送信する。ただし、次のＩピクチャのビデオパケットをクライアントＡから受け取っても、クライアントＣから応答がない場合には送信は行わず、応答がくるまでバッファの蓄積とクリアを繰り返す。図４の場合も、送信と応答のパケットの同定は、パケットに付加されたタイムスタンプの一致で判断する。なお、クライアントＡからビデオパケットを受信した旨を示す情報とそれに対応するタイムスタンプは、バッファにビデオパケットを蓄積することとは別に保持する。

以上説明したように、ビデオパケット送信から応答受信までの時間がフレーム間隔時間以上の場合には、送信元のクライアントから送信されたビデオパケットのうちＩピクチャのビデオパケットのみが送信先のクライアントに送信されることになる。

次に、図３と図４に示したサーバにおける処理をまとめて図５のフローチャートを用いて説明する。

まず、送信元のクライアントからＩピクチャのビデオパケットを受信し（ステップ１１）、複製し（ステップ１２）、バッファに蓄積する（ステップ１３）。そして、送信先のクライアントにそのビデオパケットを送信する（ステップ１４）。次に、次のＢピクチャのビデオパケットを送信元のクライアントから受信するまでに、Ｉピクチャのビデオパケット送信に対する応答を送信先のクライアントから受信するか否かを判断する。すなわち、Ｉピクチャのビデオパケット送信から応答受信までの応答時間が、フレーム間隔時間未満か否かを判断する（ステップ１５）。

応答時間がフレーム間隔時間未満である場合、バッファをクリアし、受信したＢピクチャのビデオパケットを複製、蓄積し、送信先のクライアントに送信する。この処理を次のＩピクチャのビデオパケットを受信するまでに受信する内挿フレームのビデオパケットに対して繰り返す（ステップ１６）。そして、ステップ１１からの処理を再び実行する。

ステップ１５において、応答時間がフレーム間隔時間以上である場合、内挿フレームのビデオパケットを順次バッファに蓄積するとともに、応答を受信するか否かを判断する（ステップ１７）。応答がなければ受信するビデオパケットの蓄積とバッファクリアを繰り返し（ステップ１８）、応答があれば、ステップ１１からの処理を実行する。

上記のように、クライアントで受信する符号化データは、送信元と同じ符号化データ又はＩピクチャのみを含む符号化データである。従って、どちらの符号化データが届いても、クライアント側で場合分けして処理する必要なく復号化し、表示することが出来る。このように、サーバと各クライアント間の帯域に適した送受信が可能となる。また、帯域が変動する場合においても、変動する帯域に動的に対応した符号化データの送受信が可能となる。

更に、従来技術のように帯域を監視する必要がないので、ネットワークの帯域が急激に変動する場合にも、その帯域に適したレートで符号化データを送信先クライアントに送信することができる。

（第２の実施の形態）
次に、本願発明の第２の実施の形態について説明する。

図６は、本願発明の第２の実施の形態におけるビデオ会議システムの構成を示す図である。第２の実施の形態におけるビデオ会議システムでは、クライアントＡ及びクライアントＢはネットワーク１を介してサーバＡ及びサーバＢと接続され、クライアントＣはネットワーク２を介してサーバＢ´と接続される。ここで、サーバＡとサーバＢ´はFire Wallを介して接続され、クライアントＣはクライアントＡとクライアントＢの双方向通信画像の閲覧のみを行うものとする。また、サーバＡとサーバＢ′はＶＰＮ等のセキュアな回線で結ぶ。
双方向通信の手順は、第１の実施の形態と同じであるが、サーバＡはクライアントから受信した符号化データの複製を行い、サーバＢ及びサーバＢ´では、複製された符号化データをサーバＡから受信し、複製された符号化データの蓄積と送信状態に基づいた各クライアントへの符号化データの送信を行う。すなわち、サーバＢ及びサーバＢ´は各々第１の実施の形態で説明したバッファを備え、各々第１の実施の形態で説明した手順を実行するプログラムを備えている。ただし、サーバＢ及びサーバＢ´はクライアントから符号化データを受信する代わりに、サーバＡから複製された符号化データを受信する。

このような構成とすることにより、サーバの負担を分散させることが出来ると共に、Fire Wallの外側にある端末（図６では、クライアントＣ）からの画像の送信を遮断できる。また、Fire Wallの外側にある端末には、Fire
Wallを通過させるための特別なプログラムは必要ないので、当該端末として既存の携帯電話やＰＤＡ等を用いることができる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

本発明の第１の実施の形態におけるビデオ会議システムの構成を示す図である。 図１に示した第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートである。 クライアントＣから受信したビデオパケットをクライアントＡ、クライアントＢに送信する場合におけるサーバの動作を説明するための図である。 クライアントＡから受信したビデオパケットをクライアントＣに送信する場合におけるサーバの動作を説明するための図である。 サーバの処理手順を示すフローチャートである。 本願発明の第２の実施の形態におけるビデオ会議システムの構成を示す図である。

符号の説明

１、２ ネットワーク
３ サーバ
４ クライアントＡ
５ クライアントＢ
６ クライアントＣ

Claims (8)

1. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行うサーバとを有する双方向画像通信システムにおいて使用されるサーバであって、
   符号化データを送信元クライアントから受信し、
   受信した符号化データを複製してバッファに蓄積し、
   該符号化データを送信先クライアントに送信し、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、送信元クライアントから受信する内挿フレームに対する符号化データ、又は、送信元クライアントから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信するサーバであり、
   前記サーバは、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に送信元クライアントから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に送信元クライアントから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する
   ことを特徴とするサーバ。
2. 前記サーバが複数の送信先クライアントに符号化データを送信する場合において、前記サーバは、送信先クライアント毎に備えられたバッファの各々に前記符号化データを蓄積し、各バッファに蓄積された符号化データを各送信先クライアントに送信する請求項１に記載のサーバ。
3. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行う複数のサーバとを有する双方向画像通信システムにおいて前記複数のサーバのうちの１つとして使用されるサーバであって、
   前記複数のサーバのうちの一のサーバから受信した符号化データをバッファに蓄積し、
   該符号化データを送信先クライアントに送信し、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、前記一のサーバから受信する内挿フレームに対する符号化データ、又は、前記一のサーバから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信するサーバであり、
   前記サーバは、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に前記一のサーバから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に前記一のサーバから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する
   ことを特徴とするサーバ。
4. 前記サーバが複数の送信先クライアントに符号化データを送信する場合において、前記サーバは、送信先クライアント毎に備えられたバッファの各々に前記符号化データを蓄積し、各バッファに蓄積された符号化データを各送信先クライアントに送信する請求項３に記載のサーバ。
5. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行うサーバとを有する双方向画像通信システムにおいて使用されるサーバが実行する処理の方法であって、
   符号化データを送信元クライアントから受信するステップと、
   受信した符号化データを複製してバッファに蓄積するステップと、
   該符号化データを送信先クライアントに送信するステップと、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、送信元クライアントから受信する内挿フレームに対する符号化データ、又は、送信元クライアントから受信するキーフレームに対する符号化データのいずれかを、直前に送信したキーフレームに対する符号化データの次に送信先クライアントに送信するステップとを有し、
   符号化データを送信先クライアントに送信する前記ステップにおいて、前記サーバは、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に送信元クライアントから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に前記送信元クライアントから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する
   ことを特徴とする方法。
6. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行う複数のサーバとを有する双方向画像通信システムにおいて前記複数のサーバのうちの１つとして使用されるサーバにおける処理の方法であって、
   前記複数のサーバのうちの一のサーバから受信した符号化データをバッファに蓄積するステップと、
   該符号化データを送信先クライアントに送信するステップと、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、前記一のサーバから受信する内挿フレームに対する符号化データ、又は、前記一のサーバから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信するステップとを有し、
   符号化データを送信先クライアントに送信する前記ステップにおいて、前記サーバは、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に前記一のサーバから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に前記一のサーバから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する
   ことを特徴とする方法。
7. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行うサーバとを有する双方向画像通信システムにおいて使用されるサーバに、
   符号化データを送信元クライアントから受信する手順と、
   受信した符号化データを複製してバッファに蓄積する手順と、
   該符号化データを送信先クライアントに送信する手順と、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、送信元クライアントから受信する内挿フレームに対する符号化データ、又は、送信元クライアントから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信する手順とを実行させるプログラムであり、
   符号化データを送信先クライアントに送信する前記手順は、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に送信元クライアントから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に送信元クライアントから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する手順を有するプログラム。
8. フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームとを生成する映像圧縮方式を用いて映像を符号化するクライアントと、映像の複製及び分配を行う複数のサーバとを有する双方向画像通信システムにおいて前記複数のサーバのうちの１つとして使用されるサーバに、
   前記複数のサーバのうちの一のサーバから受信した符号化データをバッファに蓄積する手順と、
   該符号化データを送信先クライアントに送信する手順と、
   該符号化データを送信してから該符号化データに対する応答を送信先クライアントから受信するまでの応答時間に応じて、前記一のサーバから受信する内挿フレームに対する符号化データ、又は、前記一のサーバから受信するキーフレームに対する符号化データのいずれかを、直前に送信した符号化データの次に送信先クライアントに送信する手順とを実行させるプログラムであり、
   符号化データを送信先クライアントに送信する前記手順は、前記応答時間がフレーム間隔時間未満の場合には、前記応答を受信後に前記一のサーバから受信する最新の内挿フレームに対する符号化データを送信先クライアントに送信し、前記応答時間がフレーム間隔時間以上の場合には、前記応答を受信後に前記一のサーバから受信する最新のキーフレームに対する符号化データを送信先クライアントに送信する手順を有するプログラム。

Images