JP6089516B2 - 多地点会議サーバ及び多地点会議サーバプログラム、並びに、多地点会議システム - Google Patents

Description

本発明は多地点会議サーバ及び多地点会議サーバプログラム、並びに、多地点会議システムに関し、例えば、多地点ビデオ会議サーバ及び多地点ビデオ会議システムに適用し得るものである。

以前の多地点ビデオ会議システムは、多地点ビデオ会議用プロトコルとしてＨ．３２３プロトコルを用いており、そのため、多地点ビデオ会議システムとインスタントメッセージ・アンド・プレンゼンスシステム（以下「ＩＭ＆Ｐシステム」と呼ぶ）は別々に構築されることが多い（特許文献１参照）。今日においては、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などの標準プロトコルの採用により、多地点ビデオ会議システムとＩＭ＆Ｐシステムとを容易に統合することができ、これにより、ＩＭ＆Ｐシステムと多地点ビデオ会議サーバとの連携も可能となっている。

このような連携により、ユーザプレゼンス及びＰ２Ｐ間の参加者メッセージの授受を中心としたＩＭ＆Ｐシステムに、多地点ビデオ会議サーバの特徴を生かした付加価値サービスを追加提供することも提案されている（特許文献２参照）。例えば、多地点ビデオ会議サーバをＩＭ＆Ｐシステムに統合することにより、多地点ビデオ会議サーバは、会議参加者の一覧の送信、ユーザの会議室への入室・退室情報の送信、及び、各会議端末からの参加者メッセージの会議参加者への同報配信などのインスタントメッセージの提示サービスを会議端末に提供することができる。

特開２００２−２９０９４０号公報 特開２００７−０２６１９９号公報

しかしながら、従来の多地点ビデオ会議システムにおいて、テキストデータの受信機能を備えないビデオ会議専用端末などＩＭ＆Ｐシステムに対応できない会議端末が接続されている場合、多地点ビデオ会議サーバは、そのような会議端末に対しては、上述したようなインスタントメッセージの提示サービスを提供することができない。

実際上、全ての拠点に同一の会議端末が設置されるとは限らない。例えば、会議において発言者が多くなる本社の会議端末と会議の様子を眺めることが多い支社の会議端末とで種類が異なることがある。また、多地点ビデオ会議システムを更新する場合において、新たな会議端末に加え、従前からの会議端末もシステムに組み込むこともあり、この場合、複数種類の会議端末が混在する。

本発明は、以上の点に鑑みなされたものであり、複数種類の会議端末が混在していても全ての会議端末に対してインスタントメッセージの提示サービスを提供できる多地点会議サーバ及び多地点会議サーバプログラム、並びに、多地点会議システムを実現しようとしたものである。

第１の本発明は、インスタントメッセージに対応しているＩＭ対応会議端末と接続され、インスタントメッセージに対応していないＩＭ未対応会議端末と接続される多地点会議システムにおける多地点会議サーバにおいて、（１）会議端末がインスタントメッセージに対応しているか否かを判定するＩＭ対応判定手段と、（２）インスタントメッセージに対応している会議端末に対して、第１インスタントメッセージを送信すると共に、インスタントメッセージに対応していない会議端末に対して、当該第１インスタントメッセージと異なる当該会議端末用の映像データに、当該第１インスタントメッセージを合成した第１映像データを送信する送信処理手段とを有することを特徴とする。

第２の本発明は、インスタントメッセージに対応しているＩＭ対応会議端末と、インスタントメッセージに対応していないＩＭ未対応会議端末と、多地点会議サーバとを有する多地点会議システムにおいて、上記多地点会議サーバとして、第１の本発明の多地点会議サーバを適用したことを特徴とする。

第３の本発明の多地点会議サーバプログラムは、インスタントメッセージに対応しているＩＭ対応会議端末と接続され、インスタントメッセージに対応していないＩＭ未対応会議端末と接続される多地点会議サーバに搭載されるコンピュータを、（１）会議端末がインスタントメッセージに対応しているか否かを判定するＩＭ対応判定手段と、（２）インスタントメッセージに対応している会議端末に対して、インスタントメッセージを送信すると共に、インスタントメッセージに対応していない会議端末に対して、当該第１インスタントメッセージと異なる当該会議端末用の映像データに、当該第１インスタントメッセージを合成した第１映像データを送信する送信処理手段として機能させることを特徴とする。

本発明によれば、複数種類の会議端末が混在していても全ての会議端末に対してインスタントメッセージの提示サービスを提供できるようになる。

実施形態の多地点ビデオ会議システムの全体構成を示すブロック図である。 実施形態の多地点ビデオ会議システムにおけるＩＭ対応ビデオ会議端末の機能的な構成を示すブロック図である。 実施形態の多地点ビデオ会議システムにおけるＩＭ未対応ビデオ会議端末の機能的な構成を示すブロック図である。 実施形態の多地点ビデオ会議システムにおける呼制御サーバの機能的な構成を示すブロック図である。 実施形態の多地点ビデオ会議システムにおける多地点ビデオ会議サーバの機能的な構成を示すブロック図である。 実施形態の多地点ビデオ会議システムにおける参加者メッセージの配信動作での参加者メッセージの流れを示す説明図である。 実施形態の多地点ビデオ会議システムにおけるインスタントメッセージの映像データへの合成方式の説明図である。 実施形態の多地点ビデオ会議システムにおける参加者メッセージの配信時の各部シーケンス図である。 実施形態の多地点ビデオ会議システムにおける参加者メッセージの配信時の多地点ビデオ会議サーバの動作を示すフローチャートである。 実施形態の多地点ビデオ会議システムにおける仮想会議室への新たな入室動作時のインスタントメッセージ等の流れを示す説明図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末の仮想会議室への新たな入室時の各部シーケンス図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末の仮想会議室への新たな入室時の多地点ビデオ会議サーバの動作を示すフローチャートである。 実施形態の多地点ビデオ会議システムにおける仮想会議室からの退室動作時のインスタントメッセージ等の流れを示す説明図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末の仮想会議室からの退室時の各部シーケンス図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末の仮想会議室からの退室時の多地点ビデオ会議サーバの動作を示すフローチャートである。 実施形態の多地点ビデオ会議システムにおける発言者制御動作時のインスタントメッセージ等の流れを示す説明図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末へ発言権を切り替えた際の各部シーケンス図である。 実施形態の多地点ビデオ会議システムにおけるあるビデオ会議端末へ発言権を切り替えたときの多地点ビデオ会議サーバの動作を示すフローチャートである。

（Ａ）主たる実施形態
以下、本発明による多地点会議サーバ及び多地点会議サーバプログラム、並びに、多地点会議システムの一実施形態を、図面を参照しながら説明する。実施形態の多地点会議サーバ及び多地点会議システムは、ビデオ会議サーバ及びビデオ会議システムであり、呼制御プロトコルとしてＳＩＰを適用しているものである。

（Ａ−１）実施形態の構成
（Ａ−１−１）多地点ビデオ会議システムの全体構成
図１は、実施形態の多地点ビデオ会議システムの全体構成を示すブロック図である。

図１において、実施形態の多地点ビデオ会議システム１は、複数のビデオ会議端末（ＳＩＰ ＵＡ）２、３、呼制御サーバ（ＳＩＰ Ｐｒｏｘｙ）４及び多地点ビデオ会議サーバ（ＳＩＰ ＭＣＵ）５を有する。これら複数のビデオ会議端末２、３、呼制御サーバ４及び多地点ビデオ会議サーバ５は、ネットワーク６を介して相互に接続される。

ビデオ会議端末は、インスタントメッセージ（ＩＭ）の機能に対応しているＩＭ対応ビデオ会議端末２と、インスタントメッセージの機能に対応していないＩＭ未対応ビデオ会議端末３とに分類される。１回の会議の入室者（参加者）のビデオ会議端末が、全てＩＭ対応ビデオ会議端末２であっても良く、全てＩＭ未対応ビデオ会議端末３であっても良いが、この実施形態の多地点ビデオ会議システム１は、ＩＭ対応ビデオ会議端末２及びＩＭ未対応ビデオ会議端末３が混在することを意図してなされたものである。

また、呼制御サーバ４及び多地点ビデオ会議サーバ５がそれぞれ異なる装置で構成されていても良く、また、１つの装置に、呼制御サーバ４及び多地点ビデオ会議サーバ５が構成されていても良い。

（Ａ−１−２）ＩＭ対応ビデオ会議端末の機能的構成
図２は、ＩＭ対応ビデオ会議端末２の機能的な構成を示すブロック図である。

ＩＭ対応ビデオ会議端末２は、パソコンなどの汎用的な情報処理装置にＩＭ対応ビデオ会議端末用のプログラムを搭載して構成されたものであっても良く、ＩＭ対応ビデオ会議端末用のプログラムを搭載した専用端末として構築されたものであっても良いが、ＩＭ対応ビデオ会議端末用プログラムを、機能的に整理すると図２で表すことができる。

なお、ＩＭ対応ビデオ会議端末２は、ハードウェア的には、ソフトウェアを実行するためのハードウェア構成（ＣＰＵやメモリなど）に加え、通信を実行する通信部や、映像信号を得るビデオカメラや、映像信号を表示するディスプレイや、音声信号を得るマイクロホンや、音声信号を発音するスピーカや、インスタントメッセージなどを入力する入力装置（例えばキーボード）などを備えている。

ＩＭ対応ビデオ会議端末２は、ＳＩＰから見た場合、ＵＡ（Ｕｓｅｒ Ａｇｅｎｔ）に相当するものであり、通信処理部１０、接続処理部１１、映像／音声処理部１２、ＩＭ処理部１３及び制御部１４を有する。

通信処理部１０は、呼制御サーバ４及び多地点ビデオ会議サーバ５と通信するものである。通信処理部１０は、ＳＩＰを用いて、呼制御サーバ４及び多地点ビデオ会議サーバ５から、接続処理部１１やＩＭ処理部１３で処理されるメッセージを受信したり、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いて、多地点ビデオ会議サーバ５から、映像／音声処理部１２で処理される映像データ／音声データを受信したりするものである。通信処理部１０は、接続処理部１１、ＩＭ処理部１３で処理されたメッセージを、ＳＩＰを用いて、呼制御サーバ４及び多地点ビデオ会議サーバ５に送信したり、映像／音声処理部１２で処理された映像データ／音声データを、ＲＴＰを用いて、多地点ビデオ会議サーバ５に送信したりするものである。

以上のように、多地点ビデオ会議サーバ５の通信処理部１０は、多地点ビデオ会議サーバ５と通信する場合において、映像データ／音声データはＲＴＰを用いて多地点ビデオ会議サーバ５と直接授受し、メッセージはＳＩＰを用いて、呼制御サーバ４を経由して多地点ビデオ会議サーバ５と授受する。

接続処理部１１は、通信処理部１０によって、呼制御サーバ４を経由して、多地点ビデオ会議サーバ５内の仮想会議室への接続処理（入室／退室など）を行うものである。

映像／音声処理部１２は、当該ＩＭ対応ビデオ会議端末２と多地点ビデオ会議サーバ５とが接続しているときに（入室状態で）、図示しないビデオカメラから与えられた映像データや、マイクロホンが捕捉した音声データを通信処理部１０によって多地点ビデオ会議サーバ５に送信させたり、多地点ビデオ会議サーバ５が送信し、通信処理部１１が受信した映像データをディスプレイに表示させたり、多地点ビデオ会議サーバ５が送信し、通信処理部１１が受信した音声データをスピーカから発音出力させたりするものである。

ＩＭ処理部１３は、キーボードなどから入力されたインスタントメッセージを、通信処理部１１によって多地点ビデオ会議サーバ５に送信させたり、多地点ビデオ会議サーバ５が送信し、通信処理部１１が受信したインスタントメッセージを、ディスプレイに表示させたり、音声信号に変換した上でスピーカから発音出力させたりするものである。

制御部１４は、通信処理部１０、接続処理部１１、映像／音声処理部１２、ＩＭ処理部１３を含む当該ＩＭ対応ビデオ会議端末２全体の制御を行うものである。

（Ａ−１−３）ＩＭ未対応ビデオ会議端末の機能的構成
図３は、ＩＭ未対応ビデオ会議端末３の機能的な構成を示すブロック図である。

ＩＭ未対応ビデオ会議端末３は、パソコンなどの汎用的な情報処理装置にＩＭ未対応ビデオ会議端末用のプログラムを搭載して構成されたものであっても良く、ＩＭ未対応ビデオ会議端末用のプログラムを搭載した専用端末として構築されたものであっても良いが、ＩＭ未対応ビデオ会議端末用プログラムを、機能的に整理すると図３で表すことができる。

なお、ＩＭ未対応ビデオ会議端末３は、ハードウェア的には、ソフトウェアを実行するためのハードウェア構成（ＣＰＵやメモリなど）に加え、通信を実行する通信部や、映像信号を得るビデオカメラや、映像信号を表示するディスプレイや、音声信号を得るマイクロホンや、音声信号を発音するスピーカなどを備えている。操作部としては、電源のＯＮ、ＯＦＦ、入室、退室の指示などを行う最低限のものがあれば良い。

ＩＭ未対応ビデオ会議端末３は、ＳＩＰから見た場合、ＵＡに相当するものであり、通信処理部２０、接続処理部２１、映像／音声処理部２２及び制御部２３を有する。上述したＩＭ対応ビデオ会議端末２が備えていたＩＭ処理部１３と同様な機能部を、ＩＭ未対応ビデオ会議端末３は備えていない。

ＩＭ未対応ビデオ会議端末３の通信処理部２０は、ＩＭ対応ビデオ会議端末２の通信処理部１０とほぼ同様なものであり、同様な処理についてはその説明を省略する。当該ＩＭ未対応ビデオ会議端末３がＩＭ処理部を搭載していないため、通信処理部２０とＩＭ処理部との間でのメッセージの授受がない点が、ＩＭ対応ビデオ会議端末２の通信処理部１０と異なっている。

ＩＭ未対応ビデオ会議端末３の接続処理部２１は、ＩＭ対応ビデオ会議端末２の接続処理部１１と同様なものであり、その処理の説明は省略する。

ＩＭ未対応ビデオ会議端末３の映像／音声処理部２２は、ＩＭ対応ビデオ会議端末２の映像／音声処理部１２と同様なものであり、その処理の説明は省略する。但し、同じ時刻の会議室の映像データであっても、ＩＭ対応ビデオ会議端末２に与えられる映像データと、ＩＭ未対応ビデオ会議端末３に与えられる映像データとが異なることもある。

制御部２３は、通信処理部２０、接続処理部２１、映像／音声処理部２２を含む当該ＩＭ未対応ビデオ会議端末３全体の制御を行うものである。

（Ａ−１−４）呼制御サーバの機能的構成
図４は、呼制御サーバ４の機能的な構成を示すブロック図である。

呼制御サーバ４は、汎用的な情報処理装置に呼制御サーバ用のプログラムを搭載して構成されたものであっても良く、呼制御サーバ用のプログラムを搭載した専用端末として構築されたものであっても良いが、呼制御サーバ用プログラムを、機能的に整理すると図４で表すことができる。

なお、呼制御サーバ４は、ハードウェア的には、ソフトウェアを実行するためのハードウェア構成（ＣＰＵやメモリなど）に加え、通信を実行する複数の通信部を備えていれば良い。

呼制御サーバ４は、ＳＩＰから見た場合、Ｐｒｏｘｙサーバに相当するものであり、送信元装置（例えば、ビデオ会議端末２、３）から受信したメッセージ（ＳＩＰ信号）を、そのメッセージ内に記載されている送信先に対して送信する代行送信機能を担っている。呼制御サーバ４は、通信処理部３０、呼制御処理部３１及び制御部３２を有する。

通信処理部３０は、各ビデオ会議端末２、３や多地点ビデオ会議サーバ５と通信するものである。すなわち、通信処理部３０は、ＳＩＰを用いて、各ビデオ会議端末２、３や多地点ビデオ会議サーバ５から、呼制御処理部３１で処理されるメッセージを受信したり、呼制御処理部３１で処理されたメッセージを、ＳＩＰを用いて、各ビデオ会議端末２、３や多地点ビデオ会議サーバ５に送信したりするものである。

呼制御処理部３１は、各ビデオ会議端末２、３や多地点ビデオ会議サーバ５などの送信先装置から、メッセージを受信すると、メッセージの内容を解析し、メッセージにおけるＴｏヘッダのＳＩＰ−ＵＲＩを抽出し、抽出したＳＩＰ−ＵＲＩを、図示しないロケーションサーバを参照して、ＩＰアドレスに変換し、ＳＩＰ−ＵＲＩが変換されたこのＩＰアドレスを送信先アドレスとして送信先装置にメッセージを送信するものである。

制御部３２は、通信処理部３０及び呼制御処理部３１を含む当該呼制御サーバ４全体の制御を行うものである。

（Ａ−１−５）多地点ビデオ会議サーバの機能的構成
図５は、多地点ビデオ会議サーバ５の機能的な構成を示すブロック図である。

多地点ビデオ会議サーバ５は、汎用的な情報処理装置に多地点ビデオ会議サーバ用のプログラムを搭載して構成されたものであっても良く、多地点ビデオ会議サーバ用のプログラムを搭載した専用端末として構築されたものであっても良いが、多地点ビデオ会議サーバ用プログラムを、機能的に整理すると図５で表すことができる。

なお、多地点ビデオ会議サーバ５は、ハードウェア的には、ソフトウェアを実行するためのハードウェア構成（ＣＰＵやメモリなど）に加え、通信を実行する複数の通信部を備えていれば良い。

多地点ビデオ会議サーバ５は、ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）に相当するものであり、通信処理部４０、接続処理部４１、映像／音声処理部４２、ＩＭ処理部４３及び制御部４４を有する。

通信処理部４０は、ＩＭ対応ビデオ会議端末２、ＩＭ未対応ビデオ会議端末３及び呼制御サーバ４と通信する。通信処理部４０は、ＳＩＰを用いて、ＩＭ対応ビデオ会議端末２、ＩＭ未対応ビデオ会議端末３及び呼制御サーバ４から、接続処理部４１、ＩＭ処理部４３で処理されるメッセージを受信する。また、通信処理部４０は、ＲＴＰを用いて、ＩＭ対応ビデオ会議端末２及びＩＭ未対応ビデオ会議端末３から、映像／音声処理部４２で処理される映像データ／音声データを受信する。さらに、通信処理部４０は、ＳＩＰを用いて、ＩＭ対応ビデオ会議端末２、ＩＭ未対応ビデオ会議端末３及び呼制御サーバ４に、接続処理部４１、ＩＭ処理部４３で処理されたメッセージを送信する。さらにまた、通信処理部４０は、ＲＴＰを用いて、ＩＭ対応ビデオ会議端末２及びＩＭ未対応ビデオ会議端末３に、映像／音声処理部４２で処理された映像データ／音声データを送信する。

接続処理部４１は、呼制御サーバ４を介して、ビデオ会議端末２、３との間の入室／退出に関する接続処理を実行する。

接続処理部４１は、入室に関する接続処理を、ＳＩＰのメッセージを用いた次の３ウェイハンドシェイク（１）〜（３）の処理を実行する。

（１）接続処理部４１は、呼制御サーバ４を介して、ＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３から送信されるＩＮＶＩＴＥメソッド（以下、メソッドを省略して記載していることもある）を受信する。

（２）接続処理部４１は、ＩＮＶＩＴＥを受信後、呼制御サーバ４を介して、送信元のＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３に２００ ＯＫを送信する。

（３）接続処理部４１は、ＩＮＶＩＴＥに対する２００ ＯＫを送信後、呼制御サーバ４を介して、ＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３から送信されるＡＣＫを受信する。

接続処理部４１は、退室に関する接続処理を、ＳＩＰのメッセージを用いた次の２ウェイハンドシェイク（４）、（５）の処理を実行する。

（４）接続処理部４１は、呼制御サーバ４を介して、ＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３から送信されるＢＹＥを受信する。

（５）接続処理部４１は、ＢＹＥを受信後、呼制御サーバ４を介して、送信元のＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３に２００ ＯＫを送信する。

接続処理部４１は、上記（１）の処理において、接続してきたビデオ会議端末２、３から受信したＩＮＶＩＴＥメソッドにおけるＡｌｌｏｗヘッダ中にＭＥＳＳＡＧＥメソッドが含まれるか否かにより、接続してきたビデオ会議端末２、３のＩＭ処理能力を判定する。接続処理部４１は、Ａｌｌｏｗヘッダ中にＭＥＳＳＡＧＥメソッドが含まれる場合には、送信元のビデオ会議端末はＩＭ対応ビデオ会議端末２であると判断し、一方、Ａｌｌｏｗヘッダ中にＭＥＳＳＡＧＥメソッドが含まれない場合には、送信元のビデオ会議端末はＩＭ未対応ビデオ会議端末３であると判断する。接続処理部４１は、判定結果（ＩＭ対応／ＩＭ未対応の情報と、ビデオ会議端末のＳＩＰ ＵＲＩ）を、映像／音声処理部４２に送信する。

接続処理部４１において、上記のように呼制御に基づいて、ビデオ会議端末２、３の接続処理（入室／退室）が行われるので、各ビデオ会議端末２、３及び多地点ビデオ会議サーバ５内の仮想会議室が有するシステムにユニークな任意の識別子（ＳＩＰ ＵＲＩ）を特定することができる。そのため、多地点ビデオ会議サーバ５（の接続処理部４１）は、どのビデオ会議端末２、３が仮想会議室に接続（入室）しているか、どのビデオ会議端末２、３が仮想会議室から切断（退室）したかをリアルタイムに知ることができ、接続しているビデオ会議端末２、３の情報を管理することができる。例えば、管理情報をテーブル構成で管理し、テーブルに識別子（ＳＩＰ ＵＲＩ）が記述されているビデオ会議端末２、３が入室中の端末であり、退室に伴い、識別子が削除される。また、識別子に対応付けて、ＩＭ対応かＩＭ未対応かが記述される。さらに、後述するようなインスタントメッセージの１種である途中入室者や現入室者リストを表示したときに、表示を見た者が直ちに入室者を理解し易いように、識別子に対応付けて、通称を記述しておくようにしても良い。因みに、ＳＩＰ信号のＦｒｏｍヘッダに通称が含まれていることは多い。

映像／音声処理部４２は、ＩＭ対応ビデオ会議端末２又はＩＭ未対応ビデオ会議端末３が送信し、通信処理部４０が受信した映像データと音声データを処理（加工編集）するものである。

映像／音声処理部４２が実行する映像データや音声データの加工編集は、既存のビデオ会議システムにおけるものと同様であり、例えば、次のようなものが含まれる。（ａ）各参加者の映像（各端末からの映像）を縮小し、参加者全員の映像を一枚の映像にはめ込む。（ｂ）音声ゲインの高い参加者の映像に切り替え、若しくは、他の参加者より大きなウィンドウとする。（ｃ）送信元以外の任意の参加者の音声を合成する。映像／音声処理部４２によって処理（加工編集）された映像データと音声データは、通信処理部４０によって、ＩＭ対応ビデオ会議端末２、ＩＭ未対応ビデオ会議端末３に送信される。

さらに、映像／音声処理部４２は、接続処理部４１から受信した端末のＩＭ対応、未対応の判定結果に基づいて、少なくとも１台のＩＭ未対応ビデオ会議端末３が入室していることを認識したときには、ＩＭ未対応ビデオ会議端末入室時の処理として、インスタントメッセージを処理（加工編集）する。この実施形態の場合、インスタントメッセージの種類として、ＩＭ対応ビデオ会議端末２が送信したインスタントメッセージ（参加者メッセージ）と、後述するＩＭ処理部４３が生成したインスタントメッセージ（サーバ生成メッセージ）とがある。

映像／音声処理部４２が実行するインスタントメッセージの加工編集は、例えば、次のようなものが含まれる（詳細は、動作説明の項で説明する）。（ア）吹き出し方式：インスタントメッセージに係るビデオ会議端末の表示映像の上に吹き出しとしてインスタントメッセージを合成する。（イ）テロップ方式：全参加者合成映像の決まった位置にテロップとしてインスタントメッセージを合成する。

ＩＭ処理部４３は、ＩＭ対応ビデオ会議端末２が送信したインスタントメッセージ（参加者メッセージ）を通信処理部４０が受信したときには、次のような処理を実行する。すなわち、ＩＭ処理部４３は、接続中（入室中）の全て（送信元の端末が含まれても含まれていなくてもどちらでも良い）のＩＭ対応ビデオ会議端末２に受信インスタントメッセージを送信すると共に、ＩＭ未対応ビデオ会議端末３へもその情報を伝達できるようにすべく受信インスタントメッセージを映像／音声処理部４２に与える。

また、ＩＭ処理部４３は、所定のイベントが生じたときには、インスタントメッセージ（サーバ生成メッセージ）を生成し、接続中（入室中）の全てのＩＭ対応ビデオ会議端末２に生成インスタントメッセージを送信すると共に、ＩＭ未対応ビデオ会議端末３へもその情報を伝達できるようにすべく生成インスタントメッセージを映像／音声処理部４２に与える。

制御部４４は、通信処理部４０、接続処理部４１、映像／音声処理部４２、ＩＭ処理部４３を含む当該多地点ビデオ会議サーバ５全体の制御を行うものである。

（Ａ−２）実施形態の動作
次に、実施形態の多地点ビデオ会議システム１の動作を、図面を参照しながら説明する。以下では、インスタントメッセージに関係する動作を説明する。

（Ａ−２−１）参加者メッセージの配信動作
以下、いずれかのＩＭ対応ビデオ会議端末が送信したテキストデータ列でなるインスタントメッセージ（すなわち、参加者メッセージ）を、他の全てのビデオ会議端末に多地点ビデオ会議サーバが配信する場合の動作を説明する。

図６は、参加者メッセージの配信動作の、参加者メッセージの流れを示す説明図である。

いずれかのＩＭ対応ビデオ会議端末（この項の説明では符号２Ｓを用いる）が送信した参加者メッセージは、呼制御サーバ４を経由して、多地点ビデオ会議サーバ５に到達する（Ｓ１）。

多地点ビデオ会議サーバ５は、参加者メッセージの送信元以外の入室中のビデオ会議端末を確認する。ＩＭ対応ビデオ会議端末（この項の説明では符号２Ｒを用いる）が入室中であれば、多地点ビデオ会議サーバ５は、入室中の全てのＩＭ対応ビデオ会議端末に、受信した参加者メッセージを加工することなく（テキストデータ列のまま）、呼制御サーバ４経由で同報配信する（Ｓ２）。また、ＩＭ未対応ビデオ会議端末３が入室中であれば、多地点ビデオ会議サーバ５は、受信した参加者メッセージを映像データに合成した上で、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で同報配信する（Ｓ３）。

因みに、従来であれば、ＩＭ対応ビデオ会議端末２Ｓは、他のＩＭ対応ビデオ会議端末２Ｒに呼制御サーバ４を介し、参加者メッセージをＰ２Ｐで与えることができたが、ＩＭ未対応ビデオ会議端末３に対しては、参加者メッセージの情報を一切与えることができなかった。

図７は、インスタントメッセージの映像データへの合成方式の説明図であり、４名の入室者の映像を含む仮想会議室映像データに合成する場合を示している。図７（Ａ）は、仮想会議室映像データにおける所定の入室者の映像部分に、吹き出しとしてインスタントメッセージを合成する吹き出し合成方式を示している。図７（Ｂ）は、仮想会議室映像データにおける所定位置にインスタントメッセージをテロップとして合成するテロップ合成方式を示している。

上述のように、参加者メッセージを合成する場合には、その送信元の入室者を、所定の入室者とした吹き出し合成方式を適用する。但し、仮想会議室映像データに参加者メッセージの送信元の入室者を含まれていない場合には、テロップ合成方式を適用する。

参加者メッセージが呼制御サーバ４経由で到来したＩＭ対応ビデオ会議端末２Ｒは、呼制御サーバ４を経由しないで到来した仮想会議室映像データと共に、参加者メッセージを表示させる。ＩＭ対応ビデオ会議端末２Ｒにおけるこの際の表示方法は、既存の表示方法を適用できる。例えば、図示は省略するが、参加者メッセージに係るウィンドウ画像と、仮想会議室映像データに係るウィンドウ画像とを並設して表示しても良く、一方のウィンドウ画像を他のウィンドウ画像上にしかも上下を切り替えられるように表示しても良い。

図８は、参加者メッセージの配信時の各部シーケンス図である。図８は、入室中のビデオ会議端末として、２つのＩＭ対応ビデオ会議端末２Ｓ及び２Ｒと、１つのＩＭ未対応ビデオ会議端末３がある場合を示している。図９は、参加者メッセージの配信時の多地点ビデオ会議サーバ５の動作を示すフローチャートである。

ＩＭ対応ビデオ会議端末２Ｓに係る入室者が端末の入力装置を用いてインスタントメッセージ（参加者メッセージ）を入力して転送を指示すると、ＩＭ対応ビデオ会議端末２Ｓ（のＩＭ処理部１３）が、入力された参加者メッセージを含むＳＩＰのＭＥＳＳＡＧＥメソッドを形成し、呼制御サーバ４経由で多地点ビデオ会議サーバ５に送信する（Ｓ１１）。多地点ビデオ会議サーバ５は、ＭＥＳＳＡＧＥメソッドを受信すると、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由でＩＭ対応ビデオ会議端末２Ｓに返信する（Ｓ１２）。

例えば、ＭＥＳＳＡＧＥメソッドのボディに、インスタントメッセージ（参加者メッセージやサーバ生成メッセージ）を盛り込む。盛り込むインスタントメッセージの表記は任意であり、例えば、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述したものを適用できる。

また、多地点ビデオ会議サーバ５は、ＭＥＳＳＡＧＥメソッドの受信時には、入室者管理情報に基づき、図９に示すように、送信元のＩＭ対応ビデオ会議端末２Ｓ以外に、入室中のＩＭ対応ビデオ会議端末があるか否かを判別する（Ｓ２１）。図８の例では、送信元のＩＭ対応ビデオ会議端末２Ｓ以外に、ＩＭ対応ビデオ会議端末２Ｒがあるので、多地点ビデオ会議サーバ５は、入室中の全てのＩＭ対応ビデオ会議端末２Ｒに、呼制御サーバ４経由でＭＥＳＳＡＧＥメソッドを転送する（図８のＳ１３、図９のＳ２２）。ＭＥＳＳＡＧＥメソッドの転送を受けたＩＭ対応ビデオ会議端末２Ｒは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ１４）。ＭＥＳＳＡＧＥメソッドの転送を受けたＩＭ対応ビデオ会議端末２Ｒは、ＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（参加者メッセージ）を表示させる。

多地点ビデオ会議サーバ５は、ＭＥＳＳＡＧＥメソッドの送信元のＩＭ対応ビデオ会議端末２Ｓ以外に入室中のＩＭ対応ビデオ会議端末がない場合や、ＭＥＳＳＡＧＥメソッドの送信元のＩＭ対応ビデオ会議端末２Ｓ以外に入室中のＩＭ対応ビデオ会議端末２ＲがあってそのＩＭ対応ビデオ会議端末２ＲにＭＥＳＳＡＧＥメソッドを転送した場合には、入室中のＩＭ未対応ビデオ会議端末があるか否かを判別する（Ｓ２３）。図８の例では、ＩＭ未対応ビデオ会議端末３があるので、多地点ビデオ会議サーバ５は、仮想会議室映像データに、受信したＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（参加者メッセージ）を合成し、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で、入室中の全てのＩＭ未対応ビデオ会議端末３に同報配信する（図８のＳ１５、図９のＳ２４）。入室中のＩＭ未対応ビデオ会議端末がない場合には、一連の処理を終了する。

（Ａ−２−２）ビデオ会議端末の入室時動作
次に、あるビデオ会議端末が仮想会議室に新たに入室した場合の動作を説明する。

図１０は、仮想会議室への新たな入室動作における、インスタントメッセージ（サーバ生成メッセージ）等の流れを示す説明図である。

あるＩＭ対応ビデオ会議端末（この項の説明では符号２Ｘを用いる）が新たに仮想会議室に入室するための信号を多地点ビデオ会議サーバ５に与える（Ｓ３１）。多地点ビデオ会議サーバ５は、新入室者以外の入室中のビデオ会議端末を確認する。他のＩＭ対応ビデオ会議端末（この項の説明では符号２Ｙを用いる）が既に入室していれば、多地点ビデオ会議サーバ５は、既入室の全てのＩＭ対応ビデオ会議端末２Ｙに、新入室者を通知するためのインスタントメッセージを生成して、呼制御サーバ４経由で同報配信する（Ｓ３２）。また、ＩＭ未対応ビデオ会議端末３が既に入室していれば、多地点ビデオ会議サーバ５は、新入室者を通知するために生成したインスタントメッセージを映像データに合成した上で、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）でＩＭ未対応ビデオ会議端末３に同報配信する（Ｓ３３）。

なお、Ｓ３１〜Ｓ３３の信号やインスタントメッセージの授受は、新たに仮想会議室に入室したビデオ会議端末が、ＩＭ未対応ビデオ会議端末の場合にも同様に実行される。

さらに、多地点ビデオ会議サーバ５は、既入室のビデオ会議端末２Ｙ、３を新入室者に通知するためのインスタントメッセージを生成して、呼制御サーバ４経由で新入室に係るＩＭ対応ビデオ会議端末２Ｘに送信する（Ｓ３４）。図１０は、新入室に係るビデオ会議端末がＩＭ対応ビデオ会議端末（２Ｘ）の場合を示しているが、新入室に係るビデオ会議端末がＩＭ未対応ビデオ会議端末の場合には、多地点ビデオ会議サーバ５は、既入室のビデオ会議端末を新入室者に通知するためのインスタントメッセージを生成した後、映像データに合成した上で、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で新入室に係るＩＭ未対応ビデオ会議端末に送信することとなる。

因みに、従来であれば、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２に自己が生成したインスタントメッセージ（サーバ生成メッセージ）を与えることができたが、ＩＭ未対応ビデオ会議端末３に対しては、自己が生成したインスタントメッセージを一切与えることができなかった。

図１１は、あるビデオ会議端末の仮想会議室への新たな入室時の各部シーケンス図である。図１１は、入室中のビデオ会議端末として、ＩＭ対応ビデオ会議端末２ＹとＩＭ未対応ビデオ会議端末３とがあり、そのような仮想会議室へＩＭ対応ビデオ会議端末２Ｘが新たに入室する場合を示している。図１２は、あるビデオ会議端末の仮想会議室への新たな入室時の多地点ビデオ会議サーバ５の動作を示すフローチャートである。

あるＩＭ対応ビデオ会議端末２Ｘに係る者が、ＩＭ対応ビデオ会議端末２Ｘに対して仮想会議室へ入室するための操作を行うと、ＩＭ対応ビデオ会議端末２Ｘは、入室要求としてＳＩＰのＩＮＶＩＴＥメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に送信する（Ｓ４１）。このとき送信されるＩＮＶＩＴＥメソッドは、ＳＩＰにおいて、呼制御開始要求として送信されるものと同様である。ＩＮＶＩＴＥメソッドを受信した多地点ビデオ会議サーバ５は、受信応答である２００ ＯＫメソッドを呼制御サーバ４経由でＩＭ対応ビデオ会議端末２Ｘに返信し（Ｓ４２）、ＩＭ対応ビデオ会議端末２Ｘはセッションが確立されたことを理解した旨を表すＡＣＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に送信する（Ｓ４３）。

多地点ビデオ会議サーバ５は、新たな入室者に係るＩＭ対応ビデオ会議端末２Ｘとのセッションが確立すると、仮想会議室の映像データにＩＭ対応ビデオ会議端末２Ｘからの映像データも含めるように操作する（図１２のＳ５１）。

また、多地点ビデオ会議サーバ５は、受信したＩＮＶＩＴＥメソッドにおけるＦｒｏｍヘッダからＩＭ対応ビデオ会議端末２ＸのＳＩＰ ＵＲＩを抽出し、入室者管理情報に入室者端末の識別子として追加する（Ｓ５２）。この際、入室者の通称も併せて抽出して追加するようにしても良い。さらに、多地点ビデオ会議サーバ５は、受信したＩＮＶＩＴＥメソッドにおけるＡｌｌｏｗヘッダのフィールドに「ＭＥＳＳＡＧＥ」が記載されているか否かを確認し（Ｓ５３）、「ＭＥＳＳＡＧＥ」が記載されている場合には、入室者管理情報の追加した識別子に対応付けてインスタントメッセージに対応している端末である旨を記述し（Ｓ５４）、「ＭＥＳＳＡＧＥ」が記載されていない場合には、入室者管理情報の追加した識別子に対応付けてインスタントメッセージに対応していない端末である旨を記述する（Ｓ５５）。図１１の例の場合には、ＩＮＶＩＴＥメソッドの送信元のＩＭ対応ビデオ会議端末２Ｘは、ＩＭ対応であるのでその旨が記述される。Ａｌｌｏｗヘッダは、ＩＮＶＩＴＥメソッドの送信元端末が取り扱うことができるメソッドの種類を記述するフィールドであるため、ＭＥＳＳＡＧＥメソッドを取り扱うことができると記述しているビデオ会議端末は、ＩＭ対応の端末である。例えば、「ＩＮＶＩＴＥ，ＡＣＫ，ＣＡＮＣＥＬ，ＢＹＥ，ＯＰＴＩＯＮＳ，ＰＲＡＣＫ，ＭＥＳＳＡＧＥ，ＳＵＢＳＣＲＩＢＥ，ＮＯＴＩＦＹ，ＲＥＦＥＲ，ＵＰＤＡＴＥ」と記述されているＡｌｌｏｗヘッダを有するＩＮＶＩＴＥメソッドを受信した場合、ＭＥＳＳＡＧＥを含んでいるので、その送信元のビデオ会議端末をＩＭ対応である判定する。

さらに、多地点ビデオ会議サーバ５は、ＩＮＶＩＴＥメソッドの受信時に、入室者管理情報に基づき、送信元のＩＭ対応ビデオ会議端末２Ｘ以外に、入室中のＩＭ対応ビデオ会議端末があるか否かを判別する（Ｓ５６）。図１１の例では、送信元のＩＭ対応ビデオ会議端末２Ｘ以外に、ＩＭ対応ビデオ会議端末２Ｙがあるので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘが新たに入室したことを通知するインスタントメッセージを生成し、そのインスタントメッセージをＭＥＳＳＡＧＥメソッドに盛り込んで、既に入室している全てのＩＭ対応ビデオ会議端末２Ｙに、呼制御サーバ４経由で送信する（図１１のＳ４４、図１２のＳ５７）。ＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｙは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ４５）。ＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｙは、ＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（サーバ生成メッセージ）を表示させる。

ここで、多地点ビデオ会議サーバ５は、例えば、「ｘｘｘが入室しました。」という固定の文章（テンプレート）を予め用意しておき、「固定文章」中の「ｘｘｘ」に、ＩＮＶＩＴＥメソッドの送信元のＳＩＰ ＵＲＩ若しくは通称などを挿入することで、インスタントメッセージ（サーバ生成メッセージ）を生成させる。多地点ビデオ会議サーバ５が生成する他のインスタントメッセージも、同様な方法で生成する。

なお、例えば、多地点ビデオ会議サーバ５は、「新たな入室者がありました。」のような入室者を具体的に特定していないインスタントメッセージを生成するようにしても良い（この場合、「生成」よりも「記憶情報の読み出し」と表現した方が良い）。特許請求の範囲における「生成」は、このような場合を含むものとする。

多地点ビデオ会議サーバ５は、ＩＮＶＩＴＥメソッドの送信元のＩＭ対応ビデオ会議端末２Ｘ以外に入室中のＩＭ対応ビデオ会議端末がない場合や、ＩＮＶＩＴＥメソッドの送信元のＩＭ対応ビデオ会議端末２Ｘ以外の入室中のＩＭ対応ビデオ会議端末２Ｙへのサーバ生成メッセージを送信した場合には、入室中のＩＭ未対応ビデオ会議端末があるか否かを判別する（Ｓ５８）。図１１の例では、ＩＭ未対応ビデオ会議端末３があるので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘが新たに入室したことを通知するインスタントメッセージを生成し、仮想会議室映像データに、そのサーバ生成メッセージを合成し、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で、入室中の全てのＩＭ未対応ビデオ会議端末３に同報配信する（図１１のＳ４６、図１２のＳ５９）。この場合の合成方式は、多地点ビデオ会議サーバ５がインスタントメッセージの生成元であるため、図７（Ｂ）に示したようなテロップ合成方式となる。

多地点ビデオ会議サーバ５は、入室中のＩＭ未対応ビデオ会議端末がない場合や、入室中のＩＭ未対応ビデオ会議端末に対してサーバ生成メッセージを合成した映像データを送信した場合には、ＩＮＶＩＴＥメソッドを送信した新入室のビデオ会議端末はＩＭ対応ビデオ会議端末があるか否かを判別する（Ｓ６０）。図１１の例では、新入室のビデオ会議端末がＩＭ未対応ビデオ会議端末２Ｘであるので、そのＩＭ対応ビデオ会議端末２Ｘに入室中の他のビデオ会議端末を教示するためのインスタントメッセージを入室中端末の管理情報から生成し、そのインスタントメッセージをＭＥＳＳＡＧＥメソッドに盛り込んで、そのＩＭ対応ビデオ会議端末２Ｘに呼制御サーバ４経由で送信する（図１１のＳ４７、図１２のＳ６１）。このＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｘは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ４８）。図１１とは異なるが、ＩＮＶＩＴＥメソッドを送信した新入室のビデオ会議端末がＩＭ未対応ビデオ会議端末の場合には、そのＩＭ対応未ビデオ会議端末３に入室中の他のビデオ会議端末を教示するためのインスタントメッセージを入室中端末の管理情報から生成し、仮想会議室映像データに、そのサーバ生成メッセージを合成し、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で、新入室のＩＭ未対応ビデオ会議端末３に送信する（Ｓ６２）。

（Ａ−２−３）ビデオ会議端末の退室時動作
次に、あるビデオ会議端末が仮想会議室から退室した場合の動作を説明する。

図１３は、仮想会議室からの退室動作における、インスタントメッセージ（サーバ生成メッセージ）等の流れを示す説明図である。

あるＩＭ対応ビデオ会議端末（この項の説明では符号２Ｘを用いる）が仮想会議室から退室するための信号を多地点ビデオ会議サーバ５に与える（Ｓ７１）。多地点ビデオ会議サーバ５は、退室者以外の入室中のビデオ会議端末を確認する。退室者以外に、入室中のＩＭ対応ビデオ会議端末（この項の説明では符号２Ｙを用いる）があれば、多地点ビデオ会議サーバ５は、入室中の全てのＩＭ対応ビデオ会議端末２Ｙに、退室者を通知するためのインスタントメッセージを生成して、呼制御サーバ４経由で同報配信する（Ｓ７２）。また、ＩＭ未対応ビデオ会議端末３が入室中であれば、多地点ビデオ会議サーバ５は、退室者を通知するために生成したインスタントメッセージを映像データに合成した上で、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）でＩＭ未対応ビデオ会議端末３に同報配信する（Ｓ７３）。

図１３は、退室に係るビデオ会議端末がＩＭ対応ビデオ会議端末（２Ｘ）の場合を示しているが、ＩＭ未対応ビデオ会議端末が退室する場合にも、インスタントメッセージの同様な授受がなされる。

図１４は、あるビデオ会議端末の仮想会議室からの退室時の各部シーケンス図である。図１４は、ＩＭ対応ビデオ会議端末２Ｘが退室し、退室後に、ＩＭ対応ビデオ会議端末２ＹとＩＭ未対応ビデオ会議端末３とが仮想会議室に残る場合を示している。図１５は、あるビデオ会議端末が仮想会議室から退室するときの多地点ビデオ会議サーバ５の動作を示すフローチャートである。

あるＩＭ対応ビデオ会議端末２Ｘに係る者が、ＩＭ対応ビデオ会議端末２Ｘに対して仮想会議室から退室するための操作を行うと、ＩＭ対応ビデオ会議端末２Ｘは、退室要求としてＳＩＰのＢＹＥメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に送信する（Ｓ８１）。ＢＹＥメソッドを受信した多地点ビデオ会議サーバ５は、受信応答である２００ ＯＫメソッドを呼制御サーバ４経由でＩＭ対応ビデオ会議端末２Ｘに返信する（Ｓ８２）。ＩＭ対応ビデオ会議端末２Ｘは、自己とのセッションが切断されたことを認識する。

多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘの退室に応じ、仮想会議室の映像データを、ＩＭ対応ビデオ会議端末２Ｘからの映像データを含めないように変更する（図１５のＳ９１）。多地点ビデオ会議サーバ５は、入室者管理情報から、退室したＩＭ対応ビデオ会議端末２Ｘの情報（識別子やＩＭ対応の有無など）を消去する（Ｓ９２）。

また、多地点ビデオ会議サーバ５は、ＢＹＥメソッドの受信時に、入室者管理情報に基づき、残っている（入室中の）ビデオ会議端末の中に、ＩＭ対応ビデオ会議端末があるか否かを判別する（Ｓ９３）。図１４の例では、ＩＭ対応ビデオ会議端末２Ｙがいるので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘが退室したことを通知するインスタントメッセージを生成し、そのインスタントメッセージをＭＥＳＳＡＧＥメソッドに盛り込んで、残っている全てのＩＭ対応ビデオ会議端末２Ｙに、呼制御サーバ４経由で送信する（図１４のＳ８３、図１５のＳ９４）。ＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｙは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ８４）。ＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｙは、ＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（サーバ生成メッセージ）を表示させる。

多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘの退室後においてＩＭ対応ビデオ会議端末が残っていない場合や、残っているＩＭ対応ビデオ会議端末２Ｙへ退室を通知するサーバ生成メッセージを送信した場合には、退室後において、ＩＭ未対応ビデオ会議端末が残っているか否かを判別する（Ｓ９５）。図１４の例では、ＩＭ未対応ビデオ会議端末３が残っているので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｘが退室したことを通知するインスタントメッセージを生成し、仮想会議室映像データに、そのサーバ生成メッセージを合成し、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で、残っている全てのＩＭ未対応ビデオ会議端末３に同報配信する（図１４のＳ８５、図１５のＳ９６）。

（Ａ−２−４）会議室制御情報の通知動作
次に、多地点ビデオ会議サーバ５が仮想会議室の制御を実行している場合に、ビデオ会議端末への通知が必要と判断した場合の動作を説明する。

実施形態の多地点ビデオ会議システム１においては、多地点ビデオ会議サーバ５が種々の制御を行っており、その制御の内容や結果をビデオ会議端末２、３から報知させたいことも生じる。例えば、マイクロホンからの信号レベルに応じて発言者制御（いわゆるマイク制御）を行っている場合、追加して発言権を得た者がいることを全てのビデオ会議端末２、３から報知させたい。

図１６は、このような発言者制御動作における、インスタントメッセージ（サーバ生成メッセージ）等の流れを示す説明図である。

多地点ビデオ会議サーバ５は、いずれかのビデオ会議端末２、３に発言権を付与し、そのビデオ会議端末からの音声データを全てのビデオ会議端末に配信している状態においても、各ビデオ会議端末のマイクロホンが捕捉している信号レベルを監視している。そして、信号レベルが所定条件を満たす他のビデオ会議端末がいる場合には、仮想会議室の合成音声データに、その端末からの音声データも含める（合成する）。

なお、各ビデオ会議端末が発言権要求用の操作子を有し、操作子で要求された発言権の調停を行って、仮想会議室の合成音声データに含める音声データの切替制御を行うものであっても良い。

多地点ビデオ会議サーバ５は、あるＩＭ対応ビデオ会議端末（この項の説明では符号２Ｍを用いる）が新たに発言権（この項での発言権とは、仮想会議室の合成音声データに自己からの音声データを合成する権利を言うこととする）を得た場合には、その旨を通知するインスタントメッセージを生成して、呼制御サーバ４経由で送信する（Ｓ１０１）。例えば、「発言が許されました。発言して下さい。」のインスタントメッセージを生成し、ＩＭ対応ビデオ会議端末２Ｍへの送信で音声で発音出力することを指示する。多地点ビデオ会議サーバ５は、発言許可者以外の入室中のビデオ会議端末を確認する。発言許可者以外に、入室中のＩＭ対応ビデオ会議端末（この項の説明では符号２Ｎを用いる）があれば、多地点ビデオ会議サーバ５は、入室中の全てのＩＭ対応ビデオ会議端末２Ｎに、発言許可者を通知するためのインスタントメッセージ（例えば、「ｘｘｘに発言が許されました。」；出力方法を音声出力としている）を生成し、呼制御サーバ４経由で同報配信する（Ｓ１０２）。また、ＩＭ未対応ビデオ会議端末３が入室中であれば、多地点ビデオ会議サーバ５は、発言許可者を通知するために生成したインスタントメッセージを仮想会議室映像データに合成した上で、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）でＩＭ未対応ビデオ会議端末３に同報配信する（Ｓ１０３）。

図１６は、発言許可者に係るビデオ会議端末がＩＭ対応ビデオ会議端末（２Ｘ）の場合を示しているが、ＩＭ未対応ビデオ会議端末が発言許可者に係るビデオ会議端末の場合には、多地点ビデオ会議サーバ５は、生成したインスタントメッセージを仮想会議室映像データに合成した上で送信することになる。

図１７は、あるビデオ会議端末へ発言権を付与した際の各部シーケンス図である。図１７は、ＩＭ対応ビデオ会議端末２Ｍへ発言権を付与し、他に、ＩＭ対応ビデオ会議端末２ＮとＩＭ未対応ビデオ会議端末３とが仮想会議室にある場合を示している。図１８は、あるビデオ会議端末へ発言権を付与したときの多地点ビデオ会議サーバ５の動作を示すフローチャートである。

ＩＭ対応ビデオ会議端末２Ｍに発言権が付与されると、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｍからの音声データを合成するように変更すると共に（図１８のＳ１２１）、発言権が付与されたビデオ会議端末用のインスタントメッセージ（サーバ制御メッセージ）を生成し、そのインスタントメッセージを音声出力するようにＭＥＳＳＡＧＥメソッドに盛り込んで、発言権を得たＩＭ対応ビデオ会議端末２Ｍに、呼制御サーバ４経由で送信する（図１７のＳ１１１、図１８のＳ１２２）。このＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｍは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ１１２）。ＩＭ対応ビデオ会議端末２Ｍは、ＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（サーバ生成メッセージ）を発音出力させる。

また、多地点ビデオ会議サーバ５は、発言権付与端末の追加時に、入室者管理情報に基づき、入室中のビデオ会議端末の中に、ＩＭ対応ビデオ会議端末があるか否かを判別する（Ｓ１２３）。図１７の例では、ＩＭ対応ビデオ会議端末２Ｎがあるので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｍに発言権を付与したことを通知するインスタントメッセージを生成し、そのインスタントメッセージを音声出力するようにＭＥＳＳＡＧＥメソッドに盛り込んで、入室中の全てのＩＭ対応ビデオ会議端末２Ｎに、呼制御サーバ４経由で送信する（図１７のＳ１１３、図１８のＳ１２４）。このＭＥＳＳＡＧＥメソッドの送信を受けたＩＭ対応ビデオ会議端末２Ｎは、受信応答である２００ ＯＫメソッドを、呼制御サーバ４経由で多地点ビデオ会議サーバ５に返信する（Ｓ１１４）。ＩＭ対応ビデオ会議端末２Ｎは、ＭＥＳＳＡＧＥメソッドに含まれているインスタントメッセージ（サーバ生成メッセージ）を発音出力させる。

多地点ビデオ会議サーバ５は、発言権が付与されたＩＭ対応ビデオ会議端末２Ｍ以外に入室中のＩＭ対応ビデオ会議端末がない場合や、入室中のＩＭ対応ビデオ会議端末２Ｎに対して他端末が発言権を付与された旨のサーバ生成メッセージを送信した場合には、入室中のＩＭ未対応ビデオ会議端末があるか否かを判別する（Ｓ１２５）。図１７の例では、ＩＭ未対応ビデオ会議端末３があるので、多地点ビデオ会議サーバ５は、ＩＭ対応ビデオ会議端末２Ｍに発言権を付与したことを通知するインスタントメッセージを生成し、仮想会議室映像データに、そのサーバ生成メッセージを合成し、呼制御サーバ４を経由しない、映像データについての通常の経路（ＲＴＰ）で、残っている全てのＩＭ未対応ビデオ会議端末３に同報配信する（図１７のＳ１１５、図１８のＳ１２６）。

（Ａ−３）実施形態の効果
以上のように、上記実施形態によれば、複数種類のビデオ会議端末が混在していても全ての会議端末に対してインスタントメッセージの提示サービスを提供することができる。

（Ｂ）他の実施形態
上記実施形態では、インスタントメッセージを、そのインスタントメッセージの種類で定まる全てのビデオ会議端末に配信するものを示したが、多地点ビデオ会議サーバに、インスタントメッセージを配信する端末か否かを設定できるようにしておき、許可されたビデオ会議端末にのみ配信するようにしても良い。この場合であっても、ＩＭ未対応のビデオ会議端末が配信対象の場合には、仮想会議室映像データにインスタントメッセージを合成して配信することになる。

同様に、ＩＭ対応のビデオ会議端末に対しては、設定によって、映像データとの合成でインスタントメッセージを配信できるようにしても良い。

上記実施形態の説明では、仮想会議室映像データが各端末からの映像が同じ大きさを有するように説明したが、各端末からの映像が同じ大きさである必要はない。例えば、話者優先画像（話者の映像が他の映像より大きい画像）であっても良い。

上記実施形態では、会議室制御情報が音声合成のＯＮ情報であるものを示したが、会議室制御情報はこれに限定されるものではない。例えば、音声合成のＯＦＦ情報（特定のビデオ会議端末を音声合成の対象から外したという情報）を会議室制御情報としても良く、この場合のインスタントメッセージ例として、「ｘｘｘをミュートしました。」を挙げることができる。また例えば、単独映像への切り替え情報（特定のビデオ会議端末の映像に切り替えたという情報）を会議室制御情報としても良く、この場合のインスタントメッセージ例として、「ｘｘｘに映像を切り替えました。」を挙げることができる。ここで、会議室制御情報が、議長制御に基づいて形成されるものであっても良い。

上記実施形態では、多地点ビデオ会議サーバが受信したＩＮＶＩＴＥメソッドのＡｌｌｏｗヘッダにＭＥＳＳＡＧＥが記述されているか否かに基づいて、ビデオ会議端末がＩＭ対応か否かを判定するものを示したが、判定方法はこれに限定されるものではない。例えば、ＭＥＳＳＡＧＥメソッドを判定対象に投げてみて（送信してみて）２００ ＯＫメソッドが所定時間内に返信されるか否かでＩＭ対応か否かを判定するようにしても良い。

上記実施形態では、多地点ビデオ会議サーバ及び多地点ビデオ会議システムに本発明の技術思想を適用したものを示したが、音声会議などの他の会議システムにも、本発明の技術思想を適用することができる。

１…多地点ビデオ会議システム、
２…ＩＭ対応ビデオ会議端末、１０…通信処理部、１１…接続処理部、１２…映像／音声処理部、１３…ＩＭ処理部、１４…制御部、
３…ＩＭ未対応ビデオ会議端末、２０…通信処理部、２１…接続処理部、２２…映像／音声処理部、２３…制御部、
４…呼制御サーバ、３０…通信処理部、３１…呼制御処理部、３２…制御部、
５…多地点ビデオ会議サーバ、４０…通信処理部、４１…接続処理部、４２…映像／音声処理部、４３…ＩＭ処理部、４４…制御部。

Claims (7)

1. インスタントメッセージに対応しているＩＭ対応会議端末と接続され、インスタントメッセージに対応していないＩＭ未対応会議端末と接続される多地点会議システムにおける多地点会議サーバにおいて、
   会議端末がインスタントメッセージに対応しているか否かを判定するＩＭ対応判定手段と、
   インスタントメッセージに対応している会議端末に対して、第１インスタントメッセージを送信すると共に、インスタントメッセージに対応していない会議端末に対して、当該第１インスタントメッセージと異なる当該会議端末用の映像データに、当該第１インスタントメッセージを合成した第１映像データを送信する送信処理手段と
   を有することを特徴とする多地点会議サーバ。
2. 上記ＩＭ対応判定手段は、会議端末が送信し、呼制御サーバ経由で受信した呼制御用信号における、対応可能な呼制御用信号の種類を記述したフィールドに、メッセージ授受用の呼制御用信号の種類が記述されているか否かに基づいて、送信元の会議端末がインスタントメッセージに対応しているか否かを判定することを特徴とする請求項１に記載の多地点会議サーバ。
3. 会議室への会議端末の入退室変化に基づいてインスタントメッセージを生成する第１のＩＭ生成手段を備え、
   上記送信処理手段は、上記第１のＩＭ生成手段が生成したインスタントメッセージを送信する
   ことを特徴とする請求項１又は２に記載の多地点会議サーバ。
4. 会議室制御情報に基づいてインスタントメッセージを生成する第２のＩＭ生成手段を備え、
   上記送信処理手段は、上記第２のＩＭ生成手段が生成したインスタントメッセージを送信する
   ことを特徴とする請求項１〜３のいずれかに記載の多地点会議サーバ。
5. いずれかの会議端末が送信したインスタントメッセージを受信するＩＭ受信手段を備え、
   上記送信処理手段は、上記ＩＭ受信手段が受信したインスタントメッセージを送信する
   ことを特徴とする請求項１〜４のいずれかに記載の多地点会議サーバ。
6. インスタントメッセージに対応しているＩＭ対応会議端末と、インスタントメッセージに対応していないＩＭ未対応会議端末と、多地点会議サーバとを有する多地点会議システムにおいて、
   上記多地点会議サーバとして、請求項１〜５のいずれかに記載の多地点会議サーバを適用したことを特徴とする多地点会議システム。
7. インスタントメッセージに対応しているＩＭ対応会議端末と接続され、インスタントメッセージに対応していないＩＭ未対応会議端末と接続される多地点会議サーバに搭載されるコンピュータを、
   会議端末がインスタントメッセージに対応しているか否かを判定するＩＭ対応判定手段と、
   インスタントメッセージに対応している会議端末に対して、インスタントメッセージを送信すると共に、インスタントメッセージに対応していない会議端末に対して、当該第１インスタントメッセージと異なる当該会議端末用の映像データに、当該第１インスタントメッセージを合成した第１映像データを送信する送信処理手段として
   機能させることを特徴とする多地点会議サーバプログラム。

Images