JP5472882B2 - 会議端末、会議サーバー、会議システム、およびデータ処理方法 - Google Patents

Description

本発明は、ビデオ会議システム、特に、会議端末、会議サーバー、会議システム、およびデータ処理方法に関する。

初期のビデオ会議では、人々は、画像および音声のみを使って互いに情報をやり取りしている。後になって、H.261プロトコルを使用することで、ビデオ会議の参加者は動画ビデオチャネルを通じて4CIFサイズの静的グラフィックファイルを転送することができるようになり、参加者は互いにスライドを共有することが可能になった。しかし、この共有は、動画ビデオチャネルの競合によって実装される。スライドの解像度は高くなく、スライドの伝送は、動画ビデオの中断を引き起こす傾向がある。

その後、H.239プロトコルによって、参加者はH.239補助ストリームチャネルを作成してスライドを排他的に伝送し、メインストリームチャネルを使用して動画ビデオを伝送することが可能になった。したがって、動画ビデオの伝送とスライドの伝送との間に相互の影響は存在しない。典型的なアプリケーションシナリオが、図1に示されている。会議端末12は、カメラ11によって撮られた会議画像およびコンピュータ10のファイル(PPTまたはワードファイルなど)を同時に受信し、会議画像およびファイルに対するビデオのエンコードを実行する(一般的にH.263またはH.264プロトコルに基づく)。その後、H.239プロトコルによって提供されるチャネルを通じて、会議端末12は、2つのビデオストリームをマルチポイント制御ユニット(MCU)13に同時に送信し、MCU 13は、ビデオストリームをその会議の他の端末14に回送する。2つのビデオストリームを受信した後、端末14は、それらをデコードし、ビデオ画像の2つの異なるストリームを取り出し、それらをプロジェクタ16またはテレビ15に表示する。このようにして、任意の参加者が、他のすべての参加者とファイルを共有することができ、単純なデータ交換が実現される。しかし、このスライドを共有する方法には顕著な欠点がある。つまり、参加者が互いに情報をやり取りすることができないということである。講演者がスライドを詳しく説明するときに、他の参加者は、スライドを注視するが、それらのスライドにマークを付けることができないため、ディスカッションの効率が低下し、インタラクティブな操作性が悪化する。

この欠点を鑑みて、電子ホワイトボードにマークを入れるという手段によってビデオ会議の参加者間の情報のやり取りを可能にする他の解決策が従来技術において提唱されている。図2に示されているように、電子ホワイトボードサーバー20は、会議サーバーサイドに配備され、電子ホワイトボードクライアントは、それぞれのビデオ会議端末、例えば、クライアント21、クライアント22、クライアント23、クライアント24、およびクライアント25に配備される。このようなクライアントは、一般的には、パーソナルコンピュータ(PC)であり、いくつかのクライアントは、会議サブシステム内の会議サーバーまたは会議クライアントとすることができる。すべてのクライアントは、ネットワークを通じて電子ホワイトボードサーバー20に接続されている。電子ホワイトボードサーバー20は、電子ホワイトボードを起動するが、これは背景がブランクになっていてもよい。あるいは、写真もしくはスライドを背景に使用してもよい。電子ホワイトボードサーバー20は、電子ホワイトボード上のコンテンツをすべてのクライアントに写真の形態で送信する。したがって、それぞれのクライアントは、同じコンテンツを見ることができ、参加者は、クライアントを通じて電子ホワイトボード上にマークを付ける、例えば、電子ホワイトボード上に線を引いたり、円を描いたり、テキストを入力したりすることができる。このような操作は、電子ホワイトボードサーバー20上に伝送される。クライアントによって実行される操作を受け取った後、電子ホワイトボードサーバー20は、電子ホワイトボードのコンテンツを更新し、更新されたコンテンツをすべてのクライアントに送信する。このようにして、すべての参加者は、ホワイトボードを共有してディスカッションを進める。しかし、この方法は、使用範囲が制限されている。例えば、ユーザーは、スライドを直接マークすることはできない、つまり、システムは、マークされたスライドを共有することができない。それに加えて、システムは、他の電子ホワイトボードシステムを作成し、少なくとも1つのコンピュータをそれぞれの会議サイト上に構成する必要があり、このため、システムの複雑度と構築コストが増大する。

従来技術では、他の方法、つまり、リモートコラボレーションは、電子ホワイトボードをマークする方法に類似している。図3に例示されているように、システムはリモートコラボレーションサーバー30を備え、コンピュータは、ビデオ会議サイト毎に構成され、例えば、コンピュータ31、コンピュータ32、コンピュータ33、およびコンピュータ34である。このようなコンピュータは、ネットワークを通じてリモートコラボレーションサーバー30と接続される。デスクトップを他の参加者と共有する必要のある会議サイトでは、リモートコラボレーションサーバーが起動され、この会議サイトのコンピュータのデスクトップ画像(PPTまたはワードファイルなど)が他のすべての参加者と共有される。ローカルコンピュータを通じてリモートコラボレーションサーバー30に接続された後、他の会議サイトの参加者は、共有のためにリモートコラボレーションサーバー30によって提供されるコンピュータのデスクトップを見ることができる。それと同時に、ローカルのマウスおよびキーボードを通じて実行される操作が、リモートコラボレーションサーバー30に伝送される。したがって、すべての参加者は、PPTまたはワードなどの同じアプリケーションを共同で操作することができる。しかし、このシステムは、付加的なリモートコラボレーションシステムも伴い、少なくとも1つのコンピュータをそれぞれの会議サイト上に構成する必要があり、このため、システムの複雑度と構築コストが増大する。さらに、特別なリモートコラボレーションパラメータをそれぞれの会議サイトのそれぞれのコンピュータ上に構成する必要があり、ユーザーは2つのシステム、例えば、共有リモートシステムとローカルシステムとを操作する必要がある。共有するPPTおよびワードファイルなどのファイルは、あらかじめ会議サイトのコンピュータにコピーする必要があり、なおかつ、ノートブックコンピュータ上で利用可能なプラグアンドプレイ機能が実現できないので、操作に支障が出る。

したがって、少なくとも以下の問題が、従来技術には存在している。

ビデオ会議システムでは、参加者がデータを交換する際に、従来技術のビデオ会議システムによって参加者に提供されるインタラクティブデータは制約を受ける。例えば、電子ホワイトボードを備えるシステムでは、スライドをマークすることができない。さらに、電子ホワイトボードなどのビデオ会議システムは、わかりにくく、コストがかかる。

中国特許出願第200810224372.7号 中国特許出願第200910202849.6号

本発明の実施形態は、会議端末、会議サーバー、会議システム、および会議システムの複雑さを増すことなく会議端末間でデータ交換を行い、会議ユーザーのディスカッション効率を改善するためのデータ処理方法を提供する。

本発明の実施形態により、以下のように技術的な問題が解決される。

本発明の一実施形態は、
マークデータ信号を取得するように構成されたマーク取得モジュールと、
画像データ信号を取得するように構成された画像取得モジュールと、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成するように構成されたスーパーインポーズモジュールと、
ハイブリッド画像データ信号を出力するように構成された出力モジュールとを備える会議端末を実現する。

本発明の一実施形態は、
会議端末によって送信された画像データ信号を受信するように構成された画像データ受信モジュールと、
会議端末によって送信されたマークデータ信号を受信するように構成されたマーク受信モジュールと、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されたスーパーインポーズモジュールと、
ハイブリッド画像データ、または画像データ信号、またはマークデータ信号を送信するように構成された送信モジュールとを備える会議サーバーを実現する。

本発明の一実施形態は、第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、会議システムを実現する。

第1の会議端末は、
会議サーバーによって送信された画像データ信号を取得するように構成された画像取得モジュールと、
マークデータ信号を取得し、マークデータ信号を会議サーバーに送信するように構成されたマーク送信モジュールとを備える。

会議サーバーは、
画像データ信号を受信するように構成された画像データ受信モジュールと、
マークデータ信号を受信するように構成されたマーク受信モジュールと、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されたスーパーインポーズモジュールと、
ハイブリッド画像データを第1の会議端末および少なくとも1つの第2の会議端末に送信するように構成された送信モジュールとを備える。

少なくとも1つの第2の会議端末は、ハイブリッド画像データを受信して表示するように構成される。

本発明の一実施形態は、第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、別の会議システムを実現する。

第1の会議端末は、
会議サーバーによって送信された画像データ信号を取得するように構成された画像取得モジュールと、
マークデータ信号を取得し、マークデータ信号を会議サーバーに送信するように構成されたマーク送信モジュールとを備える。

会議サーバーは、画像データ信号およびマークデータ信号を受信して、信号を回送するように構成される。

少なくとも1つの第2の会議端末は、
第1の時間間隔値を生成するように構成された第1のタイマーと、
会議サーバーによって回送された画像データ信号を取得するように構成された画像取得モジュールと、
会議サーバーによって回送されたマークデータ信号を取得し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の外部マーク取得モジュールと、
第1のマークデータ信号を画像データ信号上にスーパーインポーズして第1のハイブリッド画像データ信号を生成するように構成された第1のスーパーインポーズモジュールと、
第1のハイブリッド画像データ信号を表示するように構成された表示モジュールとを備える。

本発明の一実施形態は、第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、会議システムを実現する。

第1の会議端末は、
第1の時間間隔値を生成するように構成された第1のタイマーと、
第2の時間間隔値を生成するように構成された第2のタイマーと、
ローカル会議端末によって送信されたマークデータ信号を取得し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の内部マーク取得モジュールと、
ローカル会議端末によって送信されたマークデータ信号を取得し、第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成するように構成された第2の内部マーク取得モジュールと、
第1のマークデータ信号を画像データ信号上にスーパーインポーズして第2のハイブリッド画像データを生成するように構成された第2のスーパーインポーズモジュールと、
第1のハイブリッド画像データをローカル会議端末の表示画面に送信するか、または補助ストリームチャネルを通じて第2のハイブリッド画像データを会議サーバーに送信するように構成された第2の送信モジュールとを備える。

会議サーバーは、第2のハイブリッド画像データ信号を受信して、そのデータを回送するように構成される。

第2の会議端末は、第2のハイブリッド画像データ信号を受信して、そのデータを表示するように構成される。

本発明の一実施形態は、
画像データ信号を取得するステップと、
マークデータ信号を取得するステップと、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成するステップと、
ハイブリッド画像データ信号を出力するステップとを含む、データ処理方法を提供する。

本発明の一実施形態は、
会議端末によって送信された画像データ信号およびマークデータ信号を受信するステップと、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するステップと、
ハイブリッド画像データ、または画像データ信号、またはマークデータ信号を会議端末に送信するステップとを含む他のデータ処理方法を提供する。

本発明の実施形態により、以下の利益がもたらされる。

前記の技術的な解決策において、会議端末は、マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成する(例えば、ハイブリッド画像データ信号は、マーク入りのスライドである)。この方法では、会議端末を利用する参加者は、スライドを注視しているときにスライド上にマークを追加することができ、ビデオ会議ユーザー間のインタラクティブな操作性が改善され、ディスカッション効率も、会議システムの複雑さを増すことなく改善される。

本発明による、または従来技術における技術的な解決策をより明確にするために、以下では、本発明または従来技術の実施形態の説明に関わる添付図面の概要を説明する。明らかに、以下で概要を述べる添付図面は、例示的なものにすぎず、網羅的ではなく、当業者であれば、創造的労力を費やすことなくそのような添付図面から他の図面を導き出すことができる。

従来技術の会議システムのアプリケーションシナリオの略構造図である。 従来技術の会議システムにおけるインタラクティブな活動用に電子ホワイトボードを使用するアプリケーションシナリオの略構造図である。 従来技術の会議システムにおけるインタラクティブな活動用にリモートコラボレーションサーバーを使用するアプリケーションシナリオの略構造図である。 本発明の一実施形態による会議端末の構造の全体を示す略図である。 図4に例示されている会議端末の構造の特定の略図である。 図5に例示されている会議端末がローカルマークデータ信号を受信し、マークデータ信号をローカルでスーパーインポーズしてハイブリッド画像データを生成する仕方に関する特定の略構造図である。 図5に例示されている会議端末がローカルマークデータ信号を送信し、次いで、トークンを取得した後にマークデータ信号を記録し、送信するときに、第1のトークン制御モジュールがH.239補助ストリームチャネルからのトークンをどのように求めるかを示す略構造図である。 図5に例示されている会議端末が外部マークデータ信号を受信し、マークデータ信号をローカルでスーパーインポーズしてハイブリッド画像データを生成する仕方に関する特定の略構造図である。 図8に例示されている第1の外部マーク取得モジュールの構造の特定の略図である。 図5に例示されている会議端末がローカルスーパーインポーズを実行し、次いで、トークンを取得した後にハイブリッド画像データを生成するスーパーインポーズを実行したときに、第2のトークン制御モジュールがH.239補助ストリームチャネルからのトークンをどのように求めるかを示す略構造図である。 図1に例示されている会議端末の他の構造の特定の略図である。 会議端末の構造の特定の略図である。 会議端末の特定のアプリケーションシナリオの略図である。 会議端末の他の特定のアプリケーションシナリオの略図である。 会議端末の他の特定のアプリケーションシナリオの略図である。 本発明の一実施形態による会議サーバーの構造を示す略図である。 図16に例示されている会議サーバーの構造の特定の略図である。 本発明の一実施形態による会議システムの構造を示す略図である。 図18に例示されている会議システムにおいて連結されている複数のMCUのアプリケーションシナリオの略図である。 本発明の一実施形態による会議システムの他の構造を示す略図である。 図20に例示されている会議システムにおいて連結されている複数のMCUのアプリケーションシナリオの略図である。 本発明の一実施形態による会議システムの他の構造を示す略図である。 図22に例示されている会議システムにおいて連結されている複数のMCUのアプリケーションシナリオの略図である。 本発明の一実施形態によるデータ処理方法の流れ図の略図である。 本発明の一実施形態によるデータ処理方法の他の流れ図の略図である。

本発明の実施形態により解決すべき技術的な問題、技術的解決策、および本発明のメリットをより明確にするために、以下では、添付図面およびいくつかの例示的な実施形態を参照しつつ本発明についてさらに詳しく説明する。

従来技術では、H.239規格のデュアルストリーム機能をユーザーの意志で電子ホワイトボードをマーキングすることに類似したマーキング機能と組み合わせることはできず、ユーザー間に十分なインタラクティブな活動を行わせることができないことを考慮して、本発明の実施形態では、会議端、会議サーバー、会議システム、および会議システムにおけるデータ処理方法を提供する。

§会議端末の第1の実施形態
図4は、会議端末の略構造図である。この実施形態における会議端末40は、
マークデータ信号を取得するように構成されたマーク取得モジュール41と、
画像データ信号を取得するように構成された画像取得モジュール42と、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成するように構成されたスーパーインポーズモジュール43と、
ハイブリッド画像データ信号を、他の会議端末に信号を回送するMCUなどの、ローカル会議端末または会議サーバーの表示画面に出力するように構成された出力モジュール44とを備える。

本明細書の会議端末40は、ビデオ会議の会議サイトにある端末とすることができる。これは、会議サイトにある複数の入力デバイスの信号を管理する役割を有する会議端末サーバーとしてもよい。入力デバイスは、音声入力デバイス、ビデオ入力デバイス、電子ホワイトボード、またはライティングスクリーンとすることができる。この会議サイトは、ビデオ信号を出力するための画像表示デバイス(通常のディスプレイなど)、およびオーディオ信号を出力するためのサウンドボックスをさらに備えることができ、画像データ信号は、PPTファイルまたは類似のファイルであってよく、マークデータ信号は、円またはコメントとすることができる。会議端末40は、マークデータ信号を受信した画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成する。例えば、ハイブリッド画像データ信号は、マーク入りスライドである。会議システムの複雑さを増すことなく、会議端末を利用する参加者は、スライドを注視しているときにスライドをマークすることができ、ビデオ会議ユーザー間のインタラクティブな操作性が改善され、ディスカッション効率も改善される。

§会議端末の第2の実施形態
図5に示されているように、会議端末の第1の実施形態に基づき、会議端末40は、第1の時間間隔値を生成するように構成された第1のタイマー45と、第2の時間間隔値を生成するように構成された第2のタイマー46とをさらに備えることができる。実際には、これら2つのタイマーは同じタイマーであってもよく、このタイマーは2つの時間間隔値を出力する。

したがって、マーク取得モジュール41は、第1のマーク取得モジュール411と第2のマーク取得モジュール412とを備える。

第1のマーク取得モジュール411は、マークデータ信号を受信し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成される。第1の時間間隔値は、ローカル会議端末の表示画面上のマークデータ信号の表示を制御し、これにより、ローカル表示画面のリアルタイムの表示効果を確実なものとする。第1の時間間隔値は、一般的には小さい、つまり、第1の時間間隔は、一般的には短い。会議端末40の表示画面が、テレビである場合、第1の時間間隔の最良の値は、テレビのフレーム間隔と同じである。

第2のマーク取得モジュール412は、マークデータ信号を取得し、第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成するように構成される。マークデータ信号は、リモート会議端末に伝送されるときにH.239補助ストリームチャネルで伝送される必要があるため、第2の時間間隔値は、好ましくは短すぎない値である。第2の時間間隔値は、伝送されるデータのサイズが小さくなるように1秒程度の大きさとすることができる。

§会議端末の第3の実施形態
図6に示されているように、会議端末の第2の実施形態における第1のマーク取得モジュール411は、ローカル会議端末によって送信されたマークデータ信号を取得し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成されている第1の内部マーク取得モジュール4110とすることができる。例えば、ローカル会議端末のタッチスクリーンを通じて、ユーザーは、画像取得モジュール42によって受信した画像データ信号上に円などのマークを追加する。画像データ信号はスライドであってよく、これはローカルスライドまたはリモート会議端末から受信したスライドである。第1の内部マーク取得モジュール4110は、第1の時間間隔値に従って円マークを出力し、第1のマークデータ信号を生成する。

それに加えて、第2のマーク取得モジュール412は、第2の内部マーク取得モジュール4120であってもよく、これは、ローカル会議端末によって送信されたマークデータ信号を受信し、第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成するように構成されている。

会議端末は、マーク符号化モジュール47およびマーク送信モジュール48をさらに備える。第2の内部マーク取得モジュール4110によって生成される第2のマークデータ信号は、マーク符号化モジュール47に伝送され、マーク符号化モジュール47は、第2のマークデータ信号を符号化して第3のマークデータ信号を生成する。第3のマークデータ信号は、マーク送信モジュール48に伝送される。マーク送信モジュール48は、H.239補助ストリームチャネルを通じて会議システム内の会議サーバーに第3のマークデータ信号を送信し、第3のマークデータ信号は、会議サーバーによって他の会議端末に回送される。

§会議端末の第4の実施形態
図7に示されているように、前の会議端末実施形態において、データは、会議端末と会議サーバーまたは他の会議端末との間でH.239補助ストリームチャネルまたはユーザー定義チャネルを通じて伝送され、H.239プロトコルのメインストリームチャネルは、動画ビデオを伝送するように設計されている。この方法では、静的画像データの伝送と動画ビデオの伝送との間に衝突は存在しない。しかし、H.239プロトコルのH.239補助ストリームチャネルが、マークデータ信号またはローカル会議端末によって生成されたハイブリッド画像データを伝送するために使用される場合、この伝送は、会議システム内の会議端末間の伝送の混乱を防止するためにトークンの相互排除に基づく。

最初に、H.239補助ストリームチャネルがマーク補助ストリームをサポートしているかどうかをチェックする判定を行う。H.239補助ストリームチャネルが、マーク補助ストリームをサポートしている場合、会議端末40は、
H.239補助ストリームチャネルに会議サイトトークンを申請し、会議サイトトークンの取得に成功した後、第1の制御信号を生成するように構成された第1のトークン制御モジュール49をさらに備えることができる。

マーク送信モジュール48は、第1の制御信号に従ってH.239補助ストリームチャネルを通じて第3のマークデータ信号を会議サーバーに送信する。

つまり、マークデータ信号を送信する前に、現在の会議端末T1がトークンを申請する。この方法で、T1のマークデータ信号をローカルで表示させ、リモート会議サーバーに送信させることができ、次いで、このマークデータ信号は、会議サーバーによって他の会議端末に回送される。システム内の他の会議端末T2が、それ自体のマークデータ信号の送信を望んでいる場合、T2は、最初にトークンを申請する必要があり、現在のトークン所有者は会議端末T1から会議端末T2に変更され、これにより、異なる会議端末によって送信されたマークデータ信号の混乱を防ぐことができる。

§会議端末の第5の実施形態
図8に示されているように、会議端末の前記のすべての実施形態において、会議端末は、受信機能を備えるべきである。特に、第1のマーク取得モジュール411は、
ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送されるマークデータ信号を受信し、第1のタイマー45によって生成される第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の外部マーク取得モジュール4111である。

スーパーインポーズモジュール43は、第1のマークデータ信号を画像データ信号上にスーパーインポーズして第1のハイブリッド画像データ信号を生成するように構成されている、第1のスーパーインポーズモジュール430である。

出力モジュール44は、第1のハイブリッド画像データを、データが表示されるローカル会議端末の表示画面上に送信するように構成されている、第1の送信モジュール440である。

§会議端末の第6の実施形態
図9に示されているように、複数の会議サイトにある会議端末が、ディスカッションプロセスにおいてマークを同時に付ける必要がある可能性がある。異なる会議サイトにおけるマークデータ信号の無秩序を防ぐために、相互排除を実行する必要がある。会議端末の前記の第5の実施形態に基づいて、第1のマーク取得モジュール411が、複数の会議端末によって送信されたマークデータ信号を受信するときに、第1の外部マーク取得モジュール4111は、
ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送されるマークデータ信号を受信するように構成された第1の外部マーク取得サブモジュール41110と、
それぞれが会議サイトに対応し、会議サイト(つまり、他の会議端末)によって送信されるマークデータ信号が復号化のために復号器に入り、それぞれの復号器が受信されたマークデータ信号を復号化した後にマークデータ信号キューを生成する、少なくとも1つの復号器、例えば、復号器1、復号器2、復号器3と、
第1の時間間隔値およびマークデータ信号キューの順序に従ってマークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成するように構成されたマーク出力モジュール41111とを備える。

次いで、第1のマークデータ信号が、スーパーインポーズを行うために第1のスーパーインポーズモジュール430に順次送信される。受信機が、スーパーインポーズにおいてそれぞれの会議端末によって送信されたマークデータ信号を識別できるようにするために、それぞれの会議端末によって送信されたマークデータ信号は、会議番号、端末番号、およびこの会議端末の対応するマークデータ信号のコンテンツを含む必要がある。マークデータ信号のコンテンツは、ベクトルグラフ、バイナリビットマップ、YUVクロマティックビットマップ、または赤色、緑色、および青色(RGB)クロマティックビットマップなどのカラービットマップによって表すことができる。マークデータ信号のコンテンツが、ベクトルグラフまたはバイナリビットマップによって表される場合、会議サーバー(MCU)は、塗りつぶし色をそれぞれの会議端末にランダムに割り当てることができる。会議端末のスーパーインポーズモジュールは、会議サーバーによって割り当てられた色を、異なる会議サイトのトラックをスーパーインポーズするときに塗りつぶすために使用する。トラックが、YUVビットマップまたはRGBビットマップなどのクロマティックビットマップによって表される場合、受信機がトラックの配置を識別し、それをスライド上にスーパーインポーズすることができるようにシステムにおいて透明色を一様に指定する必要があり、この方法により、マークデータ信号が画像データ信号上にスーパーインポーズされた後、それぞれの会議サイトのハイブリッド画像データの完全性が保証される。

会議端末が、他の会議端末によって送信されたマークデータ信号を受信し、それと同時に画像データ信号を受信したときに、会議端末は、マークデータ信号を受信した画像データ信号上にスーパーインポーズして完全なハイブリッド画像データを形成する。この方法により、会議端末は、リモート側によって現在の画像データに入れられたマークを認識する。

§会議端末の第7の実施形態
図10に示されているように、会議システムがマーク補助ストリームをサポートしていない場合、会議端末は、ハイブリッド画像データを他の端末に送信することしかできない。ハイブリッド画像データは、ローカル会議端末上へのスーパーインポーズ機能を通じて生成される。異なる端末によって送信されるハイブリッド画像データの正しい順序を保証するために、会議端末40は、H.239プロトコルの他のH.239補助ストリームチャネルに会議サイトトークンを申請し、会議サイトトークンの取得に成功した後、第2の制御信号を生成するように構成された第2のトークン制御モジュール50をさらに備えることができる。第2の制御信号を取得した後に、スーパーインポーズモジュール43は、マークデータ信号および画像データ信号の記録を開始し、マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成することができる。

つまり、マークを受信したスライド上に追加する前に、会議端末T1がH.239補助ストリームチャネルの制御トークンを申請する。トークンを取得した後、会議端末T1は、ユーザーによって追加されたマークデータ信号の記録を開始し、マークデータ信号をスライド上にスーパーインポーズしてハイブリッド画像データを生成する。会議端末T1は、H.239補助ストリームチャネルを通じて、符号化されたハイブリッド画像データを会議サーバーに送信し、会議サーバーは、ハイブリッド画像データを他の会議端末に回送する。他の会議にある会議端末がマークデータ信号の追加を望んでいる場合、その会議端末は同じ動作を実行する。この方法では、H.239補助ストリームチャネルの送信トークンを連続的に切り替えることによって、それぞれの会議サイトの会議端末はそのマークをスライド上に追加することができる。

したがって、スーパーインポーズモジュール43は、第1のマークデータ信号を画像データ信号上にスーパーインポーズして第2のトークン制御モジュール50によって生成される第2の制御信号に従ってマーク入りスライドなどの第2のハイブリッド画像データを生成するように構成されている、第2のスーパーインポーズモジュール431である。

出力モジュール44は、特に、第2のハイブリッド画像データを、ローカル会議端末の表示画面上に送信するか、またはH.239補助ストリームチャネルを通じて第2のハイブリッド画像データを会議サーバーに送信するように構成されている、第2の送信モジュール441である。この方法により、第2のハイブリッド画像データは、ローカル会議端末上に表示することができる。マークをタッチスクリーン上に追加した後、ユーザーは、自分が描いたマークのトラックを刻々と確認することができる。あるいは、第2のハイブリッド画像データは、H.239補助ストリームチャネルを通じて会議サーバーに送信され、会議サーバーによって他の会議端末に回送されうる。この方法で、他の会議端末は、ユーザーによって現在マークされているスライドを見ることができる。

§会議端末の第8の実施形態
図11に示されているように、前記のすべての実施形態において例示されている会議端末40は、
ハイブリッド画像データをローカル会議端末上に格納するように構成され、会議の進行中にそれぞれのマーク入りスライドが会議プロセスを記録できるようにローカル会議端末上に格納されうる、画像データ格納モジュール51と、
ハイブリッド画像内のマークデータ信号を消去するように構成され、マークデータ信号の追加の進行中に、ユーザーが追加されたマークデータ信号を消去することができ、トークン所有者が、追加されたマークを消去するようにスーパーインポーズモジュール43に指令する命令をトークン制御モードで送信することができる、マーク消去モジュール52と、
内部画像取得モジュール420によって受信された画像データ信号をローカル会議端末から会議サーバーへ送信するように構成され、他の会議端末がローカル会議端末の画像データを見られるように画像データ信号が会議サーバーによって他の会議端末に回送される、画像送信モジュール53とをさらに備えることができる。

それに加えて、画像取得モジュール42は、ローカル会議端末によって送信された画像データ信号を取得するように構成された内部画像取得モジュール420と、他の会議端末によって送信され、会議サーバーによって回送された画像データ信号を取得するように構成された外部画像取得モジュール421とを備える。

前記のすべての実施形態において、画像取得モジュール42によって受信された画像データ信号は、スライドまたはホワイトバックグラウンドとすることができる。ホワイトバックグラウンドは、会議端末の入力デバイスによって生成される。例えば、システムは、ユーザーがタッチスクリーンを通じてマークを入れた後にホワイトバックグラウンドを自動的に生成する。ユーザーのすべてのマークデータ信号は、ユーザーが容易に、またより便利にマークを入れられるようにホワイトバックグラウンド上にスーパーインポーズされる。

§会議端末の第9の実施形態
図12に示されているように、前記のすべての実施形態において、会議端末40の会議サイトは、複数の入力デバイスを備えることができる。入力デバイスは、音声入力デバイス、ビデオ入力デバイス、電子ホワイトボード、またはライティングスクリーンとすることができる。このような入力デバイスは、会議端末に、直接的にまたは間接的に接続することができる。会議端末40の会議サイト上の異なる入力デバイス間の切り替えを円滑にするために、会議端末40は、トークンの相互排除を通じて会議サイト上の複数の入力デバイスを制御することができる。したがって、会議端末は、
ローカル会議端末が配置されている会議サイト内の入力デバイスのサブトークン申請を受信し、サブトークンの申請の成功を確認した後にサブトークンを入力デバイスに割り当てるように構成されたトークン管理モジュール54をさらに備えることができる。

したがって、第1の内部マーク取得モジュール4110は、ローカル会議端末が配置されている会議サイト上にある入力デバイスのマークデータ信号を取得し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成する。

第2の内部マーク取得モジュール4112は、サブトークンに従ってローカル会議端末が配置されている会議サイト内にある入力デバイスのマークデータ信号を取得し、第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成する。

つまり、会議サイト内にある会議端末40と接続されている入力デバイスのうちのどの入力デバイスがトークンを取得しようと、会議端末は、そのトークンを取得する入力デバイスのマークデータ信号を受信する。しかしそれでも、ビデオ/オーディオ信号については、会議端末は、トークンの相互排除を通じて信号を制御することができる。

それに加えて、会議端末40の会議サイト上の入力デバイスがターゲット入力デバイスとのプライベートセッションを実行する必要がある場合、会議端末40は、ターゲット入力デバイスとプライベート会議を実行するためにローカル会議端末が配置されている会議サイト上の入力デバイスによって送信されたプライベートトークン申請を受信し、プライベートトークンの申請の成功を確認した後にH.239補助ストリームチャネルまたはユーザー定義チャネルを使用してプライベートトークンを入力デバイスに割り当てるように構成されたプライベートトークン制御モジュール55をさらに備えることができる。この方法により、入力デバイスは、H.239補助ストリームチャネルまたはユーザー定義チャネルを通じてターゲット入力デバイスとのプライベートセッションを実行することができる。

ここで、ターゲット入力デバイスは、会議端末40の会議サイトを除く他の会議サイト上にある入力デバイス、または会議端末40の会議サイト上にある入力デバイスとすることができる。

それに加えて、会議端末40内のマーク取得モジュール41は、マークデータ信号をリアルタイムで取得することができる、リアルタイムマーク取得モジュールであるか、またはマニュアル受信オプションを備え、マニュアル受信オプションが選択されたときにマークデータ信号を取得するマニュアルマーク取得モジュールであるものとしてよい。

前記の会議端末40内の画像取得モジュール42は、画像データ信号をリアルタイムで取得することができる、リアルタイム画像取得モジュールであるか、またはマニュアル受信オプションを備え、マニュアル受信オプションが選択されたときに画像データ信号を取得するマニュアル画像取得モジュールであるものとしてよい。

§会議端末の第10の実施形態
以下では、図13を参照しつつ会議端末40の会議サイトの特定の申請シナリオについて説明する。図13に示されているように、会議端末40は、MCU 130と接続され、ネットワークを通じてこの会議サイト上のビデオおよびオーディオ信号、ならびにデータ信号(従来のデータ信号、およびインタラクティブ型電子ホワイトボードによって生成されるインタラクティブデータ信号を含む)をMCU 130に伝送し、MCU 130から他の会議サイトのビデオおよびオーディオ信号、ならびにデータ信号を受信して、そのような信号が表示のためにこの会議サイトの出力デバイスに伝送されるようにする。

この会議サイトは、少なくとも1つの入力デバイスをさらに備える。ビデオおよびオーディオ信号については、入力デバイスは、
会議サイト上で音声信号を取り込み、音声信号を会議端末40に伝送するために、一般的にマイクロホンである、オーディオ入力デバイス131と、
会議サイト上でビデオ信号を取り込み、ビデオ信号を会議端末40に伝送するために、一般的に1つまたは複数のカメラである、ビデオ入力デバイス132とを備える。

会議端末40は、受信したビデオおよびオーディオ信号を符号化し、それらを、ネットワークを通じてMCU 130に送信し、次いで、MCU 130が、会議サイト上の符号化された信号を表示のため他の会議サイトに送信する。

データ信号に関して、
会議端末40と接続されているデータサーバー135は、会議サイト上に配備され、会議サイト上のユーザーは、送信者として、電子ホワイトボード133およびライティングスクリーン134上のデータを編集し、例えば、データサーバー135を通じて会議端末40に送信される、マークデータ信号を追加し、信号が会議端末40によってMCU 130に送信されたときに、MCU 130は、他の会議サイト上にある会議端末40に信号を同時に分配する。

会議端末40は、受信者として、MCU 130から受信したデータ信号を会議サイト上にあるデータサーバー135に伝送し、データサーバー135は、データ信号を会議サイト上にある電子ホワイトボード133および会議サイト上にある1つまたは複数のライティングスクリーン134に伝送する。

会議サイトは、いくつかの信号出力デバイスをさらに備える。ビデオおよびオーディオ信号について、受信者として働くオーディオ出力デバイス136は、一般的には、会議端末40によって会議サイト内にいる参加者に伝達される音声信号を発する、ステレオスピーカーであり、ビデオ出力デバイス(図には示されていない)は、一般的には、会議端末40によって会議サイト上にいる参加者に伝達されるビデオ信号を発する、1つまたは複数の表示画面もしくはプロジェクタである。

コラボレーションを伴う会議では、1人の参加者が、役割を一方の役割から他方の役割に切り替える、例えば、講演者から非講演者に、または非講演者から講演者へと切り替える必要がある。現実の会議シナリオでは、講演者の役割は、講演者間で、前者が操作を終了した後にのみ切り替えられる。したがって、本発明の実施形態は、好ましい解決策として操作方法を提供し、これは制御トークンを使用して役割を切り替える。

(a)主制御トークンが、会議システム全体に対して設定され、会議システムは、少なくとも2つの会議サイトを備える。会議端末40は、会議サイト毎に設定される。一方の会議サイトの会議端末40は、信号を伝送するためにMCU 130を通じて他方の会議サイトの会議端末に接続される。主制御トークンは、前記の会議サイトトークンと同等である。1つの会議サイト上の講演者が、この会議サイトトークンの申請に成功した場合、この会議サイトが現在演説する用意ができていることを意味する。

会議サイト2上にいる第2の講演者が、現在の会議サイト1上にいる第1の講演者が会議サイトトークンを取得しており、演説しているときに会議サイトトークンの取得を要求した場合、第2の講演者は、会議サイトトークンを取得した後に主講演者に切り替わる。主講演者が述べるコンテンツは、この会議サイト上にある他の端末に、または他の会議サイト内にある会議端末に送信される。

このシナリオに対応して、それぞれのマンマシンインタラクティブデバイス(電子ホワイトボードまたはライティングスクリーン)は、制御トークン申請を出すことができる。デバイスは、トークンをアクティブに申請するか、または制御トークンをこの会議サイトまたは他の会議サイトのインタラクティブ型会議端末にアクティブに転送することができる。

(b)制御トークンの階層が設定される。つまり、会議システムレベルの主制御トークン(前記の会議サイトトークンと同等)が設定され、会議サイト上にいるそれぞれの参加者はサブトークンに対応する。この方法は、以下の申請シナリオを鑑みて提唱される。

最初に、ローカル会議サイト上で、解決策を出す。会議サイト全体を通してコンセンサスに達した後、最終的解決策を他の会議サイトに配布する。以下の2つのシナリオが存在する。

シナリオ1: 第1の講演者および第2の講演者が、同じ会議サイト内におり、第1の講演者が、演説中である。このシナリオでは、この会議サイトのサブトークンを取得した後に、第2の講演者が、主講演者に変わることができる。第1の講演者は、サブトークンをローカル会議サイト上にいる第2の講演者にアクティブに転送することもできる。

シナリオ2: 第1の講演者および第2の講演者が、異なる会議サイト上におり、第1の講演者が、演説中である。このシナリオでは、トークンの申請を出した後に、第2の講演者は、第2の講演者の会議サイトのトークンを最初に申請する。申請に成功した後、第2の講演者は、会議サイト内でサブトークンを申請する。サブトークンを取得した後、第2の講演者が、主講演者に変わる。第1の講演者は、第2の講演者の会議サイトに会議サイトトークンをアクティブに転送することもでき、第2の講演者の会議サイトでは、ローカルサブトークンを第2の講演者に配布する。

特別な申請シナリオが存在する。
最初に、ローカル会議サイト上で、解決策を出し、会議サイト全体を通してコンセンサスに達した後、最終的解決策を他の会議サイトに配布する。このシナリオでは、この会議サイト全体を通してコンセンサスに達し、伝送機能が有効化される前に、この会議サイト上にあるデータサーバー135は、未了のマーク情報を会議端末40に送信しないが、そのような情報をこの会議サイトの他の参加者に送信する。伝送機能が有効化された後、会議端末40は、取得したマーク信号をMCU 130に伝送し、MCU 130は、それを他の会議サイトに伝送する。

この実施形態では、データは、H.239プロトコルを通じて会議端末40とMCU 130との間で伝送される。H.239プロトコルは、制御チャネル、メインストリームチャネル、およびH.239補助ストリームチャネルを提供する。メインストリームチャネルは、会議サイト間でビデオ信号を伝送し、H.239補助ストリームチャネルは、PPTファイル、ワードファイル、またはマークなどのデータ信号を伝送する。データ信号を伝送する時点において、その伝送方法は、以下に例示されているように、会議端末40の前記の第1から第10までの実施形態において取りあげられている方法と同じである。

(a)コメント情報は一緒に符号化するためPPTファイル上にスーパーインポーズされ、この符号化された情報は、同じチャネルで伝送される。

(b)PPTデータおよびコメント情報は、別々に符号化され、異なるチャネルで伝送される。他の適切な実施方法は以下のとおりである。異なるマークを符号化されたPPTデータおよびコメント情報にそれぞれ添付し、PPTデータおよびコメント情報を同じチャネルで伝送する。

(c)講演者は、一般的に、アイデアをより正確に説明するために異なる色などの多くのツールを必要とする。電子ホワイトボード上の異なる操作は、他の会議サイト上にある表示デバイス上にリアルタイムで反映される。

それぞれの会議サイト上にある会議端末40が、MCU 130からビデオおよびオーディオ信号、またはデータ信号を受信すると、リアルタイム受信またはマニュアル受信の申請シナリオは以下のように進む。

(1)ライティングスクリーン134が使用され、送信者側として働く会議サイトがコメントなどのデータ信号をリアルタイムで、またはマニュアル操作で伝送する場合: ライティングスクリーン134を使用する人が、講演者である。レクチャーを行っている間、講演者はPPTスライド上にマークを入れ、例えば、直線を引く。定期的な時間間隔で、講演者の動作によって生成される画像が、データサーバー135に送信されるか、または講演者が、伝送機能をマニュアルで起動し、データサーバー135が、画像をローカル会議サイト上の電子ホワイトボード133および他のライティングスクリーンに、また会議端末40に送信する。会議端末40は、画像をMCU 130に送信し、MCU 130は、他の会議サイト上にある会議端末40に画像を回送する。

受信側として働く会議サイトの会議端末40は、MCU 130によって回送されたデータ信号をリアルタイムで、またはマニュアルで受信することができる。

(2)電子ホワイトボードが使用され、コメントがリアルタイムで、またはマニュアル操作を通じて伝送される場合: 電子ホワイトボード133を使用する人が、講演者である。レクチャーを行っている間、講演者はPPTスライド上にマークを入れ、例えば、直線を引く。定期的な時間間隔で、講演者の動作によって生成される画像が、データサーバー135に送信されるか、または講演者が、伝送機能をマニュアルで起動し、データサーバー135が、画像をローカル会議サイト上のライティングスクリーン134および会議端末40に送信する。会議端末40は、画像をMCU 130に送信し、MCU 130は、他の会議サイト上にある会議端末40に画像を回送する。

受信者として働く会議サイトの会議端末40は、MCU 130によって回送されたデータ信号をリアルタイムで、またはマニュアルで受信することができる。

(3)前記のシナリオにおいて、非講演者によって使用される電子ホワイトボードおよびライティングスクリーンに対応する他の参加者は、レクチャーにコメントを入れる必要がある場合があり、そのコメントを受信画面上に入れることができる。

講演者のレクチャー速度は、他の参加者がコメントを入れる速度と常に一致しているわけではないため、以下の2つのシナリオが可能である。

他の参加者がコメントを入れている第1のページは、講演者によるレクチャーの下にある第2のページと同じである。

他の参加者がコメントを入れている第1のページは、講演者によるレクチャーの下にある第2のページと異なる。

解決策は以下のとおりである。他の参加者の受信端末にモードスイッチを備える。受動的受信が予想される場合、ランニングモードがリアルタイム更新モードに切り替えられる。リアルタイム更新モードでは、受信端末によって表示されるコンテンツは、講演者のレクチャーのコンテンツとともに変化し、他の参加者は、レクチャー時にコメントを入れることはできない。コメント書き込みを有効にするために、モードは、コメント保持モードに切り替えられる必要がある。コメント保持モードでは、この端末によって表示されるコンテンツは、講演者のレクチャーのコンテンツとともに変化せず、他の参加者は、レクチャー時にコメントを入れることができる。コメント書き込みが完了した後、モードは、更新モードに切り替えられる。

(4)シナリオ1〜2において、コメント作成者は、会議の後に要約し、レビューすることを目的としてコメントまたは伝送されたページをいつでも保存できることを期待している場合がある。単純な方法は以下のとおりである。コメント作成者は、コメント作成者が操作している電子ホワイトボードまたはライティングスクリーン上で保存機能を有効にした後、現在のコメントをローカル会議サイト上にあるデータサーバー135に保存する。

(5)ときには、2人の参加者が、会議中にプライベートで話す必要がある。この場合、プライベートのコミュニケーションを必要とする参加者に対してH.239補助ストリームチャネルを開始する必要がある。H.239補助ストリームにおいて、プライベートトークンを作成する。2人のプライベートで話す人が、プライベートトークンを取得した後、プライベートで話す人1は、プライベートで話す人2にコメントを送信し、プライベートで話す人1によって送信されたコメントを受信した後、プライベートで話す人2は、コメント情報をプライベートで話す人1に送信し、そうしてプライベート情報を交換する。

図14は、図13から派生した図である。図14において、電子ホワイトボード133およびライティングスクリーン134は、会議サイト上にある会議端末40と直接接続され、データサーバー135は、レクチャーまたはコメント情報のPPTスライドなどの従来データを格納するようにのみ構成される。

図15は、図13から派生したもう1つの図である。図15において、会議端末40は、センターであり、電子ホワイトボード133およびライティングスクリーン134は、その会議サイト上にある会議端末40とのみ接続され、データサーバー135は、会議端末40と接続され、データサーバー135は、電子ホワイトボード133上で示されているデータ、またはレクチャーが行われているPPTスライドなどの従来データ、またはコメント情報を格納するための唯一の記憶装置デバイスである。

会議端末40は、データサーバー135の代わりにデータ信号を格納するための格納モジュールを備えることができる。特に、電子ホワイトボード133などの入力デバイスは、電子ホワイトボードそれ自体によって生成されたデータ信号、または他の参加者によって送信され、会議端末によって回送されるデータ信号を格納することが可能であるとしてもよい。

会議端末の前記の実施形態において、付加的なデバイスを伴うことなく、参加者間のデータコラボレーションが、H.239プロトコルの既存のデュアルストリーム機能に基づいて実装され、動的インタラクションが、会議サイト上の任意の入力ソース(電子ホワイトボードおよびライティングスクリーンなどの)と他の会議サイト上の入力ソースとの間で実装され、これにより、ユーザー間のインタラクティブな操作性とディスカッション効率とが改善される。

§会議サーバーの第1の実施形態
図16に示されているように、会議サーバー60は、本発明の一実施形態において実現される。会議サーバーは、一般的に、MCUであり、これは、ビデオ会議において使用され、そのビデオ会議内のそれぞれの会議端末についてデータの回送およびサービスを提供する。会議サーバー60は、
会議端末によって送信された画像データ信号を受信するように構成された画像データ受信モジュール61と、
会議端末によって送信されたマークデータ信号を受信するように構成されたマーク受信モジュール62と、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されたスーパーインポーズモジュール63と、
ハイブリッド画像データ、または画像データ信号、またはマークデータ信号を会議端末に送信するように構成された送信モジュール64とを備える。

§会議サーバーの第2の実施形態
図17に示されているように、スーパーインポーズモジュール63が、マークデータ信号を画像データ信号上にスーパーインポーズすると、複数の会議端末によって送信されたマークデータ信号が受信される場合があり、スーパーインポーズモジュール63は、一方の会議端末によって送信されたマークデータ信号を他の会議端末によって送信されたマークデータ信号から弁別する必要がある。スーパーインポーズモジュール63は、塗りつぶしモジュール631および処理モジュール632を備える。

塗りつぶしモジュール631は、塗りつぶし色または透明色をマークデータ信号に割り当てて、その塗りつぶし色または透明色を使用して、マークデータ信号を処理し、クロマティックマークデータ信号を生成するように構成される。マークデータ信号のコンテンツは、ベクトルグラフ、バイナリビットマップ、YUVクロマティックビットマップ、またはRGBクロマティックビットマップなどのカラービットマップによって表すことができる。マークデータ信号のコンテンツが、ベクトルグラフまたはバイナリビットマップによって表される場合、塗りつぶしモジュールは、塗りつぶし色をそれぞれの会議端末のマークデータ信号にランダムに割り当てることができる。スーパーインポーズモジュール63は、異なる会議サイトのトラックをスーパーインポーズするときに塗りつぶしに塗りつぶし色を使用する。マークデータ信号のコンテンツが、YUVまたはRGBなどのカラービットマップによって表される場合、MCUは、受信会議端末がトラックの配置を正確に識別できるように透明色を指定する必要がある。この方法により、マークデータ信号が画像データ信号上にスーパーインポーズされた後、それぞれの会議サイトのハイブリッド画像データの完全性が保証される。

処理モジュール632は、カラーマークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されている。

ハイブリッド画像データまたはマークデータ信号を会議端末に送信する場合、会議サーバー60は、H.239補助ストリームチャネルを選択し、送信モジュール64を制御してH.239補助ストリームチャネルを通じてハイブリッド画像データまたはマークデータ信号を会議端末に送信するように構成された、送信制御モジュール65をさらに備えることができる。

実際、会議サーバー60は、会議端末によって送信される会議サイトトークン申請を受信し、会議サイトトークンの申請の成功を確認した後に会議サイトトークンを会議端末に返すように構成されたトークン管理モジュール66をさらに備えることができる。送信制御モジュール65は、会議サイトトークンに従ってH.239補助ストリームチャネルを選択し、送信モジュール64を制御して、H.239補助ストリームチャネルを通じてハイブリッド画像データまたはマークデータ信号を会議端末に送信する。

システム内に複数の会議サーバーが存在する場合、会議サーバーは、スーパーインポーズされたハイブリッド画像データ、または会議端末によって送信されたマークデータ信号もしくは会議端末によって送信された画像データ信号を他の会議サーバーに回送することができ、他の会議サーバーはそのような信号を会議サーバーと接続されている会議端末に送信する。

会議端末が、スーパーインポーズ機能を備えていない場合、会議サーバー60は、マークデータ信号をそれぞれの会議端末によって送信された画像データ信号(スライドなどの)上にスーパーインポーズし、次いで、信号を他の会議端末に回送する。この方法により、その会議システム内のそれぞれの会議端末が他の会議端末によって付け加えられたマークを見ることができ、参加者間のコラボレーションが実装され、ユーザーのインタラクティブな操作性およびディスカッション効率が改善される。

§会議システムの実施形態
前記の会議端末および前記の会議サーバーを備える会議システムについて、以下で説明する。

前記の会議端末および前記の会議サーバーは、以下の3つの申請シナリオを作成することができる。

(1)会議端末1は、共有画像データ信号を会議サーバーに送信し、会議端末2は、ローカルマークデータ信号を会議サーバーに送信する。会議サーバーは、マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成し、そのハイブリッド画像データをすべての会議端末に送信する。ハイブリッド画像データを受信した後、会議端末は、ハイブリッド画像データを復号化し、表示する。

(2)会議端末1は、共有画像データ信号を会議サーバーに送信し、会議端末2は、ローカルマークデータ信号を会議サーバーに送信する。会議サーバーは、そのような信号をすべての会議端末に回送する。信号を受信した後、会議端末は、マークデータ信号を画像データ信号上にスーパーインポーズし、スーパーインポーズされた信号を表示する。

(3)会議端末1は、ローカルマークデータ信号を共有画像データ信号(ローカル画像データまたはリモート側から受信された画像データ)上にスーパーインポーズしてハイブリッド画像データを生成し、H.239補助ストリームチャネルを通じてそのハイブリッド画像データを会議サーバーに送信する。会議サーバーは、ハイブリッド画像データを他の会議端末2に回送する。ハイブリッド画像データを受信した後、他の会議端末2は、ハイブリッド画像データを復号化し、表示する。

前記のすべての申請シナリオにおいて、すべての会議端末は、機能的に同等である。会議端末1は、ローカルにおけるスーパーインポーズを実行することができ、会議端末2もそうであり、会議端末1は、ローカル画像データおよびマークデータ信号を送信することができ、会議端末2もそうである。

§会議システムの第1の実施形態
図18は、上述の第1の申請シナリオによる会議システムの略構造図である。会議システムは、会議端末71および会議端末71に接続されているノートブックコンピュータ72と、会議サーバー73と、会議端末74、および会議端末74に接続されている、タッチスクリーンを備えるディスプレイ75と、会議端末76、および会議端末76に接続されている通常のディスプレイ77とを備える。会議端末の数に制限はない。それぞれの会議端末は、会議サイトを代表する。会議端末71は、
画像データ信号を会議サーバー73に送信するように構成された画像送信モジュール53を備える。

会議端末74は、
マークデータ信号を会議サーバー73に送信するように構成されたマーク送信モジュール48を備える。

上述の会議サーバー60と同様に、会議サーバー73は、
画像送信モジュール53によって送信された画像データ信号を受信するように構成された画像データ受信モジュール61と、
マーク送信モジュール48によって送信されたマークデータ信号を受信するように構成されたマーク受信モジュール62と、
マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されたスーパーインポーズモジュール63と、
ハイブリッド画像データを会議端末71、会議端末74、および会議端末76に送信するように構成された送信モジュール64とを備える。

会議端末71および会議端末76は、ハイブリッド画像データを受信して表示するように構成されている。

特に、この申請シナリオは、以下の手順を含む。

(1)会議端末71は、スライドを他の参加者と共有することを必要とする会議サイトである。ユーザーは、通常のビデオグラフィックスアレイ(VGA)ケーブルを通じてノートブックコンピュータを会議端末71に接続するだけでよく、H.239補助ストリームチャネルを通じてスライドを会議サーバー73に送信する。会議サーバー73は、スライドを会議端末74および会議端末76に送信する。

(2)会議端末74は、タッチスクリーンディスプレイ75を用いる会議サイトである。スライドを見ているときに、会議サイトのユーザーから質問が出され、他のユーザーと議論する必要が生じる。そこで、ユーザーは、ディスプレイ75上に表示されている議論すべき箇所を円で囲む。この円は、ディスプレイ上のタッチスクリーンによって記録され、会議端末74を通じて会議サーバー73に伝送される。それに加えて、会議サーバー73に、会議端末74のユーザーが見ているスライドがない場合、会議端末74は、そのスライドを会議サーバー73に送信する必要がある。

(3)会議端末74によって送信された円マークを受信した後、会議サーバー73は、スライドのビデオストリームを復号化してスライド画像を取得し、次いで、会議端末72によって送信された円マークをスライド画像上にスーパーインポーズし、ハイブリッド画像をスーパーインポーズされた円マークとともに符号化し、H.239補助ストリームチャネルを通じて、符号化されたハイブリッド画像ストリームを会議サイトに送信する。

(4)会議端末76は、通常のディスプレイ77と接続されている通常の会議サイトである。会議サイトは、H.239補助ストリームチャネルを通じて、会議サーバー73によって送信されたハイブリッドビデオストリームを受信する。復号化された後、会議端末74によって送信されたスーパーインポーズされた円マークを含むスライド画像を見ることができる。

同様に、会議端末71およびすべての他の会議サイトは、会議端末76によって受信されたのと同じスライド画像を受信する。他の会議サイトも、会議端末74のようなマーク入力デバイスを有する場合、この会議サイトも、すべての会議サイトから見られるそのマークを送信することができる。

§会議システムの第2の実施形態
図19は、上記の会議システムの第1の実施形態に基づいて会議システムにおいて複数の会議サーバーが連結されている場合の申請シナリオを示している。図19において、双頭矢印は、ハイブリッド画像データストリームの伝送を表す。

複数の会議サーバーがシステム内に存在する場合、複数の会議サーバーが、互いに連結されている。それぞれの会議サーバーは、1つまたは複数の会議端末と接続されうる。これらの会議サーバーのうちの1つは、マスター会議サーバーであり、他の会議サーバーは、スレーブ会議サーバーである。マスター会議サーバーは、追加されたマークデータ信号を会議端末によって送信された共有画像データ信号上にスーパーインポーズする役割を有する。

この実施形態では、2つのMCU(会議サーバー)は連結されていると仮定される。システムは、MCU1、MCU2、会議端末T1、会議端末T2、および会議端末T3を備える。MCU1は、マスターMCUであり、MCU2は、スレーブMCUである。2つよりも多いMCUが連結される場合、これらのMCUのうちの1つがマスターMCUであり、他のMCUがスレーブMCUである。

会議では、会議端末T1は、共有画像データ信号を接続されているMCU2に送信し、会議端末T2は、そのマークデータ信号を接続されているMCU2に送信する。スレーブMCU2は、T1の共有画像データ信号およびT2のマークデータ信号を会議システム内のマスターMCU(つまり、MCU1)に回送する。会議システム内のマスターMCU(MCU1)は、マークデータ信号を画像データ信号上にスーパーインポーズし、信号を圧縮して、会議システム内のすべての会議端末に回送される、ハイブリッド画像データを生成する。スレーブMCU(MCU1)に接続されている会議端末について、ハイブリッド画像データは、マスターMCUによって、会議内にあるそれぞれのスレーブMCUに送信され、次いで、スレーブMCUによって回送される。ハイブリッド画像データを受信した後、会議システム内のそれぞれの端末は、ハイブリッド画像データを復号化し、表示する。

さらに多くのMCUが連結されている場合も、操作は同様である。連結されている会議システム内のマスターMCUは、マークデータ信号を会議内の画像データ信号上にスーパーインポーズする役割を有する。

上述のシナリオにおいて、システムでは複数のMCUが連結され、これらのMCUのうちの1つがマスターMCUであり、他のMCUがスレーブMCUである。実際には、システム内の複数のMCUがマスターMCUである可能性がある。つまり、それぞれのMCUは、スーパーインポーズと回送を行う役割を有する。複数のMCU間の調整を行うために、システムは、マークデータ信号の送信時刻を取得し、マークデータ信号の送信時刻の順序に応じて制御信号を生成するように構成されている、制御ユニットをさらに備えることができる。

少なくとも2つマスター会議サーバー内のスーパーインポーズモジュールは、制御信号に従ってマークデータ信号を画像データ信号上にスーパーインポーズし、ハイブリッド画像データを生成し、そのハイブリッド画像データ信号をシステム内のそれぞれの会議端末に送信する。制御ユニットは、システム内のゲートキーパーとすることができる。ゲートキーパーは、ソフトスイッチに基づくスイッチングサーバーであり、ボイスオーバーインターネットプロトコル(VoIP)ネットワーク上で信号のスイッチングおよび制御を行う役割を有する。制御ユニットは、類似の機能を有する他の制御モジュールであってもよい。

トークン制御モードは、会議サーバー間の調整を制御するためゲートキーパーの代わりに使用されうる。システム内で、それぞれの会議端末がマークデータ信号を送信する時刻は、それぞれのマスター会議サーバーに通知される。マスター会議サーバーは、マーク信号の送信時刻に応じて制御トークンをアクティブに取得する。このマスター会議サーバーがスーパーインポーズを終了した後、次のマスター会議サーバーが、すべての会議端末がマークデータ信号を送信する時間順に従って制御トークンを取得し、最後のマスター会議サーバーがスーパーインポーズを終了するまでスーパーインポーズを続ける。最後のマスター会議サーバーは、最後のハイブリッド画像データ信号をシステム内のそれぞれの会議端末に送信する。それぞれのマスター会議サーバーは、制御トークンをアクティブに取得するか、またはゲートキーパーが、制御トークンをそれぞれのマスター会議サーバーに割り当てる。

§会議システムの第3の実施形態
図20は、上述の第2の申請シナリオにおける会議システムの構造の略図である。会議システムは、会議端末81、ならびに会議端末81に両方とも接続されているノートブックコンピュータ82および通常のディスプレイ83と、会議サーバー84と、会議端末85、および会議端末85に接続されている、タッチスクリーンを備えるディスプレイ86と、会議端末87、および会議端末87に接続されている通常のディスプレイ88とを備える。それぞれの会議端末は、会議サイトを代表する。会議端末の数に制限はない。会議端末81は、
画像データ信号を会議サーバー83に送信するように構成された画像送信モジュール53を備える。

会議端末85は、
マークデータ信号を会議サーバー83に送信するように構成されたマーク送信モジュール48を備える。

会議サーバー83は、受信した画像データ信号およびマークデータ信号を会議端末87および会議端末81に回送する。

会議端末87および会議端末81は、両方とも、
第1の時間間隔値を生成するように構成された第1のタイマー45と、
会議サーバーによって回送された画像データ信号を受信するように構成された画像取得モジュール42と、
会議サーバー83によって回送されたマークデータ信号を受信し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の外部マーク取得モジュール4111と、
第1のマークデータ信号を画像データ信号上にスーパーインポーズして第2のハイブリッド画像データ信号を生成するように構成された第2のスーパーインポーズモジュール431と、
第2のハイブリッド画像データ信号を表示するように構成されたディスプレイ88などの表示モジュールとを備える。

会議端末87が、複数の会議端末からマークデータ信号を受信する場合、受信機がスーパーインポーズにおいてそれぞれの会議端末によって送信されたマークデータ信号を確実に識別することができるように、それぞれの会議端末によって送信されたマークデータ信号は、会議番号、端末番号、およびこの会議端末の対応するマークデータ信号のコンテンツを含む必要がある。マークデータ信号のコンテンツは、ベクトルグラフ、バイナリビットマップ、YUVカラービットマップ、またはRGBカラービットマップなどのカラービットマップによって表すことができる。マークデータ信号のコンテンツが、ベクトルグラフまたはバイナリビットマップによって表される場合、会議サーバーは、塗りつぶし色をそれぞれの会議端末にランダムに割り当てることができる。会議端末のスーパーインポーズモジュールは、会議サーバーによって割り当てられた色を、異なる会議サイトのトラックをスーパーインポーズするときに塗りつぶすために使用する。トラックが、YUVまたはRGBなどのカラービットマップによって表される場合、受信機がトラックの配置を識別し、それをスライド上にスーパーインポーズすることができるようにシステムにおいて透明色を一様に指定する必要がある。特に、第1の外部マーク取得モジュール4111は、
ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送されるマークデータ信号を受信し、マークデータ信号に含まれる会議番号および端末番号などの情報に従って対応する復号器を見つけ、復号器に対応するマークデータ信号を送信するように構成された第1の外部マーク取得サブモジュール41110と、
少なくとも1つの会議端末のマークデータ信号をそれぞれ復号化し、マークデータ信号キューを生成するように構成された少なくとも1つの復号器と、
第1の時間間隔値およびマークデータ信号キューの順序に従ってマークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成するように構成されたマーク出力モジュール41111とを備える。

申請シナリオは、以下の手順を含む。

(1)会議端末81は、スライドを他の参加者と共有することを必要とする会議サイトである。ユーザーは、(通常は、現状VGAケーブルを通じて)ノートブックコンピュータを第1の会議端末81に接続するだけでよく、H.239補助ストリームチャネルを通じてスライドをすべての参加者に送信する。

(2)会議端末85は、タッチスクリーンディスプレイ86を用いる会議サイトである。スライドを見ているときに、会議サイトのユーザーから質問が出され、他のユーザーとディスカッションする必要が生じる。そこで、ユーザーは、ディスプレイ75上に表示されている議論すべき箇所を円で囲む。この円は、ディスプレイ上のタッチスクリーンによって記録され、会議端末85を通じて会議サーバー84に伝送される。

(3)会議サーバー84は、会議端末85によって送信された円マークを会議端末87および会議端末81に回送する。

(4)会議端末87は、会議端末81からスライドコードストリームを受信することと会議端末85から円マークを受信することとを同時に行う、通常の会議サイトである。会議端末87は、スライドコードストリームを復号化してスライド画像を取得し、円マークをスライド画像上にスーパーインポーズする。この方法で、スーパーインポーズされた円マークを含むスライド画像が見られる。

他の会議サイトも、会議端末85のようなマーク入力デバイスを有する場合、この会議サイトも、すべての会議サイトから見られるそのマークを送信することができる。

§会議システムの第4の実施形態
図21は、会議システムの前記の第3の実施形態に基づいて会議システムにおいて複数の会議サーバーが連結されている場合の申請シナリオを示している。図21において、双頭矢印は、ハイブリッド画像データストリームの伝送を表す。

システムにおいて2つのMCUが連結されると想定されているが、ただし、MCU1はマスターMCUであり、MCU2は、スレーブMCUである。2つよりも多いMCUが連結されている場合も、そのシナリオは同様である。つまり、これらのMCUのうちの1つがマスターMCUであり、他のMCUがスレーブMCUである。

会議システムにおいて、会議端末T1は、共有画像データ信号を接続されているMCU2に送信し、会議端末T2は、ローカルマークデータ信号を接続されているMCU2に送信する。スレーブMCU2は、T1の共有画像データ信号およびT2のマークデータ信号を会議システム内のマスターMCU(つまり、MCU1)に回送する。会議システム内のマスターMCUは、受信した共有画像データ信号およびマークデータ信号を会議システム内のそれぞれの会議端末に回送する。スレーブMCUに接続されている会議端末について、共有画像データ信号およびマークデータ信号は、マスターMCUによって、会議システム内のそれぞれのスレーブMCUに送信され、次いで、スレーブMCUによって回送される。共有画像データ信号およびマークデータ信号を受信した後、会議システム内のそれぞれの会議端末は、マークデータ信号を画像データ信号上にスーパーインポーズし、それらの信号を表示する。

さらに多くのMCUが連結されている場合も、操作は同様である。連結された会議システム内のマスターMCUは、会議システム内のすべての会議端末の共有画像データ信号およびマークデータ信号を収集して回送する役割を有する。

この実施形態では、複数のMCUがマスターMCUである場合、MCUは、マークデータ信号を追加する時間順に従って制御信号を生成する。それぞれのマスターMCUは、受信したマークデータ信号を、制御信号に従って順次、受信会議端末に回送する。受信会議端末は、信号をスーパーインポーズし、それを表示する。制御トークンは、マークデータ信号を追加する時間順に取得することができる。制御トークンは、マスターMCUによってアクティブに取得されるか、またはシステム内の制御ユニットによって配送されうる。それぞれのマスターMCUは、制御トークンに従って受信したマークデータ信号を回送し、それぞれの受信会議端末は、それらの信号を受信し、スーパーインポーズする。

§会議システムの第5の実施形態
図22は、上述の第3の申請シナリオにおける会議システムの構造の略図である。会議システムは、会議端末91および会議端末91に接続されているノートブックコンピュータ92と、会議サーバー93と、会議端末94、および会議端末94に接続されている、タッチスクリーンを備えるディスプレイ95と、会議端末96、および会議端末96に接続されている通常のディスプレイ97とを備える。会議端末の数に制限はなく、それぞれの会議端末は、会議サイトを代表する。会議端末91は、
第2の時間間隔値を生成するように構成された第2のタイマー46と、
ローカル会議端末によって送信されたマークデータ信号を受信し、第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の内部マーク受信モジュール4110と、
ローカル会議端末によって送信されたマークデータ信号を受信し、第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成するように構成された第2の内部マーク受信モジュール4120と、
第1のマークデータ信号を画像データ信号上にスーパーインポーズして第1のハイブリッド画像データを生成するように構成された第1のスーパーインポーズモジュール430と、
第1のハイブリッド画像データをローカル会議端末の表示画面に送信するか、またはH.239補助ストリームチャネルを通じて第1のハイブリッド画像データを会議サーバーに送信するように構成された第1の送信モジュール440とを備える。

会議サーバー93は、少なくとも1つの会議端末94によって送信された第1のハイブリッド画像データを受信し、第1のハイブリッド画像データを回送するように構成される。

会議端末96および会議端末91は、第1のハイブリッド画像データを受信し、復号化し、表示するように構成されている。

特に、この申請シナリオは、以下の手順を含む。

(1)初期状態では、会議端末91は、ノートブックコンピュータと接続され、H.239補助ストリームトークンを取得し、H.239補助ストリームチャネルを通じて他の会議サイトとスライドを共有する(H.239補助ストリームチャネルを通じて共有スライドを他の端末に送信することと同等である)。したがって、会議端末94と会議端末96の両方に、会議端末91のスライドが見える。

(2)スライドを見ているときに、会議端末94のユーザーは、スライドにマークを入れたい場合がある。マークを他のユーザーに伝送するには、会議端末94は、以下の手順を実行する。

(2.1)H.239補助ストリームチャネルの制御トークンを申請する。

(2.2)会議管理者(現在のトークン所有者)がその申請を承認するかどうかを判断する。会議管理者がその申請を承認した場合、トークンを取得し、会議端末94のタッチスクリーン95のマークデータ信号の記録を開始し、マークデータ信号を、会議端末94上に表示されるスライド画像上にスーパーインポーズする。

(2.3)マークデータ信号がスーパーインポーズされるスライドを符号化する。

(2.4)H.239補助ストリームチャネルを通じて、符号化されたスライドストリームを会議サーバー93に送信する。

この場合、会議端末94が、H.239補助ストリームの送信者となる。他の会議サイトにある会議端末がマークの追加を望んでいる場合、その会議端末は同じ動作を実行する。この方法で、H.239補助ストリームの送信トークンを連続的に切り替えることによって、それぞれの会議サイトの会議端末はそのマークをスライド上に追加することができる。

しかし、このシステムでは、会議端末94は、タッチスクリーン95を通じて追加されたマークを別々に送信するためにトークン制御モードも使用し、またそのマークを第2のH.239補助ストリームとして使用することができる(スライドは、第1のH.239補助ストリームである)。会議招集のときの機能切り替えのために、2つのパラメータを追加する必要がある。パラメータの1つは、第2のH.239補助ストリームがサポートされているかどうかを示し、もう1つのパラメータは、第2のH.239補助ストリームがマーク情報であるかどうかを示す。

第2のH.239補助ストリームが、マーク情報である場合、デフォルトでトークン制御モードが使用される。つまり、マークは、トークンを申請するモードでも送信されるということである。この解決策では、「第2のH.239補助ストリーム」は、スライドのH.239補助ストリームに対して称されるものであり、実際にはどのようなH.239補助ストリームでもよい。

トークン制御モードでマークを送信するための手順は以下のとおりである。

(3.1)H.239補助ストリームとしてマークの制御トークンを申請する。

(3.2)トークンの取得に成功したら、タッチスクリーン95を通じて追加されたマークデータ信号の記録を開始する。

(3.3)ユーザーのマークデータ信号(マークトラック)を別のH.239補助ストリームとして会議サーバー93に送信し、会議サーバー93は、H.239補助ストリームを他の会議端末に回送する。

実際には、トークンを使用してマークデータ信号の送信を制御するモードを、トークンを使用してハイブリッドスライドを制御するモードと組み合わせることができる。

§会議システムの第6の実施形態
図23は、会議システムの前記の第5の実施形態に基づいて会議システムにおいて複数の会議サーバーが連結されている場合の申請シナリオを示している。図23において、双頭矢印は、ハイブリッド画像データストリームの伝送を表す。

システムにおいて2つのMCUが連結されると想定されているが、ただし、MCU1はマスターMCUであり、MCU2は、スレーブMCUである。2つよりも多いMCUが連結されている場合も、そのシナリオは同様である。つまり、これらのMCUのうちの1つがマスターMCUであり、他のMCUがスレーブMCUである。

会議端末T1は、ローカルマークデータ信号を共有画像データ信号上にローカルでスーパーインポーズしてハイブリッド画像データを生成し、次いで、H.239補助ストリームチャネルを通じてハイブリッド画像データをMCU2に送信する。MCU2は、ハイブリッド画像データを会議内のマスターMCU(MCU1)に回送する。マスターMCU(MCU1)は、受信したハイブリッド画像データを会議システム内のそれぞれのスレーブMCUに送信する。その会議システム内のスレーブMCUと接続されている会議端末は、スレーブMCUによって回送されたハイブリッド画像データを受信する。

さらに多くのMCUが連結されている場合も、操作は同様である。会議システム内にあるすべての会議端末に送信されたハイブリッド画像データは、連結されている会議内のマスターMCUによって一様に回送される。あるいは、システム内のすべてのMCUが、マスターMCUであり、ハイブリッド画像データは、MCUによって特定の順序で回送され、これらのMCUのうち1つが、ネットワーク輻輳を回避できるようにハイブリッド画像データを最終的に回送するものとして選択される。

会議システムのすべての実施形態において、データが会議端末と会議サーバーとの間で伝送されるときに、ネットワーク輻輳またはパケット損失が発生する場合、システム内のユーザーがよりよい経験をできるように以下のアプローチを通じてネットワーク輻輳またはパケット損失を解決することができる。

(1)信頼性の高い伝送:例えば、画像データ信号およびハイブリッド画像データ信号などの大きなサイズのデータは、ネットワーク輻輳を防ぐためにユーザーデータグラムプロトコル(UDP)を通じて伝送される。

(2)パケット損失防止技術:パケット損失回復技術は、冗長データを伝送するために使用される。小さなパケットが失われる、例えば、マークデータ信号が失われると、損失データのサイズが小さいため、受信機側で、受信データと一緒に冗長データを使用することによって損失データを回復する。データを伝送するために、伝送制御プロトコル(TCP)などの信頼性の高い伝送プロトコルを使用し、これにより、デバイス間のマークデータ信号の安全な伝送を確実に行うことができる。マークデータ信号は、UDPなどの他の信頼できるプロトコルを通じて伝送することもできる。

既存のシステムにおけるすべてのパケット損失防止技術をこのインタラクティブ型アプリケーションに応用することで、パケット損失またはネットワーク輻輳の場合にこのアプリケーションエクスペリエンスを改善することができる。

マークデータ信号が、会議端末によって会議サーバーに送信され、会議サーバーによって他の会議端末に回送される場合、マークデータ信号は、IPネットワークのTCPプロトコルもしくはUDPプロトコルを通じて、またはH.320システムの高速マルチレイヤプロトコル(HMLP)プロトコルを通じて伝送することができる。リアルタイム効果を確実にするために、マークデータ信号は、一般的にIPネットワークにおけるUDPを通じて伝送される。

あるいは、MCU側に、または受信会議端末側に、データを受信する時刻が記録され、マークデータ信号が、受信時刻の順に画像データ信号上にスーパーインポーズされる。この方法により、それぞれの会議端末によって追加されるマークデータ信号を正しくスーパーインポーズすることができ、ユーザーエクスペリエンスが改善される。あるいは、会議端末が画像データ信号およびマークデータ信号を送信するときに、送信時刻を記録するためにタイムスタンプが追加される。MCUは、画像データ信号またはマークデータ信号を受信したときにタイムスタンプを取得することができる。特に、マークデータ信号は、マークデータ信号を送信する時刻に従って画像データ上にスーパーインポーズされる。この方法により、それぞれの会議端末のマークデータ信号を画像データ信号上に正しくスーパーインポーズすることができ、ユーザーエクスペリエンスおよびインタラクティブな操作性が改善される。

上述の会議システムでは、ユーザー間のインタラクティブなコラボレーションの過程において付加的なデータ会議システムまたはデバイスを構築する必要はなく、参加者間のデータコラボレーションは、H.239標準の既存のデュアルストリーム機能を通じて実装され、ユーザーのインタラクティブな操作性およびディスカッション効率が改善される。

§方法の実施形態:
図24に示されているように、この実施形態においてデータ処理方法が提供される。この方法は、以下を含む。

ステップS160:画像データ信号を取得する。

ステップS161:マークデータ信号を取得する。

ステップS162:マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成する。

ステップS163:ハイブリッド画像データ信号を出力する。ハイブリッド画像データ信号は、表示するためローカル会議端末に出力されるか、またはハイブリッド画像データを他の会議端末に回送する会議サーバーに出力されうる。

前記の方法において、マークデータ信号は、取得された画像データ信号上にスーパーインポーズされ、ハイブリッド画像データ信号を生成する(例えば、ハイブリッド画像データ信号は、追加されたマーク入りのスライドである)。この方法により、参加者は、スライドを注視しているときにスライド上にマークを追加することができ、ビデオ会議ユーザー間のインタラクティブな操作性が改善され、ディスカッション効率も改善される。

以下は、図24に示されている方法を実装する詳細なプロセスである。

ステップS170:画像データ信号を取得する。

ステップS171:ローカル会議端末によって入力されたマークデータ信号を取得する。

ステップS172:第1の時間間隔値を生成する。

ステップS173:第2の時間間隔値を生成する。

ステップS174:第1の時間間隔値に従ってマークデータ信号を出力し、第1のマークデータ信号を生成する。

ステップS175:第2の時間間隔値に従ってマークデータ信号を出力し、第2のマークデータ信号を生成し、第2のマークデータ信号を符号化し、第3のマークデータ信号を生成する。

ステップS176:マーク補助ストリームがサポートされているかどうかを判定する。マーク補助ストリームがサポートされている場合には、ステップS177を実行し、マーク補助ストリームがサポートされていない場合には、ステップS178を実行するか、またはユーザー定義チャネルを通じて第3のマークデータ信号を送信する。

ステップS177:H.239補助ストリームチャネルにおいて会議サイトトークンを申請する。会議サイトトークンの取得に成功した後、第1の制御信号を生成し、第1の制御信号に従ってH.239補助ストリームチャネルを通じて第3のマークデータ信号を会議サーバーに送信する。

ステップS178:他のH.239補助ストリームチャネルにおいて会議サイトトークンを申請する。会議サイトトークンの取得に成功した後、第2の制御信号を生成し、第2の制御信号に従って第1のマークデータ信号を画像データ信号上にスーパーインポーズして第1のハイブリッド画像データを生成する。

ステップS179:第1のハイブリッド画像データをローカル会議端末の表示画面に送信するか、またはH.239補助ストリームチャネルを通じて第1のハイブリッド画像データを会議サーバーに送信し、第1のハイブリッド画像データは、会議サーバーによって、他の会議端末に回送される。

この実装プロセスでは、ステップS171の前にこのステップを実行することができる。ローカル会議端末が配置されている会議サイト上の入力デバイスのサブトークン申請を受信し、サブトークンの申請の成功を確認した後にサブトークンを入力デバイスに割り当てる。この場合、ステップS171は、サブトークンに従ってローカル会議端末が配置されている会議サイト上の入力デバイスのマークデータ信号を取得するものであってよい。

それに加えて、受信したマークデータ信号が、他の端末によって送信される場合、図24に示されている方法を実装する他の詳細な過程は以下のとおりである。

ステップS180:画像データ信号を取得する。

ステップS181:ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送されるマークデータ信号を取得する。特に、そのようなマークデータ信号は、リアルタイムで、またはマニュアルで受信されうる。

ステップS182:第1の時間間隔値を生成する。

ステップS183:少なくとも1つの会議端末のマークデータ信号をそれぞれ復号化し、マークデータ信号キューを生成する。

ステップS184: 第1の時間間隔値およびマークデータ信号キューの順序に従ってマークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成する。

ステップS185:第1のマークデータ信号を画像データ信号上にスーパーインポーズして第2のハイブリッド画像データ信号を生成する。

ステップS186:第2のハイブリッド画像データをローカル会議端末の表示画面に送信する。

マークデータ信号のそれぞれは、会議番号、会議端末番号、およびマークデータ信号のコンテンツを含む。会議番号および会議端末番号は、スーパーインポーズプロセスにおいてそれぞれの特定の会議端末によって送信されたマークデータ信号を受信機で識別することができるように設計され、マークデータ信号のコンテンツは、ベクトルグラフ、バイナリビットマップ、YUVクロマティックビットマップ、またはRGBクロマティックビットマップによって表される。マークデータ信号のコンテンツが、ベクトルグラフまたはバイナリビットマップによって表される場合、会議サーバーは、塗りつぶし色をそれぞれの会議端末にランダムに割り当てることができ、会議端末のスーパーインポーズモジュールは、会議サーバーによって割り当てられた色を、異なる会議サイトのトラックをスーパーインポーズするときに塗りつぶすために使用する。マークデータ信号のコンテンツが、YUVまたはRGBなどのクロマティックビットマップによって表される場合、受信機がマークデータ信号の配置を正しく識別し、それをスライド上にスーパーインポーズすることができるようにシステムにおいて透明色を一様に指定する必要がある。

§方法の他の実施形態
図25に示されているように、この実施形態において他のデータ処理方法が提供される。この方法は、以下を含む。

ステップS190:会議端末によって送信される画像データ信号およびマークデータ信号を受信する。

ステップS191:マークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成する。

ステップS192:ハイブリッド画像データ、または画像データ信号、またはマークデータ信号を会議端末に送信する。

ステップS191は、
塗りつぶし色または透明色をマークデータ信号に割り当て、その塗りつぶし色または透明色を使用して、マークデータ信号を処理し、クロマティックマークデータ信号を生成し、マークデータ信号のコンテンツがベクトルグラフ、バイナリビットマップ、YUVクロマティックビットマップ、またはRGBクロマティックビットマップによって表されうることと、
クロマティックマークデータ信号を画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成することとを含む。

マークデータ信号のコンテンツが、ベクトルグラフまたはバイナリビットマップによって表される場合、MCUは、塗りつぶし色をそれぞれの会議端末のマークデータ信号にランダムに割り当てることができ、会議端末のスーパーインポーズモジュールは、割り当てられた塗りつぶし色を、異なる会議サイトのトラックをスーパーインポーズするときに塗りつぶすために使用する。マークデータ信号が、YUVまたはRGBビットマップなどのクロマティックビットマップによって表される場合、MCUは、受信会議端末がトラックの配置を正確に識別できるように、また、マークデータ信号が画像データ信号上にスーパーインポーズされた後、それぞれの会議サイトのハイブリッド画像データの完全性が保証されるように、透明色を指定する必要がある。

ステップS192の前に、以下のステップも含めることができる。会議端末によって送信される会議サイトトークン申請を受信し、会議サイトトークンの申請の成功を確認した後に会議サイトトークンを会議端末に返す。この場合、ステップS192は、以下とおりである。会議サイトトークンに従ってハブリッド画像データまたはマークデータ信号を会議端末に送信する場合、会議サーバーは、H.239補助ストリームチャネルを選択し、H.239補助ストリームチャネルを通じてハイブリッド画像データまたはマークデータ信号を会議端末に送信することができる。システムはH.239プロトコルをサポートしており、システム構造は単純であり、会議システム内にあるすべての会議端末は、他の会議端末によって追加されたマークを見ることができる。参加者間のコラボレーションが実装され、ユーザーのインタラクティブな操作性およびディスカッション効率が改善される。

当業者であれば、前記の実施形態のいずれにおいても提供された方法のステップの全部または一部を関連するハードウェアに命令を送るプログラムによって実装されうることを理解する。プログラムは、コンピュータ可読記憶媒体に格納することができる。プログラムが実行されると、前記の方法の実施形態におけるステップが実行される。

1 現在の会議サイト
2 会議サイト
10 コンピュータ
11 カメラ
12 会議端末
13 マルチポイント制御ユニット(MCU)
14 他の端末
15 テレビ
16 プロジェクタ
20 電子ホワイトボードサーバー
21 クライアント
22 クライアント
23 クライアント
24 クライアント
25 クライアント
30 リモートコラボレーションサーバー
31 コンピュータ
32 コンピュータ
33 コンピュータ
34 コンピュータ
40 会議端末
41 マーク取得モジュール
42 画像取得モジュール
43 スーパーインポーズモジュール
44 出力モジュール
45 第1のタイマー
46 第2のタイマー
47 マーク符号化モジュール
48 マーク送信モジュール
49 第1のトークン制御モジュール
50 第2のトークン制御モジュール
51 画像データ格納モジュール
52 マーク消去モジュール
53 画像送信モジュール
54 トークン管理モジュール
55 プライベートトークン制御モジュール
60 会議サーバー
61 画像データ受信モジュール
62 マーク受信モジュール
63 スーパーインポーズモジュール
64 送信モジュール
65 送信制御モジュール
66 トークン管理モジュール
71 会議端末
72 ノートブックコンピュータ
73 会議サーバー
74 会議端末
75 ディスプレイ
76 会議端末
77 ディスプレイ
81 会議端末
82 ノートブックコンピュータ
83 ディスプレイ
84 会議サーバー
85 会議端末
86 ディスプレイ
87 会議端末
88 ディスプレイ
91 会議端末
92 ノートブックコンピュータ
93 会議サーバー
94 会議端末
95 ディスプレイ
96 会議端末
97 ディスプレイ
130 MCU
131 オーディオ入力デバイス
132 ビデオ入力デバイス
133 電子ホワイトボード
134 ライティングスクリーン
135 データサーバー
136 オーディオ出力デバイス
411 第1のマーク取得モジュール
412 第2のマーク取得モジュール
420 内部画像取得モジュール
421 外部画像取得モジュール
430 第1のスーパーインポーズモジュール
431 第2のスーパーインポーズモジュール
440 第1の送信モジュール
441 第2の送信モジュール
631 塗りつぶしモジュール
632 処理モジュール
4110 第1の内部マーク取得モジュール
4111 第1の外部マーク取得モジュール
4112 第2の内部マーク取得モジュール
4120 第2の内部マーク取得モジュール
41110 第1の外部マーク取得サブモジュール
41111 マーク出力モジュール

Claims (32)

1. 会議端末であって、
   マークデータ信号を取得するように構成されたマーク取得モジュールと、
   画像データ信号を取得するように構成された画像取得モジュールと、
   前記マークデータ信号を前記画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成するように構成されたスーパーインポーズモジュールと、
   前記ハイブリッド画像データ信号を出力するように構成された出力モジュールと、
   第1の時間間隔値を生成するように構成された第1のタイマーと、
   第2の時間間隔値を生成するように構成された第2のタイマーと
   を備え、
   前記マーク取得モジュールは、
   前記マークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1のマーク取得モジュールと、
   前記マークデータ信号を取得し、前記第2の時間間隔値に従って前記マークデータ信号を出力し、第2のマークデータ信号を生成するように構成された第2のマーク取得モジュールとを備える会議端末。
2. 前記第1のマーク取得モジュールは、
   ローカル会議端末によって送信されたマークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、前記第1のマークデータ信号を生成するように構成された第1の内部マーク取得モジュールであり、
   前記第2のマーク取得モジュールは、
   前記ローカル会議端末によって送信された前記マークデータ信号を取得し、前記第2の時間間隔値に従って前記マークデータ信号を出力し、前記第2のマークデータ信号を生成するように構成された第2の内部マーク取得モジュールである請求項1に記載の会議端末。
3. 前記第2のマークデータ信号を符号化し、第3のマークデータ信号を生成するように構成されたマーク符号化モジュールと、
   補助ストリームチャネルまたはユーザー定義チャネルを通じて前記第3のマークデータ信号を会議サーバーに送信するように構成されたマーク送信モジュールとをさらに備える請求項2に記載の会議端末。
4. 前記補助ストリームチャネルにおいて会議サイトトークンを申請し、前記会議サイトトークンの取得に成功した後、前記第3のマークデータ信号を会議サーバーに送信する前記マーク送信モジュールのための第1の制御信号を生成するように構成された第1のトークン制御モジュールをさらに備え、
   前記マーク送信モジュールは、前記第1の制御信号に従って前記補助ストリームチャネルを通じて前記第3のマークデータ信号を前記会議サーバーに送信する請求項3に記載の会議端末。
5. 前記第1のマーク取得モジュールは、
   ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送される前記マークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、前記第1のマークデータ信号を生成するように構成された第1の外部マーク取得モジュールである請求項1に記載の会議端末。
6. 前記第1の外部マーク取得モジュールは、
   前記少なくとも1つの会議端末によって送信され、前記会議サーバーによって回送されるマークデータ信号を取得するように構成された第1の外部マーク取得サブモジュールと、
   前記少なくとも1つの会議端末の前記マークデータ信号をそれぞれ復号化し、マークデータ信号キューを生成するように構成された少なくとも1つの復号器と、
   前記マークデータ信号キューの順序に従って前記マークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成するように構成されたマーク出力モジュールとを備える請求項5に記載の会議端末。
7. 前記スーパーインポーズモジュールは、
   前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第1のハイブリッド画像データ信号を生成するように構成された第1のスーパーインポーズモジュールであり、
   前記出力モジュールは、
   前記第1のハイブリッド画像データ信号を前記ローカル会議端末の表示画面に送信するように構成された第1の送信モジュールである請求項6に記載の会議端末。
8. 補助ストリームチャネルにおいて会議サイトトークンを申請し、前記会議サイトトークンの取得に成功した後、前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズするための第2の制御信号を生成するように構成された第2のトークン制御モジュールをさらに備える請求項2に記載の会議端末。
9. 前記スーパーインポーズモジュールは、
   前記第2の制御信号に従って前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第2のハイブリッド画像データを生成するように構成された第2のスーパーインポーズモジュールであり、
   前記出力モジュールは、
   前記第2のハイブリッド画像データを前記ローカル会議端末の表示画面に送信するか、または前記補助ストリームチャネルを通じて前記第2のハイブリッド画像データを会議サーバーに送信するように構成された第2の送信モジュールである請求項8に記載の会議端末。
10. 前記ローカル会議端末が配置されている会議サイト内の入力デバイスのサブトークン申請を受信し、サブトークンの申請の成功を確認した後に前記サブトークンを前記入力デバイスに割り当てるように構成されたトークン管理モジュールをさらに備え、
    前記第1の内部マーク取得モジュールは、前記ローカル会議端末が配置されている前記会議サイトにある前記入力デバイスの前記マークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、前記第1のマークデータ信号を生成し、
    前記第2の内部マーク取得モジュールは、前記サブトークンに従って、前記ローカル会議端末が配置されている前記会議サイトにある前記入力デバイスの前記マークデータ信号を取得し、前記第2の時間間隔値に従って前記マークデータ信号を出力し、前記第2のマークデータ信号を生成する請求項2に記載の会議端末。
11. 第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、会議システムであって、
    前記第1の会議端末は、
    前記会議サーバーによって回送される画像データ信号を取得するように構成された画像取得モジュールと、
    マークデータ信号を取得し、前記マークデータ信号を前記会議サーバーに送信するように構成されたマーク送信モジュールとを備え、
    前記会議サーバーは、
    前記会議システム内にあるどんな会議端末によって送信された前記画像データ信号でも受信するように構成された画像データ受信モジュールと、
    前記マークデータ信号を受信するように構成されたマーク受信モジュールと、
    前記マークデータ信号を前記画像データ信号上にスーパーインポーズしてハイブリッド画像データを生成するように構成されたスーパーインポーズモジュールと、
    前記ハイブリッド画像データを前記第1の会議端末および前記少なくとも1つの第2の会議端末に送信するように構成された送信モジュールとを備え、
    前記少なくとも1つの第2の会議端末は、前記ハイブリッド画像データを受信して表示するように構成され、
    前記会議サーバーは、連結された少なくとも2つの会議サーバーであり、
    前記少なくとも2つの会議サーバーは、すべてマスター会議サーバーであり、前記会議システムは、
    前記マークデータ信号の送信時刻を取得し、前記マークデータ信号の前記送信時刻の順序に応じて制御信号を生成するように構成された制御ユニットをさらに備え、
    前記少なくとも2つマスター会議サーバーのそれぞれに含まれる前記スーパーインポーズモジュールは、前記制御信号に従って前記マークデータ信号を前記画像データ信号上にスーパーインポーズし、前記ハイブリッド画像データを生成する会議システム。
12. 前記少なくとも2つマスター会議サーバーは、前記制御信号に従って制御トークンを取得し、前記スーパーインポーズモジュールは、前記制御トークンに従って前記マークデータ信号を前記画像データ信号上にスーパーインポーズして、前記ハイブリッド画像データを生成する請求項11に記載の会議システム。
13. 第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、会議システムであって、
    前記第1の会議端末は、
    前記会議サーバーによって送信された画像データ信号を取得するように構成された画像取得モジュールと、
    マークデータ信号を取得し、前記マークデータ信号を前記会議サーバーに送信するように構成されたマーク送信モジュールとを備え、
    前記会議サーバーは、前記画像データ信号および前記マークデータ信号を受信して、前記画像データ信号および前記マークデータ信号を回送するように構成され、
    前記少なくとも1つの第2の会議端末は、
    第1の時間間隔値を生成するように構成された第1のタイマーと、
    前記会議サーバーによって回送された前記画像データ信号を取得するように構成された画像取得モジュールと、
    前記会議サーバーによって回送された前記マークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の外部マーク取得モジュールと、
    前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第1のハイブリッド画像データ信号を生成するように構成された第1のスーパーインポーズモジュールと、
    前記第1のハイブリッド画像データ信号を表示するように構成された表示モジュールとを備える会議システム。
14. 前記第1の外部マーク取得モジュールは、
    少なくとも1つの他の会議端末によって送信され、前記会議サーバーによって回送されるマークデータ信号を取得するように構成された第1の外部マーク取得サブモジュールと、
    前記少なくとも1つの他の会議端末の前記マークデータ信号をそれぞれ復号化し、マークデータ信号キューを生成するように構成された少なくとも1つの復号器と、
    前記第1の時間間隔値および前記マークデータ信号キューの順序に従って前記マークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成するように構成されたマーク出力モジュールとを備える請求項13に記載の会議システム。
15. 前記会議サーバーは、連結された少なくとも2つの会議サーバーである請求項13または14に記載の会議システム。
16. 前記少なくとも2つの会議サーバーは、1つのマスター会議サーバーと少なくとも1つのスレーブ会議サーバーとを備え、
    前記マスター会議サーバーは、前記画像データ信号および前記マークデータ信号を前記少なくとも1つのスレーブ会議サーバーおよび前記マスター会議サーバーに接続されている会議端末に送信し、
    前記スレーブ会議サーバーは、前記受信した画像データ信号または前記マークデータ信号を前記スレーブ会議サーバーに接続されている会議端末に送信する請求項15に記載の会議システム。
17. 前記少なくとも2つの会議サーバーは、マスター会議サーバーであり、前記会議システムは、
    前記マークデータ信号の送信時刻を取得し、前記マークデータ信号の前記送信時刻の順序に応じて制御信号を生成するように構成された制御ユニットをさらに備え、
    前記少なくとも2つのマスター会議サーバーは、前記制御信号に従って前記画像データ信号および前記マークデータ信号を回送する請求項15に記載の会議システム。
18. 前記少なくとも2つマスター会議サーバーは、前記制御信号に従って制御トークンを取得し、前記制御トークンに従って前記画像データ信号および前記マークデータ信号を回送する請求項17に記載の会議システム。
19. 第1の会議端末、会議サーバー、および少なくとも1つの第2の会議端末を備える、会議システムであって、
    前記第1の会議端末は、
    第1の時間間隔値を生成するように構成された第1のタイマーと、
    第2の時間間隔値を生成するように構成された第2のタイマーと、
    ローカル会議端末によって送信されたマークデータ信号を取得し、前記第1の時間間隔値に従って前記マークデータ信号を出力し、第1のマークデータ信号を生成するように構成された第1の内部マーク取得モジュールと、
    前記ローカル会議端末によって送信された前記マークデータ信号を取得し、前記第2の時間間隔値に従って前記マークデータ信号を出力し、第2のマークデータ信号を生成するように構成された第2の内部マーク取得モジュールと、
    前記第1のマークデータ信号を画像データ信号上にスーパーインポーズして第2のハイブリッド画像データを生成するように構成されたスーパーインポーズモジュールと、
    前記第2のハイブリッド画像データを前記ローカル会議端末の表示画面に送信するか、または補助ストリームチャネルを通じて前記第2のハイブリッド画像データを前記会議サーバーに送信するように構成された送信モジュールとを備え、
    前記会議サーバーは、前記第2のハイブリッド画像データを受信して、回送するように構成され、
    前記少なくとも1つの第2の会議端末は、前記第2のハイブリッド画像データを受信して表示するように構成される会議システム。
20. 前記第1の会議端末は、
    他の補助ストリームチャネルにおいて会議サイトトークンを申請し、前記会議サイトトークンの取得に成功した後、前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズするための第2の制御信号を生成するように構成された第2のトークン制御モジュールをさらに備え、
    前記スーパーインポーズモジュールは、前記第2の制御信号に従って前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第2のハイブリッド画像データを生成する請求項19に記載の会議システム。
21. 前記会議サーバーは、連結された少なくとも2つの会議サーバーである請求項19または20に記載の会議システム。
22. 前記少なくとも2つの会議サーバーは、1つのマスター会議サーバーと少なくとも1つのスレーブ会議サーバーとを備え、
    前記マスター会議サーバーは、前記第2のハイブリッド画像データを前記少なくとも1つのスレーブ会議サーバーおよび前記マスター会議サーバーに接続されている会議端末に送信し、
    前記スレーブ会議サーバーは、前記受信した第2のハイブリッド画像データを前記スレーブ会議サーバーに接続されている会議端末に送信する請求項21に記載の会議システム。
23. データ処理方法であって、
    画像データ信号を取得するステップと、
    マークデータ信号を取得するステップと、
    前記マークデータ信号を前記画像データ信号上にスーパーインポーズしてハイブリッド画像データ信号を生成するステップと、
    前記ハイブリッド画像データ信号を出力するステップと
    を含み、
    前記マークデータ信号を取得した後に、
    第1の時間間隔値を生成するステップと、
    第2の時間間隔値を生成するステップと、
    前記第1の時間間隔値に従って前記マークデータ信号を出力し、第1のマークデータ信号を生成するステップと、
    前記第2の時間間隔値に従って前記マークデータ信号を出力し、第2のマークデータ信号を生成するステップとを含むデータ処理方法。
24. 前記マークデータ信号を取得する前記ステップは、
    ローカル会議端末によって送信された前記マークデータ信号を取得するステップである請求項23に記載のデータ処理方法。
25. 前記第2の時間間隔値に従って前記マークデータ信号を出力し、前記第2のマークデータ信号を生成した後に、
    前記第2のマークデータ信号を符号化し、第3のマークデータ信号を生成するステップと、
    補助ストリームチャネルを通じて前記第3のマークデータ信号を会議サーバーに送信するステップとをさらに含む請求項24に記載のデータ処理方法。
26. 前記補助ストリームチャネルを通じて前記第3のマークデータ信号を前記会議サーバーに送信する前記ステップは、
    前記補助ストリームチャネルにおいてトークンを申請し、前記トークンの取得に成功した後、前記会議サーバーに前記第3のマークデータ信号を送信するための第1の制御信号を生成するステップと、
    前記第1の制御信号に従って前記補助ストリームチャネルを通じて前記第3のマークデータ信号を前記会議サーバーに送信するステップである請求項25に記載のデータ処理方法。
27. 前記マークデータ信号を取得する前記ステップは、
    ローカル会議端末を除く少なくとも1つの会議端末によって送信され、会議サーバーによって回送される前記マークデータ信号を取得するステップである請求項23に記載のデータ処理方法。
28. 前記ローカル会議端末を除く前記少なくとも1つの会議端末によって送信され、前記会議サーバーによって回送される前記マークデータ信号を取得した後、
    前記少なくとも1つの会議端末の前記マークデータ信号をそれぞれ復号化し、マークデータ信号キューを生成するステップと、
    前記第1の時間間隔値および前記マークデータ信号キューの順序に従って前記マークデータ信号を出力し、少なくとも1つの第1のマークデータ信号を生成するステップとをさらに含む請求項27に記載のデータ処理方法。
29. 前記マークデータ信号を前記画像データ信号上にスーパーインポーズして前記ハイブリッド画像データ信号を生成する前記ステップは、
    前記少なくとも1つの第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第1のハイブリッド画像データ信号を生成するステップであり、
    前記ハイブリッド画像データ信号を出力する前記ステップは、
    前記第1のハイブリッド画像データ信号を前記ローカル会議端末の表示画面に送信するステップである請求項28に記載のデータ処理方法。
30. 前記第1の時間間隔値に従って前記マークデータ信号を出力し、前記第1のマークデータ信号を生成した後に、
    補助ストリームチャネルにおいてトークンを申請し、前記トークンの取得に成功した後、前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズするための第2の制御信号を生成するステップをさらに含み、
    前記マークデータ信号を前記画像データ信号上にスーパーインポーズして前記ハイブリッド画像データ信号を生成する前記ステップは、
    前記第2の制御信号に従って前記第1のマークデータ信号を前記画像データ信号上にスーパーインポーズして第2のハイブリッド画像データを生成するステップであり、
    前記ハイブリッド画像データ信号を出力する前記ステップは、
    前記第2のハイブリッド画像データを前記ローカル会議端末の表示画面に送信するか、または前記補助ストリームチャネルを通じて前記第2のハイブリッド画像データを会議サーバーに送信するステップである請求項24に記載のデータ処理方法。
31. 前記ローカル会議端末によって送信された前記マークデータ信号を取得する前に、
    前記ローカル会議端末が配置されている会議サイト上の入力デバイスのサブトークン申請を受信し、サブトークンの申請の成功を確認した後に前記サブトークンを前記入力デバイスに割り当てるステップをさらに含み、
    前記ローカル会議端末によって送信された前記マークデータ信号を取得する前記ステップは、
    前記サブトークンに従って前記ローカル会議端末が配置されている前記会議サイト上の前記入力デバイスによって入力された前記マークデータ信号を取得するステップである請求項24に記載のデータ処理方法。
32. 前記ローカル会議端末を除く前記少なくとも1つの会議端末によって送信され、前記会議サーバーによって回送される前記マークデータ信号を取得する前記ステップは、
    前記ローカル会議端末を除く前記少なくとも1つの会議端末によって送信され、前記会議サーバーによって回送される前記マークデータ信号をリアルタイムでまたはマニュアルで受信するステップである請求項27に記載のデータ処理方法。

Images