JP4453272B2 - 通信システムおよび通信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ホワイトボードなどに描かれたパターンを示すイメージデータを伝送する通信システム、その方法および通信装置に関する。
【０００２】
【従来の技術】
例えば、複数のユーザの各々が使用する端末装置間で通信を行って会議などを進行させる会議システムがある。
このような会議システムでは、例えば、それぞれの端末装置に備えられたカメラで撮像したユーザの顔画像とマイクに入力した当該ユーザの音声とを、所定の会議システムの通信フォーマットで他の端末装置に送信し、当該他の端末装置に表示および音声出力させる。
【０００３】
【発明が解決しようとする課題】
ところで、通常、会議などでは、発言者がホワイトボードなどに文字や図形などのパターンを描きながら説明する場合が多々あるが、上述した従来の会議システムの端末装置には、ホワイトボードに描かれたパターンを他人の端末装置に送信して表示させる機能は備えられていない。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、その目的は、ホワイトボードなどの２次元の視覚化領域に描かれた視覚されるパターンを、通信装置間の通信によるコミュニケーションに利用することを可能にする通信システム、その方法および通信装置を提供することである。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の通信システムは、複数のユーザ間のコミュニケーションに用いられる通信システムであって、前記複数のユーザの各々が使用する複数の通信装置を有し、前記複数の通信装置のうち少なくとも一つの通信装置は、２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する入力手段と、前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する変換手段と、前記通信システムのネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う制御手段と、前記トークン制御により前記第２のイメージデータを送信するための優先権を得ると、前記変換手段が前記変換によって得た前記第２のイメージデータをネットワークを介して他の前記通信装置に送信する送信手段と、他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する受信手段と、前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを画像処理した第４のイメージデータとを合成して画像信号を生成するイメージ処理手段と、前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成するオーディオ処理手段と、前記イメージ処理手段から供給された前記画像信号を表示する表示手段とを有する。
【０００６】
第１の発明の通信システムの作用は以下のようになる。
複数の通信装置のうち少なくとも一つの通信装置の入力手段が、２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する。
次に、当該通信装置の変換手段が、前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する。
次に、制御手段が、前記通信システムのネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う。
次に、当該通信装置の送信手段が、前記変換手段が前記変換によって得た前記第２のイメージデータをネットワークを介して他の前記通信装置に送信する。
また、受信手段は、他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する。
前記イメージ手段は、前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを処理した第４のイメージデータとを合成して画像信号を生成する。
前記オーディオ処理手段は、前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成する。
前記表示手段は、前記イメージ処理手段から供給された前記画像信号を表示する。
【０００９】
第２の発明の通信装置は、複数のユーザ間のコミュニケーションに用いられる通信装置であって、２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する入力手段と、前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する変換手段と、前記複数の通信装置間のネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う制御手段と、前記トークン制御により前記第２のイメージデータを送信するための優先権を得ると、前記変換手段が前記変換によって得た前記第２のイメージデータを前記ネットワークを介して送信する送信手段と、他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する受信手段と、前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを画像処理した第４のイメージデータとを合成して画像信号を生成するイメージ処理手段と、前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成するオーディオ処理手段と、前記イメージ処理手段から供給された前記画像信号を表示する表示手段とを有する。
【００１０】
第３の発明の通信装置の作用は以下のようになる。
先ず、入力手段が、２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する。
次に、変換手段が、前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する。
次に、制御手段が、前記複数の通信装置間のネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う。
次に、送信手段が、前記トークン制御により前記第２のイメージデータを送信するための優先権を得ると、前記変換手段が前記変換によって得た前記第２のイメージデータをネットワークを介して送信する。
また、受信手段は、他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する。
前記イメージ手段は、前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを画像処理した第４のイメージデータとを合成して画像信号を生成する。
前記オーディオ処理手段は、前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成する。
前記表示手段は、前記イメージ処理手段から供給された前記画像信号を表示する。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態に係わる会議システムについて説明する。
図１は、本発明の実施形態に係わる会議システム１の全体構成図、図２は図１に示す会議システム端末装置３＿１を説明するための図である。
図１に示すように、会議システム１は、例えば、会議システム端末装置３＿１，３＿２，３＿３，３＿４を有し、これらがネットワーク５を介して接続されている。
ここで、会議システム端末装置３＿１〜３＿４が本発明の通信装置に対応している。
また、図２に示すように、会議システム端末装置３＿１には、ホワイトボード１６に設置されたホワイトボードデータ生成装置１４が接続されている。
ホワイトボード１６は、２次元のボード部１６ａ（本発明の視覚化領域）内の位置を指定するペン１７（本発明の視覚化手段）をユーザ２＿１が移動させることでボード部１６a内に視覚されるパターンが描かれる。
ホワイトボードデータ生成装置１４は、ボード部１６a内でペン１７がボード部１６aに接触した位置（指定する位置）の座標を、当該接触した順に第１の精度（本発明の第１の位置精度）で示す複数の座標データ（本発明の第１の座標データ）を含むイメージデータを生成する。
【００１２】
会議システム端末装置３＿１は、ホワイトボードデータ生成装置１４が生成した上記イメージデータを入力し、当該イメージデータ内の上記座標データを上記第１の精度より低い第２の精度（本発明の第２の位置精度）の座標データ（本発明の第２の位置データ）に変換して新たなイメージデータ（本発明の第３のイメージデータ）を生成する。
そして、会議システム端末装置３＿１は、上記変換によって得たイメージデータ内の座標データのうち、ペン１７によって上記指定された位置が移動したことで変化した座標データを特定し、当該特定した座標データを上記指定した順に含むイメージデータ（本発明の第２のイメージデータ）を生成し、これを会議システム端末装置３＿２〜３＿４に送信する。
なお、図１に示すネットワーク５は、公衆回線あるいは専用回線などを用いたネットワークである。
【００１３】
以下、会議システム端末装置３＿１について説明する。
図２は会議システム端末装置３＿１に接続される機器を説明するための図、図３は図２に示す会議システム端末装置３＿１のインタフェースの外観を説明するための図、図４はホワイトボード１６およびホワイトボードデータ生成装置１４を説明するための図、図５は会議システム端末装置３＿１の機能ブロック図である。
なお、本実施形態では、会議システム端末装置３＿１〜３＿４が同じ構成を輸している場合を例示する。
〔接続機器〕
先ず、会議システム端末装置３＿１に接続される機器について説明する。
図２に示すように、会議システム端末装置３＿１には、例えば、ディスプレイ１０、スピーカ１１、カメラ１２、マイク１３およびホワイトボードデータ生成装置１４が接続される。
【００１４】
ディスプレイ１０は、例えば、１０２４ｘ７６８（ポイント、ドット）のＲ，Ｇ，Ｂ方式のディスプレイや、６４０ｘ４８０のＮＴＳＣ方式あるいはＰＡＬ方式のディスプレイである。
ディスプレイ１０は、会議システム端末装置３＿１から入力したテレビ会議のイメージ信号Ｓ５３に応じた画像を表示する。
ディスプレイ１０は、例えば、図３に示す会議システム端末装置３＿１のインタフェース５３に接続される。
【００１５】
スピーカ１１は、会議システム端末装置３＿１から入力したテレビ会議のオーディオ信号Ｓ５５を応じたオーディオ出力を行う。スピーカ１１は、例えば、図３に示す会議システム端末装置３＿１のインタフェース５５に接続される。
カメラ１２は、例えば、会議システム端末装置３＿１のユーザの顔などを撮像し、その撮像信号Ｓ１２を会議システム端末装置３＿１に出力する。カメラ１２は、例えば、図３に示す会議システム端末装置３＿１のインタフェース４２に接続される。
マイク１３は、会議システム端末装置３＿１のユーザが発した音声などのオーディオ信号Ｓ１３を生成し、これを会議システム端末装置３＿１に出力する。マイク１３は、例えば、図３に示す会議システム端末装置３＿１のインタフェース４４に接続される。
また、会議システム端末装置３＿１は、図３に示すインタフェース４０を介して、図１および図２に示すネットワーク５に接続される。
【００１６】
ホワイトボードデータ生成装置１４は、図４に示すように、ホワイトボード１６のボード部１６ａにペン１７によって描かれたパターンを検出する。
具体的には、ホワイトボードデータ生成装置１４は、ペン１７のペン先がボード部１６ａに接触すると、ボード部１６ａ上に規定された座標系Ｘ，Ｙ上における当該接触した位置の座標を第１の精度で検出し、当該座標を示す座標データ（Ｘｐ、Ｙｑ）を上記接触した順に含むイメージデータＳ１４ａ（本発明の第１のイメージデータ）を生成し、これを会議システム端末装置３＿１に出力する。
ホワイトボードデータ生成装置１４は、例えば、例えば、１秒当たり、９０個の座標データ（Ｘｐ、Ｙｑ）を含むイメージデータＳ１４ａを会議システム端末装置３＿１に出力する。
上記座標系Ｘ，Ｙは、例えば、図４に示すように、ボード部１６ａの左上隅を原点Ｏとしている。
ホワイトボードデータ生成装置１４による上記座標検出の第１の精度（解像度）は、例えば、ボード部１６ａのＸ座標の最大値を８０００とし、Ｙ座標の最大値を６０００としている。すなわち、ホワイトボードデータ生成装置１４は、ボード部１６ａ上の位置を８０００×６０００（ドット、ポイント）の座標で表現する。
【００１７】
また、ホワイトボードデータ生成装置１４は、例えば、イメージデータＳ１４ａの他に、ペン１７がボード部１６ａに接触したこと制御データＳ１４ｂや、ペン１７がボード部１６aから離れたことを示す制御データＳ１４ｂを会議システム端末装置３＿１に出力する。
なお、ホワイトボードデータ生成装置１４から会議システム端末装置３＿１に出力されるデータには、例えば、誤り訂正コードが付加される。
また、ホワイトボードデータ生成装置１４から会議システム端末装置３＿１に出力される座標データは、必要に応じて、上位ビット郡と下位ビット郡とに分割して出力される。
ホワイトボードデータ生成装置１４は、図３に示すインタフェース３１に接続され、インタフェース３１を介して会議システム端末装置３＿１にデータを出力する。
【００１８】
なお、本実施形態では、色が異なる複数のペン１７が用いられる。
ペン１７には、例えば、ボタンが付いており、ユーザが当該ボタンを押すことで、ホワイトボードデータ生成装置１４が使用されるペン１７の色を特定する。
また、ホワイトボードデータ生成装置１４は、上記特定したペン１７の色を示す色データを会議システム端末装置３＿１に出力する。
【００１９】
〔会議システム端末装置３＿１の構成〕
図５に示すように、会議システム端末装置３＿１は、例えば、操作部２１、制御回路２２、インタフェース３１、座標変換回路３２、変化点検出回路３３、送信処理回路３７、メモリ３８、変換回路３９、インタフェース４０、インタフェース４２、イメージ処理回路４３、インタフェース４４、オーディオ処理回路４５、間引き回路５１、イメージ処理回路５２、インタフェース５３、オーディオ処理回路５４、インタフェース５５およびインタフェース５８を有する。
ここで、インタフェース３１が本発明の入力手段に対応し、座標変換回路３２および変化点検出回路３３が本発明の変換手段に対応し、送信処理回路３７が本発明の送信手段に対応している。
また、座標変換回路３２が本発明の位置精度変換手段に対応し、変化点検出回路３３が本発明の変化検出手段に対応している。
また、イメージ処理回路５２が本発明のイメージ処理手段に対応し、オーディオ処理回路５４が本発明のオーディオ処理手段に対応している。
【００２０】
操作部２１は、例えば、キーボード、マウスあるいはタッチパネルなどであり、ユーザによる操作に応じた操作信号を制御回路２２に出力する。
制御回路２２は、上述した会議システム端末装置３＿１の各構成要素の動作を統括して制御する。
なお、本実施形態において、会議システム端末装置３＿１〜３＿４のうちホワイトボードからのイメージデータを送信できる端末装置は各タイミングで１台のみであり、会議システム端末装置３＿１〜３＿４の間でトークン制御により、トークンを獲得した１台の端末装置がホワイトボードからのイメージデータを送信する。
制御回路２２は、上記トークン制御を行う。この場合に、会議システム端末装置３＿１〜３＿４の制御回路２２のうち何れかがマスターとなり、それ以外がスレーブとなる。
【００２１】
また、制御回路２２は、例えば、操作部２１からホワイトボードモードへの移行要求を示す操作信号を入力すると、インタフェース５８を介して会議システム端末装置３＿２〜３＿４にホワイトボードモード要求を送信する。
そして、制御回路２２は、会議システム端末装置３＿２〜３＿４からホワイトボードモード許可を受信すると、ホワイトボードモードに移行する。
なお、制御回路２２は、ホワイトボードモードでないときに、ホワイトボードデータ生成装置１４からインタフェース３１にイメージデータＳ１４ａが入力されると、エラーメッセージをディスプレイ１０に表示する処理を行う。
【００２２】
インタフェース３１は、ホワイトボードデータ生成装置１４から入力したイメージデータをＳ１４ａを座標変換回路３２に出力する。
また、インタフェース３１は、ホワイトボードデータ生成装置１４から入力した制御データＳ１４ｂを、制御回路２２および送信処理回路３７の少なくとも一方に出力する。
【００２３】
座標変換回路３２は、イメージデータ３１を介してホワイトボードデータ生成装置１４から入力したイメージデータＳ１４ａを構成する複数の第１の精度の座標データ（Ｘｐ，Ｙｐ）（本発明の第１の位置データ）を、当該第１の精度より低い第２の精度（解像度）の座標データ（Ｘｑ，Ｙｑ）（本発明の第２の位置データ）に変換し、複数の座標データ（Ｘｑ，Ｙｑ）で構成される座標データＳ３２（本発明の第３のイメージデータ）を生成する。
本実施形態では、第１の精度はボード部１６ａ上の位置を８０００×６０００ポイントの座標で表現し、第２の精度は１０２４ｘ７６８ポイントの座標で表現する。当該第２の精度は、例えば、ホワイトボードのパターンを示すイメージデータの送信先の表示精度などを基に規定される。
【００２４】
変化点検出回路３３は、座標データＳ３２を構成する複数の座標データ（Ｘｑ，Ｙｑ）のうち、ペン１７がボード部１６ａ上で接触した位置が移動したことで変化した座標データ（Ｘｑ，Ｙｑ）を特定し、当該特定した座標データ（Ｘｑ，Ｙｑ）を上記接触した順に含むイメージデータＳ３３（本発明の第２のイメージデータ）を生成する。
【００２５】
送信処理回路３７は、イメージデータＳ３３、制御データＳ１４ｂ、イメージデータＳ３４およびオーディオデータＳ３７を、会議システム１において会議システム端末装置間で行う通信プロトコルとして規定された会議システムプロトコルの通信フォーマットに適合した形式に変換し、インタフェース５８を介して会議システム端末装置３＿２〜３＿４に送信する。
当該通信フォーマットとしては、例えば、会議システムプロトコル（例えば、国際標準化方式Ｈ．３２０やＨ３２３）で規定されたものが用いられる。
図６（Ａ）は、一般的な会議システムプロトコルの通信フォーマットを説明するための図である。
図６（Ａ）に示すように、当該通信フォーマットでは、例えば、ビデオ部、オーディオ部およびカメラ制御データ部などがデータ転送フォーマットとして規定されている。ここで、カメラ制御データ部は、通信先の会議システム端末装置に接続されたカメラの向きを制御するためのカメラ制御データが格納される部分である。
【００２６】
本実施形態では、図６（Ｂ）に示すように、当該通信フォーマットのビデオ部にイメージデータＳ４３を格納し、オーディオ部にオーディオデータＳ４５を格納し、カメラ制御データ部にイメージデータＳ３３と制御データＳ１４ｂとを格納する。
会議システム端末装置３＿１では、上述したように、座標変換回路３２および変化点検出回路３３により、イメージデータＳ１４ｂのデータ量を削減したイメージデータＳ３３を送信するため、データ量に制限がある上記カメラ制御データ部にイメージデータＳ３３を十分に格納できる。
【００２７】
メモリ３８は、イメージデータＳ３３を記憶する。
変換回路３９は、メモリ３８から読み出したイメージデータＳ３３を、例えば、静止画のフォーマット（ＪＰＥＧ:Joint Photographic Experts Group）などに変換してイメージデータＳ３９を生成する。
インタフェース４０は、変換回路３９から入力したイメージデータＳ３９を、可搬型の半導体記録媒体などに書き込む。
【００２８】
イメージ処理回路４３は、インタフェース４２を介してカメラ１２から入力した撮像信号Ｓ１２をイメージ処理してイメージデータＳ４３を生成し、これを送信処理回路３７に出力する。
オーディオ処理回路４５は、インタフェース４４を介してマイク１３から入力したオーディオ信号Ｓ１３をオーディオ処理してオーディオデータＳ４５を生成し、これを送信処理回路３７に出力する。
【００２９】
イメージ処理回路５２は、インタフェース５８を介して他の会議システム端末装置３＿２〜３＿４から入力したイメージデータＳ８０をイメージ処理してディスプレイ１０に適合したイメージ信号Ｓ５３を生成し、これをインタフェース５３を介してディスプレイ１０に出力する。
また、イメージ処理回路５２は、必要に応じて、イメージデータＳ８０と、間引き回路５１から入力したイメージデータＳ５１とを合成した画面のイメージ信号Ｓ５３を生成し、これをインタフェース５３を介してディスプレイ１０に出力する。
【００３０】
オーディオ処理回路５４は、インタフェース５８を介して他の会議システム端末装置３＿２〜３＿４から入力したオーディオデータＳ８１をオーディオ処理してスピーカ１１に適合したオーディオ信号Ｓ５５を生成し、これをインタフェース５５を介してスピーカ１１に出力する。
【００３１】
〔ディスプレイ１０の画面〕
以下、図５に示すイメージ処理回路５２によって生成されたイメージデータ信号Ｓ５３に応じてディスプレイ１０に表示される画面を説明する。
図７は、図１に示す会議システム端末装置３＿１のディスプレイ１０の画面１０ａに表示される画像を説明するための図である。
図７に示すように、会議システム端末装置３＿１のディスプレイ１０の画面１０ａには、会議システム端末装置３＿２〜３＿４から入力したイメージデータＳ８０に応じて、ユーザ２＿２，２＿３および２＿４の顔画像１００＿２、１００＿３および１００＿４と、ホワイトボードデータ生成装置１４からのイメージデータＳ１４ａに応じたホワイトボード画像１０３とが表示される。
顔画像１００＿２、１００＿３および１００＿４内には、それぞれ会議システム端末装置３＿２，３＿３および３＿４に接続されたホワイトボードデータ生成装置から送られたホワイトボード画像への切り換えボタン画像１０１＿２，１０１＿３および１０１＿４が表示されている。
また、スピーカ１１からは、顔画像１００＿２〜１００＿４と同期してユーザ２＿２〜２＿４が発した音声が出力される。
これにより、ユーザ２＿１は、画像および音声を基に、ユーザ２＿２〜２＿４と円滑に会議を進めることができる。
【００３２】
図８は、例えば、図１に示す会議システム端末装置３＿２のディスプレイ１０に表示される画面１０ｂを説明するための図である。
図８に示すように、会議システム端末装置３＿２のディスプレイ１０の画面１０ｂには、会議システム端末装置３＿１，３＿３，３＿４から入力したイメージデータに応じて、ユーザ２＿１，２＿３および２＿４の顔画像１１０＿１、１１０＿３および１１０＿４と、例えば、会議システム端末装置３＿２に接続されたホワイトボードデータ生成装置からのイメージデータに応じたホワイトボード画像１１３とが表示される。
顔画像１１０＿１、１００＿３および１００＿４内には、それぞれ会議システム端末装置３＿１，３＿３および３＿４に接続されたホワイトボードデータ生成装置から送られたホワイトボード画像への切り換えボタン画像１１１＿１，１１１＿３および１１１＿４が表示されている。
ユーザが、例えば、画面１０ｂ上でボタン画像１１１＿１を指定すると、図８に示す顔画像１１０＿１が、会議システム端末装置３＿１からの図５に示すイメージデータＳ１４ａに応じたホワイトボード画像１３１＿１に切り換わる。
ホワイトボード画像１３１＿１内には、顔画像１１０＿１への切り換えボタン画像１３２＿１が表示される。
ユーザが、ボタン画像１３２＿１を指定することで、図８に示す画面に戻る。
【００３３】
また、スピーカ１１からは、顔画像１１０＿１，１１０＿３，１１０＿４と同期してユーザ２＿１，２＿３，２＿４が発した音声が出力される。
【００３４】
以下、会議システム１の動作例を説明する。
ここでは、会議システム端末装置３＿１が、ホワイトボードデータ生成装置１４から入力したイメージデータを処理して他の会議システム端末装置３＿２，３＿３，３＿４に送信する場合の動作を説明する。
図１０および図１１は、当該動作例を説明するための図である。
以下の動作例は、会議システム端末装置３＿１が例えば、ホワイトボードモードに切り換わると実行される。
ステップＳＴ１：
会議システム端末装置３＿１は、ホワイボードモードになると、ホワイトホワイトボードデータ生成装置１４からイメージデータを入力するための初期化処理をホワイトボードデータ生成装置１４と連携して行う。
具体的には、先ず、会議システム端末装置３＿１からホワイトボードデータ生成装置１４に初期化要求を出力する。
そして、ホワイトボードデータ生成装置１４が、当該初期化要求に応じて所定の初期化処理を行い、その後、会議システム端末装置３＿１に応答を出力する。
会議システム端末装置３＿１は、ホワイトボードデータ生成装置１４から上記応答を受けると、データ送出開始命令をホワイトボードデータ生成装置１４に出力する。
【００３５】
ステップＳＴ２：
会議システム端末装置３＿１は、ユーザにペンの太さを選択させる画面をディスプレイ１０に表示し、当該画面を基に、ユーザが操作部２１を操作してペンの太さを選択する。
当該ペンの太さは、例えば、複数の色のペンがある場合には、各色毎に指定する。
【００３６】
ステップＳＴ３：
会議システム端末装置３＿１は、ホワイトボード１６のボード部１６ａの右下隅にペン１７を接触させることを指示する画面をディスプレイ１０に表示する。
ボード部１６ａ上で当該指定する位置は、右下隅に限られず、ホワイトボードデータ生成装置１４が生成するペン１７の位置を示す座標データ（Ｘ，Ｙ）が最大値を示す位置であればよい。
そして、ユーザが、上記画面の指示に応じて、図４に示すホワイトボード１６のボード部１６ａの右下隅１６ｃにペン１７を接触させる。
これにより、ホワイトボードデータ生成装置１４が、ボード部１６ａがボード部１６ａに接触したことを示す命令コードと、ボード部１６ａの右下隅の座標データ（Ｘｓ，Ｙｓ）とを会議システム端末装置３＿１に出力する。
その後、ユーザがペン１７をボード部１６ａから離すと、ホワイトボードデータ生成装置１４が、その旨を示す命令コードを会議システム端末装置３＿１に出力する。
図５に示す会議システム端末装置３＿１の制御回路２２は、ホワイトボードデータ生成装置１４を介してホワイトボードデータ生成装置１４から入力した上記座標データ（Ｘｓ，Ｙｓ）を、例えば、図５に示す座標変換回路３２に設定する。
【００３７】
ステップＳＴ４：
ステップＳＴ３に続いて、ユーザは、ホワイトボード１６のボード部１６ａ内に、ペン１７を用いてパラーンを描く操作を開始する。
ペン１７がボード部１６aに接触すること、ホワイトボードデータ生成装置１４は、その旨を示す制御データＳ１４ｂを会議システム端末装置３＿１に出力する。
また、ユーザは、ペン１７を持つと、先ず、ペン１７に備えられた上記ボタンを押す。
これにより、ホワイトボードデータ生成装置１４が、ペンの色を示す色データを会議システム端末装置３＿１に出力する。
ステップＳＴ５：
図５に示す会議システム端末装置３＿１は、ステップＳＴ２で設定されたペンの太さを示す太さデータ、並びにステップＳＴ４で入力した色データを、インタフェース５８を介して他の会議システム端末装置３＿２，３＿３，３＿４に送信する。
当該他の会議システム端末装置３＿２，３＿３，３＿４は、以後、会議システム端末装置３＿１から入力したホワイトボードのパターンの画像を、会議システム端末装置３＿１から入力した太さデータおよび色データで指定された太さおよび色で表示する。
【００３８】
ステップＳＴ６：
ホワイトボードデータ生成装置１４は、ペン１７がボード部１６ａに接触している間、ボード部１６ａ上でのペン１７が接触している位置を示す座標データ（Ｘｐ，Ｙｐ）を含むイメージデータＳ１４ａを会議システム端末装置３＿１に出力する。
このとき、イメージデータＳ１４ａは、ペン１７が接触したボード部１６ａ上の位置の座標をペン１７が接触した順に示す複数の座標データ（Ｘｐ，Ｙｐ）を含んでいる。
会議システム端末装置３＿１は、インタフェースＳ１４ａを図５に示すインタフェース３１を介して入力する。
【００３９】
ステップＳＴ７：
図５に示す会議システム端末装置３＿１のインタフェース３１は、ステップＳＴ６で入力したイメージデータＳ１４ａを座標変換回路３２に出力する。
座標変換回路３２は、当該入力したイメージデータＳ１４ａを構成する上記複数の座標データ（Ｘｐ，Ｙｐ）を、上記第１の精度より低い第２の精度の座標データ（Ｘｑ，Ｙｑ）に変換する。
具体的には、座標データ（Ｘｐ，Ｙｐ）は、ボード部１６ａ上の位置を８０００×６０００ポイントの座標で表現したが、座標変換回路３２は、これを１０２４ｘ７６８ポイントの第２の精度の座標データ（Ｘｑ，Ｙｑ）に変換する。
座標変換回路３２は、上記複数の座標データ（Ｘｐ，Ｙｐ）のそれぞれに対応した複数の座標データ（Ｘｑ，Ｙｑ）で構成される座標データＳ３２を変化点検出回路３３に出力する。
【００４０】
ステップＳＴ８：
会議システム端末装置３＿１の変化点検出回路３３は、座標データＳ３２を構成する複数の座標データ（Ｘｑ，Ｙｑ）のうち、ペン１７がボード部１６ａ上で接触した位置が移動したことで変化した座標データ（Ｘｑ，Ｙｑ）を特定し、当該特定した座標データ（Ｘｑ，Ｙｑ）を上記接触した順に含むイメージデータＳ３３を生成する。
変化点検出回路３３は、イメージデータＳ３３を送信処理回路３７に出力する。
また、変化点検出回路３３は、イメージデータＳ３３をメモリ３８に書き込む。
また、変化点検出回路３３は、必要に応じて、間引き回路５１に出力する。
【００４１】
ステップＳＴ９：
会議システム端末装置３＿１の送信処理回路３７は、変化点検出回路３３から入力したイメージデータＳ３３を、例えば、会議システムで規定されたプロトコルに適合した所定の形式に変換し、これをインタフェース５８からネットワーク５を介して会議システム端末装置３＿２〜３＿４に送信する。
また、送信処理回路３７は、イメージ処理回路４３からのイメージデータＳ４３およびオーディオ処理回路４５からのオーディオデータ４５を、インタフェース５８からネットワーク５を介して会議システム端末装置３＿２〜３＿４に送信する。
なお、ペン１７がボード部１６ａから離れると、ホワイトボードデータ生成装置１４は、その旨を示す制御データＳ１４ｂを生成し、これを会議システム端末装置３＿１に出力する。会議システム端末装置３＿１は、当該制御データＳ１４ｂを基に、座標変換回路３２および変化点検出回路３３の処理を停止する。
【００４２】
ステップＳＴ１０：
間引き回路５１は、ステップＳＴ９で入力したイメージデータＳ３３を必要に応じて間引いてイメージデータＳ５１を生成し、これをイメージ処理回路５２に出力する。
ステップＳＴ１１：
イメージ処理回路５２は、インタフェース５８を介して他の会議システム端末装置３＿２〜Ｓ３＿４から入力したイメージデータＳ８０と、ステップＳＴ１０で間引き回路５１から入力したイメージデータＳ５１とを合成した画面のイメージ信号Ｓ５３を生成し、これをインタフェース５３を介してディスプレイ１０に出力する。
なお、イメージ処理回路５２は、イメージデータＳ５１を用いずに、イメージデータＳ８０のみに応じた画面のイメージデータＳ５３を生成してもよい。
【００４３】
ステップＳＴ１２：
会議システム端末装置３＿１の制御回路２２は、ホワイトボードモードが終了したか否かを判断し、終了したと判断するとステップＳＴ１３に進み、そうでない場合には、ステップＳＴ６の処理に戻る。
すなわち、会議システム端末装置３＿１は、ホワイトボードモードの間、ステップＳＴ６〜ＳＴ１１の処理を繰り返し、所定のデータ量あるいは時間を単位として、インタフェースＳ３３の送信並びに表示処理を繰り返して行う。
なお、制御回路２２は、操作部２１を介した終了要求あるいは会議システム端末装置３＿２〜３＿４から受信した終了要求に応じて、ホワイトボードモードを終了する。
【００４４】
ステップＳＴ１３：
会議システム端末装置３＿１は、設定あるいは操作部２１を介して入力した指示操作に応じて、メモリ３８からイメージデータＳ３３を読み出して変換回路３９に出力する。
変換回路３９は、メモリ３８から読み出したイメージデータＳ３３を、例えば、静止画のフォーマット（ＪＰＥＧ）などに変換してイメージデータＳ３９を生成する。
インタフェース４０は、イメージデータＳ３９を、例えば、可搬型の半導体記憶装置などの記録媒体に書き込む。
【００４５】
ステップＳＴ２１：
会議システム端末装置３＿２〜会議システム端末装置３＿４は、図５に示すインタフェース５８を介して会議システム端末装置３＿１から入力したイメージデータＳ８０（イメージデータＳ４３、Ｓ３３）をイメージ処理回路５２で処理した後にインタフェース５３を介してディスプレイ１０に出力する。
これにより、例えば、会議システム端末装置３＿２のディスプレイ１０には、図８および図９を用いて前述した画面１０ｂが表示される。
また、会議システム端末装置３＿２〜会議システム端末装置３＿４は、図５に示すインタフェース５８を介して会議システム端末装置３＿１から入力したオーディオデータＳ８１（オーディオデータＳ４５）をオーディオ処理回路５４で処理した後にインタフェース５３を介してスピーカ１１に出力する。
【００４６】
以上説明したように、会議システム１によれば、例えば、会議システム端末装置３＿１が、ホワイトボードデータ生成装置１４から入力したボード部１６ａに描かれたパターンのイメージデータＳ１２を、会議システムプロトコルに適合したイメージデータＳ３３に変換して会議システム端末装置３＿２〜３＿４に送信し表示させる。
そのため、会議システム端末装置３＿１〜３＿４において、従来の会議システムで提供されるカメラおよびマイクで取得したイメージデータおよびオーディオデータによる画像および音声の他に、ホワイトボード１６のボード部１６ａに描いたパターンの画像をユーザ間で利用でき、実際の会議により近いコミュニケーションを可能とすることができる。
【００４７】
また、会議システム１では、上述したように、会議システム端末装置３＿１は、会議システム端末装置３＿１から入力したイメージデータ１４ａ内のボード部１６ａ上でのペン１７が接触している位置を第１の精度で示す座標データ（Ｘｐ，Ｙｐ）を座標変換回路３２において上記第１の精度より低い第２の精度の座標データ（Ｘｑ，Ｙｑ）に変換してイメージデータ３２を生成する。
そして、変化点検出回路３３において、座標データＳ３２内の座標データ（Ｘｑ，Ｙｑ）のうち、ペン１７がボード部１６ａ上で接触した位置が移動したことで変化した座標データ（Ｘｑ，Ｙｑ）を特定し、当該特定した座標データ（Ｘｑ，Ｙｑ）を上記接触した順に含むイメージデータＳ３３を生成する。
そのため、会議システム端末装置３＿２〜３＿４に送信するイメージデータＳ３３のデータ量をイメージデータＳ１４ａに比べて削減できる。
これにより、会議システム端末装置間での通信量を削減できる。また、図６を用いて説明したように、イメージデータ１４ａを会議システムの通信フォーマットで規定されたカメラ制御データ部に格納することができ、既存の通信フォーマットを用いてホワイトボードのデータのやり取りが可能になる。
【００４８】
本発明は上述した実施形態には限定されない。
上述した実施形態では、３地点以上の多地点によるＭＣＵ(multi-control-unit)を基にした会議システム１を例示したが、本発明は、例えば、２つの端末装置が通信を行う場合にも適用できる。
【００４９】
また、上述した実施形態では、１つのディスプレイ１０を用いる場合を例示したが、２つのディスプレイを用い、第１のディスプレイに会議の相手先のユーザの顔画像を分割した領域に表示し、第２のディスプレイにホワイトボードの画像を表示してもよい。また、１つのディスプレイを用いた場合に、所定の操作で、顔画像とホワイトボードの画像とを切り換えて表示してもよい。
【００５０】
また、上述した実施形態では、本発明の視覚化領域としてホワイトボードのボード部を例示したが、ノート程度の大きさなタブレットなどでもよい。
【００５１】
また、本発明の応用例としては、例えば、資料を静止画として会議参加者に配っておき、その上に丸などの記号をつけたりしてホワイトボードで描画したり、ホワイトボードに、プロジェクターで静止画を表示させておき、その上から描画するなどしてもよい。これにより、会議参加者全員に、資料に上書きされた状態を伝えることが可能となる。
また、同時に複数のユーザが、多地から１つのホワイトボードにパターンを描けるように会議システム１を構成してもよい。その場合に、プロジェクターでホワイトボードの画面を表示しておき、その上から描画するなどの手法が用いられる。
また、 会議中で、ホワイトボードに作成した議事録などを、各会議参加者がリモコン操作により確認行為を行うと、ホワイトボードのデータのある特定された部分に、確認印等の記しをつけるなどの処理を会議システム１が行うようにしてもよい。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、ホワイトボードなどの２次元の視覚化領域に描かれた視覚されるパターンを、通信装置間の通信によるコミュニケーションに利用することを可能にする通信システム、その方法および通信装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態に係わる会議システムの全体構成図である。
【図２】図２は、図１に示す会議システム端末装置に接続される機器を説明するための図である。
【図３】図３は、図２に示す会議システム端末装置のインタフェースの外観を説明するための図である。
【図４】図４は、図２に示すホワイトボードおよびホワイトボードデータ生成装置を説明するための図である。
【図５】図５は、図１および図２示す会議システム端末装置の機能ブロック図である。
【図６】図６は、本発明の実施形態で採用される会議システムの通信フォーマットを説明するための図である。
【図７】図７は、図１に示す会議システム端末装置に接続されたディスプレイの画面を説明するための図である。
【図８】図８は、図１に示す会議システム端末装置に接続されたディスプレイの画面を説明するための図である。
【図９】図９は、図１に示す会議システム端末装置に接続されたディスプレイの画面を説明するための図である。
【図１０】図１０は、図１に示す会議システムの動作例を説明するための図である。
【図１１】図１１は、図１に示す会議システムの動作例を説明するための図１０の続きの図である。
【符号の説明】
３＿１，３＿２，３＿３，３＿４…会議システム端末装置、１４…ホワイトボード生成装置、５…ネットワーク、１６…ホワイトボード、１６ａ…ボード部、１７…ペン、１０…ディスプレイ、１１…スピーカ、１２…カメラ、１３…マイク、３１…インタフェース、３２…座標変換回路、３３…変化点検出回路、３７…送信処理回路、５８…インタフェース

Claims (6)

1. 複数のユーザ間のコミュニケーションに用いられる通信システムであって、
   前記複数のユーザの各々が使用する複数の通信装置
   を有し、
   前記複数の通信装置のうち少なくとも一つの通信装置は、
   ２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する入力手段と、
   前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する変換手段と、
   前記通信システムのネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う制御手段と、
   前記トークン制御により前記第２のイメージデータを送信するための優先権を得ると、前記変換手段が前記変換によって得た前記第２のイメージデータを前記ネットワークを介して他の前記通信装置に送信する送信手段と、
   他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する受信手段と、
   前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを画像処理した第４のイメージデータとを合成して画像信号を生成するイメージ処理手段と、
   前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成するオーディオ処理手段と、
   前記イメージ処理手段から供給された前記画像信号を表示する表示手段と
   を有する通信システム。
2. 前記通信フォーマットは、撮像装置から撮像データと、マイクから入力したオーディオデータと、前記第２のイメージデータとを関連付けて送信する会議システムプロトコルで規定されるフォーマットである
   請求項１に記載の通信システム。
3. 前記第４のイメージデータは、
   前記変換手段で前記第１のイメージデータを第２のイメージデータに変換し、該第２のイメージデータを前記イメージ処理手段で間引きして生成される
   請求項１に記載の通信システム。
4. 複数のユーザ間のコミュニケーションに用いられる通信装置であって、
   ２次元の視覚化領域内の位置を指定する視覚化手段を移動させて前記視覚化領域内に描かれた視覚されるパターンを示す第１の精度の第１のイメージデータを入力する入力手段と、
   前記入力手段が入力した前記第１のイメージデータを、前記複数の通信装置間の通信で規定された通信フォーマットに適合し、前記第１の精度より精度が低い第２の精度の第２のイメージデータに変換する変換手段と、
   前記複数の通信装置間のネットワークにおけるトークン制御により、前記第２のイメージデータを送信するための権限を取得するための処理を他の前記通信装置と通信して行う制御手段と、
   前記トークン制御により前記第２のイメージデータを送信するための優先権を得ると、前記変換手段が前記変換によって得た前記第２のイメージデータを前記ネットワークを介して送信する送信手段と、
   他の前記通信装置から前記ネットワークを介して前記第２の精度の第３のイメージデータおよびオーディオデータを受信する受信手段と、
   前記受信手段が受信した前記第３のイメージデータと、前記変換手段から出力された第２のイメージデータを画像処理した第４のイメージデータとを合成して画像信号を生成するイメージ処理手段と、
   前記受信手段が受信した前記オーディオデータを基にオーディオ信号を生成するオーディオ処理手段と、
   前記イメージ処理手段から供給された前記画像信号を表示する表示手段と
   を有する通信装置。
5. 前記第４のイメージデータは、
   前記変換手段で前記第１のイメージデータを第２のイメージデータに変換し、該第２のイメージデータを前記イメージ処理手段で間引きして生成される
   請求項４に記載の通信装置。
6. 前記変換手段は、
   前記入力手段が入力した前記第１のイメージデータ内の前記第１の位置データを前記第１の位置精度より精度が低い第２の位置精度の第２の位置データに変換して第５のイメージデータを生成する位置精度変換手段と、
   前記位置精度変換手段が生成した前記第５のイメージデータ内の前記第２の位置データのうち、前記指定された位置が移動したことで変化した前記第２の位置データを特定し、当該特定した前記第２の位置データを前記指定した順に含む前記第２のイメージデータを生成する変化検出手段と
   を有する請求項４に記載の通信装置。

Images