JP5332765B2 - 表示制御装置、表示制御処理方法、及び制御プログラム、 - Google Patents

Description

本発明は、表示制御装置、表示制御処理方法、及び制御プログラムに関し、詳細には、複数の拠点に設置された端末装置間でネットワークを介して接続可能な表示制御装置、表示制御処理方法、制御プログラムに関する。

従来、複数の拠点でネットワークを介して接続し、各拠点で取得された撮影画像と音声情報を双方向に送受信することにより、遠隔の地にある者同士の会議を実現するテレビ会議装置が知られている。

また、各拠点間で会議に参加している各ユーザは、各拠点間で共有して表示される共有画面を見ながら、各リモコンを操作して共有画面上に各ポインタを表示させ、ポインタを動かしながら会議を行うシステムが考案されている。さらに、複数のポインタが共有画面上に存在する場合、ポインタを操作しているユーザが誰なのかを、他の拠点のユーザに示すために、共有画面内にポインタのユーザの画像を常時表示させ、ユーザの画像とポインタを線で結んで表示できるようなシステム（特許文献１）も考案されている。

特開平８−２７９９９８号公報

しかしながら、上記特許文献１に記載のテレビ会議装置では、共有画面内に会議に使用される資料等の画像である資料画像を表示させる場合、その資料画像とポインタのユーザ画像を共に表示させなくてはならないので、その為資料画像が表示できる画面領域が狭くなってしまうという課題がある。また、ポインタと、そのポインタを操作しているユーザの画像と直線画像で結ぶ表示を行うので、資料画像に直線画像が重なり、資料画像が見難くなってしまうという課題もある。

本発明は、上記問題点を解決する為になされたものであり、ポインタを操作している拠点の撮影画像を最適な条件で表示可能とする表示制御装置、表示制御処理方法、及び制御プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明の表示制御装置は、複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示することが可能な表示制御装置において、前記表示手段に前記各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、前記端末装置の識別情報を少なくとも含むリモコン情報を取得するリモコン情報取得手段と、前記リモコン情報取得手段により取得されたリモコン情報に基づいて、前記表示手段に前記各ポインタを表示するための表示データを作成する表示データ作成手段と、前記表示データ作成手段により作成された前記表示データを前記表示手段へ出力する表示データ出力手段と、前記端末装置が設置された各拠点の撮影画像情報を前記識別情報と関連付けて取得する撮影画像情報取得手段と、前記表示手段に表示するための会議に関連する情報画像である関連画像情報を取得する関連画像情報取得手段と、前記関連画像情報取得手段により前記関連画像情報を取得したか否かを判断する関連画像情報判断手段と、自分のポインタと他のポインタとの前記ポインタ指示座標情報に基づいて、自分のポインタと他のポインタとを含む複数の前記ポインタの表示位置が所定条件になっているか否かの状態を判定するポインタ表示状態判定手段と、前記関連画像情報判断手段により前記関連画像情報を取得したと判断された場合、前記関連画像情報判断手段により取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定手段により前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、前記関連画像情報判断手段により前記関連画像情報を取得していないと判断された場合、前記撮影画像情報取得手段により取得された各拠点の撮影画像情報を前記表示手段へ出力する撮影画像情報出力手段を備えている。

請求項２に係る発明の表示制御装置では、請求項１に記載の発明の構成に加え、前記表示制御装置は、前記複数の拠点間で開催される会議に参加するユーザに関する情報であるユーザ情報が記憶されているユーザ情報記憶手段と、前記ユーザ情報記憶手段に記憶されている前記ユーザ情報と前記リモコン情報取得手段により取得された前記リモコン情報とを関連付けて記憶するリモコンユーザ情報記憶手段と、前記表示データ出力手段により出力された前記ポインタが、前記ポインタ表示状態判定手段により所定条件であると判定された場合、前記所定条件であると判定された前記ポインタに対応する前記リモコン情報と関連付けられた前記ユーザ情報を特定する特定手段とをさらに備え、前記撮影画像情報出力手段は、前記特定手段により特定された前記ユーザ情報に基づいて、前記識別情報に関連付けられた前記撮影画像情報から、特定された前記ユーザの画像である特定ユーザ画像を抽出して前記表示手段に出力することを特徴としている。

請求項３に係る発明の表示制御装置では、請求項２に記載の発明の構成に加え、前記ユーザ情報記憶手段には、前記ユーザの顔の特徴を示すデータである特徴データが前記ユーザ情報と対応付けて記憶され、前記撮影画像情報出力手段は、前記特定手段により特定された前記ユーザ情報に対応して記憶されている前記特徴データと、前記撮影画像情報取得手段により取得された前記撮影画像情報とを照合し、前記特定ユーザ画像を抽出して出力することを特徴としている。

請求項４に係る発明の表示制御装置では、請求項１乃至３のいずれかに記載の発明の構成に加え、前記撮影画像情報出力手段は、前記表示データ出力手段により出力された前記ポインタが、前記ポインタ表示状態判定手段により所定条件であると判定された後、前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を所定時間の間、前記表示手段へ出力することを特徴としている。

請求項５に係る発明の表示制御装置では、請求項１乃至４のいずれかに記載の発明の構成に加え、前記表示制御装置は、自分のポインタの前記ポインタ指示座標情報に基づいて、前記表示手段内の領域を指定領域として指定する領域指定手段を備え、前記ポインタ表示状態判定手段は、前記領域指定手段により指定された前記指定領域内に他のポインタがある状態を、前記所定条件として判定することを特徴としている。

請求項６に係る発明の表示制御装置では、請求項５に記載の発明の構成に加え、前記領域指定手段は、前記関連画像情報取得手段により取得された前記関連画像情報を指定された場合、前記関連画像情報の表示領域を前記指定領域とすることを特徴としている。

請求項７に係る発明の表示制御装置では、請求項１乃至６のいずれかに記載の発明の構成に加え、前記ポインタ表示状態判定手段は、前記表示手段内で自分のポインタと他のポインタとの表示位置の相対距離を算出し、前記相対距離が所定距離以下にある状態を前記所定条件として判定することを特徴としている。

請求項８に係る発明の表示制御装置では、請求項１乃至７のいずれかに記載の発明の構成に加え、前記ポインタ表示状態判定手段により所定時間以上、前記所定条件になっていると判定された場合、前記撮影画像情報出力手段は前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を前記表示手段へ出力することを特徴としている。

請求項９に係る発明の表示制御装置では、請求項１乃至８のいずれかに記載の発明の構成に加え、前記表示制御装置は、前記端末装置が設置された各拠点の音声情報を前記識別情報と関連付けて取得する音声情報取得手段をさらに備え、前記撮影画像情報出力手段は、前記撮影画像情報取得手段により取得された前記撮影画像情報と、前記撮影画像情報と同じ前記識別情報が関連付けられた前記音声情報とを出力することを特徴としている。

請求項１０に係る発明の表示制御装置では、複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示することが可能な表示制御装置で処理される表示制御処理方法おいて、前記表示手段に前記各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、前記端末装置の識別情報を少なくとも含むリモコン情報を取得するリモコン情報取得ステップと、前記リモコン情報取得ステップにより取得されたリモコン情報に基づいて、前記表示手段に前記各ポインタを表示するための表示データを作成する表示データ作成ステップと、前記表示データ作成ステップにより作成された前記表示データを前記表示手段へ出力する表示データ出力ステップと、前記端末装置が設置された各拠点の撮影画像情報を前記識別情報と関連付けて取得する撮影画像情報取得ステップと、前記表示手段に表示するための会議に関連する情報画像である関連画像情報を取得する関連画像情報取得ステップと、前記関連画像情報取得ステップにより前記関連画像情報を取得したか否かを判断する関連画像情報判断ステップと、自分のポインタと他のポインタとの前記ポインタ指示座標情報に基づいて、自分のポインタと他のポインタとを含む複数の前記ポインタの表示位置が所定条件になっているか否かの状態を判定するポインタ表示状態判定ステップと、前記関連画像情報判断ステップにより前記関連画像情報を取得したと判断された場合、前記関連画像情報判断ステップにより取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定ステップにより前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、前記関連画像情報判断ステップにより前記関連画像情報を取得していないと判断された場合、前記撮影画像情報取得ステップにより取得された各拠点の撮影画像情報を前記表示手段へ出力する撮影画像情報出力ステップを備えている。

請求項１１に係る発明においては、コンピュータを、請求項１乃至１０のいずれかに記載の表示制御装置における各手段、または表示制御処理方法における各種処理ステップを実行させる。

請求項1に係る発明の表示制御装置では、複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示する。そして、表示手段に各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、端末装置の識別情報を少なくとも含むリモコン情報を取得し、表示手段に各ポインタを表示する表示データを作成し、表示手段へ出力する。また、端末装置が設置された各拠点の撮影画像情報を識別情報と関連付けて取得する。さらに、ポインタ指示座標情報に基づいて、表示手段内で自分のポインタと他のポインタとを含む複数のポインタの表示位置が所定条件になっているか否かの状態を判定する。そして表示手段に表示するための会議に関連する情報画像である関連画像情報を取得したか否かを判断し、関連画像情報を取得したと判断された場合、前記関連画像情報判断ステップにより取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定ステップにより前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、関連画像情報を取得していないと判断された場合は、各拠点の撮影画像情報を表示手段へ出力する。よって、ユーザは、会議に関連している資料等の関連画像を表示手段に表示させる場合は、各拠点の撮影画像の表示を停止できるので、表示領域を関連画像の表示のために最大限利用できる。また、ユーザは表示手段内のポインタを操作している拠点の撮影画像を見たい場合は、ポインタを所定の操作をすることにより必要な時だけ拠点の撮影画像を表示させることができる。したがって、ユーザはポインタを操作するだけの簡単な操作で、他ポインタを操作している拠点の撮影画像を見たい時に表示させることができる。

請求項２に係る発明の表示制御装置では、請求項１に記載の発明の効果に加え、表示制御装置は、前記複数の拠点間で開催される会議に参加するユーザに関する情報であるユーザ情報が記憶されている。また、ユーザ情報とリモコン情報とを関連付けて記憶されている。そして表示手段に表示されているポインタが、所定条件であると判定された場合、所定条件であると判定された前記ポインタに対応するリモコン情報と関連付けられたユーザ情報を特定し、特定されたユーザ情報に基づいて、識別情報に関連付けられた撮影画像情報から、特定されたユーザの画像である特定ユーザ画像を抽出して表示手段に出力する。よって、ユーザは表示手段に表示しているポインタを操作することにより、他ポインタを操作している拠点のユーザの撮影画像を表示させることができる。

請求項３に係る発明の表示制御装置では、請求項２に記載の発明の効果に加え、ユーザ情報記憶手段には、ユーザの顔の特徴を示すデータである特徴データがユーザ情報と対応付けて記憶され、特徴データと撮影画像情報とを照合し、特定ユーザ画像を抽出して表示手段に出力する。よって、ユーザは、ポインタを操作することにより、他ポインタを操作している他拠点に複数のユーザが参加している場合でも、顔の特徴データを用いた照合でポインタを操作しているユーザの撮影画像を表示させることができる。したがって、拠点に複数のユーザが会議に参加している場合でも、他ポインタを操作しているユーザの撮影画像を正確に表示させることができる。

請求項４に係る発明の表示制御装置では、請求項１乃至３のいずれかに記載の発明の効果に加え、表示手段に表示されたポインタが、所定条件であると判定された後、所定条件であると判定されたポインタに対応する識別情報に関連付けられた撮影画像情報を所定時間の間、表示手段へ出力する。よって、ユーザは、ポインタを操作することで他ポインタを操作している拠点の撮影画像を表示させた後でポインタを動かしても、所定時間の間は拠点の撮影画像を表示させることできる。

請求項５に係る発明の表示制御装置では、請求項１乃至４のいずれかに記載の発明の効果に加え、自分のポインタの前記ポインタ指示座標情報に基づいて、表示手段内の領域を指定領域として指定し、指定された指定領域内に他のポインタがある状態を、所定条件として判定する。よって、ユーザは、他ポインタを操作している拠点の撮影画像を表示させたい場合、表示手段内に指定領域を指定することで、その指定領域内にある他ポインタを操作している拠点の撮影画像を表示させることができる。

請求項６に係る発明の表示制御装置では、請求項５に記載の発明の効果に加え、表示手段に表示された関連画像情報を指定領域として指定した場合、関連画像情報の表示領域を指定領域とする。よって、ユーザは、表示手段に表示されている資料情報などの関連画像情報の表示領域を指定領域として指定することができる。よって、ユーザは関連画像情報の表示領域にポインタを表示させている拠点の撮影画像を表示手段に表示させることができる。

請求項７に係る発明の表示制御装置では、請求項１乃至６のいずれかに記載の発明の効果に加え、表示手段内で自分のポインタと他のポインタとの表示位置の相対距離を算出し、相対距離が所定距離以下にある状態を所定条件として判定する。よって、ユーザは、操作しているポインタを他ポインタに近づけることにより、他ポインタを操作している拠点の撮影画像を表示させることができる。

請求項８に係る発明の表示制御装置では、請求項１乃至７のいずれかに記載の発明の効果に加え、ポインタが所定時間以上、所定条件になっていると判定された場合、ポインタに対応する識別情報に関連付けられた撮影画像情報を表示手段へ出力する。よって、ユーザはポインタを所定時間以上、所定の操作をした場合、他ポインタを操作している拠点の撮影画像を表示することができるので、意図しないポインタの操作で撮影画像が必要以上に表示されることが無く、意図しない撮影画像の表示を防ぐことができる。

請求項９に係る発明の表示制御装置では、請求項１乃至８のいずれかに記載の発明の効果に加え、各拠点の音声情報を識別情報と関連付けて取得し、撮影画像情報と同じ識別情報が関連付けられた音声情報とを出力する。よって、ユーザは、ポインタの操作により、他ポインタを操作している拠点の撮影画像と共に、音声情報も出力することができる。したがって、他ポインタを操作している拠点の状況をより正確に知ることができる。

請求項１０に係る発明の表示制御処理方法では、複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示する。そして、表示手段に各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、端末装置の識別情報を少なくとも含むリモコン情報を取得し、表示手段に各ポインタを表示する表示データを作成し、表示手段へ出力する。また、端末装置が設置された各拠点の撮影画像情報を識別情報と関連付けて取得する。さらに、ポインタ指示座標情報に基づいて、表示手段内で自分のポインタと他のポインタとを含む複数のポインタの表示位置が所定条件になっているか否かの状態を判定する。そして表示手段に表示するための会議に関連する情報画像である関連画像情報を取得したか否かを判断し、関連画像情報を取得したと判断された場合、前記関連画像情報判断ステップにより取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定ステップにより前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、関連画像情報を取得していないと判断された場合は、各拠点の撮影画像情報を表示手段へ出力する。よって、ユーザは、会議に関連している資料等の関連画像を表示手段に表示させる場合は、各拠点の撮影画像の表示を停止できるので、表示領域を関連画像の表示のために最大限利用できる。また、ユーザは表示手段内のポインタを操作している拠点の撮影画像を見たい場合は、ポインタを所定の操作をすることにより必要な時だけ拠点の撮影画像を表示させることができる。したがって、ユーザはポインタを操作するだけの簡単な操作で、他ポインタを操作している拠点の撮影画像を見たい時に表示させることができる。

請求項１１に係る発明においては、コンピュータを、請求項１乃至１０のいずれかに記載の表示制御装置における各手段、または表示制御処理方法における各種処理ステップを実行させる。よって、ユーザはポインタを操作するだけの簡単な操作で、他ポインタを操作している拠点の撮影画像を見たい時に表示させることができる。

テレビ会議システム１００の概略構成を示すシステム構成図である。 表示制御装置１０の電気的構成を示すブロック図である。 リモコン６の電気的構成を示すブロック図である。 ユーザデータベース記憶エリア１５１０の説明図である。 表示装置５１の表示画面の表示状態説明図である。 表示制御装置１０で行われるポインタ生成処理のフローチャートである。 リモコン情報データテーブル１３１０の説明図である。 表示制御装置１０で行われるメイン生成処理についてのフローチャートである。 表示装置５１の表示画面の表示状態説明図である。 表示制御装置１０で行われるポインタ表示状態判定による撮影画像情報出力処理のフローチャートである。 表示装置５１の表示画面の表示状態説明図である。 表示装置５１の表示画面の表示状態説明図である。 変形実施形態のポインタ表示状態判定による撮影画像情報出力処理２についてのフローチャートである。 ポインタ相対距離データ１３１１の説明図である。

以下、本発明を具現化した実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

最初に、図１を参照して、本実施形態に係るテレビ会議システム１００の全体構成について説明する。

図１に示すように、テレビ会議システム１００は、サーバである表示制御装置１０、多地点接続装置４０、ならびに、拠点３０に設けられた端末装置５０を含み、これらはすべてネットワーク２０に接続されている。ネットワーク２０としては、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）等のネットワークを採用することができる。図１では、拠点３０は１つしか図示されていないが、実際には複数が存在する。拠点３０は、例えばある企業の同一サイト内に複数存在してもよいし、異なる事業所内や、異なる地域や国に点在して存在していてもよい。

表示制御装置１０は、例えば、周知のパーソナルコンピュータであり、汎用型の装置である。表示制御装置１０は、ネットワーク２０を介して接続された複数の拠点３０間で端末装置５０を用いて行われるＴＶ会議（以下、単に会議という）に関する各種の処理を行う。表示制御装置１０の構成、および表示制御装置１０で行われる各種処理の詳細については後述する。

多地点接続装置４０は、ネットワーク２０を介して複数の拠点３０に備えられた端末装置５０と接続し、端末装置５０からの画像、音声、データ等を中継することにより、多地点間のＴＶ会議を実現する装置である。なお、以下では、多地点接続装置（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）４０を、ＭＣＵ４０と略称する。

端末装置５０としては、画像および音声データを圧縮符号化して送信するとともに、受信した圧縮符号化された画像および音声データを復号化して出力することが可能なコーデックを内蔵した、公知の端末装置を採用することができる。端末装置５０には、ＭＣＵ４０から送信された画像を表示する表示装置５１、拠点３０における会議参加者を撮影するカメラ５２、音声を入力するマイク５３、音声を出力するスピーカ５４、キーボードなどの入力装置５６が接続され、さらに、会議参加者が表示装置５１へポインタを表示指示するためのリモートコントローラ（以下「リモコン」と称す）６（６０１〜６０２）がリモコン通信装置５５を介して接続されている。

リモコン６は、ポインタ指示座標情報及びリモコンＩＤ（リモコンを識別するための識別情報）を含むリモコン情報をリモコン通信装置５５へ赤外線に載せて送信する。リモコン通信装置５５には、赤外線受信回路が設けられており、リモコン６から送信された信号を受信する。リモコン６とリモコン通信装置５５との間の通信は、上記赤外線以外に信号線、無線などを用いることもできる。リモコン通信装置５５で取得したリモコン情報を端末装置５０は表示制御装置１０へ定期的（例えば、２０ミリ秒ごと）に出力する。そして、表示制御装置１０では、複数の拠点３０から受信したリモコン情報に基づいて表示データを作成し、各拠点３０の端末装置５０を経由して表示装置５１にポインタを表示させる。表示装置５１でのポインタ表示状態について詳細は後述する。

次に、図２〜図３を参照して、表示制御装置１０、およびリモコン６の電気的構成について説明する。図２に示すように表示制御装置１０は、ＣＰＵ１１と、ＣＰＵ１１に各々接続されたＲＯＭ１２およびＲＡＭ１３を備えている。ＣＰＵ１１には、その他、入出力（Ｉ／Ｏ）インタフェイス１４が接続されている。Ｉ／Ｏインタフェイス１４には、記録装置（ハードディスク装置（ＨＤＤ）など、以下「ＨＤＤ」と称す）１５、マウスコントローラ１６、ビデオコントローラ１７、キーコントローラ１８、および通信装置１９が接続されている。

ＣＰＵ１１は、表示制御装置１０の全体の制御を司る。ＲＯＭ１２は、ＢＩＯＳを含む、表示制御装置１０を動作させるための各種のプログラムやそのための設定値を記憶している。ＣＰＵ１１は、ＲＯＭ１２や、後述するＨＤＤ１５に記憶されたプログラムに従って、表示制御装置１０の動作を制御する。ＲＡＭ１３は、各種データを一時的に記憶するための記憶装置である。マウスコントローラ１６、ビデオコントローラ１７、キーコントローラ１８には、それぞれマウス１６１、表示装置１７１、およびキーボード１８１が接続されている。通信装置１９は、ネットワーク２０に接続し、端末装置５０等の外部機器との間でデータの送受信を行うためのものである。

ここで、ＨＤＤ１５の詳細について説明する。図２に示すように、ＨＤＤ１５は、ユーザデータベース（ＤＢ）記憶エリア１５１、プログラム記憶エリア１５２、資料画像記憶エリア１５３を含む複数の記憶エリアを備えている。ユーザＤＢ記憶エリア１５１には、ユーザＤＢ１５１０（図４参照）が記憶されている。ユーザＤＢ１５１０は、各拠点３０においてリモコン６を使用するユーザに関する情報（を以下、ユーザ情報という）を格納する。ユーザ情報は、ユーザ１名毎に作成されており、例えば、図４に示すように、ユーザＩＤ、ユーザ名、所属、顔特徴データ、およびログイン状態を含む。ユーザＩＤとは、各ユーザに付与される固有の識別コードである。ユーザ名は、ユーザの氏名であり、名前と名字に分かれて記憶されている。所属は、ユーザの所属する企業や団体の名称である。顔特徴データは、ユーザの顔の特徴をデータ化されて記憶されている。それらの情報は、予めユーザによって入力された情報を登録すればよい。また、ログイン状態は、会議に参加中の場合をＯＮとし、未参加の場合はＯＦＦとして記憶している。これは各拠点３０にてユーザが会議に参加する時、自分のＩＤを端末装置５０へ登録すると、そのユーザのログイン状態をＯＮとして記憶する。そして会議が終了した場合、またはユーザが会議途中で退場することを端末装置５０へ入力した場合、そのユーザのログイン状態はＯＦＦとして更新記憶される。ユーザ情報には、他に、例えば、ユーザの電話番号やメールアドレス、役職等、ユーザに関連するその他の情報を含めてもよい。なお、図４では、説明の便宜上、５名分のユーザ情報しか図示されていないが、ユーザＤＢ１５１０に記憶されるユーザ情報の数はこれに限られない。

詳細は図示しないが、図２に示すプログラム記憶エリア１５２には、各種処理を表示制御装置１０に実行させるための各種プログラムが記憶されている。なお、これらのプログラムは、例えばＣＤ−ＲＯＭに記憶されたものがＣＤ−ＲＯＭドライブ（図示外）を介してインストールされ、プログラム記憶エリア１５４に記憶される。または、ネットワーク２０を介してダウンロードされたプログラムが、プログラム記憶エリア１５２に記憶されてもよい。ＨＤＤ１５には、その他、各種処理で使用される設定値等も記憶されている。

また、詳細は図示しないが、図２に示す資料情報記憶エリア１５３には、会議に使用される各種資料情報が記憶されている。本実施例では、これらの資料情報は表示制御装置に記憶されているが、各拠点の端末装置５０に記憶されていても良いし、または資料を表示する時に、ネットワークを介して外部機器から取得するようにしても良い。

次に図３を参照して、リモコン６の電気的構成について説明する。図３に示すように、リモコン６には、リモコン６を制御するＣＰＵ６１，ＲＡＭ６０，ＲＯＭ６２及び入出力（Ｉ／Ｏ）インタフェイス６８が備えられており、これらはバス６７によって相互に接続されている。Ｉ／Ｏインタフェイス６８には、受光部６３，信号送受信部６４、決定ボタン６６が各々接続され、これらは、ＣＰＵ６１，ＲＡＭ６０，ＲＯＭ６２の制御のもとに以下のように動作する。決定ボタン６６は、リモコン６の操作手段である。リモコンユーザにより決定ボタン６６が押下されると、信号送受信部６４は、リモコン通信装置５５へ操作情報として信号を送信する。詳細な説明は後述するが、決定ボタン６６は表示装置５１の表示画面内の指定領域を指定する操作時等に用いられる。また、決定ボタン６６は、全てのリモコン６に備えられている必要はなく、あらかじめ決めたいくつかのリモコンのみに備えられていてもよい。

また、リモコン６は、いわゆるポインティングディバイスとして表示装置５１の表示画面上にポインタを表示指示する。例えば、受光部６３では、表示装置５１のディスプレイの周囲に設けられている発光部（図示は省略）で発光されている光を検出し、それに基づいてＣＰＵ６１，ＲＡＭ６０，ＲＯＭ６２は、光源の位置、すなわちリモコン６が指示する表示装置５１のディスプレイ上の位置を解析し、ポインタ指示座標情報を作成する。信号送受信部６４は、そのポインタ指示座標情報を赤外線に載せてリモコン通信装置５５へ送信する。また、リモコン６から発した光を表示装置５１側で検出して同様にポインタ指示座標情報を作成することもできる。さらに、リモコン６は、ユーザが操作する装置であれば、汎用のマウス、トラックボール、ジョイスティックと同様の構成にすることもでき、その動きの方向、動きの量に基づいて端末装置５０でポインタ指示座標情報を作成することもできる。

次に、図５を参照して、各拠点（以後、図５は拠点３０１とする。）の表示装置５１に表示されているポインタ（６０１ａ、６０２ｂ、６０３ｃ、６０４ｄ）の表示状態について説明する。

拠点３０１は、図１の拠点３０に相当し、図示しない他の拠点（以後、拠点３０２、拠点３０３、拠点３０４とする。）と互いに離れた場所に設置されており、ネットワーク２０を介して表示制御装置１０と接続されている。図５に示す拠点３０１では、ユーザ３０１１が会議に参加している。また、ユーザ３０１１は、図１のリモコン６に相当するリモコン６０１を操作し、表示装置５１の画面にポインタ６０１ａを指示している。また、表示装置５１の画面には、他拠点のユーザが各々リモコン６を操作して表示されているポインタ（６０２ｂ、６０３ｃ、６０４ｄ）も表示されている。図示はしないが、ポインタ６０２ａは拠点３０２、ポインタ６０３ｃは拠点３０３、ポインタ６０４ｄは拠点３０４にて、ユーザが操作しているものとする。また、拠点３０４で操作されているポインタ６０４ｄのユーザはリモコン６を表示装置に向けていないとして、所定の位置に固定表示されている。また、各ポインタ（６０１ａ、６０２ｂ、６０３ｃ、６０４ｄ）は、図５に示すように、表示される形状（本実施例では、６０１ａ：円形、６０２ｂ：四角形、６０３ｃ：五角形、６０４ｄ：三角形）または色彩の一方又はその両方がそれぞれ異なるように設定されている。

さらに、図５に示すように拠点３０１の表示装置５１の画面には、各拠点３０の端末装置５０に備えられたカメラ５２により撮影された拠点の撮影画像（８０１、８０２、８０３、８０４）が分割表示されている。本実施形態では、拠点３０１は撮影画像８０１、拠点３０２は撮影画像８０２、拠点３０３は撮影画像８０３、拠点３０４は撮影画像８０４とする。また、各拠点３０の端末装置５０にはマイク５３、スピーカ５４も備えられているので、ネットワークを介して撮影画像と音声を共有しながら、一般的なＴＶ会議が実施されているものとする。

次に、図６を参照して、表示制御装置１０で行われているポインタ生成処理について説明する。図６は表示制御装置１０で行われるポインタ生成処理のフローチャートである。ポインタ生成処理は、表示制御装置１０の電源がＯＮされると開始され、電源がＯＮである間は、処理終了時から所定時間経過後に繰り返し開始される。また、本実施形態での各拠点３０（拠点３０１、３０２、３０３、３０４）との間でネットワーク２０を介して接続が完了して、相互通信が可能な状態になっているものとする。まず、各拠点３０の端末装置５０からリモコン情報を取得できたか否かが判断される（Ｓ１）。具体的には、拠点３０の端末装置５０の電源がＯＮされ、表示制御装置１０とネットワーク２０を介して接続状態にされた後、端末装置５０から会議に参加するリモコンのリモコン情報が送信されると、ＣＰＵ１１は、リモコン情報を取得できたと判断する（Ｓ１：ＹＥＳ）が、取得できない場合（Ｓ１：ＮＯ）は、取得できるまで繰り返し処理を実行する。次にリモコン情報が取得できた場合（Ｓ１：ＹＥＳ）、ポインタ指示座標情報が含まれているかどうか判断する（Ｓ２）。そして、含まれている場合（Ｓ２：ＹＥＳ）は、ポインタの表示固定指示が有るかどうか判断される（Ｓ３００）。表示固定指示についての詳細は後述する。そして、Ｓ３００の処理で表示固定指示が無いと判断された場合（Ｓ３００：ＮＯ）、リモコン情報データテーブル１３１０（図７）を作成して、ＲＡＭ１３に更新記憶させる（Ｓ３）。また、Ｓ３００の処理で表示固定指示があると判断された場合は（Ｓ３００：ＹＥＳ）、リモコン情報データテーブル１３１０への更新記憶をせず、表示データ作成処理（Ｓ５）を実行する。したがって表示固定指示があると判断されている間は、リモコン情報データデーブルの中の、対応するポインタ座標値は更新記憶されないので、表示装置内でのポインタの表示位置が固定される。また、ホインタ指示座標情報が含まれていない場合（Ｓ２：ＮＯ）は、表示装置５１内の所定のポインタ座標値をリモコン情報データテーブル１３１０に記憶処理する（Ｓ４）。リモコン情報の中にポインタ指示座標情報が含まれない場合とは、ユーザがリモコン６を表示装置５１の方向へ向けて指示していない状態なので、その状態でも対応するポインタが表示されるように、所定のポインタ座標値を記憶させる。所定の位置とは、会議の進行の妨げにならないような、表示装置５１の画面のできるだけ外郭寄りの位置が望ましく、あらかじめ設定されているが、拠点３０の端末装置５０にて、設定変更ができるものとする。

そこで、図７を参照してリモコン情報データテーブル１３１０について詳細に説明する。リモコン情報データテーブル１３１０は、各拠点３０で使用されているリモコンから取得したあるタイミングでの情報である。リモコンＩＤは、各拠点で使用されているリモコン６を識別するＩＤである。拠点ＩＤは各拠点に設置された端末装置５０を識別するためのＩＤである。ユーザＩＤは各拠点３０の端末装置５０で、会議参加時にユーザから入力されたＩＤであり、ユーザＩＤ入力時にリモコンＩＤと対応付けられている。本実施例では例えば、拠点３０１の端末装置５０には、リモコンＩＤ：Ｒ００１、拠点ＩＤ：Ｋ００１、ユーザＩＤ：Ｙ００１とが対応付けられて記憶されており、他拠点も同様にそれぞれ対応付けて記憶されている。

ポインタ座標値は、各拠点３０でユーザがリモコン６を表示装置５１のどの位置に向けて指示しているのかを決定するために、Ｘ方向のＸ座標値と、Ｙ方向のＹ座標値に分解された座標値である。Ｘ座標値について、拠点３０１の表示装置５１では、画面中央の基準点５１１Ｃを基準として記憶される座標値である。またＹ座標値とは、同様に基準点５１１Ｃを基準として記憶される座標値である。他拠点３０でも同様に各ポインタの座標値が決定される。そして定期的にリモコン情報が送信されてくるので、その都度ポインタ座標値を更新記憶させる。例えば、リモコンＩＤ：Ｒ００１は、ポインタ座標値のＸ座標：Ｘａ、Ｙ座標：Ｙａ、リモコンＩＤ：Ｒ００２は、Ｘ座標値：Ｘｂ、Ｙ座標値：Ｙｂの情報を取得している。また、リモコンＩＤ：Ｒ００４は、Ｘ座標値：Ｘｄ、Ｙ座標値：Ｙｄになっており、これは、Ｓ２の処理でリモコン情報の中にポインタ指示座標情報が含まれていないと判断された場合（Ｓ２：ＮＯ）で、所定の座標値が記憶されている（Ｓ４）。ポインタ形状は、予めリモコンＩＤに対応させ、ＲＡＭ１３のリモコン情報データテーブル１３１０にそれぞれ記憶される。これらの形状の他に、色彩などは、各拠点３０の端末装置５０で設定変更できるものとし、適宜変更可能である。

指定領域については、詳細は後述するが、リモコン６を操作するユーザがポインタを動かして、表示装置５１の表示領域内で指定領域を指定した場合に記憶される情報である。例えば、表示装置内にポインタを表示させ、リモコン６に備えられている決定ボタン６６を押下しながらポインタを移動させて指定領域を指定する場合、決定ボタン６６を押下した時のポインタの座標位置を始点として、決定ボタンを離した時のポインタの座標位置を終点の座標位置として記憶される。また、表示装置５１の表示画面に後述する資料画像等を表示している場合、その資料画像の表示領域を指定領域として指定すると、資料画像のＩＤが資料ＩＤに記憶される。

続いて、ＣＰＵ１１では、ＲＡＭ１３に記憶されたリモコン情報データテーブル１３１０に基づいて、表示データ作成処理（Ｓ５）を行う。表示データとは、各拠点３０の表示装置５１へ、ポインタ画像を表示するためのデータであり、ＲＡＭ１３のリモコン情報データテーブル１３１０に記憶された各データに基づいて、定期的に作成処理が行われる。次に、表示データ出力処理（Ｓ７）を実行し、各拠点３０の表示装置５１へ表示データを出力する。

上記のポインタ生成処理により、各拠点では全てのリモコンが指示している各々のポインタを表示することができる。図５での拠点３０１では、ユーザ（ユーザＩＤ：Ｙ００１）がリモコン６（リモコンＩＤ：Ｒ００１）を表示装置５１１に向けて操作し、ポインタ６０１ａを指示している。同様に、拠点３０２のユーザ（ユーザＩＤ：Ｙ００２）もリモコン６（リモコンＩＤ：Ｒ００２）を操作し、ポインタ６０２ｂを指示している。また、拠点３０３では、ユーザ（ユーザＩＤ：Ｙ００３）が、ポインタ６０３ｃを指示しているが、拠点３０４のユーザ（ユーザＩＤ：Ｙ００４）はリモコン６（リモコンＩＤ：Ｒ００４）を表示装置５１へ向けて操作していない状態としているので、対応するポインタ６０４ｄは外郭寄りの所定の位置に表示されている。また、各拠点では、それぞれの表示装置５１に、全てのポインタが表示されているので、会議に参加しているユーザは、他のユーザのリモコン操作状況を確認しながら、リモコンを操作することができる。

次に、図８を参照して表示制御装置１０のＣＰＵ１１により行われるメイン処理について説明をする。図８はメイン処理のフローチャートであり、図７のポインタ生成処理が完了している状態で定期的な周期で（例えば２０ミリ秒周期）継続して繰り返し行われる。まず、ＣＰＵ１１は、各拠点３０の端末装置５０から撮影画像情報を取得する（Ｓ１１１）。具体的には、各拠点３０のカメラ５２で撮影された撮影画像情報をＲＡＭ１３に一時的に記憶する。次に、拠点３０の端末装置５０から、資料画像の出力指示情報を取得したかどうかが判断される（Ｓ１１２）。具体的には、ＨＤＤ１５の資料情報記憶エリアに記憶されている資料画像情報を、拠点３０の端末装置５０から、表示装置５１へ出力するための指示情報を取得したかどうかを判断する。ステップＳ１１２で資料画像出力の指示情報を取得していないと判断した場合（Ｓ１１２：ＮＯ）、ステップＳ１１１で取得した各拠点３０の撮影画像情報を、図５に示す様に各拠点３０の端末装置５０に備えられている表示装置５１へ出力する（Ｓ１１７）。また、上記撮影画像情報に対応する拠点の音声情報も出力する。

また、ステップＳ１１２にて、ＣＰＵ１１が資料画像の出力指示情報を取得したと判断した場合（Ｓ１１２：ＹＥＳ）、ステップＳ１１１にて取得した撮影画像情報の出力を中止する（Ｓ１１３）。つまり、ステップＳ１１１にて取得した各拠点３０の撮影画像情報を既に表示装置５１へ出力中の場合は出力を中止し、または、ステップＳ１１３の処理時に撮影画像情報を出力していない場合は、そのまま出力を停止した状態となるよう処理を行う。また、ステップＳ１１３が実行されても、各拠点３０の音声情報は継続して出力されている。次に、ステップＳ１１３にて撮影画像情報の出力を中止した後、ＣＰＵ１１はステップＳ１１２にて取得した資料画像情報の呼出し処理を行い、各拠点３０の表示装置５１へ表示するための出力を行う（Ｓ１１４）。よって、Ｓ１１４の処理が実行されると、ユーザは表示装置５１に表示される資料画面情報を見ながら、ポインタを操作して、音声情報のみで会議を行う状態となる。

そこで、図９を参照して、本実施形態の拠点３０１での表示装置５１の表示画面の表示状態について説明する。図９は、図５に示す様に各拠点３０の撮影画像情報を表示している状態から、ステップＳ１１２にて資料画像の出力指示情報を取得したと判断し、ステップＳ１１３にて撮影画像情報の出力を中止し、ステップＳ１１４にて資料画像７０１を出力した状態の画面の説明図である。図９に示すように、表示装置５１には、各拠点３０の撮影画像を表示していないので、資料画像７０１が撮影画像領域による表示領域の制限を受けること無く、比較的表示領域を大きく占めて表示することができる。また、図６のポインタ生成処理にて生成された各拠点３０で操作されているポインタが、資料画像７０１と共に表示されている状態である。

次に、ステップＳ１１４にて資料画像を出力した後、ＣＰＵ１１はポインタ表示状態判定による撮影画像情報の出力処理を行う（Ｓ２００）。そこで、図１０を参照して、ポインタ表示状態判定処理による撮影画像情報の出力処理のフローチャートについて詳細に説明する。まず、ＣＰＵ１１は各拠点３０の端末装置５０から指定領域の領域指定情報を取得したかどうを判断する（Ｓ２０１）。ここで言う指定領域について、図７、図１１、図１２を参照して説明する。

ステップＳ２０１にて判断する領域指定情報とは、各拠点３０のリモコン６の操作により、表示装置５１の表示画面に対して、ある領域を指定された時に作成される情報である。例えば、本実施形態では図１１に示す様に、拠点３０１のユーザ３０１１がリモコン６０１を操作してポインタ６０１ａを表示させながら、区画９０１を指定するとその領域内が指定領域として指定される。詳細には、ユーザは区画９０１の右下角の位置にポインタ６０１ａを表示させて、リモコン６０１の決定ボタン６６を押下したまま、区画９０１の左上角まで移動（図１１の矢印の方向）させ、左上角の位置で決定ボタンを離すと、区画９０１が指定領域情報として、リモコン情報データテーブル１３１０（図７参照）の指定領域欄の始点と終点欄に座標情報が記憶される。または、図１２に示すように、例えば資料画像７０１の表示領域内に、ポインタ６０１ａを表示させた状態で、決定ボタンを１回押下すると、資料画像７０１の表示領域が本実施形態での領域指定情報として記憶されるようにしても良い。その場合は、リモコン情報データテーブル１３１０（図７参照）に示すように資料ＩＤ欄に指定された資料を識別するＩＤが記憶される。また、本実施形態では、領域指定方法として、区画９０１の様に四角形を用いて指定する方法を説明したが、これに限るものではなく、例えば、一般的に領域選択操作として実施されているように、区画形状が円形や、多角形で指定できるようにしても良い。

続いて、ステップ２０１にて領域指定情報を取得したと判断した場合（Ｓ２０１：ＹＥＳ）、指定領域内に他のポインタが有るかどうかを判断する（Ｓ２０２）。具体的には、図１１に示すように拠点３０１のユーザ３０１１が、ポインタ６０１ａの表示を操作して区画９０１を指定領域としたので、その指定領域内に他のポインタがあるかどうかを判断する。また、図１２でも同様に拠点３０１のユーザ３０１１が、ポインタ６０１ａの表示を操作して資料画面７０１の表示領域を指定領域としたので、その指定領域内に他のポインタがあるかどうかを判断する。本実施形態では、図１１、図１２に示すようにポインタ６０３ｃが指定領域内に表示されているので、ステップＳ２０２では指定領域内に他のポインタ有と判断する（Ｓ２０２：ＹＥＳ）。そして、ステップＳ２０２にて指定領域内に他ポインタが有ると判断してから、カウンタをスタートさせる（Ｓ２０３）。または、ステップＳ２０３の処理の時に、既にカウンタが作動中の場合は、そのままカウンタの計測処理を継続する。続いて所定時間以上経過したかどうかを判断する（Ｓ２０５）。ステップＳ２０５にて所定時間以上経過していないと判断した場合（Ｓ２０５：ＮＯ）、本処理は終了する。具体的には、ここでの所定時間とは、指定領域を指定したポインタの他に、指定領域内に他ポインタが有るかどうかを判断する時間であり、例えば１〜３秒程度が好適である。よって、指定領域内に瞬間的に他ポインタが通過した場合は、ＣＰＵ１１は所定時間を経過してないと判断するので、後述する撮影画像情報の無駄な出力が抑制できる。

上述のステップＳ２０５で、ＣＰＵ１１は所定時間以上経過したと判断した場合（Ｓ２０５）、ステップＳ２０２にて指定領域内に有ると判断されたポインタに対応した拠点の識別情報を取得する（Ｓ２０６）。本実施形態では、ポインタ６０３ｃ（図１１、図１２参照）が指定領域内にあると判断したので、リモコン情報データテーブル１３１０（図７参照）からポインタ６０３ｃに対応する拠点ＩＤ：Ｋ００３（拠点３０３）が取得される。次に、ＣＰＵ１１はステップＳ２０６で取得したポインタの識別情報に対応した拠点ＩＤに、リモコンを操作するユーザが１人かどうかを判断する（Ｓ２０７）。具体的には、リモコン情報データテーブル１３１０（図７参照）より、拠点ＩＤに対応するユーザＩＤが１人かどうかを判断する。ステップＳ２０７にてリモコンユーザが１人であると判断した場合（Ｓ２０７：ＹＥＳ）、対応する拠点の撮影画像情報を表示装置５１へ出力する処理を行い（Ｓ２０９）、本処理を終了する。

具体的に図１１、図１２を参照して説明すると、ＣＰＵ１１はステップＳ２０２にて指定領域内に有ると判断したポインタ６０３ｃの拠点の識別情報である拠点ＩＤ（Ｋ００３）を、リモコン情報データテーブル１３１０（図７参照）から取得する。そして取得した拠点ＩＤ（Ｋ００３）は、拠点３０３の識別情報であるので、ＣＰＵ１１は、図１１、図１２に示すように拠点３０３の撮影画像である撮影画像８０２を表示装置５１へ出力している。また、本実施形態の図１１、図１２では、指定領域を指定した拠点３０１の撮影画像である撮影画像情報８０１も同時に表示するようにしているので、ステップＳ２０２にて指定領域内に有ると判断された拠点３０３の表示装置５１へも、指定領域を指定した拠点３０１の撮影画像情報を表示するので、拠点３０３のユーザは、どこの拠点にて指定領域が指定されたかを認識することができる。また、ステップＳ２０９、Ｓ２１０の処理を実行する時に、出力される撮影画像情報に対応する拠点の音声情報のみを出力するようにしても良い。上記実施形態では、指定領域を指定した拠点の撮影画像情報も同時に表示するようにしたが、これに限定されるものでは無く、指定した拠点の撮影画像情報は表示しないように設定しても良い。また、ステップＳ２０７にて識別情報に対応した拠点の撮影画像情報を出力しているが、所定時間（例えば２ｓ〜５ｓ）のみ出力するようにしても良い。また、ステップＳ２０９、Ｓ２１０の処理にて撮影画像情報が出力される間は、表示されている資料画像の表示領域を、撮影画像情報と重ならない程度まで縮小するようにしても良い。

また、ステップＳ２０７にて、ＣＰＵ１１はリモコン情報データテーブル１３１０（図７参照）より、リモコンユーザが１人では無いと判断した場合（Ｓ２０７：ＮＯ）、対応する拠点の撮影画像情報の中から、リモコンユーザを特定して撮影画像範囲を特定し（Ｓ２０８）、特定されたユーザの撮影画像範囲の撮影画像情報を表示装置５１へ出力する処理を行い（Ｓ２１０）、本処理を終了する。具体的には、ステップＳ２０６にて取得したポインタの識別情報に対応するユーザＩＤと顔特徴データを、ユーザＤＢ１５１０（図４参照）から取得し、取得したユーザＩＤに関連して記憶されている拠点ＩＤに対応した撮影画像情報の中から、顔特徴データを用いて照合処理を行い、リモコンユーザの撮影画像範囲を特定し、特定されたユーザの撮影画像範囲を表示装置５１へ出力する処理を行う。ここでの顔特徴データを用いた照合処理について詳細な説明は省略するが、一般的に顔照合技術で用いられている技術で良く、例えば、顔特徴データとして予め、顔の特徴部分である目、鼻、口などの形状のエッジ部をデータ化して記憶しておき、その特徴データに基づいて撮影画像情報の中に所定割合以上、前記特徴部分の形状に類似している形状があるかどうかを照合することで、顔画像の特定を判断する処理である。また、上記実施形態では、撮影画像情報の中からリモコンユーザを特定する場合、顔の照合技術を用いたが、これに限定されるものでは無く、例えば、予めリモコンユーザの位置毎に拠点３０のカメラ５２の撮影範囲を対応付けておけば、同様にユーザＩＤからリモコンユーザの撮影画像範囲を特定して表示装置へ出力することができる。

また、ステップＳ２０１にて指定領域情報を取得していないと判断した場合（Ｓ２０１：ＮＯ）、または、ステップＳ２０２にて指定領域内に他ポインタが無いと判断した場合（Ｓ２０２：ＮＯ）は、カウンタをリセット処理して（Ｓ２０４）、本処理を終了する。

図８のメイン処理の説明に戻り、ステップＳ２００の処理の後、ＣＰＵ１１は資料画像の表示を中止する指示情報を取得したかどうかを判断する（Ｓ１１５）。具体的には、表示装置５１に表示されている資料画像を閉じる指示情報が、拠点３０の端末装置５０から取得したかどうかを判断する。ステップＳ１１５にて資料画像の出力を中止する指示情報が拠点３０の端末装置５０から取得していないと判断した場合（Ｓ１１５：ＮＯ）、再度ステップＳ１１４の処理に戻り、繰り返し処理が実行される。ステップＳ１１５にて、資料画像の出力の中止指示があった場合（Ｓ１１５：ＹＥＳ）、出力中の資料画像の出力を中止し（Ｓ１１６）、撮影画像情報の出力を行う（Ｓ１１７）。よって、本実施形態の図５に示すように各拠点３０の撮影画像情報（８０１、８０２、８０３、８０４）が表示装置５１へ出力される。続いて会議終了かどうかが判断され（Ｓ１１８）、会議終了の指示を拠点３０の端末装置５０から受信した場合（Ｓ１１８：ＹＥＳ）、メイン処理は終了するが、会議終了指示を受信していない場合は（Ｓ１１８：ＮＯ）、ステップＳ１１１へ戻り、繰り返し処理が実行される。

したがって、表示制御装置１０は、本メイン処理を実行することにより、各拠点の撮影画像情報を取得して、拠点３０から資料画像情報の出力指示情報があるかどうかを判断して、出力指示情報がある場合は、各拠点の撮影画像情報を出力しない（または中止する）処理を行うので、資料画像情報の表示領域を大きく確保した見易い状態にすることができ、かつ各拠点のユーザは、各ポインタを表示させながら会議を進めることができる。そして、他のポインタが、どこの拠点が指示しているポインタなのかを知りたい場合、そのポインタが含まれるように、表示装置５１の表示領域内に指定領域を設定することで、その指定領域内にあるポインタを指示している拠点の撮影画像を表示させることができる。よって、ユーザは、ポインタの操作により他拠点の状況を知りたい時に迅速に確認することができる。

次に、本発明の第一の変形例について、図１３及び図１４を参照して説明する。第一の変形例は、表示制御装置１０のＣＰＵ１１が実行するメイン処理（図８参照）の中のステップＳ２００で実行するポインタ表示状態判定による撮影画像情報出力処理を、表示装置５１で表示されている各ポインタ同士の相対距離に基づいて撮影画像情報の出力処理を行うものである。

図１３を参照して、表示制御装置１０のＣＰＵ１１が実行するポインタ表示状態判定による撮影画像情報出力処理２について説明する。本処理は、上記メイン処理（図８）のステップＳ１１４で資料画像を出力された後に実行される処理であり、ステップＳ１１４の後、まず、ＣＰＵ１１はポインタ同士の相対距離を算出する（Ｓ４０１）。詳細には、ポインタ生成処理（図６参照）のステップＳ３の処理にて、ＣＰＵ１１がリモコン情報データテーブル１３１０（図７参照）に記憶した各ポインタのポインタ座標値に基づいて、各々の相対距離を算出する。

そこで、ポインタ相対距離算出方法について説明する。相対距離とは、表示画面上でポインタ同士の離れている距離であり、算出方法は一般的な定理であるピタゴラスの三平方の定理を用いればよい。例えば、リモコン情報データテーブル１３１０でのリモコンＩＤ：Ｒ００１とＲ００２の場合の相対距離は、
相対距離＝√｛（Ｘａ―Ｘｂ）＾２＋（Ｙａ―Ｙｂ）＾２｝（Ｘａ、Ｘｂ、Ｘｃ、Ｘｄは正負の符号を含む座標値）となる。この処理を実施された後、図１４の相対距離データ１３１１がＲＡＭ１３に記憶される。

続いて、所定距離内に他ポインタがあるかどうかがを判断する（Ｓ４０２）。ここでいう所定距離とは、予め表示制御装置１０のＲＯＭ１２に記憶されている設定値であり、具体的にはポインタ同士が重なる程度まで近づけた状態の距離を相対距離として設定されている。また、上記設定値は、端末装置５０を用いて適宜設定値が変更可能になっているものとする。よって、ステップＳ４０２では、ＣＰＵ１１は相対距離データ１３１１の中に、相対距離が上記設定値である所定距離以下になっている組合せがあるかどうかを判断する。

ステップＳ４０２にて、ＣＰＵ１１は所定距離以内に他ポインタがあると判断した場合（Ｓ４０２：ＹＥＳ）、カウンタスタート及び計測処理を開始する（Ｓ４０３）。そして、ステップＳ４０３にてカウンタがスタート処理された後、その後の処理であるＳ４０５〜Ｓ４１０までは、図１０に示すポインタ表示状態判定による撮影画像情報出力処理のステップＳ２０５〜Ｓ２０９と各々同様の処理が実施される為、説明は省略する。また、ステップＳ４０２にて所定距離以内に他ポインタが無いと判断した場合（Ｓ４０２：ＮＯ）、カウンタリセット処理（Ｓ４０４）が実施され、本処理は終了する。

したがって、端末装置５０の表示装置５１に資料画像が出力されている状態で、各拠点３０のリモコンユーザが他ポインタに対応する拠点の撮影画像情報を表示させたい場合、自ポインタを他ポインタに重なる程度まで近づける操作をすることで、簡単に他拠点の撮影画像情報を表示することができる。

本実施形態では、表示制御装置１０が「表示制御装置」に相当し、表示制御装置１０のＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３において、図７のＳ１の処理を実行する部分が、「リモコン情報取得手段」、Ｓ５の処理を実行する部分が「表示データ作成手段」、Ｓ７の処理を実行する部分が「表示データ出力手段」に相当する。また、図８のＳ１１１の処理が「撮影画像情報取得手段」に相当し、図８のＳ１１２の処理を実行する部分が、「関連画像情報判断手段」に相当し、Ｓ１１４が「関連画像情報取得手段」に相当する。図１０のＳ２０２、図１３のＳ４０２の処理を実行する部分が「ポインタ表示状態判定手段」に相当し、図１０のＳ２０８、図１３のＳ４０８の処理を実行する部分が、「特定手段」に相当し、図８のＳ１１７、図１０のＳ２０９、Ｓ２１０と、図１３のＳ４０９、Ｓ４１０の処理を実行する部分が、「撮影画像情報出力手段」に相当する。また、図２の表示制御装置１０のＨＤＤ１５に記憶されているユーザＤＢ記憶エリア１５１は、本発明の「ユーザ情報記憶手段」に相当し、ＲＡＭ１３に記憶されているリモコン情報データテーブル１３１０が、「リモコンユーザ情報記憶手段」に相当する。

なお、前述の実施形態に示される構成や処理は例示であり、各種の処理が変形可能なことはいうまでもない。例えば本実施例のテレビ会議システム１００はクライアント−サーバ型の構成を採っているが、Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）型の構成を採っても良く、その場合、表示制御装置１０で処理される各種処理が、拠点３０の端末装置５０で処理されれば良い。

６ リモコン
１０ 表示制御装置
１１ ＣＰＵ
１５ ＨＤＤ
１６ マウスコントローラ
３０ 拠点
４０ ＭＣＵ
５０ 端末装置
５１ 表示装置
５２ カメラ
５３ マイク
５４ スピーカ
５５ リモコン通信装置
５６ キーボード
１５１ ユーザデータベース記憶エリア
１５３ 資料画像記憶エリア
１３１０ リモコン情報データテーブル
１３１１ ポインタ相対距離データ
１５１０ ユーザデータベース

Claims (11)

1. 複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示することが可能な表示制御装置において、
   前記表示手段に前記各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、前記端末装置の識別情報を少なくとも含むリモコン情報を取得するリモコン情報取得手段と、
   前記リモコン情報取得手段により取得されたリモコン情報に基づいて、前記表示手段に前記各ポインタを表示するための表示データを作成する表示データ作成手段と、
   前記表示データ作成手段により作成された前記表示データを前記表示手段へ出力する表示データ出力手段と、
   前記端末装置が設置された各拠点の撮影画像情報を前記識別情報と関連付けて取得する撮影画像情報取得手段と、
   前記表示手段に表示するための会議に関連する情報画像である関連画像情報を取得する関連画像情報取得手段と、
   前記関連画像情報取得手段により前記関連画像情報を取得したか否かを判断する関連画像情報判断手段と、
   自分のポインタと他のポインタとの前記ポインタ指示座標情報に基づいて、自分のポインタと他のポインタとを含む複数の前記ポインタの表示位置が所定条件になっているか否かの状態を判定するポインタ表示状態判定手段と、
   前記関連画像情報判断手段により前記関連画像情報を取得したと判断された場合、前記関連画像情報判断手段により取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定手段により前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、前記関連画像情報判断手段により前記関連画像情報を取得していないと判断された場合、前記撮影画像情報取得手段により取得された各拠点の撮影画像情報を前記表示手段へ出力する撮影画像情報出力手段を備えたことを特徴とする表示制御装置。
2. 前記表示制御装置は、
   前記複数の拠点間で開催される会議に参加するユーザに関する情報であるユーザ情報が記憶されているユーザ情報記憶手段と、
   前記ユーザ情報記憶手段に記憶されている前記ユーザ情報と前記リモコン情報取得手段により取得された前記リモコン情報とを関連付けて記憶するリモコンユーザ情報記憶手段と、
   前記表示データ出力手段により出力された前記ポインタが、前記ポインタ表示状態判定手段により所定条件であると判定された場合、前記所定条件であると判定された前記ポインタに対応する前記リモコン情報と関連付けられた前記ユーザ情報を特定する特定手段とをさらに備え、
   前記撮影画像情報出力手段は、前記特定手段により特定された前記ユーザ情報に基づいて、前記識別情報に関連付けられた前記撮影画像情報から、特定された前記ユーザの画像である特定ユーザ画像を抽出して前記表示手段に出力することを特徴とする請求項１に記載の表示制御装置。
3. 前記ユーザ情報記憶手段には、前記ユーザの顔の特徴を示すデータである特徴データが前記ユーザ情報と対応付けて記憶され、
   前記撮影画像情報出力手段は、前記特定手段により特定された前記ユーザ情報に対応して記憶されている前記特徴データと、前記撮影画像情報取得手段により取得された前記撮影画像情報とを照合し、前記特定ユーザ画像を抽出して出力することを特徴とする請求項２に記載の表示制御装置。
4. 前記撮影画像情報出力手段は、前記表示データ出力手段により出力された前記ポインタが、前記ポインタ表示状態判定手段により所定条件であると判定された後、前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を所定時間の間、前記表示手段へ出力することを特徴とする請求項１乃至３のいずれかに記載の表示制御装置。
5. 前記表示制御装置は、
   自分のポインタの前記ポインタ指示座標情報に基づいて、前記表示手段内の領域を指定領域として指定する領域指定手段を備え、
   前記ポインタ表示状態判定手段は、前記領域指定手段により指定された前記指定領域内に他のポインタがある状態を、前記所定条件として判定することを特徴とする請求項１乃至４のいずれかに記載の表示制御装置。
6. 前記領域指定手段は、前記関連画像情報取得手段により取得された前記関連画像情報を指定された場合、前記関連画像情報の表示領域を前記指定領域とすることを特徴とする請求項５に記載の表示制御装置。
7. 前記ポインタ表示状態判定手段は、前記表示手段内で自分のポインタと他のポインタとの表示位置の相対距離を算出し、前記相対距離が所定距離以下にある状態を前記所定条件として判定することを特徴とする請求項１乃至６の何れかに記載の表示制御装置。
8. 前記ポインタ表示状態判定手段により所定時間以上、前記所定条件になっていると判定された場合、前記撮影画像情報出力手段は前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を前記表示手段へ出力することを特徴とする請求項１乃至７に装置。
9. 前記表示制御装置は、
   前記端末装置が設置された各拠点の音声情報を前記識別情報と関連付けて取得する音声情報取得手段をさらに備え、
   前記撮影画像情報出力手段は、前記撮影画像情報取得手段により取得された前記撮影画像情報と、前記撮影画像情報と同じ前記識別情報が関連付けられた前記音声情報とを出力することを特徴とする請求項１乃至８のいずれかに記載の表示制御装置。
10. 複数の拠点に設置された端末装置間でネットワークを介して接続され、複数のリモコンに対応する各ポインタを表示手段に表示することが可能な表示制御装置で処理される表示制御処理方法おいて、
    前記表示手段に前記各リモコンに対応する各ポインタを表示するためのポインタ指示座標情報及び、前記端末装置の識別情報を少なくとも含むリモコン情報を取得するリモコン情報取得ステップと、
    前記リモコン情報取得ステップにより取得されたリモコン情報に基づいて、前記表示手段に前記各ポインタを表示するための表示データを作成する表示データ作成ステップと、
    前記表示データ作成ステップにより作成された前記表示データを前記表示手段へ出力する表示データ出力ステップと、
    前記端末装置が設置された各拠点の撮影画像情報を前記識別情報と関連付けて取得する撮影画像情報取得ステップと、
    前記表示手段に表示するための会議に関連する情報画像である関連画像情報を取得する関連画像情報取得ステップと、
    前記関連画像情報取得ステップにより前記関連画像情報を取得したか否かを判断する関連画像情報判断ステップと、
    自分のポインタと他のポインタとの前記ポインタ指示座標情報に基づいて、自分のポインタと他のポインタとを含む複数の前記ポインタの表示位置が所定条件になっているか否かの状態を判定するポインタ表示状態判定ステップと、
    前記関連画像情報判断ステップにより前記関連画像情報を取得したと判断された場合、前記関連画像情報判断ステップにより取得した前記関連画像情報を前記表示手段へ出力し、前記ポインタ表示状態判定ステップにより前記所定条件であると判定された前記ポインタに対応する前記識別情報に関連付けられた前記撮影画像情報を、前記撮影画像情報の表示結果である撮影画像が画面の端部に隣接し、前記撮影画像が前記関連画像情報の表示結果である関連画像より小さく表示されるように、前記表示手段へ出力し、前記関連画像情報判断ステップにより前記関連画像情報を取得していないと判断された場合、前記撮影画像情報取得ステップにより取得された各拠点の撮影画像情報を前記表示手段へ出力する撮影画像情報出力ステップを備えたことを特徴とする表示制御処理方法。
11. コンピュータを、請求項１乃至１０のいずれかに記載の表示制御装置における各手段、または表示制御処理方法における各種処理ステップを実行させるための制御プログラム。