JP6429640B2 - 遠隔コミュニケーションで用いられるコミュニケーションシステム - Google Patents

Description

本発明は、拠点ごとに存在するコミュニケーションシステムを用いて遠隔コミュニケーションを行なう技術に関する。より具体的には、各拠点の様子を撮影した画像と電子文書などの画像とを重畳表示しながら、コミュニケーションを行う技術に関する。

自拠点において遠隔地にある他拠点との会議を行うためにテレビ会議システムが利用されることがある。テレビ会議システムではカメラやマイクを備えた表示装置が用いられ、表示装置の前にいる人物の映像を撮影したり音声を集音したりしてデータ化してネットワークを介して他拠点へ送信する。このデータを受信した他拠点ではデータ化された映像を表示装置へ表示したり、音声をスピーカーで再生したりする。このような処理をお互いの拠点で行なうことで、相手の表情を見ながら遠隔地にいる人と会議をすることが可能である。

また特許文献１では人物映像に加えて電子文書の画像も送受信し合い、人物と電子文書との画像を重畳表示し電子文書の画像をそれぞれの拠点で参照しながらコミュニケーションすることで意思疎通をよりスムーズに行えるシステムが提案されている。

スペイン特許第２３９９２６３号明細書（ＥＳ２３９９２６３，Ｂ１）

特許文献１の技術では、後述するように、自拠点において電子文書の表示位置を変更した場合、他拠点においても連動して電子文書の表示位置が変更されてしまう。従って、各拠点で自由な位置に電子文書を表示することができないという課題がある。

本発明にかかるコミュニケーションシステムは、他の拠点の鏡像の映像と、資料画像とを重畳して表示手段に投影する投影手段と、ユーザーの指示を検出する検出手段と、前記表示手段の表示面と対向する位置にいる前記ユーザーを撮影する撮影手段とを有するコミュニケーションシステムであって、前記表示手段に投影されている前記資料画像の表示位置を移動する指示を前記検出手段が検出した場合、前記資料画像の移動する方向及び移動量を取得する取得手段と、前記取得手段で取得した方向に、前記投影手段で投影している映像と資料画像とを前記取得手段で取得した移動量に相当する量だけ移動させる制御手段と、前記取得手段で取得した前記移動する方向及び移動量を前記他の拠点に送信する送信手段とを有することを特徴とする。

本発明によれば、各拠点で自由な位置に電子文書を表示しつつ、矛盾のない重畳表示を行うことが可能になる。

人物映像と資料画像とを重畳表示する技術の説明を行う図である。 実施例に係るコミュニケーションシステムの構成を示す図である。 実施例１における接続先候補リストを含む画面の例である。 実施例１における人物映像の投影処理を説明する図である。 実施例１における資料表示処理の画面の例である。 実施例１における資料画像の移動前後の様子を示す図である。 実施例１における、表示している資料画像の移動処理を説明するフローチャートである。 実施例１における、資料画像の移動後の重畳表示に矛盾がないことを示す図である。 実施例２における資料画像の移動モードの切り替え処理を説明するフローチャートである。 実施例２における連動移動モード時の資料画像表示の移動処理を説明するフローチャートである。 実施例３における資料画像表示の拡大縮小処理を説明するフローチャートである。 実施例３における拡大縮小処理を行った場合の投影画面の例である。

以下、本発明を実施するための形態について説明する。なお、実施例の具体的な説明の前に、後述する実施例２でも部分的に使用することになる特許文献１の技術を説明することにする。また、この特許文献１の技術で起こり得る問題点についても説明する。

特許文献１のシステムでは、各拠点に実在する人物（以下、リアル人物という）の位置と、スクリーンに映し出される人物（以下、表示人物という）の位置と、電子文書の画像の位置との位置関係が重要である。特許文献１のシステムでは、特許文献１のＦｉｇ．２やＦｉｇ．３に示されるように、カメラとプロジェクタとが半透明スクリーンの背面に設けられる。カメラは半透明スクリーン前面にいる人物を撮影するために用いられ、プロジェクタは、他拠点の人物を撮影した映像及び電子文書（以下、資料画像という）を投影するために用いられる。他の拠点においても同様の構成を設ける。このような構成においては、自拠点の半透明スクリーンに投影される、他拠点の表示人物は、鏡像となる。つまり、他拠点にいるリアル人物が左手を挙げている場合、そのリアル人物に対応する、自拠点の半透明スクリーン上で表示されている他拠点の表示人物は右手を挙げていることになる。

また、各拠点のリアル人物と正対している半透明スクリーン面の左上をそれぞれ原点として右及び下に向かうにつれてＸ値、Ｙ値が増える半透明スクリーン座標系を定義すると、資料画像は、それぞれの拠点の同じ座標位置に表示される。

すなわち、このシステムでは、お互いの拠点で、例えば半透明スクリーンの中央に人物が位置し、半透明スクリーンの左側に資料を表示し、その表示された資料をそれぞれの拠点のリアル人物がそれぞれ左手で指し示した場合を想定する。この場合、あたかも鏡のように半透明スクリーン上の相手と同じ位置の資料画像を指し示しているようなことが可能となる。

以下、図１を用いてある拠点１と拠点２とでコミュニケーションをしている例を詳しく説明する。

図１（ａ）は、拠点１にある半透明スクリーン１０に表示されている内容を示している。図１（ａ）には、拠点２にいるコミュニケーション相手であるリアル人物２２ａに対応する表示人物２２ｂとコミュニケーションに使用している電子文書の資料画像１１ａとが表示されている。図１（ｂ）は拠点２にある半透明スクリーン２０に表示されている内容を示している。図１（ｂ）には、拠点１にいるコミュニケーション相手であるリアル人物１２ａに対応する表示人物１２ｂとコミュニケーションに使用している電子文書の資料画像２１ａとが表示されている。資料画像１１ａと資料画像２１ａとは同じ電子文書の画像である。図１（ａ）及び図１（ｂ）に示すように、それぞれの拠点の半透明スクリーンに表示されている資料画像はスクリーン座標系で同じ位置に表示されている。

図１（ｃ）は拠点１にいるリアル人物１２ａと半透明スクリーン１０とを上から見た図である。また図１（ｃ）では、半透明スクリーン１０に表示されている拠点２の表示人物２２ｂと資料画像１１ａとを仮想空間（斜線部分）に配置して上から見た様子も示している。表示人物２２ｂとして、拠点２にいるリアル人物２２ａの鏡像が表示されている。同様に図１（ｄ）は拠点２にいるリアル人物２２ａと半透明スクリーン２０とを上から見た図である。また図１（ｃ）では、半透明スクリーン２０に表示されている拠点１の表示人物１２ｂと資料画像２１ａとを仮想空間（斜線部分）に配置して上から見た様子も示している。

このとき、図１（ｅ）に示すように、拠点１にいるリアル人物１２ａが資料画像１１ａの表示位置を、半透明スクリーン１０に向かって左側から右側に変更したとする。具体的には、スクリーン座標系のＸ値を例えば、３０から１８０に変更した座標位置に資料画像の表示位置を変更したものとする。この変更後の位置にある資料画像１１ｃは、資料画像１１ａと同じ画像であるが、表示位置が変更されているものである。そして、一方で、拠点２で表示されている資料画像２１ａは拠点２のリアル人物２２ａによって表示位置が変更されなかった（即ち、図１（ｄ）の状態のままである）状況を考える。

そうした状況下で、図１（ｅ）にあるように、拠点１にいるリアル人物１２ａが半透明スクリーン１０に向かって右側の位置にある資料画像１１ｃを右手で指し示したとする。この時拠点２の表示が図１（ｆ）に示す表示のようになると、各拠点での表示内容に不整合が生じてしまう。図１（ｆ）では、半透明スクリーン２０には拠点１にいるリアル人物１２ａに対応する表示人物１２ｂが表示される。拠点１にいるリアル人物１２ａは右手で半透明スクリーン１０の右側の資料画像を指しているが、半透明スクリーン２０に表示される表示人物１２ｂは鏡像であるので、表示人物１２ｂは左手を挙げた映像となる。図１（ｆ）に示すように、拠点２の半透明スクリーン２０に表示されている資料画像２１ａは、スクリーン座標系のＸ値は３０のままであるので、リアル人物２２ａから見てスクリーン左側に表示されたままである。つまり、拠点２のリアル人物２２ａから見ると、表示人物１２ｂは、資料画像とは逆の位置を指し示している映像を見ることになる。

また、仮に図１（ｆ）のような不整合が生じた場合には、逆に拠点２のリアル人物２２ａが資料２１ａを指し示した場合にも、拠点１のリアル人物１２ａから見ると、逆の方向の位置を指し示している映像を見ることになる。

そこで、特許文献１では、このような不整合を解消するために、図１（ｆ）のような表示をするのではなく、図１（ｇ）に示すような表示を行なう処理を開示している。図１（ｇ）は、拠点１でリアル人物１２ａが前述のように資料画像のＸ座標の値を３０から１８０に変更した場合に、拠点２で表示されている資料画像の表示位置も連動して変更する処理を行なった例を示している。つまり、拠点２のスクリーン２０においても、資料画像の表示位置をリアル人物２２ａから見てスクリーンの左側から右側に変更する（移動する）。具体的には、拠点１で資料画像１１ｃが表示されている位置と同じスクリーン座標の位置に、つまり、Ｘ値を３０から１８０に変更した位置の半透明スクリーン２０上に、資料画像２１ｃを表示する。このように、一方の拠点で資料画像の表示位置が変更された場合に、他方の拠点での資料画像の表示位置も連動して変更することで、不整合が生じることを防止している。

しかしながら、このような特許文献１の技術では、人物映像と資料画像とを矛盾なく重畳表示することが可能であるが故に、各拠点で自由な位置に資料画像を表示することができないという問題があるのである。つまり、図１（ｅ）に示すように、拠点１のリアル人物１２ａが資料画像の表示位置を変更する場合、拠点２のリアル人物２２ａ側では、自分が望まない位置に資料画像の表示位置が変更されてしまう。以下の実施例では、矛盾のない重畳表示を行いつつ、各拠点で自由な位置に資料画像を表示することが可能な例を説明する。

［実施例１］
以下、本発明を実施するための形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。

＜システムの機器構成＞
図２に本実施例におけるコミュニケーションシステム３０の構成を示す。図２に示すようなコミュニケーションシステム３０は、遠隔コミュニケーションを行なう各拠点にそれぞれ備えられるものである。なお、遠隔とは単に離れていることを示しているに過ぎず、どのような距離であってもよい。極端な例では、隣同士の部屋にそれぞれコミュニケーションシステムを設置しているような形態であってもよい。

図２（ａ）はコミュニケーションシステムの全体構成を示した図であり、図２（ｂ）は、ユーザーがコミュニケーションシステムを使用している様子を横から示した図である。

コミュニケーションシステム３０は、システム全体を制御する制御部３１、半透明スクリーン１０、半透明スクリーン１０の前に立つ人物を撮影する撮影部３２を有する。また、コミュニケーションシステム３０は、表示内容を半透明スクリーン１０に投影する投影部３３、人物が行う操作を検出するための検出部３４を有する。

制御部３１はプログラムを実行するためのＣＰＵ、プログラムを格納するためのＲＡＭやＲＯＭ、ハードディスクを備える。また、投影部３３、撮影部３２、検出部３４との接続インターフェースを備える。また、電源スイッチ、他の拠点にあるシステムと接続を行うためのネットワークインターフェース等を備える。

撮影部３２は、特許文献１のＦｉｇ．２（ａ）（ｂ）にあるような半透明スクリーンの奥にデジタルカメラ等を設置した構成になっている。本実施例の撮影部３２は、特許文献１に記載の技術を用いて、半透明スクリーンに投影される映像を撮影せずに、半透明スクリーンより奥（図２（ｂ）では半透明スクリーンよりも右側）の情報のみ（例えば、半透明スクリーンの前に立つ操作者）を撮影する。すなわち、半透明スクリーンの表示面に対向する位置にいる操作者を、半透明スクリーンの背面側から撮影する。

投影部３３は、例えばプロジェクタで実現され、制御部３１から投影画像を受信して半透明スクリーンに投影する。投影画像には、他拠点での人物を撮影した人物映像と、資料画像とが含まれる。なお、ここでは一台のプロジェクタが人物映像と資料画像とを重畳させた投影画像を投影する例を説明するが、複数台のプロジェクタを用意して、それぞれが人物映像と資料映像とを投影するような構成であってもよい。

検出部３４は、例えばデジタイザで実現される。デジタイザは赤外光の送信器と受信器を有する。検出部３４は、操作者が半透明スクリーンを指でタッチした際に送信器から投射した赤外光が指で反射して受信器に到達するまでの時間に基づいて半透明スクリーン上のタッチ位置を検出する。タッチ位置はスクリーンの座標系においてスクリーン座標系の原点からの相対的な位置で表現される。本実施例においては、前述のように、半透明スクリーンの左上の隅を原点とし、向かって右に行くに従いＸ座標の値が増加、向かって下方向に行くに従いＹ座標の値が増加するものとする。

＜コミュニケーションシステムの概要＞
図２に示すようなコミュニケーションシステムは、コミュニケーションを行う各拠点に設置されており、制御部３１に含まれているネットワークインターフェース、ネットワーク通信路を経由して各々が接続されている。

本実施例では、拠点１と拠点２との間で遠隔コミュニケーションを行うものとする。以後、拠点１に設置されているコミュニケーションシステムの各構成を、制御部３１−１、撮影部３２−１、投影部３３−１、検出部３４−１と表記する。また、拠点２に設置されているコミュニケーションシステムの各構成を、制御部３１−２、投影部Ｐ２、撮影部３２−２、検出部３４−２と記載する。

また本実施例においては、拠点１に設置されている半透明スクリーン１０と、拠点２に設置されている半透明スクリーン２０との幅、高さは同じものとする。

＜電源投入からコミュニケーションの開始までの処理＞
次に、本実施例で説明する遠隔コミュニケーションの動作開始に至る処理の概要を説明する。例えば拠点１にいる操作者から電源投入の指示を受けた拠点１の制御部３１−１は、あらかじめハードディスクに格納されたプログラム読み出して処理の実行を開始する。本プログラムは複数の処理を並行して同時に実行することが可能なプログラムとしてもよい。

制御部３１−１は、あらかじめハードディスクに格納されたコミュニケーション相手の接続先の候補を読み出す。制御部３１−１は読み出した接続先候補の情報を用いて、ユーザーがタッチして接続先を選択できる表形式の接続先候補リストを含む画面を作成する。制御部３１−１は、作成した接続先候補リストの投影指示を投影部３３−１に対して行う。投影部３３−１は投影指示を受けて、半透明スクリーン１０に対して接続先候補リストを含む画面の投影を行う。

図３は半透明スクリーン１０に接続先候補リスト３５０を含む画面を投影した結果を示した図である。操作者は半透明スクリーン１０に投影された接続先候補リスト３５０を見て、その中から接続先を選び半透明スクリーン１０に指でタッチすることで接続先を指定する。

拠点１の検出部３４−１は、操作者が半透明スクリーン１０をタッチしたことを検出し、その座標情報を制御部３１−１へ送信する。制御部３１−１は受信した座標情報を元に、接続先候補リスト３５０のなかから操作者が指定した接続先を決定する。制御部３１−１は決定した接続先の情報を参照し、ネットワークインターフェースを経由して、拠点２にある制御部３１−２に接続を要求する。

制御部３１−２が接続待ち受け状態にあった場合には、制御部３１−２が接続要求を受け、接続を確立した旨を制御部３１−１に応答する。制御部３１−１が接続を確立した旨の応答を検出できなかった場合には、一定時間待った後に制御部３１−２への接続を再要求する。制御部３１−１が一定回数の接続再要求を行ったにも関わらず、制御部３１−２からの応答を検出できなかった場合は、制御部３１−１は接続先候補リスト３５０を含む画面の投影処理に戻る。以上処理により制御部３１−１から制御部３１−２に対する通信が確立すると、データの送信が可能な状態になる。

また制御部３１−１は上記処理と並行して、制御部３１−２からの接続を待ち受ける処理も同時に実行している。このため拠点２にある端末でも、操作者が電源の投入操作、接続先の選択を行うことで制御部３１−２から制御部３１−１への接続処理が行われる。このとき制御部３１−１が接続待ち受け状態にあれば通信が確立し、制御部３１−２から制御部３１−１に対してデータの送信が可能な状態になる。以上により、拠点１と拠点２でコミュニケーションが可能な状態になる。

＜人物映像の投影処理＞
図４は、人物を撮影した人物映像を説明するための図である。図４（ａ）は、拠点１にある半透明スクリーン１０の前にリアル人物１２ａが立っている様子をリアル人物１２ａの後ろから見た図である。拠点１の撮影部３２−１は、図２で示すように半透明スクリーン１０を介して人物１２ａとは反対側から、半透明スクリーン１０の前に立つ操作者であるリアル人物１２ａを撮影して人物映像を取得する。撮影範囲は半透明スクリーンの大きさと同じである。撮影部３２−１はリアル人物１２ａから見て半透明スクリーンの奥に配置されているため、撮影される映像は図４（ｂ）のように、リアル人物１２ａを前から見た映像になる。撮影部３２−１はその人物映像をデータ化し制御部３１−１へ送信する。制御部３１−１は、受信した人物映像データを拠点２にある制御部３１−２に送信する。

拠点２の制御部３１−２は、拠点１から送信された人物映像データを受信する。前述の通り、この人物映像は、表示されるスクリーン２０上では鏡像となっている必要がある。本実施例では、図２に示すように、撮影部と投影部とはスクリーンを介して反対側に位置する構成となっている。従って、制御部３１−２は受信した人物映像を、図４（ｃ）にあるように、表示用にその鏡像を内部で作成し、投影部３３−２に投影指示を行う。投影部３３−２は、投影指示を受けて半透明スクリーン２０に対して人物映像を投影する。図１１（ｄ）は、拠点２の半透明スクリーン２０に鏡像の表示人物１２ｂが表示され、拠点２にいるリアル人物２２ａがそれを見ている様子を示している。

なお鏡像の作成は、制御部３１−２で行うのではなく、あらかじめ制御部３１−１で行ってから制御部３１−２に送信する構成にしてもよい。また、図２と異なり撮影部と投影部とがどちらもスクリーンの奥側に配置されるような構成であれば、鏡像を作成する処理は不要である。また、一方が図２に示すような構成であり、他方が例えば特許文献１のＦｉｇ．２、Ｆｉｇ．３に示すような構成である場合などでも必要に応じて鏡像の作成を行なえばよい。

以上処理を相互に行うことにより、拠点１で撮影された人物映像の鏡像が拠点２の半透明スクリーン２０に、拠点２で撮影された人物映像の鏡像が拠点１の半透明スクリーン１０に投影される。

なお、本実施例では説明の便宜上、他の拠点で撮影された映像のことを人物映像という表現で説明しているが、他の拠点の撮影部で撮影された映像であれば何でもよい。従って、人物に併せて背景部分も含まれていても良いし、必ずしも人物である必要もない。

また、ここでは実施例に関連する映像データのみを例に挙げて説明したが、音声データについても映像データと同様に他の拠点に送信される。音声データは、制御部に内蔵されているスピーカーや外部接続されたスピーカーなどを通じて出力される。

＜資料画像の投影処理＞
次に、資料画像の投影処理について図５を用いて説明する。例えば拠点１の操作者であるリアル人物１２ａからメニュー表示の指示を受けた検出部３４−１は、メニュー表示指示と、指示があった座標情報とを制御部３１−１に通知する。

制御部３１−１は通知されたメニュー表示指示を受けてメニュー画面を内部で作成し、投影部３３−１に、作成した画面を指示があった座標に対して投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーンに対してメニュー画面の投影を行う。投影した結果の例を図５（ａ）に示す。図５（ａ）に示すように、操作者がタッチした位置を左上の頂点座標として、メニュー画面の投影が行なわれている。

操作者であるリアル人物１２ａは半透明スクリーン１０に投影されたメニュー５１０を見て、その中から資料を表示するための項目を半透明スクリーンに指でタッチすることで指定する。

検出部３４−１は、操作者が半透明スクリーン１０をタッチしたことを検出し、その座標情報を制御部３１−１へ送信する。制御部３１−１は受信した座標情報と内部で生成したメニュー画面の情報とを比較して、メニュー画面の中から操作者が資料表示を指定したことを検出する。制御部３１−１はあらかじめ格納された資料を一覧表示するための資料一覧リストを含む画面を内部で作成し、投影部３３−１へ作成した画面を、メニュー表示指示があった座標（最初にタッチされた座標）に対して投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、図５（ｂ）に示すように半透明スクリーン１０に対して資料一覧５２０を含む画面の投影を行う。

操作者は半透明スクリーン１０に投影された資料一覧５２０を見て、その中から表示したい資料を選び半透明スクリーン１０を指でタッチすることで指定する。検出部３４−１は、操作者が半透明スクリーン１０をタッチしたことを検出し、その座標情報を制御部３１−１へ送信する。制御部３１−１は受信した座標情報と内部で生成した資料一覧を含む画面の情報とを比較して、資料一覧の中から操作者が指定した資料を特定する。制御部３１−１は特定された資料をハードディスクから読み出し、資料画像を内部で作成し、投影部３３−１に、作成した画面をメニュー表示指示があった座標に対して投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、図５（ｃ）に示すように、半透明スクリーンに対して資料画像の投影を行う。

制御部３１−１は、資料画像を拠点２の半透明スクリーン２０に表示するために、制御部３１−２にも同じ資料画像と座標情報とを送信し投影の依頼を行う。制御部３１−２は拠点１から送信された資料画像と座標情報とを受信する。制御部３１−２は、受信した座標情報と同じ座標に受信した資料画像を投影する。

制御部３１−２は、投影部３３−２に、受信した資料画像を受信した座標情報が示す座標に対して投影するよう投影指示を行う。投影部３３−２は投影指示を受けて、半透明スクリーン２０に対して資料画像の投影を行う。

以上により、拠点１で表示の開始を指示した資料画像が拠点１及び拠点２のスクリーン上でそれぞれ表示される。同様の操作、処理を拠点２で行うことで、拠点２で表示の開始を指示した資料画像が拠点１及び拠点２でそれぞれ表示されることが可能である。

なお、本実施例では、人物映像に重畳表示されるものを説明の便宜上、資料画像と呼んでいるが、人物映像と同様に、資料映像であってもよい。すなわち、静止画像ではなく動画像であってもよい。つまり、別の拠点で撮影した人物映像を鏡像で表示し、一方で、鏡像ではない画像または映像を、その人物映像に重畳表示するような形態であればどのようなものであってもよい。

＜資料画像の移動処理＞
次に、資料画像の移動処理について図を用いて説明する。図６は、資料画像の移動処理の前後の様子を示す図である。図６（ａ）は移動処理前後の、拠点１にいるリアル人物１２ａと半透明スクリーン１０を上から見た図である。また、図６（ａ）は、半透明スクリーン１０に表示されているコミュニケーション相手である表示人物２２ｂと資料画像１１ａとを仮想空間（斜線部分）に配置して上から見た様子も示している。図６（ａ）の表示人物２２ｂと資料画像１１ａは、移動処理前の位置に表示されている表示人物と資料画像とをそれぞれ示している。つまり移動処理前の状態においては、図６（ａ）は図１（ｃ）で示す図と同じ状態であるものとする。

図６（ｃ）は、移動処理前後の、拠点２にいるリアル人物２２ａと半透明スクリーン２０を上から見た図である。また、図６（ｃ）は、半透明スクリーン２０に表示されているコミュニケーション相手である表示人物１２ｂと資料画像２１ａとを仮想空間（斜線部分）に配置して上から見た様子も示している。図６（ｃ）の表示人物１２ｂと資料画像２１ａは、移動処理前の位置に表示されている表示人物と資料画像とをそれぞれ示している。つまり移動処理前の状態においては、図６（ｃ）は図１（ｄ）で示す図と同じ状態であるものとする。

拠点１にいるリアル人物１２ａが半透明スクリーン１０をタッチしたことを検出した検出部３４−１は、その座標情報を制御部３１−１に送信する。制御部３１−１は受信した座標情報と表示中の資料画像１１ａのスクリーン上の座標情報とを比較し、タッチ位置が資料画像の表示範囲に入っているかを判定する。制御部３１−１はタッチ位置が資料画像１１ａの表示範囲に入っていないと判定した場合には、以下の図７を参照して説明する処理は行わずに処理を終了する。

制御部３１−１は、タッチ位置が資料画像１１ａの表示範囲に入っていると判定した場合には、資料画像の移動処理を開始したと判定し以下の図７に示す繰り返し処理の実行を開始する。なお、この資料画像の移動処理の開始判定は、検出部３４−１により、リアル人物１２ａが長時間資料画像１１ａの位置に相当する座標を一定時間のあいだ触れ続けていることを条件にしてもよい。

図７は、表示されている資料画像の移動処理を示す図である。図７（ａ）は拠点１にある制御部３１−１が実行する処理であり、図７（ｂ）は拠点２にある制御部３１−２が実行する処理のフローチャートである。

制御部３１−１は、資料画像の移動処理を開始したと判定した場合、図７（ａ）に示すステップＳ７０１の処理を行なう。ステップＳ７０１において制御部３１−１は、資料画像が操作者によって移動された座標の差分を求める。半透明スクリーン１０のタッチを検出したまま座標情報が更新されたことを検出した検出部３４−１は、その更新された座標情報を制御部３１−１に送信する。制御部３１−１は更新前と更新後の座標情報を元にＸ座標とＹ座標の差分を算出する。なお、移動された座標情報は次のようにして検出部３４−１が検出することができる。すなわち、資料画像内の座標を例えば操作者が一定時間の間触れ続けていると、資料が選択状態となり、その後、移動先のスクリーン上の位置を操作者がタッチした位置を移動先の座標情報として検出できる。

次に、ステップＳ７０２において制御部３１−１は、表示している資料画像の移動を行なう。制御部３１−１はステップＳ７０１で算出したＸ座標とＹ座標の差分を元に、スクリーン１０に表示中の資料画像１１ａの表示位置を更新する。そして、投影部３３−１へ更新した座標に資料画像を投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーン１０に対して表示位置の座標が更新された資料画像の投影を行う。なお、表示位置を変更した資料画像を制御部３１−１が生成し、投影部３３−１は、単に制御部３１−１から投影指示を受けた画像を投影する構成でもよい。

ステップＳ７０２の処理による効果を図６（ａ）で表している。すなわち、図６（ａ）では、移動後の半透明スクリーン１０上では、資料１１ａの代わりに資料１１ｃが表示されていることを示している。なお、資料１１ａと資料１１ｃとは同じ資料画像であり、表示されている位置が異なっている。

次に、ステップＳ７０３において制御部３１−１は、半透明スクリーン１０に表示している表示人物２２ｂの移動を行う。制御部３１−１は、ステップＳ７０１で算出したＸ座標とＹ座標の差分を元に、表示人物２２ｂの表示座標を更新する。そして、投影部３３−１へ更新した座標に表示人物を投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーン１０に対して表示位置の座標が更新された表示人物の投影を行う。すなわち、表示人物２２ｂを含む人物映像を投影する位置を、更新された表示座標に基づいて変更する。

ステップＳ７０３の処理による効果を図６（ａ）でしている。すなわち、図６（ａ）では、移動後の半透明スクリーン１０上では、表示人物２２ｂの代わりに表示人物２２ｃが表示されていることを示している。なお、表示人物２２ｂと表示人物２２ｃとは同じ人物であり、表示されている位置が異なっている。

このように、本実施例の処理では、資料画像の表示位置を移動した拠点のスクリーンでは、資料画像の表示位置の移動と合わせて表示人物も資料画像と同じ方向、同じ移動量だけ移動する。なお、説明の便宜上、表示人物が移動するとして説明したが、実際には表示人物を含む人物映像そのものがスクリーン上で移動することになる。

この資料画像と人物映像の移動処理により、拠点１の半透明スクリーン１０に表示される内容は図６（ｂ）のようになる。図６（ｂ）の斜線部分は、人物映像を資料画像の右方向の移動に合わせて右方向に移動させたことにより半透明スクリーン１０の左側に表示可能な領域が新たに生じたものの、撮影部３２−２の撮影範囲を超えているため表示すべき映像が無い領域である。

ステップＳ７０４において制御部３１−１はステップＳ７０１で算出したＸ座標とＹ座標の差分を遠隔コミュニケーションを行なっている拠点２の制御部３１−２に送信する。

なお、ここでは、資料画像の移動の後の処理で人物映像の移動の処理を行なうような処理で説明しているが、これは説明の便宜上、切り分けて説明しているものに過ぎない。すなわち、ステップＳ７０２とＳ７０３とは並行して処理が行なわれてもよい。また、ステップＳ７０４に示す座標の差分の送信処理もステップＳ７０２及びステップＳ７０３と並行して行なってよい。

拠点２の制御部３１−２は、ステップＳ７５１において、拠点１の制御部３１−１からＸ座標とＹ座標の差分を受信する。

ステップＳ７５２において制御部３１−２は、受信したＸ座標とＹ座標の差分を用いて表示人物１２ｂの表示座標を更新して表示人物１２ｂを移動する。制御部３１−２は、受信したＸ座標とＹ座標の差分を元に、方向だけ逆に表示人物１２ｂの表示座標を更新する。具体的には、Ｘ座標及びＹ座標の差分値の符号を反転させて加算する。そして、制御部３１−２は、投影部３３−２へ更新した座標に表示人物を投影するよう投影指示を行う。投影部３３−２は投影指示を受けて、半透明スクリーンに対して表示位置の変更された人物映像の投影を行う。この処理による効果を図６（ｃ）で表している。すなわち、図６（ｃ）では、表示人物移動後の半透明スクリーン２０上では、資料２１ａはスクリーン上で移動していない。代わりに、表示人物１２ｂの代わりに表示人物１２ｃが表示されている。なお、表示人物１２ｂと表示人物１２ｃは同じ表示人物であり、表示されている位置が異なっている。

この人物映像の移動処理により、拠点２の半透明スクリーン２０に表示される内容は図６（ｄ）のようになる。図６（ｄ）の斜線部分は、人物映像を、拠点１での資料の移動方向である右方向とは逆の方向の左方向に移動させたことにより右側に表示可能な領域が新たに生じたものの、撮影部３２−１の撮影範囲を超えているため表示すべき映像が無い領域である。

このような処理の効果について補足する。まず、移動前の処理においては、拠点１のリアル人物１２ａは、スクリーン左手に表示される資料画像を見ている状態である。拠点２のリアル人物２２ａは、同じくスクリーン左手に表示されている資料画像を見ている状態である。つまり、どちらもスクリーン左手に表示されている資料画像を左手で指し示す場合には、あたかも鏡のように互いに同じ位置の資料画像を表示しているような表示人物がそれぞれの拠点のスクリーン上に表示されていることになる。

ここで、拠点１のリアル人物１２ａが資料画像をスクリーン右手に移動させたことに伴い、図６（ａ）や図６（ｂ）に示すような移動がなされたとする。この状況下において、拠点１のリアル人物１２ａは、今度は右手でスクリーン右側に表示されている資料画像を指し示したとする。図８（ａ）及び（ｂ）は、このときの拠点の様子を仮想空間を含めて上から見た図である。注目すべきは、半透明スクリーン１０と半透明スクリーン２０とで資料画像の表示位置が異なっている点である。これは拠点１で資料画像１１ａを資料画像１１ｃに変更したのに対して、拠点２で表示されているのは資料画像２１ａのままであるからである。しかしながら、人物映像と資料画像との重畳表示に矛盾が生じていないことがわかる。つまり、それぞれの拠点のリアル人物は、それぞれの半透明スクリーン上で同じ位置を指し示したまま状態を保っている。その一方で、拠点２のリアル人物２２ａは資料画像を元々表示されていた位置、すなわち、スクリーンの左手に位置させた状態を維持することができている。

このように、資料画像の移動に合わせて、一方の拠点では資料画像と人物映像の両方を移動させ、他方の拠点では人物映像を逆方向に移動させることで、矛盾のない重畳表示を行いつつ、任意の位置に資料画像の表示位置を変更することが実現できる。

操作者が半透明スクリーンのタッチをやめたことを検出した検出部３４−１は、手が離れたことを制御部３１−１に通知する。通知を受けた制御部３１−１は、資料画像の移動処理が終了したと判定し、制御部３１−２へ通知する。制御部３１−１は以上の繰り返し処理の実行を終了する。

以上により、拠点１での資料画像移動の指示に対して、拠点１では資料画像と人物映像が同じ方向かつ同じ距離だけ移動するよう表示され、拠点２では表示されている人物映像のみ逆方向かつ同じ距離だけ移動するよう表示される。その結果、各拠点で自由な位置に電子文書を表示しつつ、矛盾のない重畳表示を行うことが可能になる。

なお、上記の例では、資料画像の移動量としてＸ座標とＹ座標の差分を元に各拠点の人物映像または資料画像の移動量を決定する例を説明した。しかしながら、例えばＸ座標の差分のみに基づいて移動量を決定してもよい。例えば、上下方向に資料を動かした場合に上下方向に表示人物が同様に上下方向に移動するのは不自然な映像になる場合がある。その一方で、資料を上下方向に動かしたにも関わらず表示人物が移動しないと矛盾した重畳表示にある恐れもある。そこで、例えば所定の閾値を設けてＹ座標の差分が閾値よりも少ない場合には、Ｙ座標の差分を考慮せずにＸ座標の差分のみを用いて移動量を決定するような処理を行なってもよい。

［実施例２］
実施例１では、各拠点で任意の位置に操作者が資料画像を表示しつつ、矛盾のない重畳表示を行うことが可能な例を説明した。一方で、ユーザーによっては他拠点での資料画像の表示位置の変更に伴い、自拠点の資料画像の表示位置が変更になってもよい、あるいは、むしろ変更した方がよいという場合もある。そこで、実施例２では、資料画像の移動指示を行った時の動作を選択するメニューを設け、資料画像移動時の動作モードの切り替え可能にした場合を説明する。

各拠点のコミュニケーションシステムの構成、電源投入からコミュニケーションの開始までの処理、人物映像の投影処理、資料画像の投影処理については実施例１記載と同様であるため説明を省略する。

＜資料画像移動モードの切替え処理＞
本実施例において資料画像の移動モードとして「個別移動モード」と「連動移動モード
」との２つのモードを持つものとする。「個別移動モード」とは実施例１で説明したように、資料画像の表示位置が操作者の移動指示によって各拠点で連動せず、それぞれで任意の位置に移動可能なモードである。「連動移動モード」とは資料画像の表示位置が一方の操作者の移動指示によって各拠点で資料画像の表示位置が連動するモードである。すなわち、各拠点のスクリーン座標上での表示位置が連動するモードであり、例えば図１（ｇ）のような動作を行なうモードである。

本実施例において操作者からメニュー表示の指示を受けた検出部３４−１は、メニュー表示指示と指示があった座標情報とを制御部３１−１に通知する。制御部３１−１はメニュー表示指示を受けてメニュー画面を内部で作成し、投影部３３−１へ作成した画面を指示があった座標に対して投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーンに対してメニュー画面の投影を行う。

操作者は半透明スクリーンに投影されたメニュー画面を見て、その中から資料画像移動モードの切替えを選び半透明スクリーンに指でタッチすることで指定する。例えば図５（ａ）に示すメニュー画面のうち、「動作モード切り替え」の表示領域を指でタッチすることで指定する。検出部３４−１は、操作者が半透明スクリーンをタッチしたことを検出し、その座標情報を制御部３１−１へ送信する。制御部３１−１は受信した座標情報を元に、メニュー画面の中から操作者が資料画像の動作モードの切り替えを指定したことを検出する。制御部３１−１は前述の「個別移動モード」か「連動移動モード」かを操作者が選択するための画面を内部で作成し、投影部３３−１へ作成した画面を、メニュー表示指示のタッチがあった座標に対して投影するよう投影指示を行う。

その後、操作者は半透明スクリーンに投影されたメニュー画面を見て、「個別移動モード」か「連動移動モード」かを半透明スクリーンに指でタッチすることで指定する。検出部３４−１は、操作者が半透明スクリーンをタッチしたことを検出し、その座標情報を制御部３１−１へ送信する。制御部３１−１は受信した座標情報を元に、メニュー画面の中から操作者が指定した資料画像の移動モードを検出する。制御部３１−１は検出した資料画像移動モードを保持しておく。この資料画像移動モードの値は、メニューで指定されるたびに個別移動モードを表す値と連動移動モードを表す値がトグルで切り替わるよう動作する。

なお、ここではメニュー画面は、資料表示の場合も動作モードの切り替えの場合も同じ操作（タッチ操作）によって表示される例を説明したが、これに限られるものではない。資料表示のメニューと動作モードの切り替えのメニューとが別の動作によって表示される形態でもよい。

＜資料画像の移動処理＞
資料画像の移動処理について図を用いて説明する。図９は拠点１にある制御部３１−１が実行する処理である。実施例１で説明したように、拠点１の制御部３１−１は、検出部３４−１による操作者のタッチ位置の座標情報と表示している資料画像の座標情報とに基づいて資料画像の移動処理が開始したかを判定し、移動処理が開始したと判定した場合、図９の処理に進む。

ステップＳ９０１において制御部３１−１は、資料画像の移動モードの判定を行う。制御部３１−１は、操作者によってメニュー画面を介して設定されている移動モードの設定値を参照して現在の動作モードを判定する。制御部３１−１は資料画像の移動モードが「個別移動モード」であると判定した場合には、ステップＳ９０２に進む。移動モードが拠点ごとに異なってしまうと重畳表示に矛盾が生じてしまう。そこで、ステップＳ９０２では制御部３１−１は、拠点２の制御部３１−２に現在の資料画像の移動モードが「個別移動モード」であることを示す情報を通知する。ステップＳ９０３では、実施例１で説明したものと同様の処理を行う。すなわち、資料画像の移動処理と人物映像の移動処理とを、資料画像の移動をした拠点か、資料画像の移動がされた拠点かに応じて行なう。

一方、制御部３１−１は資料画像の移動モードが「連動移動モード」であると判定した場合に、ステップＳ９０４に進む。ステップＳ９０４で制御部３１−１は、拠点２の制御部３１−２に現在の資料画像の移動モードが「連動移動モード」であることを通知する。ステップＳ９０５において制御部３１−１は資料画像の移動処理を行なう。ステップＳ９０３の処理の詳細を図１０を用いて説明する。

図１０は、実施例２における連動移動モード時の処理のフローを示す図である。図１０（ａ）は拠点１にある制御部３１−１が実行する処理、図１０（ｂ）は拠点２にある制御部３１−２が実行する処理のフローチャートである。

ステップＳ１００１において制御部３１−１は資料画像の連動移動を開始したことを、制御部３１−２に通知する。制御部３１−２は資料画像の移動処理の開始通知を受けて、資料画像移動処理を開始する。

以下、ステップＳ１００２、Ｓ１００３、Ｓ１００４の処理は、実施例１で説明したステップＳ７０１、Ｓ７０２、Ｓ７０４の処理とそれぞれ同じであるので説明を省略する。なお、実施例１のステップＳ７０３で説明した人物映像の移動処理は図１０には含まれない。

拠点２においては、ステップＳ１０５１制御部３１−２は、拠点１の制御部３１−１からＸ座標とＹ座標の差分を受信する。

ステップＳ１０５２において制御部３１−２は資料画像の移動モードの判定を行う。ここでは、図９のステップＳ９０２またはステップＳ９０４で拠点１の制御部３１−１から通知された移動モードに基づいて判定が行なわれる。図１０では、連動移動モードの場合を例に挙げているので、制御部３１−２は、ステップＳ１０５３に処理を進める。なお、個別移動モードであると判定した場合には、ステップＳ１０５４に処理を進める。ステップＳ１０５４の処理は実施例１で説明したステップＳ７５２と同様の処理である。

ステップＳ１０５３において制御部３１−２は、受信したＸ座標とＹ座標の差分を元に、資料画像の表示座標を更新する。具体的には、現在の資料画像の表示座標に、Ｘ座標とＹ座標の差分値を加算すればよい。すなわち、拠点１の半透明スクリーン１０上での資料画像の表示座標と同じ表示座標に拠点２の資料画像の表示位置を更新する。なお、ここではＸ座標とＹ座標の差分を用いる例を説明したが、移動後のＸ座標、Ｙ座標そのものの座標情報を用いても良い。そして、制御部３１−２は、投影部３３−２へ更新した座標に対して資料画像を投影するよう投影指示を行う。投影部３３−２は投影指示を受けて、半透明スクリーンに対して資料画像の投影を行う。

以上のように、ステップＳ１００３とステップＳ１０５３による資料画像の移動の様子は、前述のように図１の（ｅ）及び（ｇ）に示すとおりである。

その後、ステップＳ１００５において操作者が半透明スクリーンのタッチをやめたことを検出した検出部３４−１は、手が離れたことを制御部３１−１に通知する。通知を受けた制御部３１−１は、資料画像の移動処理が終了したと判定し、制御部３１−２へ通知する。通知を受けた制御部３１−２は、移動対象になる資料画像の特定を破棄する。制御部３１−１は繰り返し処理の実行を終了する。

以上により、資料画像の移動モードをユーザーが任意に切り替えることができるので、利用形態に適した移動モードを実現することができる。

［実施例３］
実施例１及び実施例２では資料画像の移動指示として、資料画像の表示サイズはそのままで表示位置（表示座標）を変更する例を説明した。しかしながら、資料画像の移動指示としては、資料画像の表示サイズを変更する処理、すなわち、資料画像の拡大縮小処理も考えられる。本実施例では資料画像の拡大縮小指示があった場合の処理について述べる。

端末の機器構成、システム構成、電源投入からコミュニケーションの開始までの処理、人物映像の投影処理、資料画像の投影処理については実施例１もしくは実施例２記載と同様であるため説明を省略する。

＜拡大縮小表示＞
操作者が半透明スクリーンを２点でタッチしたことを検出した検出部３４−１は、その座標情報を制御部３１−１に送信する。制御部３１−１は受信した座標情報と表示中の資料画像の座標情報を比較し、２点とも資料画像の表示範囲に入っているかを判定する。制御部３１−１は資料画像の表示範囲に入っていないと判定した場合には、以下の処理は行わずに処理を終了する。この資料画像の拡大縮小処理の開始判定は、検出部３４−１により、操作者１が長時間資料画像の表示位置に相当する２点の座標を一定時間のあいだ触れ続けていることを条件にしてもよい。

図１１は、実施例３における資料拡大（または縮小）時の処理のフローを示す図である。図１１（ａ）は拠点１にある制御部３１−１が実行する処理、図１１（ｂ）は拠点２にある制御部３１−２が実行する処理のフローチャートである。

ステップＳ１１０１において、半透明スクリーン１０が２点でタッチされたまま座標情報が更新されたことを検出した検出部３４−１は、その更新された座標情報を制御部３１−１に送信する。制御部３１−１は更新前と更新後の２点の座標情報を元に拡大縮小量を算出する。

ステップＳ１１０２において制御部３１−１は、算出した拡大縮小量を元に、表示中の資料画像の中心座標を起点にして資料画像の表示サイズを更新し、投影部３３−１へ更新した表示サイズで資料画像を投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーンに対して資料画像の投影を行う。この処理に因る効果を図で示すと、図１（ａ）にある資料画像１１ａが図１２（ａ）の資料画像１１ｄのように拡大表示される。

ステップＳ１１０３において制御部３１−１は資料画像を拡大縮小させた量と同じだけ、資料画像の中心座標を起点にして表示中の人物映像の表示サイズを更新し、投影部３３−１へ更新した表示サイズで人物映像を投影するよう投影指示を行う。投影部３３−１は投影指示を受けて、半透明スクリーンに対して人物映像の投影を行う。この処理に因る効果を図で示すと、図１（ａ）にある表示人物２２ｂが図１２（ａ）の表示人物２２ｃに示すように拡大表示される。

ステップＳ１１０４において制御部３１−１は算出した拡大縮小量を拠点２の制御部３１−２に送信する。

ステップＳ１１５１において、拠点２の制御部３１−２は、拠点１の制御部３１−１から拡大縮小量を受信する。制御部３１−２は、制御部３１−１が資料画像を拡大縮小させた量の逆数を用いて、資料画像の中心座標を起点にして人物映像の表示サイズを更新し、投影部３３−２へ更新した表示サイズで人物映像を投影するよう投影指示を行う。投影部３３−２は投影指示を受けて、半透明スクリーンに対して人物映像の投影を行う。この処理に因る効果を図で示すと、図１（ｂ）にある表示人物１２ｂが図１２（ｂ）の表示人物１２ｃにあるように縮小表示される。図１２（ｂ）の斜線部分は、人物映像を縮小表示させたことにより外周部分に表示可能な領域が新たに生じたものの、撮影部３２−２の撮影範囲を超えているため表示すべき映像が無い領域である。なお、図１２（ｂ）において表示されている資料画像２１ａの表示座標とサイズは図１（ｂ）から変更されていない。

操作者が半透明スクリーンの２点でのタッチをやめたことを検出した検出部３４−１は、手が離れたことを制御部３１−１に通知する。通知を受けた制御部３１−１は、資料画像の拡大縮小処理が終了したと判定し、制御部３１−２へ通知する。制御部３１−１は以上の繰り返し処理の実行を終了する。

＜資料画像の移動処理＞
本実施例において資料画像の移動処理を指示された場合には、実施例１で説明した資料画像の移動処理を行う時に、その移動量を拡大縮小率を乗じた量に変更して移動処理を行うことで矛盾のない重畳表示が可能になる。

以上により、拠点１での資料画像の拡大縮小の指示に対して、拠点１では資料画像と人物映像とが同じだけ拡大縮小が行われたよう表示される。また拠点１で資料画像を拡大表示させた場合は拠点２では人物映像だけが縮小表示される。逆に、拠点１で資料画像を縮小表示させた場合は拠点２では人物映像だけが拡大表示される。

その結果、各拠点で自由なサイズで電子文書の資料画像を表示しつつ、矛盾のない重畳表示を行うことが可能になる。

＜その他の実施例＞
実施例３記載の拡大縮小表示処理についても、実施例２記載の資料画像移動のモード切り替え処理と同様の処理を付加することにより、実施例３記載の効果に加えて拠点１と拠点２で表示されている資料画像のサイズが連動して変更されることが可能になる。

なお、上記の各実施例では、資料画像の移動処理（拡大縮小も含む）を行なった拠点１から別の拠点である拠点２に対して資料画像の移動の方向と移動量とが伝達される例を説明した。そして、これを受けて拠点２では、資料画像の移動の方向とは逆方向に人物映像をその移動量だけ移動させる処理を行なう例を説明した。しかしながらこのような処理に限られるものではない。例えば拠点１から拠点２に対して送られる情報は資料画像の移動の方向と移動量でなくてもよい。すなわち、個別移動モードである場合には、拠点１の制御部３１−１は、拠点２で行なうべき処理は、資料画像の移動ではなく、人物映像の移動処理であると判定することができる。そして、拠点１の制御部３１−１は、その判定結果に基づいて、拠点２の制御部３１−２に対して人物映像の移動指示と、その移動方向及び移動量とを伝達する処理を行なってもよい。つまり、拠点１の制御部３１−１は、自拠点の資料画像の移動に関する情報を拠点２に伝達する処理ではなく、他拠点の人物映像の移動に関する情報を拠点２に伝達するような処理を行なってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (13)

1. 他の拠点の鏡像の映像と、資料画像とを重畳して表示手段に投影する投影手段と、
   ユーザーの指示を検出する検出手段と、
   前記表示手段の表示面と対向する位置にいる前記ユーザーを撮影する撮影手段と
   を有するコミュニケーションシステムであって、
   前記表示手段に投影されている前記資料画像の表示位置を移動する指示を前記検出手段が検出した場合、前記資料画像の移動する方向及び移動量を取得する取得手段と、
   前記取得手段で取得した方向に、前記投影手段で投影している映像と資料画像とを前記取得手段で取得した移動量に相当する量だけ移動させる制御手段と、
   前記取得手段で取得した前記移動する方向及び移動量を前記他の拠点に送信する送信手段と
   を有することを特徴とするコミュニケーションシステム。
2. 前記取得手段は、資料画像の表示位置を個別に設定する第１のモードか、資料画像の表示位置の移動に伴い、前記他の拠点で資料画像を連動して移動させる第２のモードかを示す情報をさらに取得し、
   前記制御手段は、前記取得手段で取得した情報が第１のモードを示す場合、前記取得手段で取得した方向に、前記投影手段で投影している映像と資料画像とを前記取得手段で取得した移動量に相当する量だけ移動させることを特徴とする請求項１に記載のコミュニケーションシステム。
3. 前記取得手段は、資料画像の表示位置を個別に設定する第１のモードか、資料画像の表示位置の移動に伴い、前記他の拠点で資料画像を連動して移動させる第２のモードかを示す情報をさらに取得し、
   前記制御手段は、前記取得手段で取得した情報が第２のモードを示す場合、前記取得手段で取得した方向に、前記投影手段で投影している資料画像を、前記取得手段で取得した移動量に相当する量だけ移動させることを特徴とする請求項１に記載のコミュニケーションシステム。
4. 他の拠点の鏡像の映像と、資料画像とを重畳して表示手段に投影する投影手段と、
   ユーザーの指示を検出する検出手段と、
   前記表示手段の表示面と対向する位置にいる前記ユーザーを撮影する撮影手段と
   を有するコミュニケーションシステムであって、
   前記他の拠点から、資料画像の表示位置を移動する方向及び移動量を受信する受信手段と、
   前記投影手段で投影している映像を、前記受信手段で取得した方向とは逆の方向に、前記受信手段で受信した移動量に相当する量だけ移動させる制御手段と
   を有することを特徴とするコミュニケーションシステム。
5. 前記受信手段は、資料画像の表示位置を個別に設定する第１のモードか、資料画像の表示位置の移動に伴い、前記他の拠点で資料画像を連動して移動させる第２のモードかを示す情報をさらに受信し、
   前記制御手段は、前記受信手段で受信した情報が第１のモードを示す場合、前記投影手段で投影している映像を、前記受信手段で受信した方向とは逆の方向に、前記受信手段で取得した移動量に相当する量だけ移動させることを特徴とする請求項４に記載のコミュニケーションシステム。
6. 前記受信手段は、資料画像の表示位置を個別に設定する第１のモードか、資料画像の表示位置の移動に伴い、前記他の拠点で資料画像を連動して移動させる第２のモードかを示す情報をさらに受信し、
   前記制御手段は、前記受信手段で受信した情報が第２のモードを示す場合、前記投影手段で投影している資料画像を、前記受信手段で受信した方向と同じ方向に、前記受信手段で取得した移動量に相当する量だけ移動させることを特徴とする請求項４に記載のコミュニケーションシステム。
7. 前記移動は、前記表示手段で表示される前記資料画像または前記映像の表示座標を変更することを含むことを特徴とする請求項１から６のいずれか一項に記載のコミュニケーションシステム。
8. 前記移動は、前記表示手段で表示される前記資料画像または前記映像の表示サイズを変更することを含むことを特徴とする請求項１から７のいずれか一項に記載のコミュニケーションシステム。
9. 前記表示手段は半透明スクリーンであり、
   前記撮影手段は、前記半透明スクリーンの前記ユーザーと対向しない背面側から前記半透明スクリーンを介して前記ユーザーを撮影することを特徴とする請求項１から８のいずれか一項に記載のコミュニケーションシステム。
10. 第２の拠点の鏡像の映像と、資料画像とを重畳して第１の表示手段に投影する第１の投影手段と、ユーザーの指示を検出する第１の検出手段と、前記第１の表示手段の表示面と対向する位置にいる前記ユーザーを撮影する第１の撮影手段とを有する第１の拠点のシステムと、
    第１の拠点の鏡像の映像と、資料画像とを重畳して第２の表示手段に投影する第２の投影手段と、ユーザーの指示を検出する第２の検出手段と、前記第２の表示手段の表示面と対向する位置にいる前記ユーザーを撮影する第２の撮影手段とを有する第２の拠点のシステムとを有するコミュニケーションシステムであって、
    第１の拠点のシステムは、
    前記第１の表示手段に投影されている前記資料画像の表示位置を移動する指示を前記第１の検出手段が検出した場合、前記資料画像の移動する方向及び移動量を取得する取得手段と、
    前記取得手段で取得した方向に、前記第１の投影手段で投影している映像と資料画像とを前記取得手段で取得した移動量に相当する量だけ移動させる第１の制御手段と、
    前記第２の投影手段で投影される前記第１の拠点の鏡像の映像を前記取得手段で取得した方向とは逆の方向に前記取得手段で取得した移動量に相当する量だけ移動させる指示を送信する第１の送信手段と
    を有し、
    前記第２の拠点のシステムは、
    前記１の拠点の前記第１の送信手段から送信される前記指示を受信する受信手段と、
    前記受信手段で受信した指示に基づいて前記第２の投影手段で投影している映像を移動させる第２の制御手段と
    を有することを特徴とするコミュニケーションシステム。
11. 他の拠点の鏡像の映像と、資料画像とを重畳して表示手段に投影する投影手段と、
    ユーザーの指示を検出する検出手段と、
    前記表示手段の表示面と対向する位置にいる前記ユーザーを撮影する撮影手段と
    を有するシステムを用いた制御方法であって、
    前記表示手段に投影されている前記資料画像の表示位置を移動する指示を前記検出手段が検出した場合、前記資料画像の移動する方向及び移動量を取得する取得ステップと、
    前記取得ステップで取得した方向に、前記投影手段で投影している映像と資料画像とを前記取得ステップで取得した移動量に相当する量だけ移動させる移動ステップと、
    前記取得ステップで取得した前記移動する方向及び移動量を前記他の拠点に送信する送信ステップと
    を有することを特徴とする制御方法。
12. 他の拠点の鏡像の映像と、資料画像とを重畳して表示手段に投影する投影手段と、
    ユーザーの指示を検出する検出手段と、
    前記表示手段の表示面と対向する位置にいる前記ユーザーを撮影する撮影手段と
    を有するシステムを用いた制御方法であって、
    前記他の拠点から、資料画像の表示位置を移動する方向及び移動量を受信する受信ステップと、
    前記投影手段で投影している映像を、前記受信ステップで取得した方向とは逆の方向に、前記受信ステップで受信した移動量に相当する量だけ移動させる移動ステップと
    を有することを特徴とする制御方法。
13. コンピュータを、請求項１から８のいずれか一項に記載のコミュニケーションシステムの各手段として機能させるためプログラム。

Images