以下に添付図面を参照して、情報処理装置、表示制御システムおよびプログラムの実施の形態を詳細に説明する。
(第1の実施の形態)
図1は、第1の実施の形態にかかる表示制御システムの構成を示す図である。本実施の形態にかかる表示制御システム1は、例えばテレビ会議システムなどのコミュニケーションシステムであり、異なる場所(本実施の形態では、第1拠点および第2拠点)に設置された表示装置H(本実施の形態では、主表示装置H1および副表示装置H2)の表示画面G(本実施の形態では、主表示画面G1および副表示画面G2)に表示された画像を見ながら、場所間において会議への参加者Uが行うコミュニケーションに用いられるシステムである。本実施の形態では、表示制御システム1をテレビ会議システムに適用した例について説明するが、場所間における教師と生徒間のコミュニケーションに用いられる教育システムにも適用可能である。
表示制御システム1は、図1に示すように、それぞれ異なる拠点に設置された複数の情報処理装置2(本実施の形態では、第1拠点に設置された情報処理装置2Aおよび第2拠点に設置された情報処理装置2B)を備え、当該複数の情報処理装置2はネットワークN(図4参照)を介して相互に通信可能に接続されている。情報処理装置2は、例えば、遠隔会議端末などのコミュニケーション端末である。
第1拠点に設置された情報処理装置2Aは、共通画像P1(例えば、会議の資料等の画像)と、第2拠点に設置され共通画像P1を表示可能な表示装置Hの表示画面G側から当該表示画面Gの前方を撮像部Sにより撮像して得られた撮像画像P2(第2画像の一例)と、を第1拠点に設置された表示装置Hの表示画面Gに表示させる。本実施の形態では、各拠点の撮像部Sは、各拠点の参加者Uを当該参加者Uの正面から撮像するように設置されている。ここで、共通画像P1は、第1拠点の表示装置Hおよび第2拠点の表示装置Hに共通に表示される第1画像の一例である。本実施の形態では、共通画像P1は、会議の資料等を撮像して得られた資料画像や各拠点の情報処理装置2に記憶された共通画像などである。
図1においては、第1拠点に設置された情報処理装置2Aは、第1拠点の参加者Uから見て(言い換えると、第1拠点に設置された表示装置Hの表示画面Gに向かって)、左側(主表示装置H1の主表示画面G1)に共通画像P1を表示させ、右側(副表示装置H2の副表示画面G2)に撮像画像P2を表示させている。すなわち、第1拠点に設置された情報処理装置2Aは、第1拠点に設置された表示装置H(表示画面G)に向かって、共通画像P1および撮像画像P2を左右方向に並べて表示させる。
第2拠点に設置された情報処理装置2Bは、共通画像P1と、第1拠点に設置され共通画像P1を表示可能な表示装置Hの表示画面G側から当該表示画面Gの前方を撮像部Sにより撮像して得られた撮像画像P3(第2画像の一例)と、を第2拠点に設置された表示装置Hの表示画面Gに表示させる。
図1においては、第2拠点に設置された情報処理装置2Bは、第2拠点の参加者Uから見て(言い換えると、第2拠点に設置された表示装置Hの表示画面Gに向かって)、左側(主表示装置H1の主表示画面G1)に撮像画像P3を表示させ、右側(副表示装置H2の副表示画面G2)に共通画像P1を表示させている。すなわち、第2拠点に設置された情報処理装置2Bは、第2拠点に設置された表示装置H(表示画面G)に向かって、共通画像P1および撮像画像P3を左右方向に並べて表示させる。
そして、第1拠点に設置された情報処理装置2Aは、第1拠点に設置された表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置に関する位置情報を、第2拠点に設置された情報処理装置2Bに送信する。また、第1拠点に設置された情報処理装置2Aは、第2拠点に設置された表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置に関する位置情報を、第2拠点に設置された情報処理装置2Bから受信する。
一方、第2拠点に設置された情報処理装置2Bは、第2拠点に設置された表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置に関する位置情報を、第1拠点に設置された情報処理装置2Aに送信する。また、第2拠点に設置された情報処理装置2Bは、第1拠点に設置された表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置に関する位置情報を、第1拠点に設置された情報処理装置2Aから受信する。
ここで、第1拠点に設置された情報処理装置2Aと第2拠点に設置された情報処理装置2Bとの間で送受信される位置情報の一例について説明する。本実施の形態では、位置情報は、表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置を示す情報である。具体的には、位置情報は、表示装置Hの表示画面Gに向かって、共通画像P1の表示位置が、「撮像部の左」、「撮像部の右」および「いずれでもない」のいずれかを示す情報である。
「撮像部の左」とは、表示装置Hの表示画面Gに向かって撮像部Sが有するレンズL(図2参照)の光軸の左側に共通画像P1の表示位置が存在することを示している。一方、「撮像部の右」とは、表示装置Hの表示画面Gに向かって撮像部Sが有するレンズL(図2参照)の光軸の右側に共通画像P1の表示位置が存在することを示している。例えば、図1に示す第1拠点に設置された情報処理装置2Aは、表示装置Hの表示画面Gに向かって撮像部Sの左側に共通画像P1の表示位置が存在するため、「撮像部の左」を位置情報として、第2拠点に設置された情報処理装置2Bに送信する。
「いずれでもない」とは、表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の表示位置が特定できない状態を表している。例えば、「いずれでもない」とは、表示装置Hの表示画面Gに何も表示されていない状態、表示装置Hの表示画面Gにおいて共通画像P1と撮像画像P2(または撮像画像P3)が上下方向に並んで表示されている状態などである。
図2は、第1の実施の形態にかかる情報処理装置における共通画像および撮像画像それぞれの左右方向の表示位置を説明するための図である。図2(a)は、第1拠点に設置された情報処理装置2Aを、当該情報処理装置2Aの上方から見た図である。図2(b)は、第2拠点に設置された主表示装置H1の主表示画面G1および副表示装置H2の副表示画面G2に対する共通画像P1および撮像画像P3それぞれの表示位置を説明するための図である。
例えば、図2(a)に示すように、第1拠点に設置された表示装置Hの表示画面Gに向かって、撮像部Sが有するレンズLの光軸を基準として、レンズLの光軸の左側に設置された主表示装置H1の主表示画面G1に共通画像P1を表示させた場合、第1拠点に設置された情報処理装置2Aは、「撮像部の左」を示す位置情報を第2拠点に設置された情報処理装置2Bに対して送信する。この場合、参加者Uの視線は、第1拠点に設置された表示装置Hの表示画面Gに向かって、レンズLの光軸の左側に向けられるため、第1拠点に設置された撮像部Sの撮像により得られる撮像画像P3(第2拠点に設置された表示装置Hに表示される撮像画像P3)に含まれる参加者Uの視線は、図2(b)に示すように、右方向に向けられる。
したがって、第2拠点に設置された情報処理装置2Bは、図2(b)に示すように、撮像画像P3に含まれる参加者Uの視線が向けられる方向(撮像画像P3に向かって右方向)に、共通画像P1を表示させることにより、撮像画像P3に含まれる参加者Uの視線が向く方向と、共通画像P1の表示位置を一致させることができるので、共通画像P1を用いてコミュニケーションを行う際、撮像画像P3内の参加者Uの視線が不自然になることを防止できる。
そこで、本実施の形態では、第2拠点に設置された情報処理装置2Bは、第1拠点に設置された情報処理装置2Aから、「撮像部の左」を示す位置情報を受信した場合には、第2拠点に設置された表示装置Hの表示画面Gに向かって、撮像画像P3の表示位置の右側(本実施の形態では、副表示装置H2の副表示画面G2)に共通画像P1を表示させる。
すなわち、本実施の形態では、第2拠点に設置された情報処理装置2Bは、第2拠点に設置された表示装置H(第2表示装置の一例)に向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置が、第1拠点に設置された表示装置H(第1表示装置の一例)の表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置の反対になるように、共通画像P1および撮像画像P3を第2拠点に設置された表示装置Hに表示させる。
本実施の形態では、各拠点に設置された複数の表示装置それぞれと、当該複数の表示装置への共通画像P1および撮像画像P2(または撮像画像P3)の表示を制御する制御部20(図3参照)と、を接続するケーブル(図示しない)に「右」または「左」の表示がなされている。そして、各拠点の参加者Uは、「左」の表示がなされたケーブルを、表示装置Hの表示画面Gに向かって左側の表示装置に接続し、「右」の表示がなされたケーブルを、表示装置Hの表示画面Gに向かって右側の表示装置に接続する。これにより、各拠点に設置された複数の表示装置のうち、表示画面Gに向かって左側の表示装置が主表示装置H1として機能し、表示画面Gに向かって右側の表示装置が副表示装置H2として機能する。
本実施の形態では、各拠点に設置された複数の表示装置の複数の表示画面の大きさおよび形状が同様となっているが、これに限定するものではなく、当該複数の表示画面の大きさおよび形状は表示画面間において異なっていても良い。
図3は、第1の実施の形態にかかる情報処理装置のハードウェア構成を示すブロック図である。以下の説明では、第2拠点に設置された情報処理装置2Bのハードウェア構成について説明するが、第1拠点に設置された情報処理装置2Aも同様のハードウェア構成を有する。第2拠点に設置された情報処理装置2Bは、一般的なコンピュータを利用したハードウェア構成となっており、制御部20と、通信部21と、I/O機器制御部22とがバスBによって接続されて構成されている。なお、制御部20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される。
また、制御部20には、バスBおよびI/O機器制御部22を介して、記憶部23、操作部24、主表示装置H1、副表示装置H2、撮像部S、マイク部28およびスピーカ部29などが接続されている。
制御部20は、CPUがROMや記憶部23などに格納されるプログラムをRAMに展開して実行することにより、I/O機器制御部22を介して接続される各種構成要素の動作を制御するとともに、通信部21およびネットワークN(図4参照)を介して接続される、第1拠点に設置された情報処理装置2Aとの間で各種データの送受信動作を制御する。
通信部21は、ネットワークN(図4参照)を介して第1拠点に設置された情報処理装置2Aとの間で、撮像画像P2、撮像画像P3、音声、位置情報などの各種データを送受信する。
記憶部23は、制御部20のCPUが実行するプログラムやデータを記憶する。また、記憶部23は、会議で使用する資料の共通画像P1などの各種情報を主表示装置H1または副表示装置H2に表示させるためのコンテンツを記憶する。例えば、上記コンテンツとしては、異なる拠点に設置させる複数の情報処理装置2間で共通に使用され、主表示装置H1や副表示装置H2に表示される資料などの共通画像P1を表示させるためのコンテンツなどが挙げられる。なお、記憶部23は、例えば、ハードディスク装置(HDD:Hard Disk Drive)やSSD(Solid State Drive)装置などで実現される。
操作部24は、第2拠点に設置された情報処理装置2Bを使用する参加者Uの各種操作を受け付ける。なお、操作部24は、例えば、キーボード、マウス、タッチパネルなどで実現される。
主表示装置H1および副表示装置H2は、撮像画像P2および共通画像P1などの電子会議に係る各種情報を表示可能である。具体的には、主表示装置H1および副表示装置H2は、共通画像P1と、第1拠点に設置された情報処理装置2Aが有する撮像部Sで撮影された撮像画像P3(特に、第1拠点に居る参加者Uを撮像して得られた画像など)と、を表示可能である。なお、主表示装置H1および副表示装置H2は、例えば、液晶ディスプレイなどで実現される。
なお、本実施の形態では、図1に示すように、情報処理装置2の正面に位置する参加者Uから見て(言い換えると、表示装置Hの表示画面Gに向かって)左側に主表示装置H1が配置され、情報処理装置2の正面に位置する参加者Uから見て(言い換えると、表示装置Hの表示画面Gに向かって)右側に副表示装置H2が配置される。
撮像部Sは、表示装置Hの表示画面G側から当該表示画面Gの前方を撮像するように設けられている。本実施の形態では、撮像部Sは、図1に示すように、表示画面Gの前方に設置されて表示装置Hとは別体となっているが、表示画面G側から当該表示画面Gの前方を撮像するように設けられていれば良く、例えば、表示装置Hと一体化されていても良い。また、本実施の形態では、撮像部Sは、例えば、回転やズームが可能で且つライブ映像を撮像可能なデジタルビデオカメラなどで実現される。
マイク部28は、該マイク部28の周囲の音声を集音する。具体的には、マイク部28は、該マイク部28を備える情報処理装置2Bが設置された会議室などの空間に居る参加者Uの発言音声を集音する。
スピーカ部29は、各種音声を出力する。具体的には、スピーカ部29は、第1拠点に設置された情報処理装置2Aが有するマイク部28で集音された参加者Uの音声を出力する。
図4は、第1の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。図4に示すように、情報処理装置2の制御部20は、CPUがROMなどに記憶されているプログラムをRAMに展開して実行することにより、初期位置関係決定部201、位置関係送信部202、位置関係受信部203、位置関係決定部204、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209、情報取得部210およびカメラ表示位置関係取得部211として機能する。以下の説明では、第2拠点に設置された情報処理装置2Bの機能構成について説明するが、第1拠点に設置された情報処理装置2Aも同様である。
初期位置関係決定部201は、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置である共通画像位置(初期位置)を設定する設定部として機能する。そして、初期位置関係決定部201は、設定した初期位置を、位置関係記憶部205に記憶させる。
ここで、初期位置(共通画像位置)は、第1拠点の情報処理装置2Aから位置情報を受信する前に、表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置である。本実施の形態では、初期位置(共通画像位置)は、共通画像P1および撮像画像P3それぞれを、主表示装置H1の主表示画面G1および副表示装置H2の副表示画面G2のいずれに表示させるかを示す情報である。より具体的には、初期位置(共通画像位置)は、「撮像画像の左」または「撮像画像の右」である。「撮像画像の左」は、第2拠点の表示装置Hの表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の左側とすることを示す。一方、「撮像画像の右」は、第2拠点の表示装置Hの表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の右側とすることを示す。
また、初期位置関係決定部201は、情報処理装置2毎に任意に設定可能である。具体的には、表示装置Hの表示画面Gに向かって左側に設置された主表示装置H1の主表示画面G1の方が右側に設置された副表示装置H2の副表示画面G2よりも大きい場合、主表示画面G1に共通画像P1を表示した方が使い勝手が良いことから、「撮像画像の左」を初期位置として設定する。
位置関係送信部202は、第1拠点の情報処理装置2Aから情報処理装置2Bに対する接続要求があった場合に、その接続要求を受信し、第1拠点の情報処理装置2Aとの通信が確立された段階で、位置関係記憶部205に記憶されている位置情報を、上記接続要求を行ってきた情報処理装置2Aに送信する。
位置関係受信部203は、自装置から第1拠点の情報処理装置2Aに対して接続要求を行う際に、自装置から第1拠点の情報処理装置2Aに対して接続を要求し、第1拠点の情報処理装置2Aとの通信が確立された段階で、第1拠点の情報処理装置2Aから当該第1拠点の情報処理装置2Aの位置関係記憶部205に記憶されている位置情報を受信する。
位置関係決定部204は、位置関係受信部203が受信した位置情報に基づいて、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置である共通画像位置(本実施の形態では、「撮像画像の左」または「撮像画像の右」)を設定し、該設定した共通画像位置によって初期位置を更新する。
位置関係記憶部205は、初期位置関係決定部201または位置関係決定部204により設定された初期位置(または共通画像位置)をRAMなどの所定の記憶領域に格納して保持する。
映像スイッチ部206は、位置関係記憶部205に記憶された初期位置(または共通画像位置)に基づいて、共通画像P1および撮像画像P3それぞれを主表示装置H1および副表示装置H2のいずれに表示するかを判定し、その判定結果に応じて共通画像P1および撮像画像P3を映像出力部(第1出力部207、第2出力部208)に出力する。
第1出力部207は、映像スイッチ部206から入力された画像(共通画像P1または撮像画像P3)を主表示装置H1に出力する。これにより、主表示装置H1は、入力された画像(共通画像P1または撮像画像P3)を、主表示画面G1に表示する。
第2出力部208は、映像スイッチ部206から入力された画像(共通画像P1または撮像画像P3)を副表示装置H2に出力する。これにより、副表示装置H2は、入力された画像(共通画像P1または撮像画像P3)を、副表示画面G2に表示する。
映像受信部209は、ネットワークNを介して第1拠点の情報処理装置2Aから撮像画像P3を受信する。
情報取得部210は、ネットワークNを介して第1拠点の情報処理装置2Aから共通画像P1を取得する。
カメラ表示位置関係取得部211は、第2拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置に関する位置情報を取得して、取得した位置情報を位置関係記憶部205に記憶させる。
本実施の形態では、表示制御システム1は、第1拠点の情報処理装置2Aおよび第2拠点の情報処理装置2Bの双方が、それぞれ接続要求の受信側の情報処理装置2および接続要求の送信側の情報処理装置2となるように、同様の機能構成を有しているが、これに限定するものではない。図5は、接続要求の受信側の情報処理装置の機能構成を示すブロック図である。図6は、接続要求の送信側の情報処理装置の機能構成を示すブロック図である。例えば、接続要求を受信する側の情報処理装置2は、図5に示すように、少なくとも、初期位置関係決定部201、位置関係送信部202、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209、情報取得部210およびカメラ表示位置関係取得部211を有していれば良い。一方、接続要求を送信する側の情報処理装置2は、図6に示すように、少なくとも、位置関係受信部203、位置関係決定部204、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209、および情報取得部210を有していれば良い。
次に、図7を用いて、第1の実施の形態にかかる情報処理装置2における画像の表示処理について説明する。図7は、第1の実施の形態にかかる情報処理装置における画像の表示処理の流れを示すフローチャートである。以下の説明では、第2拠点の情報処理装置2Bから第1拠点の情報処理装置2Aに対して接続要求を行った場合における画像の表示処理について説明するが、第1拠点の情報処理装置2Aから第2拠点の情報処理装置2Bに対して接続要求を行った場合における画像の表示処理も同様である。
図7に示すように、第1拠点の情報処理装置2Aおよび第2拠点の情報処理装置2Bがそれぞれ起動されると(ステップS701、ステップS702)、各拠点の情報処理装置2の初期位置関係決定部201は、初期位置(例えば、「撮像画像の左」)を設定し、該設定した初期位置を位置関係記憶部205に記憶させる(ステップS703、ステップS704)。
各拠点の映像スイッチ部206は、位置関係記憶部205に記憶された初期位置に基づいて、情報取得部210により取得した共通画像P1および映像受信部209により受信した撮像画像P2を左右方向に並べて表示画面Gに表示させる。本実施の形態では、各拠点の映像スイッチ部206は、上述したように、初期位置に基づいて、共通画像P1および撮像画像P2それぞれを主表示装置H1および副表示装置H2のいずれに表示するかを判定し、その判定結果に応じて共通画像P1および撮像画像P2を映像出力部(第1出力部207、第2出力部208)に出力することにより、各拠点の表示画面Gに向かって共通画像P1および撮像画像P2を左右方向に並べて表示させる。
例えば、第1拠点の映像スイッチ部206は、初期位置が「撮像画像の左」である場合、共通画像P1を第1出力部207に出力して主表示画面G1に表示するとともに撮像画像P2を第2出力部208に出力して副表示画面G2に表示する。これにより、第1拠点の表示画面Gに向かって、撮像画像P2の左側に共通画像P1が並べて表示される。第2拠点の映像スイッチ部106も、第1拠点の映像スイッチ部106と同様にして、第2拠点の表示画面Gに向かって共通画像P1および撮像画像P3を左右方向に並べて表示させる。
次に、各拠点の情報処理装置2のカメラ表示位置関係取得部211は、各拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置を示す位置情報を取得する(ステップS705、ステップS706)。
ここで、本実施の形態にかかるカメラ表示位置関係取得部211による位置情報の取得方法について説明する。図8は、第1の実施の形態にかかるカメラ表示位置関係取得部による位置情報の取得方法を説明するための図である。カメラ表示位置関係取得部211は、初期位置に基づく共通画像P1の表示位置(例えば、主表示装置H1の主表示画面G1)に対して所定のパターン画像を表示する。次いで、カメラ表示位置関係取得部211は、撮像部Sを回転させて、表示画面Gを撮像可能な状態とするとともに、撮像部Sにより表示画面Gを撮像することにより得られた表示画面画像に含まれるパターン画像が、表示画面画像の中央部を基準として左側および右側のいずれに位置するかを特定する。そして、カメラ表示位置関係取得部211は、特定した位置を、表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の位置とする。
本実施の形態では、カメラ表示位置関係取得部211は、表示画面Gに表示したパターン画像を撮像した表示画面画像を用いて、共通画像P1の左右方向の位置を示す位置情報を取得しているが、これに限定するものではない。例えば、カメラ表示位置関係取得部211は、操作部24を介して情報処理装置2の操作者(参加者U)により入力された、表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の位置を位置情報として取得しても良い。
図7に戻り、第2拠点の情報処理装置2Bが、参加者Uの接続要求操作に応じて、第1拠点の情報処理装置2Aに対して接続要求を送信する(ステップS707)。第2拠点の参加者Uが情報処理装置2Bを操作して、第1拠点の表示装置Hおよび第2拠点の表示装置Hの両方に表示させる共通画像P1を設定した場合には、第2拠点の情報処理装置2Bは、接続要求に共通画像P1を含めて第1拠点の情報処理装置2Aに送信する。
第1拠点の情報処理装置2Aが接続要求を受信すると(ステップS708)、第1拠点の位置関係送信部202は、位置関係記憶部205に記憶されている位置情報(例えば、「撮像部の左」)を、第2拠点の情報処理装置2Bに送信する(ステップS709)。
次に、第2拠点の情報処理装置2Bが有する位置関係受信部203が、第1拠点の情報処理装置2Aから送信された位置情報を受信する(ステップS710)。続いて、第2拠点の位置関係決定部204は、受信した位置情報(例えば、「撮像部の左」)に基づいて、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置である共通画像位置(例えば、「撮像画像の右」)を設定し、当該設定した共通画像位置によって初期位置を更新する(ステップS711)。なお、位置関係決定部204によって共通画像位置を設定する処理の詳細については後述する。
図9は、第1の実施の形態にかかる情報処理装置が有する位置関係記憶部に記憶される位置情報および共通画像位置の一例を示す図である。第2拠点の情報処理装置2Bが有する位置関係記憶部205は、図9に示すように、位置関係受信部203により受信した位置情報および共通画像位置を記憶する。
ここで、位置情報が「撮像部の左」である場合には、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置の左側に共通画像P1の表示位置が存在すること示している。位置情報が「撮像部の右」である場合には、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置の右側に共通画像P1の表示位置が存在することを示している。位置情報が「いずれでもない」である場合には、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sを基準とする共通画像P1の左右方向の表示位置が特定できないことを示している。
また、共通画像位置が「撮像画像の左」である場合には、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置の左側を共通画像P1の表示位置とすることを示している。また、共通画像位置が「撮像画像の右」である場合には、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置の右側を共通画像P1の表示位置とすることを示している。
図7に戻り、初期位置が更新されると、映像スイッチ部206は、位置関係記憶部205に記憶された共通画像位置に基づいて、共通画像P1および映像受信部209により受信した撮像画像P3を左右方向に並べて表示画面Gに表示させる。本実施の形態では、映像スイッチ部206は、上述したように、共通画像位置に基づいて、共通画像P1および撮像画像P3それぞれを主表示装置H1および副表示装置H2のいずれに表示するかを判定し、その判定結果に応じて共通画像P1および撮像画像P3を映像出力部(第1出力部207、第2出力部208)に出力することにより、第2拠点の表示画面Gに向かって共通画像P1および撮像画像P3を左右方向に並べて表示させる。
例えば、第2拠点の映像スイッチ部206は、共通画像位置が「撮像画像の右」である場合、共通画像P1を第2出力部208に出力して副表示画面G2に表示するとともに撮像画像P3を第1出力部207に出力して主表示画面G1に表示する。これにより、第2拠点の表示画面Gに向かって、撮像画像P3の右側に共通画像P1が並べて表示される。
次に、図10〜14を用いて、位置関係決定部204による共通画像位置を設定する処理の詳細について説明する。図10は、第1の実施の形態にかかる情報処理装置が有する位置関係決定部による共通画像位置を設定する処理の流れを示すフローチャートである。図11〜14は、第1の実施の形態にかかる情報処理装置による共通画像および撮像画像の表示位置を説明するための図である。以下の説明では、第2拠点の情報処理装置2Bが有する位置関係決定部204による共通画像位置の設定処理について説明するが、第1拠点の情報処理装置2Aが有する位置関係決定部204による共通画像位置の設定処理も同様である。
第2拠点の情報処理装置2Bの位置関係決定部204は、位置関係受信部203により受信した位置情報を取得する(ステップS1001)。そして、位置関係決定部204は、取得した位置情報が「撮像部の右」を示しているか否か(すなわち、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の位置が、撮像部Sの位置の右側であるか)を判断する(ステップS1002)。
取得した位置情報が「撮像部の右」を示している場合(ステップS1002:Yes)、位置関係決定部204は、共通画像位置を「撮像画像の左」と設定する(ステップS1003)。具体的には、取得した位置情報が「撮像部の右」を示している場合、第1拠点における共通画像P1の表示位置は、図11に示すように、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の右側となる。そして、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の右側に向けられる。そのため、第1拠点の撮像部Sの撮像により得られる撮像画像P3は、図11に示すように、左方向を向いた参加者Uを含む画像となる。
この場合、第2拠点の位置関係決定部204は、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の左」に設定する。これにより、第2拠点の映像スイッチ部206は、図11に示すように、共通画像P1を第1出力部207に出力して主表示画面G1に表示させるとともに、撮像画像P3を第2出力部208に出力して副表示画面G2に表示させる。
すなわち、第2拠点の位置関係決定部204および映像スイッチ部206は、図11に示すように、第2拠点の表示装置H(主表示装置H1および副表示装置H2)に向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、第1拠点の表示装置H(主表示装置H1および副表示装置H2)の表示画面G(主表示画面G1および副表示画面G2)に向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置の反対となるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させる。本実施の形態では、位置関係決定部204および映像スイッチ部206が表示制御部として機能する。
これにより、第2拠点の副表示装置H2の副表示画面G2に表示された撮像画像P3に含まれる参加者Uの視線が向く方向(左方向)に、第2拠点の主表示装置H1の主表示画面G1に表示された共通画像P1が存在することとなるので、共通画像P1および撮像画像P3を表示画面G(主表示画面G1および副表示画面G2)に表示させる際に、撮像画像P3内の人物の視線が不自然になることを防止できる。
また、取得した位置情報が「撮像部の右」を示している場合であっても、第1拠点における、共通画像P1の表示位置と、撮像画像P2の表示位置と、撮像部Sの位置との位置関係が図12に示す位置関係となっている場合には、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の左側に向けられる。この場合、第1拠点の参加者Uの視線は、第1拠点の撮像部Sに向けられ、当該撮像部Sの撮像により得られる撮像画像P3は、図12に示すように、正面を向いた参加者Uを含む画像となる。
そのため、第2拠点の位置関係決定部204が、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の左」に設定して、図12に示すように、共通画像P1が主表示画面G1に表示され、撮像画像P3が副表示画面G2に表示されたとしても、撮像画像P3内の参加者Uの視線は正面に向けられるため、撮像画像P3内の人物の視線が共通画像P1の表示位置との関係において不自然になることを防止できる。
一方、取得した位置情報が「撮像部の左」を示している場合(ステップS1002:No)、位置関係決定部204は、共通画像位置を「撮像画像の右」と設定する(ステップS1004)。具体的には、取得した位置情報が「撮像部の左」を示している場合、第1拠点における共通画像P1の表示位置は、図13に示すように、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の左側となる。そして、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の左側に向けられる。そのため、第1拠点の撮像部Sの撮像により得られる撮像画像P3は、図13に示すように、右方向を向いた参加者Uを含む画像となる。
この場合、第2拠点の位置関係決定部204は、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の右」に設定する。これにより、第2拠点の映像スイッチ部206は、図13に示すように、共通画像P1を第2出力部208に出力して副表示画面G2に表示させるとともに、撮像画像P3を第1出力部207に出力して主表示画面G1に表示させる。
すなわち、第2拠点の位置関係決定部204および映像スイッチ部206は、図13に示すように、第2拠点の表示装置H(主表示装置H1および副表示装置H2)に向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、第1拠点の表示装置H(主表示装置H1および副表示装置H2)の表示画面G(主表示画面G1および副表示画面G2)に向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置の反対となるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させる。
これにより、第2拠点の主表示装置H1の主表示画面G1に表示された撮像画像P3に含まれる参加者Uの視線が向く方向(右方向)に、第2拠点の副表示装置H2の副表示画面G2に表示された共通画像P1が存在することとなるので、共通画像P1および撮像画像P3を表示画面G(主表示画面G1および副表示画面G2)に表示させる際に、撮像画像P3内の人物の視線が不自然になることを防止できる。
また、取得した位置情報が「撮像部の左」を示している場合であっても、第1拠点における、共通画像P1の表示位置と、撮像画像P2の表示位置と、撮像部Sの位置との位置関係が図14に示す位置関係となっている場合には、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像部Sの位置の右側に向けられる。この場合、第1拠点の参加者Uの視線は、第1拠点の撮像部Sに向けられ、当該撮像部Sの撮像により得られる撮像画像P3は、図14に示すように、正面を向いた参加者Uを含む画像となる。
そのため、第2拠点の位置関係決定部204が、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の右」に設定して、図14に示すように、共通画像P1が副表示画面G2に表示され、撮像画像P3が主表示画面G1に表示されたとしても、撮像画像P3内の参加者Uの視線は正面を向いているため、撮像画像P3内の人物の視線が共通画像P1の表示位置との関係において不自然になることを防止できる。
このように第1の実施の形態にかかる表示制御システム1によれば、第2拠点の表示装置Hに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする共通画像P1の左右方向の表示位置の反対となるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させることにより、撮像画像P3と共通画像P1とを第2拠点の表示装置Hに向かって左右方向に並べて表示させる際に、撮像画像P3中の参加者Uが共通画像P1を視認しており会議に関心を持っているように表示させることができ、共通画像P1について注目して話している雰囲気をスムーズに作ることができる。即ち、本実施の形態によれば、撮像画像P3と共通画像P1とを第2拠点の表示装置Hに向かって左右方向に並べて表示させる際に、撮像画像P3内の参加者Uの視線が不自然となることを防止できる。
(第2の実施の形態)
本実施の形態は、共通画像と、当該共通画像を表示可能な他の表示装置の表示画面側から当該表示画面の前方を撮像部により撮像して得られた撮像画像と、を当該他の表示装置とは異なる場所に設置された表示装置の一画面に表示する例である。以下の説明では、第1の実施形態と同様の箇所については説明を省略する。
図15は、第2の実施の形態にかかる情報処理装置の構成を示す図である。本実施の形態にかかる情報処理装置1500は、一つの表示装置Hを有し、共通画像P1および撮像画像P2(または撮像画像P3)を一画面(表示画面G)に表示する。本実施の形態では、情報処理装置1500は、共通画像P1と撮像画像P2(または撮像画像P3)とを左右方向に並べて合成した一つの画像(以下、合成画像という)を生成し、生成した合成画像を表示画面Gに表示させる。
図16は、第2の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。図16に示すように、情報処理装置1500の制御部1501は、初期位置関係決定部201、位置関係送信部202、位置関係受信部203、位置関係決定部204、位置関係記憶部205、映像受信部209、情報取得部210、カメラ表示位置関係取得部211、映像合成部1502および出力部1503として機能する。以下の説明では、第1拠点に設置された情報処理装置1500Aの機能構成について説明するが、第2拠点に設置された情報処理装置1500Bも同様である。
映像合成部1502は、位置関係記憶部205に記憶された初期位置(または共通画像位置)に基づいて、表示装置Hの表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の表示位置の左右方向のいずれにするかを判定する。例えば、映像合成部1502は、初期位置または共通画像位置が「撮像画像の左」である場合、表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の表示位置の左側と判定する。一方、映像合成部1502は、初期位置または共通画像位置が「撮像画像の右」である場合、表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の表示位置の右側と判定する。
そして、映像合成部1502は、その判定結果に基づいて、共通画像P1と撮像画像P3とを左右方向に並べて合成した合成画像を生成し、生成した合成画像を出力部1503に出力する。
出力部1503は、映像合成部1502により生成された合成画像を表示装置Hに出力することにより、合成画像を表示画面Gに表示させる。
本実施の形態では、第1拠点の情報処理装置1500Aおよび第2拠点の情報処理装置1500Bの双方が、それぞれ接続要求の受信側の情報処理装置1500および接続要求の送信側の情報処理装置1500となるように、同様の機能構成を有しているが、これに限定するものではない。図17は、接続要求の受信側の情報処理装置の機能構成を示すブロック図である。図18は、接続要求の送信側の情報処理装置の機能構成を示すブロック図である。例えば、接続要求を受信する側の情報処理装置1500は、図17に示すように、少なくとも、初期位置関係決定部201、位置関係送信部202、位置関係記憶部205、映像受信部209、情報取得部210、カメラ表示位置関係取得部211、映像合成部1502および出力部1503を有していれば良い。一方、接続要求を送信する側の情報処理装置1500は、図18に示すように、少なくとも、位置関係受信部203、位置関係決定部204、位置関係記憶部205、映像受信部209、情報取得部210、映像合成部1502および出力部1503を有していれば良い。
このように第2の実施の形態にかかる情報処理装置1500によれば、共通画像P1と撮像画像P2(または撮像画像P3)とを一画面に表示することにより、各拠点に複数の表示装置Hを設置する必要がなくなるので、情報処理装置1500にかかるコストを削減することができる。
(変形例1)
第1の実施の形態および第2の実施の形態では、共通画像と一つの他の拠点での撮像により得られた撮像画像とを左右方向に並べて表示する例について説明したが、共通画像と、複数の他の拠点での撮像により得られた複数の撮像画像とを、自拠点の表示装置に表示することも可能である。以下の説明では、第2の実施の形態と同様の箇所について説明を省略する。
第2拠点の位置関係受信部203は、第2拠点の情報処理装置1500Bから第1拠点の情報処理装置1500Aおよび第3拠点の情報処理装置(図示しない)に対して接続要求を行った場合、第1拠点の情報処理装置1500Aおよび第3拠点の情報処理装置(図示しない)から送信された位置情報を受信する。
第2拠点の位置関係決定部204は、各拠点から受信した位置情報に基づいて、拠点毎に共通画像位置を設定し、設定した各拠点の共通画像位置によって、位置関係記憶部205に記憶された各拠点の初期位置を更新する。本変形例においては、初期位置関係決定部201は、拠点毎に初期位置を設定して、位置関係記憶部205に記憶させるものとする。
映像合成部1502は、位置関係記憶部205に記憶された各拠点の共通画像位置に基づいて、共通画像P1および映像受信部209により受信した撮像画像P3,P4を左右方向に並べて表示画面Gに表示させる。本変形例では、映像合成部1502は、拠点毎の共通画像位置に基づいて、表示画面Gに向かって共通画像P1の表示位置を、撮像画像P3の表示位置および撮像画像P4の表示位置それぞれの左右方向のいずれにするかを判定する。そして、映像合成部1502は、その判定結果に基づいて、共通画像P1と、撮像画像P3および撮像画像P4とを左右方向に並べて合成した合成画像を生成し、生成した合成画像を出力部1503に出力する。
図19〜21は、変形例1にかかる情報処理装置による共通画像および複数の撮像画像の表示例を示す図である。例えば、映像合成部1502は、第1拠点の共通画像位置および第3拠点の共通画像位置がともに「撮像画像の右」である場合、表示画面Gに向かって共通画像P1の表示位置を撮像画像P3および撮像画像P4の表示位置の右側と判定する。次いで、映像合成部1502は、共通画像P1が撮像画像P3および撮像画像P4の右側に位置し、かつ撮像画像P3および撮像画像P4が左右方向に並んだ合成画像を生成する。そして、映像合成部1502は、生成した合成画像を出力部1503に出力する。これにより、映像合成部1502は、図19に示すように、表示画面Gに向かって共通画像P1の表示位置が撮像画像P3の表示位置および撮像画像P4の表示位置の右側となりかつ撮像画像P3の表示位置と撮像画像P4の表示位置が左右方向に並ぶように、共通画像P1と撮像画像P3と撮像画像P4とを表示画面Gに表示させる。
また、映像合成部1502は、第1拠点の共通画像位置が「撮像画像の左」であり、第3拠点の共通画像位置が「撮像画像の右」である場合、表示画面Gに向かって共通画像P1の表示位置を撮像画像P3の表示位置の右側と判定するとともに、表示画面Gに向かって共通画像P1の表示位置を撮像画像P4の表示位置の左側と判定する。次いで、映像合成部1502は、共通画像P1が撮像画像P3の左側に位置するとともに、共通画像P1が撮像画像P4の右側に位置する合成画像を生成する。そして、映像合成部1502は、生成した合成画像を出力部1503に出力する。これにより、映像合成部1502は、図20に示すように、表示画面Gに向かって共通画像P1の表示位置が撮像画像P3の表示位置の左側となりかつ表示画面Gに向かって共通画像P1の表示位置が撮像画像P4の表示位置の右側になるように、共通画像P1と撮像画像P3と撮像画像P4とを表示画面Gに表示させる。
さらに、映像合成部1502は、第1拠点の共通画像位置および第3拠点の共通画像位置がともに「撮像画像の右」である場合、表示画面Gに向かって共通画像P1の表示位置を撮像画像P3および撮像画像P4の表示位置の右側と判定する。次いで、映像合成部1502は、共通画像P1が撮像画像P3および撮像画像P4の右側に位置し、かつ撮像画像P3および撮像画像P4が上下方向に並んだ合成画像を生成する。そして、映像合成部1502は、生成した合成画像を出力部1503に出力する。これにより、映像合成部1502は、図21に示すように、表示画面Gに向かって共通画像P1の表示位置が撮像画像P3の表示位置および撮像画像P4の表示位置の右側となりかつ撮像画像P3の表示位置と撮像画像P4の表示位置が上下方向に並ぶように、共通画像P1と撮像画像P3と撮像画像P4とを表示画面Gに表示させる。
本変形例では、共通画像P1と、2つの拠点の撮像画像P3および撮像画像P4とを左右方向に並べて表示しているが、共通画像P1と、2以上の拠点の撮像画像とを左右方向に並べて表示することも可能である。さらに、本変形例では、複数の拠点の撮像画像P3および撮像画像P4を同時に表示しているが、撮像画像P3と撮像画像P4とを所定時間毎に切り替えて表示しても良い。
このように変形例1にかかる情報処理装置1500によれば、第1の実施の形態および第2の実施の形態と同様の作用効果を得ることができる。
(第3の実施の形態)
本実施の形態は、他の拠点の表示装置の表示画面に向かって共通画像の表示位置を基準とする撮像画像の左右方向の表示位置を示す画像位置情報を受信し、当該受信した画像位置情報に基づいて、自拠点の表示装置の表示画面に向かって撮像画像の表示位置を基準とする共通画像の左右方向の表示位置の反対になるように、共通画像および撮像画像を自拠点の表示装置に表示させる例である。以下の説明では、第1の実施の形態と同様の箇所については説明を省略する。
図22および図23は、第3の実施の形態にかかる情報処理装置における共通画像および撮像画像それぞれの左右方向の表示位置を説明するための図である。図22(a)および図23(a)は、第1拠点に設置された情報処理装置2200Aを、情報処理装置2200Aの上方から見た図である。図22(b)および図23(b)は、第2拠点に設置された主表示装置H1の主表示画面G1および副表示装置H2の副表示画面G2に対する共通画像P1および撮像画像P3それぞれの表示位置を説明するための図である。
本実施の形態では、第1拠点に設置された情報処理装置2200Aは、第1拠点に設置された表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2の表示位置に関する画像位置情報を、第2拠点に設置された情報処理装置2200Bに送信する。また、第1拠点に設置された情報処理装置2200Aは、第2拠点に設置された表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P3の表示位置に関する画像位置情報を、第2拠点に設置された情報処理装置2200Bから受信する。
一方、第2拠点に設置された情報処理装置2200Bは、第2拠点に設置された表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P3の表示位置に関する画像位置情報を、第1拠点に設置された情報処理装置2200Aに送信する。また、第2拠点に設置された情報処理装置2200Bは、第1拠点に設置された表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2の表示位置に関する画像位置情報を、第1拠点に設置された情報処理装置2200Aから受信する。
ここで、第1拠点に設置された情報処理装置2200Aと第2拠点に設置された情報処理装置2200Bとの間で送受信される画像位置情報について説明する。本実施の形態では、画像位置情報は、表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2(または撮像画像P3)の左右方向の表示位置を示す情報である。具体的には、画像位置情報は、表示装置Hの表示画面Gに向かって、撮像画像P2(または撮像画像P3)の表示位置が、「共通画像の左」、「共通画像の右」および「いずれでもない」のいずれかを示す情報である。
「共通画像の左」とは、表示装置Hの表示画面Gに向かって、共通画像P1の表示位置の左側に撮像画像P2(または撮像画像P3)の表示位置が存在することを示している。一方、「共通画像の右」とは、表示装置Hの表示画面Gに向かって、共通画像P1の表示位置の右側に撮像画像P2(または撮像画像P3)の表示位置が存在することを示している。また、「いずれでもない」とは、表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2(または撮像画像P3)の表示位置を特定できない状態を表している。例えば、「いずれでもない」とは、表示装置Hの表示画面Gに何も表示されていない状態、表示装置Hの表示画面Gにおいて共通画像P1と撮像画像P2(または撮像画像P3)が上下方向に並んで表示されている状態などである。
第1拠点に設置された情報処理装置2200Aは、第2拠点に設置された情報処理装置2200Bから受信した画像位置情報に基づいて、第1拠点に設置された表示装置Hの表示画面Gに向かって撮像画像P2の表示位置を基準とする共通画像P1の左右方向の表示位置が反対となるように、共通画像P1および撮像画像P2を表示装置Hに表示させる。一方、第2拠点に設置された情報処理装置2200Bは、第1拠点に設置された情報処理装置2200Aから受信した画像位置情報に基づいて、第2拠点に設置された表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置が反対となるように、共通画像P1および撮像画像P3を表示装置Hに表示させる。
ところで、図22(a)に示すように、第1拠点の表示装置Hの表示画面Gに向かって撮像部Sの位置を基準とする、共通画像P1の左右方向の表示位置および撮像画像P2の左右方向の表示位置がいずれも撮像部Sの位置に対して同じ側に存在した場合、第1拠点の撮像部Sの撮像により得られる撮像画像P3内の参加者Uの視線は左方向を向く可能性が高い。この場合、第1拠点の情報処理装置2200Aは、「共通画像の右」を示す画像位置情報を第2拠点の情報処理装置2200Bに送信する。そのため、第2拠点の情報処理装置2200Bは、画像位置情報が示す「共通画像の右」に基づいて、第2拠点に設置された表示装置Hの表示画面Gに向かって、共通画像P1の表示位置の左側に、撮像画像P3を表示させるが、図22(b)に示すように、当該撮像画像P3内の参加者Uの視線は左方向を向いており、共通画像P1の表示位置の方向を向いておらず、撮像画像P3と共通画像P1とを左右方向に並べて表示させる際に、撮像画像P3内の参加者Uの視線が不自然となる可能性がある。
しかしながら、図23(a)に示すように、第1拠点の参加者Uが共通画像P1に視線を向けている場合、第1拠点の撮像部Sの撮像により得られる撮像画像P3内の参加者Uの視線は正面方向になる。この場合も、第2拠点の情報処理装置2200Bは、画像位置情報が示す「共通画像の右」に基づいて、第2拠点に設置された表示装置Hの表示画面Gに向かって、共通画像P1の表示位置の左側に、撮像画像P3を表示させるため、図23(b)に示すように、当該撮像画像P3内の参加者Uの視線は左方向を向いているが、図22(b)に示す撮像画像P3内の参加者Uの視線方向よりも、共通画像P1の表示位置の方向に近づいているため、撮像画像P3と共通画像P1とを左右方向に並べて表示させる際に、撮像画像P3内の参加者Uの視線が不自然となることを防止できる。
図24は、第3の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。図24に示すように、情報処理装置2200の制御部2201は、初期位置関係決定部201、位置関係送信部2202、位置関係受信部2203、位置関係決定部2204、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209および情報取得部210として機能する。以下の説明では、第2拠点に設置された情報処理装置2200Bの機能構成について説明するが、第1拠点に設置された情報処理装置2200Aも同様である。
位置関係送信部2202は、第1拠点の情報処理装置2200Aから自装置に対する接続要求があった場合に、その接続要求を受信し、第1拠点の情報処理装置2200Aとの通信が確立された段階で、位置関係記憶部205に記憶されている画像位置情報を、上記接続要求を行ってきた情報処理装置2200に送信する。本実施の形態では、初期位置関係決定部201は、設定した初期位置に基づいて、画像位置情報を取得し、取得した画像位置情報を位置関係記憶部205に記憶させておくものとする。例えば、初期位置関係決定部201は、設定した初期位置が「撮像画像の左」である場合には、「共通画像の右」を画像位置情報として取得する。一方、初期位置関係決定部201は、設定した初期位置が「撮像画像の右」である場合には、「共通画像の左」を画像位置情報として取得する。
位置関係受信部2203は、自装置から第1拠点の情報処理装置2200Aに対して接続要求を行う際に、自装置から第1拠点の情報処理装置2200Aに対して接続を要求し、第1拠点の情報処理装置2200Aとの通信が確立された段階で、第1拠点の情報処理装置2200Aから当該第1拠点の情報処理装置2200Aの位置関係記憶部205に記憶されている画像位置情報を受信する。
位置関係決定部2204は、位置関係受信部2203が受信した画像位置情報に基づいて、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置である共通画像位置を設定し、該設定した共通画像位置によって初期位置を更新する。
本実施の形態では、第1拠点の情報処理装置2200Aおよび第2拠点の情報処理装置2200Bの双方が、それぞれ接続要求の受信側の情報処理装置2200および接続要求の送信側の情報処理装置2200となるように、同様の機能構成を有しているが、これに限定するものではない。図25は、接続要求の受信側の情報処理装置の機能構成を示すブロック図である。図26は、接続要求の送信側の情報処理装置の機能構成を示すブロック図である。例えば、接続要求を受信する側の情報処理装置2200は、図25に示すように、少なくとも、初期位置関係決定部201、位置関係送信部2202、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209および情報取得部210を有していれば良い。一方、接続要求を送信する側の情報処理装置2200は、図26に示すように、少なくとも、位置関係受信部2203、位置関係決定部2204、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209および情報取得部210を有していれば良い。
次に、図27を用いて、第3の実施の形態にかかる情報処理装置2200における画像の表示処理について説明する。図27は、第3の実施の形態にかかる情報処理装置における画像の表示処理の流れを示すフローチャートである。以下の説明では、第2拠点の情報処理装置2200Bから第1拠点の情報処理装置2200Aに対して接続要求を行った場合における画像の表示処理について説明するが、第1拠点の情報処理装置2200Aから第2拠点の情報処理装置2200Bに対して接続要求を行った場合における画像の表示処理も同様である。
第1拠点の情報処理装置2200Aが接続要求を受信すると(ステップS708)、第1拠点の位置関係送信部2202は、位置関係記憶部205に記憶されている画像位置情報を、第2拠点の情報処理装置2200Bに送信する(ステップS2701)。
次に、第2拠点の情報処理装置2200Bが有する位置関係受信部2203が、第1拠点の情報処理装置2200Aから送信された画像位置情報を受信する(ステップS2702)。続いて、第2拠点の位置関係決定部2204は、受信した画像位置情報に基づいて、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置である共通画像位置を設定し、当該設定した共通画像位置によって初期位置を更新する(ステップS2703)。
次に、図28を用いて、位置関係決定部2204による共通画像位置を設定する処理の詳細について説明する。図28は、第3の実施の形態にかかる情報処理装置が有する位置関係決定部による共通画像位置を設定する処理の流れを示すフローチャートである。以下の説明では、第2拠点の情報処理装置2200Bが有する位置関係決定部2204による共通画像位置の設定処理について説明するが、第1拠点の情報処理装置2200Aが有する位置関係決定部2204による共通画像位置の設定処理も同様である。
第2拠点の情報処理装置2200Bの位置関係決定部2204は、位置関係受信部2203により受信した画像位置情報を取得する(ステップS2801)。そして、位置関係決定部2204は、取得した画像位置情報が「共通画像の左」を示しているか否か(すなわち、第1拠点の表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2の左右方向の位置が、共通画像P1の表示位置の左側であるか)を判断する(ステップS2802)。
取得した画像位置情報が「共通画像の左」を示している場合(ステップS2802:Yes)、位置関係決定部2204は、共通画像位置を「撮像画像の左」と設定する(ステップS2803)。具体的には、取得した画像位置情報が「共通画像の左」を示している場合、第1拠点における共通画像P1の表示位置は、図11に示すように、主表示画面G1および副表示画面G2に向かって撮像画像P2の表示位置の右側となる。そして、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像画像P2の表示位置の右側に向けられる。そのため、第1拠点の撮像部Sの撮像により得られる撮像画像P3は、図11に示すように、左方向を向いた参加者Uを含む画像となる。
この場合、第2拠点の位置関係決定部2204は、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の左」に設定する。これにより、第2拠点の映像スイッチ部206は、図11に示すように、共通画像P1を第1出力部207に出力して主表示画面G1に表示させるとともに、撮像画像P3を第2出力部208に出力して副表示画面G2に表示させる。
すなわち、第2拠点の位置関係決定部2204および映像スイッチ部206は、図11に示すように、第2拠点の表示装置H(主表示装置H1および副表示装置H2)に向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、第1拠点の表示装置H(主表示装置H1および副表示装置H2)の表示画面G(主表示画面G1および副表示画面G2)に向かって撮像画像P2の位置を基準とする共通画像P1の左右方向の表示位置の反対となるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させる。
これにより、第2拠点の副表示装置H2の副表示画面G2に表示された撮像画像P3に含まれる参加者Uの視線が向く方向(左方向)に、第2拠点の主表示装置H1の主表示画面G1に表示された共通画像P1が存在することとなるので、共通画像P1および撮像画像P3を表示画面G(主表示画面G1および副表示画面G2)に表示させる際に、撮像画像P3内の人物の視線が不自然になることを防止できる。
一方、取得した画像位置情報が「共通画像の右」を示している場合(ステップS2802:No)、位置関係決定部2204は、共通画像位置を「撮像画像の右」と設定する(ステップS2804)。具体的には、取得した画像位置情報が「共通画像の右」を示している場合、第1拠点における共通画像P1の表示位置は、図13に示すように、主表示画面G1および副表示画面G2に向かって撮像画像P2の表示位置の左側となる。そして、第1拠点の参加者Uの視線は、主表示画面G1および副表示画面G2に向かって撮像画像P2の表示位置の左側に向けられる。そのため、第1拠点の撮像部Sの撮像により得られる撮像画像P3は、図13に示すように、右方向を向いた参加者Uを含む画像となる。
この場合、第2拠点の位置関係決定部2204は、第2拠点の主表示画面G1および副表示画面G2に向かって撮像画像P3の表示位置を基準とする共通画像P1の表示位置(共通画像位置)を「撮像画像の右」に設定する。これにより、第2拠点の映像スイッチ部206は、図13に示すように、共通画像P1を第2出力部208に出力して副表示画面G2に表示させるとともに、撮像画像P3を第1出力部207に出力して主表示画面G1に表示させる。
すなわち、第2拠点の位置関係決定部2204および映像スイッチ部206は、図13に示すように、第2拠点の表示装置H(主表示装置H1および副表示装置H2)に向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、第1拠点の表示装置H(主表示装置H1および副表示装置H2)の表示画面G(主表示画面G1および副表示画面G2)に向かって撮像画像P2の表示位置を基準とする共通画像P1の左右方向の表示位置の反対となるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させる。
これにより、第2拠点の主表示装置H1の主表示画面G1に表示された撮像画像P3に含まれる参加者Uの視線が向く方向(右方向)に、第2拠点の副表示装置H2の副表示画面G2に表示された共通画像P1が存在することとなるので、共通画像P1および撮像画像P3を表示画面G(主表示画面G1および副表示画面G2)に表示させる際に、撮像画像P3内の人物の視線が不自然になることを防止できる。
このように第3の実施の形態にかかる情報処理装置2200によれば、第1拠点の表示装置Hの表示画面Gに向かって共通画像P1の表示位置を基準とする撮像画像P2の左右方向の表示位置を示す画像位置情報を受信し、当該受信した画像位置情報に基づいて、第2拠点の表示装置Hの表示画面Gに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置の反対になるように、共通画像P1および撮像画像P3を第2拠点の表示装置Hに表示させることにより、第1の実施の形態と同様の作用効果を得ることができる。
(第4の実施の形態)
本実施の形態は、表示装置に向かって当該表示装置の位置を基準とする、当該表示装置から所定範囲内に位置する人物の左右方向の位置である人物位置を検知し、当該表示装置に向かって撮像画像の表示位置を基準とする共通画像の左右方向の表示位置を、検知された人物位置側にする例である。以下の説明では、第1の実施の形態と同様の箇所については説明を省略する。
図29および図30は、第4の実施の形態にかかる表示制御システムの構成を示す図である。本実施の形態にかかる表示制御システム2910においては、図29に示すように、第1拠点において、表示装置Hから所定範囲内の説明者Eの位置が当該表示装置Hに向かって当該表示装置Hの左側である場合、第1拠点の情報処理装置2900Aは、表示装置Hに向かって撮像画像P2の表示位置を基準とする共通画像P1の左右方向の表示位置を、説明者Eの位置側(すなわち、表示画面Gに向かって撮像画像P2の左側)にする。
一方、図29に示すように、第2拠点においては、表示装置Hの位置から所定範囲内に説明者Eがいないため、第2拠点の情報処理装置2900Bは、第1拠点の情報処理装置2900Aから受信した位置情報(例えば、「撮像部の左」)に基づいて、表示装置Hに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置が反対になるように(例えば、表示装置Hに向かって撮像画像P3の右側に共通画像P1が表示されるように)、撮像画像P3および共通画像P1を表示装置Hに表示させる。
これにより、第1拠点においては表示装置Hの表示画面Gの左右方向のどちらに共通画像P1が表示されているかを説明者Eが把握して移動しなくても、表示画面Gの左右方向のうち説明者Eが移動した方向に共通画像P1が表示されるので、説明者Eが移動しやすい位置において共通画像P1の説明等を行うことができる。また、第2拠点においては、撮像画像P3と共通画像P1とを左右方向に並べて表示させる際に、撮像画像P3内の参加者Uおよび説明者Eの視線が共通画像P1の方向に向くこととなり、撮像画像P3内の参加者Uおよび説明者Eの視線が不自然になることを防止できる。さらに、第2拠点においては、撮像画像P3内の説明者Eの近傍に共通画像P1が表示されることとなり、撮像画像P3内の説明者Eと共通画像P1とを視線を移動させることなく、同時に見ることができる。
また、図29に示す状態から、第2拠点の参加者Uが共通画像P1の近くに移動して当該共通画像P1の説明を行う場合(図30参照)、表示装置Hに向かって当該表示装置Hの右側に移動すると考えられる。この場合、第2拠点においても、移動した参加者U(説明者E)の近くに共通画像P1が表示されることとなり、参加者Uは視線を移動することなく共通画像P1と説明者Eとの両方を見ることができる。
また、本実施の形態では、第1拠点および第2拠点の両拠点における説明者Eの位置が同じである場合、両拠点における撮像画像P2(または撮像画像P3)の表示位置と共通画像P1の表示位置との位置関係が同じになってしまい、両拠点において撮像画像P2(または撮像画像P3)内の参加者Uの視線が共通画像P1の方向に向けられず不自然になる可能性がある。しかし、本実施の形態では、説明者Eが共通画像P1の表示位置を意識することなく共通画像P1の近くで当該共通画像P1の表示内容を説明できるという効果を優先して、表示装置Hの表示画面Gに向かって撮像画像P2(または撮像画像P3)の表示位置を基準とする共通画像P1の左右方向の表示位置を、説明者Eの位置側とする。
図31は、第4の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。図31に示すように情報処理装置2900の制御部2901は、位置関係送信部202、位置関係受信部203、位置関係記憶部205、映像スイッチ部206、第1出力部207、第2出力部208、映像受信部209、情報取得部210、カメラ表示位置関係取得部211、初期位置関係決定部2902、説明者検知部2903および位置関係決定部2904として機能する。以下の説明では、第2拠点に設置された情報処理装置2900Bの機能構成について説明するが、第1拠点に設置された情報処理装置2900Aも同様である。
説明者検知部2903は、第2拠点の表示装置Hに向かって当該表示装置Hの位置を基準とする、当該表示装置Hから所定範囲内に位置する説明者E(人物)の左右方向の位置である説明者位置(人物位置)を検知する。本実施の形態では、説明者検知部2903は、第2拠点の情報処理装置2900Bが有する撮像部Sの撮像により得られた撮像画像P2およびマイク部28から入力された音声の少なくとも一つに基づいて、第2拠点の表示装置Hから所定範囲内(例えば、表示装置Hから30cm以内)に説明者E(人物)が位置するかを検知する。さらに、説明者検知部2903は、第2拠点の表示装置Hから所定範囲内に説明者Eが位置する場合に、説明者位置を検知する。ここで、説明者Eとは、表示装置Hから所定範囲内に居る参加者U、共通画像P1を指差している参加者U、共通画像P1に関する発言を行っている参加者Uなどである。所定範囲は、情報処理装置2900のユーザが任意に設定可能である。
図32は、第4の実施の形態にかかる情報処理装置が有する説明者検知部による説明者位置の検知処理を説明するための図である。説明者検知部2903は、図32に示すように、撮像部Sの撮像により得られた撮像画像P2のうち右半分のR領域または左半分のL領域のいずれに説明者Eが存在するのかを判定する。説明者検知部2903は、図32に示すような撮像画像P2が得られた場合、説明者EがR領域に存在すると判定する。例えば、説明者検知部2903は、特許第4389956号公報に開示される技術を利用して、説明者Eの存在および説明者位置を検知する。
具体的には、説明者検知部2903は、撮像部Sの撮像により得られた撮像画像P2において顔認識処理を実行し、顔の高さが他の顔より20cm以上高い位置にいる説明者Eが撮像画像P2に含まれる場合には表示装置Hから所定範囲内に説明者Eが位置するとともに、撮像画像P2中の右側(R領域)にいるのか左側(L領域)にいるのかを判定する。
または、説明者検知部2903は、撮像部Sの撮像により得られた撮像画像P2において顔認識処理を実行し、撮像画像P2内の表示装置Hから所定距離内に説明者Eの顔があるか否かにより、表示装置Hから所定範囲内に位置する説明者Eを検知する。そして、表示装置Hから所定範囲内に位置する説明者Eを検知した場合、説明者検知部2903は、撮像画像P2内の表示装置Hから所定距離内に位置する説明者Eの顔のうち表示位置に最も近い位置に顔がある説明者Eが撮像画像P2中の右側(R領域)にいるのか左側(L領域)にいるのかを判定する。
本実施の形態では、説明者検知部2903は、情報処理装置2900の起動時に説明者位置を検知するものとするが、これに限定するものではなく、例えば、拠点間の情報処理装置2900において情報(例えば、撮像画像P2,P3や音声など)の送受信が行われている間(会議等が行われている間)、一定時間毎に説明者位置の検知を行っても良い。これにより、会議等が行われている間に、説明者Eが居なくなったり、新たに説明者Eが現れたりした場合等に、説明者位置を新たに検知して、新たに検知した説明者位置に応じて共通画像P1の表示位置を変更できるので、常に、共通画像P1と説明者Eとの両方を見ることができる。
初期位置関係決定部2902は、情報処理装置2900が起動されると処理を開始し、まず、説明者検知部2903により説明者Eの説明者位置を検知させる。そして、初期位置関係決定部2902は、説明者検知部2903により説明者位置が検知され、検知された説明者位置が撮像画像P2内のR領域に存在すると判定された場合には、共通画像位置として「撮像画像の右」を設定し、検知された説明者位置が撮像画像P2内のL領域に存在すると判定された場合には、共通画像位置として「撮像画像の左」を設定する。
また、初期位置関係決定部2902は、説明者検知部2903により説明者位置が検知されなかった場合、予め初期位置として設定するように定められている情報(「撮像画像の左」または「撮像画像の右」)を設定する。
本実施の形態では、位置関係決定部2904は、位置関係受信部203が受信した位置情報と、説明者検知部2903が検知した説明者位置とに基づいて、共通画像位置を設定し、該設定した共通画像位置を位置関係記憶部205に記憶させる。
図31に示す情報処理装置2900の機能構成では、位置情報の送受信を行うための機能構成を有する形態について説明したが、これに限定されず、図33に示すように、位置情報の送信のみを行うための機能構成を有する形態とすることも可能である。図33に示すように、位置情報の送信のみを行うための機能構成としては、図31における位置関係受信部203および位置関係決定部2904を省略した構成となる。
次に、図34を用いて、位置関係決定部2904による共通画像位置を設定する処理の詳細について説明する。図34は、第4の実施の形態にかかる情報処理装置が有する位置関係決定部による共通画像位置を設定する処理の流れを示すフローチャートである。以下の説明では、第2拠点の情報処理装置2900Bが有する位置関係決定部2904による共通画像位置の設定処理について説明するが、第1拠点の情報処理装置2900Aが有する位置関係決定部2904による共通画像位置の設定処理も同様である。
位置関係決定部2904は、説明者検知部2903による説明者Eの存在および説明者位置の検知結果を取得する(ステップS3401)。続いて、位置関係決定部2904は、説明者検知部2903により説明者Eの存在が検知されなかった場合(ステップS3402:No)、ステップS1001に進む。
一方、説明者Eの存在が検知された場合(ステップS3402:Yes)、位置関係決定部2904は、検知された説明者位置が撮像画像P2内のR領域(右側)に存在するか否かを判定する(ステップS3403)。この判定の結果、説明者位置がR領域に存在すると判定した場合(ステップS3403:Yes)、位置関係決定部2904は、共通画像位置として「撮像画像の右」を設定する、即ち、撮像映像P3を共通画像P1の右側に表示することを設定する(ステップS1004)。一方、説明者位置がR領域に存在しない、即ち、L領域(左側)に存在すると判定した場合(ステップS3403:No)、位置関係決定部2904は、共通画像位置として「撮像画像の左」を設定する、即ち、撮像画像P3を共通画像P1の左側に表示することを設定する(ステップS1003)。
このように第4の実施の形態によれば、第2拠点の表示装置Hに向かって当該表示装置Hの位置を基準とする、当該表示装置Hから所定範囲内に位置する説明者Eの左右方向の位置である説明者位置を検知し、当該表示装置Hに向かって撮像画像P3の表示位置を基準とする共通画像P1の左右方向の表示位置を、検知された説明者位置側にすることにより、第2拠点において説明者Eが存在する側に共通画像P1が表示される。これにより、第1拠点においては、第2拠点の説明者Eが共通画像P1を指差して説明しているように表示され、他方、第2拠点においては、第1拠点の参加者Uが共通画像P1を見ているように表示されるので、電子会議を行う複数の拠点間で資料などの共通画像P1について注目して話している雰囲気をスムーズに作ることができる。
第1〜4の実施の形態では、各拠点に設置された情報処理装置が、自装置が備える表示装置に対する共通画像および撮像画像の表示位置を制御しているが、これに限定するものではない。例えば、各拠点に設置された情報処理装置とネットワークを介して接続されたサーバが、各拠点に設置された情報処理装置が備える表示装置に対する共通画像および撮像画像の表示位置を制御しても良い。その場合は、サーバが、表示装置に対する共通画像および撮像画像の表示位置を制御する情報処理装置として機能する。また、各拠点に設置された情報処理装置は、当該情報処理装置が設置された拠点と同じ拠点に設置された外部の表示装置(すなわち、情報処理装置が備える表示装置以外の表示装置)に対して、共通画像および撮像画像を表示させるとともに、当該共通画像および撮像画像の表示位置を制御しても良い。
本実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態の情報処理装置で実行されるプログラムは、上述した各部(初期位置関係決定部、位置関係送信部、位置関係受信部、位置関係決定部、映像スイッチ部、第1出力部、第2出力部、映像受信部、情報取得部、カメラ表示位置関係取得部、映像合成部、出力部および説明者検知部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、初期位置関係決定部、位置関係送信部、位置関係受信部、位置関係決定部、映像スイッチ部、第1出力部、第2出力部、映像受信部、情報取得部、カメラ表示位置関係取得部、映像合成部、出力部および説明者検知部が主記憶装置上に生成されるようになっている。