JP5326816B2 - 遠隔会議システム、情報処理装置、及びプログラム - Google Patents

Description

本発明は、遠隔会議システム、情報処理装置、及びプログラムに関する。

遠隔地間で共通の会議資料を材料に遠隔会議を行うための遠隔会議システムが知られている。

例えば、下記特許文献１に上記の遠隔会議システムの一例が開示されている。

すなわち、特許文献１に記載の遠隔会議システムは、複数の拠点の各々に設置された情報処理装置を含み、各情報処理装置が、共通の会議資料が表示される表示領域を撮像するカメラにより撮像された画像から、当該画像における説明者（正確には説明者の指先）の位置を取得し、該位置を他の情報処理装置に送信するようにしている。なお、この遠隔会議システムでは、カメラにより撮像された画像を表示するディスプレイが設けられているため、各説明者は、ディスプレイに表示された画像を見ながら、自己の位置や大きさを調節できるようになっている。

特開２００６−４１８８４号公報

本発明は、遠隔地間で共通の会議資料を材料に行われる遠隔会議において、説明者の画像の位置を、会議資料が表示される表示領域に対する説明者の相対的な位置に合わせて調整することを目的とする。

上記課題を解決するために、本発明に係る遠隔会議システムは、共通の会議資料画像が表示される表示領域を含む複数の拠点の各々に設置された情報処理装置と、前記複数の拠点のうち撮像手段が設置されている前記拠点に設置された前記情報処理装置に関して、該撮像手段によって撮像された画像に表れる該情報処理装置の利用者の、該撮像手段に対する相対的な位置を示す第１位置情報を取得する第１位置情報取得手段と、前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関して、該拠点内の前記表示領域の該撮像手段に対する相対的な位置を示す第２位置情報を取得する第２位置情報取得手段と、前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関して、該撮像手段によって撮像された画像に表れる該情報処理装置の利用者の、該拠点内の前記表示領域に対する相対的な位置を示す利用者位置情報を、前記第１位置情報と、前記第２位置情報と、に基づいて生成する生成手段と、前記情報処理装置に関する前記利用者位置情報を、他の前記情報処理装置に、該他の情報処理装置が設置された拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段と、を含むことを特徴とする。

また、本発明の一態様では、前記生成手段は、前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関して、該撮像手段によって撮像された画像に表れる該情報処理装置の利用者が共通の投影中心から該拠点内の前記表示領域に投影された場合の、該利用者の該表示表域に対する相対的な位置を示す情報を、前記第１位置情報と、前記第２位置情報と、に基づき、前記利用者位置情報として生成するようにしてもよい。

また、本発明の一態様では、前記情報処理装置は、該情報処理装置が設置された前記拠点内の前記表示領域に前記会議資料画像を表示させる表示手段と、前記送信手段により送信された、他の前記情報処理装置に関する前記利用者位置情報を受信する受信手段と、を含み、前記表示手段は、前記利用者位置情報が受信された場合、前記会議資料画像に前記他の情報処理装置の利用者に対応する前記利用者画像が配置された画像であって、該利用者画像が該利用者位置情報に基づいて定まる位置に配置された画像を、前記表示領域に表示させるようにしてもよい。

また、本発明に係る情報処理装置は、会議資料画像が表示される表示領域を含む拠点に設置され、前記拠点に設置された撮像手段によって撮像された画像に表れる利用者の、該撮像手段に対する相対的な位置を示す第１位置情報を取得する第１位置情報取得手段と、前記表示領域の前記撮像手段に対する相対的な位置を示す第２位置情報を取得する第２位置情報取得手段と、前記撮像手段によって撮像された画像に表れる前記利用者の、前記表示領域に対する相対的な位置を示す利用者位置情報を、前記第１位置情報と、前記第２位置情報と、に基づいて、生成する生成手段と、前記利用者位置情報を、他の拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段と、を含むことを特徴とする。

また、本発明に係るプログラムは、会議資料画像が表示される表示領域を含む拠点に設置されたコンピュータを情報処理装置として機能させるプログラムであって、前記拠点に設置された撮像手段によって撮像された画像に表れる利用者の、該撮像手段に対する相対的な位置を示す第１位置情報を取得する第１位置情報取得手段、前記表示領域の前記撮像手段に対する相対的な位置を示す第２位置情報を取得する第２位置情報取得手段、前記撮像手段によって撮像された画像に表れる前記利用者の、前記表示領域に対する相対的な位置を示す利用者位置情報を、前記第１位置情報と、前記第２位置情報と、に基づいて、生成する生成手段、前記利用者位置情報を、他の拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段、として前記コンピュータを機能させることを特徴とする。

なお、上記プログラムは、インターネットなどの通信ネットワークを介して提供されてもよいし、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な各種情報記録媒体に格納されて提供されてもよい。

また、上記プログラムは、コンピュータ読み取り可能な情報記録媒体に記憶されてもよい。情報記録媒体としては、例えば、磁気テープ、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＩＣカードなどを用いることができる。

請求項１、４，及び５の発明によれば、遠隔地間で共通の会議資料を材料に行われる遠隔会議において、説明者に対応する画像の位置が、会議資料が表示される表示領域に対する説明者の相対的な位置に合わせて調整されるようになる。

請求項２の発明によれば、本構成を有しない場合に比して、より円滑に遠隔会議が行われるようになる。

請求項３の発明によれば、本構成を有しない場合に比して、より円滑に遠隔会議が行われるようになる。

本実施形態に係る遠隔会議システムの構成図である。 遠隔会議について説明するための図である。 遠隔会議について説明するための図である。 遠隔会議について説明するための図である。 ステレオカメラのスクリーンに対する相対的な位置を示す図である。 ステレオカメラのスクリーンに対する相対的な位置を示す図である。 情報処理装置の構成を示す図である。 基準デプスマップの一例を示す図である。 遠隔会議システムにて実現される機能群を示す機能ブロック図である。 情報処理装置にて実行される処理の一例を示す図である。 投影の様子を示す図である。 投影の様子を示す図である。 情報処理装置にて実行される処理の一例を示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

［１.遠隔会議システムの構成］
図１は、本発明の実施形態に係る遠隔会議システム１の構成の一例を示す図である。同図に示すように、遠隔会議システム１は、複数の拠点の各々に設置された情報処理装置２を含む。ここでは、遠隔会議システム１が、ある企業の支社Ａの会議室Ａ（拠点）に設置された情報処理装置２Ａと、支社Ｂの会議室Ｂ（拠点）に設置された情報処理装置２Ｂと、支社Ｃの会議室Ｃ（拠点）に設置された情報処理装置２Ｃと、を含む場合を例に取り上げる。なお、情報処理装置２Ａ〜２Ｃを特に区別しない場合、単に「情報処理装置２」と記載する。

同図に示すように、各情報処理装置２は、ネットワークに接続されており、ネットワークを介してデータ授受を行えるようになっている。本実施形態では、情報処理装置２Ｃには、データ転送機能が実装されており、情報処理装置２Ｃは、ある情報処理装置２（例えば、情報処理装置２Ａ）から情報を受信した場合、他の情報処理装置２（例えば、情報処理装置２Ｂ）に該情報を転送するようになっている。

［２．遠隔会議の概要］
遠隔会議システム１では、各会議室に集まった複数のユーザの間で共通の会議資料を材料にして遠隔会議が行われる。

図２Ａ乃至図２Ｃは、遠隔会議について説明するための図である。図２Ａは、遠隔会議が行われているときの会議室Ａの様子を示す図であり、図２Ｂは、遠隔会議が行われているときの会議室Ｂの様子を示す図であり、図２Ｃは、遠隔会議が行われているときの会議室Ｃの様子を示す図である。

遠隔会議では、共通の会議資料画像３が各会議室内のスクリーン４（表示領域）に表示される。本実施形態では、各情報処理装置２には後述のプロジェクタ１６（表示手段）が備えられ、プロジェクタ１６が、会議資料画像３をスクリーン４に映し出すようになっている。なお、本実施形態の場合、スクリーン４は横長の矩形形状をしているものとする。

この会議資料画像３を材料にして、会議室Ａに集まったユーザと会議室Ｂに集まったユーザとの間で会議が行われる。例えば、図２Ａに示すように、会議室Ａのユーザの一人がスクリーン４の前に立って説明を行う。本実施形態では、会議室Ａには、ステレオカメラ５がスクリーン４に向けて設置されており、ステレオカメラ５により撮像されているユーザに対応するユーザ画像６（利用者画像）が、他の会議室において、会議資料画像３に重ね合わせて表示される（図２Ｂ参照）。

また、会議室Ｂにもステレオカメラ５がスクリーン４に向けて設置されており（図２Ｂ参照）、ステレオカメラ５により撮像されているユーザに対応するユーザ画像６が、他の会議室において、会議資料画像３に重ね合わせて表示される（図２Ｃ参照）。

例えば、図２Ｂに示す画像がスクリーン４に表示されている場合において、会議資料画像３の左隅にある記載に疑問をもった会議室Ｂのユーザがその記載のところまで身を乗り出してその意味について質問する場合を想定する。この場合、図２Ｃに示すように、会議室Ｃのスクリーン４には、会議室Ａのユーザに対応するユーザ画像６及び会議室Ｂのユーザに対応するユーザ画像６が会議資料画像３に重ね合わせて表示される。本実施形態では、会議室Ｃにはステレオカメラ５が設置されておらず、会議室Ｃに集まったユーザは、会議室Ａに集まったユーザと会議室Ｂに集まったユーザとの間で行われる討論の様子を、スクリーン４に表示される画像を通して静観する。

なお、本実施形態では、ステレオカメラ５は、スクリーン４内の基準位置（ここでは、中心点Ｏ）に向けて設置されている。また、本実施形態では、ステレオカメラ５は、会議室Ａではスクリーン４に向かって右側の位置に設置され、会議室Ｂでは、会議室Ａとは異なりスクリーン４に向かって左側の位置に設置されている。図３Ａ及び図３Ｂは、ステレオカメラ５のスクリーン４に対する相対的な位置を示す図であり、図３Ａは、会議室Ａを真上からみた様子を示し、図３Ｂは、会議室Ｂを真上からみた様子を示す。これらの図からわかるように、会議室Ａと会議室Ｂとでは、ステレオカメラ５のスクリーン４に対する相対的な位置が異なっている。

［３．情報処理装置の構成］
図４は、情報処理装置２の構成を示す図である。同図に示すように、情報処理装置２は、制御部１０と、記憶部１２と、補助記憶部１４と、プロジェクタ１６と、ネットワークインタフェース１８と、を含む。各部は、データバス２０を介してデータ授受可能になっている。情報処理装置２のうち、ステレオカメラ５（撮像手段）が設置されている会議室Ａ及び会議室Ｂに設置された情報処理装置２Ａ，２Ｂは、ステレオカメラ５に接続されている。

制御部１０は、例えばマイクロプロセッサである。制御部１０は、記憶部１２に記憶されるプログラムに従って動作する。このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体から提供されるものであってもよいし、ネットワーク等の通信網から提供されるものであってもよい。

記憶部１２は、例えばＲＡＭ及びＶＲＡＭである。記憶部１２は、各種情報を記憶する。例えば、上記プログラムやマイクロプロセッサによる各種情報処理のための情報を記憶する。また、記憶部１２（ＶＲＡＭ）には画像が描画される。

プロジェクタ１６は、記憶部１２（ＶＲＡＭ）に描画された画像をスクリーン４に映し出す。例えば、プロジェクタ１６（表示手段）は、記憶部１２に描画された会議資料画像３をスクリーン４に投影することにより、会議資料画像３をスクリーン４に表示させる。

ネットワークインタフェース１８は、例えばネットワークインタフェースカードである。ネットワークインタフェース１８は、制御部１０の指示に従いネットワークに情報を送信する。また、ネットワークインタフェース１８は、ネットワークから情報を受信する。例えば、ネットワークインタフェース１８（受信手段）は、後述の利用者位置情報をネットワークから受信する。

補助記憶部１４は、例えばハードディスクである。補助記憶部１４は、各種情報を記憶する。例えば、補助記憶部１４には、会議資料画像３が記憶される。例えば、情報処理装置２がステレオカメラ５に接続されている場合、補助記憶部１４には、基準デプスマップが予め記憶される。

ここで、基準デプスマップについて説明する。基準デプスマップは、スクリーン４の前に誰もいないときにステレオカメラ５によって撮像された画像の各画素（正確には、各画素の位置座標（ｘ、ｙ））と、該画素に写された被写体とステレオカメラ５との距離ｄと、を対応付けてなるデータであり、例えば、遠隔会議の開始前に予め生成される。

図５は、基準デプスマップの内容の一例を示す図である。ここでは、図５は、情報処理装置２Ａの補助記憶部１４に記憶されている基準デプスマップの内容を示す。点線で区画された領域は画素を示し、画素内の数字は、該画素に対応付けられた距離ｄの値を示している。また、ここでは、各画素に写された被写体の像も示している。

［４．遠隔会議システムで実現される機能］
図６は、遠隔会議システム１で実現される機能群を示す機能ブロック図である。同図に示すように、遠隔会議システム１では、第１位置情報取得部３０、第２位置情報取得部３２、生成部３４、及び送信部３６が実現される。これらの機能は、各情報処理装置２が上記プログラムに従って動作することにより実現される。

［４−１．第１位置情報取得部］
第１位置情報取得部３０（第１位置情報取得手段）は、ステレオカメラ５が設置されている拠点に設置された情報処理装置２（ここでは、情報処理装置２Ａ，２Ｂ）に関して、ステレオカメラ５によって撮像された画像に表れる該拠点のユーザの、ステレオカメラ５に対する相対的な位置を示す第１位置情報を取得する。

本実施形態の場合、第１位置情報取得部３０の機能のうち、情報処理装置２Ａに関して第１位置情報を取得する機能１（第１位置情報取得手段）が情報処理装置２Ａで実現され、情報処理装置２Ｂに関して第１位置情報を取得する機能２（第１位置情報取得手段）が情報処理装置２Ｂで実現される。この場合、機能１は、例えば情報処理装置２Ａの制御部１０を主として実現され、機能２は、例えば情報処理装置２Ｂの制御部１０を主として実現される。第１位置情報及び第１位置情報取得部３０の機能の詳細については後述する（図７のＳ１０２及びＳ１０３）。

［４−２．第２位置情報取得部］
第２位置情報取得部３２（第２位置情報取得手段）は、ステレオカメラ５が設置されている拠点に設置された情報処理装置２（ここでは、情報処理装置２Ａ，２Ｂ）に関して、該拠点内のスクリーン領域の該ステレオカメラ５に対する相対的な位置を示す第２位置情報を取得する。

本実施形態の場合、第２位置情報取得部３２の機能のうち、情報処理装置２Ａに関して第２位置情報を取得する機能１（第２位置情報取得手段）が情報処理装置２Ａで実現され、情報処理装置２Ｂに関して第２位置情報を取得する機能２（第２位置情報取得手段）が情報処理装置２Ｂで実現される。この場合、機能１は、例えば情報処理装置２Ａの制御部１０を主として実現され、機能２は、例えば情報処理装置２Ｂの制御部１０を主として実現される。第２位置情報及び第２位置情報取得部３２の機能の詳細については後述する（図７のＳ１０４）。

［４−３．生成部］
生成部３４（生成手段）は、ステレオカメラ５が設置されている拠点に設置された情報処理装置２（ここでは、情報処理装置２Ａ，２Ｂ）に関して、該ステレオカメラ５によって撮像された画像に表れる該拠点のユーザの、該拠点内のスクリーン領域に対する相対的な位置を示す利用者位置情報を、第１位置情報と、第２位置情報と、に基づいて生成する。

本実施形態の場合、生成部３４の機能のうち、情報処理装置２Ａに関して利用者位置情報を生成する機能１（生成手段）が情報処理装置２Ａで実現され、情報処理装置２Ｂに関して利用者位置情報を生成する機能２（生成手段）が情報処理装置２Ｂで実現される。この場合、機能１は、例えば情報処理装置２Ａの制御部１０を主として実現され、機能２は、例えば情報処理装置２Ｂの制御部１０を主として実現される。利用者位置情報及び生成部３４の機能の詳細については後述する（図７のＳ１０５）。

［４−４．送信部］
送信部３６（送信手段）は、ステレオカメラ５が設置されている拠点に設置された情報処理装置２（ここでは、情報処理装置２Ａ，２Ｂ）に関する上記利用者位置情報を、他の情報処理装置２に、該他の情報処理装置２が設置された拠点での会議資料画像３及びユーザ画像６の表示のため、送信する。

本実施形態の場合、送信部３６の機能のうち、情報処理装置２Ａに関する利用者位置情報を情報処理装置２Ｂ，２Ｃに送信する機能１（送信手段）が情報処理装置２Ａで実現され、情報処理装置２Ｂに関する利用者位置情報を情報処理装置２Ａ，２Ｃに送信する機能２（送信手段）が情報処理装置２Ｂで実現される。例えば、情報処理装置２Ａは、機能１に基づき、利用者位置情報を、上述のデータ転送機能を有する情報処理装置２Ｃに送信する。これにより、利用者位置情報が情報処理装置２Ｃに送信されるとともに、情報処理装置２Ｂにも情報処理装置２Ｃを介して送信される。なお、機能１は、例えば情報処理装置２Ａの制御部１０及びネットワークインタフェース１８を主として実現され、機能２は、例えば情報処理装置２Ｂの制御部１０及びネットワークインタフェース１８を主として実現される。

［５．処理１］
図７は、遠隔会議の開催中に遠隔会議システム１にて実行される処理の一例である。同図の処理は、ステレオカメラ５が設置されている会議室Ａ，Ｂに設置された情報処理装置２Ａ，２Ｂの各々にて所定周期毎に実行される。

まず、制御部１０は、ステレオカメラ５により撮像された画像を取得する（Ｓ１０１）。

そして、制御部１０（第１位置情報取得手段）は、ステレオカメラ５により撮像された画像にユーザが写っているか否かを判定する（Ｓ１０２）。

すなわち、制御部１０は、ステレオカメラ５により撮像された画像に基づき、比較対象デプスマップを生成する。すなわち、この画像に基づき、この画像の各画素と、該画素に写っている被写体の位置とステレオカメラ５との距離ｄと、を対応付けてなるデータを比較対象デプスマップとして生成する。

そして、制御部１０は、比較対象デブスマップと、基準デプスマップと、の比較の結果に基づき、ステレオカメラ５により撮像された画像にユーザが写っているか否かを判定する。ここで、「ステレオカメラ５により撮像された画像にユーザが写っている場合」とは、ここでは、「基準デプスマップと比較対象デプスマップとで画素毎に距離ｄの差Δｄを算出したときにΔｄの絶対値が所定値以上になった領域（以下、ユーザ領域）がある場合」である。

そして、ステレオカメラ５により撮像された画像にユーザが写っていない場合（Ｓ１０２のＮ）、制御部１０は、Ｓ１０１のステップに戻る。

一方、ステレオカメラ５により撮像された画像にユーザが写っている場合（Ｓ１０２のＹ）、制御部１０（第１位置情報取得手段）は、上記第１位置情報を取得する（Ｓ１０３）。

本実施形態の場合、制御部１０は、座標変換処理を行うことにより、ユーザ領域に含まれる各画素（以下、注目画素）の、ステレオカメラ５の位置を原点とする３次元のカメラ座標空間での位置を示すカメラ座標（ｘ１、ｙ１、ｚ１）を、第１位置情報として算出する。ここで、ｚ１軸方向はステレオカメラ５の視線方向であり、ｘ１軸方向、ｙ１軸方向、及びｚ１軸方向は、それぞれ他の軸方向と互いに直交する。例えば、位置座標が（ｘ、ｙ）であり距離ｄに対応付けられた注目画素のカメラ座標は、（ｘ、ｙ、ｄ）となる。これにより、注目画素がカメラ座標空間にマッピングされる。

また、制御部１０（第２位置情報取得手段）は、上記第２位置情報を取得する（Ｓ１０４）。本実施形態の場合、制御部１０は、ステレオカメラ５により撮像された画像のうちからスクリーン領域の各頂点が写っている画素を特定する。そして、制御部１０は、これらの画素についてＳ１０３と同様の座標変換処理を行うことにより、カメラ座標空間でのスクリーン領域の中心点Ｏの位置を示すカメラ座標を、第２位置情報として算出する。

そして、制御部１０（生成手段）は、第１位置情報と、第２位置情報と、に基づいて、上記利用者位置情報を取得する（Ｓ１０５）。

すなわち、制御部１０は、座標変換処理を行うことにより、第１位置情報及び第２位置情報に基づいて、ステレオカメラ５により撮像された画像に写っているユーザ（以下、注目ユーザ）の、中心点Ｏを原点とする３次元のスクリーン座標空間での位置を示すスクリーン座標（ｘ２、ｙ２、ｚ２）を算出する。具体的には、制御部１０は、各注目画素のスクリーン座標を算出する。これにより、注目画素がスクリーン座標空間にマッピングされる。ここで、ｘ２軸方向はスクリーン領域の長辺に平行な方向であり、ｙ２軸方向はスクリーン領域の短辺に平行な方向であり、ｚ２軸方向はスクリーン領域の法線方向である。

そして、制御部１０は、注目ユーザが各情報処理装置２に共通の投影中心からスクリーン領域に投影された場合の、注目ユーザのスクリーン領域内の位置を示すスクリーン座標を、利用者位置情報として算出する。すなわち、制御部１０は、各注目画素を共通の投影中心からスクリーン投影した場合の、該注目画素のスクリーン座標を利用者位置情報として算出する。

例えば、投影中心は無限遠であってもよい。この場合、投影前の注目画素のスクリーン座標が（ｘ、ｙ，ｚ）である場合、投影後の注目画素のスクリーン座標は（ｘ、ｙ、０）となる。図８Ａに、投影中心が無限遠である場合の投影の様子を横からみた図を示す。

また、例えば、投影中心は、スクリーン領域からｚ２軸の正方向又は負方向に予め定められた距離離れた位置Ｐであってもよい。図８Ｂに、スクリーン領域からｚ２軸の負方向に予め定められた距離離れた位置Ｐが投影中心である場合の投影の様子を上からみた図を示す。

また、例えば、生成部３４は、投影中心を無限遠として注目ユーザを投影した場合における注目ユーザのスクリーン領域内のｘ２軸方向の位置を示すｘ２座標値と、投影中心を上記位置Ｐとして注目ユーザを投影した場合における注目ユーザのスクリーン領域内のｙ２軸方向の位置を示すｙ２座標値と、を利用者位置情報として生成するようにしてもよい。例えば、投影中心を無限遠としたときの注目ユーザの投影後のｘ２座標値がｘであり、投影中心を上記位置Ｐとしたときの注目ユーザの投影後のｙ２座標値がｙである場合、スクリーン座標（ｘ、ｙ、０）が利用者位置情報として生成されることとなる。

利用者位置情報を生成すると、制御部１０（送信手段）は、利用者位置情報を他の情報処理装置２に送信する（Ｓ１０６）。本実施形態の場合、制御部１０は、利用者位置情報を、データ転送機能を有する情報処理装置２Ｃに送信する。なお、利用者位置情報には、各注目画素の色値（例えば、ＲＧＢ値）も含まれる。

［６．処理２］
図９は、遠隔会議の開催中に各情報処理装置２にて所定周期毎に実行される処理を示す図である。この処理は、上記プログラムに従って制御部１０が動作することにより、実行される。

すなわち、制御部１０は、ネットワークインタフェース１８（受信手段）により利用者位置情報が受信されたか否かを判定する（Ｓ２０１）。

利用者位置情報が受信されなかった場合（Ｓ２０１のＮ）、会議資料画像３を記憶部１２（ＶＲＡＭ）に描画する（Ｓ２０２）。そして、プロジェクタ１６が、記憶部１２に描画された会議資料画像３をスクリーン４に表示させる（Ｓ２０３）。

一方、利用者位置情報が受信された場合（Ｓ２０１のＹ）、制御部１０は、会議資料画像３に該利用位置情報の送信元の情報処理装置２のユーザに対応するユーザ画像６が配置された、合成画像を生成する（Ｓ２０４）。

具体的には、制御部１０は、会議資料画像３にユーザ画像６を配置することにより合成画像を生成する。この際、制御部１０は、利用者位置情報に基づいて定まる位置にユーザ画像６が配置されるようにする。

より詳しくは、制御部１０は、利用者位置情報に基づき、各注目画素を、該注目画素のｘ２座標値及びｙ２座標値により示される会議資料画像３上の位置にマッピングする。会議資料画像３上にマッピングされた注目画素群によって表される画像がユーザ画像６になる。

そして、プロジェクタ１６は、記憶部１２に描画された合成画像をスクリーン４に表示させる（Ｓ２０５）。

［７．まとめ］
以上のように、この遠隔会議システム１では、スクリーン４に対するユーザの相対的な位置に合わせてユーザ画像６の位置が調整されるようになる。

例えば、会議室Ａでは、ステレオカメラ５がスクリーン４の右側に設置されているので（図２Ａ参照）、スクリーン４に向かって右側にユーザが立っていても、ステレオカメラ５により撮像される画像ではユーザの画像が中央に写る場合がある。

この場合、ステレオカメラ５により撮像された画像におけるユーザの画像の位置をそのまま用いて合成画像を生成すると、スクリーン４に向かって右側に立っているユーザのユーザ画像６が、会議資料画像３の中央に配置されることとなってしまう。そのため、例えば、ユーザが会議資料の何について説明を行っているのか、ユーザがスクリーン４のどこを実際に指示しているのか等が、会議室Ｂ，Ｃのユーザにとってわかりにくくなる。この点、この遠隔会議システム１では、スクリーン４に向かって右側に立っているユーザのユーザ画像６が、会議資料画像３に向かって右側に表示されるようになるので、かかる事態が発生しにくくなる。

各情報処理装置２に共通の投影中心が用いられるので、各会議室でステレオカメラ５の設置位置や視線方向が異なっていても、異なる会議室のユーザのユーザ画像６が同時に表示された場合に、合成画像に違和感が生じなくなる。その結果として、遠隔会議の円滑化が図られる。

なお、本発明は、以上に説明した実施形態に限定されるものではない。

例えば、遠隔会議システム１を構成する情報処理装置２のうちの一が、第１位置情報取得部３０、第２位置情報取得部３２、生成部３４、及び送信部３６を含んでいてもよい。例えば、上記実施形態において、情報処理装置２Ｃが、これらの機能を含んでいる態様について説明する。

この態様の場合、情報処理装置２Ａ及び情報処理装置２Ｂは、それぞれ、補助記憶部１４に記憶される基準デプスマップ、比較対象デプスマップ、及びステレオカメラ５が撮像した画像を、情報処理装置２Ｃに送信する。こうした上で、情報処理装置２Ｃの制御部１０（第１位置情報取得部３０、第２位置情報取得部３２）が、これらに基づき、各情報処理装置２Ａ及び情報処理装置２Ｂの各々に関して、第１位置情報及び第２位置情報を取得する。そして、情報処理装置２Ｃの制御部１０（生成部３４、送信部３６）が、第１位置情報及び第２位置情報に基づき、各情報処理装置２に関して利用者位置情報を生成した後、該利用者位置情報を情報処理装置２Ａ、２Ｂに送信する。

また、第１位置情報取得部３０、第２位置情報取得部３２，生成部３４、及び送信部３６は、情報処理装置２以外の他の情報処理装置（例えば、サーバ）に含まれてもよい。この場合、遠隔会議システム１は、情報処理装置２に加え、上記他の情報処理装置を含むこととなる。

１ 遠隔会議システム、２ 情報処理装置、３ 会議資料画像、４ スクリーン、５ ステレオカメラ、６ ユーザ画像、１０ 制御部、１２ 記憶部、１４ 補助記憶部、１６ プロジェクタ、１８ ネットワークインタフェース、２０ データバス、３０ 第１位置情報取得部、３２ 第２位置情報取得部、３４ 生成部、３６ 送信部。

Claims (4)

1. 共通の会議資料画像が表示される表示領域を含む複数の拠点の各々に設置された情報処理装置と、
   前記複数の拠点のうち撮像手段が設置されている前記拠点に設置された前記情報処理装置に関し、該撮像手段によって撮像された画像に写っている利用者の該撮像手段に対する相対的な位置を該撮像手段の視線方向を含む３つの座標軸方向の座標値で表した第１位置情報を取得する第１位置情報取得手段と、
   前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関し、該拠点内の前記表示領域の該撮像手段に対する相対的な位置を前記３つの座標軸方向の座標値で表した第２位置情報を取得する第２位置情報取得手段と、
   前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関し、該撮像手段によって撮像された画像に写っている利用者の該拠点内の前記表示領域に対する相対的な位置を該表示領域の法線方向を含む３つの座標軸方向の座標値で表した第３位置情報を、座標変換処理を行うことにより、前記第１位置情報と、前記第２位置情報と、に基づいて算出する第３位置情報算出手段と、
   前記撮像手段が設置されている前記拠点に設置された前記情報処理装置に関し、該撮像手段によって撮像された画像に写っている利用者を共通の投影中心から該拠点内の前記表示領域に投影したときの投影位置を示す投影位置情報を、前記第３位置情報に基づいて算出する投影位置算出手段と、
   前記情報処理装置に関する前記投影位置情報を、他の前記情報処理装置に、該他の情報処理装置が設置された拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段と、
   を含むことを特徴とする遠隔会議システム。
2. 前記情報処理装置は、
   該情報処理装置が設置された前記拠点内の前記表示領域に前記会議資料画像を表示させる表示手段と、
   前記送信手段により送信された、他の前記情報処理装置に関する前記投影位置情報を受信する受信手段と、を含み、
   前記表示手段は、
   前記投影位置情報が受信された場合、前記会議資料画像に前記他の情報処理装置の利用者に対応する前記利用者画像が配置された画像であって、該利用者画像が該投影位置情報に基づいて定まる位置に配置された画像を、前記表示領域に表示させること、
   を特徴とする請求項１に記載の遠隔会議システム。
3. 会議資料画像が表示される表示領域を含む拠点に設置され、
   前記拠点に設置された撮像手段によって撮像された画像に写っている利用者の該撮像手段に対する相対的な位置を該撮像手段の視線方向を含む３つの座標軸方向の座標値で表した第１位置情報を取得する第１位置情報取得手段と、
   前記表示領域の前記撮像手段に対する相対的な位置を前記３つの座標軸方向の座標値で表した第２位置情報を取得する第２位置情報取得手段と、
   前記撮像手段によって撮像された画像に写っている前記利用者の前記表示領域に対する相対的な位置を該表示領域の法線方向を含む３つの座標軸方向の座標値で表した第３位置情報を、座標変換処理を行うことにより、前記第１位置情報と、前記第２位置情報と、に基づいて算出する第３位置情報算出手段と、
   前記撮像手段によって撮像された画像に写っている前記利用者を共通の投影中心から前記表示領域に投影したときの投影位置を示す投影位置情報を、前記第３位置情報に基づいて算出する投影位置算出手段と、
   前記投影位置情報を、他の拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段と、
   を含むことを特徴とする情報処理装置。
4. 会議資料画像が表示される表示領域を含む拠点に設置されたコンピュータを情報処理装置として機能させるプログラムであって、
   前記拠点に設置された撮像手段によって撮像された画像に写っている利用者の該撮像手段に対する相対的な位置を該撮像手段の視線方向を含む３つの座標軸方向の座標値で表した第１位置情報を取得する第１位置情報取得手段、
   前記表示領域の前記撮像手段に対する相対的な位置を前記３つの座標軸方向の座標値で表した第２位置情報を取得する第２位置情報取得手段、
   前記撮像手段によって撮像された画像に写っている前記利用者の前記表示領域に対する相対的な位置該表示領域の法線方向を含む３つの座標軸方向の座標値で表した第３位置情報を、座標変換処理を行うことにより、前記第１位置情報と、前記第２位置情報と、に基づいて、算出する第３位置情報算出手段、
   前記撮像手段によって撮像された画像に写っている前記利用者を共通の投影中心から前記表示領域に投影したときの投影位置を示す投影位置情報を、前記第３位置情報に基づいて算出する投影位置算出手段、
   前記投影位置情報を、他の拠点での前記会議資料画像及び前記利用者に対応する利用者画像の表示のため、送信する送信手段、
   として前記コンピュータを機能させるプログラム。
   
   

Images