JP6558933B2 - コミュニケーション支援システム、情報処理装置およびその制御方法 - Google Patents

Description

本発明は、地理的に異なる拠点に設置されたコミュニケーション端末が、各拠点で撮像された撮像画像と、ユーザが参照する参照画像とを、ネットワークを介して共有し、ユーザ間のコミュニケーションを支援するシステムに関する。

従来、地理的に異なる拠点に居るユーザが、あたかもガラス越しに対面しているかのような仮想環境を提供するコミュニケーション支援システムがある。

コミュニケーション支援システムには、特許文献１に開示されているものが知られている。特許文献１に記載のコミュニケーション支援システムは、他拠点のコミュニケーション端末と相互に通信を行うコミュニケーション端末と、半透明スクリーンの前に居る操作者を、半透明スクリーンの奥から撮像するカメラとを備える。コミュニケーション端末は、カメラによって撮像された撮像画像を、他拠点のコミュニケーション端末に送信するとともに、他拠点のコミュニケーション端末から撮像画像を受信する。コミュニケーション端末は、受信した撮像画像に対して鏡像化処理を施し、プロジェクタを介して半透明スクリーンに投影する。

各拠点のコミュニケーション端末は、各拠点の操作者が参照する参照画像を共有し、他拠点から受信した撮像画像と参照画像とを重畳表示することにより、各拠点の操作者がコミュニケーションを行うことができる。また、半透明スクリーンの近傍には検出装置が配置され、操作者が半透明スクリーンに対してタッチ操作などを行った場合、コミュニケーション端末は、検出された位置情報に基づいて軌跡画像を生成する。各拠点のコミュニケーション端末は、さらに軌跡画像を共有することにより、各拠点の操作者がお互いに参照画像への文字の書き込みや、参照画像の特定箇所への指示を参照しながらコミュニケーションを行うことができる。

このようなコミュニケーション支援システムにおいて、撮像画像に含まれる操作者の動作と、参照画像に含まれるコンテンツの視認性とを確保する必要がある。なぜなら、動作の視認性とコンテンツの視認性とが両立しない場合、各拠点の操作者同士が正確なコミュニケーションを行えない可能性が生じるからである。

図１（Ａ）は、従来技術におけるコミュニケーション支援システムにおいて、動作の視認性が損なわれている表示例である。図１（Ａ）の表示例において、操作者ＯＰは、参照画像ＲＥＦに含まれるコンテンツを指示する動作を行っている。このとき、参照画像ＲＥＦによって操作者ＯＰの指や手が隠れてしまい、操作者ＯＰがどのコンテンツを指示しているかが視認できない。

図１（Ｂ）は、従来技術におけるコミュニケーション支援システムにおいて、コンテンツの視認性が損なわれている表示例である。図１（Ｂ）の表示例において、操作者ＯＰは、参照画像ＲＥＦに含まれるコンテンツを指示する動作を行っている。このとき、動作の視認性を確保するために参照画像を半透明にすると、背景や操作者ＯＰの服色などによってコンテンツの視認性が損なわれてしまう。図１（Ｂ）の例では、参照画像ＲＥＦのコンテンツとして折れ線グラフが示されている。参照画像ＲＥＦは半透明なので、背景の一部である窓Ｗが透過表示される。その結果、背景の一部である窓Ｗと、折れ線グラフとが重なって表示されてしまうため、折れ線グラフの視認性が損なわれてしまっている。

スペイン国発明特許第２３９９２６３号細書

上記の通り、従来技術におけるコミュニケーション支援システムでは、コンテンツの視認性または操作者の動作の視認性が損なわれてしまい、各拠点の操作者同士が正確なコミュニケーションを行うことが難しかった。

本発明に係るコミュニケーション支援システムは、コミュニケーション支援システムであって、他拠点で撮像された撮像画像を、ネットワークを介して受信する受信手段と、前記受信手段が受信した前記撮像画像を表示する表示手段と、前記表示手段が前記撮像画像の上位レイヤに参照画像を重畳して表示する場合に、前記撮像画像から、前記参照画像が配置される領域の画像をトリミングするトリミング手段と、前記トリミング手段によってトリミングされたトリミング画像の中から、人物に対応する人物部位領域を特定する特定手段と、前記トリミング画像のうち、前記特定手段によって特定された前記人物部位領域とは異なる領域を全透明化する処理手段とを備え、前記表示手段は、前記撮像画像の上位レイヤに前記参照画像を重畳し、更に前記処理手段によって処理された前記トリミング画像を前記参照画像の上位レイヤに重畳した出力画像を表示することを特徴とする。

本発明によれば、コミュニケーション支援システムにでは、コンテンツの視認性を損なうことなく、操作者の動作の視認性を向上させることができ、各拠点の操作者同士が正確なコミュニケーションを行うことができる。

従来技術のコミュニケーション支援システムにおいて、視認性が損なわれている表示例を示す図である。 実施形態におけるコミュニケーション支援システムの全体構成例を示す図である。 実施形態におけるコミュニケーション端末のハードウェア構成例を示す図である。 実施形態における周辺装置の構成例を示す図である。 実施形態におけるコミュニケーション端末のソフトウェア機能構成を示すブロック図である。 実施形態において、コミュニケーション端末が制御する各種画像の例を示した図である。 実施形態における人体部位可視化処理の内容を示すフローチャートである。 実施形態における人体部位可視化処理の内容を示すフローチャートである。 実施形態における出力画像のレイヤ構成例を示す図である。 実施形態２における人体部位可視化処理の内容を示すフローチャートである。 実施形態２における出力画像のレイヤ構成例を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。ただし、これらの実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

［実施形態１］
図２は、本実施形態における、コミュニケーション支援システム１の全体構成例を示す図である。コミュニケーション支援システム１は、各拠点に設置されるコミュニケーション端末と周辺装置とによって構成され、各拠点のコミュニケーション端末はネットワークを介して相互に通信可能に接続される。例えば、拠点Ａに設置されるコミュニケーション端末１００は、周辺装置である半透明スクリーン１１１と、カメラ１１２と、プロジェクタ１１３と、マイクスピーカ１１４とインターフェース（以下「Ｉ／Ｆ」と記す）を介して相互に通信可能に接続される。

拠点Ｂにおいても、コミュニケーション端末２００および周辺装置は同様に構成され、本明細書においては特段の説明がない限り、コミュニケーション端末２００および周辺装置は拠点Ａのものと同じ構成であるものとして説明する。なお、本実施形態においては、コミュニケーション端末１００と周辺装置とがＩ／Ｆを介して接続される態様について説明するが、実施形態はこれに限られない。コミュニケーション端末１００が周辺装置を含む構成であってもよい。この場合、コミュニケーション端末１００は、例えばタブレットなどの一体型ハードウェアとして実現することができる。このようなコミュニケーション端末１００は、いわばコミュニケーション支援システム１を構成する情報処理装置といえる。

図３は、本実施形態における、コミュニケーション端末１００のハードウェア構成例を示すブロック図である。図３のコミュニケーション端末１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、外部接続Ｉ／Ｆ１０５、ネットワークＩ／Ｆ１０６とを含んで構成される。さらに、各構成部はバス１０７を介して通信可能に接続されている。

ＣＰＵ１０１は演算回路からなり、コミュニケーション端末１００を統括制御する。ＣＰＵ１０１はＲＯＭ１０３に記憶されたプログラムコードをＲＡＭ１０２に読み出し、種々の処理を実行する。ＲＯＭ１０３は記憶領域としての機能を有し、種々のプログラムが記憶される。ＨＤＤ１０４は、補助記憶領域としての機能を有し、種々のデータが記憶される。

外部接続Ｉ／Ｆ１０５は、コミュニケーション端末１００に種々の機器を接続するためのものである。本実施形態では、コミュニケーション端末１００は、外部接続Ｉ／Ｆ１０５を介して、周辺装置と接続することができる。ネットワークＩ／Ｆ１０６は、ＣＰＵ１０１の制御に基づいてネットワークＮＷとコミュニケーション端末１００とのデータの入出力を制御する。なお、ネットワークＩ／Ｆ１０６とネットワークＮＷとの接続においては、有線による接続または無線による接続のいずれの形態であってもよい。

図４は、本実施形態における、周辺装置の構成例を示す図である。前述の通り、本実施形態における周辺装置には、半透明スクリーン１１１と、カメラ１１２と、プロジェクタ１１３とが含まれる。さらに、本実施形態における周辺装置は、半透明スクリーン１１１の近傍に、デジタイザ１１５が配置される。なお、本実施形態では、半透明スクリーン１１１の前に居る人物として、操作者ＯＰ１が半透明スクリーン１１１前に立ち、コミュニケーション支援システム１に対する各種操作を行う態様について説明する。

カメラ１１２は、操作者ＯＰ１から視て半透明スクリーン１１１の奥に設置される。カメラ１１２は、半透明スクリーン１１１の前に立つ操作者ＯＰ１を撮像した撮像画像を、コミュニケーション端末１００に送信する。本実施形態では、カメラ１１２は複数で構成され、複数配置されたカメラ１１２がステレオ視を行うことにより、カメラ１１２から操作者ＯＰ１までの距離の値を含む距離画像を取得する。カメラ１１２は、撮像した距離画像を、撮像画像と同様にコミュニケーション端末１００に送信する。コミュニケーション端末１００は、カメラ１１２から撮像画像と距離画像とを取得する。変形例においては、周辺機器に距離センサを設け、距離センサから取得した距離情報と、カメラ１１２が撮像した撮像画像との座標系を幾何変換して対応付けられるように構成してもよい。

交点Ｏは、カメラ１１２から半透明スクリーン１１１への法線が半透明スクリーン１１１と交わる点を示している。カメラ１１２は、半透明スクリーン１１１と、操作者ＯＰ１と、操作者ＯＰ１が半透明スクリーン１１１をタッチした指先などの人体部位を撮像可能に配置される。

プロジェクタ１１３は、コミュニケーション端末１００から出力画像を受信して半透明スクリーン１１１に投影する。このようなプロジェクタ１１３は、いわばコミュニケーション端末１００から出力される画像を表示する表示装置であるといえる。また、コミュニケーション端末１００からの出力画像を表示するための装置は、例えばタッチスクリーンディスプレイなどでもよい。

デジタイザ１１５は、半透明スクリーン１１１の近傍に配置され、赤外光の送信器と受信器とを有する。デジタイザ１１５は、例えば、操作者ＯＰ１が半透明スクリーン１１１を指でタッチした際に、送信器から投射した赤外光が指で反射して再び受信器に到達するまでの時間に基づいて、タッチ位置の位置情報を検出する。本実施形態において、位置情報は、半透明スクリーン１１１の座標系において原点からの相対的な位置を示す座標情報として検出される。デジタイザ１１５は、検出された座標情報をコミュニケーション端末１００に送信する。

次に、コミュニケーション端末１００の起動から、各拠点のコミュニケーション端末が相互に通信可能になるまでの状態遷移について説明する。操作者ＯＰ１から電源投入指示を受け付けたコミュニケーション端末１００は、あらかじめＨＤＤ１０４に格納されたプログラムをＲＡＭ１０２に読み出して実行する。コミュニケーション端末１００は、あらかじめＨＤＤ１０４に格納されたコミュニケーション相手の接続先の候補を読み出し、接続先候補画面を作成してプロジェクタ１１３に送信する。プロジェクタ１１３は、受信した接続先候補画面を半透明スクリーン１１１に投影する。操作者ＯＰ１は、半透明スクリーン１１１に投影された接続先候補画面を見て、半透明スクリーン１１１に対してタッチ操作を行うことにより、コミュニケーション相手の接続先を指定することができる。なお、本実施形態において、接続先とは接続先候補のコミュニケーション端末を識別可能な文字列やアイコンであり、コミュニケーション端末と対応付けられたＩＰアドレスなどのネットワーク識別子が相当する。

デジタイザ１１５は、操作者ＯＰ１が半透明スクリーン１１１をタッチしたことを検出し、検出された座標情報をコミュニケーション端末１００へ送信する。コミュニケーション端末１００は受信した座標情報を元に、接続先候補画面のなかから操作者ＯＰ１が指定した接続先を決定する。コミュニケーション端末１００は決定した接続先のＩＰアドレスを参照し、ネットワークＩ／Ｆ１０６を介してコミュニケーション端末２００に接続する。以上により、拠点Ａと拠点Ｂとが相互に通信可能となり、操作者ＯＰ１が拠点Ｂの操作者ＯＰ２とあたかもガラス越しに対面しているかのような仮想環境下でコミュニケーションを行うことができる。

図５は、本実施形態における、コミュニケーション支援システム１のソフトウェア機能構成例を示すブロック図である。また、図６は、本実施形態における、コミュニケーション端末１００が制御する各種画像の例を示した図である。以下、図５および図６を用いてコミュニケーション支援システム１の処理の遷移について説明する。

図５に示される通り、本実施形態におけるコミュニケーション端末１００は、撮像部１２１と、検出部１２２と、送信画像生成部１２３と、送信部１２４と、受信部１２５と、出力画像生成部１２６と、出力部１２７と、表示部１２８とを備える。

撮像部１２１は、撮像画像と距離画像とを取得可能なカメラ１１２で実現される。検出部１２２は、半透明スクリーン１１１の近傍に配置され、半透明スクリーン１１１への操作に応じて座標情報を検出可能な、デジタイザ１１５で実現される。さらに、送信画像生成部１２３は、撮像部１２１が撮像した撮像画像および距離画像に対して鏡像化処理を施し、鏡像化された撮像画像および距離画像を取得する。送信画像生成部１２３が鏡像化処理を施す理由は以下の通りである。拠点Ｂの操作者ＯＰ２は、鏡像化された画像を見ることになるが、拠点Ａの操作者ＯＰ１が透明スクリーン１１１に対して「ＡＢＣ」などの文字を描く操作を行った場合、プロジェクタ２１３から反転された文字が表示されないようにするためである。

次に、送信画像生成部１２３は、取得した距離画像から、操作者ＯＰ１が撮像された人物領域とその他の領域とを区画する輪郭情報を導出する。具体的には、送信画像生成部１２３は、鏡像化された距離画像に対して所定の閾値を用いて二値化した二値画像を導出する。送信画像生成部１２３は、二値画像内の所定の閾値以下の領域から、人物領域とその他の領域とを区画する輪郭情報を導出する。ここで、例えば操作者ＯＰ１が指示棒のような物体を把持しており、カメラ１１２から当該物体までの距離の値が所定の閾値内である場合には、送信画像生成部１２３は、当該指示棒が撮像されている領域も人物領域に含まれるように輪郭情報を導出する。

送信部１２４は、ネットワークＩ／Ｆ１０６で実現され、ネットワークＮＷを介して通信可能に接続される他のコミュニケーション端末に対して、鏡像化された撮像画像、輪郭情報、および座標情報などを送信する。

受信部１２５は、ネットワークＩ／Ｆ１０６で実現され、ネットワークＮＷを介して通信可能に接続される他のコミュニケーション端末から、鏡像化された撮像画像、輪郭情報、および座標情報などを受信する。

図６（Ｂ）は、本実施形態において、コミュニケーション端末２００から受信した、鏡像化された撮像画像６２０の例を示す図である。図６（Ｂ）に示される通り、撮像画像６２０には、拠点Ｂにおける操作者ＯＰ２と、拠点Ｂの背景の一部である窓Ｗとが含まれる。なお、本実施形態では、コミュニケーション端末１００は鏡像化された撮像画像６２０を受信する態様について説明するが、実施形態はこれに限られない。別実施形態では、コミュニケーション端末１００は鏡像化されていない撮像画像と、鏡像化されていない距離画像とを受信し、受信した各画像に対して鏡像化処理を施す態様であってもよい。

操作者ＯＰ１は、半透明スクリーン１１１に表示される、グラフィカルユーザインターフェース（以下「ＧＵＩ」と記す）の参照画像選択画面（不図示）から、参照画像を選択することができる。操作者ＯＰ１からのタッチ操作を受け付けると、出力画像生成部１２６は、検出部１２２によって検出された座標情報に応じた参照画像を選択する。出力画像生成部１２６は、選択された参照画像をＨＤＤ１０４から読み出すとともに、参照画像を表示する参照画像表示位置を決定する。参照画像表示位置は、デスクトップ画像６１０の座標系における原点からのオフセット値によって特定される。参照画像を拠点Ｂの表示部でも表示するために、送信部１２４は、出力画像生成部１２６によって生成されたものと同じ参照画像と参照画像表示位置とをコミュニケーション端末２００に送信する。

図６（Ｃ）は、本実施形態において、出力画像生成部１２６がＨＤＤ１０４から読み出した参照画像６３０の例を示す図である。本例では、電子資料の画像である複数の折れ線グラフを含む参照画像６３０を例示したが、実施形態はこれに限られない。例えば文章からなる文書画像や、写真からなる写真画像など、種々の画像を参照画像６３０として用いることができる。

次に、出力画像生成部１２６は、検出部１２２によって検出された座標情報と、コミュニケーション端末２００から受信した座標情報とに基づいて、操作者ＯＰ１およびＯＰ２による操作の内容を表現する軌跡画像を生成する。

図６（Ｄ）は、本実施形態において、出力画像生成部１２６が生成した軌跡画像６４０の例を示す図である。本例では、操作者ＯＰ２が、参照画像内の折れ線グラフの特定の箇所を指示するために、半透明スクリーン２１１に描いた「矢印」の軌跡が、軌跡画像６４０に含まれている。本実施形態では、出力画像生成部１２６は、軌跡箇所を不透明とし、軌跡箇所以外の領域は透明とするように軌跡画像６４０を生成する。

次に、出力画像生成部１２６は、デスクトップ画像６１０と、撮像画像６２０と、参照画像６２０と、軌跡画像６４０とを重畳した出力画像を生成する。図６（Ｅ）は、本実施形態において、出力画像生成部１２６が生成した出力画像６５０の例を示す図である。本実施形態では、デスクトップ画像６１０、撮像画像６２０、参照画像６３０、および軌跡画像６４０はそれぞれレイヤ画像として操作することができる。また、デスクトップ画像６１０、撮像画像６２０、軌跡画像６４０の縦横の画素数は同じに構成される。本実施形態では、出力画像生成部１２６は、撮像画像６２０の上位レイヤに参照画像６３０を配置し、参照画像６３０の上位レイヤに軌跡画像６４０を配置する。

ここで、撮像画像６２０の上位レイヤに参照画像６３０を配置する際、参照画像６３０の表示領域内において操作者ＯＰ２の人物領域と重なる領域が存在する場合がある。例えば、操作者ＯＰ２が、指や手などの人体部位で参照画像に含まれる特定のコンテンツを指示する場合、参照画像６３０は撮像画像６２０の上位レイヤに配置されるため、指や手などの人体部位領域が、参照画像６３０の背後に隠れてしまう。そのため、本実施形態において、出力画像生成部１２６は、参照画像６３０の表示領域内において人物領域と重なる人体部位領域６５１に対して可視化処理を行う。具体的には、先ず出力画像生成部１２６は、輪郭情報に基づいて、撮像画像における操作者ＯＰ２が撮像されている人物領域を特定する。次に、出力画像生成部１２６は、参照画像６３０の表示領域内において人物領域を含む人体部位領域に対して可視化処理を施す。このとき、参照画像６３０の表示領域内における背景の窓Ｗについては、視認性を確保する必要が無いため、人体部位領域外に対して全透明化処理を施すなどの不可視化処理を行う。

可視化処理の結果、図６（Ｅ）に示される通り、参照画像６３０の表示領域内における人体部位領域６５１は半透明で出力され、窓Ｗは参照画像６３０の背後に隠れるように、出力画像６５０が生成される。

表示部１２８は、プロジェクタ１１３で実現される。プロジェクタ１１３は、出力部１２７を介して出力画像６５０を取得し、取得した出力画像６５０を半透明スクリーン１１１に投影する。

図６（Ｅ）に示される通り、出力画像６５０は、参照画像６３０のコンテンツの視認性を損なうことなく、操作者ＯＰ２の動作の視認性が向上している。そのため、拠点Ａの操作者ＯＰ１は、操作者ＯＰ２の動作と、参照画像６３０のコンテンツを参照して、拠点Ｂの操作者ＯＰ２と正確なコミュニケーションを行うことができる。

図７は、本実施形態における、人体部位可視化処理の内容を示すフローチャートである。なお、図７に示されるフローチャートによる処理は、ＨＤＤ１０４に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

Ｓ１０において、出力画像生成部１２６は、撮像画像を更新するか否かを判定する。出力画像生成部１２６は、コミュニケーション端末２００から撮像画像と輪郭情報とを受信したときに撮像画像を更新すると判定し（Ｓ１０：Ｙｅｓ）、受信した撮像画像と輪郭情報とをＲＡＭ１０２に格納し、Ｓ１００に移行する。一方、出力画像生成部１２６は、コミュニケーション端末２００から撮像画像と輪郭情報とを受信していない場合は撮像画像を更新しないと判定し（Ｓ１０：Ｎｏ）、Ｓ２０に移行する。

Ｓ２０において、出力画像生成部１２６は、参照画像を更新するか否かを判定する。出力画像生成部１２６は、透明スクリーン１１１に表示される各種ＧＵＩへのタッチ操作が検出され、参照画像の読み出し、表示、非表示、移動、拡大縮小、ページめくり等の指示を受け付けたときに参照画像を更新すると判定する。また、コミュニケーション端末２００から参照画像または参照画像表示位置を受信したときも参照画像を更新すると判定する。参照画像を更新すると判定した場合（Ｓ２０：Ｙｅｓ）、出力画像生成部１２６は参照画像と参照画像表示位置とを更新するとともに、それらをＲＡＭ１０２に格納する。送信部１２４は更新した参照画像と参照画像表示位置とをコミュニケーション端末２００に送信する。送信した後、Ｓ１００に移行する。参照画像を更新しないと判定した場合（Ｓ２０：Ｎｏ）、図７のフローチャートの処理を終了する。

Ｓ１００において、出力画像生成部１２６は、ＲＡＭ１０２から撮像画像と、輪郭情報と、参照画像と、参照画像表示位置とを読み出して人体部位可視化処理を行う。Ｓ１００の詳細な処理内容については後述する。

図８は、本実施形態における、出力画像生成部１２６の人体部位可視化処理（Ｓ１００）の内容を説明するフローチャートである。以下、図８を用いて人体部位可視化処理（Ｓ１００）の処理内容を説明する。なお、図８に示されるフローチャートによる処理は、ＨＤＤ１０４に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

Ｓ１０１において、出力画像生成部１２６は、コミュニケーション端末２００から受信した撮像画像６２０と輪郭情報とをＲＡＭ１０２から読み出す。

Ｓ１０２において、出力画像生成部１２６は、輪郭情報を用いて、撮像画像６２０内において操作者ＯＰ２が撮像されている人物領域を特定する。

Ｓ１０３において、出力画像生成部１２６は、撮像画像６２０を参照画像６３０の表示領域でトリミングしたトリミング画像９００を取得する。

Ｓ１０４において、出力画像生成部１２６は、トリミング画像９００における人体部位領域９０１に対して所定の透明度で透明化処理する。前述の通り、人体部位領域９０１とは、参照画像６３０の表示領域内において、操作者ＯＰ２の人物領域と重なる領域をいう。出力画像生成部１２６は、処理対象である人体部位領域９０１に対して透明化処理を施す。

Ｓ１０５において、出力画像生成部１２６は、トリミング画像９００における人体部位領域外９０２を全透明化処理する。

Ｓ１０６において、出力画像生成部１２６は、透明化処理された人体部位領域９０１を含むトリミング画像９００を、参照画像６３０の上位レイヤに配置する。

図９は、本実施形態における、出力画像６５０のレイヤ構成例を示す図である。デスクトップ画像６１０は、撮像画像６２０の縦横と同じ画素数によって構成され、出力画像６５０の最も下位のレイヤに配置される。デスクトップ画像６１０の上位レイヤには、撮像画像６２０が配置される。

参照画像６３０は、撮像画像６２０の上位レイヤに配置される。本実施形態において、参照画像６３０は、撮像画像６２０の縦横よりも少ない画素数によって構成され、撮像画像６２０の表示領域内における任意の位置に配置される。

トリミング画像９００は、透明化処理された人体部位領域９０１と、全透明化処理された人体部位領域外９０２とを含み、参照画像６３０の縦横と同じ画素数によって構成される。人体部位領域９０１に対して透明化処理が施されたトリミング画像９００は、参照画像６３０の上位レイヤに重合するように配置される。軌跡画像６４０は、デスクトップ画像６１０および撮像画像６２０の縦横と同じ画素数によって構成され、出力画像６５０のレイヤ構成の中で最も上位に配置される。

以上説明した通り、出力画像生部１２６は、図９に示される通りにレイヤ画像を配置することにより、出力画像６５０を生成する。出力画像生成部１２６は、生成した出力画像６５０を、出力部１２７を介して表示部１２８に表示することができる。かかる構成により、本実施形態におけるコミュニケーション端末１００は、参照画像６３０のコンテンツの視認性を損なうことなく、操作者ＯＰ２の動作の視認性を向上させることができ、各拠点の操作者同士が正確なコミュニケーションを行うことができる。

［実施形態２］
図１０は、本実施形態における、出力画像生成部１２６の人体部位可視化処理（Ｓ１００）の内容を説明するフローチャートである。以下、図１０を用いて人体部位可視化処理（Ｓ１００）の処理内容を説明する。なお、図１０に示されるフローチャートによる処理は、ＨＤＤ１０４に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

Ｓ１０１において、出力画像生成部１２６は、コミュニケーション端末２００から受信した撮像画像６２０と輪郭情報とをＲＡＭ１０２から読み出す。

Ｓ１００２において、出力画像生成部１２６は、参照画像１１１０をＲＡＭ１０２から読み出す。次いで、出力画像生成部１２６は、参照画像１１００における操作者ＯＰ２の人体部位領域１１０１に対応する領域に対して、所定の透明度で透明化処理を行う。前述の通り、人体部位領域１１０１とは、参照画像１１００の表示領域内において、操作者ＯＰ２の人物領域と重なる領域をいう。本実施形態では、人体部位領域１１０１に対して透明化処理を行うものではなく、参照画像１１００における人体部位領域１１０１に対応する領域を処理対象とし、当該領域に対して透明化処理を行う。

Ｓ１００３において、出力画像生成部１２６は、参照画像１１００における操作者ＯＰ２の人体部位領域外１１０２に対応する領域を不透明化処理する。Ｓ１００３においても同様に、人体部位領域外１１０２に対して不透明化処理を行うものではなく、参照画像１１００における人体部位領域外１１０２に対応する領域を特定し、当該領域に対して不透明化処理を行う。

図１１は、本実施形態における、出力画像６５０のレイヤ構成例を示す図である。デスクトップ画像６１０は、撮像画像６２０の縦横と同じ画素数によって構成され、出力画像６５０の最も下位のレイヤに配置される。デスクトップ画像６１０の上位レイヤには、撮像画像６２０が配置される。

参照画像１１００は、撮像画像６２０の上位レイヤに配置される。本実施形態において、参照画像１１００は、撮像画像６２０の縦横よりも少ない画素数によって構成され、撮像画像６２０の表示領域内における任意の位置に配置される。軌跡画像６４０は、デスクトップ画像６１０および撮像画像６２０の縦横と同じ画素数によって構成され、出力画像６５０のレイヤ構成の中で最も上位に配置される。

以上説明した通り、出力画像生部１２６は、図１１に示される通りにレイヤ画像を配置することにより、出力画像６５０を生成する。このように、本実施形態では、実施形態１におけるトリミング画像９００を生成することなく、可視化処理を施した人体部位領域１１０１を含む出力画像６５０を生成することができる。かかる構成により、本実施形態におけるコミュニケーション端末１００は、参照画像６３０のコンテンツの視認性を損なうことなく、操作者ＯＰ２の動作の視認性を向上させることができ、各拠点の操作者同士が正確なコミュニケーションを行うことができる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (18)

1. コミュニケーション支援システムであって、
   他拠点で撮像された撮像画像を、ネットワークを介して受信する受信手段と、
   前記受信手段が受信した前記撮像画像を表示する表示手段と、
   前記表示手段が前記撮像画像の上位レイヤに参照画像を重畳して表示する場合に、前記撮像画像から、前記参照画像が配置される領域の画像をトリミングするトリミング手段と、
   前記トリミング手段によってトリミングされたトリミング画像の中から、人物に対応する人物部位領域を特定する特定手段と、
   前記トリミング画像のうち、前記特定手段によって特定された前記人物部位領域とは異なる領域を全透明化する処理手段とを備え、
   前記表示手段は、前記撮像画像の上位レイヤに前記参照画像を重畳し、更に前記処理手段によって処理された前記トリミング画像を前記参照画像の上位レイヤに重畳した出力画像を表示することを特徴とするコミュニケーション支援システム。
2. 前記処理手段は、前記トリミング画像のうち、前記特定手段によって特定された前記人物部位領域を半透明化することを特徴とする請求項１に記載のコミュニケーション支援システム。
3. 前記特定手段は、前記撮像画像から人物に対応する人物領域を特定し、前記撮像画像から特定した人物領域のうち前記参照画像が配置される領域と重なる領域を、前記人物部位領域として特定することを特徴とする請求項１または２に記載のコミュニケーション支援システム。
4. 前記特定手段は、前記撮像画像において人物が把持している物体に対応する領域も、前記人物に対応する人物領域として特定することを特徴とする請求項３に記載のコミュニケーション支援システム。
5. 前記特定手段は、前記トリミング手段によってトリミングされたトリミング画像の中から、前記人物が把持している物体に対応する領域も前記人物部位領域として特定することを特徴とする請求項１乃至４のいずれか１項に記載のコミュニケーション支援システム。
6. 前記撮像画像は、被写体を撮像するカメラから当該被写体までの距離の値を含む距離画像であり、
   前記特定手段は、前記距離画像の距離の値に基づいて、前記人物部位領域を特定することを特徴とする請求項１乃至５のいずれか１項に記載のコミュニケーション支援システム。
7. 前記受信手段が受信した、他拠点で検出された位置情報に基づいて、前記人物による操作の内容を表現する軌跡画像を生成する画像生成手段をさらに備え、
   前記表示手段は、前記軌跡画像を前記トリミング画像の上位レイヤに重畳した前記出力画像を表示することを特徴とする請求項１乃至６のいずれか１項に記載のコミュニケーション支援システム。
8. 前記表示手段は、スクリーンに画像を投影するプロジェクタであることを特徴とする請求項１乃至７のいずれか１項に記載のコミュニケーション支援システム。
9. 前記参照画像は、電子資料、文書画像、写真画像のいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載のコミュニケーション支援システム。
10. コミュニケーション支援システムであって、
    他拠点で撮像された撮像画像を、ネットワークを介して受信する受信手段と、
    前記受信手段が受信した前記撮像画像を表示する表示手段と、
    前記表示手段が前記撮像画像の上位レイヤに参照画像を重畳して表示する場合に、前記参照画像の中から、人物に対応する人物領域を特定する特定手段と、
    前記参照画像のうち、前記特定手段によって特定された前記人物領域を半透明化する処理手段と、を備え、
    前記表示手段は、前記撮像画像の上位レイヤに前記参照画像を重畳した出力画像を表示することを特徴とするコミュニケーション支援システム。
11. コミュニケーション支援システムを構成する情報処理装置であって、
    他拠点で撮像された撮像画像を、ネットワークを介して受信する受信手段と、
    前記受信手段が受信した前記撮像画像から、参照画像が配置される領域の画像をトリミングするトリミング手段と、
    前記トリミング手段によってトリミングされたトリミング画像の中から、人物に対応する人物部位領域を特定する特定手段と、
    前記トリミング画像のうち、前記特定手段によって特定された前記人物部位領域とは異なる領域を全透明化する処理手段と、
    前記撮像画像の上位レイヤに前記参照画像を重畳し、更に前記処理手段によって処理された前記トリミング画像を前記参照画像の上位レイヤに重畳した、出力用の出力画像を生成する画像生成手段と、を備えることを特徴とする情報処理装置。
12. 前記処理手段は、前記トリミング画像のうち、前記特定手段によって特定された前記人物部位領域を半透明化することを特徴とする請求項１１に記載の情報処理装置。
13. 前記特定手段は、前記撮像画像から人物に対応する人物領域を特定し、前記撮像画像から特定した人物領域のうち前記参照画像と重なる領域を、前記人物部位領域として特定することを特徴とする請求項１１または１２に記載の情報処理装置。
14. 前記特定手段は、前記撮像画像において人物が把持している物体に対応する領域も、前記人物に対応する人物領域として特定することを特徴とする請求項１３に記載の情報処理装置。
15. 前記特定手段は、前記トリミング手段によってトリミングされたトリミング画像の中から、前記人物が把持している物体に対応する領域も前記人物部位領域として特定することを特徴とする請求項１１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記撮像画像は、被写体を撮像するカメラから当該被写体までの距離の値を含む距離画像であり、
    前記特定手段は、前記距離画像の距離の値に基づいて、前記人物部位領域を特定することを特徴とする請求項１１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記参照画像は、電子資料、文書画像、写真画像のいずれかであることを特徴とする請求項１１乃至１６のいずれか１項に記載の情報処理装置。
18. コミュニケーション支援システムを構成する情報処理装置の制御方法であって、
    他拠点で撮像された撮像画像を、ネットワークを介して受信する受信ステップと、
    前記受信ステップによって受信された前記撮像画像を表示する表示ステップと、
    前記表示ステップによって前記撮像画像の上位レイヤに参照画像が重畳して表示される場合に、前記撮像画像から、前記参照画像が配置される領域の画像をトリミングするトリミングステップと、
    前記トリミングステップによってトリミングされたトリミング画像の中から、人物に対応する人物領域を特定する特定ステップと、
    前記トリミング画像のうち、前記特定ステップによって特定された前記人物領域とは異なる領域を全透明化する処理ステップとを備え、
    前記表示ステップにおいて、前記撮像画像の上位レイヤに前記参照画像が重畳され、更に前記処理ステップによって処理された前記トリミング画像が前記参照画像の上位レイヤに重畳される出力画像が表示される
    ことを特徴とする情報処理装置の制御方法。