JP7351525B2 - システム - Google Patents

Description

本技術は、互いに離隔する空間を仮想的に接続する仮想的空間接続装置の技術に関する。

一方の空間で撮像された撮像画像及び収音された音声を、他方の空間に出力することで各空間にいるユーザが会話を行うテレビ電話などのコミュニケーション手段が知られている。

特許文献１では、撮像部で撮像したユーザの撮像画像を、コミュニケーション相手となる他のユーザのコミュニケーション装置へ送信するとともに、当該他のユーザのコミュニケーション装置から送信されてくる他のユーザの画像を受信して表示部に表示するコミュニケーション装置が開示されている。

特開２０１９－１４６１１８号公報

このようなコミュニケーション手段においては、ただ単に会話をすることのみならず、互いの空間の状況を各空間のユーザ同士が共有することで臨場感のある意思疎通を行うことが望まれている。また各空間にいるユーザの臨場感を高めるためには、一方の空間の状況を違和感なく他方の空間に投影することができるような撮像の工夫が重要となる。

そこで本発明では、互いに離隔した空間を仮想的に接続するにあたり、各空間の状況を違和感なく他方の空間に表示させることで臨場感を向上させ、互いの空間にいるユーザ同士の円滑な意思疎通を実現することを目的とする。

本発明に係る仮想的空間接続装置は、第１空間で第１撮像部が撮像した第１撮像画像信号を前記第１空間と離隔した第２空間側に送信し、前記第２空間側で第２撮像部が前記第２空間を撮像するための第２カメラ孔を有する第２被投射部に対して第２プロジェクタによって前記第１空間側から受信した前記第１撮像画像信号に基づく画像を投射し、前記第２空間で前記第２撮像部が撮像した第２撮像画像信号を前記第１空間側に送信し、前記第１空間側で前記第１撮像部が前記第１空間を撮像するための第１カメラ孔を有する第１被投射部に対して第１プロジェクタによって前記第２空間側から受信した前記第２撮像画像信号に基づく画像を投射することで、前記第１空間と前記第２空間を仮想的に接続するシステムに用いられる。
これにより、第１空間と第２空間の何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１空間と第２空間が仮想的に接続される。
ここで特定出力領域とは、第１被投射部における第１カメラ孔を含む領域をいう。

上記した本発明に係る仮想的空間接続装置は、前記第１撮像部による前記第１空間の撮像結果に基づいて前記第１被投射部における前記第１カメラ孔を含む特定出力領域を設定する領域設定部と、前記第１プロジェクタによる前記特定出力領域への投影画像の輝度値があらかじめ定められた特定値となるように前記第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する信号処理部と、前記処理後画像データに基づく画像投影を前記第１プロジェクタに実行させる機器制御部と、を備える。
これにより、第１被投射部に対して第１プロジェクタからの画像投影が行われる際に、第１カメラ孔に設けられた第１撮像部に入り込む第１プロジェクタからの投射光が軽減される。
ここで特定値とは、例えば第１被投射部を視認するユーザが特定出力領域を黒色と認識できる程度の輝度値である。
なお、特定値は特定出力領域を黒色と認識できる程度の輝度値に限定されず、第１レンズ孔に入り込む第１プロジェクタからの投射光により、第１撮像部による撮像画像にレンズフレアが発生しない程度の輝度値として設定されればよい。

上記した本発明に係る仮想的空間接続装置において、前記領域設定部は、前記第１撮像画像信号における撮像画像の輝度に基づく算出値と所定の閾値との比較に基づいて前記第１被投射部の前記特定出力領域を設定することが考えられる。
これにより、第１空間全体の明るさを加味して特定出力領域が設定される。

上記した本発明に係る仮想的空間接続装置は、前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定する状況判定部を有し、前記領域設定部は、前記状況判定部が判定した前記第１空間内の状況に応じて前記特定出力領域の設定処理を行うことが考えられる。
これにより、第１空間内の状況に応じて特定出力領域の再設定処理が行われる。

上記した本発明に係る仮想的空間接続装置において、前記状況判定部は、前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内に人がいるか否かを判定し、前記領域設定部は、前記第１空間内に人がいないと判定された場合に前記特定出力領域の設定処理を行うことが考えられる。
これにより、ユーザが第１空間内に入るまでの間に特定出力領域の設定が完了する。

本発明によれば、互いに離隔した空間にいるユーザ同士が円滑に意思疎通を行うことができる。

本発明の実施の形態における仮想的空間接続装置の概要を示す図である。 本実施の形態における第１空間の平面図の一部を模式的に示す図である。 本実施の形態における仮想的空間接続装置の構成を示す図である。 本実施の形態における仮想的空間接続装置の機能構成を示す図である。 本実施の形態の比較例における第１被投射部に投影された第２空間を示す図である。 本実施の形態における第１被投射部に投影された第２空間を示す図である。 本実施の形態における第１制御部の処理を示すフローチャートである。 本実施の形態における特定出力領域を設定するための投影画像の例を示す第１図である。 本実施の形態における特定出力領域を設定するための投影画像の例を示す第２図である。 本実施の形態における特定出力領域を設定するための投影画像の例を示す第３図である。 本実施の形態における特定出力領域を設定するための投影画像の例を示す第４図である。 本実施の形態における特定出力領域を設定するための投影画像の例を示す第５図である。

本発明の実施の形態では一例として、第１空間ＳＡと当該第１空間ＳＡから離隔した第２空間ＳＢとにおいて自空間に他方の空間の撮像画像及び音声を出力することで、第１空間ＳＡと第２空間ＳＢを仮想的に接続する仮想的空間接続装置１００について説明する。

本実施の形態における第１空間ＳＡと第２空間ＳＢは、例えば屋内であり、自宅の部屋と親戚の部屋、病院の診察室と自宅の部屋、会社のオフィスと自宅の部屋、自社のオフィスと他社のオフィスなど様々な組み合わせが考えられる。このように本実施の形態の仮想的空間接続装置１００は様々な空間を仮想的に接続することができる。

また以下の説明では、第１空間ＳＡ側で撮像された画像信号を第１撮像画像信号、第１空間ＳＡ側で収音された音声信号を第１音声信号と、第２空間ＳＢ側で撮像された画像信号を第２撮像画像信号、第２空間ＳＢ側で収音された音声信号を第２音声信号と表記する。

また第１空間ＳＡ側と第２空間側の構成は共通している。従って、第１空間ＳＡ側の構成を符号の末尾を「Ａ」とし、第２空間ＳＢ側の構成の末尾を「Ｂ」とすることで便宜的に各構成を区別するものとする。

なお、説明にあたり参照する図面に記載された各構成は、本発明に係る要部の構成のみ抽出したものであり、図面に記載された構成は、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。
また、以下で一度説明した構成は、それ以降同一の符号を付して説明を省略することがある。さらに、本発明は本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

以下、本発明の実施の形態を次の順序で説明する。
＜１．仮想的空間接続装置の概要＞
＜２．仮想的空間接続装置の構成＞
＜３．実施の形態の処理例＞
＜４．まとめ＞
＜５．変形例＞

＜１．仮想的空間接続装置の概要＞
本実施の形態における仮想的空間接続装置１００の概要について、図１から図３を参照して説明する。図１は、第１空間ＳＡ側から見て第２空間ＳＢが仮想的に接続された状態の一例を示している。ここでは、第１空間ＳＡと第２空間ＳＢが互いに異なる建物の一室である例について説明する。

第１空間ＳＡ側には、第１撮像部１Ａ、３つの第１マイクロフォン２１Ａ、第１プロジェクタ３１Ａ、第１被投射部３２Ａ、２つの第１スピーカ４１Ａ、図示しない第１演算処理部５Ａが配置される。

第１被投射部３２Ａは、例えば第１空間ＳＡの壁面に床面から天井にかけて設けられているスクリーンである。第１被投射部３２Ａには、第１空間ＳＡを撮像するための第１撮像部１Ａが配置される極小の第１カメラ孔３３Ａが設けられている。第１カメラ孔３３Ａは、例えば第１空間ＳＡのユーザＵ１の首の辺りの高さ（例えば床面から１４５ｃｍ程の高さ）であって、第１被投射部３２Ａの幅方向の中央部に設けられている。

なお、第１カメラ孔３３Ａを設ける位置は上記に限られず、第１撮像部１Ａによる第１空間ＳＡの撮像に支障のない範囲であれば、第１被投射部３２Ａの任意の位置に設けることができる。また本実施の形態の説明にあたり参照する図面においては、説明の便宜上、第１カメラ孔３３Ａを実際の寸法よりも大きく示している。

第１撮像部１Ａは例えば撮像レンズの幅が２ｍｍ程の小型デジタルカメラである。当該小型デジタルカメラは、第１カメラ孔３３Ａに小型デジタルカメラの撮像レンズが収まるように配置される。

第１撮像部１Ａにより第１被投射部３２Ａ側から第１空間ＳＡを撮像することで、第２空間ＳＢ側から第１空間ＳＡを見たような撮像を実現することができる。またユーザＵ１の首の辺りの高さに第１撮像部１Ａを設けることで、第２空間ＳＢ側のユーザＵ２と会話をしようとしている第１空間ＳＡ側のユーザＵ１を略正面から撮像することができる。これにより、第１空間ＳＡ側のユーザＵ１の目線が第２空間ＳＢ側のユーザＵ２に向いているような撮像が可能となる。

第１プロジェクタ３１Ａは、例えば第１被投射部３２Ａの側方に設けられている。ここで第１プロジェクタ３１Ａは、ユーザＵ１から見て第１被投射部３２Ａの右側方に設けられている。また第１プロジェクタ３１Ａは、第１被投射部３２Ａの高さ方向における中央付近の高さに設けられている。
なお、以降の説明においては、図１に示すユーザＵ１から第１被投射部３２Ａを見た方向を基準として上下左右方向を表記するものとする。

図２は第１空間ＳＡの平面図の一部を模式的に示している。
図２に示すように第１プロジェクタ３１Ａは、第２空間ＳＢ側での第２撮像画像信号に基づく画像を、第１被投射部３２Ａの側方から第１被投射部３２Ａに向けて投影する。これにより、第１被投射部３２Ａに第２空間ＳＢ側の様子が第１空間ＳＡ側に表示される。従って、第１空間ＳＡにいるユーザＵ１は、第２空間ＳＢ側の状況を視覚的にリアルタイムに認識することができる。
なお、図２では第１プロジェクタ３１Ａからの投射光を模式的に一点鎖線で示している。

第１被投射部３２Ａの左右側方にはそれぞれ第１スピーカ４１Ａが配置されている。ここではユーザＵ１から見て前方の第１被投射部３２Ａの左右側方に第１スピーカ４１Ａが配置されている。

第１スピーカ４１Ａにより、第２空間ＳＢ側での第２音声信号に基づく音声が出力され、第２空間ＳＢにいるユーザＵ２の声や第２空間ＳＢの環境音などが第１空間ＳＡ側に出力される。これにより、第１空間ＳＡにいるユーザＵ１は、第２空間ＳＢ側の状況を聴覚によりリアルタイムに認識することができる。

このように、第１被投射部３２Ａ及び第１スピーカ４１Ａにより、第１空間ＳＡにいるユーザＵ１が、視覚及び聴覚によりリアルタイムに第２空間ＳＢ側の状況を認識可能とすることで、ユーザＵ１は第２空間ＳＢがまるで隣の部屋として存在するかのような感覚を得ることができる。

図３に示す第１演算処理部５Ａは、例えばＰＣ（Personal Computer）などのコンピュータ装置として実現され、第１撮像部１Ａ、第１マイクロフォン２１Ａ、第１プロジェクタ３１Ａ、第１スピーカ４１Ａのそれぞれと有線又は無線により接続されている。

第１撮像部１Ａで撮像された第１撮像画像信号は、第１演算処理装置５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置装置５Ｂに送信される。
その後、第２空間ＳＢ側の図示しない第２プロジェクタ３１Ｂが、第１空間ＳＡ側の第１撮像画像信号に基づく画像投影を、図示しない第２被投射部３２Ｂに行うことで、第１空間ＳＡ側の撮像画像が第２区間ＳＢ側に表示される。このとき、リアルタイムな通信や相手がすぐそこにいる臨場感を強調するために、第１空間ＳＡ側の画像が等身大に表示される。
これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を視覚により認識することができる。

第１空間ＳＡには、３つの第１マイクロフォン２１Ａが、例えば第１空間ＳＡの天井に互いに離間して配置されている。
第１マイクロフォン２１Ａで収音された第１音声信号は、第１演算処理装置５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置装置５Ｂに送信され、第２空間ＳＢ側に配置された図示しない第２スピーカ４１Ｂにより、第１空間ＳＡ側の第１音声信号に基づく音声が出力される。これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を聴覚により認識することができる。

以上のように、本発明の実施の形態における仮想的空間接続装置１００においては、一方の空間で入力された撮像画像信号及び音声信号を他方の空間側で出力する処理を互いに連続して実行することで、第１空間ＳＡと第２空間ＳＢを仮想的に常時接続する。

これにより、ユーザＵ１とユーザＵ２は、互いの空間がまるで隣の部屋として存在するかのような感覚を得ることができる。また第１空間ＳＡ側のユーザＵ１と第２空間ＳＢ側のユーザＵ２とが互いの空間を認識したうえで、違和感のない会話、動作などによる意思疎通を行うことが可能となる。

なお、ここでの常時接続とは、ユーザの有無に関わらず撮像画像及び音声信号の相互通信が常時行われている状態をいい、またユーザによりいつでも音声や画像による通話が実行できる状態で相手先と接続されている状態をいう。

＜２．仮想的空間接続装置の構成＞
本発明の実施の形態としての仮想的空間接続装置１００の構成について、図１から図６を参照して説明する。

図３に示すように仮想的空間接続装置１００は、第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１表示ユニット３Ａ、第１音声出力ユニット４Ａ、第１演算処理部５Ａ、及び第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、第２演算処理部５Ｂを有している。

第１撮像部１Ａは第１空間ＳＡに設けられ、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型として構成された撮像素子を有する。この第１撮像部１Ａは、撮像素子で受光した光を光電変換し、第１撮像画像信号として第１演算処理部５Ａに出力する。

第１音声入力ユニット２Ａは第１空間ＳＡに設けられ、複数、例えば３つの第１マイクロフォン２１Ａを有している（図１参照）。第１音声入力ユニット２Ａは、各第１マイクロフォン２１Ａで収音した音声のアナログ信号としての第１音声信号を第１演算処理部５Ａに出力する。

第１表示ユニット３Ａは第１空間ＳＡに設けられ、例えば第１プロジェクタ３１Ａと第１被投射部３２Ａにより構成される。
第１プロジェクタ３１Ａは、光学レンズ部、液晶パネル、光源等により構成される投射部を有し、第１制御部５４Ａからの制御により、第１演算処理部５Ａから受信した画像信号に基づく画像投影を当該投射部により第１被投射部３２Ａに対して行う。当該画像信号は、第２演算処理部５Ｂから受信した第２空間ＳＢの第２撮像画像信号に基づく画像信号である。

第１プロジェクタ３１Ａとしては、例えばＬＣＯＳ(Liquid Crystal On Silicon)やＤＭＤ(Digital Micro mirror Device)などの画像形成素子上に表示した画像を、半導体レーザなどの投射光学系によってスクリーンに拡大して投射させるパネル方式プロジェクタなどの各種プロジェクタにより実現される。

第１音声出力ユニット４Ａは、例えば１又は複数の第１スピーカ４１Ａであり第１空間ＳＡに設けられている（図１参照）。第１音声出力ユニット４Ａは、第２空間ＳＢで収音された第２音声信号を受信した第１演算処理部５Ａから取得し、当該受信した第２音声信号に基づく音声出力を実行する。

第１演算処理部５Ａは、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａ、第１制御部５４Ａの機能を有する。

第１画像信号処理部５１Ａは、例えばＤＳＰ（Digital Signal Processor）やＶＤＰ（Video Display Processor）等により画像処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１画像信号処理部５１Ａは、デジタル信号としての第１撮像画像信号に対して輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種の信号処理を施す。

第１音声信号処理部５２Ａは、例えばＤＳＰにより音声処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１音声入力ユニット２Ａからのアナログ信号としての第１音声信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１音声信号処理部５２Ａは、デジタル信号としての第１音声信号に対して各種の信号処理を施す。例えば第１音声信号処理部５２Ａは、第１音声信号に対してビームフォーミング処理、ノイズリダクション処理、増幅処理や減衰処理、音質処理、コーデック処理等を行う。ここでビームフォーミング処理とは、音源から各第１マイクロフォン２１Ａへの音波伝搬がそれぞれ異なることに基づいて収音方向の指向性を制御する処理のことである。

第１通信部５３Ａは、第１制御部５４Ａからの制御により、第２空間ＳＢ側の第２演算処理部５ＢとネットワークＮＷを介した無線通信によるデータ通信を実行する。
第１通信部５３Ａは、第１空間ＳＡを撮像した第１撮像画像信号と第１空間ＳＡで収音した第１音声信号とを第１空間ＳＡと離隔した第２空間ＳＢ側の第２演算処理部５Ｂに送信する。また第１通信部５３Ａは、第２空間ＳＢを撮像した第２撮像画像信号と第２空間ＳＢで収音した第２音声信号とを第２空間ＳＢ側の第２演算処理部５Ｂから受信する。

第１制御部５４Ａは、例えばＧＰＵ（Graphics Processing Unit）やＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成される。

第１制御部５４Ａは、図４に示すように第１領域設定部５５Ａ、第１信号処理部５６Ａ、第１機器制御部５７Ａ、第１状況判定部５８Ａを有している。

第１領域設定部５５Ａは、第１撮像部１Ａによる第１空間ＳＡの撮像結果に基づいて第１被投射部３２Ａにおける第１カメラ孔３３Ａを含む特定出力領域ＡＲ（後述する図６の斜線で示すような部分）を設定する。特定出力領域ＡＲとは、第１被投射部３２Ａにおける第１カメラ孔３３Ａを含む領域をいう。

第１信号処理部５６Ａは、第１プロジェクタ３１Ａによる特定出力領域ＡＲへの投影画像の輝度値があらかじめ定められた特定値となるように第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する。
本実施の形態では、例えば第１被投射部３２Ａを視認するユーザＵ１が特定出力領域ＡＲを黒色と認識できる程度の輝度値を所定の値とし、当該所定の値以下となるように特定値を設定する。

第１機器制御部５７Ａは、上記の他に第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１プロジェクタ３１Ａ、第１音声出力ユニット４Ａ、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａの各種制御を実行する。

第１機器制御部５７Ａは、第１信号処理部５６Ａが生成した処理後画像データに基づく画像投影を第１プロジェクタ３１Ａに実行させる。これにより、第１プロジェクタ３１Ａにより第１被投射部３２Ａに第２空間ＳＢ側の画像が投影されるとともに、第１カメラ孔３３Ａを含む特定出力領域ＡＲが黒色に投影される。
従って、第１カメラ孔３３Ａに設けられている第１撮像部１Ａに入る込む第１プロジェクタ３１Ａからの投射光が抑止（軽減）される。

ここで第２空間ＳＢ側では、図２と同様に第２プロジェクタ３１Ｂが第２被投射部３２Ｂに向けて側方から画像投影を行うことで、第１空間ＳＡ側の様子が第２被投射部３２Ｂに表示される。
このとき第２空間ＳＢ側の第２撮像部１Ｂは第２カメラ孔３３Ｂに設けられているため、第２空間ＳＢ内を撮像する際に、第２プロジェクタ３１Ｂからの投射光が第２撮像部１Ｂに入り込むことになる。

その結果、第２撮像部１Ｂのレンズ自体の回折の影響、組み合わせレンズ同士、レンズと鏡筒、レンズと撮像素子、あるいは撮像素子の表面配線等で入射光が反射を繰り返すことなどにより、第１空間ＳＡ側で第２空間ＳＢの撮像画像を第１被投射部３２Ａに投射した際に、図５に示すようなレンズフレアＬＦ（図５の白色で示す部分）が発生してしまう。これは図示しないが第１空間ＳＡ側の撮像画像を第２空間ＳＢの第２被投射部３２Ｂに投射したときも同様である。

このようなレンズフレアＬＦの発生は、第１空間ＳＡ側のユーザＵ１と第２空間ＳＢ側のユーザＵ２とが互いの空間の様子を認識する際に違和感を与えてしまう。その結果、仮想的空間接続装置１００により実現される互いに離隔した空間がまるで隣の部屋として存在するかのような臨場感を損なわせることになる。

そこで本実施の形態では、第２空間ＳＢ側において第２撮像対象３２Ｂの第２カメラ孔３３Ｂを含む特定出力領域ＡＲを設定し、特定出力領域ＡＲが黒色に表示されるような画像投影を第２プロジェクタ３１Ｂに実行させる。
これにより、第２カメラ孔３３Ｂに設けられた第２撮像部１Ｂに入り込む第２プロジェクタ３１Ｂからの投射光が抑止（軽減）された結果、図６に示す第１空間ＳＡ側で表示された第２空間ＳＢ側の画像において、レンズフレアＬＦの発生が防止される。

これは第１空間ＳＡ側も同様であり、第１空間ＳＡ側において第１カメラ孔３３Ａを含む特定出力領域ＡＲを設定し、特定出力領域ＡＲが黒色に表示されるような画像投影を第１プロジェクタ３１Ａに実行させることで、第２空間ＳＢ側で投影される第１空間ＳＡ側を表示する画像において、レンズフレアＬＦの発生が防止される。

また第１状況判定部５８Ａは、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理を実行する。また第１状況判定部５８Ａは、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行する。

第１状況判定部５８Ａは、第１撮像画像信号や第１音声信号の解析処理結果に基づいて第１空間ＳＡ内の状況を判定する。
ここで空間内の状況とは、例えばユーザの声や静寂といった空間内の音声状況や、ユーザの存否、人数、位置、仕草、向きといった空間内のユーザの状況、空間内の明るさ、天候の状況などのことである。
なお、第１空間ＳＡの状況を判定するにあたっては、画像解析処理と音声解析処理の両方の解析結果を用いてもよいし、何れか一方の解析結果のみ用いてもよい。また何れか一方の解析結果を用いる場合、他方の解析処理を実行しないこととしてもよい。

なお、第１制御部５４Ａの各機能は、ソフトウェア処理として実現することができる。或いはハードウェア、又はソフトウェアとハードウェアの組み合わせにより実現することができる。例えば第１信号処理部５６Ａの処理は、第１画像信号処理部５１Ａにおいて実行する処理としてもよいし、第１状況判定部５８Ａの画像解析処理は第１画像信号処理部５１Ａにより、音声解析処理は第１音声信号処理部５２Ａにより実行する処理とすることもできる。

第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、及び第２演算処理部５Ｂの各構成は、上述した第１空間ＳＡ側の各構成の説明における、第１空間ＳＡと第２空間ＳＢ、第１撮像画像信号と第２撮像画像信号、第１音声信号と第２音声信号、第１撮像部１Ａと第２撮像部１Ｂ、第１音声入力ユニット２Ａと第２音声入力ユニット２Ｂ、第１表示ユニット３Ａと第２表示ユニット３Ｂ、第１音声出力ユニット４Ａと第２音声出力ユニット４Ｂ、第１演算処理部５Ａと第２演算処理部５Ｂ、第１マイクロフォン２１Ａと第２マイクロフォン２１Ｂ、第１プロジェクタ３１Ａと第２プロジェクタ３１Ｂ、第１被投射部３２Ａと第２被投射部３２Ｂ、第１カメラ孔３３Ａと第２カメラ孔３３Ｂ、第１スピーカ４１Ａと第２スピーカ４１Ｂ、第１画像信号処理部５１Ａと第２画像信号処理部５１Ｂ、第１音声信号処理部５２Ａと第２音声信号処理部５２Ｂ、第１通信部５３Ａと第２通信部５３Ｂ、第１制御部５４Ａと第２制御部５４Ｂ、を互いに読み替えることで説明される。
また第２制御部５４Ｂの各機能構成は、第１領域設定部５５Ａと第２領域設定部５５Ｂ、第１信号処理部５６Ａと第２信号処理部５６Ｂ、第１機器制御部５７Ａと第２機器制御部５７Ｂ、第１状況判定部５８Ａと第２状況判定部５８Ｂ、を互いに読み替えることで説明される。
従って、第２空間ＳＢ側の構成の説明を省略する。また、以降の説明において第１空間ＳＡ側と同様であることから第２空間ＳＢ側の構成や処理を省略する際には、上記のように読み替えるものとする。
以上の構成に基づいて本実施の形態が実現される。

＜３．実施の形態の処理例＞
本実施の形態を実現するための第１制御部５４Ａが実行する処理の一例について図７を参照して説明する。第１制御部５４Ａは、例えば図７に示す処理を実行することで図６に示すような特定出力領域ＡＲを設定する。

まず第１制御部５４Ａは、ステップＳ１０１において、図８に示す検索領域ＢＸを視認したユーザが黒色と認識するような輝度値となるように画像データを生成し（図８では黒色の投影部分を斜線で示すものとする。以降の図においても同様である）、当該生成した画像データに基づく画像投影出力を第１プロジェクタ３１Ａに実行させる。

ここで検索領域ＢＸとは、特定出力領域ＡＲを設定するときに第１カメラ孔３３Ａの位置を検索するために用いられる領域である。検索領域ＢＸは、第１被投射部３２Ａにおいて第１カメラ孔３３Ａが配置されると想定される範囲を含む領域として、ユーザの入力などによりあらかじめ設定される。

続いてステップＳ１０２において第１制御部５４Ａは、第１被投射部３２Ａに対して検索領域ＢＸが黒色に投影された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいて第１空間ＳＡの撮像画像のフレアメトリック値ＢＬを算出する。

フレアメトリック値ＢＬとは、検索領域ＢＸが黒色に投影された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいて算出された第１撮像部１Ａへの入射光量を示す値である。

フレアメトリック値ＢＬは、第１カメラ孔３３Ａを含む検索領域ＢＸが黒色に投影された状態を、第１撮像部１Ａによる撮像画像にレンズフレアＬＦが最も発生していない状態と仮定した場合の第１撮像部１Ａへの入射光量を示す値として算出される。

フレアメトリック値ＢＬは、例えば下記［式１］のアルゴリズムにより算出される。上記の状態で［式１］により算出された「flare_metric(I)」の値がフレアメトリック値ＢＬとして設定される。

flare_metric(I)=Sum_i(brightness_of_pixel_i*(distance_from_center^E)) ・・・［式１］

ここで［式１］の概要について説明する。
［式１］において「brightness_of_pixel_i」は、撮像画像から選択された画素の輝度（以下、選択画素輝度とも表記する）を示している。また「distance_from_center」は、当該選択された画素についての撮像画像の中心からの距離（以下、選択画素距離とも表記する）を示している。ここでの輝度は、例えば赤（Ｒ），青（Ｂ）．緑（Ｇ）の３要素のベクトル、もしくはその合算値などにより示されるものである。

［式１］では、選択画素距離に所定値Ｅを累乗した値を選択画素輝度に乗算することで、選択された画素について、撮像画像の中心からの距離に応じて重み付けを行った値を算出する。そして撮像画像の各画素において算出した重み付けを行った値の総和（［式１］では「Sum_i」で示される）によりフレアメトリック値ＢＬ（flare_metric(I)）を算出する。

次に第１制御部５４Ａは、ステップＳ１０３において、図９に示す検索領域ＢＸを視認するユーザが白色と認識するような輝度値となるように画像データを生成し、当該生成した画像データに基づく画像投影出力を第１プロジェクタ３１Ａに実行させる。

続いてステップＳ１０４において第１制御部５４Ａは、第１被投射部３２Ａに対して検索領域ＢＸが白色に投影された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいて第１空間ＳＡの撮像画像のフレアメトリック値ＷＨを算出する。

フレアメトリック値ＷＨとは、検索領域ＢＸが白色に投影された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいて算出された、第１撮像部１Ａへの入射光量を示す値である。

フレアメトリック値ＷＨは、第１カメラ孔３３Ａを含む検索領域ＢＸが白色に投影された状態を、第１撮像部１Ａによる撮像画像にレンズフレアＬＦが最も発生している状態と仮定した場合の第１撮像部１Ａへの入射光量を示す値として算出される。
なお、フレアメトリック値ＷＨは、検索領域ＢＸが白色に投影された状態において、上記［式１］のアルゴリズムにより算出される。

その後、第１制御部５４Ａは、ステップＳ１０５に処理を進め、算出したフレアメトリック値ＢＬ及びフレアメトリック値ＷＨに基づいて、第１撮像部１Ａによる撮像画像における微小なレンズフレアＬＦの発生を判定するための閾値ｔｈを算出する。
ここでフレアメトリック値ＢＬに乗算する係数を「ａ」、フレアメトリック値ＷＨに乗算する係数を「ｂ」、各係数の和を「ａ＋ｂ＝１」としたときに、閾値ｔｈの値は下記［式２］により算出される。

閾値ｔｈ＝ａ×（フレアメトリック値ＢＬ）＋ｂ×（フレアメトリック値ＷＨ） ・・・［式２］

第１制御部５４Ａは、第１撮像部１Ａによる第１撮像画像信号から算出された輝度に基づく算出値であるフレアメトリック値ＰＲと、閾値ｔｈとの比較に基づいて、第１撮像部１Ａによる撮像画像における微少なレンズフレアＬＦが発生したか否かを判定する。
第１制御部５４Ａは、例えば算出されたフレアメトリック値ＰＲが閾値ｔｈ以上となったことをもって撮像画像に微小なレンズフレアＬＦが発生したことを判定する。

第１制御部５４Ａは、上記［式２］において、例えばフレアメトリック値ＢＬの方が、フレアメトリック値ＷＨよりも乗算する係数の値が大きくなるように、即ち「ａ＞ｂ」となるように設定する。例えばフレアメトリック値ＢＬに「ａ＝０．８」を乗算した値と、フレアメトリック値ＷＨに「ｂ＝０．２」を乗算した値との和により閾値ｔｈを算出する。

このように、撮像画像にレンズフレアＬＦが最も発生していない状態（第１空間ＳＡ内が最も暗い状態）を示すフレアメトリック値ＢＬの閾値ｔｈに占める比重を大きくすることで、微小なレンズフレアの発生を検知する感度を高めることができる。

このように、第１空間ＳＡの撮像結果に基づき閾値ｔｈの設定処理を行うことで、ユーザＵ１の仮想的空間接続装置１００を使用する空間に適した閾値ｔｈを柔軟に設定することができる。従って、仮想的空間接続装置１００を使用する空間の状況を反映させた微小なレンズフレアの発生の判定精度を向上させることができる。

閾値ｔｈの設定が完了すると、第１制御部５４ＡはステップＳ１０６以降の処理において、閾値ｔｈに基づいて特定出力領域ＡＲを設定する処理を実行する。第１制御部５４Ａは、特定出力領域ＡＲの各端辺を検索領域ＢＸから特定することで特定出力領域ＡＲを設定する。

第１制御部５４Ａは、ステップＳ１０６において、検索領域ＢＸの上下左右の端辺のうち未設定の端辺を選択する。まず第１制御部５４Ａは、ステップＳ１０６において、例えば図８で示すように検索領域ＢＸの左端辺を端辺Ｌ０として設定する。

続いて第１制御部５４Ａは、ステップＳ１０７において、第１被投射部３２Ａの検索領域ＢＸが黒色に表示されるような画像投影を第１プロジェクタ３１Ａに実行させる。

次に第１制御部５４Ａは、ステップＳ１０８において、図１０に示すような試行領域ＷＡの設定を行う。
試行領域ＷＡは、検索領域ＢＸの一部として形成される。試行領域ＷＡは、検索領域ＢＸのうち、後述するフレアメトリック値ＰＲの算出にあたり白色に表示されるような画像投影が実行される領域である。

例えば検索領域ＢＸの左端辺Ｌ０に並行な辺を端辺Ｌｎとすると、第１制御部５４Ａは、検索領域ＢＸのうち左端辺Ｌ０と端辺Ｌｎで囲まれた領域を試行領域ＷＡとして設定する。なお、「ｎ」は正の整数である。
このとき端辺Ｌｎは、フレアメトリック値ＰＲの算出ごとに、端辺Ｌ１、Ｌ２、Ｌ３・・・の順に検索領域ＢＸの左端辺Ｌ０から右端辺に向かって移動する。例えば「ｎ＝１」とした場合、制御部５４Ａは、検索領域ＢＸのうち左端辺Ｌ０と端辺Ｌ１で囲まれた領域を試行領域ＷＡとして設定する。
第１制御部５４Ａは、試行領域ＷＡが白色に表示されるような画像投影を第１プロジェクタ３１Ａに実行させる。

このとき第１制御部５４Ａは、ステップＳ１０９に処理を進め、試行領域ＷＡが白色に投影された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいてフレアメトリック値ＰＲを算出する。フレアメトリック値ＰＲは、上述したフレアメトリック値ＢＬ及びフレアメトリック値ＷＨと同様に上記［式１］により算出する。

第１制御部５４Ａは、ステップＳ１１０において、フレアメトリック値ＰＲが閾値ｔｈ以上であるか否かを判定する。
フレアメトリック値ＰＲが閾値ｔｈ以上でない場合、第１制御部５４Ａは、第１撮像部１Ａによる撮像画像に微小なレンズフレアＬＦが発生していないものと判定する。そのため、第１制御部５４Ａは、端辺Ｌｎを特定出力領域ＡＲの端辺と設定せずにステップＳ１１１に処理を進める。

第１制御部５４Ａは、ステップＳ１１１において、端辺Ｌｎを右方向へ移動する。即ち、第１制御部５４Ａは、右方向へ移動した端辺Ｌ（ｎ＋１）を新たな端辺Ｌｎとして設定する。ここで端辺Ｌｎを端辺Ｌ（ｎ＋１）に移動することは、例えば端辺Ｌｎを１ピクセル移動することを意味する。なお、ここでの移動量は１ピクセルに限られず、複数ピクセルごとに移動してもよいし、移動ごとに移動量が異なっていてもよい。

その後、第１制御部５４Ａは、ステップＳ１１１からステップＳ１０７に処理を進める。第１制御部５４Ａは、ステップＳ１１０でフレアメトリック値ＰＲが閾値ｔｈ以上となるまで、ステップＳ１０７からＳ１１１までの処理を繰り返し実行する。
これにより、検索領域ＢＸにおける試行領域ＷＡの占める割合が、徐々に右方向に増加していくことになる。

一方、第１制御部５４Ａは、ステップＳ１１０において、フレアメトリック値ＰＲが閾値ｔｈ以上であると判定すると、第１撮像部１Ａによる撮像画像に微小なレンズフレアＬＦが発生していると判定する。
例えば図１１に示すように、白色に投影された試行領域ＷＡが第１カメラ孔３３Ａの左端部に近づいた結果、第１カメラ孔３３Ａに入り込む投射光が徐々に増加することによるものである。
このとき第１制御部５４ＡはステップＳ１１２に処理を進め、微小なレンズフレアＬＦの発生を検知した図１１に示すような端辺Ｌｎを特定出力領域ＡＲの左端辺として設定する。

そして第１制御部５４Ａは、特定出力領域ＡＲの左端辺を設定した後、ステップＳ１１３において、特定出力領域ＡＲの右端辺、上端辺及び下端辺といった全ての端辺が設定されるまでステップＳ１０６に処理を戻し、その後、ステップＳ１０６からＳ１１２までの処理を繰り返し実行する。

例えば第１制御部５４Ａは、ステップＳ１１３からＳ１０６に処理を進め、未設定である検索領域ＢＸの右端辺Ｒ０を選択する（図１２参照）。
また第１制御部５４Ａは、ステップＳ１０６からＳ１１２の処理において、フレアメトリック値ＰＲが閾値ｔｈ以上となるまで、右端辺Ｒ０と、当該右端辺Ｒ０の左側に並行の端辺Ｒｎとに囲まれた試行領域ＷＡを徐々に増加させる。ここで第１制御部５４Ａは、フレアメトリック値ＰＲが閾値ｔｈ以上となると端辺Ｒｎを特定出力領域ＡＲの右端辺として設定する。
そして第１制御部５４Ａは、ステップＳ１１３に処理を進める。

また第１制御部５４Ａは、再度ステップＳ１１３からＳ１０６に処理を進め、未設定である検索領域ＢＸの上端辺Ｐ０を選択する。
第１制御部５４Ａは、ステップＳ１０６からＳ１１２の処理において、フレアメトリック値ＰＲが閾値ｔｈ以上となるまで、上端辺Ｐ０と、当該上端辺Ｐ０の下側に並行の端辺Ｐｎに囲まれた試行領域ＷＡを徐々に増加させる。ここで第１制御部５４Ａは、フレアメトリック値ＰＲが閾値ｔｈ以上となると端辺Ｐｎを特定出力領域ＡＲの上端辺として設定する。
そして第１制御部５４Ａは、ステップＳ１１３に処理を進める。

最後に第１制御部５４Ａは、ステップＳ１１３からＳ１０６に処理を進め、未設定である検索領域ＢＸの下端辺Ｄ０を選択する。
第１制御部５４Ａは、ステップＳ１０６からＳ１１２の処理において、フレアメトリック値ＰＲが閾値ｔｈ以上となるまで、下端辺Ｄ０と当該下端辺Ｄ０の上側に並行の端辺Ｄｎに囲まれた試行領域ＷＡを徐々に増加させる。ここで第１制御部５４Ａは、フレアメトリック値ＰＲが閾値ｔｈ以上となると端辺Ｄｎを特定出力領域ＡＲの下端辺として設定する。
そして第１制御部５４Ａは、ステップＳ１１３に処理を進める。

以上のように第１制御部５４Ａは、いわゆる線形検索を用いて特定出力領域ＡＲの各端辺を設定する。
第１制御部５４Ａは、ステップＳ１１３において特定出力領域ＡＲの全ての端辺を設定することにより、図１２に示すような検索領域ＢＸにおける特定出力領域ＡＲの位置を特定すると、第１制御部５４Ａは図７に示す処理を終了する。
第１制御部５４Ａは、図７に示す処理を例えば仮想的空間接続装置１００における第１演算処理部５Ａの起動時やユーザの操作入力などにより実行する。当該処理の他の実行タイミングについては後述する。

なお、本実施の形態では、特定出力領域ＡＲの各端辺の設定手法として線形検索を用いたが、他にも例えば二分検索の手法を用いることが可能である。
またここでは一例として、特定出力領域ＡＲの端辺を左端辺、右端辺、上端辺、下端辺の順に設定したが、当該設定の順番はこれに限られず、任意の順番に端辺を設定することが可能である。

図７の処理により特定出力領域ＡＲを設定した状態において、第１制御部５４Ａは、第１プロジェクタ３１Ａによる特定出力領域ＡＲへの投影画像の輝度値があらかじめ定められた特定値となるように第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する。
そして第１制御部５４Ａは、当該処理後画像データに基づく特定出力領域ＡＲへの投射出力を第１プロジェクタ３１Ａに実行させる。
これにより、特定出力領域ＡＲを黒色に投影した第２空間ＳＢ側の撮像画像が第１空間ＳＡ側の第１被投射部３２Ａに表示される。特定出力領域ＡＲを黒色に投影することで、第１レンズ孔３３Ａに第１プロジェクタ３１Ａからの投射光が入り込むことを軽減させ、第１撮像部１Ａによる撮像画像にレンズフレアＬＦが発生することを抑止（軽減）することができる。

なお、本実施の形態における特定値は、ユーザが特定出力領域ＳＡを黒色と認識できる程度の輝度値に限定されず、第１レンズ孔３３Ａに入り込む第１プロジェクタ３１Ａからの投射光により、第１撮像部１Ａによる撮像画像にレンズフレアが発生しない程度の輝度値として設定されればよい。従って、ユーザが特定出力領域ＳＡを例えば青色や緑色に認識できる程度の輝度値であってもよい。

ところで、機器自体の振動や地震等の外的要因などにより、第１空間ＳＡ内に設けられた第１プロジェクタ３１Ａの位置がずれることがある。すると、現在設定されている特定出力領域ＡＲと実際の第１カメラ孔３３Ａの位置にずれが生じてしまう。
このような場合、第１カメラ孔３３Ａに第１プロジェクタ３１Ａからの投射光が入り込むことによるレンズフレアＬＦの発生を継続して抑制（軽減）するためには、位置ずれ後の第１プロジェクタ３１Ａと第１カメラ孔３３Ａの位置関係に基づいて特定出力領域ＡＲを再設定する必要がある。
そこで第１制御部５４Ａは、図７の処理を各種条件に応じて実行し、適宜、特定出力領域ＡＲの再設定を行う。

例えば第１制御部５４Ａは、「５０分」「３時間」などの所定の時間経過ごとや、「午後１１時」「午前４時」などの所定の時間帯など、定期的に特定出力領域ＡＲの再設定を行うことができる。

また、このような特定出力領域ＡＲの設定処理を行う際には、第１被投射部３２Ａへの第２空間ＳＢ側の画像投影中に、例えば検索領域ＢＸの白黒の矩形の投影が映り込むことになり、第２空間ＳＢの投影画像を見ている第１空間ＳＡ側のユーザＵ１に違和感を与えるおそれがある。

そこで第１制御部５４Ａは、例えばユーザＵ１が第１空間ＳＡにおいてユーザＵ１が第２空間ＳＢ側のユーザＵ２とコミュニケーションをとっていない可能性の高い深夜時間帯に図７の処理を行い、特定出力領域ＡＲを設定する。このようにユーザＵ１が仮想的空間接続装置１００を利用しないと想定される時間帯に図７の処理を行うことで、ユーザＵ１に違和感を与えずに特定出力領域ＡＲの設定処理を行うことができる。

また第１制御部５４Ａは、第１撮像画像信号や第１音声信号の解析処理結果などに基づいて第１空間ＳＡ内の状況を判定する。そして第１制御部５４Ａは、第１空間ＳＡ内の状況に応じて特定出力領域ＡＲの設定処理を実行する。
例えば第１制御部５４Ａは、第１空間ＳＡ内の状況として、第１撮像画像信号や第１音声信号の解析処理結果から第１空間ＳＡ内に人がいるか否かを判定する。そして第１制御部５４Ａは、前記第１空間ＳＡ内にユーザＵ１がいないと判定した場合に特定出力領域ＡＲの設定を行う。
これにより、ユーザＵ１が第１空間ＳＡ内に入るまでの間に特定出力領域ＡＲの設定が完了しているため、ユーザＵ１に違和感を与えずに特定出力領域ＡＲの設定処理を行うことができる。

第１制御部５４Ａは、第１撮像部１Ａからの第１撮像画像信号に基づく画像解析処理を各フレーム単位で実行する。第１制御部５４Ａは、第１撮像画像信号に基づく画像解析処理により第１空間ＳＡ内におけるユーザＵ１の検出を行う。
画像解析処理としては、パターンマッチングの手法でユーザＵ１の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体からユーザＵ１を検出することなども考えられる。

また第１制御部５４Ａは、第１音声入力ユニット２Ａから受信した第１音声信号に基づく音声解析処理を実行する。第１制御部５４Ａは、音声解析処理を行うことでユーザＵ１の話し声、第１空間ＳＡ内の環境音などの音声種別情報を取得し、ユーザＵ１の話し声の有無に応じてユーザＵ１の検出を行う。

また第１制御部５４Ａは、第１空間ＳＡへの画像投影において６０ｆｐｓ内の１フレーム間で図７の処理を実行することもできる。これにより、図７の処理において第１被投射部３２Ａに投影される検索領域ＢＸの白黒の矩形をユーザＵ１に認識されづらくなる。従って、これによってもユーザＵ１に違和感を与えずに特定出力領域ＡＲの設定処理を行うことができる。
以上により、本実施の形態における第１制御部５４Ａの処理が実現される。
なお、本実施の形態では第２制御部５４Ｂも上述した処理と同様の処理を実行する。従って、第２制御部５４Ｂの処理については説明を省略する。

＜４．まとめ＞
以上の実施の形態の仮想的空間接続装置１００は、第１空間ＳＡで第１撮像部１Ａが撮像した第１撮像画像信号を第１空間ＳＡと離隔した第２空間ＳＢ側に送信し、第２空間ＳＢ側で第２撮像部１Ｂが第２空間ＳＢを撮像するための第２カメラ孔３３Ｂを有する第２被投射部３２Ｂに対して第２プロジェクタ３１Ｂによって第１空間ＳＡ側から受信した第１撮像画像信号に基づく画像を投射し、第２空間ＳＢで第２撮像部１Ｂが撮像した第２撮像画像信号を第１空間ＳＡ側に送信し、第１空間ＳＡ側で第１撮像部１Ａが第１空間ＳＡを撮像するための第１カメラ孔３３Ａを有する第１被投射部３２Ａに対して第１プロジェクタ３１Ａによって第２空間ＳＢ側から受信した第２撮像画像信号に基づく画像を投射することで、第１空間ＳＡと第２空間ＳＢを仮想的に接続するシステムに用いられる（図１及び図３等参照）。
これにより、第１空間ＳＡと第２空間ＳＢの何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１空間ＳＡと第２空間ＳＢが仮想的に接続される。
従って、互いに離隔する空間を仮想的に接続することにより、例えば自宅の一室と勤務先のオフィスといった互いに離れた場所にいるユーザＵ１とユーザＵ２が互いの空間を擬似的に共有することができ、互いに意思疎通を図ることができる。

実施の形態の仮想的空間接続装置１００は、第１撮像部１Ａによる第１空間ＳＡの撮像結果に基づいて第１被投射部３２Ａにおける第１カメラ孔３３Ａを含む特定出力領域ＡＲを設定する領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）と、第１プロジェクタ３１Ａによる特定出力領域ＡＲへの投影画像の輝度値があらかじめ定められた特定値となるように第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する信号処理部（第１信号処理部５６Ａ又は第２信号処理部５６Ｂ）と、当該処理後画像データに基づく画像投影を第１プロジェクタ３１Ａに実行させる機器制御部（第１機器制御部５７Ａ又は第２機器制御部５７Ｂ）と、を備える（図４及び図７等参照）。
これにより、第１被投射部３２Ａに対して第１プロジェクタ３１Ａからの画像投影が行われる際に、第１カメラ孔３３Ａに設けられた第１撮像部１Ａに入り込む第１プロジェクタ３１Ａからの投射光が軽減される。
従って、第１撮像部１Ａにより撮像された第１空間ＳＡの撮像画像におけるレンズフレアＬＦの発生を抑止（軽減）することができる。そのため、ユーザＵ２に違和感を与えないような第１空間ＳＡ側の画像を第２空間ＳＢ側に表示することができる。

また仮想的空間接続装置１００は、第２撮像部１Ｂによる第２空間ＳＢの撮像結果に基づいて第２被投射部３２Ｂにおける第２カメラ孔３３Ｂを含む特定出力領域ＡＲを設定する領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）と、第２プロジェクタ３１Ｂによる特定出力領域ＡＲへの投影画像の輝度値があらかじめ定められた特定値となるように第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する信号処理部（第１信号処理部５６Ａ又は第２信号処理部５６Ｂ）と、当該処理後画像データに基づく画像投影を第２プロジェクタ３１Ｂに実行させる機器制御部（第１機器制御部５７Ａ又は第２機器制御部５７Ｂ）と、を備える（図４及び図７等参照）。
これにより、第１空間ＳＡ側と同様に、第２空間ＳＢ側の第２撮像部１Ｂに入り込む第２プロジェクタ３１Ｂからの投射光も軽減され、第２撮像部１Ｂにより撮像された第２空間ＳＢの撮像画像におけるレンズフレアＬＦの発生を抑止（軽減）することができる。従って、同様にユーザＵ１に違和感を与えないような第２空間ＳＢ側の画像を第１空間ＳＡ側に表示することもできる。
以上により、互いに離隔する第１空間ＳＡと第２空間ＳＢをより自然に仮想接続することが可能となり、各空間のユーザが互いにより臨場感のある円滑な意思疎通を行うことができる。

ここで、あらかじめ定められた特定値は、特定出力領域ＡＲにおける輝度値が所定の値以下となるような値とされる。例えば第１被投射部３２Ａを視認するユーザＵ１が特定出力領域ＡＲを黒色と認識できる程度の輝度値を所定の値とし、当該所定の値以下となるように特定値を設定する。
これにより、特定出力領域ＡＲが黒色となるような画像投影が行われることで、撮像画像におけるレンズフレアＬＦの発生を抑止（軽減）することができる。

実施の形態の仮想的空間接続装置１００において、領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、第１撮像画像信号における撮像画像の輝度に基づく算出値（フレアメトリック値）と所定の閾値ｔｈとの比較に基づいて第１被投射部３２Ａの特定出力領域ＡＲを設定する（図７のＳ１１０等参照）。
これにより、第１空間ＳＡ全体の明るさを加味して特定出力領域ＡＲが設定される。
従って、第１空間ＳＡの状況に適した特定出力領域ＡＲを設定することが可能となり、より効果的に第１空間ＳＡの撮像画像におけるレンズフレアＬＦの発生を抑止（軽減）することができる。

また仮想的空間接続装置１００において領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、同様に第２撮像画像信号における撮像画像の輝度に基づく算出値と所定の閾値ｔｈとの比較に基づいて第２被投射部３２Ｂの特定出力領域ＡＲを設定する（図７のＳ１１０等参照）。
これにより、第２空間ＳＢ全体の明るさを加味して特定出力領域ＡＲが設定され、同様に第２空間ＳＢの撮像画像におけるレンズフレアＬＦの発生を抑止（軽減）することができる。

実施の形態の仮想的空間接続装置１００は、第１撮像画像信号の解析処理結果に基づいて第１空間ＳＡ内の状況を判定する状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）を有し、領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）が判定した第１空間ＳＡ内の状況に応じて特定出力領域ＡＲの設定処理を行う（図３及び図７等参照）。
これにより、第１空間ＳＡ内の状況に応じて特定出力領域ＡＲの再設定処理が行われる。
従って、例えば機器自体の振動や地震等の外的要因などにより、現在設定されている特定出力領域ＡＲと実際の第１カメラ孔３３Ａの位置にずれが生じてしまった場合であっても、適宜、特定出力領域ＡＲの再設定処理を行うことで、後発的に第１撮像部１Ａによる撮像画像にレンズフレアＬＦが発生することを抑止（軽減）することができる。

また仮想的空間接続装置１００は、第２撮像画像信号の解析処理結果に基づいて第２空間ＳＢ内の状況を判定する状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）を有し、領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）が判定した第２空間ＳＢ内の状況に応じて特定出力領域ＡＲの設定処理を行う（図３及び図７等参照）。
これにより、第１空間ＳＡと同様に第２空間ＳＢ内の状況に応じて特定出力領域ＡＲの再設定処理が行われる。

実施の形態の仮想的空間接続装置１００において状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）は、第１撮像画像信号の解析処理結果に基づいて第１空間ＳＡ内に人がいるか否かを判定し、領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、第１空間ＳＡ内に人がいないと判定された場合に特定出力領域ＡＲの設定処理を行う。 また仮想的空間接続装置１００において状況判定部（第１状況判定部５８Ａ又は第２状況判定部５８Ｂ）は、第２撮像画像信号の解析処理結果に基づいて第２空間ＳＢ内に人がいるか否かを判定し、領域設定部（第１領域設定部５５Ａ又は第２領域設定部５５Ｂ）は、第２空間ＳＢ内に人がいないと判定された場合に特定出力領域ＡＲの設定処理を行う（図４及び図７等参照）。
これにより、仮想的空間接続装置１００を利用するユーザが空間内に入るまでの間に特定出力領域ＡＲの設定が完了する。
このように、ユーザが空間にいない間に図７に示す処理を実行することで、空間内のユーザが仮想的に接続された他方の空間を視認する際に違和感を与えないような表示を行うことができる。

実施の形態の仮想的空間接続装置１００では、第１プロジェクタ３１Ａが、第１演算処理部５Ａから受信した第２空間ＳＢ側の第２撮像画像信号に基づく画像出力を、第１被投射部３２Ａの側方から第１被投射部３２Ａに向けて行う（図２及び図３等参照）。
このように、第１被投射部３２Ａを用いて第２空間ＳＢを表示することで、第１空間ＳＡ内に第２空間ＳＢの表示領域を、液晶パネル等を用いるときよりも容易に設置することができる。

また第１プロジェクタ３１Ａにより、第１被投射部３２Ａの側方から撮像画像の投影を行うことで、第１プロジェクタ３１Ａからの光がユーザＵ１などにあたることで生じる影が第１被投射部３２Ａにかかることにより、映像の臨場感が損なわれることを防止することができる。また、第１プロジェクタ３１Ａを第１被投射部３２Ａの側方に設置することで、床から天井までを占める投影が可能となる。これは第２空間ＳＢ側においても同様である。

＜５．変形例＞
本実施の形態では、第１空間ＳＡにいるユーザＵ１と第２空間ＳＢにいるユーザＵ２とが意思疎通を行う例について説明したが（図１等参照）、仮想的空間接続装置１００により仮想的に接続された第１空間ＳＡ及び第２空間ＳＢには、必ずしも他方の空間にいるユーザと意思疎通をしようとするユーザがいる必要はなく、単に一方の空間が他方の空間の撮像画像及び音声を共有できるように用いられてもよい。

本実施の形態では一例として、第１空間ＳＡと第２空間ＳＢを屋内として説明したが、第１空間ＳＡと第２空間ＳＢは、仮想的空間接続装置の各構成が配置可能な環境であれば屋内に限られず、屋外であってもよい。即ち、屋内と屋外や、屋外と屋外の空間を仮想的に接続することも可能である。

本実施の形態では、第１演算処理部５Ａと第２演算処理部５ＢはネットワークＮＷを介した無線通信によりデータ通信が実行されるとしたが（図１参照）、通信方式は無線通信に限られず、有線通信によりデータ通信を実行するものとしてもよい。

本実施の形態では、一例として第１被投射部３２Ａをスクリーンとして説明したが（図１から図３等参照）、第１被投射部３２Ａは第１プロジェクタ３１Ａが映像を投影出力可能な領域であればよく、例えば第１空間ＳＡの壁面や家具等の物体であってもよい。これは第２空間ＳＢ側の第２被投射部３２Ｂについても同様である。

本実施の形態では、第１撮像部１Ａは第１被投射部３２Ａの略中心部に１つ設けられているが（図１等参照）、第１撮像部１Ａは周囲の空間座標を把握するために複数の撮像装置から構成されていてもよい。これは第２空間ＳＢ側の第２撮像部１Ｂにおいても同様である。

本実施の形態では、第１音声入力ユニット２Ａを３つのマイクロフォンで構成される例について説明したが（図１参照）、第１音声入力ユニット２Ａは２つ又は４以上のマイクロフォンから構成されていてもよい。マイクロフォンの数を増やすことで、空間的な自由度が高まり、鋭い指向性を得ることができる。これは第２空間ＳＢ側の第２音声入力ユニット２Ｂにおいても同様である。

本実施の形態では、第１演算処理部５Ａからの第１空間ＳＡの状況に応じた制御信号により、第１音声入力ユニット２Ａが例えば各マイクロフォンの指向性制御、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行するが（図３等参照）、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などについては、第１演算処理部５Ａにおいて実行することとしてもよい。
この場合、第１演算処理部５Ａは、第１音声入力ユニット２Ａから受信した第１音声信号について、第１空間ＳＡの状況に応じたノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行する。これは第２空間ＳＢ側においても同様である。

また本実施の形態では、第１演算処理部５Ａの第１画像信号処理部５１Ａが、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ変換処理等の各種の信号処理を実行する例について説明したが、当該各種の信号処理は、第１撮像部１Ａ側で実行することとしてもよい。同様に、第２演算処理部５Ｂの第２画像信号処理部５１Ｂについても当該各種の信号処理を第２撮像部１Ｂ側で実行することとしてもよい。

本実施の形態では、第２空間ＳＢで第２撮像部１Ｂが撮像した第２撮像画像信号を第１空間ＳＡ側に送信し、第１空間ＳＡ側で第１撮像部１Ａが第１空間ＳＡを撮像するための第１カメラ孔３３Ａを有する第１被投射部３２Ａに対して第１プロジェクタ３１Ａによって第２空間ＳＢ側から受信した第２撮像画像信号に基づく画像を投射する処理、第１撮像部１Ａによる第１空間ＳＡの撮像結果に基づいて第１被投射部３２Ａにおける第１カメラ孔３３Ａを含む特定出力領域ＡＲを設定する処理、第１プロジェクタ３１Ａによる特定出力領域ＡＲへの投影画像の輝度値があらかじめ定められた特定値となるように第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する処理、及び当該処理後画像データに基づく画像投影を第１プロジェクタ３１Ａに実行させる処理などの各種処理を、第１空間ＳＡ側における第１演算処理部５Ａの第１制御部５４Ａの制御により実行するものとして説明したが、上記の処理は、第２空間ＳＢ側における第２演算処理部５Ｂの第２制御部５４Ｂの制御により実行することも可能である。
また、上記の各処理を第１演算処理部５Ａの第１制御部５４Ａと第２演算処理部５Ｂの第２制御部５４Ｂとで分担して実行することも可能である。

本実施の形態では、第１制御部５４Ａは、検索領域ＢＸが白色になるような投射出力を第１プロジェクタ３１Ａに実行させ、検索領域ＢＸが白色となるように投射された状態において、第１撮像部１Ａが撮像した第１撮像画像信号に基づいて第１空間ＳＡの撮像画像のフレアメトリック値ＷＨを算出する例について説明したが（図７のＳ１０３、Ｓ１０４）、ここでの投射出力は高輝度の投射出力が行われればよく、例えば検索領域ＢＸが青色、緑色になるような投射出力を実行させることとしてもよい。
このように白色の代わりに青色や緑色の投射出力を用いることで、仮想的空間接続装置１００を利用するユーザの使用感を損なうことなく特定出力領域ＡＲを設定することができる。

最後に、本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
また本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。

１Ａ 第１撮像部
１Ｂ 第２撮像部
３Ａ 第１表示ユニット
３Ｂ 第２表示ユニット
５Ａ 第１演算処理部
５Ｂ 第２演算処理部
３１Ａ 第１プロジェクタ
３１Ｂ 第２プロジェクタ
３２Ａ 第１被投射部
３２Ｂ 第２被投射部
３３Ａ 第１カメラ孔
３３Ｂ 第２カメラ孔
５５Ａ 第１領域設定部
５５Ｂ 第２領域設定部
５６Ａ 第１信号処理部
５６Ｂ 第２信号処理部
５７Ａ 第１機器制御部
５７Ｂ 第２機器制御部
５８Ａ 第１状況判定部
５８Ｂ 第２状況判定部
１００ 仮想的空間接続装置
ＳＡ 第１空間
ＳＢ 第２空間

Claims (8)

1. 第１空間で第１撮像部が撮像した第１撮像画像信号を前記第１空間と離隔した第２空間側に送信し、前記第２空間で第２撮像部が前記第２空間を撮像した第２撮像画像信号を前記第２空間側から受信し、前記第１空間において、前記第１撮像部が前記第１空間を撮像するための第１カメラ孔を有する第１被投射部に対して、前記第２空間側から受信した前記第２撮像画像信号に基づく画像を第１プロジェクタによって投射することで、前記第１空間と前記第２空間を仮想的に接続するシステムであって、
   前記第１プロジェクタによって画像が投射される複数の端辺に囲まれた領域であって、前記第１カメラ孔を含む領域を検索領域とし、前記検索領域の複数の端辺のうちの少なくとも１つを前記第１カメラ孔に向けて移動させた後の前記複数の端辺に囲まれた領域である特定出力領域を設定する領域設定部と、
   前記第１プロジェクタによって前記特定出力領域へ投射される画像の輝度値が所定の値以下となるように前記第２撮像画像信号について画像信号処理を施すことで処理後画像データを生成する信号処理部と、
   前記処理後画像データに基づく画像投影を前記第１プロジェクタに実行させる機器制御部と、を備え、
   前記領域設定部は、前記検索領域の複数の端辺のうちの何れかの端辺を前記第１カメラ孔に向けて移動させた後の移動後の端辺と他の端辺とで囲まれた領域を第１輝度領域とし、前記検索領域において前記第１輝度領域以外の領域を第２輝度領域とし、前記第１輝度領域には第１輝度値の画像が投射され、前記第２輝度領域には前記第１輝度値よりも高輝度な第２輝度値の画像が投射され、前記何れかの端辺の移動に応じて前記第１輝度領域及び第２輝度領域に投射される複数の画像パターンに基づいて前記特定出力領域を設定する
   システム。
2. 前記領域設定部は、前記何れかの端辺を前記第１カメラ孔に向けて移動させることによって前記第１撮像部への入射光量が予め定められた光量を上回った際の移動後の端辺を前記特定出力領域の端辺とする処理を、前記検索領域の複数の端辺のうちの少なくとも１つについて実行することにより前記特定出力領域を設定する
   請求項１に記載のシステム。
3. 前記領域設定部は、前記第１プロジェクタにより前記検索領域に前記第１輝度値の画像が投影された状態において前記第１撮像部により得られた前記第１撮像画像信号に基づいて前記第１撮像部への入射光量を示す第１フレアメトリック値を算出し、前記第１プロジェクタにより前記検索領域に前記第２輝度値の画像が投影された状態において前記第１撮像部により得られた前記第１撮像画像信号に基づいて前記第１撮像部への入射光量を示す第２フレアメトリック値を算出し、前記第１フレアメトリック値と前記第２フレアメトリック値を用いて判定閾値を算出する処理と、
   前記第１プロジェクタにより前記検索領域に前記第１輝度値の第１輝度領域と前記第２輝度値の第２輝度領域を有する画像が投影された状態において前記第１撮像部により得られた前記第１撮像画像信号に基づいて前記第１撮像部の入射光量を示す第３フレアメトリック値を算出する処理と、
   前記第３フレアメトリック値と前記判定閾値との比較に基づいて前記検索領域から前記第１カメラ孔を含む特定出力領域を設定する処理と、を実行する
   請求項１に記載のシステム。
4. 前記領域設定部は、前記第１輝度領域と前記第２輝度領域の境界位置がそれぞれ異なる複数の画像パターンを前記第１プロジェクタにより前記検索領域に投影することで、前記第１撮像部により得られた前記複数の画像パターンのそれぞれの前記第１撮像画像信号に基づいて複数の前記第３フレアメトリック値を算出し、算出した複数の前記第３フレアメトリック値のそれぞれと前記判定閾値とを比較することで前記特定出力領域を設定する
   請求項３に記載のシステム。
5. 前記領域設定部は、前記第１撮像画像信号における前記第１撮像部の撮像素子の各画素から検出される輝度に基づいて前記第１フレアメトリック値及び前記第２フレアメトリック値を算出する
   請求項３に記載のシステム。
6. 前記領域設定部は、前記各画素から検出された輝度に、前記各画素の前記撮像素子の中心からの距離に応じて重み付けを行った値に基づいて前記第１フレアメトリック値を算出する
   請求項５に記載のシステム。
7. 前記第１フレアメトリック値をＢＬ、
   前記第２フレアメトリック値をＷＨ、
   前記第１フレアメトリック値に乗算する係数をａ、
   前記第２フレアメトリック値に乗算する係数をｂ、
   且つ、ａ＋ｂ＝１としたときに、
   ａ＞ｂとなるようにａとｂが設定され、
   前記領域設定部は、
   ａ× ＢＬ＋ｂ× ＷＨ
   から算出する値を前記判定閾値として取得する
   請求項３に記載のシステム。
8. 前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定する状況判定部を有し、
   前記領域設定部は、前記状況判定部が判定した前記第１空間内の状況に応じて前記特定出力領域の設定を行う
   請求項１に記載のシステム。

Images