JP6551416B2 - 情報処理システム、記憶媒体、および制御方法 - Google Patents

Description

本開示は、情報処理システム、記憶媒体、および制御方法に関する。

近年、ソーシャルネットワークの拡大が示すように、人と人との繋がりや密なコミュニケーションが求められている。また、住宅や仕事の関係により、親や家族と離れて生活しなければならない場合があり、そのような場合には離れた場所で暮らす親や家族の様子を知りたいという欲求がある。

ここで、昨今の技術発達により、リアリティのある鮮明な映像を表示できる表示装置や高解像度のカメラなどが開発され、これらを用いて遠隔地の空間同士を結ぶテレプレゼンスシステムが提案されている。

例えば下記特許文献１では、第１のユーザが存在する現実空間を撮像した映像を、第２のユーザに提示してもよいかを判断するための許可事象の設定を行い、設定された許可事象を示す情報を相手に送信する映像情報処理装置が提案されている。

特開２０１１−１７２２０５号公報

上述した昨今のテレプレゼンスシステムでは、互いの空間の鮮明な映像や音声が提供されることで人と人との繋がりや密なコミュニケーションを実現できる一方、プライバシーをコントロールする手段に優れたものが無かった。例えば、遠隔地にある部屋と部屋とを繋ぐ場合、部屋を撮像した撮像画像が通信先の部屋の表示装置に継続的に表示されるが、ユーザが公開したくない物が写っていたり、公開したくない時間帯であったりする場合に応じてユーザのプライバシーを守るための手段が必要である。

プライバシーのコントロール手段として、従来のテレプレゼンスシステムでは、ミュートボタンやカメラを覆うカバー等を用いて、ユーザ自身によりテレプレゼンスの通信のＯＮ／ＯＦＦが行われていた。

しかしながら、従来のプライバシーコントロール手段では、テレプレゼンスシステムのプライバシーレベルを自動調整する点については何ら言及されていなかった。ここで、ユーザのプライバシーレベルはユーザと相手との関係や相手がどのような人物であるかによって異なるものであるため、相手に応じて設定することで、より利便性の高いテレプレゼンスシステムを提供することができる。

そこで、本開示では、テレプレゼンスシステムにおいてユーザのプライバシーレベルを相手に応じて設定することが可能な情報処理システム、記憶媒体、および制御方法を提案する。

本開示によれば、通信先装置のユーザに応じてプライバシーレベルを自動設定する設定部と、前記通信先装置に、通信元装置のユーザの映像を送信する通信部と、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御する制御部と、を備える情報処理システムを提案する。

本開示によれば、コンピュータを、通信先装置の相手ユーザに応じてプライバシーレベルを自動設定する設定部と、前記通信先装置に、ユーザの映像を送信する通信部と、前記自動設定されたプライバシーレベルに応じて前記ユーザの映像をマスクするよう制御する制御部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。

本開示によれば、通信先装置のユーザに応じてプライバシーレベルを自動設定すること、前記通信先装置に、通信元装置のユーザの映像を送信することと、前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御することと、を含む制御方法を提案する。

以上説明したように本開示によれば、テレプレゼンスシステムにおいてユーザのプライバシーレベルを相手に応じて設定することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態によるテレプレゼンスシステムの概要を説明する図である。 本実施形態による障子画像の表示例について説明する図である。 本実施形態による通信制御装置の構成の一例を示すブロック図である。 本実施形態による感性サーバの構成の一例を示すブロック図である。 本実施形態によるテレプレゼンス制御処理を示すフローチャートである。 本実施形態による開度設定の動作処理を示すフローチャートである。 本実施形態によるインタラクション評価のデータ例を示す図である。 図７に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 本実施形態による障子の開閉ジェスチャーを説明する図である。 本実施形態による開閉ジェスチャーに応じた障子画像の表示変更について説明する図である。 本実施形態による障子画像の表示モードの変更について説明する図である。 本実施形態によるジェスチャーに応じた開度設定の動作処理を示すフローチャートである。 本実施形態によるメッセージ表示の一例を説明する図である。 本実施形態によるメッセージ表示の他の例を説明する図である。 本実施形態による物理的な障子を用いたプライバシー制御について説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるテレプレゼンスシステムの概要
２．基本構成
２−１．通信制御装置の構成
２−２．感性サーバの構成
３．動作処理
３−１．テレプレゼンス制御
３−２．開度の設定制御
４．補足
４−１．メッセージ等の表示
４−２．物理障子の利用
５．まとめ

＜＜１．本開示の一実施形態によるテレプレゼンスシステムの概要＞＞
まず、本開示の一実施形態によるテレプレゼンスシステム１の概要について図１を参照して説明する。図１に示すように、本実施形態によるテレプレゼンスシステム１は、複数の空間（例えば部屋Ｒ１、Ｒ２）を結び、一方の空間の映像を他方に提供することで、遠隔地の空間にいるユーザ同士のコミュニケーションを図ることができる。具体的には、テレプレゼンスシステム１は、部屋Ｒ１に存在するユーザＡの様子を、部屋Ｒ１に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ２に設けられた表示部３２ａ−２およびスピーカから出力させる。また、テレプレゼンスシステム１は、同様に部屋Ｒ２に存在するユーザＢの様子を部屋Ｒ２に設けられた高解像度カメラおよびマイクアレイで取得し、部屋Ｒ１に設けられた表示部３２ａ−１およびスピーカから出力させる。

このように、互いの様子が高解像度カメラで撮像され、相手側に提供されることで、遠隔地に居るユーザ同士であっても、よりリアリティのある密なコミュニケーションを取ることができる。しかしながら一方で、ユーザのプライバシーをコントロールする手段も必要となる。

従来のテレプレゼンスシステムでは、ミュートボタンやカメラを覆うカバー等を用いてユーザ自身の判断によってテレプレゼンスの通信のＯＮ／ＯＦＦが行われていたが、このようなコントロール手段では映像や音声の通信を一方的に切断することとなり、切断された側には切断した側の意図が伝わらなかった。また、部屋の映像全ては見せたくはないが、一部であれば相手側に見せてもよいといった、プライバシーレベルの度合いをコントロールする優れた手段は提供されていなかった。さらに、ユーザのプライバシーレベルは、ユーザと相手との関係や相手がどのような人物であるかによって異なるものであるが、相手に応じてプライバシーレベルを設定することは、従来のテレプレゼンスシステムでは何ら考慮されていなかった。

そこで、本実施形態では、テレプレゼンスシステムにおけるプライバシーレベルを相手に応じて自動的に設定することで、プライバシーを適度に保つことができる。具体的には、設定されたプライバシーレベルに応じて相手側に提供する映像をマスクすることで、部屋の映像の一部を見せたくないといったユーザの要望に対して、通信をＯＦＦして一方的に切断することなく対応することができる。

本実施形態による相手に応じたプライバシーレベルの設定は、例えば相手の属性情報、行動情報、感情情報、または環境情報に応じて行われ得る。さらに、本実施形態では、相手の人間性や信頼度を示す所定の指標を用いてプライバシーレベルを設定することも可能である。所定の指標とは、対象人物が他の人物や物に対して行ったインタラクション（行為）の評価履歴に基づいて算出される感性値である。

具体的には、例えば図１に示すユーザＡのユーザＢに対するプライバシーレベルを設定する際、テレプレゼンスシステム１は、ユーザＢのオブジェクトＩＤに基づいて感性サーバ２からユーザＢのインタラクション評価を取得する。そして、テレプレゼンスシステム１は、取得したインタラクション評価に基づいてユーザＢの感性値を算出し、算出した感性値に応じてプライバシーレベルを設定する。感性値が高い場合、ユーザＢは信頼度の高い人物であると言えるため、テレプレゼンスシステム１はユーザＡのプライバシーレベルを低く設定し、ユーザＢに公開する映像の領域を大きくする。一方、感性値が低い場合、ユーザＢは信頼度の低い人物であると言えるため、テレプレゼンスシステム１はユーザＡのプライバシーレベルを高く設定し、ユーザＢに公開する映像の領域を小さく、若しくは通信をＯＦＦするよう制御する。

なお設定されたプライバシーレベルに応じて行う相手への公開映像（ユーザＡの撮像画像）の領域の制御は、映像を所定手段でマスクすることにより実現する。映像のマスク手段としては、例えば公開映像（ユーザＡの撮像画像）に画像を重畳表示し、公開映像の少なくとも一部を隠すことで、ユーザＡのプライバシーを適度に保つことができる。重畳する画像には、例えば障子画像を用いる。障子とは、家屋における扉、窓に用いる建具の一つであって、明かりを通すように木枠に和紙が張られている。これにより、閉めた状態であっても採光することができる。また、障子は左右の移動により開閉するため、操作した人の意図が残せるデバイスでもある。すなわち、蝶番部分を軸として回転する方式の扉や窓では、開いている状態と閉まっている状態の中間で停止させることは不安定であるが、障子の場合は少し開いた状態で停止させていても不安定ではなく、操作した人の意図（どの程度開けていたいか）が残る。本実施形態では、このような障子の機能を、障子画像により実現し、公開映像の一部を隠すことでユーザＡのプライバシーを適度に保つことができる。また、ユーザＢは、障子画像によりどの程度隠されているか（仮想的な障子の開き具合、すなわち開度）により、ユーザＡがどの程度なら公開してもよいと思っているかを直感的に把握することができる。

障子画像を用いる場合、プライバシーレベルは障子の開度として設定される。つまり、プライバシーレベルを低くする場合は開度を大きく、プライバシーレベルを高くする場合は開度を小さくする。

また、かかる障子画像の開度（プライバシーレベル）は、通信元と通信先とで共有されるようにしてもよい。この場合、ユーザＡが存在する部屋Ｒ１の表示部３２ａ−１において、部屋Ｒ２に存在するユーザＢの撮像画像に障子画像が重畳表示される位置（仮想的な障子の開度）と、ユーザＢが存在する部屋Ｒ２の表示部３２ａ−２において、部屋Ｒ１に存在するユーザＡの撮像画像に障子画像が重畳表示される位置（仮想的な障子の開度）は同じとなる。これにより、ユーザＡは、自らのプライバシーレベルがどの程度に設定されているかを、表示部３２ａ−１に表示された障子画像の開度を見て直感的に把握することができる。以下、障子画像の表示例について図２を参照して説明する。

図２は、本実施形態による障子画像の表示例について説明する図である。図２に示すように、ユーザＡが存在する部屋Ｒ１には、表示部３２ａ、カメラ３２ｂ、およびマイクアレイ３２ｃが壁面に設けられている。表示部３２ａは、表示部３２ａに部屋Ｒ２の撮像画像３２１と障子画像３２２が表示された際、実際に部屋Ｒ１の壁に障子が存在し、遠隔地の部屋Ｒ２があたかも隣に存在するかのような臨場感や一体感を実現するよう、部屋Ｒ２の壁面かつ表示部３２ａの下端が床に近接するよう配置される。また、カメラ３２ｂおよびマイクアレイ３２ｃは、図２では表示部３２ａの上方に設置されている。なお図２に示す表示部３２ａ、カメラ３２ｂ、およびマイクアレイ３２ｃの配置は一例であって、本実施形態はこれに限定されない。

部屋Ｒ１に設けられるカメラ３２ｂおよびマイクアレイ３２ｃで取得したユーザＡの情報（撮像画像および音声）は、部屋Ｒ１の通信制御装置（不図示）により部屋Ｒ２に送信される。また、部屋Ｒ２に同様に設けられたカメラおよびマイクアレイにより取得された情報（撮像画像３２１および音声）は、部屋Ｒ２の通信制御装置（不図示）により部屋Ｒ１に送信される。

部屋Ｒ１の通信制御装置は、図２に示すように、表示部３２ａに部屋Ｒ２から送信された撮像画像３２１と、当該撮像画像３２１をマスクする障子画像３２２を表示するよう制御する。障子画像３２２は、撮像画像３２１に重畳表示され、プライバシーレベルに応じて開度が調整される。例えば、プライバシーレベルが低く設定されている場合は公開する映像の領域を広くするため開度を大きくし、一方、プライバシーレベルが高く設定されている場合は公開する映像の領域を狭くするため開度を小さくするよう制御する。なお、本実施形態では、設定されるプライバシーレベルをユーザＡ側（部屋Ｒ１）とユーザＢ側（部屋Ｒ２）とで共有する。また、障子画像３２２の開度によりマスクされないで見ることができる通信先の撮像画像３２１の領域が変化することに加えて、通信先の音声の音量を障子画像３２２の開度に応じて増減してもよい。

このように、本実施形態によるテレプレゼンスシステム１におけるプライバシーコントロールを、障子画像３２２を用いて仮想的な障子の開度で調整することで、従来のプライバシーコントロール手段のような通信のＯＮ／ＯＦＦではなく、画像の一部を公開するといった調整を行うことができる。また、従来のシステムでは、片方の意図が一方的に反映されて通信のＯＮ／ＯＦＦが切り替えられ、その意図が相手には伝わらなかったが、本実施形態では公開領域を最小から最大まで調整できるため、相手側にどの程度であれば見せてもよいかといったユーザの意図が伝わる。

また、実際の障子の紙（木枠に張られている和紙）は光の透過率が４０％〜５０％であって、ガラスなどの透明なものと壁などの遮蔽物との中間にあたり、障子の向こう側の光や音を微かに通過させて向こう側に存在する人や物の気配を残しつつ、プライバシーを適度に保つことができる。したがって、本実施形態においても、障子の向こう側の明かりが透けて見えるよう障子画像３２２を画像処理することで、障子を閉めてプライバシーを保ちつつ、相手側の気配を伝えることが可能である。また、実際の障子の紙には透かし模様が入っている場合もあり、光を受けることで美しい模様を浮かびあがらせることも可能であるため、テレプレゼンスシステム１は、明かりが透ける画像処理を行う際に、透かし模様が見えるよう制御してもよい。

以上、本実施形態によるテレプレゼンスシステム１の概要について説明した。なお、図２に示す例では、プライバシーコントロール手段の一例として障子画像３２２を用いたが、本実施形態はこれに限定されず、例えばカーテン、ロールカーテン、御簾、ブラインド、曇りガラス、液晶シャッター等の画像を同様に用いてもよい。プライバシーコントロール手段がカーテン画像、ロールカーテン画像、御簾画像、またはブラインド画像の場合、プライバシーレベルはその開度として設定され、曇りガラス画像または液晶シャッターの場合、プライバシーレベルはその透過度として設定される。

また、上述したテレプレゼンスシステム１では、部屋Ｒ１のデータ送受信が第１の通信制御装置（不図示）により制御され、部屋Ｒ２のデータ送受信が第２の通信制御装置（不図示）により制御される。第１、第２の通信制御装置は、ネットワークを介して接続し、互いにデータの送受信を行う。具体的には、第１の通信制御装置は部屋Ｒ１のカメラ３２ｂおよびマイクアレイ３２ｃで取得したユーザＡの情報（撮像画像および音声）を第２の通信制御装置へ送信し、第２の通信制御装置は受信した撮像画像および音声を部屋Ｒ２の表示部およびスピーカから出力するよう制御する。同様に、第２の通信制御装置は部屋Ｒ２のカメラおよびマイクアレイで取得したユーザＢの情報（撮像画像および音声）を第１の通信制御装置へ送信し、第１の通信制御装置は受信した撮像画像および音声を部屋Ｒ１の表示部３２ａおよびスピーカから出力するよう制御する。

＜＜２．基本構成＞＞
続いて、テレプレゼンスシステム１に含まれる各装置の具体的な構成について図３〜図４を参照して説明する。

＜２−１．通信制御装置の構成＞
図３は、本実施形態による通信制御装置３の構成の一例を示すブロック図である。通信制御装置３は、テレプレゼンスシステム１で結ばれる空間におけるデータの送受信を制御する。

図３に示すように、本実施形態による通信制御装置３は、制御部３０、通信部３１、テレプレゼンス部３２、各種センサ３３、カレンダー・時計部３５、および記憶部３７を有する。

（２−１−１．制御部）
制御部３０は、通信制御装置３の各構成を制御する。制御部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部３０は、図３に示すように、相手ユーザ情報取得部３０ａ、感性値算出部３０ｂ、開度設定部３０ｃ、テレプレゼンス制御部３０ｄ、ジェスチャー検出部３０ｅ、および感情情報取得部３０ｆとして機能する。また、通信制御装置３がプロジェクタ３４を有する場合、制御部３０はプロジェクタ制御部３０ｇとしても機能する。

相手ユーザ情報取得部３０ａは、通信先の相手ユーザに関する情報を取得する。具体的には、相手ユーザ情報取得部３０ａは、相手ユーザの属性情報、行動情報、感情情報、または環境情報を、通信先の通信制御装置または特定のサーバから取得する。属性情報とは、例えば具体的には、性別、年齢、身長、体重、血液型、性格、または趣味・嗜好等の情報である。行動情報とは、相手ユーザが現在どのような行動をしているかを示す情報であって、具体的には、例えば空間内での相手ユーザの位置、移動の速度、動作の種類、動作の速度、動作のテンポ、無意識の行動、障子操作の時系列情報等である。感情情報とは、相手ユーザの現在の感情を示す情報である。環境情報とは、相手ユーザが存在する空間の天候、温度、湿度、騒音レベル、部屋の照度、大気汚染度、日時、空間の地理的な位置、高度、または建物状況等を示す情報である。相手ユーザ情報取得部３０ａは、取得した相手ユーザの情報を開度設定部３０ｃに出力する。

感性値算出部３０ｂは、相手ユーザのオブジェクトＩＤに基づいて、相手ユーザに対応付けられたインタラクション評価を感性サーバ２から取得し、相手ユーザの感性値を算出する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部３０ａにより取得してもよいし、特定サーバに問い合わせて取得してもよいし、記憶部３７に予め登録されていてもよい。感性値算出部３０ｂは、算出した相手ユーザの感性値を開度設定部３０ｃに出力する。

開度設定部３０ｃは、相手ユーザに応じたプライバシーレベルを開度として設定する。具体的には、開度設定部３０ｃは、相手ユーザ情報取得部３０ａにより取得した相手ユーザの属性情報、行動情報、感情情報、または環境情報、若しくは感性値算出部３０ｂにより算出された相手ユーザの感性値の少なくともいずれかに基づいて、相手ユーザが信頼できる人物である程プライバシーレベルを低く、すなわち仮想的な障子の開度を大きく設定する。また、開度設定部３０ｃは、相手ユーザが信頼できない人物である程プライバシーレベルを高く、すなわち仮想的な障子の開度を小さく設定する。開度設定部３０ｃは、設定した開度をテレプレゼンス制御部３０ｄに出力する。

信頼できる人物か否かの判断基準は特に限定しないが、例えば属性情報がユーザと同じまたは近い人物の場合は、信頼度を高くしてもよい。具体的には、ユーザと同じ性別、年代、趣味・嗜好、性格等の場合、開度設定部３０ｃは、信頼度が高いと判断し、プライバシーレベルを低く、すなわち仮想的な障子の開度を大きく設定する。または、例えば開度設定部３０ｃは、相手ユーザの行動情報に所定の行動（例えば物を投げる等の危険行動）が含まれる場合や、相手ユーザの感情情報に所定の感情（例えば怒り、嫌悪、恐怖等の感情）が含まれる場合は、信頼度が低い人物と判断し、プライバシーレベルを高く、すなわち仮想的な障子の開度を小さく設定する。さらに、開度設定部３０ｃは、相手ユーザの環境情報に所定の環境（例えば騒音等）が含まれる場合や、行動情報に所定の行動（例えばテレビを熱心に見ている等）が含まれる場合は、テレプレゼンスを行う状況に適切ではないため、仮想的な障子の開度を小さく設定してもよい。また、開度設定部３０ｃは、相手ユーザの感性値が所定値を上回る場合、信頼度が高い人物と判断し、プライバシーレベルを低く、すなわち仮想的な障子の開度を大きく設定してもよい。

テレプレゼンス制御部３０ｄは、テレプレゼンス部３２を制御し、対象空間と通信先空間とのテレプレゼンスを実現する。具体的には、テレプレゼンス制御部３０ｄは、テレプレゼンス部３２のカメラ３２ｂで撮像した撮像画像、およびマイクアレイ３２ｃで収音した音声を通信部３１から通信先の通信制御装置に送信するよう制御する。この際、テレプレゼンス制御部３０ｄは、開度設定部３０ｃで設定された開度に応じて撮像画像をマスクするよう制御する。具体的には、例えばテレプレゼンス制御部３０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。

また、テレプレゼンス制御部３０ｄは、通信先の通信制御装置から受信した撮像画像３２１を表示部３２ａに表示させ、同様に受信した音声をスピーカ３２ｄで再生させるよう制御する。なお、プライバシーレベルが通信先と共有されている場合、テレプレゼンス制御部３０ｄは、開度設定部３０ｃにより設定された開度に従って撮像画像３２１に重畳表示する障子画像３２２の位置を調整する。

ジェスチャー検出部３０ｅは、各種センサ３３に含まれる深度センサ３３ａにより取得された深度情報に基づいて、ユーザのジェスチャーを検出する。例えば、ジェスチャー検出部３０ｅは、障子を開けるジェスチャーを検出する。本実施形態では、上述したように相手ユーザに応じてプライバシーレベルを設定するが、ユーザが任意でプライバシーレベルを変更することも可能である。具体的には、ユーザが表示部３２ａに表示された障子画像３２２に対して障子を開ける／閉めるジェスチャーを行うと、当該ジェスチャーが深度センサ３３ａに検知される。深度センサ３３ａで取得された深度情報に基づいてジェスチャー検出部３０ｅにより障子を開ける／閉めるジェスチャーが検出されると、開度設定部３０ｃは、検出されたジェスチャーに応じて、障子画像３２２の開度を変更する。そして、テレプレゼンス制御部３０ｄは、プライバシーレベル（仮想的な障子の開度）が共有されている場合、開度設定部３０ｃにより変更された開度を通信先の通信制御装置に送信すると共に、表示部３２ａに表示する障子画像３２２の重畳表示位置を、変更された開度に応じて変更する。

感情情報取得部３０ｆは、後述する生体センサ３３ｄにより検出される生体情報や、可視光カメラにより取得した撮像画像から検出される顔の表情、マイクロホンにより取得した音声から検出される会話内容に基づいてユーザの感情を推定し、感情情報を取得する。また、感情情報取得部３０ｆは、ネットワーク上の所定サーバからユーザによるソーシャルメディアへの書き込みやメールの送受信内容、ユーザのスケジュール内容等に基づいて感情を推定してもよい。

プロジェクタ制御部３０ｇは、通信制御装置３がプロジェクタ３４を有する場合に、当該プロジェクタ３４からの画像投影を制御する。

（２−１−２．通信部）
通信部３１は、外部装置とデータの送受信を行う。例えば通信部３１は、通信先の通信制御装置に対して、テレプレゼンス制御部３０ｄの制御に従い、テレプレゼンス部３２のカメラ３２ｂで撮像した撮像画像や、マイクアレイ３２ｃで収音した音声、開度設定部３０ｃで設定された開度等を送信する。また、通信部３１は、通信先の通信制御装置から、通信先の空間で取得された撮像画像および音声を受信する。

また、通信部３１は、制御部３０の制御に従って、記憶部３７に記憶されているユーザの属性情報や、各種センサ３３により取得されたユーザの行動情報、環境情報、または感情情報取得部３０ｆにより取得された感情情報を、通信先の通信制御装置に送信してもよい。なお、行動情報は、行動センサ３３ｃにより検出され、環境情報は、位置情報取得部３３ｅ、高度センサ３３ｆ、大気汚染センサ３３ｇ、気温・湿度センサ３３ｈ、または騒音センサ３３ｉにより検出／取得される。

（２−１−３．各種センサ）
各種センサ３３は、対象空間の環境情報、対象空間に存在するユーザの行動情報、および感情情報等を取得する複数のセンサを含む。具体的には、本実施形態による各種センサ３３は、図３に示すように、深度センサ３３ａ、人物センサ３３ｂ、行動センサ３３ｃ、生体センサ３３ｄ、位置情報取得部３３ｅ、高度センサ３３ｆ、大気汚染センサ３３ｇ、および気温・湿度センサ３３ｈ等を含む。以下、各センサについて説明する。

深度センサ３３ａは、例えば赤外線カメラのセンサーアレイ（例えばランダムパターンの赤外線マスクを投影し、当該パターンを撮像）、または赤外線を照射して反射光を検知する赤外線センサにより実現され、周囲に存在する物体の深度情報を取得する。人物センサ３３ｂは、例えば可視光カメラにより取得した撮像画像を解析し、対象空間に存在する人物を検出する。また人物センサ３３ｂは、さらに深度センサ３３ａで取得した深度情報も併せて利用し、人物を検出してもよい。

行動センサ３３ｃは、例えば可視光カメラにより取得した撮像画像を解析し、対象空間に存在する人物（人物センサ３３ｂにより検出された人物）の行動（動き）を検出する。

生体センサ３３ｄは、例えばユーザに装着されたウェアラブル端末（時計型／バンド型／頭部装着型、貼り付け型等の無線通信端末）から、拍数、血圧、体温、発汗量、呼吸の状態、瞳孔の開き具合、脳波等の生体情報を受信し、対象空間に存在する人物の生体情報を検出してもよい。生体情報の受信は、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または赤外線通信等の近距離無線通信や、近接無線通信により行われ得る。また、生体センサ３３ｄは、赤外線カメラ（サーモグラフィ）等により取得された人物の体表面の温度変化画像を解析し、各種生体情報を非接触の状態で検出することも可能である。

位置情報取得部３３ｅは、対象空間の地理的な位置情報（緯度・経度）を取得する。高度センサ３３ｆは、対象空間の高度情報を取得する。大気汚染センサ３３ｇは、対象空間の大気の汚染（粉塵、排気ガス等）を検出する。騒音センサ３３ｉは、例えばマイクロホンにより収音された音を分析し、対象空間の騒音を検出する。

（２−１−４．テレプレゼンス部）
テレプレゼンス部３２は、表示部３２ａ、カメラ３２ｂ、マイクアレイ３２ｃ、およびスピーカ３２ｄを有する。表示部３２ａは、図２に示すように、通信先の空間の撮像画像３２１と、開度設定部３０ｃにより設定された開度に応じて重畳される障子画像３２２とを表示する。また、スピーカ３２ｄは、通信先の空間の音声を出力する。この際、スピーカ３２ｄは、開度設定部３０ｃにより設定された開度に応じた音量で出力してもよい。カメラ３２ｂは、対象空間（通信元の空間）を撮像し、撮像画像は通信先の通信制御装置に送信される。マイクアレイ３２ｃは、対象空間の音声を収音し、音声データは通信先の通信制御装置に送信される。

（２−１−５．カレンダー・時計部）
カレンダー・時計部３５は、現在の日時を取得し、取得した日時情報を制御部３０に出力する。

（２−１−６．記憶部）
記憶部３７は、制御部３０により実行される各種処理のプログラムや、各種処理で利用されるデータ、例えばユーザの属性情報やオブジェクトＩＤ等を記憶する。

（２−１−７．その他）
以上、本実施形態による通信制御装置３の構成について説明した。なお通信制御装置３は、上述した各構成の他、図３に破線で示すプロジェクタ３４や物理障子部３６を有していてもよい。

プロジェクタ３４は、制御部３０のプロジェクタ制御部３０ｇの制御に従って、画像を投影する機能を有する。プロジェクタ３４の利用については、図１４を参照して後述する。

物理障子部３６は、開度設定部３０ｃにより設定された開度に応じて映像をマスクする手段の一例であって、表示部３２ａを覆うよう設置された物理的障子を駆動する障子駆動部３６ａと、物理的障子の開度を検出する開度センサ３６ｂとを有する。物理障子部３６の利用については、図１５を参照して後述する。

＜２−２．感性サーバの構成＞
図４は、本実施形態による感性サーバ２の構成の一例を示すブロック図である。図４に示すように、感性サーバ２は、通信部２１、制御部２０、オブジェクトＤＢ２２、および感性情報ＤＢ２４を有する。

通信部２１は、ネットワークを介して通信制御装置３と接続し、通信制御装置３から指定された対象ユーザのオブジェクトＩＤに紐付けられたインタラクション評価を返信する。また、通信部２１は、各オブジェクト（人物、物体）に装着／搭載されたセンシングデバイス（不図示）から、インタラクション情報を受信する。

制御部２０は、感性サーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部２０は、インタラクション記憶制御部２０ａ、評価部２０ｂ、オブジェクト管理部２０ｃ、および関連オブジェクト検索部２０ｄとして機能する。

インタラクション記憶制御部２０ａは、オブジェクトに装着／搭載されたセンシングデバイスから受信したインタラクション情報を感性情報ＤＢ２４に記憶するよう制御する。センシングデバイスは、湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、またはジャイロセンサ等により実現され、オブジェクトに対する他のオブジェクトからのインタラクションを検知する。

評価部２０ｂは、感性情報ＤＢ２４に記憶したインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部２０ｂは、インタラクションを受けたオブジェクトにとって好ましいインタラクションである程高く評価し、具体的には−１．０〜１．０の点数を付ける。評価結果は、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。

オブジェクト管理部２０ｃは、オブジェクトＤＢ２２に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。

関連オブジェクト検索部２０ｄは、要求されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトＤＢ２２や感性情報ＤＢ２４から検索する。

オブジェクトＤＢ２２は、各オブジェクトのオブジェクトＩＤを格納する記憶部である。また、オブジェクトＤＢ２２には、オブジェクトＩＤの他、商品名、商品種類、メーカーＩＤ、型番、製造日時等の、オブジェクトに関する多々の情報が格納されている。

感性情報ＤＢ２４は、オブジェクト間のインタラクションや、インタラクションの評価を格納する記憶部である。

以上、本実施形態による感性サーバ２の具体的な構成について説明した。

＜＜３．動作処理＞＞
続いて、本実施形態によるテレプレゼンスシステム１の動作処理について具体的に説明する。

＜３−１．テレプレゼンス制御＞
図５は、本実施形態によるテレプレゼンス制御処理を示すフローチャートである。図５に示すように、まず、ステップＳ１０３において、通信元の通信制御装置３のテレプレゼンス制御部３０ｄは、通信先の通信制御装置との接続処理を行う。

次に、ステップＳ１０６において、通信制御装置３の開度設定部３０ｃは、障子の開度を設定する。開度の設定制御の詳細については、図６を参照して後述する。

次いで、ステップＳ１０９において、テレプレゼンス制御部３０ｄは、通信先に送信するユーザの撮像画像（映像）および音声をカメラ３２ｂおよびマイクアレイ３２ｃにより取得し、取得した撮像画像および音声を、設定した開度に応じてマスクするよう制御する。具体的には、例えばテレプレゼンス制御部３０ｄは、設定された開度に応じて障子画像を撮像画像に重畳させる加工を行い、加工した画像を通信先に送信してもよいし、設定された開度を撮像画像と共に通信先に送信してもよい。これにより、通信元の撮像画像を全て見せずに、仮想的な障子の開度に応じて見せる領域を調整することで、ユーザのプライバシーを適度にコントロールすることができる。

次に、ステップＳ１２１において、テレプレゼンス制御部３０ｄは、通信先の通信制御装置から受信した画像および音声を、設定した開度に応じてマスクした状態で、表示部３２ａおよびスピーカ３２ｄから出力するよう制御する。設定した開度に応じたマスク手段としては、図２を参照して説明したように、例えば通信先の通信制御装置から受信した画像（撮像画像３２１）に障子画像３２２を重畳表示することで実現する。このように、通信先と通信元のプライバシーレベルを共有することで、通信元のユーザは、現在設定されている仮想的な障子の開度を直感的に把握することができ、変更したい場合は障子の開閉ジェスチャーにより任意に調整することも可能である。

そして、ステップＳ１２４において、通信終了が指示されると（Ｓ１２４において「Ｙｅｓ」）、テレプレゼンス制御部３０ｄは通信先との通信を終了する。

＜３−２．開度の設定制御＞
続いて、図５のステップＳ１０６に示す障子の開度設定について具体的に説明する。

（３−２−１．開度の設定）
図６は、本実施形態による開度設定の動作処理を示すフローチャートである。図６に示すように、まず、ステップＳ２０３において、通信制御装置３の開度設定部３０ｃは、障子開度を予め登録した初期状態に設定する。

次に、ステップＳ２０６において、感性値算出部３０ｂは、相手ユーザのオブジェクトＩＤを取得する。相手ユーザのオブジェクトＩＤは、相手ユーザ情報取得部３０ａにより通信先の通信制御装置から取得することが可能である。

次いで、相手ユーザのオブジェクトＩＤを取得できた場合（Ｓ２０９において「Ｙｅｓ」）、ステップＳ２１２において、感性値算出部３０ｂは、相手ユーザのオブジェクトＩＤに対応付けられたインタラクション評価を感性サーバ２から取得する。

続いて、ステップＳ２１５において、感性値算出部３０ｂは、取得したインタラクション評価に基づいて感性値を算出する。ここで、感性サーバ２から取得するインタラクション評価および感性値の算出について図７〜図８を参照して具体的に説明する。

図７は、本実施形態によるインタラクション評価のデータ例を示す図である。図７に示すデータ例は、感性値算出部３０ｂが感性サーバ２から取得した、指定した相手ユーザ（ここではユーザＢとする）のオブジェクトＩＤに対応付けられたインタラクション評価である。なお感性値算出部３０ｂからオブジェクトＩＤを指定された感性サーバ２は、関連オブジェクト検索部２０ｄにより、指定されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとして検索する。そして、感性サーバ２は、当該関連オブジェクトＩＤと指定されたオブジェクトＩＤとのインタラクション評価も要求元の通信制御装置３に送信する。

例えば、図７に示すデータ例の１行目では、相手ユーザ（ユーザＢ）のオブジェクトＩＤ５５０５が、２０１０年１０月２日１９時００分〜２１時３２分にテレビ（オブジェクトＩＤ１５８５０００２）に対して行った「熱心に見ている」というインタラクションに評価０．８が付与されている。また、図７に示すデータ例の２行目では、関連オブジェクトとして検索されたテレビ（オブジェクトＩＤ１５８５０００２）が、２０１０年１０月２日１９時００分〜２１時３２分にユーザＢから行われた「頻繁にチャンネルを変えられながら見られる」というインタラクションに評価０．１が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。

次いで、感性値算出部３０ｂは、図７に示す過去のインタラクション評価の蓄積データから、他のオブジェクト（関連オブジェクト）に対する、相手ユーザ（ここではユーザＢであって、オブジェクトＩＤ５５０５）からのインタラクション評価だけを抜き出し、感性値算出を行う。図８には、このように図７に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す。具体的には、テレビ（オブジェクトＩＤ：１５８５０００２）に対するユーザＢ（オブジェクトＩＤ：５５０５）からのインタラクション「見られる」の評価０．１と、テレビに対するユーザＢからのインタラクション「モノが投げられる」の評価−０．８と、電話機（オブジェクトＩＤ：１７８３０００３）に対するユーザＢからのインタラクション「電話をかける」の評価−０．５が抜き出される。

なお、このようなインタラクションは、上述したように、オブジェクトやオブジェクトの周囲に装着／搭載されたセンシングデバイスにより検知される。例えば、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢがテレビの方向を継続的に見ていることが検出された場合、また、テレビの動作履歴からユーザＢが部屋に居る時間帯にテレビが動作して映像が出力されている場合には、ユーザＢがテレビを見ている／テレビがユーザＢに見られているといったインタラクションが検知される。また、テレビや部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢによるモノを投げるモーションや物体がユーザＢの手から離れ移動することが検出された場合、また、テレビに搭載された振動センサによりモノがテレビの筐体に当たったことが検知され場合、テレビに対してモノを投げた／投げられたといったインタラクションが検知される。

また、電話機や部屋に装着されたカメラセンサの撮像画像の解析結果からユーザＢが電話機の受話器を手に取っている様子が検出された場合、また、電話機の動作履歴からユーザＢが電話を掛けたことが検出された場合には、電話をかけるといったインタラクションが検知される。さらに、電話機に装着された振動センサにより電話機に対して衝撃が加えられたことが検出された場合、また、電話機に装着されたマイクロホンによりコードが引っ張られる音が検出された場合には、コードが引っ張られながら電話をかけていたといったインタラクションが検知される。

続いて、感性値算出部３０ｂによるユーザＢの感性値Ｑ１の算出の一例について説明する。感性値Ｑ１は、例えば下記式１により算出する。

上記式１では、各インタラクションの種類ごとに合計された評価値の和に、インタラクションの種類に応じた係数を掛け、全てのインタラクションの種類の総和をインタラクション総数で割ることにより、感性値Ｑ１が算出されることを示す。ここで、上記式１に図８に示すインタラクション評価を当てはめたものを下記式２に示す。

このように、感性値算出部３０ｂは、ユーザＢの感性値Ｑ１を上記式２に示すように求めることができる。

算出した相手ユーザの感性値は、相手ユーザの信頼度を表す。テレプレゼンスシステムにおいて、通信する相手が信頼できる人である場合はプライバシーを低くしても安心だが、信頼できない人である場合はプライバシーを高くしておくことでユーザのプライバシーを適度に保つことができる。したがって、相手ユーザの信頼度を表す感性値の利用が有効となる。

続いて、図６に戻り、ステップＳ２１８において、相手ユーザ情報取得部３０ａは、相手ユーザの現在の行動情報を取得する。相手ユーザの現在の行動情報は、通信先の通信制御装置から受信することが可能である。通信先の通信制御装置も、図３に示す通信制御装置３と同様の構成を有し、各種センサ３３に含まれる行動センサ３３ｃから対象空間に存在するユーザＢの行動が検出される。通信先の行動センサ３３ｃは、例えば可視光カメラにより取得した撮像画像を解析し、ユーザＢがＰＣを用いて非常に集中して高速なタイピングで書類を作っているといった行動を検出する。

次に、ステップＳ２２１において、相手ユーザ情報取得部３０ａは、相手ユーザの属性情報を取得する。相手ユーザの属性情報は、通信先の通信制御装置から受信することが可能である。通信先の通信制御装置も、図３に示す通信制御装置３と同様の構成を有し、例えば記憶部３７に対象空間に存在するユーザＢの属性情報が格納されている。例えば、相手ユーザＢが明朗な性格であるといった属性情報が格納されている。

次いで、ステップＳ２２４において、相手ユーザ情報取得部３０ａは、相手ユーザの現在の感情情報を取得する。相手ユーザの現在の感情情報は、通信先の通信制御装置から受信することが可能である。通信先の通信制御装置も、図３に示す通信制御装置３と同様の構成を有し、感情情報取得部３０ｆにより対象空間に存在するユーザＢの感情情報が検出される。例えば、相手ユーザＢが現在怒りで興奮している感情が検出される。

次に、ステップＳ２２７において、相手ユーザ情報取得部３０ａは、相手ユーザの現在の環境情報を取得する。相手ユーザの現在の環境情報は、通信先の通信制御装置から受信することが可能である。通信先の通信制御装置も、図３に示す通信制御装置３と同様の構成を有し、各種センサ３３に含まれる大気汚染センサ３３ｇ、気温・湿度センサ３３ｈ、または騒音センサ３３ｉ等から対象空間の環境が検出される。例えば、対象空間において工事の騒音等が検出される。

続いて、ステップＳ２３０において、開度設定部３０ｃは、相手ユーザの感性値、行動情報、属性情報、感情情報、および環境情報に基づいて、障子の開度を算出する。ここで、行動情報、属性情報、感情情報、および環境情報に対しても、−１．０〜１．０の評価が、テレプレゼンスを行う状況に適する程高く付与されている場合、次のように障子開度設定用のパラメータＱ２を算出することができる。

例えば、非常に集中して書類を作っているというユーザＢの現在の行動情報の評価値（行動評価）が−０．２、明朗な性格であるという属性情報の評価値（属性評価）が０．５、怒りで興奮しているという現在の感情情報の評価値（感情評価）が−０．５、工事の騒音といった環境情報の評価値（環境評価）が−０．２の場合、パラメータＱ２は以下のように算出される。

そして、開度設定部３０ｃは、最終的な開度Ｑを以下の様に算出する。

次いで、ステップＳ２３３において、開度設定部３０ｃは、算出した障子の開度と現状の障子の開度との差が閾値以上であるか否かを判断する。

次に、閾値以上である場合（Ｓ２３３において「Ｙｅｓ」）、ステップＳ２３６において、開度設定部３０ｃは、算出した障子の開度に設定し、設定した開度をテレプレゼンス制御部３０ｄに出力する。

以上、本実施形態による開度設定処理について具体的に説明した。上述した開度設定処理は、相手ユーザの感性値、行動情報、属性情報、感情情報、および環境情報の全てに基づいて障子の開度を設定しているが、本実施形態はこれに限定されない。例えば、開度設定部３０ｃは、感性値、行動情報、属性情報、感情情報、および環境情報の少なくともいずれかに基づいて障子の開度を設定してもよい。

また、本実施形態によるテレプレゼンスシステムは、通信元のユーザに応じてプライバシーレベル（仮想的な障子の開度）を設定してもよい。具体的には、開度設定部３０ｃは、通信先の相手ユーザと通信元のユーザ間のインタラクション評価に基づいて算出された相対的感性値に応じて、プライバシーレベルを設定する。

（３−２−２．開度の変更）
続いて、ジェスチャーによる障子開度の変更について、図９〜図１０を参照して説明する。上述した実施形態では、ユーザのプライバシーを適度に保つよう、相手ユーザに応じて自動的に障子開度を設定しているが、ユーザが障子開度を変更したい場合は、ジェスチャーにより任意に変更することが可能である。

図９は、本実施形態による障子の開閉ジェスチャーを説明する図である。図９に示すように、表示部３２ａに対して手を水平に動かすと、通信制御装置３の深度センサ３３ａにより手の動きが検出される。通信制御装置３のジェスチャー検出部３０ｅは、深度センサ３３ａにより取得された深度情報に基づいて、表示部３２ａの近傍で手が水平に動いた距離ｘを得る。ここで、ジェスチャー検出部３０ｅは、例えば表示部３２ａに対してユーザが手を右側に動かした場合の距離ｘは正の数値、左側に動かした場合の距離ｘは負の数値として取得する。

図１０は、開閉ジェスチャーに応じた障子画像３２２の表示変更について説明する図である。図１０左に示すように、部屋Ｒ１の表示部３２ａには、相手ユーザＢの部屋Ｒ２の撮像画像３２１に、障子画像３２２が重畳表示されている。図１０左に示すように、表示部３２ａの水平方向の長さＬにおいて、障子画像３２２の現状の開度（すなわち向こう側の景色である撮像画像３２１が見えている領域の水平方向の長さ）をｘ１とする。

そして、テレプレゼンス制御部３０ｄは、ジェスチャー検出部３０ｅにより検出されたジェスチャーに応じて開度設定部３０ｃにより設定された開度になるよう、障子画像３２２を変更する。具体的には、テレプレゼンス制御部３０ｄは、障子の開度がｘ１＋ｘになるよう制御する。また、テレプレゼンス制御部３０ｄは、ジェスチャーに応じて設定した開度を通信先の通信制御装置へ送信し、開度を共有する。

また、テレプレゼンス制御部３０ｄは、障子画像３２２の開度およびジェスチャーに応じて、障子画像３２２の表示モードを変更することも可能である。以下、図１１を参照して説明する。

図１１は、本実施形態による障子画像３２２の表示モードの変更について説明する図である。図１１には、障子画像３２２の開度が最大の状態（ｘ１＝Ｌ）から最小の状態（ｘ１＝０）に向けて、段階的に開度が減じられた場合の一例が示されている。図１１左に示すように、障子画像３２２の開度が最大の場合（ｘ１＝Ｌ）、表示部３２ａの全面に通信先の撮像画像３２１が表示される。また、障子画像３２２の開度が中間の場合、表示部３２ａに表示される障子画像３２２の領域が増えて、通信先の撮像画像３２１の領域は減る。

そして、開度が最小の場合（ｘ１＝０）、図１１に示すように、表示部３２ａの全面に障子画像３２２が表示される。この際、テレプレゼンス制御部３０は、障子の向こうの空間（通信先の部屋Ｒ２）に明かりが灯っているように見える障子画像３２２を表示する。これにより、障子画像３２２が閉じられて通信先の様子が見えない場合にも、向こう側に存在する人や物の気配を伝えるといった実際の障子の機能を再現することができる。

ここで、さらにユーザが障子を閉じるジェスチャーを行うと、テレプレゼンス制御部３０ｄは居留守モードに切り替え、図１１右に示すように、障子の向こうの空間（通信先の部屋Ｒ２）の明かりが消えているように見える障子画像３２２Ｍを表示する。当該居留守モードは通信先にも共有され、部屋Ｒ２でも同様に、表示部２３ａ−２において、開度が最小（ｘ１＝０）であって、かつ通信先の部屋Ｒ１の明かりが消えているように見える障子画像が表示される。これにより、障子の開度が最小であって表示部の前面に障子画像が表示され、通信先の部屋の様子が見えない場合において、居留守モードに変更することで、さらに向こう側に誰もいない（留守である）ように見せることができる。

以上説明したジェスチャーに応じた開度変更の動作処理について、図１２を参照して説明する。図１２は、本実施形態によるジェスチャーに応じた開度設定の動作処理を示すフローチャートである。

図１２に示すように、まず、ステップＳ３０３において、通信制御装置３の開度設定部３０ｃは、障子の初期開度（ｘ１）を設定する。

次に、ステップＳ３０６において、ジェスチャー検出部３０ｅは、深度センサ３３ａで検知された深度情報に基づいてユーザのジェスチャーを検出し、水平方向の手の移動距離ｘを取得する（図９参照）。上述したように、ジェスチャー検出部３０ｅは、例えば表示部３２ａに対してユーザが手を右側に動かした場合の距離ｘは正の数値、左側に動かした場合の距離ｘは負の数値として取得する。また、表示部３２ａの水平方向の最大長さをＬとする（図１０参照）。

次いで、ジェスチャー検出部３０ｅによりユーザの手の移動距離ｘを取得できた場合（ステップＳ３０９において「Ｙｅｓ」）、ステップＳ３１２において、開度設定部３０ｃは、ｘ１＋ｘが０以下であるか否かを判断する。

次に、ｘ１＋ｘが０以下である場合（Ｓ３１２において「Ｙｅｓ」）、ステップＳ３１５において、開度設定部３０ｃは、ジェスチャー前の開度ｘ１が０であったか否かを判断する。図１０に示すように表示部３２ａの水平方向の最大長さをＬとした場合、開度ｘ１＝０は障子が全て閉じている状態を意味する。

次いで、ジェスチャー前の開度ｘ１が０であった場合（Ｓ３１５において「Ｙｅｓ」）、開度設定部３０ｃは居留守モードと判断し、テレプレゼンス制御部３０ｄに居留守モードに設定したことを出力する。すなわち、障子が全て閉じている状態（開度ｘ１＝０）において、さらに障子を閉めるジェスチャーが行われると負の数値のｘが取得され、ｘ１＋ｘは０を下回るが、この場合、開度設定部３０ｃは居留守モードと判断し、設定する。

一方、ジェスチャー前の開度ｘ１が０でない場合（Ｓ３１５において「Ｎｏ」）、開度設定部３０ｃは、ｘ１＝０に設定し、障子の開度を変更するようテレプレゼンス制御部３０ｄに指示する。すなわち、ｘ１＋ｘが０未満を下回る場合、開度設定部３０ｃは開度を最小（ｘ１＝０）に設定する。

次に、ｘ１＋ｘが０以下でない場合（Ｓ３１２において「Ｎｏ」）、ステップＳ３２４において、開度設定部３０ｃは、居留守モードを解除する。

次いで、ステップＳ３２７において、ｘ１＋ｘが、表示部３２ａの水平方向の最大長さＬ（図１０参照）以上であるか否かを判断する。

ｘ１＋ｘがＬ以上である場合（Ｓ３２７において「Ｙｅｓ」）、ステップＳ３３０において、開度設定部３０ｃは、ｘ１＝Ｌに設定し、障子の開度を変更するようテレプレゼンス制御部３０ｄに指示する。すなわち、ｘ１＋ｘがＬ以上の場合、開度設定部３０ｃは開度を最大（ｘ１＝Ｌ）に設定する。

一方、ｘ１＋ｘがＬ以上でない場合（Ｓ３２７において「Ｎｏ」）、ステップＳ３３３において、開度設定部３０ｃは、ｘ１＋ｘをｘ１に設定し、障子の開度を変更するようテレプレゼンス制御部３０ｄに指示する。すなわち、ｘ１＋ｘがＬを下回る場合、開度設定部３０ｃは、ジェスチャーに応じた開度（ｘ１＋ｘ）を設定する。

以上、本実施形態によるジェスチャーに応じた仮想的な障子の開度設定について説明した。

＜＜４．補足＞＞
続いて、本実施形態によるテレプレゼンスシステム１について補足を行う。

＜４−１．メッセージ等の表示＞
本実施形態によるテレプレゼンスシステムでは、通信先とのプライバシーを高く保った状態においても、相手に対してメッセージ等を送ることができる。以下、図１３、図１４を参照して説明する。

図１３は、本実施形態によるメッセージ表示の一例を説明する図である。通信制御装置３のテレプレゼンス制御部３０ｄは、図１３に示すように、プライバシーを保つために表示部３２ａに表示する障子画像３２２にアイコンを表示させることで、通信先からのメッセージを通知することができる。例えば旅行中であることを示す飛行機アイコン３２２ａや、メッセージテキストがあることを示すメモアイコン３２２ｂが表示される。テレプレゼンス制御部３０ｄは、ジェスチャー検出部３０ｅにより検出されたユーザのジェスチャーに応じて、メモアイコン３２２ｂのメッセージテキスト内容を大きく表示するよう制御してもよい。

また、テレプレゼンス制御部３０ｄは、上述したメッセージの他、障子画像３２２の全体の色を変化させることで、通信先の雰囲気を伝えることも可能である。例えば、テレプレゼンス制御部３０ｄは、相手ユーザ情報取得部３０ａから取得した通信先の環境情報や感情情報に応じて、障子画像３２２の全体の色を変化させてもよい。

また、メッセージ等の通知は、上述した障子画像３２２の利用に限らず、例えばプロジェクタを用いて表示部３２ａ近傍の床に表示することも可能である。図１４は、本実施形態によるメッセージ表示の他の例を説明する図である。図１４に示すように、例えば部屋Ｒ１にプロジェクタ３４が設けられている場合、通信制御装置３のプロジェクタ制御部３０ｇは、プロジェクタ３４で表示部３２ａ近傍の床にアイコンを投影することで、メッセージをユーザに通知することができる。図１４では、一例としてメールアイコン３４１が投影されている。テレプレゼンス制御部３０ｄは、ジェスチャー検出部３０ｅにより検出されたユーザのジェスチャーに応じて、メールアイコン３４１の内容を表示部３２ａの障子画像３２２に大きく表示するよう制御してもよい。

＜４−２．物理障子の利用＞
上述した実施形態では、通信先とのプライバシーを適度に保つ手段として、障子画像３２２（仮想的な障子）を用いたが、本開示によるテレプレゼンスシステムはこれに限定されず、実際の物理的な障子を表示部３２ａの手前側に設けて、当該物理的な障子の開度を制御することで、通信先とのプライバシーを保つことも可能である。以下、図１５を参照して具体的に説明する。

図１５は、本実施形態による物理的な障子を用いたプライバシー制御について説明する図である。図１５に示すように、表示部３２ａを覆うよう配置された物理的な障子３６０、障子３６０を移動させるベルト３６２、ベルト３６２を駆動するモータ３６１、および開度センサ３６ｂの一例であるロータリーエンコーダ３６３が設けられている。障子３６０は、その上方がベルト３６２に取り付けられ、ベルト３６２と共に水平方向に移動する。

通信制御装置３の障子駆動部３６ａ（図３参照）は、テレプレゼンス制御部３０ｄの制御に従って、設定された開度になるよう障子３６０を移動させる。具体的には、障子駆動部３６ａは、モータ３６１を駆動させてベルト３６２を移動させることで障子３６０を水平方向に移動させて、開度の増減を調整することができる。また、障子３６０の開度は、ロータリーエンコーダ３６３により検出される。

図１５では、物理的に表示部３２ａを覆い隠す例として実際の障子を示したが、本実施形態はこれに限定されず、物理的に３２ａを覆い隠す実際の物体として、カーテン、ロールカーテン、御簾、ブラインド、透過率を変化させることが可能な曇りガラス、液晶シャッター等を設けることも可能である。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態によるテレプレゼンスシステムでは、テレプレゼンスシステムにおけるプライバシーレベルを通信先の相手ユーザに応じて設定することで、プライバシーを適度に保つことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した通信制御装置３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、通信制御装置３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上述した実施形態では、テレプレゼンスで繋がる各空間を制御するそれぞれの通信制御装置３がネットワークを介して接続されるシステムとして説明したが、本開示によるテレプレゼンスシステムはこれに限定されず、例えば各空間の通信を１のサーバにより制御してもよい。この場合、当該サーバは、図３に示す通信制御装置３の制御部３０に含まれる各機能構成を有する。また、テレプレゼンス部３２や各種センサ３３は、各空間にそれぞれ設けられる。

また、本実施形態によるテレプレゼンスシステムでは、通信制御装置３の感性値算出部３０ｂにより感性値の算出を行っているが、本開示はこれに限定されず、感性サーバ２において感性値の算出が行われてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
通信先装置のユーザに応じてプライバシーレベルを自動設定する設定部と、
前記通信先装置に、通信元装置のユーザの映像を送信する通信部と、
前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御する制御部と、
を備える、情報処理システム。
（２）
前記制御部は、前記プライバシーレベルに関する情報を、前記通信先装置に送信するよう前記通信部を制御する、前記（１）に記載の情報処理システム。
（３）
前記制御部は、前記プライバシーレベルに応じて前記通信元装置のユーザの映像を加工し、当該加工した映像を前記通信先装置に送信するよう前記通信部を制御する、前記（１）または（２）に記載の情報処理システム。
（４）
前記設定部は、前記通信先装置のユーザの感性値、感情情報、属性情報、行動情報、および環境情報のうち少なくともいずれかに応じてプライバシーレベルを自動設定する、前記（１）〜（３）のいずれか１項に記載の情報処理システム。
（５）
前記設定部は、前記通信元装置のユーザに応じてプライバシーレベルを自動設定する、前記（１）〜（４）のいずれか１項に記載の情報処理システム。
（６）
前記設定部は、前記通信先装置のユーザから前記通信元装置のユーザに対する相対的感性値に応じてプライバシーレベルを自動設定する、前記（５）に記載の情報処理システム。
（７）
前記制御部は、前記ユーザの映像に画像を重畳表示させることで前記ユーザの映像をマスクする、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記設定部は、前記重畳表示させる画像が、障子画像、カーテン画像、ロールカーテン画像、御簾画像、またはブラインド画像の場合、前記プライバシーレベルを開度として設定する、前記（７）に記載の情報処理システム。
（９）
前記設定部は、前記重畳表示させる画像が、曇りガラス画像または液晶シャッター画像の場合、前記プライバシーレベルを透過度として設定する、前記（７）に記載の情報処理システム。
（１０）
前記情報処理システムは、
前記ユーザのジェスチャーを検出するジェスチャー検出部をさらに備え、
前記設定部は、検出されたジェスチャーに応じて前記プライバシーレベルを変更する、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）
前記制御部は、前記通信先装置から受信した前記通信先装置の相手ユーザの映像を、前記設定部により設定された前記プライバシーレベルに応じてマスクして表示するよう制御する、前記（１）〜（１０）のいずれか１項に記載の情報処理システム。
（１２）
前記制御部は、前記重畳表示させる画像に、前記通信先装置の相手ユーザの状態またはメッセージを伝えるアイコンを含めるよう制御する、前記（１）〜（１１）のいずれか１項に記載の情報処理システム。
（１３）
コンピュータを、
通信先装置の相手ユーザに応じてプライバシーレベルを自動設定する設定部と、
前記通信先装置に、ユーザの映像を送信する通信部と、
前記自動設定されたプライバシーレベルに応じて前記ユーザの映像をマスクするよう制御する制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
（１４）
通信先装置のユーザに応じてプライバシーレベルを自動設定すること、
前記通信先装置に、通信元装置のユーザの映像を送信することと、
前記自動設定されたプライバシーレベルに応じて前記通信元装置のユーザの映像をマスクするよう制御することと、
を含む、制御方法。

１ テレプレゼンスシステム
２ 感性サーバ
２０ 制御部
２０ａ インタラクション記憶制御部
２０ｂ 評価部
２０ｃ オブジェクト管理部
２０ｄ 関連オブジェクト検索部
２１ 通信部
２２ オブジェクトＤＢ
２４ 感性情報ＤＢ
３ 通信制御部
３０ 制御部
３０ａ 相手ユーザ情報取得部
３０ｂ 感性値算出部
３０ｃ 開度設定部
３０ｄ テレプレゼンス制御部
３０ｅ ジェスチャー検出部
３０ｆ 感情情報取得部
３０ｇ プロジェクタ制御部
３１ 通信部
３２ テレプレゼンス部
３２ａ 表示部
３２ｂ カメラ
３２ｃ マイクアレイ
３２ｄ スピーカ
３３ 各種センサ
３３ａ 深度センサ
３３ｂ 人物センサ
３３ｃ 行動センサ
３３ｄ 生体センサ
３３ｅ 位置情報取得部
３３ｆ 高度センサ
３３ｇ 大気汚染センサ
３３ｈ 気温・湿度センサ
３３ｉ 騒音センサ
３５ カレンダー・時計部
３６ 物理障子部
３６ａ 障子駆動部
３６ｂ 開度センサ
３７ 記憶部
３２１ 撮像画像
３２２ 障子画像
Ｒ１、Ｒ２ 部屋

Claims (11)

1. 通信先装置のユーザの映像と、通信元装置のユーザに応じて自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像に重畳される画像に関する情報と、前記通信先装置のユーザに関する情報とを、前記通信先装置から受信する通信部と、
   前記自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像を表示する際に、前記通信先装置のユーザの映像に前記画像を重畳表示するよう制御する制御部と、
   を備え、
   前記制御部は、
   前記通信先装置のユーザの感情情報および環境情報のうち少なくともいずれかに応じて前記重畳表示される画像の色を変化させる、情報処理システム。
2. 前記通信先装置のユーザに応じてプライバシーレベルを自動設定する設定部をさらに備え、
   前記制御部は、前記通信先装置のユーザに応じて自動設定されたプライバシーレベルに関する情報を、前記通信先装置に送信するよう前記通信部を制御する、請求項１に記載の情報処理システム。
3. 前記設定部は、前記通信先装置のユーザの感性値、感情情報、属性情報、行動情報、および環境情報のうち少なくともいずれかに応じてプライバシーレベルを自動設定する、請求項２に記載の情報処理システム。
4. 前記設定部は、前記通信元装置のユーザに応じてプライバシーレベルを自動設定する、請求項２に記載の情報処理システム。
5. 前記設定部は、前記通信先装置のユーザが他のユーザおよび物に対して行った行為の評価履歴に基づいて算出される感性値に応じてプライバシーレベルを自動設定する、請求項２に記載の情報処理システム。
6. 前記設定部は、前記重畳表示させる画像が、障子画像、カーテン画像、ロールカーテン画像、御簾画像、またはブラインド画像の場合、前記プライバシーレベルを開度として設定する、請求項２に記載の情報処理システム。
7. 前記設定部は、前記重畳表示させる画像が、曇りガラス画像または液晶シャッター画像の場合、前記プライバシーレベルを透過度として設定する、請求項２に記載の情報処理システム。
8. 前記情報処理システムは、
   前記通信元装置のユーザのジェスチャーを検出するジェスチャー検出部をさらに備え、
   前記設定部は、検出されたジェスチャーに応じて前記プライバシーレベルを変更する、
   請求項２に記載の情報処理システム。
9. 前記制御部は、前記重畳表示させる画像に、前記通信先装置のユーザの状態またはメッセージを伝えるアイコンを含めるよう制御する、請求項１に記載の情報処理システム。
10. コンピュータを、
    通信先装置のユーザの映像と、通信元装置のユーザに応じて自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像に重畳される画像に関する情報と、前記通信先装置のユーザに関する情報とを、前記通信先装置から受信する通信部と、
    前記自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像を表示する際に、前記通信先装置のユーザの映像に前記画像を重畳表示するよう制御する制御部として機能させ、
    前記制御部に、
    前記通信先装置のユーザの感情情報および環境情報のうち少なくともいずれかに応じて前記重畳表示される画像の色を変化させるためのプログラムが記憶された、記憶媒体。
11. 通信先装置のユーザの映像と、通信元装置のユーザに応じて自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像に重畳される画像に関する情報と、前記通信先装置のユーザに関する情報とを、前記通信先装置から受信することと、
    前記自動設定されたプライバシーレベルに応じて前記通信先装置のユーザの映像を表示する際に、前記通信先装置のユーザの映像に前記画像を重畳表示するよう制御することと、
    前記通信先装置のユーザの感情情報および環境情報のうち少なくともいずれかに応じて前記重畳表示される画像の色を変化させることと、
    を含む、制御方法。

Images