JP6773126B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、例えば臨場感の高いコンテンツを生成することを目的として、実空間をセンシングした結果に基づいてコンテンツを生成する技術が各種提案されている。

例えば、下記特許文献１には、複数のカメラにより撮影された画像に基づいて、自由視点映像を生成する技術が記載されている。

特開２００５−４４８７号公報

しかしながら、特許文献１に記載の技術では、実空間においてセンシングされた全てのオブジェクトが自由視点映像に表示される。このため、例えば、表示されることが望ましくないオブジェクトも自由視点映像に表示されてしまう。

そこで、本開示では、実空間のセンシングに基づいて生成される仮想空間内に配置されるオブジェクトを適切に決定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、を備える、情報処理装置が提供される。

また、本開示によれば、第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいてプロセッサが決定すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、実空間のセンシングに基づいて生成される仮想空間内に配置されるオブジェクトを適切に決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態による情報処理システムの構成例を示した説明図である。 第１の実施形態によるクライアント２０の構成例を示した機能ブロック図である。 空間２内に位置するオブジェクトのセグメンテーションの例を示した説明図である。 第１の実施形態によるＦｒａｍｅデータの構成例を示した説明図である。 第１の実施形態によるメタ情報３０６の構成例を示した説明図である。 第１の実施形態による共有空間の生成例を示した説明図である。 第１の実施形態によるサーバ１０‐１の構成例を示した機能ブロック図である。 第１の実施形態による共有空間管理部１００‐１の詳細な構成例を示した機能ブロック図である。 第１の実施形態の課題を説明するための説明図である。 第１の実施形態による共有空間合成部１５２の構成例を示した機能ブロック図である。 各オブジェクトに関して算出された優先度の例を示した説明図である。 共有空間におけるオブジェクト４２の配置例を示した説明図である。 第１の実施形態の応用例の課題を説明するための説明図である。 先行するフレームのメタ情報を使用する例を示した説明図である。 新たなオブジェクトの表示が開始されることを示すアニメーションの一例を示した図である。 新たなオブジェクトの表示が開始されることを示すアニメーションの一例を示した図である。 新たなオブジェクトの表示が開始されることを示すアニメーションの一例を示した図である。 削除対象のオブジェクトの表示が終了されることを示すアニメーションの一例を示した図である。 削除対象のオブジェクトの表示が終了されることを示すアニメーションの一例を示した図である。 削除対象のオブジェクトの表示が終了されることを示すアニメーションの一例を示した図である。 第２の実施形態による共有空間管理部１００‐２の構成例を示した機能ブロック図である。 共有空間管理用ＤＢ１１０の構成例を示した説明図である。 ベース空間レイアウト情報１６０の構成例を示した説明図である。 レイアウトポリシー情報ＤＢ１６２の構成例を示した説明図である。 オブジェクト管理情報ＤＢ１６４の構成例を示した説明図である。 共有オブジェクトテーブル１８０の構成例を示した説明図である。 共有オブジェクト関連情報１８２の構成例を示した説明図である。 第２の実施形態による共有空間の生成例の一部を示した説明図である。 第２の実施形態による共有空間の生成例の一部を示した説明図である。 第２の実施形態による共有空間の生成例の一部を示した説明図である。 第２の実施形態による処理の流れを示したフローチャートである。 第２の実施形態による「ベース空間レイアウト生成処理」の流れを示したフローチャートである。 第２の実施形態による「オブジェクトトラッキング補償処理」の流れを示したフローチャートである。 第２の実施形態による「オブジェクト優先度計算処理」の流れを示したフローチャートである。 第２の実施形態による「オブジェクトレイアウト処理」の流れを示したフローチャートである。 オブジェクトレイアウト評価グラフの生成例を示した説明図である。 レイアウト処理が終了した時点のオブジェクトレイアウト評価グラフの例を示した説明図である。 実空間２におけるユーザ４、複数の実オブジェクト３３０、および、複数の仮想オブジェクト３４０の位置関係の例を示した説明図である。 図３７に示した状況において上書き表現を用いて自由視点のコンテンツが表示される例を示した説明図である。 図３７に示した状況において遮蔽表現を用いて自由視点のコンテンツが表示される例を示した説明図である。 共有空間に参加中の実空間Ａおよび実空間Ｂを示した説明図である。 ユーザ４ａから所定の範囲内では遮蔽表現を用い、かつ、ユーザ４ａから所定の範囲外では上書き表現を用いて自由視点のコンテンツを表示させる例を示した説明図である。 遮蔽表現の対象となった実オブジェクトを示す表示を自由視点のコンテンツに重畳して表示させる例を示した説明図である。 第２の実施形態の応用例２による共有空間管理用ＤＢ１１０の構成例を示した図である。 同応用例２による設定情報ＤＢ１１２の構成例を示した説明図である。 実空間２ａ内のユーザ４ａが、空間共有を行うことを促す招待メッセージを実空間２ｂ内のユーザ４ｂに対して発行する例を示した説明図である。 実空間ごとの、当該実空間内のユーザの、ベース空間への集合状態を管理するためのテーブル３６０の構成例を示した説明図である。 同応用例２による、ベース空間が切り替わることを示すアニメーションの一例を示した図である。 同応用例２による、ベース空間が切り替わることを示すアニメーションの一例を示した図である。 同応用例２による、空間共有の開始時の処理（空間共有の開始時の設定情報を用いた例）の流れの一部を示したフローチャートである。 同応用例２による、空間共有の開始時の処理（空間共有の開始時の設定情報を用いた例）の流れの一部を示したフローチャートである。 同応用例２による、空間共有の開始時の処理（招待用ＵＩを用いた例）の流れの一部を示したフローチャートである。 同応用例２による「共有空間への追加参加時の処理」の流れを示したフローチャートである。 第３の実施形態のストリーム生成部１３０による処理例を示したフローチャートである。 第３の実施形態の制御情報送信部１２２による処理例を示したフローチャートである。 第３の実施形態のストリーム生成部２２６による処理例を示したフローチャートである。 第３の実施形態の認識部２２４による処理例を示したフローチャートである。 第４の実施形態によるベース空間レイアウト情報１６０の構成例を示した説明図である。 第４の実施形態によるベース空間レイアウトの例を示した説明図である。 第４の実施形態による情報処理システムの構成例を示した説明図である。 自由視点動画コンテンツサーバ５０および自由視点ライブコンテンツサーバ５２の構成例を示した機能ブロック図である。 ベース空間レイアウトサーバ５４の構成例を示した機能ブロック図である。 第４の実施形態による共有空間管理部１００‐４の構成例を示した機能ブロック図である。 第５の実施形態によるベース空間レイアウトエディタの使用例を示した説明図である。 第５の実施形態によるベース空間レイアウトエディタの使用例を示した説明図である。 第６の実施形態による入力部２２の構成例を示した機能ブロック図である。 第６の実施形態による表示可否設定エディタの使用例を示した説明図である。 第７の実施形態による二つの空間の合成例を示した説明図である。 第７の実施形態による二つの空間の合成例を示した説明図である。 指差しジェスチャーによる空間合成時の位置関係の指定例を示した説明図である。 握手のジェスチャーによる空間合成時の位置関係の指定例を示した説明図である。 第７の実施形態による処理の流れを示したフローチャートである。 各実施形態に共通するサーバ１０のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて入力部２２ａおよび入力部２２ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、入力部２２ａおよび入力部２２ｂを特に区別する必要が無い場合には、単に入力部２２と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．第７の実施形態
８．ハードウェア構成
９．変形例

なお、本明細書及び図面において、第１の実施形態によるサーバ１０‐１〜第７の実施形態によるサーバ１０‐７を総称して、サーバ１０と称する場合がある。

＜＜１．第１の実施形態＞＞
＜１−１．情報処理システムの構成＞
{１−１−１．概要}
まず、第１の実施形態について説明する。図１は、第１の実施形態による情報処理システムの構成例を示した説明図である。図１に示すように、第１の実施形態による情報処理システムは、サーバ１０‐１、複数のクライアント２０、および、通信網２６を含む。また、各クライアント２０は、入力部２２および出力部２４を有する。

図１に示すように、第１の実施形態では、複数の実空間２が予め定められており、そして、複数の実空間２の各々には、クライアント２０が配置されていることを想定する。ここで、実空間２は、例えば家、店舗、オフィスビル、駅、または、レジャー施設などの施設内の部屋（例えばリビングルームや会議室など）や廊下などであり得る。なお、図１では、実空間２が二つ設けられている例を示しているが、かかる例に限定されず、実空間は三つ以上設けられてもよい。ここで、各実空間は、少なくとも１つの実オブジェクトを含み得る。また、各実空間はそれぞれ、互いに異なる少なくとも１人のユーザに関連し得る。例えば、各実空間内には、一以上のユーザが存在する。但し、かかる例に限定されず、ユーザが存在しない実空間があってもよい。

また、サーバ１０‐１と各クライアント２０とは、通信網２６を介してそれぞれ接続され、そして、データの送受信を行うことが可能である。

ところで、異なる実空間２内に位置するユーザ同士がコミュニケーションを行う場面では、相手のユーザに実物を見せながら話をすることにより、より円滑なコミュニケーションが実現可能となる。例えば、ユーザが商品の説明を行う場面では、商品自体や商品の模型などを相手のユーザに見せながら説明する方が、相手のユーザは説明をより理解しやすい。

また、コミュニケーションの状況によっては、ユーザの近くに位置する物体だけでなく、当該ユーザから離れて位置する物体（例えばコミュニケーションを行うユーザ間で話題になっている物体など）も相手のユーザに閲覧させることが望ましい場合もある。そこで、サーバ１０‐１は、コミュニケーションを行う各ユーザが位置する各実空間２の略全体の３Ｄデータを合成することにより、自由視点のコンテンツを生成する。そして、各ユーザは自由視点のコンテンツを同時に視聴することにより、あたかも同じ空間内に位置するような体験をしながら、自由にコミュニケーションを行うことができる。以下、クライアント２０およびサーバ１０‐１の内容についてより詳細に説明を行う。

{１−１−２．入力部２２}
入力部２２は、入力部２２が配置されている実空間をセンシングする。例えば、入力部２２は、当該実空間をセンシングすることにより、当該実空間内の各オブジェクト（物体）の３Ｄデータなどをセンシング結果として取得する。そして、入力部２２は、取得したセンシング結果をサーバ１０‐１へ送信する。なお、センシング結果は、センシングされるデータ、または、センシングによって得られる信号を含み得る。

図２は、クライアント２０（入力部２２および出力部２４）の構成例を示した機能ブロック図である。図２に示すように、入力部２２は、センサ部２２０、制御情報受信部２２２、認識部２２４、ストリーム生成部２２６、および、送信部２２８を有する。

（１−１−２−１．センサ部２２０）
センサ部２２０は、センサ部２２０が配置されている実空間内の３Ｄデータなどの各種の情報をセンシングする。例えば、センサ部２２０は、複数のデプスカメラ、および、複数のＲＧＢカメラを有し得る。そして、当該複数のデプスカメラの各々が、当該デプスカメラの前方に位置するオブジェクトまでの距離情報を検出することにより、センサ部２２０は、該当の実空間の略全体の３Ｄデータを取得し得る。また、当該複数のＲＧＢカメラの各々は、撮像することにより２Ｄ画像を取得し得る。ここで、３Ｄデータの形式は、例えばポイントクラウド（点群）や３Ｄメッシュ（ポリゴン）など、任意の形式であり得る。なお、センサ部２２０が有する複数のカメラ間は相互に接続され、フレーム同期が行われ得る。

‐セグメンテーション処理
例えば、センサ部２２０は、フレーム単位で、まず、ポイントクラウドデータを生成し、そして、生成したポイントクラウドデータに基づいて、オブジェクトの分離処理（セグメンテーション処理）を行う。そして、センサ部２２０は、分離された各オブジェクトに関して、センサ部２２０が配置されている実空間２において当該オブジェクトが占める領域の情報を特定する。さらに、センサ部２２０は、当該各オブジェクトに対してオブジェクトＩＤを付与する。ここで、オブジェクトＩＤは、各オブジェクトを一意に識別するためのＩＤである。

ここで、図３を参照して、上記の内容についてより詳細に説明する。図３に示したように、例えば、実空間２ａ内のセンサ部２２０ａは、オブジェクト４２ａおよびオブジェクト４２ｂをそれぞれセグメンテーションし、そして、オブジェクト４２ａのオブジェクトＩＤとして「１」、オブジェクト４２ｂのオブジェクトＩＤとして「２」をそれぞれ設定する。同様に、実空間２ｂ内のセンサ部２２０ｂは、図３に示したように、オブジェクト４２ｃおよびオブジェクト４２ｄをそれぞれセグメンテーションし、そして、オブジェクト４２ｃのオブジェクトＩＤとして「１」、オブジェクト４２ｄのオブジェクトＩＤとして「２」をそれぞれ設定する。

‐モデリング処理
また、センサ部２２０は、分離された各オブジェクトに関してモデリング処理を行い、３Ｄメッシュを生成することが可能である。

また、センサ部２２０は、当該各オブジェクトと、センサ部２２０が撮影した２Ｄ画像との対応関係を示す２Ｄ画像相関情報をさらに生成する。ここで、２Ｄ画像相関情報は、各オブジェクトが、撮影された２Ｄ画像内のいずれの位置にそれぞれ対応するかを示す情報である。

また、センサ部２２０は、分離された各オブジェクトの特徴量などに基づいて、各オブジェクトのトラッキング処理を行うことも可能である。そして、センサ部２２０は、連続するフレーム間で同一と判定されるオブジェクトに関しては、当該オブジェクトに付与されているオブジェクトＩＤを変更しない。

また、センサ部２２０は、一以上のマイクロフォンをさらに有し得る。そして、センサ部２２０は、該当の実空間内の音を集音し得る。

‐出力
また、センサ部２２０は、一フレームごとにセンシング結果を出力する。例えば、センサ部２２０は、一フレームごとに、撮影した２Ｄ画像、取得した各オブジェクトの３Ｄデータ、および２Ｄ画像相関情報を含むＦｒａｍｅデータを出力する。なお、当該Ｆｒａｍｅデータは、集音された音声データをさらに含んでもよい。

なお、センサ部２２０は、単一のデバイス（例えばカメラなど）により構成されてもよいし、または、複数のデバイスにより構成されてもよい。なお、複数のデバイスにより構成される場合には、当該複数のデバイスによりセンシングされるデータ（３Ｄデータなど）が、例えばキャリブレーションやフレーム同期処理などにより精度良く合成され得る。

（１−１−２−２．制御情報受信部２２２）
制御情報受信部２２２は、サーバ１０‐１から第１の制御情報を受信する。また、制御情報受信部２２２は、受信した第１の制御情報を認識部２２４およびストリーム生成部２２６へ伝達する。ここで、第１の制御情報は、例えば、後述する認識部２２４による認識処理に関する指示の情報や、後述するストリーム生成部２２６によるストリームの生成に関する指示の情報を含み得る。

（１−１−２−３．認識部２２４）
‐認識
認識部２２４は、センサ部２２０から伝達されるＦｒａｍｅデータに基づいて、各種の認識処理を行う。例えば、認識部２２４は、当該Ｆｒａｍｅデータに含まれる３Ｄデータに基づいて認識処理を行ってもよいし、または、当該Ｆｒａｍｅデータに含まれる２Ｄ画像に基づいて認識処理を行ってもよい。

例えば、認識部２２４は、当該Ｆｒａｍｅデータに基づいてオブジェクトの種別の認識を行う。そして、認識部２２４は、人と判定したオブジェクトに対しては顔認識、ボーン認識、および、手指認識をさらに行う。また、認識部２２４は、（サーバ１０により生成される）自由視点のコンテンツの利用を開始するためのユーザの操作や、当該自由視点のコンテンツの利用を終了するためのユーザの操作を認識することが可能である。なお、これらの操作の具体的な内容については後述する。

また、第１の制御情報が制御情報受信部２２２から伝達された場合には、認識部２２４は、さらに当該第１の制御情報に従って、認識処理を行うことも可能である。

‐出力
また、認識部２２４は、認識処理の結果を、伝達されたＦｒａｍｅデータに付加し、そして、付加後のＦｒａｍｅデータをストリーム生成部２２６へ伝達する。例えば、認識部２２４は、まず、例えば人と判定されたオブジェクトに対する認識処理の結果に基づいてメタ情報、ボーン認識情報、および、手指認識情報を生成する。そして、認識部２２４は、これらの情報を、伝達されたＦｒａｍｅデータに付加する。

図４は、Ｆｒａｍｅデータの構成例（Ｆｒａｍｅデータ３０）を示した説明図である。図４に示すように、Ｆｒａｍｅデータ３０は、例えば、２Ｄカメラ画像３００、３Ｄオブジェクト３０２、オーディオデータ３０４、メタ情報３０６、ボーン認識情報３０８、および、手指認識情報３１０を有する。ここで、２Ｄカメラ画像３００は、センサ部２２０により撮影された、該当のフレームの２Ｄ画像が格納される。また、３Ｄオブジェクト３０２は、センサ部２２０による撮影に基づいて、該当のフレームにおいて特定された個々のオブジェクトの３Ｄデータが格納される。例えば、３Ｄオブジェクト３０２は、オブジェクトごとに、オブジェクトＩＤ、当該オブジェクトの点（位置および色）、および、当該オブジェクトの面の情報を有する。さらに、３Ｄオブジェクト３０２は、２Ｄ画像相関情報を有する。なお、ここで述べる３Ｄオブジェクトには、床や壁といった実空間から移動できない平面的なオブジェクトは含まないものと見做されても良い。

また、オーディオデータ３０４は、センサ部２２０により録音された、該当のフレーム時の音声のデータが格納される。また、ボーン認識情報３０８には、例えば認識部２２４により認識された、個々のオブジェクトに関するボーン認識の結果が格納される。例えば、ボーン認識情報３０８には、認識されたボーンごとに、当該ボーンを有するオブジェクトのオブジェクトＩＤ、当該オブジェクトの種類、および、当該ボーンの領域の情報などが格納される。また、手指認識情報３１０には、例えば認識部２２４により認識された、個々のオブジェクトに関する手や指の認識の結果が格納される。例えば、手指認識情報３１０には、認識された手や指ごとに、当該手または指を有するオブジェクト（人など）のオブジェクトＩＤ、当該オブジェクトの種類、および、当該手または指の領域の情報などが格納される。

また、メタ情報３０６は、３Ｄオブジェクト３０２に格納されている個々のオブジェクトに関する情報（例えば属性など）である。図５は、メタ情報３０６の構成例を示した説明図である。図５に示したように、メタ情報３０６は、例えば、オブジェクトＩＤ３０６０、領域３０６４、種類３０６６、元空間３０６８、人物３０７０、接触情報３０７２、および、近隣情報３０７４を含む。ここで、オブジェクトＩＤ３０６０には、該当のオブジェクトに割り当てられているオブジェクトＩＤが格納される。また、領域３０６４には、該当のオブジェクトが位置する領域の情報が格納される。また、種類３０６６には、予め認識された該当のオブジェクトの種類が格納される。また、元空間３０６８には、該当の実空間の識別情報が記録される。また、人物３０７０には、該当のオブジェクトが人である場合に、予め顔認識などにより特定された当該人の識別情報（名前など）が格納される。また、接触情報３０７２には、該当の実空間において該当のオブジェクトと接触していると認識されたオブジェクトの情報（例えばオブジェクトＩＤなど）が格納される。また、近隣情報３０７４には、該当の実空間において該当のオブジェクトの近くに位置すると認識されたオブジェクトの情報（例えばオブジェクトＩＤなど）が格納される。

（１−１−２−４．ストリーム生成部２２６）
ストリーム生成部２２６は、認識部２２４から伝達されるＦｒａｍｅデータに基づいて、ストリームを生成する。そして、ストリーム生成部２２６は、生成したストリームを送信部２２８へ伝達する。例えば、ストリーム生成部２２６は、まず、認識部２２４から伝達される各種の情報を多重化することにより一つのストリームを生成し、そして、当該一つのストリームを送信部２２８へ伝達してもよい。または、ストリーム生成部２２６は、認識部２２４から伝達される各種の情報からそれぞれ別々のストリームを生成し、そして、生成した各ストリームを送信部２２８へ伝達してもよい。

なお、第１の制御情報が制御情報受信部２２２から伝達された場合には、ストリーム生成部２２６は、認識部２２４から伝達された情報の中から、当該第１の制御情報が指定する一部の情報を抽出し、そして、抽出した情報のみを含むストリームを生成してもよい。そして、ストリーム生成部２２６は、当該ストリームを送信部２２８へ伝達してもよい。

（１−１−２−５．送信部２２８）
送信部２２８は、ストリーム生成部２２６から伝達されたストリームをサーバ１０‐１へ送信する。

{１−１−３．サーバ１０‐１}
サーバ１０‐１は、本開示における情報処理装置の一例である。サーバ１０‐１は、ユーザ４ａが位置する実空間２ａのセンシング結果と、ユーザ４ｂが位置する実空間２ｂのセンシング結果とに基づいて、ユーザ４ａおよびユーザ４ｂの間のコミュニケーションのための（仮想の）共有空間を生成し得る。ここで、実空間２ａは、本開示における第１の実空間の一例であり、また、実空間２ｂは、本開示における第２の実空間の一例である。例えば、サーバ１０‐１は、複数の実空間２の各々の入力部２２から受信されるストリーム（つまり、当該実空間２のセンシング結果）に基づいて当該共有空間を生成し得る。一例として、サーバ１０‐１は、各実空間２内の入力部２２から受信されるストリームを合成することにより共有空間を生成する。

また、サーバ１０‐１は、実空間２ａ内の第１の実オブジェクトに対応する第１の仮想オブジェクト、および、実空間２ｂ内の第２の実オブジェクトに対応する第２の仮想オブジェクトのうちの少なくとも一以上を、共有オブジェクトとして当該共有空間内に配置し得る。

図６は、共有空間の生成例を示した説明図である。図６に示したように、例えば、共有空間生成部１０２は、実空間２ａの入力部２２から受信されるストリームに含まれるオブジェクト４２ａおよびオブジェクト４２ｂの３Ｄデータと、実空間２ｂの入力部２２から受信されるストリームに含まれるオブジェクト４２ｃおよびオブジェクト４２ｄの３Ｄデータとを、共有オブジェクトとして共有空間４０内にそれぞれ配置することにより、共有空間４０を生成する。

また、サーバ１０‐１は、生成した共有空間に基づいて自由視点のコンテンツを生成し、そして、当該コンテンツを各実空間２の出力部２４へそれぞれ送信する。

図７は、サーバ１０‐１の構成例を示した機能ブロック図である。図７に示すように、サーバ１０‐１は、共有空間管理部１００‐１、および、複数のクライアント接続部１２０を有する。なお、配置されているクライアント２０ごとに、クライアント接続部１２０は一つずつ設けられ得る。また、クライアント接続部１２０とクライアント２０との組（接続関係）は予め定められ得る。

（１−１−３−１．クライアント接続部１２０）
クライアント接続部１２０は、共有空間管理部１００‐１から伝達される情報を接続先のクライアント２０へ送信する。また、クライアント接続部１２０は、接続先のクライアント２０から受信される情報を共有空間管理部１００‐１へ伝達する。

また、図７に示すように、各クライアント接続部１２０は、制御情報送信部１２２、ストリーム分離部１２４、受信部１２６、制御情報受信部１２８、ストリーム生成部１３０、および、送信部１３２を有する。

（１−１−３−２．受信部１２６）
受信部１２６は、接続先の入力部２２からストリームを受信する。そして、受信部１２６は、受信したストリームをストリーム分離部１２４へ伝達する。

（１−１−３−３．ストリーム分離部１２４）
ストリーム分離部１２４は、受信部１２６から伝達されたストリームに対して例えば逆多重化などを行うことにより、一フレームごとに３Ｄデータとメタ情報とに分離する。そして、ストリーム分離部１２４は、分離後の３Ｄデータとメタ情報とを、後述する共有空間生成部１０２へ伝達する。

（１−１−３−４．制御情報送信部１２２）
制御情報送信部１２２は、共有空間生成部１０２の指示に基づいて、接続先のクライアント２０（入力部２２）へ第１の制御情報を送信する。例えば、制御情報送信部１２２は、共有空間生成部１０２により決定される、望ましい３Ｄデータまたはメタ情報に関する情報を第１の制御情報として生成し、そして、当該第１の制御情報を入力部２２へ送信する。これにより、ネットワーク帯域の利用を節約したり、また、クライアント２０側での認識処理を軽減させることが可能となる。

例えば、特定の実空間の３Ｄデータの一部を共有空間生成部１０２が利用しないことが決定された場合には、制御情報送信部１２２は、当該決定の内容を第１の制御情報に含めて、第１の制御情報を生成し、そして、当該第１の制御情報を該当の実空間の入力部２２へ送信する。これにより、送信先の入力部２２は、該当のデータをサーバ１０‐１へ送信しないように制御することが可能となる。

（１−１−３−５．制御情報受信部１２８）
制御情報受信部１２８は、接続先の出力部２４から第２の制御情報を受信する。また、制御情報受信部１２８は、受信した第２の制御情報を共有空間生成部１０２およびストリーム生成部１３０へ伝達する。ここで、第２の制御情報は、例えば、後述する（出力部２４の）表示部２４６の位置や姿勢などの検出結果などの情報を含み得る。

（１−１−３−６．ストリーム生成部１３０）
ストリーム生成部１３０は、共有空間生成部１０２により生成される共有空間Ｆｒａｍｅデータに基づいて、接続先のクライアント２０用のストリームを生成する。ここで、共有空間Ｆｒａｍｅデータは、共有空間に関する自由視点のコンテンツの、一フレーム分のデータであり得る。例えば、共有空間Ｆｒａｍｅデータは、共有空間内の各オブジェクトの３Ｄデータおよびメタ情報などを含む。

例えば、ストリーム生成部１３０は、生成された共有空間の３Ｄデータおよびメタ情報などを多重化することにより、当該ストリームを生成する。なお、第２の制御情報が制御情報受信部１２８から伝達された場合には、ストリーム生成部１３０は、さらに当該第２の制御情報に基づいて、当該ストリームを生成することも可能である。例えば、ストリーム生成部１３０は、当該第２の制御情報が指示する、表示不要な３Ｄデータを生成対象のストリームから除外したり、または、画質を低下させるなどの処理を行うことにより、当該ストリームを生成する。

また、ストリーム生成部１３０は、生成したストリームを送信部１３２へ伝達する。

（１−１−３−７．送信部１３２）
送信部１３２は、ストリーム生成部１３０から伝達されたストリームを、接続先のクライアント２０の出力部２４へ送信する。

（１−１−３−８．共有空間管理部１００‐１）
共有空間管理部１００‐１は、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９００やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０４などを用いて、サーバ１０‐１の動作を統括的に制御する。また、共有空間管理部１００‐１は、各クライアント接続部１２０から伝達される、各実空間２内のクライアント２０から受信されたＦｒａｍｅデータおよび第２の制御情報に基づいて、自由視点のコンテンツ（共有空間Ｆｒａｍｅデータ）を生成する。また、共有空間管理部１００‐１は、生成した自由視点のコンテンツを各クライアント接続部１２０へ伝達する。

図８は、共有空間管理部１００‐１のより詳細な構成例を示した機能ブロック図である。図８に示すように、共有空間管理部１００‐１は、共有空間生成部１０２、認識部１０４、イベント認識部１０６、および、制御部１０８を有する。

（１−１−３−９．認識部１０４）
認識部１０４は、共有空間生成部１０２により生成される共有空間Ｆｒａｍｅデータに基づいて、例えば顔認識、手指認識、または、ボーン認識などの各種の認識処理を行う。詳細については後述するが、例えば、認識部１０４は、まず、共有空間Ｆｒａｍｅデータを共有空間ＦｒａｍｅデータＤＢ１５６からフレーム順に取得する。そして、認識部１０４は、取得した共有空間Ｆｒａｍｅデータに基づいて各種の認識処理を行い、そして、認識した結果をイベント認識部１０６へ伝達する。

なお、認識部１０４は、複数のクライアント２０の各々から受信されたストリームから得られるメタ情報を用いることにより、認識処理を軽減すること（一部の処理を省略するなど）も可能である。

（１−１−３−１０．イベント認識部１０６）
イベント認識部１０６は、認識部１０４から伝達される時系列の情報に基づいて、イベント情報を生成する。例えば、生成された共有空間にユーザが参加しており、かつ、当該共有空間上に配置されている机に対してユーザが指差したことが認識された場合には、イベント認識部１０６は、当該机を指差したことをイベント情報として生成する。また、あるユーザが位置する実空間内の机の上のラップトップ型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を当該ユーザが持ち上げたことが認識された場合には、イベント認識部１０６は、当該ラップトップ型ＰＣを持ち上げたことをイベント情報として生成する。

また、イベント認識部１０６は、生成したイベント情報を制御部１０８へ伝達する。

（１−１−３−１１．制御部１０８）
制御部１０８は、イベント認識部１０６から伝達されるイベント情報に基づいて、第３の制御情報を生成する。そして、制御部１０８は、生成した第３の制御情報を共有空間生成部１０２へ伝達する。ここで、第３の制御情報は、共有空間生成部１０２による共有空間の生成時に利用される情報であり得る。

（１−１−３−１２．共有空間生成部１０２）
共有空間生成部１０２は、複数のクライアント２０の各々から受信されたストリームから得られるＦｒａｍｅデータおよびメタ情報に基づいて、共有空間Ｆｒａｍｅデータを生成する。また、図８に示すように、共有空間生成部１０２は、同期部１５０、共有空間合成部１５２、配信部１５４、および、共有空間ＦｒａｍｅデータＤＢ１５６を有する。

（１−１−３−１３．同期部１５０）
同期部１５０は、複数のクライアント２０の各々から受信されたＦｒａｍｅデータおよび第２の制御情報に関して、タイミングが同じである情報ごと（例えば、一フレームごと）に纏めて共有空間合成部１５２へ順次伝達する。

（１−１−３−１４．共有空間合成部１５２）
共有空間合成部１５２は、同期部１５０から伝達される各実空間のＦｒａｍｅデータに基づいて、共有空間Ｆｒａｍｅデータを生成する。また、共有空間合成部１５２は、生成した共有空間Ｆｒａｍｅデータを共有空間ＦｒａｍｅデータＤＢ１５６へ格納する。

例えば、自由視点のコンテンツが未生成である場合には、共有空間合成部１５２は、まず、所定の開始条件に基づいて、自由視点のコンテンツを生成するか否かを決定する。そして、自由視点のコンテンツを生成することを決定した場合には、共有空間合成部１５２は、自由視点のコンテンツ（共有空間Ｆｒａｍｅデータ）を生成する。一例として、所定の開始条件が成立した場合には、共有空間合成部１５２は、自由視点のコンテンツを生成することを決定する。また、所定の開始条件が成立しない場合には、共有空間合成部１５２は、自由視点のコンテンツを生成しないことを決定する。

‐開始条件：相手のユーザの選択
ここで、所定の開始条件は、共有空間が生成されていない（以下、空間共有が開始されていないと称する場合がある）状況において、あるユーザ４ａが、（空間共有を開始するために）空間共有を希望する相手のユーザ４ｂを選択する操作を行ったことが検出されることを含み得る。なお、相手のユーザの選択方法としては、例えば、ユーザ４ａが閲覧する表示部２４６に表示されるユーザリストの中から、例えば所定の入力装置に対する操作、ジェスチャー、視線操作、または、発話などにより相手のユーザ４ｂを選択することであってもよい。または、ユーザ４ａが相手のユーザ名を直接発話することにより相手のユーザ４ｂが選択されてもよい。

‐開始条件：空間の選択
また、所定の開始条件は、空間共有がなされていない状況において、あるユーザ４ａが、（空間共有を開始するために）共有空間の基となる実空間を選択する操作を行ったことが検出されることを含み得る。なお、実空間の選択方法としては、例えば、ユーザ４ａが閲覧する表示部２４６に表示される空間リストの中から、例えば所定の入力装置に対する操作、ジェスチャー、視線操作、または、発話などにより、空間共有を希望する実空間をユーザ４ａが選択することであってもよい。または、ユーザ４ａが、所望の実空間の名前を直接発話することにより、当該実空間が選択されてもよい。

（１−１−３−１５．配信部１５４）
配信部１５４は、共有空間合成部１５２により生成された共有空間Ｆｒａｍｅデータに基づいて、実空間ごとに、当該実空間内の出力部２４へ送信されるＦｒａｍｅデータを生成する。そして、配信部１５４は、生成した各Ｆｒａｍｅデータを、当該Ｆｒａｍｅデータの送信先の実空間に対応するクライアント接続部１２０へそれぞれ伝達する。

{１−１−４．出力部２４}
出力部２４は、サーバ１０‐１から受信されるストリーム（例えば自由視点のコンテンツ）を出力する。これにより、該当の実空間内のユーザは、出力されたコンテンツを視聴することにより、あたかも、生成された共有空間の内部に位置するような体験をすることができる。

出力部２４は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラスなどのウェアラブルデバイスであり得る。なお、ＨＭＤは遮蔽型であってもよいし、ビデオ透過型であってもよい。また、出力部２４は、ウェアラブルデバイスである例に限定されず、例えばプロジェクタであり、かつ、サーバ１０から受信されるストリームを、該当の実空間内の投影対象（例えば壁など）に投影してもよい。または、出力部２４は、複数のデバイスの組み合わせ（例えば、ＡＲグラスおよびプロジェクタの組み合わせなど）により構成されてもよい。なお、以下では、出力部２４がウェアラブルデバイスである例を中心として説明を行う。

ここで、図２を再び参照して、出力部２４の構成について具体的に説明する。図２に示すように、出力部２４は、受信部２４０、ストリーム分離部２４２、合成部２４４、表示部２４６、センサ部２４８、認識部２５０、および、制御情報送信部２５２を有する。

（１−１−４−１．受信部２４０）
受信部２４０は、サーバ１０‐１からストリームを受信する。また、受信部２４０は、受信したストリームをストリーム分離部２４２へ伝達する。

（１−１−４−２．ストリーム分離部２４２）
ストリーム分離部２４２は、受信部２４０から伝達されたストリームに対して例えば逆多重化などを行うことにより、当該ストリームを分離する。また、ストリーム分離部２４２は、分離したデータを合成部２４４へ伝達する。または、ストリーム分離部２４２は、分離したデータを表示部２４６へ伝達してもよい。

（１−１−４−３．合成部２４４）
合成部２４４は、ストリーム分離部２４２から伝達されるデータと、認識部２５０から伝達される認識結果（例えば、表示部２４６の位置や姿勢などの認識結果など）とに基づいて、３Ｄ映像（例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像やＡＲ映像など）を生成（レンダリング）する。また、合成部２４４は、生成した映像を表示部２４６へ伝達する。

（１−１−４−４．表示部２４６）
表示部２４６は、合成部２４４により生成された映像、または、ストリーム分離部２４２から伝達される映像データを表示する。

表示部２４６は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などから構成され得る。または、表示部２４６は、透過型のディスプレイ上に映像を表示してもよい。または、表示部２４６は、プロジェクタであってもよい。

（１−１−４−５．センサ部２４８）
センサ部２４８は、例えばＲＧＢカメラ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機、加速度センサ、ジャイロスコープ、および、地磁気センサなどの各種のセンサを含み得る。例えば、センサ部２４８は、表示部２４６の位置および姿勢などに関する情報を検出する。また、センサ部２４８は、検出した情報を認識部２５０へ伝達する。

なお、センサ部２４８は、単一のデバイスにより構成されてもよいし、または、複数のデバイスにより構成されてもよい。なお、複数のデバイスにより構成される場合には、当該複数のデバイスによりセンシングされる情報（画像など）が、キャリブレーションやフレーム同期処理などにより精度良く合成され得る。

（１−１−４−６．認識部２５０）
認識部２５０は、センサ部２４８から伝達される情報に基づいて、表示部２４６の位置および姿勢などの認識処理を行う。また、認識部２５０は、さらに、ユーザの視点位置の認識を行ってもよい。

また、認識部２５０は、認識した結果を合成部２４４および制御情報送信部２５２へ伝達する。

（１−１−４−７．制御情報送信部２５２）
制御情報送信部２５２は、認識部２５０から伝達される認識結果（表示部２４６の位置および姿勢の認識結果など）を第２の制御情報としてサーバ１０‐１へ送信する。

{１−１−５．通信網２６}
通信網２６は、通信網２６に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２６は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２６は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

｛１−１−６．変形例｝
（１−１−６−１．変形例１）
なお、第１の実施形態による情報処理システムの構成は、上述した例に限定されない。例えば、上記の説明では、入力部２２および出力部２４が実空間ごとにそれぞれ一つずつ配置される例を説明したが、かかる例に限定されず、入力部２２および出力部２４は、当該情報処理システムにおいてそれぞれ一以上配置されればよい。また、入力部２２のみ、または、出力部２４のみが配置される実空間が存在してもよい。

（１−１−６−２．変形例２）
また、サーバ１０‐１は、クラウド上のサーバとして構成されてもよいし、または、関連するクライアント２０上に構成されてもよい。

また、上記の説明では、共有空間管理部１００‐１が、一つのサーバ（つまりサーバ１０‐１）に含まれる例を説明したが、かかる例に限定されない。例えば、複数台のコンピュータ（図示省略）が協同して動作することにより、共有空間管理部１００‐１の機能が実現されてもよい。または、上述した共有空間管理部１００の機能は、各クライアント２０上に分散配置され、かつ、それらが協調して動作するように構成されてもよい。

（１−１−６−３．変形例３）
また、クライアント２０は、単一のデバイスとして構成されてもよいし、または、複数のデバイスにより構成されてもよい。

また、上記の説明では、入力部２２のセンサ部２２０と、出力部２４のセンサ部２４８とが別々に設けられる例について説明したが、かかる例に限定されない。例えば、センサ部２２０およびセンサ部２４８は一体的に構成され、かつ、このセンサ部を入力部２２と出力部２４とが共有してもよい。同様に、入力部２２の認識部２２４、および、出力部２４の認識部２５０は一体的に構成され、かつ、この認識部を入力部２２と出力部２４とが共有してもよい。

（１−１−６−４．変形例４）
また、上記の説明では、（入力部２２の）認識部２２４、（出力部２４の）認識部２５０、および、（サーバ１０の）認識部１０４が設けられる例について説明したが、かかる例に限定されず、認識部２２４、認識部２５０、および、認識部１０４のうちいずれか一個または二個は設けられなくてもよい。そして、この場合、他の認識部が、設置されない認識部に対応する処理をさらに行うように構成されてもよい。

（１−１−６−５．変形例５）
また、上記の説明では、入力部２２のストリーム生成部２２６、および、サーバ１０‐１のストリーム生成部１３０が多重化処理を行う例について説明したが、かかる例に限定されず、ストリーム生成部２２６およびストリーム生成部１３０は、多重化処理を行わなくてもよい。つまり、多重化処理がされずに、サーバ１０‐１とクライアント２０との間でデータが送信されてもよい。

{１−１−７．課題の整理}
以上、第１の実施形態による情報処理システムの構成について説明した。ところで、複数の実空間の入力部２２から送信された３Ｄデータを合成する際に、仮に無条件に３Ｄデータを合成すると、異なる実空間内のオブジェクト同士が重なり得る。例えば、図９に示したように、実空間Ａ内のオブジェクト４２ａと実空間Ｂ内のオブジェクト４２ｄとが、共有空間４０内で同じ位置に配置されることにより重なってしまう。その結果、表示される映像がユーザに不自然に知覚され得る。

そこで、上記事情を一着眼点にして、第１の実施形態によるサーバ１０‐１を創作するに至った。第１の実施形態によれば、サーバ１０‐１は、第１の実空間のセンシング結果と、第２の実空間のセンシング結果とに基づいて生成される共有空間内に配置される共有オブジェクトを所定の基準に基づいて決定する。例えば、サーバ１０‐１は、各実空間内に位置する各オブジェクトに対して優先度を算出し、そして、算出した優先度に基づいて当該共有空間内に配置される共有オブジェクトを決定する。これにより、オブジェクトが重なって表示されることを防止することができる。

＜１−２．構成＞
第１の実施形態によるサーバ１０‐１の構成の特徴は、特に共有空間合成部１５２の構成に関する。以下では、図１０を参照して、共有空間合成部１５２の構成についてさらに詳細に説明する。図１０に示すように、共有空間合成部１５２は、優先度算出部４００、および、決定部４０２を含む。

｛１−２−１．優先度算出部４００｝
（１−２−１−１．全体的な優先度）
優先度算出部４００は、各実空間から受信されるＦｒａｍｅデータに基づいて、各実空間内の各オブジェクトの優先度を算出する。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの属性に関する優先度に応じた値を当該オブジェクトの優先度として算出する。また、優先度算出部４００は、さらに、他のオブジェクトとの関係性に関する当該オブジェクトの優先度に応じた値を、当該オブジェクトの優先度として算出する。また、優先度算出部４００は、さらに、共有空間上でのコンテキストに関する当該オブジェクトの優先度に応じた値を、当該オブジェクトの優先度として算出する。

例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、上述した３種類の優先度（すなわち、「オブジェクトの属性に関する優先度」（以下、優先度Ａと称する場合がある）、「他のオブジェクトとの関係性に関する優先度」（以下、優先度Ｂと称する場合がある）、および、「共有空間上でのコンテキストに関する優先度」（以下、優先度Ｃと称する場合がある））の重み付け和を算出することにより、当該オブジェクトの最終的な優先度を計算する。一例として、当該３種類の優先度の各々に関して所定の重みが予め登録され得る。そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、以下の数式（１）のように、当該オブジェクトに関して算出された当該３種類の優先度と、各優先度に対応する重みとに基づいて重み付け和を算出し、そして、算出した値を、当該オブジェクトの最終的な優先度とする。

ここで、Ｐｒｉｏｒｉｔｙ（ｉ）は、ｉ番目のオブジェクトの最終的な優先度である。また、ＰｒｉｏｒｉｔｙＡ（ｉ）、ＰｒｉｏｒｉｔｙＢ（ｉ）、および、ＰｒｉｏｒｉｔｙＣ（ｉ）はそれぞれ、ｉ番目のオブジェクトの優先度Ａ、優先度Ｂ、または、優先度Ｃである。また、ＫＡ、ＫＢ、および、ＫＣはそれぞれ、優先度Ａに対応する重み（定数）、優先度Ｂに対応する重み（定数）、または、優先度Ｃに対応する重み（定数）である。

（１−２−１−２．オブジェクトの属性に関する優先度）
以下では、当該３種類の優先度の各々の具体的な算出方法について説明を行う。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの属性に関する指標に基づいて当該オブジェクトの優先度Ａを算出する。

‐サイズ
ここで、「オブジェクトの属性に関する指標」は、オブジェクトのサイズを含み得る。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトのサイズ（体積など）に基づいて、当該オブジェクトの優先度Ａを算出する。一例として、優先度算出部４００は、オブジェクトのサイズが大きいほど優先度が高くなるように、当該オブジェクトの優先度Ａを算出する。この算出例によれば、サイズが大きいオブジェクトほど優先して共有空間上に配置される。従って、サイズの小さいオブジェクトが共有空間上に多数配置されることに伴う（コンテンツの表示時における）視認性の低下を防止することができる。

または、オブジェクトのサイズ別に優先度が予めテーブルに登録され得る。そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトのサイズの認識結果と、当該テーブルの登録内容とに基づいて当該オブジェクトの優先度Ａを算出してもよい。

なお、オブジェクトのサイズの認識は、３Ｄデータに基づいて行われてもよいし、または、２Ｄ画像に基づいて行われ、かつ、対応する３Ｄデータに認識結果がマッピングされてもよい。

‐種類
また、「オブジェクトの属性に関する指標」は、オブジェクトの種類を含み得る。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの種類の認識結果に基づいて当該オブジェクトの優先度Ａを算出する。例えば、オブジェクトの種類ごとに優先度が予めテーブルに登録され得る。そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの種類の認識結果と、当該テーブルの登録内容とに基づいて当該オブジェクトの優先度Ａを算出する。なお、オブジェクトの種類の認識は、３Ｄデータに基づいて行われてもよいし、または、２Ｄ画像に基づいて行われ、かつ、対応する３Ｄデータに認識結果がマッピングされてもよい。

‐空間
また、「オブジェクトの属性に関する指標」は、オブジェクトが位置する実空間（元空間）を含み得る。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトが位置する実空間に基づいて当該オブジェクトの優先度Ａを算出する。例えば、空間ごとに優先度が予めテーブルに登録され得る。そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトが位置する実空間と、当該テーブルの登録内容とに基づいて当該オブジェクトの優先度Ａを算出する。

‐人物
また、「オブジェクトの属性に関する指標」は、オブジェクトが人である場合に当該人の識別情報を含み得る。例えば、各実空間内の各オブジェクトに関して、当該オブジェクトが人である場合には、優先度算出部４００は、当該人物（オブジェクト）に基づいて、当該オブジェクトの優先度Ａを算出する。例えば、人物ごとに優先度が予めテーブルに登録され得る。そして、オブジェクトが人である場合には、優先度算出部４００は、当該人物と、当該テーブルの登録内容とに基づいて当該オブジェクトの優先度Ａを算出する。なお、オブジェクトが人でない場合には、優先度算出部４００は、当該オブジェクトの優先度Ａを「０」と算出してもよい。

なお、人物の識別は、３Ｄデータに基づいて行われてもよいし、または、２Ｄ画像に基づいて行われ、かつ、対応する３Ｄデータに識別結果がマッピングされてもよい。

‐組み合わせ
または、優先度算出部４００は、オブジェクトごとに、複数の「オブジェクトの属性に関する指標」の各々の優先度を算出することにより、当該オブジェクトの優先度Ａを算出してもよい。例えば、優先度算出部４００は、オブジェクトごとに、まず、当該オブジェクトに関して、当該複数の「オブジェクトの属性に関する指標」の各々の優先度を算出する。そして、優先度算出部４００は、オブジェクトごとに、当該オブジェクトに関して算出された当該複数の指標の各々の優先度と、当該複数の指標の各々に関する所定の重みとに基づいて重み付け和を算出し、そして、算出した値を、当該オブジェクトの優先度Ａとしてもよい。

（１−２−１−３．他のオブジェクトとの関係性に関する優先度）
また、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの近隣に位置する他のオブジェクトと当該オブジェクトとの関係性に関する指標に基づいて、当該オブジェクトの優先度Ｂを算出することが可能である。

‐人との接触の有無
ここで、「他のオブジェクトとの関係性に関する指標」は、元空間における人との接触の有無を含み得る。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトが位置する元空間内で当該オブジェクトが人と接触しているか否かに基づいて、当該オブジェクトの優先度Ｂを算出する。ここで、当該オブジェクトが人と接触している場合の例としては、人が当該オブジェクトを持っている場合や、人が当該オブジェクトの上に座っている場合などが挙げられる。

例えば、人ごとに優先度が予めテーブルに登録され得る。そして、各実空間（元空間）内の各オブジェクトに関して、当該オブジェクトが元空間内で人と接触している場合には、優先度算出部４００は、該当の人と、当該テーブルの登録内容とに基づいて当該オブジェクトの優先度Ｂを算出する。なお、当該オブジェクトが元空間内で人と接触していない場合には、優先度算出部４００は、当該オブジェクトの優先度Ｂを「０」と算出してもよい。

一般的に、元空間が異なるユーザ同士が共有空間上で会話する場面では、少なくともいずれかのユーザが元空間内で何らかのオブジェクトと接触している場合（例えば当該オブジェクトを持っている場合など）には、当該会話において当該オブジェクトが話題になっている可能性が高い。この算出例によれば、話題になっている可能性が高いオブジェクトをより優先して表示させることができる。

‐人との距離
また、「他のオブジェクトとの関係性に関する指標」は、元空間における人との距離を含み得る。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトが位置する元空間における当該オブジェクトと人との距離に基づいて、当該オブジェクトの優先度Ｂを算出する。一例として、優先度算出部４００は、各実空間内の各オブジェクトに関して、元空間内で当該オブジェクトの最も近くに位置する人と当該オブジェクトとの間の距離と、当該人の識別情報とに基づいて当該オブジェクトの優先度Ｂを算出する。

例えば、人ごとに優先度が予めテーブルに登録され得る。そして、各実空間内の各オブジェクトに関して、元空間内で当該オブジェクトの最も近くに位置する人と当該オブジェクトとの間の距離が所定の閾値以下である場合には、優先度算出部４００は、当該テーブルにおいて当該人に関連付けて登録されている内容に基づいて、当該オブジェクトの優先度Ｂを算出する。なお、元空間内で当該オブジェクトの最も近くに位置する人と当該オブジェクトとの間の距離が所定の閾値よりも大きい場合には、優先度算出部４００は、当該オブジェクトの優先度Ｂを「０」と算出してもよい。

‐組み合わせ
または、優先度算出部４００は、オブジェクトごとに、複数の「他のオブジェクトとの関係性に関する指標」の各々の優先度を算出することにより、当該オブジェクトの優先度Ｂを算出してもよい。例えば、優先度算出部４００は、オブジェクトごとに、まず、当該複数の「他のオブジェクトとの関係性に関する指標」の各々に関して、当該オブジェクトの優先度を算出する。そして、優先度算出部４００は、オブジェクトごとに、当該複数の指標の各々の優先度と、当該複数の指標の各々に関する所定の重みとに基づいて重み付け和を算出し、そして、算出した値を、当該オブジェクトの優先度Ｂとしてもよい。

（１−２−１−４．共有空間上でのコンテキストに関する優先度）
ところで、元空間が異なるユーザ間で今まさに話題になっているオブジェクトが仮に突然表示されなくなると、ユーザに不自然に知覚され得るので、望ましくない。また、共有空間において、他のオブジェクトと依存関係にあるオブジェクトが仮に突然表示されなくなると、やはりユーザに不自然に知覚され得る。ここで、当該依存関係の例としては、共有空間において元空間が異なるオブジェクトが対象のオブジェクトの上に配置されている場合（例えば共有空間において実空間２ａのコンピュータが実空間２ｂの机の上に配置されている場合など）が挙げられる。

そこで、優先度算出部４００は、各実空間内の各オブジェクトに関して、共有空間におけるコンテキストを示す情報（以下、コンテキスト情報と称する）に基づいて、当該オブジェクトの優先度Ｃを算出することが可能である。例えば、優先度算出部４００は、各実空間内の各オブジェクトに関して、コンテキスト情報と、共有空間上でのコンテキストに関する指標とに基づいて、当該オブジェクトの優先度Ｃを算出する。

‐ユーザ間の会話時の話題
ここで、当該コンテキスト情報は、共有空間上での複数のユーザ間の会話時の話題を示す情報を含み、そして、「共有空間上でのコンテキストに関する指標」は、共有空間上での複数のユーザ間の会話時の話題を含み得る。この場合、優先度算出部４００は、各実空間内の各オブジェクトに関して、共有空間上での複数のユーザ間の会話時の話題に基づいて、当該オブジェクトの優先度Ｃを算出する。一例として、各実空間内の各オブジェクトに関して、当該会話時に発せられた少なくともいずれかの単語が当該オブジェクトを示す場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを、「０」よりも大きい所定の値として算出する。なお、ユーザ間の会話時に発せられたいずれの単語も当該オブジェクトを示さない場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを「０」と算出してもよい。また、ユーザ間の会話時に発せられた単語は、例えば、入力部２２（センサ部２２０）により集音された音声の認識の結果に基づいて特定され得る。

‐共有空間上でのユーザのポインティング
また、当該コンテキスト情報は、共有空間上でのユーザのポインティングの検出の有無を示す情報を含み、そして、「共有空間上でのコンテキストに関する指標」は、共有空間上でのユーザのポインティングの検出の有無を含み得る。この場合、優先度算出部４００は、各実空間内の各オブジェクトに関して、共有空間上で当該オブジェクトがユーザによりポインティングされているか否かに基づいて、当該オブジェクトの優先度Ｃを算出する。例えば、当該オブジェクトがユーザによりポインティングされている場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを、「０」よりも大きい所定の値として算出する。なお、当該オブジェクトがユーザによりポインティングされていない場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを「０」と算出してもよい。また、当該オブジェクトがユーザによりポインティングされているか否かに関しては、ユーザのジェスチャーの認識結果や、ユーザの手指の認識結果などに基づいて特定され得る。

‐共有空間上でのオブジェクト間の依存関係
また、当該コンテキスト情報は、共有空間上でのオブジェクト間の依存関係を示す情報を含み、そして、「共有空間上でのコンテキストに関する指標」は、共有空間上でのオブジェクト間の依存関係を含み得る。この場合、優先度算出部４００は、各実空間内の各オブジェクトに関して、共有空間上でのオブジェクト間の依存関係に基づいて、当該オブジェクトの優先度Ｃを算出する。一例として、各実空間内の各オブジェクトに関して、当該オブジェクトが共有空間上で他のオブジェクトと依存関係にある場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを、「０」よりも大きい所定の値として算出する。なお、当該オブジェクトが共有空間上で他のオブジェクトと依存関係にない場合には、優先度算出部４００は、当該オブジェクトの優先度Ｃを「０」と算出してもよい。

‐他の例
また、当該コンテキスト情報は、ユーザの表情（怒っている、笑っているなど）、時間帯（昼、夜など）、および、曜日（平日、休日など）などを示す情報を含み、そして、「共有空間上でのコンテキストに関する指標」は、ユーザの表情、時間帯、および、曜日などを含み得る。

また、当該コンテキスト情報は、共有空間に参加中のユーザ、または、共有空間上で会話をしているユーザのプロファイルを示す情報を含み、そして、「共有空間上でのコンテキストに関する指標」は、共有空間に参加中のユーザ、または、共有空間上で会話をしているユーザのプロファイルを含み得る。この場合、優先度算出部４００は、各実空間内の各オブジェクトに関して、共有空間上に位置するユーザ（または、共有空間上で会話をしているユーザ）に関して予め登録されているプロファイル情報に基づいて、当該オブジェクトの優先度Ｃを算出してもよい。ここで、プロファイル情報は、該当のユーザの例えば年齢、性別、国籍、趣味、および、嗜好などの情報を含み得る。

‐組み合わせ
または、優先度算出部４００は、オブジェクトごとに、複数の「共有空間上でのコンテキストに関する指標」の各々の優先度を算出することにより、当該オブジェクトの優先度Ｃを算出してもよい。例えば、優先度算出部４００は、オブジェクトごとに、まず、複数の「共有空間上でのコンテキストに関する指標」の各々に関して、当該オブジェクトの優先度を算出する。そして、優先度算出部４００は、オブジェクトごとに、当該複数の指標の各々の優先度と、当該複数の指標の各々に関する所定の重みとに基づいて重み付け和を算出し、そして、算出した値を、当該オブジェクトの優先度Ｃとしてもよい。

｛１−２−２．決定部４０２｝
決定部４０２は、優先度算出部４００により算出された各オブジェクトの優先度に基づいて、共有空間内に配置される共有オブジェクト（以下、「表示対象のオブジェクト」とも称する）を決定する。例えば、各オブジェクトに関して、当該オブジェクトよりも優先度が高い他のオブジェクトと共有空間上の配置位置が重ならない場合にのみ、決定部４０２は、当該オブジェクトを表示対象のオブジェクトとして決定する。なお、第１の実施形態では、基本的に、各オブジェクトに関して、当該オブジェクトの元空間上の位置に対応する共有空間上の位置に、当該オブジェクトは配置され得る。

図１１は、優先度算出部４００により算出された各オブジェクトの優先度の例を示した説明図である。図１１に示した例では、優先度が高いオブジェクトの順番は、（１）実空間Ａ内のオブジェクトＩＤが「１」であるオブジェクト４２ａ（優先度１０００）、（２）実空間Ｂ内のオブジェクトＩＤが「１」であるオブジェクト４２ｃ（優先度１０００）、（３）実空間Ａ内のオブジェクトＩＤが「２」であるオブジェクト４２ｂ（優先度５００）、（４）実空間Ｂ内のオブジェクトＩＤが「２」であるオブジェクト４２ｄ（優先度３００）である。また、図１１に示したように、共有空間においてオブジェクト４２ａが配置されるべき領域（つまり、実空間Ａにおいてオブジェクト４２ａが位置する領域に対応する共有空間の領域）と、共有空間においてオブジェクト４２ｄが配置されるべき領域（つまり、実空間Ｂにおいてオブジェクト４２ｄが位置する領域に対応する共有空間の領域）とは重複する。そこで、共有空間合成部１５２は、図１２に示したように、優先度が高い順、つまりオブジェクト４２ａ、オブジェクト４２ｃ、オブジェクト４２ｂの順に、オブジェクト４２を共有空間上に配置する。また、共有空間合成部１５２は、（オブジェクト４２ａと位置が重複するので）オブジェクト４２ｄを配置しないことを決定する。これにより、共有空間において複数のオブジェクトが重なって配置されることを防止することができる。

＜１−３．効果＞
以上説明したように、第１の実施形態によれば、サーバ１０‐１は、各実空間内の各オブジェクトに関して優先度を算出し、そして、算出した優先度に基づいて表示対象のオブジェクトを決定する。これにより、各実空間内の各オブジェクトを一意に順位付けを行うことができる。そして、サーバ１０‐１は、例えば優先度の高い順に各オブジェクトを共有空間上に配置することができる。従って、共有空間において複数のオブジェクトが重なって配置されることを防止することができるので、オブジェクトが重なって表示されることを防止することができる。

＜１−４．応用例１＞
｛１−４−１．概要｝
上記の説明では、優先度算出部４００が、フレーム単位で、各オブジェクトの優先度を算出する例について説明した。ところで、オブジェクト自体は同じであっても、当該オブジェクトに対する認識結果はフレームごとに異なり得る。特に、顔認識では、人の顔の向きが変わると認識結果が大きく変わり得る。このため、同じオブジェクトであっても、算出される優先度はフレームごとに異なり得る。その結果、連続するフレーム間で、表示対象として選択されるオブジェクトが頻繁に変化し得るので、ちらつきが生じ得る。

ここで、図１３を参照して、上記の内容についてより詳細に説明する。図１３に示したように、Ｎ−１番目のフレームでは、オブジェクト４２ａの優先度が高く算出されることにより、オブジェクト４２ａが表示される。一方、Ｎ番目のフレームでは、オブジェクト４２ｄの方がオブジェクト４２ａよりも優先度が高く算出されることにより、オブジェクト４２ｄが優先して表示され、かつ、オブジェクト４２ａが非表示になる。その結果、表示部２４６に表示される映像がちらつき得る。

次に、第１の実施形態の応用例１について説明する。応用例１によるサーバ１０‐１は、先行するフレームにおいて表示対象となっていたオブジェクトに関する情報にさらに基づいて、対象のフレームにおける表示対象のオブジェクトを決定する。これにより、連続するフレームにおいて、表示対象として決定されるオブジェクトの変動を抑制することができる。

なお、応用例１によるクライアント２０およびサーバ１０‐１に含まれる構成要素は、上記の説明と同様である。以下では、上記の説明と異なる機能を有する構成要素についてのみ説明を行う。

｛１−４−２．決定部４０２｝
応用例１による決定部４０２は、連続するフレームにおける、各実空間内の各オブジェクトのトラッキングの結果に基づいて、表示対象のオブジェクトを決定する。例えば、決定部４０２は、以下のように、先行するフレームにおいて表示対象であったオブジェクトを、表示対象ではなかったオブジェクトよりも優先して、対象のフレームにおける表示対象のオブジェクトを決定する。

まず、決定部４０２は、フレームごとに、各実空間内の各オブジェクトをトラッキングする。そして、対象のフレームに含まれる各オブジェクトに関して、（トラッキングの結果に基づいて）先行するフレーム内に同一のオブジェクトが存在することが推定される場合には、決定部４０２は、先行するフレームにおける該当のオブジェクトと同一のオブジェクトＩＤを（対象のフレームにおける）当該オブジェクトに対して付与する。

続いて、決定部４０２は、先行するフレームにおいて表示対象であったオブジェクトを表示対象のオブジェクトの候補として設定する。そして、決定部４０２は、優先度算出部４００により算出された優先度が高い順に、当該表示対象のオブジェクトの候補を共有空間上に配置する。なお、この際、すでに配置済みのオブジェクトと位置が重なる場合には、決定部４０２は、該当のオブジェクトを表示対象としない。

続いて、決定部４０２は、先行するフレームにおいて表示対象ではなかったオブジェクトを、表示対象のオブジェクトの候補として設定する。そして、決定部４０２は、優先度算出部４００により算出された優先度が高い順に、当該表示対象のオブジェクトの候補を共有空間上に配置していく。なお、この際、すでに配置済みのオブジェクトと位置が重なる場合には、決定部４０２は、該当のオブジェクトを表示対象としない。

｛１−４−３．効果｝
以上説明したように、応用例１によるサーバ１０‐１は、先行するフレームにおいて表示対象であったオブジェクトを、表示対象ではなかったオブジェクトよりも優先して、対象のフレームにおける表示対象のオブジェクトを決定する。このため、連続するフレームにおいて、表示対象として決定されるオブジェクトの変動を抑制することができる。そして、視認性の低下を防止することができる。

｛１−４−４．変形例１｝
なお、応用例１は、上述した例に限定されず、複数の変形例が適用可能である。例えば、各オブジェクトに関して、当該オブジェクトの認識結果の精度が低い場合には、サーバ１０‐１は、先行するフレームにおける当該オブジェクトの認識結果を、対象のフレームにおける当該オブジェクトの認識結果として代用してもよい。

（１−４−４−１．認識部２２４・認識部１０４）
この変形例１による入力部２２の認識部２２４、および／または、サーバ１０‐１の認識部１０４は、各オブジェクトに関して認識を行った際に、認識結果の信頼度が所定の閾値よりも低い場合には当該認識結果をメタ情報に付与（格納）しない。

（１−４−４−２．共有空間合成部１５２）
変形例１による共有空間合成部１５２は、各実空間内の各オブジェクトに関して、一以上の認識結果がメタ情報内に格納されていない場合には、先行するフレームのメタ情報内の当該オブジェクトの該当の認識結果を、対象のフレームにおける当該オブジェクトの該当の認識結果として利用する。例えば、この場合、決定部４０２は、まず、先行するフレームのメタ情報内に当該オブジェクトの認識結果が付与されているか否かを確認する。そして、認識結果が付与されている場合には、決定部４０２は、当該認識結果を、対象のフレームにおける当該オブジェクトの認識結果として使用する。

図１４は、Ｎ−１番目のフレームおよびＮ番目のフレームにおけるメタ情報３０６の例を示した説明図である。図１４に示したように、Ｎ番目のフレームにおいて、実空間Ａ内のオブジェクトＩＤが「２」番のオブジェクト４２ａ、および、実空間Ｂ内のオブジェクトＩＤが「２」番のオブジェクトに関して「オブジェクトの種類」がメタ情報３０６に格納されていない（つまり、認識結果の精度が所定の精度よりも低かった）とする。この場合、図１４において矢印で示したように、決定部４０２は、Ｎ−１番目のフレームにおけるメタ情報内のオブジェクト４２ａの「種類」の認識結果（「Ｃｈａｉｒ（Ｌ）」）およびオブジェクト４２ｂの「種類」の認識結果（「Ｃｈａｉｒ（Ｍ）」）をそれぞれ、Ｎ番目のフレームにおけるオブジェクト４２ａの「種類」またはオブジェクト４２ｂの「種類」として使用する。

｛１−４−５．変形例２｝
また、上記の説明では、決定部４０２が、連続するフレーム間の各オブジェクトのトラッキングの結果に基づいて、表示対象のオブジェクトを決定する例について説明したが、かかる例に限定されない。別の変形例として、サーバ１０‐１は、各実空間内の各オブジェクトに関して、当該オブジェクトの表示状況に関する優先度（以下、優先度Ｄと称する場合がある）をさらに計算し、そして、優先度Ｄに基づいて、対象のフレームにおける表示対象のオブジェクトを決定してもよい。

（優先度算出部４００）
この変形例２による優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの優先度Ｄをさらに計算する。例えば、各実空間内の各オブジェクトに関して、直前の表示フレームにおいて当該オブジェクトが表示されている場合には、優先度算出部４００は、当該オブジェクトの優先度Ｄを、「０」よりも大きい所定の値として算出する。また、直前の表示フレームにおいて当該オブジェクトが表示されていない場合には、優先度算出部４００は、当該オブジェクトの優先度Ｄを「０」と算出する。

そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、当該オブジェクトの優先度Ｄ、および、１−２−１節で述べた３種類の優先度（つまり、合計４種類の優先度）の重み付け和を算出することにより、当該オブジェクトの最終的な優先度を計算することが可能である。例えば、優先度の種類ごとに所定の重みが予め登録され得る。そして、優先度算出部４００は、各実空間内の各オブジェクトに関して、４種類の優先度と、各優先度の種類に対応する重みとに基づいて重み付け和を算出し、そして、算出した値を、当該オブジェクトの最終的な優先度としてもよい。

この変形例によれば、オブジェクトが直前の表示フレームで表示されている場合の方が、直前の表示フレームで表示されていない場合よりも（最終的な）優先度が高くなる。従って、直前の表示フレームで表示されているオブジェクトが優先して表示対象として（継続して）決定され得る。

｛１−４−６．変形例３｝
ところで、通常、実空間では物体が突然消滅することは考え難い。そこで、別の変形例として、先行するフレームにおいて存在していた単一のオブジェクトが対象のフレームにおいて消滅し、かつ、当該オブジェクトと同じ位置に複数のオブジェクトが位置している場合には、サーバ１０‐１（共有空間合成部１５２）は、先行するフレーム内のオブジェクトが当該複数のオブジェクトに分割したとみなすことが可能である。例えば、共有空間合成部１５２は、対象のフレームにおいて同一の場所に位置する複数のオブジェクト全てを、先行するフレーム内の、対応する一つのオブジェクトと同一とみなしてもよい。

また、通常、実空間では物体が突然出現することも考え難い。そこで、先行するフレームにおいて存在していた複数のオブジェクトが対象のフレームにおいて消滅し、かつ、当該複数のオブジェクトと同じ位置に一つのオブジェクトだけが位置している場合には、サーバ１０‐１（共有空間合成部１５２）は、先行するフレーム内の当該複数のオブジェクトが当該一つのオブジェクトに結合したとみなすことが可能である。例えば、共有空間合成部１５２は、対象のフレームにおいて同一の場所に位置する一つのオブジェクトを、先行するフレーム内の、対応する当該複数のオブジェクトと同一とみなしてもよい。

この変形例３によれば、オブジェクトが消滅したり、または、結合したと推定される場合において、先行するフレームとの間での表示の安定性を向上させることができる。

｛１−４−７．変形例４｝
また、上記の説明では、決定部４０２が表示対象のオブジェクトをフレームごとに決定する例について説明したが、かかる例に限定されない。別の変形例として、サーバ１０‐１（共有空間合成部１５２）は、所定の条件が満たされる場合にのみ表示対象のオブジェクトの決定処理（表示判定処理）を行うことも可能である。

ここで、所定の条件は、例えば、ユーザの指示などに基づいて、空間の共有（つまり共有空間の生成）が開始されることであってもよい。または、所定の条件は、生成済みの共有空間に対して、新たな実空間が合成の対象として追加されること、または、当該共有空間の生成のために用いられている複数の実空間のうちのいずれかが削除されることであってもよい。または、所定の条件は、ユーザによる所定の指示（例えばコンテンツの表示を更新するための指示など）が検出されることであってもよい。または、所定の条件は、オブジェクトが新たに現れること、または、先行するフレームにおいて存在していたオブジェクトが消滅することであってもよい。または、所定の条件は、或るオブジェクトが出現してから一定期間継続して当該オブジェクトが存在すること（例えば３フレーム連続で存在する場合など）であってもよいし、または、或るオブジェクトが消滅してから一定期間継続して当該オブジェクトが消滅したままであること（例えば「３フレーム」連続で消滅している場合など）であってもよい。または、所定の条件は、或るオブジェクトのサイズが直前の表示フレームから所定のサイズ以上大きくなること、または、所定のサイズ以上小さくなることであってもよい。

この変形例４によれば、連続するフレーム間でのオブジェクトの表示の安定性をさらに向上させることができる。

＜１−５．応用例２＞
以上、応用例１について説明した。ところで、オブジェクトが突然新たに表示されたり、または突然表示されなくなると、ユーザは違和感を抱き得る。次に、応用例２について説明する。

応用例２による共有空間合成部１５２は、先行するフレームからオブジェクトが新たに表示されたり、または、オブジェクトが消滅する場合には、当該自由視点のコンテンツの変化をユーザが知覚可能なように、当該自由視点のコンテンツを加工する。

｛１−５−１．オブジェクトの追加時｝
例えば、オブジェクト（ユーザ４を含む）が新たに表示される場合には、共有空間合成部１５２は、当該新たなオブジェクトが表示されることを、当該共有空間に参加中のユーザが知覚可能なように、当該自由視点のコンテンツを加工する。一例として、共有空間合成部１５２は、当該新たなオブジェクトの表示が開始されることを示す、所定の時間（例えば１分など）のアニメーションを表示させるように、当該自由視点のコンテンツを加工する。

例えば、新たなオブジェクト４２ｃの表示が開始される場合には、共有空間合成部１５２は、まず、透過度が初期値（例えば１００％）に設定された、当該新たなオブジェクト４２ｃを表示させ、そして、図１５に示したように、当該新たなオブジェクト４２ｃの透過度を当該初期値から０％へと所定の時間をかけて徐々に下げる処理を行う。または、共有空間合成部１５２は、図１６に示したように、新たなオブジェクト４２ｃの表示を開始してから所定の時間だけ、当該新たなオブジェクト４２ｃの周囲にパーティクル４４を表示させるように、当該自由視点のコンテンツを加工する。または、共有空間合成部１５２は、図１７に示したように、小さなパーティクル群４６が共有空間４０の外部から飛んできて、パーティクル群４６が共有空間４０内で徐々に大きくなった後に、当該パーティクル群４６がオブジェクト４２ｃの映像に切り替わるアニメーションを表示させるように、当該自由視点のコンテンツを加工する。これらの処理例によれば、例えば新たなオブジェクトが共有空間内に配置される場合に、当該オブジェクトが突然表示されることがない。このため、共有空間にすでに参加中の各ユーザが違和感を抱いたり、驚くことを防止することができる。

また、共有空間合成部１５２は、新たなオブジェクトが表示されるタイミングに所定の効果音（例えば、新たなオブジェクトの表示に対応する効果音など）を出力させるように、当該自由視点のコンテンツを加工してもよい。

｛１−５−２．オブジェクトの削除時｝
また、当該共有空間内の一以上のオブジェクト（ユーザ４を含む）が当該共有空間から削除されることが決定された場合（例えば共有空間に参加中のユーザが共有空間から退出する際など）には、共有空間合成部１５２は、該当のオブジェクトが削除されることを、当該共有空間に参加中のユーザが知覚可能なように、当該自由視点のコンテンツを加工する。例えば、共有空間合成部１５２は、該当のオブジェクトの表示が終了されることを示す、所定の時間（例えば１分など）のアニメーションを表示させるように、当該自由視点のコンテンツを加工する。

一例として、オブジェクト４２ｃが削除されることが決定された場合には、共有空間合成部１５２は、図１８に示したように、オブジェクト４２ｃの透過度が０％から１００％へと徐々に上がり、その後、オブジェクト４２ｃが非表示になるようなアニメーションを表示させるように、当該自由視点のコンテンツを加工する。または、共有空間合成部１５２は、図１９に示したように、削除対象のオブジェクト４２ｃの周囲にパーティクル４４が所定の時間だけ表示され、その後、オブジェクト４２ｃが非表示になるようなアニメーションを表示させるように、当該自由視点のコンテンツを加工する。または、共有空間合成部１５２は、図２０に示したように、削除対象のオブジェクト４２ｃがパーティクル群４６に変形し、かつ、パーティクル群４６のサイズが徐々に小さくなりながら共有空間４０の外部へと飛んでいき、その後、パーティクル群４６が消滅するようなアニメーションを表示させるように、当該自由視点のコンテンツを加工する。これらの処理例によれば、共有空間に配置されている削除対象のオブジェクト（退出ユーザ４など）が突然非表示になることがない。このため、共有空間にすでに参加中の各ユーザが違和感を抱いたり、驚くことを防止することができる。

また、共有空間合成部１５２は、削除対象のオブジェクトが非表示になるタイミングに所定の効果音（例えば、オブジェクトの削除に対応する効果音など）を出力させるように、当該自由視点のコンテンツを加工してもよい。

＜１−６．応用例３＞
以上、応用例２について説明した。ところで、実空間２ａに位置するユーザ４ａと実空間２ｂに位置するユーザ４ｂとが共有空間内でコミュニケーションをしている際に、別の実空間２ｃに位置するユーザ４ｃが当該共有空間内に参加することを希望する場面も想定される。このような場面では、３つの実空間（実空間２ａ、実空間２ｂ、および、実空間２ｃ）の３Ｄデータが合成されることにより、共有空間が再生成されることが望まれる。一方で、例えばすでに参加している二人のユーザの元空間内の多数のオブジェクトが表示されなくなるなど、今までの共有空間が突然大きく変化することは望ましくない。

次に、第２の実施形態の応用例３について説明する。応用例３による共有空間合成部１５２は、共有空間に未参加のユーザが当該共有空間に参加するための操作が検出された場合に、オブジェクト優先ポリシー１６２４における、空間別の優先度テーブル（優先度テーブル「ａｒｅａ」）の登録内容を変更する。例えば、共有空間に新たに参加するユーザが検出され、かつ、当該共有空間にすでに参加している全てのユーザの元空間２ａと、新たに参加するユーザの元空間２ｂとが異なる場合には、共有空間合成部１５２は、すでに参加している全てのユーザの元空間２ａよりも、新たに参加するユーザの元空間２ｂの方が優先度が低くなるように、優先度テーブル「ａｒｅａ」の登録内容を変更する。

以上説明したように、応用例３によれば、共有空間に対して新たなユーザが参加する場合に、当該新たなユーザの元空間内のオブジェクトよりも、すでに共有空間に参加しているユーザの元空間内のオブジェクトが優先して、当該共有空間上に配置され得る。従って、共有空間が突然大きく変化することを防止しつつ、新たなユーザの元空間内の一部のオブジェクトを共有空間上に適切に配置することができる。

＜＜２．第２の実施形態＞＞
＜２−１．概要＞
以上、第１の実施形態について説明した。ところで、参加するユーザごとに、利用する表示デバイス（例えば表示部２４６など）が異なることも想定される。例えば、実空間２ａ内に位置するユーザ４ａは遮蔽型のウェアラブルデバイス（以下、ＶＲデバイスと称する場合がある）を利用しており、かつ、実空間２ｂ内に位置するユーザ４ｂは、ＡＲデバイスを利用することが想定される。この場合、（ユーザ４ａが位置する）実空間２ａ内の任意のオブジェクトをユーザ４ａに見せないようにＶＲデバイスの表示を制御することが可能であるのに対して、（ユーザ４ｂが位置する）実空間２ｂ内のオブジェクトをユーザ４ｂに見せないようにＡＲデバイスの表示を制御することは大変難しい。そこで、実空間２ｂ内のオブジェクトを実空間２ａ内のオブジェクトよりも優先して表示する方が、ユーザ４ａおよびユーザ４ｂの双方にとって満足感が向上し得る。

次に、第２の実施形態について説明する。後述するように、第２の実施形態によるサーバ１０‐２は、複数の実空間のうちのいずれかをベース空間として決定し、そして、ベース空間内に位置するオブジェクトを優先して共有空間上に配置することが可能である。ここで、ベース空間は、生成される共有空間の基礎となる空間である。例えば、共有空間に参加する各ユーザが位置する複数の実空間のうちのいずれかがベース空間として決定され得る。また、当該複数の実空間のうち、ベース空間に選択されなかった全ての実空間内のオブジェクトのうちの一部が当該ベース空間上（例えばベース空間上の空き領域）に配置され得る。なお、ベース空間は、基本的には、実在する空間であるが、かかる例に限定されず、仮想空間（例えば完全な空き領域など）であってもよい。

＜２−２．構成＞
まず、第２の実施形態によるサーバ１０‐２の構成について説明する。なお、以下では、第１の実施形態と異なる内容についてのみ説明を行う。

｛２−２−１．共有空間管理部１００‐２｝
図２１は、第２の実施形態による共有空間管理部１００‐２の構成例を示した機能ブロック図である。図２１に示すように、共有空間管理部１００‐２は、図８に示した共有空間管理部１００‐１と比較して、ベース空間レイアウト生成部１５８、および、共有空間管理用ＤＢ１１０をさらに含む。

共有空間管理用ＤＢ１１０は、共有空間の生成や更新などの管理のために用いられるデータベースである。図２２は、共有空間管理用ＤＢ１１０の構成例を示した図である。図２２に示したように、共有空間管理用ＤＢ１１０は、例えば、ベース空間レイアウト情報１６０、レイアウトポリシー情報ＤＢ１６２、および、オブジェクト管理情報ＤＢ１６４を含む。なお、これらのデータベースの具体的な内容については後述する。

｛２−２−２．ベース空間レイアウト生成部１５８｝
（２−２−２−１．ベース空間の決定）
‐決定例１
ベース空間レイアウト生成部１５８は、所定の条件に基づいて、ベース空間を（自動的に）決定する。例えば、空間共有の開始時において、共有空間への参加を希望している各ユーザが利用する表示デバイスに応じてベース空間を決定する。一例として、（共有空間への参加を希望している）全てのユーザがＶＲデバイスを装着している場合には、ベース空間レイアウト生成部１５８は、当該全てのユーザのうちのいずれかの元空間、または、任意の仮想空間をベース空間として決定する。また、一人のユーザ４ａだけがＡＲデバイスを装着しており、かつ、残りの全てのユーザ４ｂがＶＲデバイスを装着している場合には、ベース空間レイアウト生成部１５８は、当該ユーザ４ａの元空間をベース空間として決定する。また、互いに異なる実空間２に位置する複数のユーザがＡＲデバイスを装着している場合には、ベース空間レイアウト生成部１５８は、当該複数のユーザのうちのいずれかの元空間をベース空間として決定する。これらの決定例によれば、少なくともいずれかのユーザがＡＲデバイスを利用している場合には、該当のユーザの元空間がベース空間として決定される。

‐決定例２
または、ベース空間レイアウト生成部１５８は、レイアウトポリシー情報ＤＢ１６２に格納されているベース空間選択ポリシー１６２０に基づいてベース空間を決定することが可能である。ここで、ベース空間選択ポリシー１６２０には、ベース空間を選択するための基準（を示すデータ）が予め格納される。例えば、ベース空間選択ポリシー１６２０には、複数の評価指標が登録されており、かつ、評価指標ごとに、当該評価指標と当該評価指標の係数とが関連付けられている。ここで、評価指標の種類は、例えば、（対象の実空間内の）空き領域の底面積の合計、および、（対象の実空間内の）最大の、連続する空き領域の底面積などである。

例えば、ベース空間レイアウト生成部１５８は、共有空間への参加を希望している各ユーザが位置する元空間ごとに、まず、ベース空間選択ポリシー１６２０に格納されている複数の評価指標の各々の値を算出する。そして、ベース空間レイアウト生成部１５８は、元空間ごとに、当該元空間に関して算出された当該複数の評価指標の各々の値と、当該複数の評価指標の各々の係数との重み付け和を算出することにより、ベース空間を決定する。例えば、ベース空間レイアウト生成部１５８は、算出された重み付け和が最大である元空間をベース空間として決定する。

‐変形例
なお、変形例として、ベース空間レイアウト生成部１５８は、共有空間への参加対象の各ユーザの行動認識の結果に応じて、ベース空間を決定することも可能である。例えば、共有空間への参加対象の複数のユーザのうち、所定の行動（掃除や料理など）をしているユーザがいる場合には、ベース空間レイアウト生成部１５８は、当該ユーザが位置する実空間をベース空間として決定してもよい。これにより、当該ユーザに対して自由視点のコンテンツが提示される場合に、当該ユーザが不便になったり、また、当該ユーザの危険性が高まることを防止することができる。

また、別の変形例として、ベース空間レイアウト生成部１５８は、例えばベース空間レイアウト情報１６０にレイアウトが格納されていない（つまり空である）場合に限り、ベース空間を決定してもよい。

（２−２−２−２．ベース空間の生成）
また、ベース空間レイアウト生成部１５８は、決定したベース空間に基づいて、ベース空間のレイアウト情報を生成する。そして、ベース空間レイアウト生成部１５８は、生成したレイアウト情報をベース空間レイアウト情報１６０に格納する。

｛２−２−３．ベース空間レイアウト情報１６０｝
ベース空間レイアウト情報１６０は、ベース空間レイアウト生成部１５８により生成されたレイアウト情報を格納する。図２３は、ベース空間レイアウト情報１６０の構成例を示した説明図である。図２３に示すように、ベース空間レイアウト情報１６０では、静的オブジェクト１６００、空き領域情報１６０２、および、メタ情報１６０４が格納される。ここで、静的オブジェクト１６００には、ベース空間内に事前に位置するオブジェクトの情報が格納される。例えば、静的オブジェクト１６００には、オブジェクトごとに、オブジェクトＩＤ、当該オブジェクトの点の情報（座標や色情報など）、および、当該オブジェクトの面の情報が格納される。また、空き領域情報１６０２には、ベース空間における空き領域の情報が格納される。また、メタ情報１６０４には、静的オブジェクト１６００に格納されている全てのオブジェクトに関するメタ情報が格納される。なお、メタ情報１６０４の具体的な内容は、図５に示したメタ情報３０６と概略同様であり得る。

｛２−２−４．レイアウトポリシー情報ＤＢ１６２｝
レイアウトポリシー情報ＤＢ１６２は、共有空間上にオブジェクトをレイアウトするためのポリシー（基準）を格納するデータベースである。図２４は、レイアウトポリシー情報ＤＢ１６２の構成例を示した説明図である。図２４に示したように、レイアウトポリシー情報ＤＢ１６２は、ベース空間選択ポリシー１６２０、ベース空間オブジェクト選択ポリシー１６２２、オブジェクト優先ポリシー１６２４、オブジェクトレイアウト評価ポリシー１６２６、および、レイアウト終了判定ポリシー１６２８を含む。

ここで、ベース空間オブジェクト選択ポリシー１６２２は、ベース空間内に配置するオブジェクトを選択するためのポリシー（条件）を格納する。例えば、ベース空間オブジェクト選択ポリシー１６２２には、オブジェクトの種類と、（当該オブジェクトが）ベース空間に配置可能か否かなどの条件とが関連付けて格納され得る。

また、オブジェクト優先ポリシー１６２４は、１−２−１節で述べた３種類の優先度に関する指標（「オブジェクトの属性に関する指標」、「他のオブジェクトとの関係性に関する指標」、および「共有空間上でのコンテキストに関する指標」）の各々に関して、当該指標の値と、予め定められている優先度とを関連付けて格納する。例えば、オブジェクト優先ポリシー１６２４は、オブジェクトの種類ごとの優先度を格納した「優先度テーブル「ｔｙｐｅ」」、および、人ごとの優先度を格納した「優先度テーブル「ｆａｃｅ」」などを格納する。ここで、優先度テーブル「ｔｙｐｅ」では、例えばオブジェクトの種類が「人」である場合には優先度が「１０００」、また、オブジェクトの種類が「椅子（Ｌ）」である場合には優先度が「５００」などのように、オブジェクトの種類と優先度とが関連付けられ得る。また、優先度テーブル「ｆａｃｅ」では、例えば（対象の）人物が「Ｂｅｃｋｙ」である場合には優先度が「１０００」、また、人物が「Ｂｅｔｈ」である場合には優先度が「８００」などのように、人物と優先度とが関連付けられ得る。

また、オブジェクトレイアウト評価ポリシー１６２６は、オブジェクトのレイアウトを評価するためのポリシー（基準）を格納する。例えば、オブジェクトレイアウト評価ポリシー１６２６には、複数の評価指標が登録されており、かつ、評価指標ごとに、当該評価指標と当該評価指標の係数とが関連付けられている。ここで、評価指標の種類は、例えば、空き領域の底面積の合計、および、人の向きなどである。

また、レイアウト終了判定ポリシー１６２８は、ベース空間におけるオブジェクトの配置（レイアウト）の終了を判定するためのポリシー（判定条件）を格納する。例えば、レイアウト終了判定ポリシー１６２８には、（ベース空間の）空き領域の底面積の割合が「３０％未満」になった場合や、（ベース空間の）空き領域の体積の割合が「５０％未満」になった場合などに、ベース空間におけるオブジェクトの配置を終了することが登録され得る。

なお、上述した各ポリシーは、（一種類の基準だけでなく）複数の種類の基準をそれぞれ格納してもよい。また、ポリシーごとに、（当該ポリシーに関連する）複数の種類の基準の中からユーザにより選択された基準のみを格納してもよい。または、サーバ１０‐２（共有空間生成部１０２）は、ポリシーごとに、（当該ポリシーに関連する）複数の種類の基準のうちのいずれを使用するかを自動的に決定してもよい。例えば、共有空間生成部１０２は、共有空間上でのコンテキストに基づいて、ポリシーごとに、（当該ポリシーに関連する）複数の種類の基準のうちのいずれを使用するかを決定してもよいし、または、共有空間に参加中のユーザに予め関連付けられている基準を使用することを決定してもよい。

｛２−２−５．制御部１０８｝
第２の実施形態による制御部１０８は、第３の制御情報を生成した際に、当該第３の制御情報に基づいて、後述するオブジェクト管理情報ＤＢ１６４内の共有オブジェクト関連情報１８２の登録内容を更新する。例えば、元空間内でユーザがラップトップ型ＰＣを持ち上げたイベントがイベント認識部１０６から伝達された場合には、制御部１０８は、当該ラップトップ型ＰＣの優先度がより高く算出されるように指示するための第３の制御情報を生成し、かつ、当該第３の制御情報に基づいて共有オブジェクト関連情報１８２の内容を更新する。これにより、優先度算出部４００は、次の優先度の算出時において、当該第３の制御情報に基づいて、当該ラップトップ型ＰＣに関する優先度Ｂをより高く算出し得る。従って、認識されたイベントに対応するオブジェクトを優先して表示させることが可能となる。

｛２−２−６．オブジェクト管理情報ＤＢ１６４｝
オブジェクト管理情報ＤＢ１６４は、共有空間内に配置される共有オブジェクトに関する情報を格納するデータベースである。図２５は、オブジェクト管理情報ＤＢ１６４の構成例を示した説明図である。図２５に示すように、オブジェクト管理情報ＤＢ１６４は、共有オブジェクトテーブル１８０、および、共有オブジェクト関連情報１８２を含む。

（２−２−６−１．共有オブジェクトテーブル１８０）
共有オブジェクトテーブル１８０は、共有空間内に配置される各オブジェクトに関する情報を格納するテーブルである。図２６は、共有オブジェクトテーブル１８０の構成例を示した説明図である。図２６に示したように、共有オブジェクトテーブル１８０では、オブジェクトＩＤ１８００、元空間１８０２、メタ情報１８０４、および、共有空間情報１８０６が関連付けられている。ここで、共有空間情報１８０６は、優先度１８０８、表示判定結果１８１０、および、領域情報１８１２などを含む。優先度１８０８には、該当のオブジェクトに関して算出された優先度が記録される。また、表示判定結果１８１０には、該当のオブジェクトが表示対象と判定されたか否かが記録される。また、領域情報１８１２には、共有空間において該当のオブジェクトが配置される領域（空間）の情報が記録される。

（２−２−６−２．共有オブジェクト関連情報１８２）
共有オブジェクト関連情報１８２は、共有空間内に配置される共有オブジェクトごとの、他のオブジェクトとの関係性を示す情報を格納する。

図２７は、共有オブジェクト関連情報１８２の構成例を示した説明図である。図２７に示したように、共有オブジェクト関連情報１８２では、オブジェクトＩＤ１８２２、元空間１８２４、オブジェクトＩＤ１８２６、元空間１８２８、関係性１８３０、および、原因１８３２が関連付けられている。ここで、オブジェクトＩＤ１８２２には、各オブジェクトのオブジェクトＩＤが記録される。また、元空間１８２４には、該当のオブジェクトの元空間が記録される。また、オブジェクトＩＤ１８２６および元空間１８２８には、該当のオブジェクトと共有空間上で何らかの関係性を有する他のオブジェクトのオブジェクトＩＤおよび元空間がそれぞれ記録される。また、関係性１８３０には、該当のオブジェクトと他のオブジェクトとの関係性を示す情報が記録される。例えば、関係性１８３０には、共有空間において、該当のオブジェクトが他のオブジェクト（例えば人）に参照されていること、他のオブジェクト（例えば人）にポインティングされていること、または、該当のオブジェクトと他のオブジェクトとが依存関係にあることなどが記録される。また、原因１８３２には、関係性１８３０に記録されている関係性が特定された方法や、当該関係性が発生した原因などが記録される。例えば、原因１８３２には、音声認識やジェスチャー認識などが記録される。

｛２−２−７．共有空間合成部１５２｝
（２−２−７−１．共有空間の生成）
第２の実施形態による共有空間合成部１５２は、同期部１５０から伝達される複数の実空間のＦｒａｍｅデータと、共有空間管理用ＤＢ１１０の登録内容とに基づいて、共有空間Ｆｒａｍｅデータ（自由視点のコンテンツ）を生成する。例えば、共有空間合成部１５２は、まず、ベース空間のレイアウト情報をベース空間レイアウト情報１６０から抽出する。続いて、共有空間合成部１５２は、レイアウトポリシー情報ＤＢ１６２の登録内容に基づいて、ベース空間以外の実空間（元空間）内の複数のオブジェクトの中から表示対象のオブジェクトを決定し、そして、当該表示対象のオブジェクトをベース空間上に配置することにより、共有空間を生成する。そして、共有空間合成部１５２は、当該共有空間に基づいて共有空間Ｆｒａｍｅデータを生成する。

ここで、図２８Ａ、図２８Ｂ、および図２９を参照して、共有空間の生成例についてより詳細に説明する。なお、図２８Ａ、図２８Ｂ、および図２９では、実空間２ａがベース空間として決定されたことを前提としている。また、図２８Ａ、図２８Ｂ、および図２９では、実空間２ｂ内のオブジェクトがベース空間上に配置されることにより、共有空間が生成される例を示している。なお、図２８Ａ、図２８Ｂ、および図２９では、実空間２ａおよび実空間２ｂの上面図を示している。

例えば、図２８Ａに示したように、ベース空間レイアウト生成部１５８は、まず、（ベース空間として決定された）実空間２ａに関して、（入力部２２による）各オブジェクトの認識の結果に基づいて、図２８Ａの右図に示したようにレイアウト情報を生成し、そして、当該レイアウト情報をベース空間レイアウト情報１６０に格納する。この際、ベース空間レイアウト生成部１５８は、図２８Ａの右図に示したように、ベース空間内の空き領域の情報１６０２（位置や底面積など）も特定し、そして、特定した結果を含めてレイアウト情報を生成する。なお、変形例として、ベース空間レイアウト生成部１５８は、（ベース空間として決定された）該当の実空間２ａにおいて、オブジェクトが配置されていない領域だけでなく、オブジェクトが配置されている一部または全部の領域も空き領域とみなしてレイアウト情報を生成してもよい。

また、図２８Ｂに示したように、実空間２ｂに関しては、（入力部２２による）オブジェクトの認識の結果に基づいて、図２８Ｂの右図に示したように、実空間２ｂ内の各オブジェクト４２が特定され得る。

その後、優先度算出部４００は、オブジェクト優先ポリシー１６２４の登録内容に基づいて、実空間２ｂ内の各オブジェクト４２の優先度を算出する。そして、共有空間合成部１５２は、オブジェクトレイアウト評価ポリシー１６２６の登録内容に基づいて、算出された優先度が高いオブジェクト４２の順に、各オブジェクト４２を（ベース空間レイアウト情報１６０が示す）レイアウト上に配置する。例えば、レイアウト終了判定ポリシー１６２８に格納されている、（オブジェクトの配置を終了するための）いずれかの判定条件が満たされるまで、共有空間合成部１５２は、当該レイアウト上に、実空間２ｂ内のオブジェクト４２を一つずつ配置する。図２９は、生成後の共有空間４０の一例を示した図（上面図）である。図２９では、実空間２ｂ内の椅子４２ｄ、サイドテーブル４２ｃ、およびユーザ４２ｅが空き領域１６０２ａに配置され、かつ、他のオブジェクトは共有空間４０上に配置されなかった例を示している。

この生成例によれば、ベース空間上のオブジェクトと、ベース空間以外の実空間２内のオブジェクトとがベース空間上に適切に配置されることにより、共有空間を生成することができる。

（２−２−７−２．ユーザへの権限の付与）
‐空間共有の開始時
また、共有空間合成部１５２は、共有空間に参加する一以上のユーザ４のうち、決定されたベース空間以外の実空間内に位置するユーザ４ｂに対して当該ベース空間中のオブジェクトのアクセス権限を付与することが可能である。例えば、共有空間合成部１５２は、当該ベース空間中の機器のアクセス権をユーザ４ｂに対して（無条件で）付与する。ここで、機器は、ホームネットワーク機器やＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器などを含み得る。例えば、機器は、ＡＶ（Ａｕｄｉｏ−Ｖｉｓｕａｌ）機器、照明機器、または、エア・コンディショナーなどを含む。

また、自由視点のコンテンツの生成後、当該ベース空間中で何らかのコンテンツの再生が開始された場合には、共有空間合成部１５２は、当該ベース空間以外の実空間内で当該コンテンツを再生可能とするための情報（以下、再生用情報と称する）を、当該実空間内に位置するユーザ４ｂに対して提供（共有）することが可能である。ここで、当該再生用情報は、例えば、当該共有空間内のテレビジョン受信機により表示されている番組のチャンネル情報や、当該共有空間内の所定の端末上で起動しているＷｅｂブラウザに表示されているＷｅｂページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含み得る。また、当該再生用情報は、ネットワークストリーミングコンテンツ（例えばＶｉｄｅｏ Ｓｔｒｅａｍｉｎｇコンテンツなど）のＵＲＬ、現在の再生時刻の情報や、ベース空間（と同じ実空間）に位置するユーザ４ａの当該ネットワークストリーミングコンテンツに関する権利情報などを含み得る。この処理例によれば、当該ベース空間とは異なる実空間内に位置するユーザ４ｂもベース空間上の機器や、ベース空間内の共有コンテンツに対して自由にアクセスすることができる。例えば、ユーザ４ｂは、ベース空間内で再生されている共有コンテンツの再生タイミングと同じタイミングで当該コンテンツを実空間２ｂにおいて再生することができる。従って、あたかも同一の空間内に一緒にいるかのような感覚をユーザ４ｂに対して与えることができる。

‐新たなユーザへの権限の付与
また、共有空間に未参加のユーザ４ａが当該共有空間に参加するための操作が検出された場合には、共有空間合成部１５２は、当該ベース空間中のオブジェクトのアクセス権限を当該ユーザ４ａに付与したり、また、上述した再生用情報を当該ユーザ４ａに提供することが可能である。

＜２−３．処理の流れ＞
｛２−３−１．処理の全体的な流れ｝
以上、第２の実施形態の構成について説明した。次に、第２の実施形態による処理の流れについて、図３０〜図３６を参照して説明する。図３０は、第２の実施形態による処理の全体的な流れを示したフローチャートである。図３０に示したように、まず、サーバ１０‐２は、共有空間に参加する各ユーザの元空間の各々の入力部２２からＦｒａｍｅデータを受信する（Ｓ２００１）。続いて、ベース空間レイアウト情報１６０が作成済みである場合には（Ｓ２００３：Ｙｅｓ）、共有空間管理部１００‐２は、後述するＳ２００７の処理を行う。

一方、ベース空間レイアウト情報１６０が作成されていない場合には（Ｓ２００３：Ｎｏ）、ベース空間レイアウト生成部１５８は、後述する「ベース空間レイアウト生成処理」を行う（Ｓ２００５）。

その後、共有空間合成部１５２は、後述する「オブジェクトトラッキング補償処理」を行う（Ｓ２００７）。続いて、共有空間合成部１５２は、後述する「オブジェクト優先度計算処理」を行う（Ｓ２００９）。続いて、共有空間合成部１５２は、後述する「オブジェクトレイアウト処理」を行う（Ｓ２０１１）。

その後、配信部１５４は、Ｓ２０１１で生成された共有空間Ｆｒａｍｅデータに基づいて、実空間（元空間）ごとに、当該実空間内の出力部２４に送信されるＦｒａｍｅデータを生成する。そして、サーバ１０‐２は、実空間ごとに、当該実空間に対応するＦｒａｍｅデータを当該実空間の出力部２４へ送信する（Ｓ２０１３）。

｛２−３−２．ベース空間レイアウト生成処理｝
次に、図３１を参照して、Ｓ２００５における「ベース空間レイアウト生成処理」の内容について詳細に説明する。図３１に示したように、まず、ベース空間レイアウト生成部１５８は、処理対象の元空間の番号を示す変数Ｉに「１」を設定する（Ｓ２１０１）。そして、ベース空間レイアウト生成部１５８は、元空間の総数をＮに設定する（Ｓ２１０３）。

そして、ＩがＮ以下である限り（Ｓ２１０５：Ｙｅｓ）、ベース空間レイアウト生成部１５８は、以下のＳ２１０７〜Ｓ２１１１の処理を繰り返す。具体的には、ベース空間レイアウト生成部１５８は、まず、Ｉ番目の元空間をコピーすることによりＩ番目のベース空間候補を生成する（Ｓ２１０７）。次に、ベース空間レイアウト生成部１５８は、Ｉ番目のベース空間候補に含まれる各オブジェクトに関して、ベース空間オブジェクト選択ポリシー１６２２に基づいて表示対象であるか否かを判定し、そして、表示対象外と判定したオブジェクトをＩ番目のベース空間候補から削除する（Ｓ２１０９）。そして、ベース空間レイアウト生成部１５８は、Ｉに「１」を加算する（Ｓ２１１１）。その後、ベース空間レイアウト生成部１５８は、再びＳ２１０５の処理を行う。

Ｓ２１０５において、ＩがＮよりも大きくなった場合には（Ｓ２１０５：Ｎｏ）、ベース空間レイアウト生成部１５８は、Ｉに「１」を再設定する（Ｓ２１１３）。

そして、ＩがＮ以下である限り（Ｓ２１１５：Ｙｅｓ）、ベース空間レイアウト生成部１５８は、以下のＳ２１１７〜Ｓ２１１９の処理を繰り返す。具体的には、ベース空間レイアウト生成部１５８は、まず、ベース空間選択ポリシー１６２０に基づいて、Ｉ番目のベース空間候補の評価値を計算する（Ｓ２１１７）。そして、ベース空間レイアウト生成部１５８は、Ｉに「１」を加算する（Ｓ２１１９）。その後、ベース空間レイアウト生成部１５８は、再びＳ２１１５の処理を繰り返す。

Ｓ２１１５において、ＩがＮよりも大きくなった場合には（Ｓ２１１５：Ｎｏ）、ベース空間レイアウト生成部１５８は、Ｓ２１１７で算出された各ベース空間候補の評価値のうち、評価値が最大であるベース空間候補を特定する。そして、ベース空間レイアウト生成部１５８は、特定したベース空間候補をベース空間として決定する（Ｓ２１２１）。

その後、ベース空間レイアウト生成部１５８は、決定したベース空間のレイアウトをベース空間レイアウト情報１６０に格納する（Ｓ２１２３）。

｛２−３−３．オブジェクトトラッキング補償処理｝
次に、図３２を参照して、Ｓ２００７における「オブジェクトトラッキング補償処理」の内容を詳細に説明する。図３２に示したように、まず、同期部１５０は、各元空間の入力部２２から受信されたＦｒａｍｅデータを共有空間合成部１５２へ伝達する（Ｓ２２０１）。

続いて、共有空間合成部１５２は、処理対象のオブジェクトの番号を示す変数Ｉに「１」を設定する（Ｓ２２０３）。そして、共有空間合成部１５２は、Ｓ２２０１で取得された全てのＦｒａｍｅデータに含まれるオブジェクトの総数をＮに設定する（Ｓ２２０５）。

そして、ＩがＮ以下である限り（Ｓ２２０７：Ｙｅｓ）、共有空間合成部１５２は、以下のＳ２２０９〜Ｓ２２１９の処理を繰り返す。なお、ＩがＮよりも大きくなった場合には（Ｓ２２０７：Ｎｏ）、当該「オブジェクトトラッキング補償処理」は終了する。

具体的には、まず、共有空間合成部１５２は、前のフレームの情報をオブジェクト管理情報ＤＢ１６４から抽出する（Ｓ２２０９）。そして、共有空間合成部１５２は、Ｉ番目のオブジェクトとオブジェクトＩＤが同一である情報が、Ｓ２２０９で抽出した情報の中に存在するか否かを判定する（Ｓ２２１１）。

オブジェクトＩＤが一致する情報が存在する場合には（Ｓ２２１１：Ｙｅｓ）、まず、共有空間合成部１５２は、Ｉ番目のオブジェクトのメタ情報に含まれる各項目について、値が未定義（ブランク）の項目があるか否かを判定する。そして、値が未定義の項目が存在する場合には、共有空間合成部１５２は、Ｓ２２０９で抽出した情報に含まれる該当の項目の値を抽出し、そして、抽出した値を、当該メタ情報における該当の項目に設定する（Ｓ２２１３）。そして、共有空間合成部１５２は、後述するＳ２２１９の処理を行う。

一方、Ｓ２２１１において、オブジェクトＩＤが一致する情報が存在しない場合には（Ｓ２２１１：Ｎｏ）、次に、共有空間合成部１５２は、Ｉ番目のオブジェクトと領域が重なるオブジェクトが、Ｓ２２０９で抽出された、前のフレームに存在するか否かを判定する（Ｓ２２１５）。領域が重なるオブジェクトが前のフレームに存在しない場合には（Ｓ２２１５：Ｎｏ）、共有空間合成部１５２は、後述するＳ２２１９の処理を行う。

一方、領域が重なるオブジェクトが前のフレームに存在する場合には（Ｓ２２１５：Ｙｅｓ）、共有空間合成部１５２は、Ｉ番目のオブジェクトの先行オブジェクトＩＤリストに、当該領域が重なるオブジェクトのオブジェクトＩＤを追加する（Ｓ２２１７）。

そして、共有空間合成部１５２は、Ｉに「１」を加算する（Ｓ２２１９）。その後、共有空間合成部１５２は、再びＳ２２０７の処理を行う。

｛２−３−４．オブジェクト優先度計算処理｝
次に、図３３を参照して、Ｓ２００９における「オブジェクト優先度計算処理」の内容を詳細に説明する。図３３に示したように、まず、共有空間合成部１５２は、処理対象のオブジェクトの番号を示す変数Ｉに「１」を設定する（Ｓ２３０１）。そして、共有空間合成部１５２は、各元空間の入力部２２から受信されたＦｒａｍｅデータに含まれるオブジェクトの総数をＮに設定する（Ｓ２３０３）。

そして、ＩがＮ以下である限り（Ｓ２３０５：Ｙｅｓ）、共有空間合成部１５２は、以下のＳ２３０７〜Ｓ２３１７の処理を行う。なお、ＩがＮよりも大きくなった場合には（Ｓ２３０５：Ｎｏ）、当該「オブジェクト優先度計算処理」は終了する。

具体的には、まず、優先度算出部４００は、各元空間から取得されたＦｒａｍｅデータからＩ番目のオブジェクトを抽出する。そして、優先度算出部４００は、オブジェクト優先ポリシー１６２４に基づいて、Ｉ番目のオブジェクトの属性に関する優先度（以下、Ｉ番目のオブジェクトの優先度Ａと称する場合がある）を計算する（Ｓ２３０７）。

続いて、優先度算出部４００は、オブジェクト優先ポリシー１６２４に基づいて、他のオブジェクトとの関係性に関するＩ番目のオブジェクトの優先度（以下、Ｉ番目のオブジェクトの優先度Ｂと称する場合がある）を計算する（Ｓ２３０９）。

続いて、優先度算出部４００は、オブジェクト優先ポリシー１６２４と、オブジェクト管理情報ＤＢ１６４とに基づいて、共有空間上でのコンテキストに関するＩ番目のオブジェクトの優先度（以下、Ｉ番目のオブジェクトの優先度Ｃと称する場合がある）を計算する（Ｓ２３１１）。

続いて、優先度算出部４００は、Ｉ番目のオブジェクトの先行オブジェクトＩＤリストと、オブジェクト管理情報ＤＢ１６４とに基づいて、Ｉ番目のオブジェクトの表示状況に関する優先度（以下、Ｉ番目のオブジェクトの優先度Ｄと称する場合がある）を計算する（Ｓ２３１３）。例えば、Ｉ番目のオブジェクトが前のフレームで表示されていれば、優先度算出部４００は、Ｉ番目のオブジェクトの優先度Ｄを（「０」よりも大きい）所定の値と算出する。また、Ｉ番目のオブジェクトが前のフレームで表示されていなければ、優先度算出部４００は、Ｉ番目のオブジェクトの優先度Ｄを「０」と算出する。

続いて、優先度算出部４００は、Ｓ２３０７〜Ｓ２３１３で計算された、Ｉ番目のオブジェクトの優先度Ａ、優先度Ｂ、優先度Ｃ、および優先度Ｄに基づいて、Ｉ番目のオブジェクトの最終的な優先度を計算する（Ｓ２３１５）。

続いて、優先度算出部４００は、Ｉに「１」を加算する（Ｓ２３１７）。その後、優先度算出部４００は、再びＳ２３０５の処理を行う。

｛２−３−５．オブジェクトレイアウト処理｝
次に、図３４〜図３６を参照して、Ｓ２０１１における「オブジェクトレイアウト処理」の内容を詳細に説明する。図３４に示したように、まず、共有空間合成部１５２は、空の共有空間Ｆｒａｍｅデータを生成する（Ｓ２４０１）。

続いて、共有空間合成部１５２は、ベース空間レイアウト情報１６０に格納されている全てのオブジェクトを、生成した共有空間Ｆｒａｍｅデータにコピーする（Ｓ２４０３）。

続いて、共有空間合成部１５２は、ベース空間以外の全ての元空間の各々から取得されたＦｒａｍｅデータに含まれるオブジェクトに関して、Ｓ２００９で算出された優先度の高いオブジェクトの順を示すリストを生成する（Ｓ２４０５）。

続いて、共有空間合成部１５２は、処理対象のオブジェクトの番号を示す変数Ｉに「１」を設定する（Ｓ２４０７）。

続いて、共有空間合成部１５２は、Ｓ２４０５で生成されたリストから、優先度がＩ番目に高いオブジェクトを抽出する（Ｓ２４０９）。そして、共有空間合成部１５２は、抽出したオブジェクトに関して、共有空間上の配置位置の候補を複数生成する（Ｓ２４１１）。そして、共有空間合成部１５２は、生成した各候補に関して、例えば図３５に示したようなオブジェクトレイアウト評価グラフ上にノードを追加する（Ｓ２４１３）。例えば、図３５では、Ｉが「１」である場合（「オブジェクト１」）では、「オブジェクト１」が配置可能な位置の候補が３個（Ｐｏｓ１、Ｐｏｓ２、および、Ｐｏｓ３）生成された例を示している。この場合、図３５に示したように、共有空間合成部１５２は、３個の候補の各々に対応するノードをオブジェクトレイアウト評価グラフ上に追加する。

続いて、共有空間合成部１５２は、生成した各候補に関して、オブジェクトレイアウト評価ポリシー１６２６に基づいて当該候補のオブジェクトレイアウト評価値を計算し、そして、計算したオブジェクトレイアウト評価値を、当該候補に対応するノードに記録する（Ｓ２４１５）。

続いて、共有空間合成部１５２は、オブジェクトレイアウト評価値の高い候補の順に、ノードを並べる（Ｓ２４１７）。例えば、図３５に示した例では、共有空間合成部１５２は、「オブジェクト１」に関する３個の候補に関して、オブジェクトレイアウト評価値が高い順（つまりＰｏｓ１、Ｐｏｓ２、Ｐｏｓ３の順）に、各候補に対応するノードを並べる。

続いて、共有空間合成部１５２は、Ｉに「１」を加算する（Ｓ２４１９）。そして、共有空間合成部１５２は、レイアウト終了判定ポリシー１６２８に基づいて、レイアウト処理を終了するか否かを判定する（Ｓ２４２１）。レイアウト処理を終了しないことを判定した場合には（Ｓ２４２１：Ｎｏ）、共有空間合成部１５２は、再びＳ２４０９以降の処理を行う。

一方、レイアウト処理を終了することを判定した場合には（Ｓ２４２１：Ｙｅｓ）、共有空間合成部１５２は、まず、最後のノードに関して、オブジェクトレイアウト評価グラフ上での評価値が最大である配置位置を特定する。図３６は、レイアウト処理が終了した時点のオブジェクトレイアウト評価グラフの例を示した説明図である。図３６に示した例では、共有空間合成部１５２は、レイアウト処理が終了した時点の最後のオブジェクトである「オブジェクトＸ」に関して、評価値が最大である配置位置が「Ｐｏｓ１４」であることを特定する。

その後、共有空間合成部１５２は、例えば図３６において破線の矢印で示したように、最後のノードからルートノードに遡りながら、レイアウト対象となった各オブジェクトの配置位置を順次特定する。そして、共有空間合成部１５２は、特定した各オブジェクトの情報（配置位置など）を共有空間Ｆｒａｍｅデータおよびオブジェクト管理情報ＤＢ１６４に順次記録する（Ｓ２４２３）。

＜２−４．効果＞
以上説明したように、第２の実施形態によれば、サーバ１０‐２は、レイアウトポリシー情報ＤＢ１６２に基づいてベース空間を決定し、そして、ベース空間内に位置するオブジェクトを優先しつつ、ベース空間内のオブジェクトと他の元空間内のオブジェクトとを共有空間上に配置する。例えば、空間２ａ内のユーザ４ａがＡＲデバイスを装着しており、かつ、空間２ｂ内のユーザ４ｂがＶＲデバイスを装着している場合には、サーバ１０‐２は、空間２ａをベース空間として決定し、そして、空間２ａ内のオブジェクトを（空間２ｂ内のオブジェクトよりも）優先して共有空間上に配置する。これにより、ユーザ４ａおよびユーザ４ｂの双方にとって満足感が高い共有空間を生成することができる。

＜２−５．応用例１＞
｛２−５−１．ＡＲデバイス使用時のオブジェクトの表示制御｝
以上、第２の実施形態について説明した。次に、第２の実施形態の応用例１について説明する。この応用例１によれば、表示部２４６がＡＲデバイスである場合には、ＡＲデバイスにより適した映像が表示部２４６に表示されるように制御することが可能である。

例えば、表示部２４６がＡＲデバイスである実空間に関しては、入力部２２のセンサ部２２０は、Ｆｒａｍｅデータの生成時に、当該実空間内の全てのオブジェクトを「ＡＲオブジェクト」として設定して、メタ情報内に記録する。そして、サーバ１０‐２の共有空間合成部１５２は、「ＡＲオブジェクト」として設定されているオブジェクトを（「ＡＲオブジェクト」として設定されていないオブジェクトよりも）優先して配置する。

なお、サーバ１０‐２は、「ＡＲオブジェクト」として設定されているオブジェクトの元空間に対して、当該オブジェクトの映像を含まない自由視点のコンテンツを送信するように制御してもよい。例えば、生成された共有空間Ｆｒａｍｅデータに含まれるオブジェクトが「ＡＲオブジェクト」として設定されており、かつ、送信先の実空間が当該オブジェクトの元空間である場合には、サーバ１０‐２は、当該オブジェクトを除外してストリームを生成し、そして、生成したストリームを当該実空間へ送信する。これにより、「ＡＲオブジェクト」として設定されているオブジェクトの映像は、当該オブジェクトの元空間において表示されないことになる。

あるいは、出力部２４が該当の「ＡＲオブジェクト」を表示しないように制御することも可能である。例えば、表示部２４６がＡＲデバイスである場合には、出力部２４は、まず、サーバ１０‐２から受信されたストリーム（共有空間Ｆｒａｍｅデータ）に含まれる複数のオブジェクトのうち、「ＡＲオブジェクト」として設定されており、かつ、出力部２４が位置する実空間内のオブジェクトを特定する。そして、出力部２４は、特定したオブジェクトを表示部２４６に表示させないように制御する。

｛２−５−２．遮蔽表現・上書き表現｝
また、表示部２４６がＡＲデバイスである場合には、サーバ１０（制御情報送信部１２２など）、または、当該表示部２４６を含んでいる出力部２４は、当該自由視点のコンテンツを上書き表現または遮蔽表現を用いて表示部２４６に表示させることが可能である。ここで、上書き表現は、原則として当該自由視点のコンテンツのみが視認されるように表示部２４６に表示させる表示方法である。つまり、上書き表現が用いられる場合には、ユーザが位置する実空間内の実オブジェクトが表示対象として選択されていない限り、当該実オブジェクトは、原則として当該ユーザに視認されない。また、遮蔽表現は、実空間内のユーザの位置、当該実空間内の実オブジェクトの位置、および、当該自由視点のコンテンツ内の仮想オブジェクトの位置の関係性に基づいて、当該自由視点のコンテンツ内の一部の仮想オブジェクトが当該実空間内の実オブジェクトにより遮蔽されるように当該自由視点のコンテンツを表示部２４６に表示させる表示方法である。

（２−５−２−１．上書き表現）
ここで、図３７〜図３８Ｂを参照して、「上書き表現」および「遮蔽表現」の内容についてより詳細に説明する。図３７は、実空間２内のユーザ４と、実空間２内の複数の実オブジェクト３３０と、（ユーザ４が視聴している）自由視点のコンテンツ内の複数の仮想オブジェクト３４０との位置関係の例を示した説明図である。例えば、図３７に示した状況において、自由視点のコンテンツが上書き表現を用いて表示される場合には、ユーザ４は、図３８Ａに示したような景観を表示部２４６を介して視認する。ここで、破線で示したように、実空間２内の実オブジェクト３３０ａおよび実オブジェクト３３０ｂは、あたかも自由視点のコンテンツにより上書きされるような映像が表示部２４６に表示され得る。このため、実オブジェクト３３０ａおよび実オブジェクト３３０ｂはユーザ４に視認されない。従って、ユーザ４は、あたかも共有空間内に位置しているかのような感覚を強く抱き得る。

（２−５−２−２．遮蔽表現）
一方、例えば、図３７に示した状況において、自由視点のコンテンツが遮蔽表現を用いて表示される場合には、ユーザ４は、図３８Ｂに示したような景観を表示部２４６を介して視認する。図３８Ｂに示したように、図３７に示した複数の実オブジェクト３３０および複数の仮想オブジェクト３４０のうち、例えばユーザ４の視点位置および視線方向の検出結果に基づいて、より手前側に位置するオブジェクトが、表示部２４６を介してユーザ４に視認され得る。これにより、例えば、ユーザ４は、自由視点のコンテンツを視聴しながら、周囲の実オブジェクトを確認することができる。このため、ユーザ４が周囲の実オブジェクトに誤って衝突する危険性が減少する。

（２−５−２−３．上書き表現と遮蔽表現との併用）
または、サーバ１０（制御情報送信部１２２など）、または、当該表示部２４６を含んでいる出力部２４は、上書き表現と遮蔽表現とを併用して、当該自由視点のコンテンツを表示部２４６に表示させることも可能である。

ここで、図３９〜図４１を参照して、上記の機能についてより詳細に説明する。なお、ここでは、図３９に示した実空間２ｂがベース空間として設定され、そして、実空間２ａ内の複数の実オブジェクト３３０、および、実空間２ｂ内の複数の実オブジェクト３３２に基づいて、共有空間および自由視点のコンテンツが生成されることを前提とする。また、実空間２ａ内の表示部２４６ａはＡＲデバイスであることを前提とする。

この場合、図４０に示したように、サーバ１０、または、実空間２ａ内の出力部２４ａは、実空間２内のユーザ４ａの位置から所定の範囲（図４０に示した例では距離“ｄ”）内では遮蔽表現を用い、かつ、ユーザ４ａの位置から所定の範囲外では上書き表現を用いることにより、当該自由視点のコンテンツを表示部２４６ａに表示させてもよい。なお、図４０では、自由視点のコンテンツ内の各仮想オブジェクト３４２を網掛けで示し、かつ、実空間２ａ内の実オブジェクトを網掛けをせずに示している。図４０に示したように、ユーザ４ａの位置から所定の範囲内に位置する実オブジェクト３３０ｄは、例えば当該所定の範囲内の部分のみ（当該自由視点のコンテンツ内の仮想オブジェクト３４２ｄにより上書きされずに）ユーザ４ａに視認され得る。これにより、共有空間内に位置しているかのような体験をユーザ４ａに対して提供しつつ、かつ、ユーザ４ａの安全性を確保することができる。ここで、当該所定の範囲は、自動的に設定されてもよいし、または、例えば表示部２４６に表示されるＵＩに対する操作などにより、ユーザにより指定されてもよい。

なお、この場合、サーバ１０（制御情報送信部１２２など）、または、実空間２ｂ内の出力部２４ｂは、例えば、図４１に示したように、該当の実空間２ａにおいて、遮蔽表現の対象となった実オブジェクトを示す表示を当該自由視点のコンテンツに重畳して表示させてもよい。例えば、サーバ１０、または、実空間２ｂ内の出力部２４ｂは、図４１に示したように、遮蔽表現の対象となった実オブジェクト３３０ｄに対応する仮想オブジェクト３４０ｄを当該自由視点のコンテンツに重畳して表示させてもよい。この表示例によれば、ユーザ４ｂは、相手のユーザ４ａが実際に視認している映像を知る（共有する）ことができる。その結果、例えば、ユーザ４ａとユーザ４ｂとが会話をする場合に、仮にユーザ４ａが実オブジェクト３３０ｄを話題にしたとしても、話が噛合わなくなることを防ぐことができる。

｛２−５−３．輝度の調整｝
なお、変形例として、表示部２４６がＡＲデバイスである場合には、当該表示部２４６を含んでいる出力部２４は、出力部２４が位置する実空間（ここでは、実空間２ａと称する）におけるセンサ部２２０によるセンシング結果に基づいて特定された実空間２ａの輝度に基づいて、受信されたストリーム（つまり、自由視点のコンテンツ）内の各オブジェクトの表示輝度を調整することも可能である。例えば、特定された実空間２ａの輝度が高いほど、出力部２４は、受信された自由視点のコンテンツ内の各オブジェクトの表示輝度をより高くする。これにより、実空間２ａ内の実オブジェクトと、自由視点のコンテンツ内の各オブジェクトとの視認性を概ね一致させて表示させることができる。

また、自由視点のコンテンツ内の各オブジェクトが実空間２ａにおいて表示される位置における（実空間２ａの）輝度が、例えばセンサ部２２０により撮影された画像に対する画像認識などにより特定される場合には、出力部２４は、特定された各位置の輝度と整合するように、当該自由視点のコンテンツ内の各オブジェクトの表示輝度を調整してもよい。これにより、例えば、当該自由視点のコンテンツ内の、あるオブジェクトが実空間２ａ内の物陰に配置される場合には、当該オブジェクトの表示輝度は相対的に低く設定され得る。従って、実空間２ａにおいて自由視点のコンテンツが表示される際の視認性（統一感）を良好に調整することができる。

＜２−６．応用例２＞
次に、第２の実施形態の応用例２について説明する。この応用例２によれば、サーバ１０‐２は、例えばユーザごとに予め設定されている情報に基づいてベース空間を決定することができる。

図４２は、応用例２による共有空間管理用ＤＢ１１０の構成例を示した図である。図４２に示したように、応用例２による共有空間管理用ＤＢ１１０は、設定情報ＤＢ１１２をさらに含む。

｛２−６−１．設定情報ＤＢ１１２｝
設定情報ＤＢ１１２は、例えばユーザによる自由視点のコンテンツの利用開始時や利用終了時における、当該自由視点のコンテンツに対応する共有空間の生成や変更に関する設定情報を格納するデータベースである。図４３は、設定情報ＤＢ１１２の構成例を示した図である。図４３に示したように、設定情報ＤＢ１１２は、例えば、ベース空間選択設定テーブル１１４、および、参加時ベース空間切り替え設定テーブル１１６を含む。なお、各テーブルの具体的な内容については後述する。

なお、設定情報ＤＢ１１２の登録内容は、各実空間２内のユーザによりクライアント２０を介して参照されたり、変更され得る。例えば、各実空間２内の出力部２４が設定画面を表示している際に、所定の入力方法（例えば、所定の入力装置に対する操作、ジェスチャー、視線操作、または、発話など）により、各実空間２内のユーザが設定情報ＤＢ１１２の登録内容を参照したり、変更することが可能であってもよい。または、ユーザが共有空間に参加している場合に、当該ユーザの共有空間上でのジェスチャーや音声が認識されることにより、当該ユーザは設定情報ＤＢ１１２の登録内容を参照したり、変更することが可能であってもよい。なお、各ユーザは、設定情報ＤＢ１１２において、当該ユーザまたは当該ユーザの元空間に関連付けられている設定値のみを変更可能であってもよい。

｛２−６−２．共有空間合成部１５２｝
（２−６−２−１．ベース空間の決定例：空間共有の開始時）
応用例２による共有空間合成部１５２は、例えば空間共有の開始時において、設定情報ＤＢ１１２の登録内容に基づいてベース空間を決定する。

‐空間共有の開始時の設定情報：ユーザの選択
例えば、あるユーザ４ａが相手のユーザ４ｂを選択し、かつ、空間共有を開始するための操作を行ったことが検出された際には、共有空間合成部１５２は、設定情報ＤＢ１１２内のベース空間選択設定テーブル１１４の登録内容に基づいてベース空間を決定する。

一例として、共有空間合成部１５２は、ベース空間選択設定テーブル１１４において、ユーザ４ａに関連付けられている設定値と、ユーザ４ｂに関連付けられている設定値との比較に基づいてベース空間を決定する。例えば、ベース空間選択設定テーブル１１４において、ユーザ４ａに関連付けられている、希望のベース空間の候補と、ユーザ４ｂに関連付けられている、希望のベース空間の候補とが少なくとも一以上一致する場合には、共有空間合成部１５２は、一致したベース空間の候補をベース空間として決定し、かつ、自由視点のコンテンツを生成することを決定する。

より詳細には、一致するベース空間の候補が一つだけ存在する場合には、共有空間合成部１５２は、当該ベース空間の候補をベース空間として決定する。また、一致するベース空間の候補が複数存在する場合には、共有空間合成部１５２は、当該複数のベース空間の候補をユーザ４ａおよびユーザ４ｂのうちのいずれかに提示し、そして、該当のユーザにより選択されたベース空間の候補をベース空間として決定する。ここで、提示対象のユーザは、例えば空間共有の開始の操作を行ったユーザ４であってもよいし、または、予め定められている優先順位がより高いユーザであってもよい。または、共有空間合成部１５２は、二人のユーザ４（ユーザ４ａおよびユーザ４ｂ）に対して当該複数のベース空間の候補を提示し、そして、当該二人のユーザ４が合意したベース空間の候補をベース空間として決定してもよい。

また、ベース空間選択設定テーブル１１４において、ユーザ４ａに関連付けられている、希望のベース空間の候補と、ユーザ４ｂに関連付けられている、希望のベース空間の候補とが一致しない場合には、共有空間合成部１５２は、自由視点のコンテンツを生成しないことを決定し、かつ、ベース空間を決定しない。なお、この際、共有空間合成部１５２は、ユーザ４ａが位置する実空間２ａ内の出力部２４ａ、および、ユーザ４ｂが位置する実空間２ｂ内の出力部２４ｂに、エラーを示す情報を出力させてもよい。

‐空間共有の開始時の設定情報：実空間の選択
または、あるユーザ４が実空間を選択し、かつ、空間共有を開始するための操作を行ったことが検出された際にも、共有空間合成部１５２は、設定情報ＤＢ１１２内のベース空間選択設定テーブル１１４の登録内容に基づいてベース空間を決定することが可能である。

例えば、共有空間合成部１５２は、後述するベース空間選択設定テーブル１１４において、当該ユーザ４ａに関連付けられている設定値と、当該選択された実空間内に位置するユーザ４ｂまたは当該実空間に関連付けられている設定値との比較に基づいてベース空間を決定する。例えば、ベース空間選択設定テーブル１１４において、ユーザ４ａに関連付けられている設定値が「他のユーザの実空間をベース空間として利用する」であり、かつ、当該選択された実空間内に位置するユーザ４ｂに関連付けられている設定値が「どちらでもよい」である場合には、共有空間合成部１５２は、当該選択された実空間をベース空間として決定し、かつ、自由視点のコンテンツを生成することを決定する。

‐‐ベース空間選択設定テーブル１１４
ベース空間選択設定テーブル１１４は、ベース空間の選択に関する設定情報が格納されるテーブルである。例えば、ベース空間選択設定テーブル１１４では、ユーザＩＤと設定値とが関連付けられていてもよいし、または、実空間と設定値とが関連付けられていてもよい。なお、後者の場合、実空間内に位置するユーザが誰であっても、また、当該実空間内にユーザがいない場合であっても、ベース空間の選択に関して同じ設定値が適用される。または、ベース空間選択設定テーブル１１４では、ユーザＩＤ、実空間、および、設定値が関連付けられていてもよい。

ここで、当該設定値には、例えば「自分の実空間をベース空間として利用する」、「他のユーザの実空間をベース空間として利用する」、および、「どちらでもよい」などが登録され得る。例えば、ベース空間選択設定テーブル１１４においてユーザ４ａに関連付けられている設定値が「自分の実空間をベース空間として利用する」であり、かつ、ユーザ４ｂに関連付けられている設定値が「どちらでもよい」である場合には、共有空間合成部１５２は、（ユーザ４ａが位置する）実空間２ａをベース空間として決定する。

または、当該設定値には、例えば「実空間Ａ」、「実空間Ｂ」、および「実空間Ｃ」など、実空間の識別情報が登録され得る。この場合、ベース空間選択設定テーブル１１４において、ユーザ４ａに関連付けられている設定値が「実空間Ａ、実空間Ｃ、実空間Ｄ」であり、かつ、ユーザ４ｂに関連付けられている設定値が「実空間Ｂ、実空間Ｃ」である場合には、両者の間で「実空間Ｃ」のみが一致する。そこで、共有空間合成部１５２は、「実空間Ｃ」をベース空間として決定する。

‐招待用ＵＩ
なお、変形例として、実空間２ａ内に位置するユーザ４ａが、他の実空間２ｂ内に位置するユーザ４ｂに対して招待メッセージを発行し、そして、共有空間合成部１５２は、当該招待メッセージに対するユーザ４ｂの回答に基づいて、ベース空間を決定することも可能である。

例えば、図４４に示したように、実空間２ａ内のユーザ４ａは、まず、実空間２ａをベース空間として設定して空間共有を一緒に行うことを促す招待メッセージを、実空間２ｂ内のユーザ４ｂに対して発行したとする。この場合、ユーザ４ｂが閲覧する表示部２４６には、例えば図４４に示したような招待用ＵＩ３５０が表示され得る。そして、招待用ＵＩ３５０に対して、承諾する旨の回答（図４４に示した例では“Ｙｅｓ”）をユーザ４ｂが入力した場合には、サーバ１０（共有空間合成部１５２）は、実空間２ａをベース空間として決定する。

なお、他の実空間２ｂ内に複数のユーザが存在する場合には、実空間２ａ内のユーザは、他の実空間２ｂ内の全てのユーザに対して同じ招待メッセージを発行することも可能である。これにより、当該他の実空間２ｂ内に位置するユーザごとに、表示される映像の種類が異なることを防止することができる。

なお、上記の説明では、ベース空間が決定される前に、ユーザ４ａが招待メッセージを相手のユーザ４ｂに対して発行する例を説明したが、かかる例に限定されない。例えば、ベース空間が決定された後（または、共有空間が生成された後）に、ユーザ４ａは、当該ベース空間に対応する共有空間に参加することを促す招待メッセージを相手のユーザ４ｂに対して発行してもよい。この場合、相手のユーザ４ｂが当該招待メッセージに対して承諾する旨の回答をした場合には、サーバ１０は、当該相手のユーザ４ｂが当該共有空間に参加することを許可することが可能である。

‐‐集合状態の管理
なお、サーバ１０は、複数の実空間の各々に関して共有空間への参加状況を管理し得る。例えば、サーバ１０は、実空間ごとに、当該実空間内のユーザのベース空間への集合状態を管理する。図４５は、実空間ごとの、当該実空間内のユーザの、ベース空間への集合状態を管理するためのテーブル３６０の構成例を示した説明図である。図４５に示したように、テーブル３６０では、実空間３７０と、集合エリア３７２とが関連付けられ得る。また、集合エリア３７２は、状態３７４、および、エリア３７６を含む。ここで、状態３７４には、該当の実空間内のユーザがベース空間に集合している状態であるか否か（「集合あり」もしくは「集合なし」）が記録され得る。また、エリア３７６には、該当の実空間が「集合あり」である場合には「集合している空間」の識別情報（つまり、ベース空間の（元空間の）識別情報）が記録され得る。なお、該当の実空間が「集合なし」である場合には、エリア３７６には、ブランク（空白）が設定され得る。

例えば、図４５に示した例では、「実空間Ｂ」がベース空間として設定されており、そして、「実空間Ａ」および「実空間Ｄ」内の各ユーザが当該ベース空間へ集合していることを示している。また、「実空間Ｃ」内の各ユーザは、当該ベース空間へ集合していない（つまり、当該ベース空間に対応する共有空間へ参加していない）ことを示している。なお、図４５に示したように、当該ベース空間の元空間である「実空間Ｂ」では、「集合なし」が状態３７４に設定され得る。

（２−６−２−２．ベース空間の決定例：共有空間へのユーザの追加参加時）
また、応用例２による共有空間合成部１５２は、生成済みの共有空間に対する新たなユーザの参加時において、設定情報ＤＢ１１２の登録内容に基づいてベース空間を決定することも可能である。例えば、自由視点のコンテンツの生成後で、かつ、当該自由視点のコンテンツに対応する共有空間へ新たなユーザ４ａが参加するための操作が検出された場合には、共有空間合成部１５２は、当該共有空間に対応するベース空間を変更するか否かを所定の条件に基づいて決定する。

ここで、当該共有空間へ新たなユーザ４ａが参加するための操作は、例えば、当該新たなユーザ４ａが閲覧する表示部２４６に表示される共有空間リストの中から、例えば所定の入力装置に対する操作、ジェスチャー、視線操作、または、発話などにより、参加を希望する共有空間を当該新たなユーザ４ａが選択することであってもよい。または、当該操作は、当該新たなユーザ４ａが、所望の共有空間（または当該共有空間に対応するベース空間）の名前を直接発話することであってもよい。なお、新たなユーザ４ａが閲覧する表示部２４６には、当該共有空間に対応するベース空間の識別情報や、当該共有空間に現在参加中のユーザの識別情報などが、当該共有空間へ参加する前に表示されてもよい。

‐決定例１
以下、共有空間合成部１５２による、ベース空間の変更の決定例についてより詳細に説明する。例えば、共有空間合成部１５２は、ベース空間選択設定テーブル１１４において当該新たなユーザ４ａに関連付けられている設定値に基づいて、現在のベース空間を変更するか否かを決定する。例えば、ベース空間選択設定テーブル１１４において当該新たなユーザ４ａに関連付けられている設定値が「他のユーザの実空間をベース空間として利用する」または「どちらでもよい」である場合には、共有空間合成部１５２は、現在のベース空間を変更しないことを決定する。または、ベース空間選択設定テーブル１１４において当該新たなユーザ４ａに関連付けて、希望のベース空間の候補が登録されている場合で、かつ、当該希望のベース空間の候補の中に、当該共有空間に対応するベース空間が存在する場合には、共有空間合成部１５２は、現在のベース空間を変更しないことを決定する。つまり、現在のベース空間が優先される。これにより、ベース空間が頻繁に切り替わることが回避されるので、共有空間に参加中のユーザの活動に影響が生じることを抑制することができる。なお、この際、当該共有空間への当該新たなユーザ４ａの参加は許可され得る。

また、ベース空間選択設定テーブル１１４において当該新たなユーザ４ａに関連付けられている、希望のベース空間の候補の中に、当該共有空間に対応するベース空間が存在しない場合には、共有空間合成部１５２は、当該共有空間に参加中の全てのユーザ４ｂに対する、ベース空間の切り替えに関する問い合わせに対する回答に基づいて、現在のベース空間を変更するか否かを決定してもよい。例えば、共有空間合成部１５２は、まず、ベース空間選択設定テーブル１１４において当該新たなユーザ４ａに関連付けられている、希望する一以上のベース空間の候補を、当該共有空間に参加中の全てのユーザ４ｂに提示する。そして、当該一以上のベース空間の候補のうちのいずれかにベース空間を切り替えることを全てのユーザ４ｂが合意した場合に限り、共有空間合成部１５２は、現在のベース空間を、該当のベース空間の候補に切り替えることを決定してもよい。

‐決定例２
また、共有空間合成部１５２は、参加時ベース空間切り替え設定テーブル１１６において、当該共有空間に参加中の全てのユーザ４ｂの各々に関連付けられている設定値に基づいて、現在のベース空間を変更するか否かを決定することも可能である。ここで、参加時ベース空間切り替え設定テーブル１１６は、別のユーザが共有空間に新たに参加しようとする際の、ベース空間の切り替えを許可するか否かに関する設定情報が格納されるテーブルである。例えば、参加時ベース空間切り替え設定テーブル１１６では、ユーザＩＤと設定値とが関連付けられていてもよいし、実空間と設定値とが関連付けられていてもよいし、または、ユーザＩＤ、実空間、および、設定値が関連付けられていてもよい。ここで、当該設定値には、例えば「ベース空間の切り替えを許可する」、および、「ベース空間の切り替えを許可しない」などが登録され得る。

例えば、参加時ベース空間切り替え設定テーブル１１６において、当該共有空間に参加中の全てのユーザ４ｂの各々に関連付けられている設定値のうちの少なくとも一以上が「ベース空間の切り替えを許可しない」である場合には、共有空間合成部１５２は、現在のベース空間を変更しないことを決定する。また、参加時ベース空間切り替え設定テーブル１１６において当該共有空間に参加中の全てのユーザ４ｂの各々に関連付けられている設定値の全てが「ベース空間の切り替えを許可する」である場合には、共有空間合成部１５２は、上述したような、当該共有空間に参加中の全てのユーザ４ｂに対する、ベース空間の切り替えに関する問い合わせに対する回答に基づいて、現在のベース空間を変更するか否かを決定してもよい。この決定例２によれば、他のユーザが共有空間に参加を希望する場合に、当該共有空間にすでに参加中の各ユーザが、ベース空間の切り替えの是非に関する回答を毎回要求されることを回避することが可能となる。このため、各ユーザの負担が軽減される。

‐招待用ＵＩ
なお、変形例として、当該共有空間に参加中の少なくとも一人のユーザ４ａが、共有空間に未参加のユーザ４ｂに対して共有空間への参加を促す招待メッセージを発行し、そして、当該招待メッセージに対する、当該未参加のユーザ４ｂが承諾する旨を回答した場合には、サーバ１０は、当該未参加のユーザ４ｂが当該共有空間に参加することを可能としてもよい。なお、この場合、共有空間合成部１５２は、現在のベース空間を変更しないことを決定する。

（２−６−２−３．ベース空間の切り替えに基づくコンテンツの加工）
また、ベース空間を切り替えることが決定された場合には、共有空間合成部１５２は、当該ベース空間が切り替えられることを、当該共有空間に参加中のユーザが知覚可能なように、当該自由視点のコンテンツを加工する。例えば、共有空間合成部１５２は、当該ベース空間が切り替わることを示す、所定の時間（例えば１０秒など）のアニメーションを表示させるように、当該自由視点のコンテンツを加工する。

一例として、ベース空間を切り替えることが決定された場合には、共有空間合成部１５２は、図４６に示したように、まず、透過度が初期値（例えば１００％など）に設定された、変更後のベース空間を、変更前のベース空間に重畳して表示させる。そして、共有空間合成部１５２は、所定の時間をかけて、当該変更前のベース空間の透過度を０％から１００％へと徐々に上げ、かつ、当該変更後のベース空間の透過度を初期値から０％へと徐々に下げる処理を行う。なお、図４６では、オブジェクト４２ｃが当該変更前のベース空間内に位置しており、かつ、オブジェクト４２ｄが当該変更後のベース空間内に位置している例を示している。

また、図４７に示したように、共有空間合成部１５２は、ベース空間の変更前後で共に表示されるオブジェクト全て（例えば、ベース空間の変更後に共有空間内に残るユーザなど）が変更前のベース空間から変更後のベース空間へと飛んで移動するようなアニメーションを表示させるように、当該自由視点のコンテンツを加工してもよい。これらの処理例によれば、ベース空間が切り替えられる場合に、該当の自由視点のコンテンツの映像がシームレスに知覚されるように表示される。このため、共有空間にすでに参加中の各ユーザが違和感を抱いたり、驚くことを防止することができる。

また、共有空間合成部１５２は、ベース空間の切り替えのタイミングに、所定の効果音を出力させるように、当該自由視点のコンテンツを加工してもよい。

（２−６−２−４．その他）
‐未参加中のユーザの表示
なお、変形例として、共有空間合成部１５２は、例えば所定の条件が満たされる場合には、共有空間に参加していない実空間内のユーザ４を示す情報（例えば、当該実空間内のユーザ４の映像や名前など）を、自由視点のコンテンツに含めるように当該自由視点のコンテンツを加工してもよい。

例えば、共有空間合成部１５２は、共有空間に参加していない実空間内のユーザ４に対応する共有オブジェクトを共有空間内に配置し、かつ、当該共有オブジェクトの透過度を上げることにより、自由視点のコンテンツを生成してもよい。これにより、共有空間に参加中のユーザは、自由視点のコンテンツを視聴しながら、共有空間に参加していないユーザ４を知ることができる。

また、この場合、サーバ１０は、さらに、共有空間に参加している実空間内のユーザ４の映像を、共有空間に参加していない実空間内の出力部２４に表示させてもよい。これにより、共有空間に参加していない実空間内のユーザは、現在共有空間に参加していないことを知ることができたり、また、共有空間に参加している（実空間内の）ユーザを知ることができる。

｛２−６−３．処理の流れ｝
以上、応用例２による構成について説明した。次に、応用例２による処理の流れについて、「２−６−３−１．空間共有の開始時の処理の流れ」および「２−６−３−２．共有空間への追加参加時の処理の流れ」において説明する。

（２−６−３−１．空間共有の開始時の処理の流れ）
‐（ａ）空間共有の開始時の設定情報を用いた例
まず、「空間共有の開始時の処理の流れ」について、２種類の例（「（ａ）空間共有の開始時の設定情報を用いた例」および「（ｂ）招待用ＵＩを用いた例」）を説明する。

まず、「（ａ）空間共有の開始時の設定情報を用いた例」に関する処理の流れについて、図４８および図４９を参照して説明する。図４８に示したように、まず、実空間２ａ内に位置するユーザ４ａが、例えば実空間２ｂ内に位置するユーザ４ｂを指定することにより、空間共有を開始するための操作を行う。そして、実空間２ａ内の入力部２２ａは、当該操作が行われたことを検出し、そして、検出結果をサーバ１０‐２へ送信する（Ｓ２５０１）。

その後、当該検出結果が受信されると、サーバ１０‐２の共有空間合成部１５２は、ベース空間選択設定テーブル１１４においてユーザ４ａに関連付けられている設定値をベース空間選択設定テーブル１１４から抽出する（Ｓ２５０３）。また、共有空間合成部１５２は、ベース空間選択設定テーブル１１４において相手のユーザ４ｂに関連付けられている設定値をベース空間選択設定テーブル１１４から抽出する（Ｓ２５０５）。

続いて、共有空間合成部１５２は、Ｓ２５０３で抽出された設定値と、Ｓ２５０５で抽出された設定値とに基づいて、選択可能なベース空間の候補を特定し、そして、特定したベース空間の候補のリストを生成する（Ｓ２５０７）。

Ｓ２５０７においてベース空間の候補が全く特定されなかった場合には（Ｓ２５０９：Ｎｏ）、共有空間合成部１５２は、自由視点のコンテンツを生成しないことを決定する。そして、サーバ１０‐２は、エラーを示す情報を実空間２ａ内の出力部２４ａに出力させる（Ｓ２５１１）。なお、サーバ１０‐２は、エラーを示す情報を実空間２ｂ内の出力部２４ｂにさらに出力させてもよい。その後、当該「空間共有の開始時の処理」は終了する。

一方、ベース空間の候補が一つだけ特定された場合には（Ｓ２５０９：Ｙｅｓ、Ｓ２５１３：Ｎｏ）、共有空間合成部１５２は、後述するＳ２５２１の処理を行う。

一方、ベース空間の候補が複数特定された場合には（Ｓ２５０９：Ｙｅｓ、Ｓ２５１３：Ｙｅｓ）、共有空間合成部１５２は、Ｓ２５０７で生成されたベース空間の候補のリストを例えばユーザ４ａに対して出力部２４ａに提示させ、そして、希望するベース空間の候補をユーザ４ａに選択させる（Ｓ２５１５）。なお、変形例として、共有空間合成部１５２は、ユーザ４ａおよびユーザ４ｂに対して当該リストを提示させ、そして、希望するベース空間の候補を当該二人のユーザの各々に選択させてもよい。

ここで、図４９を参照して、Ｓ２５１５よりも後の処理について説明する。Ｓ２５１５の後、共有空間合成部１５２は、Ｓ２５１５で選択されたベース空間の候補、または、Ｓ２５０７で特定されたベース空間の候補をベース空間として決定する（Ｓ２５２１）。

続いて、共有空間合成部１５２は、実空間２ａおよび実空間２ｂのうち当該ベース空間とは異なる実空間と、Ｓ２５２１で決定されたベース空間とに基づいて共有空間を生成する（Ｓ２５２３）。そして、共有空間合成部１５２は、生成した共有空間に基づいて自由視点のコンテンツを生成する（Ｓ２５２５）。

続いて、共有空間合成部１５２は、Ｓ２５２１で決定されたベース空間上の機器のアクセス権を、当該ベース空間とは異なる実空間内に位置するユーザ４に対して付与する（Ｓ２５２７）。

続いて、共有空間合成部１５２は、Ｓ２５２１で決定されたベース空間上で再生され得る共有コンテンツのアクセス権を、当該ベース空間とは異なる実空間内に位置するユーザ４に対して付与する（Ｓ２５２９）。その後、当該「空間共有の開始時の処理」は終了する。

‐（ｂ）招待用ＵＩを用いた例
次に、「（ｂ）招待用ＵＩを用いた例」に関する処理の流れについて、図５０を参照して説明する。なお、ここでは、実空間２ａ内に位置するユーザ４ａが、例えば実空間２ｂ内に位置するユーザ４ｂに対して、空間共有を一緒に行うための招待用メッセージを発行する例について説明する。

図５０に示したように、まず、実空間２ａ内のユーザ４ａが、例えば実空間２ａをベース空間として設定して空間共有を一緒に開始することを、実空間２ｂ内のユーザ４ｂに対して招待するための入力を行った場合には（Ｓ２５５１：Ｙｅｓ）、サーバ１０は、入力された招待メッセージをユーザ４ｂに対して通知する（Ｓ２５５３）。

その後、当該招待メッセージに対してユーザ４ｂが承諾しなかった場合（つまり、ユーザ４ａと空間共有を行うことを承諾しなかった場合）には（Ｓ２５５５：Ｎｏ）、再びＳ２５５１の処理が実行される。

一方、当該招待メッセージに対してユーザ４ｂが承諾した場合には（Ｓ２５５５：Ｙｅｓ）、サーバ１０の共有空間合成部１５２は、実空間２ａをベース空間として決定する（Ｓ２５５７）。

なお、図５０に示したＳ２５５９〜Ｓ２５６１は、図４９に示したＳ２５２３〜Ｓ２５２５と同様である。その後、サーバ１０の送信部１３２は、生成された自由視点のコンテンツ（ストリーム）を実空間２ａおよび実空間２ｂの各々の出力部２４へ送信する。

そして、実空間２ｂに関連付けられている、遮蔽表現の使用の設定が「ＯＮ」である場合には、サーバ１０または実空間２ｂ内の出力部２４は、当該設定を「ＯＦＦ」へ切り替える（Ｓ２５６３）。

その後、実空間２ａおよび実空間２ｂ内の各々の出力部２４（の表示部２４６）は、受信された自由視点のコンテンツをそれぞれ表示する（Ｓ２５６５）。

その後、サーバ１０は、Ｓ２５５１で入力された招待要求を処理済みとして、廃棄する（Ｓ２５６７）。そして、再びＳ２５５１の処理が実行される。

（２−６−３−２．共有空間への追加参加時の処理の流れ）
次に、図５１を参照して、「共有空間への追加参加時の処理の流れ」について説明する。なお、ここでは、実空間２ｃ内に位置しており、かつ、共有空間に未参加であるユーザ４ｃが、共有空間への参加を希望する場面における処理の流れの一例について説明する。

図５１に示したように、まず、ユーザ４ｃが、参加を希望する共有空間へ参加するための操作を行う。そして、実空間２ｃ内の入力部２２ｃは、当該操作が行われたことを検出し、そして、検出結果をサーバ１０‐２へ送信する（Ｓ２６０１）。

その後、当該検出結果が受信されると、サーバ１０‐２の共有空間合成部１５２は、ベース空間選択設定テーブル１１４において、ユーザ４ｃに関連付けられている設定値をベース空間選択設定テーブル１１４から抽出する（Ｓ２６０３）。

続いて、共有空間合成部１５２は、Ｓ２６０３で抽出された設定値が「自分の実空間をベース空間として利用する」であるか否かを判定する（Ｓ２６０５）。当該設定値が「自分の実空間をベース空間として利用する」ではない場合には（Ｓ２６０５：Ｎｏ）、共有空間合成部１５２は、該当の共有空間に対応するベース空間を変更しないことを決定する（Ｓ２６０７）。その後、共有空間合成部１５２は、後述するＳ２６１９の処理を行う。

一方、当該設定値が「自分の実空間をベース空間として利用する」である場合には（Ｓ２６０５：Ｙｅｓ）、共有空間合成部１５２は、参加時ベース空間切り替え設定テーブル１１６において、該当の共有空間に参加中の各ユーザに関連付けられている設定値を参加時ベース空間切り替え設定テーブル１１６からそれぞれ抽出する（Ｓ２６０９）。

続いて、共有空間合成部１５２は、Ｓ２６０９で抽出された、全てのユーザに関する設定値が「ベース空間の切り替えを許可する」であるか否かを判定する（Ｓ２６１１）。少なくとも一以上のユーザに関する設定値が「ベース空間の切り替えを許可する」ではない場合には（Ｓ２６１１：Ｎｏ）、共有空間合成部１５２は、現在のベース空間を切り替えないこと、および、当該共有空間へのユーザ４ｃの参加を許可しないことを決定する。そして、サーバ１０‐２は、エラーを示す情報を実空間２ｃ内の出力部２４ｃに出力させる（Ｓ２６１３）。その後、当該「共有空間への追加参加時の処理」は終了する。

一方、全てのユーザに関する設定値が「ベース空間の切り替えを許可する」である場合には（Ｓ２６１１：Ｙｅｓ）、共有空間合成部１５２は、現在のベース空間を（ユーザ４ｃが位置する）実空間２ｃに切り替えることを決定する（Ｓ２６１５）。

続いて、共有空間合成部１５２は、当該ベース空間が切り替わることを示す、所定の時間のアニメーションを表示させるように、当該自由視点のコンテンツを加工する。これにより、当該共有空間に参加中の各ユーザ４が位置する実空間２内の出力部２４は当該アニメーションを表示する（Ｓ２６１７）。

その後、共有空間合成部１５２は、当該共有空間内に新たに配置されることが決定された全てのオブジェクト（ユーザ４ｃを含む）の表示が開始されることを示す、所定の時間のアニメーションを表示させるように、当該自由視点のコンテンツを加工する。これにより、当該共有空間に参加中の各ユーザ４が位置する実空間２内の出力部２４は当該アニメーションを表示する（Ｓ２６１９）。その後、当該「共有空間への追加参加時の処理」は終了する。

＜＜３．第３の実施形態＞＞
＜３−１．概要＞
以上、第２の実施形態について説明した。ところで、上述した各実施形態のように、各実空間とサーバ１０との間で、当該実空間の略全体の３Ｄデータが送受信される場合には、ネットワーク帯域を大量に使用し得る。また、別の課題として、例えば表示対象外と判定されたオブジェクトなど、認識処理が不要な場合には認識処理を省略することが望ましい。

次に、第３の実施形態について説明する。後述するように、第３の実施形態によるサーバ１０‐３は、表示対象外のオブジェクトに関しては、クライアント２０とサーバ１０‐３との間でデータを送信しないように制御したり、また、クライアント２０に認識処理を行わせないように制御する。なお、第３の実施形態によるサーバ１０‐３に含まれる構成要素は、第２の実施形態と同様である。以下では、第２の実施形態と異なる内容についてのみ説明を行う。

＜３−２．構成＞
{３−２−１．サーバ１０‐３}
（３−２−１−１．オブジェクト管理情報ＤＢ１６４）
まず、第３の実施形態によるサーバ１０‐３の構成について説明する。第３の実施形態によるオブジェクト管理情報ＤＢ１６４では、後述するように、各実空間の入力部２２（送信部２２８）から受信される、各オブジェクトの送信に必要な帯域の情報がさらに格納される。

（３−２−１−２．共有空間管理部１００‐３）
第３の実施形態による共有空間管理部１００‐３は、（第２の実施形態による共有空間管理部１００‐２と比較して）さらに、各オブジェクトの送信に必要な帯域の情報に基づいて、各オブジェクトを表示対象のオブジェクトに設定するか否かを判定する。そして、共有空間管理部１００‐３は、表示対象と判定した各オブジェクトのオブジェクトＩＤのリストを制御情報送信部１２２へ伝達する。

また、（後述するように）入力部２２の認識部２２４により認識処理が停止されている際に、表示対象のオブジェクトの判定処理を新たに行う場合には、共有空間管理部１００‐３は、停止している認識処理を再開することを指示するように第１の制御情報を生成し、そして、当該第１の制御情報を該当の入力部２２（認識部２２４）へ制御情報送信部１２２に送信させる。そして、認識処理が再開され、かつ、当該認識処理の結果が受信された時点で、共有空間管理部１００‐３は、表示対象の判定処理を再び行う。

（３−２−１−３．ストリーム生成部１３０）
第３の実施形態によるストリーム生成部１３０は、表示対象外と判定されたオブジェクトを共有空間Ｆｒａｍｅデータから削除することによりストリームを生成する。そして、ストリーム生成部１３０は、生成したストリームを送信部１３２に伝達する。

また、ストリーム生成部１３０は、出力部２４（の制御情報送信部２５２）から受信される第２の制御情報が示す、表示部２４６の位置および姿勢に応じて、共有空間Ｆｒａｍｅデータ内のオブジェクトを簡略化する処理を行い、そして、処理後の共有空間Ｆｒａｍｅデータに基づいてストリームを生成することも可能である。なお、さらに、制御情報送信部１２２は、当該オブジェクトの簡略化を指示するための第１の制御情報を、当該オブジェクトの元空間の入力部２２へ送信してもよい。これにより、当該入力部２２は、以後、受信された第１の制御情報を例えば認識部２２４やストリーム生成部２２６による処理に反映させることにより、処理の負荷を軽減させることができる。

‐処理の流れ
ここで、図５２を参照して、第３の実施形態によるストリーム生成部１３０による処理の流れの一例について説明する。図５２に示したように、ストリーム生成部１３０は、まず、処理対象の元空間の番号を示す変数Ｉに「１」を設定する（Ｓ３００１）。そして、ストリーム生成部１３０は、元空間の総数をＮに設定する（Ｓ３００３）。

そして、ＩがＮ以下である限り（Ｓ３００５：Ｙｅｓ）、ストリーム生成部１３０は、以下のＳ３００７〜Ｓ３０１５の処理を繰り返す。なお、ＩがＮよりも大きくなった場合には（Ｓ３００５：Ｎｏ）、ストリーム生成部１３０は、当該処理を終了する。

具体的には、まず、ストリーム生成部１３０は、生成された共有空間Ｆｒａｍｅデータを共有空間生成部１０２から取得する（Ｓ３００７）。

続いて、ストリーム生成部１３０は、オブジェクト管理情報ＤＢ１６４を参照することにより、表示対象外と判定されたオブジェクトを特定する。そして、ストリーム生成部１３０は、特定したオブジェクトのデータを、取得した共有空間Ｆｒａｍｅデータから削除する（Ｓ３００９）。

続いて、ストリーム生成部１３０は、オブジェクト管理情報ＤＢ１６４を参照することにより、Ｉ番目の元空間内のオブジェクトを特定する。そして、ストリーム生成部１３０は、特定したオブジェクトのデータを共有空間Ｆｒａｍｅデータからさらに削除する（Ｓ３０１１）。

続いて、ストリーム生成部１３０は、Ｓ３０１１で変更された共有空間Ｆｒａｍｅデータに基づいて、（Ｉ番目の元空間へ送信される）ストリームを生成する。そして、送信部１３２は、生成されたストリームをＩ番目の元空間の出力部２４へ送信する（Ｓ３０１３）。

続いて、ストリーム生成部１３０は、Ｉに「１」を加算する（Ｓ３０１５）。その後、ストリーム生成部１３０は、再びＳ３００５の処理を行う。

（３−２−１−４．制御情報送信部１２２）
第３の実施形態による制御情報送信部１２２は、共有空間管理部１００‐３から伝達される、表示対象のオブジェクトのオブジェクトＩＤのリストを第１の制御情報として、各実空間の出力部２４へ送信する。例えば、表示対象と判定されていたオブジェクトが表示対象外と新たに判定された際には、制御情報送信部１２２は、当該オブジェクトが表示対象外と新たに判定されたことを示す第１の制御情報を、当該オブジェクトの元空間内の出力部２４へ送信する。これにより、後述するように、該当の元空間の入力部２２は、以後、当該オブジェクトの３Ｄデータをサーバ１０‐３へ送信せず、かつ、当該オブジェクトの認識処理を停止し得る。

‐処理の流れ
ここで、図５３を参照して、第３の実施形態による制御情報送信部１２２による処理の流れの一例について説明する。図５３に示したように、制御情報送信部１２２は、まず、処理対象の元空間の番号を示す変数Ｉに「１」を設定する（Ｓ３１０１）。そして、制御情報送信部１２２は、元空間の総数をＮに設定する（Ｓ３１０３）。

そして、ＩがＮ以下である限り（Ｓ３１０５：Ｙｅｓ）、制御情報送信部１２２は、以下のＳ３１０７〜Ｓ３１１５の処理を繰り返す。なお、ＩがＮよりも大きくなった場合には（Ｓ３１０５：Ｎｏ）、制御情報送信部１２２は、当該処理を終了する。

具体的には、まず、オブジェクト管理情報ＤＢ１６４において表示対象のオブジェクトが変更された場合には、制御情報送信部１２２は、表示対象のオブジェクトが変更された旨の通知を共有空間生成部１０２から取得する（Ｓ３１０７）。

続いて、制御情報送信部１２２は、取得した通知に基づいて、Ｉ番目の元空間内の各オブジェクトに関して表示対象であるか否かの判定結果が変更されたか否かを確認する（Ｓ３１０９）。当該判定結果が変更されていない場合には（Ｓ３１０９：Ｎｏ）、制御情報送信部１２２は、後述するＳ３１１５の処理を行う。

一方、当該判定結果が変更された場合には（Ｓ３１０９：Ｙｅｓ）、制御情報送信部１２２は、当該判定結果が変更されたことを示す第１の制御情報を生成する（Ｓ３１１１）。

続いて、制御情報送信部１２２は、生成した第１の制御情報をＩ番目の元空間の出力部２４へ送信する（Ｓ３１１３）。

続いて、制御情報送信部１２２は、Ｉに「１」を加算する（Ｓ３１１５）。その後、制御情報送信部１２２は、再びＳ３１０５の処理を行う。

{３−２−２．入力部２２}
（３−２−２−１．センサ部２２０）
次に、第３の実施形態による入力部２２の構成について説明する。第３の実施形態によるセンサ部２２０は、セグメンテーションされた各オブジェクトに関して、当該オブジェクトの送信に必要な帯域の情報を取得（または算出）し、そして、取得した情報をメタ情報内に記録する。これにより、各オブジェクトの送信に必要な帯域の情報が（Ｆｒａｍｅデータなどとともに）サーバ１０‐３へ送信されることになる。

（３−２−２−２．ストリーム生成部２２６）
第３の実施形態によるストリーム生成部２２６は、サーバ１０‐３から受信される第１の制御情報に基づいて、表示対象外のオブジェクトを含まないようにストリームを生成する。これにより、表示対象外のオブジェクトの３Ｄデータはサーバ１０‐３へ送信されないことになる。

‐処理の流れ
ここで、図５４を参照して、第３の実施形態によるストリーム生成部２２６による処理の流れの一例について説明する。図５４に示したように、ストリーム生成部２２６は、まず、センサ部２２０によりセンシング（取得）され、かつ、認識部２２４により認識処理が行われたＦｒａｍｅデータを認識部２２４から取得する（Ｓ３２０１）。

続いて、ストリーム生成部２２６は、サーバ１０‐３から受信された第１の制御情報を制御情報受信部２２２を介して取得する（Ｓ３２０３）。

続いて、ストリーム生成部２２６は、処理対象のオブジェクトの番号を示す変数Ｉに「１」を設定する（Ｓ３２０５）。そして、ストリーム生成部２２６は、Ｓ３２０１で取得されたＦｒａｍｅデータに含まれるオブジェクトの数をＮに設定する（Ｓ３２０７）。

そして、ＩがＮ以下である限り（Ｓ３２０９：Ｙｅｓ）、ストリーム生成部２２６は、以下のＳ３２１１〜Ｓ３２１３の処理を繰り返す。具体的には、ストリーム生成部２２６は、まず、以前のフレームにおけるＩ番目のオブジェクトの情報と、Ｓ３２０３で取得された第１の制御情報が示す表示対象のオブジェクトのオブジェクトＩＤのリストとに基づいて、Ｉ番目のオブジェクトが表示対象であるか否かの情報を更新する（Ｓ３２１１）。そして、ストリーム生成部２２６は、Ｉに「１」を加算する（Ｓ３２１３）。

一方、ＩがＮよりも大きくなった場合には（Ｓ３２０９：Ｎｏ）、ストリーム生成部２２６は、Ｓ３２０１で取得されたＦｒａｍｅデータから、Ｓ３２１１の更新後の情報に基づいて表示対象外のオブジェクトの情報を削除する（Ｓ３２１５）。

その後、ストリーム生成部２２６は、変更後のＦｒａｍｅデータに基づいてストリームを生成し、そして、生成したストリームを送信部２２８へ出力する（Ｓ３２１７）。

（３−２−２−３．認識部２２４）
第３の実施形態による認識部２２４は、サーバ１０‐３から受信される第１の制御情報が示す表示対象のオブジェクトのＩＤのリストに基づいて、表示対象のオブジェクトに関してのみ認識処理を行うことが可能である。

または、認識部２２４は、サーバ１０‐３から受信される第１の制御情報に基づいて、認識処理を実行したり、停止することも可能である。例えば、認識処理が不要であることを示す第１の制御情報が受信された場合には、認識部２２４は、認識処理を停止する。その後、認識処理を再開することを指示する第１の制御情報がサーバ１０‐３から受信された場合には、認識部２２４は、認識処理を再開する。

‐処理の流れ
ここで、図５５を参照して、第３の実施形態による認識部２２４による処理の流れの一例について説明する。図５５に示したように、認識部２２４は、まず、センサ部２２０によりセンシング（取得）されたＦｒａｍｅデータをセンサ部２２０から取得する（Ｓ３３０１）。

続いて、認識部２２４は、サーバ１０‐３から受信された第１の制御情報を制御情報受信部２２２を介して取得する（Ｓ３３０３）。

続いて、認識部２２４は、処理対象のオブジェクトの番号を示す変数Ｉに「１」を設定する（Ｓ３３０５）。そして、認識部２２４は、Ｓ３３０１で取得されたＦｒａｍｅデータに含まれるオブジェクトの数をＮに設定する（Ｓ３３０７）。

そして、ＩがＮ以下である限り（Ｓ３３０９：Ｙｅｓ）、認識部２２４は、以下のＳ３３１１〜Ｓ３３１７の処理を繰り返す。具体的には、まず、認識部２２４は、以前のフレームにおけるＩ番目のオブジェクトの情報と、Ｓ３３０３で取得された制御情報が示す表示対象のオブジェクトのオブジェクトＩＤのリストとに基づいて、Ｉ番目のオブジェクトが表示対象であるか否かの情報を更新する（Ｓ３３１１）。そして、Ｉ番目のオブジェクトが現在表示対象ではない場合には（Ｓ３３１３：Ｎｏ）、認識部２２４は、後述するＳ３３１７の処理を行う。一方、Ｉ番目のオブジェクトが現在表示対象である場合には（Ｓ３３１３：Ｙｅｓ）、認識部２２４は、Ｉ番目のオブジェクトについて認識処理を実行する（Ｓ３３１５）。そして、認識部２２４は、Ｉに「１」を加算する（Ｓ３３１７）。

一方、ＩがＮよりも大きくなった場合には（Ｓ３３０９：Ｎｏ）、認識部２２４は、Ｓ３３１５における認識結果に基づいて、Ｓ３３０１で取得されたＦｒａｍｅデータを更新する（Ｓ３３１９）。その後、認識部２２４は、更新後のＦｒａｍｅデータをストリーム生成部２２６へ出力する（Ｓ３３２１）。

＜３−３．効果＞
以上説明したように、第３の実施形態によれば、サーバ１０‐３は、表示対象外のオブジェクトに関しては、クライアント２０とサーバ１０‐３との間でデータを送信しないように制御し、また、クライアント２０に認識処理を行わせないように制御する。これにより、通信帯域、通信量、および、計算負荷を削減することができる。

＜３−４．応用例＞
ところで、ネットワーク帯域が変動すると、今まで送信可能であったオブジェクトのデータが送信不能となり得る。その結果、表示遅延やフレームレートの低下が発生し得る。次に、第３の実施形態の応用例について説明する。後述するように、本応用例によれば、ネットワーク帯域の範囲内で、サーバ１０‐３とクライアント２０との間でデータを送信するように制御することが可能である。

｛３−４−１．構成｝
本応用例による入力部２２の認識部２２４は、オブジェクトごとに、当該オブジェクトの送信に必要なデータ量を、メタ情報内にさらに記録する。

また、本応用例によるクライアント接続部１２０はそれぞれ、接続先のクライアント２０に関するネットワーク帯域の上限値を逐次測定する測定部（図示省略）をさらに備える。

また、本応用例による共有空間合成部１５２は、少なくともいずれかの元空間に関して、ネットワーク帯域が変動したことが当該測定部により測定される度に、表示対象のオブジェクトの選択処理を逐次行う。

ここで、「表示対象のオブジェクトの選択処理」の内容について説明する。例えば、共有空間合成部１５２は、まず、表示対象として選択されていないオブジェクトのうち優先度が最も高いオブジェクトを、表示対象のオブジェクトとして選択する。次に、共有空間合成部１５２は、メタ情報に記録されている当該オブジェクトのデータサイズに基づいて、現在までに選択済みの全ての表示対象のオブジェクトのデータサイズの合計を算出する。そして、当該データサイズの合計が、測定されたネットワーク帯域の上限に応じた閾値に達するまで、共有空間合成部１５２は、当該選択処理を繰り返す。

また、本応用例による制御情報送信部１２２は、（共有空間合成部１５２による）表示対象のオブジェクトの選択処理が終了する度に、表示対象外のオブジェクトのオブジェクトＩＤのリストを第１の制御情報として、当該オブジェクトの元空間の入力部２２へ送信する。これにより、該当の入力部２２は、選択対象外となったオブジェクトを以後サーバ１０‐３へ送信しないことになる。

｛３−４−２．効果｝
以上説明したように、本応用例によれば、ネットワーク帯域の範囲内で、サーバ１０‐３とクライアント２０との間でデータを送信するように制御する。このため、ネットワーク帯域が変動した場合であっても、表示遅延やフレームレートの低下の発生を防止することができる。

＜＜４．第４の実施形態＞＞
以上、第３の実施形態について説明した。上述したように、各実施形態によるサーバ１０は、複数の実空間内のオブジェクトを共有空間上に配置する。ところで、特別の考慮がないと、ユーザにとって望ましくない位置関係で各オブジェクトが共有空間上に配置され得る。例えば、異なる実空間に位置する二人のユーザが向き合わないように共有空間上に配置され得る。また、当該二人のユーザが向き合うように配置された場合でも、当該二人のユーザの間に別のオブジェクトが配置され得る。その結果、当該二人のユーザが会話をする際に支障が生じ得る。

また、空き空間がある限りオブジェクトが詰め込まれるように、多数のオブジェクトが共有空間上に配置され得る。その結果、ユーザにとって快適でない共有空間が生成され得る。

次に、第４の実施形態について説明する。後述するように、第４の実施形態によれば、予め登録されている複数のベース空間レイアウトの中からいずれかが選択され、そして、サーバ１０‐４は、選択されたベース空間レイアウトに対して表示対象のオブジェクトを配置することにより、共有空間を生成することが可能である。

＜４−１．概要＞
まず、第４の実施形態によるベース空間に対するオブジェクトのレイアウトの概要について説明する。第４の実施形態では、（例えば第２の実施形態と比べて）ベース空間内により多くの種類のオブジェクトを配置可能とする。例えば、ベース空間内に自由視点動画オブジェクトが（ベース空間オブジェクトとして）配置可能である。ここで、自由視点動画オブジェクトは、例えば、自由視点のライブ映像コンテンツであってもよい。また、自由視点動画オブジェクトは、背景として表示されてもよい。

また、第４の実施形態では、ベース空間内に２Ｄ動画オブジェクトも（ベース空間オブジェクトとして）配置可能である。例えば、共有空間内に浮かぶディスプレイがベース空間上に配置される場合には、２Ｄ動画オブジェクトが当該ディスプレイに表示されてもよい。ここで、２Ｄ動画オブジェクトは、例えば、テレビジョン放送、ビデオ配信コンテンツ、または、Ｗｅｂページなどである。なお、２Ｄ動画オブジェクト（の表示情報）は外部のサーバ（図示省略）や、各クライアント２０の近辺に位置するデバイス（図示省略）などから取得され得る。

また、第４の実施形態では、オブジェクトの配置を推奨する空き領域に関する情報（以下、配置推奨情報と称する）がベース空間レイアウト情報１６０にさらに格納され得る。ここで、配置推奨情報は、例えば、ベース空間におけるオブジェクトの配置推奨位置の情報、および、配置を推奨するオブジェクトの条件（オブジェクトの種類など）などを含む。さらに、ベース空間レイアウト情報１６０には、例えば人物が３人以下であることなど、ベース空間上に配置可能なオブジェクトの条件（以下、配置可能オブジェクト条件と称する場合がある）が格納され得る。

｛ベース空間レイアウト情報１６０｝
図５６は、第４の実施形態によるベース空間レイアウト情報１６０の構成例を示した説明図である。図５６に示したように、第４の実施形態によるベース空間レイアウト情報１６０は、（図２３に示した）第２の実施形態によるベース空間レイアウト情報１６０と比較して、２Ｄ動画オブジェクト情報１６０６、および、自由視点動画オブジェクト情報１６０８をさらに含む。ここで、２Ｄ動画オブジェクト情報１６０６には、該当のベース空間内に配置される全ての２Ｄ動画オブジェクトに関する情報が記録される。例えば、２Ｄ動画オブジェクト情報１６０６には、２Ｄ動画オブジェクトごとに、当該２Ｄ動画オブジェクトが配置される共有オブジェクトの情報（オブジェクトＩＤ、オブジェクトを構成する点および面の座標など）、当該２Ｄ動画オブジェクトが描画される面の座標、および、当該２Ｄ動画オブジェクトが格納されているサーバ（図示省略）のＵＲＬなどが記録される。また、自由視点動画オブジェクト情報１６０８には、該当のベース空間内に配置される自由視点動画オブジェクトに関する情報が記録される。例えば、自由視点動画オブジェクト情報１６０８には、該当の自由視点動画オブジェクトが配置されるベース空間上の領域、および、該当の自由視点動画オブジェクトが格納されているサーバ（図示省略）のＵＲＬなどが記録される。

図５７は、第４の実施形態によるベース空間のレイアウトの例（レイアウト６０）を示した説明図である。図５７に示したように、レイアウト６０では、二個の植物のオブジェクト、ディスプレイのオブジェクト６００、プールのオブジェクト、および、二台のデッキチェアのオブジェクトがベース空間上にそれぞれ配置されている。ここで、ディスプレイのオブジェクト６００は、例えば、空中に浮かぶように配置されてもよい。また、ディスプレイのオブジェクト６００は、例えば、外部のサーバから受信される２Ｄ動画オブジェクトを表示可能に構成される。また、図５７に示した例では、人物の自由視点動画オブジェクト６０２がプールのオブジェクト上に配置されている。ここで、自由視点動画オブジェクト６０２は、例えば、後述する、自由視点動画コンテンツサーバ５０または自由視点ライブコンテンツサーバ５２などから受信される自由視点動画オブジェクトであり得る。

また、レイアウト６０には、オブジェクト配置可能領域６０４、および、オブジェクト配置推奨領域６０６が設定されている。ここで、オブジェクト配置可能領域６０４は、例えば任意の種類の３Ｄオブジェクトが配置可能な領域である。また、オブジェクト配置推奨領域６０６には、特定の種類の３Ｄオブジェクト（例えば人など）の配置が推奨される領域である。

＜４−２．情報処理システムの構成＞
次に、第４の実施形態による情報処理システムの構成例について、図５８〜図６０を参照して説明する。図５８に示すように、第４の実施形態による情報処理システムは、図１に示した第１の実施形態と比較して、自由視点動画コンテンツサーバ５０、自由視点ライブコンテンツサーバ５２、および、ベース空間レイアウトサーバ５４をさらに含む。

{４−２−１．自由視点動画コンテンツサーバ５０}
自由視点動画コンテンツサーバ５０は、自由視点動画コンテンツを例えばサーバ１０‐４などへ配信する装置である。ここで、図５９を参照して、自由視点動画コンテンツサーバ５０の構成例について説明する。図５９に示すように、自由視点動画コンテンツサーバ５０は、制御情報受信部５００、ストリーム生成部５０２、送信部５０４、および、自由視点動画コンテンツＤＢ５０６を有する。

（４−２−１−１．制御情報受信部５００）
制御情報受信部５００は、サーバ１０‐４から第４の制御情報を受信する。そして、制御情報受信部５００は、受信した第４の制御情報をストリーム生成部５０２へ伝達する。

（４−２−１−２．ストリーム生成部５０２）
ストリーム生成部５０２は、自由視点動画コンテンツＤＢ５０６に格納されているコンテンツと、制御情報受信部５００から伝達される第４の制御情報とに基づいて、自動視点動画オブジェクト（ストリーム）を生成する。例えば、ストリーム生成部５０２は、第４の制御情報が指定する種類のコンテンツを自由視点動画コンテンツＤＢ５０６から抽出することにより、自動視点動画オブジェクトを生成する。

（４−２−１−３．自由視点動画コンテンツＤＢ５０６）
自由視点動画コンテンツＤＢ５０６は、複数の自由視点動画コンテンツを格納するデータベースである。例えば、自由視点動画コンテンツＤＢ５０６では、例えばコンサート会場、イベント会場、スポーツ会場、または、街などの実空間のセンシングに基づいて生成された自由視点動画や、ユーザの移動時の撮影に基づいて生成された自由視点動画などが格納され得る。

（４−２−１−４．送信部５０４）
送信部５０４は、ストリーム生成部５０２により生成された自動視点動画オブジェクトをサーバ１０‐４（クライアント接続部１２０）へ送信する。

{４−２−２．自由視点ライブコンテンツサーバ５２}
自由視点ライブコンテンツサーバ５２は、自由視点のライブコンテンツを例えばサーバ１０‐４などへ配信する装置である。ここで、自由視点のライブコンテンツは、例えばコンサート会場、イベント会場、スポーツ会場、街、図書館、スポーツクラブ、または、飲食店などの各種の場所における、後述するセンサ部５２０によるセンシングに基づいて生成される自由視点コンテンツである。または、或る人の移動中の撮影に基づいてリアルタイムに生成される自由視点コンテンツであってもよい。

ここで、図５９を参照して、自由視点ライブコンテンツサーバ５２の構成例について説明する。図５９に示すように、自由視点ライブコンテンツサーバ５２は、センサ部５２０、制御情報受信部５２２、認識部５２４、ストリーム生成部５２６、および、送信部５２８を有する。

（４−２−２−１．センサ部５２０）
センサ部５２０は、センサ部５２０が配置されている実空間内の３Ｄデータなどの各種のデータを受信または読出し処理などを行うことにより検出する。例えば、センサ部５２０は、複数のデプスカメラ、および、複数のＲＧＢカメラを有し得る。そして、当該複数のデプスカメラは、センサ部５２０が配置されている実空間内の３Ｄデータを取得する。また、センサ部５２０は、取得したデータを認識部５２４へ伝達する。なお、センサ部５２０の機能は、（入力部２２の）センサ部２２０と概略同様であり得る。

（４−２−２−２．制御情報受信部５２２）
制御情報受信部５２２は、サーバ１０‐４から第４の制御情報を受信する。そして、制御情報受信部５００は、受信した第４の制御情報を認識部５２４およびストリーム生成部５２６へ伝達する。

（４−２−２−３．認識部５２４）
認識部５２４は、センサ部５２０から伝達されるデータと、制御情報受信部５２２から伝達される第４の制御情報とに基づいて、例えばオブジェクトの種別の認識などの各種の認識処理を行う。また、認識部５２４は、センサ部５２０から伝達されたデータと、認識処理の結果とをストリーム生成部５２６へ伝達する。なお、認識部５２４の機能は、（入力部２２の）認識部２２４と概略同様であり得る。

（４−２−２−４．ストリーム生成部５２６）
ストリーム生成部５２６は、認識部５２４から伝達される情報と、制御情報受信部５２２から伝達される第４の制御情報とに基づいて、自動視点動画オブジェクト（ストリーム）を生成する。また、ストリーム生成部５２６は、生成した自動視点動画オブジェクトを送信部５２８へ伝達する。なお、ストリーム生成部５２６の機能は、（入力部２２の）ストリーム生成部２２６と概略同様であり得る。

（４−２−２−５．送信部５２８）
送信部５２８は、ストリーム生成部５２６から伝達された自動視点動画オブジェクトをサーバ１０‐４（クライアント接続部１２０）へ送信する。

{４−２−３．ベース空間レイアウトサーバ５４}
ベース空間レイアウトサーバ５４は、ベース空間レイアウト情報ＤＢ５４２を管理する装置である。ここで、図６０を参照して、ベース空間レイアウトサーバ５４の構成例について説明する。図６０に示すように、ベース空間レイアウトサーバ５４は、ベース空間レイアウト情報ＤＢ管理部５４０、および、ベース空間レイアウト情報ＤＢ５４２を有する。

（４−２−３−１．ベース空間レイアウト情報ＤＢ５４２）
ベース空間レイアウト情報ＤＢ５４２は、予め登録されている複数のレイアウトの情報を格納するデータベースである。例えば、ベース空間レイアウト情報ＤＢ５４２は、レイアウトの識別情報（名称など）と、レイアウトとを関連付けて格納する。

（４−２−３−２．ベース空間レイアウト情報ＤＢ管理部５４０）
ベース空間レイアウト情報ＤＢ管理部５４０は、ベース空間レイアウト情報ＤＢ５４２に対して、データの抽出、登録、更新などの各種の処理を行う。例えば、レイアウトの取得要求がサーバ１０‐４から受信された場合には、ベース空間レイアウト情報ＤＢ管理部５４０は、まず、当該取得要求が示す種類のレイアウトをベース空間レイアウト情報ＤＢ５４２から抽出する。そして、ベース空間レイアウト情報ＤＢ管理部５４０は、抽出したレイアウトをサーバ１０‐４へ送信する。

＜４−３．構成＞
以上、第４の実施形態による情報処理システムの構成について説明した。次に、第４の実施形態によるサーバ１０‐４の構成について詳細に説明する。図６１は、第４の実施形態による共有空間管理部１００‐４の構成例を示した機能ブロック図である。図６１に示すように、共有空間管理部１００‐４は、（第２の実施形態による共有空間管理部１００‐２と比較して）ベース空間レイアウト情報管理部１６６をさらに有する。

{４−３−１．制御部１０８}
第４の実施形態による制御部１０８は、イベント認識部１０６による認識結果に基づいて、ベース空間のレイアウトを切り替えるための制御情報を生成する。例えば、共有空間において参加ユーザが例えばジェスチャー、発話（音声コマンドなど）、または所定のＵＩに対する操作などによりレイアウトの変更を指示したことが認識された場合には、制御部１０８は、ベース空間のレイアウトを、指示された種類のレイアウトに切り替えるための第３の制御情報を生成する。そして、制御部１０８は、生成した制御情報をベース空間レイアウト情報管理部１６６へ伝達する。

{４−３−２．ベース空間レイアウト情報管理部１６６}
ベース空間レイアウト情報管理部１６６は、制御部１０８から伝達される第３の制御情報に基づいて、候補となるベース空間レイアウト情報をベース空間レイアウトサーバ５４から取得する。

また、ベース空間レイアウト情報管理部１６６は、ベース空間レイアウトサーバ５４から受信されたレイアウト情報をベース空間レイアウト情報１６０に格納することが可能である。例えば、ベース空間レイアウト情報管理部１６６は、ベース空間レイアウト情報１６０に現在格納されている情報を、受信されたレイアウト情報に置き換える。

{４−３−３．共有空間合成部１５２}
（４−３−３−１．オブジェクトの配置）
第４の実施形態による共有空間合成部１５２は、レイアウト情報をベース空間レイアウト情報１６０から取得し、そして、取得したレイアウト情報に基づいて共有空間を生成する。例えば、取得したベース空間レイアウト情報内に３Ｄ自由視点動画オブジェクトまたは２Ｄ動画オブジェクトが格納されている場合には、共有空間合成部１５２は、当該オブジェクトを（他のオブジェクトよりも）優先して表示対象のオブジェクトとして決定する。

また、取得したベース空間レイアウト情報の中に空き領域情報があり、かつ、当該空き領域情報の中に配置推奨情報がある場合には、共有空間合成部１５２は、（選択した表示対象のオブジェクトのうち）配置推奨情報が示す推奨のオブジェクトを、当該配置推奨情報が示す位置に配置する。そして、配置が推奨されている領域に空きが無くなった時点（つまりオブジェクトが十分配置された時点）で、共有空間合成部１５２は、共有空間上でのオブジェクトのレイアウトを終了する。

また、取得したベース空間レイアウト情報が、自由視点動画オブジェクトや２Ｄ動画オブジェクトの配置を指示する場合には、共有空間合成部１５２は、当該オブジェクト（またはＦｒａｍｅデータ）を自由視点動画コンテンツサーバ５０、自由視点ライブコンテンツサーバ５２、または、他の外部のサーバ（図示省略）から取得する。そして、共有空間合成部１５２は、フレームごとに、取得したオブジェクト（またはＦｒａｍｅデータ）と、各元空間の入力部２２から受信されるＦｒａｍｅデータとを合成することにより、共有空間Ｆｒａｍｅデータを生成する。

（４−３−３−２．ベース空間の切り替えタイミング）
なお、共有空間合成部１５２は、ベース空間レイアウト情報管理部１６６によるベース空間レイアウト情報の取得に基づいて、共有空間におけるベース空間を切り替えることが可能である。例えば、ベース空間レイアウト情報が取得された際に、共有空間合成部１５２は、共有空間におけるベース空間のレイアウトを、取得されたベース空間レイアウト情報が示すレイアウトに自動的に切り替える。

＜４−４．効果＞
以上説明したように、第４の実施形態によれば、サーバ１０‐４は、予め登録されている複数のベース空間レイアウトの中からユーザにより選択されたベース空間レイアウトに対して、表示対象のオブジェクトを配置することにより、共有空間を生成する。これにより、ユーザにとって望ましいように各オブジェクトを共有空間上にレイアウトすることができる。

例えば、互いに異なる実空間に位置する友人（二人）は、いずれかが位置する実空間をベース空間として選択することにより、いずれかの実空間内に一緒にいるような感覚を得ることができる。または、リゾート地やライブ会場をベース空間として選択することによりリゾート地やライブ会場の雰囲気を一緒に楽しむことができる。

また、サーバ１０‐４は、選択されたベース空間上のディスプレイなどに、２Ｄ動画オブジェクトなどの各種のコンテンツを表示させることが可能である。これにより、共有空間上で、友人同士で各種のコンテンツを視聴して楽しむこともできる。また、友人同士でコンテンツを視聴しながら、相手の表情を確認することもできるので、お互いが共有空間内で同じ体験をし、楽しんでいることを実感できる。

＜４−５．変形例＞
なお、上記の説明では、予め登録されている複数のレイアウト情報のうちのいずれかをユーザが選択する例について説明したが、かかる例に限定されない。例えば、予め登録されている複数のレイアウト情報の各々には、配置可能オブジェクト条件（例えば人を３名まで配置可能など）が付与され得る。そして、サーバ１０‐４は、各レイアウト情報に付与されている配置可能オブジェクト条件と、元空間に関する情報（例えば（共有空間に参加する各ユーザが位置する）元空間の数、元空間内のオブジェクト、または、ユーザの数など）とに基づいて、最適なレイアウトを自動的に選択することも可能である。

＜＜５．第５の実施形態＞＞
以上、第４の実施形態について説明した。上述したように、第４の実施形態では、ベース空間のレイアウト情報が予め登録されていることを想定する。

次に、第５の実施形態について説明する。後述するように、第５の実施形態によるサーバ１０‐５は、ベース空間レイアウトエディタの起動中におけるユーザの指示に基づいて、ベース空間のレイアウト情報を編集することが可能である。これにより、ユーザは、ベース空間のレイアウト情報を希望通りに編集することができる。

＜５−１．構成＞
第５の実施形態によるサーバ１０‐５に含まれる構成要素は、（例えば図６１に示した）第４の実施形態と同様である。以下では、第４の実施形態とは異なる内容についてのみ説明を行う。

｛５−１−１．ベース空間レイアウト情報管理部１６６｝
第５の実施形態によるベース空間レイアウト情報管理部１６６は、ベース空間レイアウトエディタの起動中におけるユーザの指示（例えばジェスチャーや発話（音声コマンドなど）など）の認識結果に基づいて、ベース空間のレイアウト情報を生成または修正する。また、ベース空間レイアウト情報管理部１６６は、生成または更新されたレイアウト情報をベース空間レイアウトサーバ５４へ送信することが可能である。

（５−１−１−１．ベース空間レイアウトエディタ）
ベース空間レイアウトエディタは、ベース空間のレイアウト情報を編集するためのモードである。例えば、ベース空間レイアウトエディタでは、ベース空間レイアウト情報１６０に格納されているオブジェクトのみが共有空間上に表示され、そして、ユーザは、表示されたオブジェクトを見ながらベース空間のレイアウト情報を編集することができる。

ベース空間レイアウトエディタの起動および終了は、例えば共有空間上における、ユーザのジェスチャーや音声コマンドの認識結果などに基づいて実行される。また、ベース空間レイアウトエディタでは、ユーザの指示（例えばジェスチャーや音声コマンドなど）の認識結果に基づいて当該レイアウト情報が編集され得る。例えば、ベース空間レイアウト情報１６０に格納されているオブジェクトの削除や位置の変更、当該レイアウトにおけるオブジェクトの配置可能領域の設定、表示対象のオブジェクトの指定、および、空き領域に配置可能なオブジェクトの種類の指定などが、ユーザの指示の認識結果に基づいて実行され得る。

また、ベース空間レイアウトエディタにおいて編集操作が一回なされる度に、ベース空間レイアウト情報管理部１６６は、ベース空間のレイアウト情報を再作成し、そして、共有空間合成部１５２は、再作成後のベース空間のレイアウト情報を、次のフレーム以降の共有空間を生成するために使用する。つまり、編集操作の結果は共有空間に即座に反映され、そして、反映後の映像が表示部２４６に表示され得る。

また、ベース空間レイアウトエディタの起動中に、ベース空間レイアウト情報の保存操作がなされると、ベース空間レイアウト情報管理部１６６は、現時点のレイアウト情報をベース空間レイアウトサーバ５４へ送信する。これにより、編集されたレイアウト情報がベース空間レイアウト情報ＤＢ５４２に保存される。従って、編集されたレイアウト情報を以後いつでも利用することが可能となる。

‐ベース空間レイアウトエディタの使用例
ここで、図６２および図６３を参照して、ベース空間レイアウトエディタの使用例について説明する。まず、例えば共有空間上で、ベース空間レイアウトエディタの起動のための音声コマンドをユーザ４が発したことが認識されると、サーバ１０‐５はベース空間レイアウトエディタを起動する。そして、図６２のＡに示したように、ベース空間レイアウト情報１６０に格納されているオブジェクトのみを含む共有空間内にユーザ４が位置する映像が、（ユーザ４が閲覧する）表示部２４６に表示される。

その後、例えばテーブルおよび複数の椅子６２０を削除することをユーザ４が希望し、そして、図６２のＢに示したように、ベース空間からオブジェクトを削除するための音声コマンドをユーザ４が発したとする。この場合、図６２のＣに示したように、サーバ１０‐５は、テーブルおよび複数の椅子６２０をベース空間レイアウト情報１６０から削除する。

その後、ベース空間レイアウト情報１６０に登録されている配置可能領域（空き領域）の編集をユーザ４が希望し、そして、図６３のＡに示したように、例えば、配置可能領域を表示させるための音声コマンドをユーザ４が発したとする。この場合、図６３のＢに示したように、ベース空間レイアウト情報１６０に登録されている複数の配置可能領域６２４が表示部２４６にさらに表示される。その後、例えば、配置可能領域６２４ｂに対して「人」の配置を推奨するように設定することをユーザ４が希望し、そして、図６３のＢに示したように、配置可能領域６２４ｂを「人」の配置推奨領域に設定するための音声コマンドをユーザ４が発したとする。この場合、図６３のＣに示したように、サーバ１０‐５は、配置可能領域６２４ｂを「人」の配置推奨領域として設定する。

その後、レイアウト情報を保存するための音声コマンド、および、ベース空間レイアウトエディタの終了のための音声コマンドをユーザ４が発すると、サーバ１０‐５（ベース空間レイアウト情報管理部１６６）は、現時点のレイアウト情報をベース空間レイアウトサーバ５４へ送信する。

＜５−２．効果＞
以上説明したように、第５の実施形態によれば、サーバ１０‐５は、ユーザの指示に基づいてベース空間レイアウトエディタを起動し、そして、ベース空間レイアウトエディタの起動中におけるユーザの指示に基づいて、ベース空間のレイアウト情報を編集する。これにより、ユーザは、ベース空間のレイアウト情報を希望通りに編集することができる。

さらに、第５の実施形態によれば、編集されたレイアウト情報が（そのまま）ベース空間レイアウトサーバ５４へ送信され、保存され得る。これにより、編集されたベース空間レイアウト情報を次回以降いつでも利用することが可能となる。さらに、当該ベース空間レイアウト情報をコンテンツとして流通させることも可能となる。

＜＜６．第６の実施形態＞＞
以上、第５の実施形態について説明した。ところで、空間共有中において、ユーザ４ａが位置する元空間２ａ内の特定のオブジェクト（または人物）を（別の元空間２ｂ内の）他のユーザ４ｂに見せたくない場合も想定される。このような場合、元空間２ａ内のオブジェクトの共有の可否をユーザ４ａが指定可能であることが望ましい。

次に、第６の実施形態について説明する。後述するように、第６の実施形態によれば、ユーザが位置する元空間内のオブジェクトの共有の可否をユーザが指定することができる。

＜６−１．構成＞
｛６−１−１．入力部２２｝
まず、第６の実施形態による構成について説明する。図６４は、第６の実施形態による入力部２２の構成例を示した機能ブロック図である。図６４に示すように、第６の実施形態による入力部２２は、（図２に示した）第１の実施形態と比較して、表示可否設定情報ＤＢ２３０をさらに含む。

（６−１−１−１．表示可否設定情報ＤＢ２３０）
表示可否設定情報ＤＢ２３０は、入力部２２が位置する実空間内の各オブジェクトに関する表示の可否の設定情報を格納するデータベースである。表示可否設定情報ＤＢ２３０では、例えばサーバ１０‐６から受信される第１の制御情報に基づいて、各オブジェクトの表示の可否が設定および変更される。例えば、サーバ１０‐６は、後述する表示可否設定エディタの起動中におけるユーザの指示（ジェスチャーや音声コマンドなど）の認識結果に基づいて各オブジェクトの表示の可否を決定し、そして、決定した情報を第１の制御情報として入力部２２へ送信する。これにより、入力部２２は、受信した第１の制御情報に基づいて、表示可否設定情報ＤＢ２３０の登録内容を変更し得る。

（６−１−１−２．表示可否設定エディタ）
ここで、上述した表示可否設定エディタの内容についてより詳細に説明する。表示可否設定エディタは、ユーザが位置する実空間内の各オブジェクトの表示の可否を設定するためのモードである。例えば、表示可否設定エディタでは、ユーザが位置する実空間内の各オブジェクトが、例えば当該実空間に対応する仮想空間（例えば共有空間など）上に表示され得る。そして、ユーザは、表示されたオブジェクトの映像を見ながら、各オブジェクトの表示の可否を設定することができる。なお、表示部２４６に表示されている各オブジェクトの位置に、当該オブジェクトに設定されている表示可否を示すマークが表示されてもよい。または、表示不可に設定されたオブジェクトは非表示にされてもよい。

例えば、表示可否設定エディタの起動および終了は、例えば共有空間上における、ユーザのジェスチャーや音声コマンドの認識結果などに基づいて実行される。また、表示可否設定エディタでは、ユーザの指示（例えばジェスチャーや音声コマンドなど）の認識結果に基づいて、各オブジェクトの表示の可否が設定される。なお、ユーザは、各オブジェクトの表示可否を個別に指定することも可能であるし、または、例えば「ここから向こうのオブジェクトは全部表示不可！」などの発話により複数のオブジェクトの表示可否を一括して指定することも可能である。

また、表示可否設定エディタにおいて表示可否の指示が一回認識される度に、サーバ１０‐６は、オブジェクト管理情報ＤＢ１６４における、該当のオブジェクトの共有可否に関する設定情報を変更する。なお、この場合、サーバ１０‐６は、次のフレーム以降において、当該オブジェクトの表示態様を変更させて、共有空間Ｆｒａｍｅデータを生成する。例えば、サーバ１０‐６は、次のフレーム以降において、当該オブジェクトの透過度を上げたり、表示色を変えたり、または、点滅させる。

また、表示可否設定エディタの起動中に、設定終了の操作がなされると、サーバ１０‐６（制御情報送信部１２２）は、表示不可に設定されたオブジェクトの情報を第１の制御情報として、（当該オブジェクトの元空間の）入力部２２へ送信する。これにより、入力部２２は、受信した第１の制御情報に基づいて、表示可否設定情報ＤＢ２３０の登録内容を変更し得る。

‐表示可否設定エディタの使用例
ここで、図６５を参照して、表示可否設定エディタの使用例について説明する。まず、例えば共有空間上で、表示可否設定エディタの起動のための音声コマンドをユーザ４が発したことが認識されると、サーバ１０‐６は表示可否設定エディタを起動する。そして、図６５のＡに示したように、ユーザ４が位置する実空間内のオブジェクトが共有空間上に配置された映像が、（ユーザ４が閲覧する）表示部２４６に表示される。

その後、例えばベッド６４０を表示不可に設定することをユーザ４が希望し、そして、図６５のＢに示したように、ベッド６４０を表示不可に設定するための音声コマンドをユーザ４が発したとする。この場合、図６５のＣに示したように、サーバ１０‐６は、ベッド６４０を表示不可に決定する。なお、この際、サーバ１０‐６は、次のフレーム以降において、例えばベッド６４０を非表示にするなど、ベッド６４０の表示態様を変化させてもよい。

その後、表示可否設定エディタの終了のための音声コマンドをユーザ４が発すると、サーバ１０‐６は、現時点までに表示不可に設定された全てのオブジェクトの情報を第１の制御情報として、（ユーザ４が位置する元空間の）入力部２２へ送信する。

‐変形例
なお、変形例として、各オブジェクトの表示の可否は、相手のユーザごとに設定可能であってもよい。例えば、あるオブジェクトに関して、家族には表示可に設定し、かつ、友人には表示不可に設定することが可能であってもよい。

また、別の変形例として、入力部２２またはサーバ１０‐６が、各オブジェクトの表示の可否を所定の条件に基づいて自動的に設定してもよい。例えば、表示不可のオブジェクトの種類が予めテーブルに登録され得る。この場合、入力部２２またはサーバ１０‐６は、該当の種類のオブジェクトを一括して表示不可に設定してもよい。この変形例によれば、例えば多数のユーザが他のユーザに見られたくないような種類のオブジェクトに関しては、自動的に表示不可に設定することができる。そして、各ユーザは設定作業を行う必要がなく、利便性が向上する。

（６−１−１−３．認識部２２４）
第６の実施形態による認識部２２４は、表示可否設定情報ＤＢ２３０の登録内容に基づいて、各オブジェクトに関して認識処理を実行する。例えば、認識部２２４は、表示可否設定情報ＤＢ２３０において表示可に設定されているオブジェクトに関してのみ、当該オブジェクトの認識処理を行う。これにより、処理の負荷を削減することができる。

（６−１−１−４．ストリーム生成部２２６）
第６の実施形態によるストリーム生成部２２６は、さらに、表示可否設定情報ＤＢ２３０の登録内容に基づいてストリームを生成する。例えば、ストリーム生成部２２６は、表示可否設定情報ＤＢ２３０において表示不可に設定されている全てのオブジェクトの３Ｄデータを生成対象のストリームから除外することにより、ストリームを生成する。これにより、表示不可に設定されている全てのオブジェクトの３Ｄデータは、サーバ１０‐６へ送信されないことになる。従って、通信量を削減することができる。

＜６−２．効果＞
以上説明したように、第６の実施形態によれば、ユーザが位置する元空間内の各オブジェクトに関して、（共有空間に対応する）自由視点のコンテンツにおける表示の可否をユーザは設定することができる。これにより、空間共有を可能としつつ、ユーザの元空間２ａ内の特定のオブジェクト（人物を含む）が、別の元空間２ｂ内の他のユーザに見られないように制限することができる。

＜６−３．変形例＞
｛６−３−１．変形例１｝
なお、変形例として、サーバ１０‐６は、ある実空間がベース空間として設定されているか否かによって、当該実空間に関して設定されている、オブジェクトの表示制限の設定を動的に変更してもよい。例えば、ある実空間がベース空間として設定されている場合には、サーバ１０‐６は、当該実空間に関して設定されている、オブジェクトの表示制限の設定を動的に緩めてもよい。

｛６−３−２．変形例２｝
また、別の変形例として、共有空間に参加中の各実空間内のユーザは、当該共有空間に参加中の他の実空間において表示制限されているオブジェクトに関する表示の許可を、当該他の実空間内のユーザに対して（例えばＵＩなどを用いて）要求可能であってもよい。そして、当該表示要求に対して承諾することが（例えば、出力部２４により表示されるＵＩなどを介して）、当該表示要求の送信先の実空間２ｂ内のユーザにより回答された場合には、サーバ１０‐６は、実空間２ｂ内のオブジェクトの表示制限の設定を当該表示要求に応じて緩和したり、解除してもよい。

＜＜７．第７の実施形態＞＞
以上、第６の実施形態について説明した。ところで、複数の実空間を合成することにより共有空間を生成する場面では、当該複数の実空間同士の望ましい位置関係は、当該複数の実空間の各々に位置するユーザ同士の状況によって変化し得る。例えば、二つの実空間内のユーザが共有空間上でそれぞれ椅子に座りながら向かい合って話をするような状況では、当該二つの実空間内のユーザ同士の目線の高さが合っていることが望ましい。また、テーブル上に置かれたノートを別の実空間のユーザと一緒に見るような状況では、二つの実空間のテーブルの高さが合っていることが望ましい。

しかしながら、複数の空間の位置関係をユーザが状況に応じて都度設定し直すことは、ユーザの負荷が大きい。

次に、第７の実施形態について説明する。後述するように、第７の実施形態によるサーバ１０‐７は、複数の実空間の各々に位置する、（互いに）類似していると認識されるオブジェクトを基準オブジェクトとしてそれぞれ決定し、そして、当該基準オブジェクトに関連付けられている基準点または基準面に基づいて、当該複数の実空間を合成することにより、共有空間を生成する。これにより、各ユーザの状況に適した位置関係で二つの実空間を合成することができる。

なお、第７の実施形態では、基本的に、複数の実空間をそのまま合成することにより、共有空間を生成することを想定する。また、表示部２４６がＡＲデバイスであることを想定する。また、第７の実施形態によるベース空間は、共有空間における各オブジェクトの位置合わせのみに用いられる空間であり得る。つまり、ベース空間は、基本的に、表示部２４６に表示されない。

＜７−１．構成＞
まず、第７の実施形態によるサーバ１０‐７の構成について説明する。なお、サーバ１０‐７に含まれる構成要素は、（図２１に示した）第２の実施形態と同様である。以下では、第２の実施形態とは異なる機能を有する構成要素についてのみ説明を行う。

｛７−１−１．共有空間合成部１５２｝
（７−１−１−１．空間の合成）
第７の実施形態では、複数の種類のオブジェクト間の一般的な類似度（または関連度）が予めテーブルに登録され得る。そして、共有空間合成部１５２は、別々の実空間に位置するオブジェクト同士の類似度と、各実空間におけるオブジェクトとユーザとの位置関係とに基づいて、当該複数の実空間の合成方法を決定する。

例えば、実空間２ａおよび実空間２ｂを合成する場合には、共有空間合成部１５２は、まず、実空間２ａ内のユーザの近くに位置する各オブジェクトと、実空間２ｂ内のユーザの近くに位置する各オブジェクトとの間の類似度に基づいて、実空間２ａ内の一つのオブジェクト、および、実空間２ｂ内の一つのオブジェクトをそれぞれ基準オブジェクトとして決定する。そして、共有空間合成部１５２は、決定した二つの基準オブジェクトにそれぞれ関連付けられている、基準点（または基準面）の合わせ方に基づいて、当該二つの基準オブジェクトにそれぞれ対応する基準点（または基準面）を合せることにより、実空間２ａおよび実空間２ｂを合成する。

より詳細には、共有空間合成部１５２は、まず、実空間２ａ内のユーザの近くに位置する各オブジェクトと、実空間２ｂ内のユーザの近くに位置する各オブジェクトとの間の類似度をそれぞれ、当該テーブルを参照することにより特定する。そして、共有空間合成部１５２は、特定した類似度が最も高い、実空間２ａ内のオブジェクトと実空間２ｂ内のオブジェクトとの組み合わせを抽出し、そして、抽出した実空間２ａ内の一つのオブジェクトおよび実空間２ｂ内の一つのオブジェクトをそれぞれ基準オブジェクトとして決定する。次に、共有空間合成部１５２は、決定した基準オブジェクトに関連付けて当該テーブルに登録されている、基準点（または基準面）の合わせ方を特定する。そして、共有空間合成部１５２は、特定した基準点（または基準面）の合わせ方に従って、当該二つの基準オブジェクトの各々に関連付けられている基準点（または基準面）を合わせることにより、実空間２ａおよび実空間２ｂを合成する。

（７−１−１−２．位置関係の決定）
また、共有空間合成部１５２は、複数の実空間を合成する際の位置関係を、入力部２２の認識部２２４、または、サーバ１０‐７の認識部１０４の認識結果に基づいて決定することが可能である。ここで、当該認識結果の例としては、オブジェクトの種類（例えば床、机、椅子、ギター、ピアノなど）の認識結果や、人に関する認識結果（例えば関節情報、顔位置、ジェスチャーなど）などが挙げられる。または、ジャイロデータと組み合わせることでの、水平面や垂直面などの幾何情報が当該認識結果として利用されてもよい。

ここで、図６６および図６７を参照して、上記の内容についてより詳細に説明する。なお、図６６および図６７では、実空間２ａのセンシングに基いたＦｒａｍｅデータおよび実空間２ｂのセンシングに基いたＦｒａｍｅデータがそれぞれそのまま合成されることにより共有空間が生成される例を示している。

例えば、図６６に示したように、共有空間合成部１５２は、まず、実空間２ａのＦｒａｍｅデータおよび実空間２ｂのＦｒａｍｅデータからそれぞれ基準点として３点ずつ抽出する。例えば、共有空間合成部１５２は、実空間２ａ内のオブジェクト４２ａ（ユーザ）の頭の点７００ａ、点７００ａからオブジェクト４２ａの前方方向へ単位長分移動した点７００ｂ、および、点７００ａから重力方向へ単位長分移動した点７００ｃをそれぞれ基準点として抽出する。また、共有空間合成部１５２は、実空間２ｂ内のオブジェクト４２ｂ（ユーザ）の頭の点７００ｄ、点７００ｄからオブジェクト４２ｂの前方方向へ単位長分移動した点７００ｅ、および、点７００ｄから重力方向へ単位長分移動した点７００ｆをそれぞれ基準点として抽出する。

そして、共有空間合成部１５２は、例えば図６７に示したように、オブジェクト４２ａの顔とオブジェクト４２ｂの顔とが向き合うような位置関係で、実空間２ａのＦｒａｍｅデータから抽出した３つの基準点、および、実空間２ｂのＦｒａｍｅデータから抽出した３つの基準点を共有空間上に配置する。

そして、共有空間合成部１５２は、設定した位置関係に基づいて、空間２ａの座標系（ローカル座標系）から共有空間座標系（グローバル座標系）へ変換するための変換行列、および、空間２ｂの座標系（ローカル座標系）から共有空間座標系へ変換するための変換行列を算出する。そして、共有空間合成部１５２は、図６７に示したように、実空間２ａのＦｒａｍｅデータと実空間２ｂのＦｒａｍｅデータとを合成する。このように、各ユーザの元空間の認識結果を用いることで、各ユーザに適した位置関係を自動的に決定することができる。

‐オブジェクトの認識結果
以下、複数の実空間を合成する際の位置関係の決定方法の例について具体的に説明する。例えば、共有空間合成部１５２は、複数の実空間を合成する際の位置関係を、当該複数の実空間のうちのいずれかにおけるオブジェクトの認識結果に基づいて決定することが可能である。例えば、実空間２ａ内のユーザ４ａがソファに座っており、かつ、実空間２ａと空間２ｂとを合成する際には、共有空間合成部１５２は、実空間２ｂ内のリビングの空き領域内に、実空間２ａ内のソファおよびユーザ４ａを（一緒に）配置することを決定する。また、実空間２ａと実空間２ｂとを合成する際には、共有空間合成部１５２は、床が一致するように実空間２ａと実空間２ｂとを合成することを決定してもよい。

または、共有空間合成部１５２は、複数の実空間を合成する際の位置関係を、当該複数の実空間内のオブジェクトの認識結果に基づいて決定することも可能である。例えば、共有空間合成部１５２は、二つの実空間内にそれぞれ位置するテレビジョン受信機の中心部分が重なるようにそろえて、当該二つの実空間を合成することを決定する。または、共有空間合成部１５２は、実空間２ａおよび実空間２ｂにそれぞれ位置する机の高さを合わせることにより、当該二つの実空間を合成することを決定する。さらに、共有空間合成部１５２は、実空間２ａ内のユーザと実空間２ｂ内のユーザとが当該机において向き合ったり、または、隣り合うような位置関係になるように当該二つの実空間を合成することを決定する。または、共有空間合成部１５２は、実空間２ａおよび実空間２ｂにそれぞれ位置するソファの座面を合わせ、かつ、実空間２ａのソファと実空間２ｂのソファとが隣り合うように当該二つの実空間を合成することを決定する。これにより、実空間２ａのユーザと実空間２ｂのユーザとが隣り合ってソファに座っているような共有空間が生成され得る。または、共有空間合成部１５２は、実空間２ａおよび実空間２ｂにそれぞれ位置するピアノの鍵盤が重なるように当該二つの実空間を合成することを決定する。または、実空間２ａおよび実空間２ｂにそれぞれ位置するギターの指板が重なるように当該二つの実空間を合成することを決定する。

‐人の認識結果
または、共有空間合成部１５２は、複数の実空間を合成する際の位置関係を、当該複数の実空間内に位置する人に関する認識結果に基づいて決定することも可能である。例えば、共有空間合成部１５２は、実空間２ａ内のユーザの目線の先に、実空間２ｂ内のユーザが位置するような位置関係で、当該二つの実空間を合成することを決定する。または、共有空間合成部１５２は、実空間２ａ内のユーザと、実空間２ｂ内のユーザとが顔が向かい合うような位置関係で、当該二つの実空間を合成することを決定する。

‐ジェスチャーの認識結果：一人による指定
または、共有空間合成部１５２は、複数の実空間を合成する際の位置関係を、当該複数の実空間のうちのいずれかに位置する一人のユーザのジェスチャーの認識結果に基づいて決定することも可能である。例えば、実空間２ａ内のユーザが（実空間２ａ内の）床を指差したことが認識された場合には、共有空間合成部１５２は、指差し先の床の位置に、空間２ｂ内のユーザ（または他のオブジェクト）が位置するような位置関係で、実空間２ａおよび実空間２ｂを合成することを決定する。

図６８は、実空間２ｂ内のユーザが指差しにより、空間合成時における、実空間２ａ内のユーザ４ａの配置位置を指定する例を示した説明図である。例えば、図６８のＢに示したように、（実空間２ｂ内の）床をユーザが指差したことが認識された場合には、共有空間合成部１５２は、当該指差しに基づく３点を実空間２ｂに関する基準点としてそれぞれ決定する。より具体的には、共有空間合成部１５２は、指差しの直線と床（またはソファの座面）との交点（点Ｂ１）、当該交点を床（またはソファの座面）上に差し元の方向へ単位長移動した点（点Ｂ２）、および、点Ｂ１と点Ｂ２とを結ぶ直線と直交する、床面（またはソファの座面）上の直線上の点（点Ｂ３）の３点を基準点としてそれぞれ決定する。

また、図６８のＡに示したように、共有空間合成部１５２は、実空間２ａ内のユーザ４ａに基づく３点を実空間２ａに関する基準点としてそれぞれ決定する。より具体的には、共有空間合成部１５２は、実空間２ａ内のユーザ４ａの頭から床（またはソファの座面）への垂線と床（またはソファの座面）との交点（点Ａ１）、当該交点をユーザ４ａの前方方向へ単位長分移動した点（点Ａ２）、および、点Ａ１と点Ａ２とを結ぶ直線と直交する床面（またはソファの座面）上の直線上の点（点Ａ３）の３点を基準点としてそれぞれ決定する。そして、共有空間合成部１５２は、例えば、実空間２ａに関する基準点Ａ１、Ａ２、およびＡ３と、実空間２ｂに関する基準点Ｂ１、Ｂ２、およびＢ３とがそれぞれ一致するような位置関係で、実空間２ａおよび実空間２ｂを合成することを決定する。

なお、共有空間合成部１５２は、実空間２ｂ内のユーザの指差し先に応じて、実空間２ａと実空間２ｂとの合成方法を変更してもよい。例えば、図６８に示した矢印７１０ａのように、当該指差し先が床である場合には、共有空間合成部１５２は、実空間２ａ内のソファ４２ａおよびユーザ４ａを当該指差し先に配置するように、実空間２ａと実空間２ｂとを合成してもよい。また、図６８に示した矢印７１０ｂのように、当該指差し先がソファ４２ｂである場合には、共有空間合成部１５２は、実空間２ａ内のユーザ４ａのみを当該指差し先に配置するように、実空間２ａと実空間２ｂとを合成してもよい。以上の決定例によれば、別の空間内のユーザやオブジェクトの配置位置を、ユーザは指差しなどの操作により直感的に指定することができる。

‐ジェスチャーの認識結果：複数人による指定
または、複数の実空間内のユーザが所定のジェスチャーを同時に行っていることが認識された場合には、共有空間合成部１５２は、認識されたジェスチャーに基づいて当該複数の実空間を合成することを決定することも可能である。例えば、実空間２ａ内のユーザおよび実空間２ｂ内のユーザが握手のジェスチャーを同時に行っていることが認識された場合には、共有空間合成部１５２は、当該二人のユーザがそれぞれ差し出した手が重なるように、実空間２ａおよび実空間２ｂを合成することを決定する。また、実空間２ａ内のユーザおよび実空間２ｂ内のユーザがハイタッチのジェスチャーを同時に行っていることが認識された場合には、共有空間合成部１５２は、当該二人のユーザがそれぞれ挙げた手（手の平など）が重なるように、実空間２ａおよび実空間２ｂを合成することを決定する。また、実空間２ａ内のユーザおよび実空間２ｂ内のユーザがじゃんけんのジェスチャーを同時に行っていることが認識された場合には、共有空間合成部１５２は、当該二人のユーザがそれぞれ差し出した手の間に一定の空隙が位置するような位置関係で、実空間２ａおよび実空間２ｂを合成することを決定する。

図６９は、実空間２ａ内のユーザ４ａと実空間２ｂ内のユーザ４ｂとが握手のジェスチャーを同時に行ったことが認識された場合における、二つの実空間の合成例（共有空間の生成例）を示した説明図である。例えば、図６９のＡに示したように、共有空間合成部１５２は、ユーザ４ａが差し出した手に基づく３点を実空間２ａに関する基準点として決定する。より具体的には、共有空間合成部１５２は、ユーザ４ａが差し出した手の位置に対応する点（点Ｃ１）、点Ｃ１からユーザ４ａの前方方向へ単位長分移動した点（点Ｃ２）、および、点Ｃ１から重力方向へ単位長分移動した点（点Ｃ３）の３点を基準点としてそれぞれ決定する。同様に、図６９のＢに示したように、共有空間合成部１５２は、ユーザ４ｂが差し出した手に基づく３点（点Ｄ１、点Ｄ２、および、点Ｄ３）を実空間２ｂに関する基準点としてそれぞれ決定する。そして、共有空間合成部１５２は、点Ｃ１と点Ｄ１とが重なり、ベクトルＣ１Ｃ３とベクトルＤ１Ｄ３とが重なり、かつ、ベクトルＣ１Ｃ２とベクトルＤ１Ｄ２とが向き合うような位置関係で、実空間２ａと実空間２ｂとを合成することを決定する。これにより、当該共有空間に対応する自由視点のコンテンツにおいて、図６９のＣおよびＤに示したように、ユーザが差し出した手の先に、別の実空間のユーザが表示され得る。

この決定例によれば、ジェスチャーの同時性を用いることにより、共有空間における最適な位置関係を効率的に設定することができる。例えば、共有空間における最適な位置関係を探すための、ユーザの操作数を大幅に削減することができる。

‐組み合わせ
または、共有空間合成部１５２は、上述したオブジェクトの認識結果、人の認識結果、および、ジェスチャーの認識結果のうちのいずれか２以上の組み合わせに基づいて、複数の実空間を合成することを決定してもよい。例えば、実空間２ａ内のユーザおよび実空間２ｂ内のユーザがそれぞれの実空間内の机を同時に叩いたことが認識された場合には、共有空間合成部１５２は、それぞれの実空間内の机の高さが一致するような位置関係で、実空間２ａおよび実空間２ｂを合成することを決定する。

（７−１−１−３．位置関係の変更）
‐行動認識
また、複数の実空間が合成された後（共有空間が生成された後）に、共有空間合成部１５２は、当該位置関係を所定の条件に基づいて変更することも可能である。例えば、実空間２ａ内のユーザ（生徒）と実空間２ｂ内のユーザ（教師）との間で折り紙のレクチャを行う場合には、共有空間合成部１５２は、初期状態では、生徒の手元から例えば前方３０ｃｍの位置に教師の手が配置されるような位置関係で、実空間２ａおよび実空間２ｂを合成してもよい。また、レクチャの開始後に、生徒が折り紙を持って移動することが認識された場合には、共有空間合成部１５２は、共有空間上での教師の手の位置が折り紙に追従して移動するように、二つの実空間の位置関係を逐次変更してもよい（共有空間を逐次再生成してもよい）。

また、位置関係変更モードの起動中において、実空間２ａ内のユーザが実空間２ｂ内のオブジェクト（ユーザを含む）をつかみ動かすことが認識された場合には、共有空間合成部１５２は、認識結果に応じて、実空間２ａおよび実空間２ｂの位置関係を逐次変更してもよい。なお、位置関係変更モードの起動および終了は、例えばジェスチャーや音声コマンドの認識、または、ＵＩに対する操作などに基づいて実行される。

‐マーカの位置による指定
また、複数の実空間が合成された後に、共有空間合成部１５２は、所定のマーカ（位置合わせ用の物体など）の位置の変化に基づいて、当該位置関係を変更することが可能である。例えば、特定の椅子が所定のマーカとして予め登録されている場合には、共有空間合成部１５２は、いずれかの元空間における当該椅子の位置の変化に応じて、共有空間上での各実空間の位置関係を逐次変更してもよい。この変更例によれば、ユーザは所定のマーカを移動させることにより、別の実空間との位置関係を直感的に変更することができる。さらに、ユーザは実際にオブジェクトに触れるので、例えば仮想空間での操作と比較して、操作感（触覚など）を得ることができる。

（７−１−１−４．表示対象のオブジェクトの選択）
また、共有空間合成部１５２は、複数の実空間のうちの少なくともいずれかに位置するユーザのジェスチャーの認識結果に基づいて、表示対象のオブジェクトの選択と、当該オブジェクトの表示位置の決定とを同時に行うことも可能である。例えば、実空間２ａ内のユーザが椅子に座っており、かつ、別の実空間２ｂ内のユーザが床を指差したことが認識された場合には、共有空間合成部１５２は、実空間２ａ内のユーザが座っている椅子および当該ユーザを共有空間上に（一緒に）配置することを決定する。また、実空間２ａ内のユーザが椅子を指差したことが認識された場合には、共有空間合成部１５２は、実空間２ｂ内のユーザだけを（椅子に座っているポーズのまま）共有空間上に配置することを決定する。

また、共有空間合成部１５２は、実空間２ａ内のユーザのジェスチャー認識と、別の実空間２ｂ内のオブジェクト（ユーザなど）の状況とに基づいて、表示対象のオブジェクトを（おおまかに）決定したり、当該表示対象のオブジェクトの配置位置を（おおまかに）決定することも可能である。例えば、実空間２ａ内のユーザが（実空間２ａ内の）椅子を指差し、かつ、実空間２ｂ内のユーザが立っていることが認識された場合には、共有空間合成部１５２は、当該指差し先の椅子の近くの床上に、実空間２ｂ内のユーザを（立っている姿勢のまま）配置することを決定する。この決定例によれば、例えばセンサ部２２０の精度が低い場合であっても、概ねユーザの意図通りにオブジェクトを選択したり、配置することができる。

（７−１−１−５．モードの切り替え）
または、複数の実空間を合成する際の位置関係の、複数の合わせ方がそれぞれ、予めモードとして登録され得る。そして、当該モードは、ユーザが手動（例えばジェスチャーや音声コマンドなど）で切り替え可能であり得る。

また、当該モードは、例えばユーザの行動認識結果などに基づいて、自動で切り替え可能であり得る。例えば、サーバ１０‐７は、シーンを自動で検出し、そして、検出したシーンに対応するモードに自動的に切り替えてもよい。一例として、実空間２ａ内のユーザ４ａおよび実空間２ｂ内のユーザ４ｂが共有空間に参加しており、かつ、当該二人のユーザがそれぞれ元空間内のテーブルに座ったことが認識された場合には、サーバ１０‐７は、テーブルの高さを合わせるようなモードに自動的に切り替える。この制御例によれば、ユーザが設定モードを切り替える手間が不要となる。

また、実空間２ａ内のユーザが、表示部２４６に表示されている仮想のノートの上に（実空間２ａ内の）実物のノートを広げ、かつ、当該仮想のノートに対して所定の閾値以下まで当該実物のノートを近づけたことが認識された場合には、サーバ１０‐７は、「ノードを合せるモード」に自動的に切り替えてもよい。これにより、細かな調整にかかる手間を削減することができ、かつ、表示位置の動的な変更が可能となる。

また、オブジェクトの認識結果と、認識されたオブジェクトの合わせ方との履歴が記録され得る。そして、サーバ１０‐７は、当該履歴に基づいて、位置関係の設定モードを自動的に切り替えてもよい。例えば、書道を行っているユーザが二枚の和紙を重ねたことが認識された場合には、当該操作が履歴として記録され得る。そして、次回以降に、二枚の和紙が近づけられたことが認識された場合には、サーバ１０‐７は、履歴に基づいて、「二枚の和紙を重ねるモード」に自動的に設定することが可能である。また、ピアノのレッスンの時間になった場合には、サーバ１０‐７は、履歴に基づいて、「鍵盤を合せるモード」に自動的に設定することが可能である。これらの制御例によれば、位置関係の設定モードをユーザが毎回指定する手間を省くことができる。また、履歴が大量に蓄積されることにより、最適なモードが自動的に選択され得る。

＜７−２．処理の流れ＞
以上、第７の実施形態の構成について説明した。次に、第７の実施形態による処理の流れについて、図７０を参照して説明する。図７０は、第７の実施形態による、各実空間のローカル座標系から共有空間座標系への変換行列を算出する処理の流れを示したフローチャートである。以下では、実空間Ａに関して、実空間Ａのローカル座標系から共有空間座標系への変換行列を算出する例について説明する。なお、本処理の流れは、任意の実空間に関して同様に適用され得る。

図７０に示したように、まず、サーバ１０‐７は、新たなＦｒａｍｅデータを実空間Ａから受信する（Ｓ７００１）。

続いて、共有空間合成部１５２は、入力部２２の認識部２２４またはサーバ１０‐７の認識部１０４による、（当該Ｆｒａｍｅデータに対応する）認識結果を取得する（Ｓ７００３）。

続いて、共有空間合成部１５２は、Ｓ７００１で受信されたＦｒａｍｅデータと、Ｓ７００３で取得された認識結果とに基づいて、（実空間Ａ内のオブジェクトの中から）基準オブジェクトを決定する。そして、共有空間合成部１５２は、実空間Ａの座標系における当該基準オブジェクトの位置および姿勢を特定する（Ｓ７００５）。

続いて、共有空間合成部１５２は、Ｓ７００５で特定された基準オブジェクトの位置および姿勢に基づいて、基準点を抽出する（Ｓ７００７）。

その後、共有空間合成部１５２は、共有空間上にすでに設定されている、複数の実空間の基準点間の位置関係と、Ｓ７００７で抽出された基準点とに基づいて、実空間Ａの座標系（ローカル座標系）から共有空間座標系（グローバル座標系）へ変換するための変換行列を算出する。

＜７−３．効果＞
以上説明したように、第７の実施形態によれば、サーバ１０‐７は、複数の実空間の各々に位置する、類似していると認識されるオブジェクトを基準オブジェクトとしてそれぞれ決定し、そして、当該基準オブジェクトに関連付けられている基準点または基準面に基づいて、当該複数の実空間に関するセンシングデータを合成することにより、共有空間を生成する。これにより、各ユーザの状況に適した位置関係で当該二つの実空間を合成することができる。

＜＜８．ハードウェア構成＞＞
次に、各実施形態に共通するサーバ１０のハードウェア構成について、図７１を参照して説明する。図７１に示すように、サーバ１０は、ＣＰＵ９００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ９０４、バス９０６、インターフェース９０８、ストレージ装置９１０、および通信装置９１２を備える。

ＣＰＵ９００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。なお、ＣＰＵ９００は、マイクロプロセッサなどのプロセッサにより構成される。

ＲＯＭ９０２は、ＣＰＵ９００が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ９０４は、例えば、ＣＰＵ９００により実行されるプログラムなどを一時的に記憶する。

バス９０６は、ＣＰＵバスなどから構成される。このバス９０６は、ＣＰＵ９００、ＲＯＭ９０２、およびＲＡＭ９０４を相互に接続する。

インターフェース９０８は、ストレージ装置９１０、および通信装置９１２を、バス９０６と接続する。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

通信装置９１２は、例えば通信網２６などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置９１２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。

＜＜９．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜９−１．変形例１＞
例えば、上述した各実施形態では、サーバ１０は、（フレームごとに）共有空間を一つだけ生成する例を中心に説明したが、かかる例に限定されず、サーバ１０（共有空間合成部１５２）は、フレームごとに、異なる共有空間を複数生成してもよい。例えば、共有空間合成部１５２は、実空間２ａ内の入力部２２ａから受信されたストリームと実空間２ｂ内の入力部２２ｂから受信されたストリームとに基づいて共有空間Ａを生成し、かつ、実空間２ｃ内の入力部２２ｃから受信されたストリームと実空間２ｄ内の入力部２２ｄから受信されたストリームとに基づいて共有空間Ｂを生成してもよい。

また、共有空間合成部１５２は、各フレームに関して、共有空間に参加中のユーザごとにそれぞれ異なる共有空間を生成してもよい。例えば、共有空間合成部１５２は、各フレームに関して、ユーザごとに、表示対象のオブジェクトを別々に決定し、そして、決定されたオブジェクトに基づいて共有空間をそれぞれ生成してもよい。なお、この際、サーバ１０（ベース空間レイアウト生成部１５８）は、ユーザごとにそれぞれ異なるベース空間を生成してもよい。

一例として、ユーザごとに、優先度を算出するための重みがテーブルに別々に登録され得る。そして、サーバ１０（優先度算出部４００）は、各実空間内の各オブジェクトに関して、ユーザごとに、当該テーブルの登録内容に基づいて、当該オブジェクトの優先度を算出する。この変形例によれば、例えば、ユーザ４ａが閲覧可能なオブジェクトと、ユーザ４ｂが閲覧可能なオブジェクトとを異ならせることができる。

＜９−２．変形例２＞
また、別の変形例として、非表示とするオブジェクトの種類がユーザごとに予め設定されているフィルタが用意され得る。この場合、サーバ１０は、共有空間に参加中のユーザごとに、生成された共有空間Ｆｒａｍｅデータに対して、当該ユーザに関連付けられているフィルタを適用してもよい。この変形例によれば、ユーザごとに閲覧可能なオブジェクトを異ならせることができる。

＜９−３．変形例３＞
また、上述した各実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、上述した各実施形態によれば、ＣＰＵ９００、ＲＯＭ９０２、およびＲＡＭ９０４などのハードウェアを、上述した各実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、
を備える、情報処理装置。
（２）
前記決定部は、前記共有オブジェクトとして、前記第１の実オブジェクトに対応する第１の仮想オブジェクト、および、前記第２の実オブジェクトに対応する第２の仮想オブジェクトの少なくとも一方を前記所定の基準に基づいて選択する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記第１の実オブジェクトの優先度、および、前記第２の実オブジェクトの優先度を所定の指標に基づいて算出する優先度算出部をさらに備え、
前記所定の基準は、前記優先度算出部により算出された前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を含む、前記（２）に記載の情報処理装置。
（４）
前記優先度算出部は、前記第１の実オブジェクトの属性情報および前記第２の実オブジェクトの属性情報に基づいて、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を算出する、前記（３）に記載の情報処理装置。
（５）
前記第１の実オブジェクトの属性情報は、前記第１の実オブジェクトのサイズ、前記第１の実オブジェクトの種類、または、前記第１の実空間の識別情報を含み、
前記第２の実オブジェクトの属性情報は、前記第２の実オブジェクトのサイズ、前記第２の実オブジェクトの種類、または、前記第２の実空間の識別情報を含む、前記（４）に記載の情報処理装置。
（６）
前記優先度算出部は、前記第１の実空間における前記第１の実オブジェクトと前記第１のユーザの位置関係に基づいて、前記第１の実オブジェクトの優先度を算出するとともに、前記第２の実空間における前記第２の実オブジェクトと前記第２のユーザの位置関係に基づいて、前記第２の実オブジェクトの優先度を算出する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記優先度算出部は、表示部により表示される前記仮想空間の直前の表示フレームにおいて前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトが前記仮想空間内に配置されていたか否かに基づいて、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を算出する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記優先度算出部は、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を、前記仮想空間におけるコンテキスト情報に基づいて算出する、前記（３）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記優先度算出部は、前記第１の実オブジェクトおよび前記第２の実オブジェクトのうち、前記コンテキスト情報に関連する実オブジェクトの優先度をより高く算出する、前記（８）に記載の情報処理装置。
（１０）
前記第１の実空間のセンシング結果に基づいて取得される第１の三次元情報と、前記第２の実空間のセンシング結果に基づいて取得される第２の三次元情報とを合成することにより前記仮想空間を生成する空間生成部をさらに備える、前記（２）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記空間生成部は、前記仮想空間内に配置されることが前記決定部により決定された全ての共有オブジェクトをレイアウト情報に基づいて前記仮想空間内に配置する、前記（１０）に記載の情報処理装置。
（１２）
前記第１の実空間または前記第２の実空間のいずれかがベース空間として決定され、
前記情報処理装置は、前記ベース空間の三次元情報に基づいて前記レイアウト情報を生成するレイアウト情報生成部をさらに備える、前記（１１）に記載の情報処理装置。
（１３）
前記レイアウト情報は、予め登録されている複数のレイアウト情報の中から、前記第１のユーザまたは前記第２のユーザにより選択された情報である、前記（１１）に記載の情報処理装置。
（１４）
前記レイアウト情報を編集するための前記第１のユーザまたは前記第２のユーザによる指示の認識結果に基づいて前記レイアウト情報は編集される、前記（１１）に記載の情報処理装置。
（１５）
前記所定の基準は、前記第１の仮想オブジェクトの表示可否に関する設定情報、および、前記第２の仮想オブジェクトの表示可否に関する設定情報を含む、前記（２）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記所定の基準は、前記第１の実オブジェクトに関するデータ量と、前記第２の実オブジェクトに関するデータ量と、前記第１の実空間と前記情報処理装置との間のネットワーク帯域と、前記第２の実空間と前記情報処理装置との間のネットワーク帯域との関係性を含む、前記（２）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記第２の実オブジェクトは、前記第１の実オブジェクトに対して所定の類似度を有し、
前記決定部は、前記第１の実オブジェクト、および、前記第２の実オブジェクトをそれぞれ基準オブジェクトとして決定し、
前記情報処理装置は、前記第１の実空間のセンシング結果に基づいて取得される第１の三次元情報と、前記第２の実空間のセンシング結果に基づいて取得される第２の三次元情報とを、前記基準オブジェクトに応じた基準点または基準面に基づいて合成することにより前記仮想空間を生成する空間生成部をさらに備える、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記決定部は、複数の前記第１の実オブジェクトと前記第１のユーザとの位置関係、複数の前記第２の実オブジェクトと前記第２のユーザとの位置関係、および、前記複数の第１の実オブジェクトに対する前記複数の第２の実オブジェクトの各々の類似度に基づいて、前記複数の第１の実オブジェクトの中から少なくとも１つを前記基準オブジェクトとして特定し、かつ、前記複数の第２の実オブジェクトの中から少なくとも１つを前記基準オブジェクトとして特定する、前記（１７）に記載の情報処理装置。
（１９）
第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいてプロセッサが決定すること、
を含む、情報処理方法。
（２０）
コンピュータを、
第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、
として機能させるための、プログラム。

１０‐１〜１０‐７ サーバ
２０ クライアント
２２ 入力部
２４ 出力部
２６ 通信網
５０ 自由視点動画コンテンツサーバ
５２ 自由視点ライブコンテンツサーバ
５４ ベース空間レイアウトサーバ
１００‐１、１００‐２、１００‐４ 共有空間管理部
１０２ 共有空間生成部
１０４、２２４、２５０、５２４ 認識部
１０６ イベント認識部
１０８ 制御部
１２０ クライアント接続部
１２２、２５２ 制御情報送信部
１２４、２４２ ストリーム分離部
１２６、２４０ 受信部
１２８、２２２、５００、５２２ 制御情報受信部
１３０、２２６、５０２、５２６ ストリーム生成部
１３２、２２８、５０４、５２８ 送信部
１５０ 同期部
１５２ 共有空間合成部
１５４ 配信部
１５６ 共有空間ＦｒａｍｅデータＤＢ
１５８ ベース空間レイアウト生成部
１６６ ベース空間レイアウト情報管理部
２２０、２４８、５２０ センサ部
２４４ 合成部
２４６ 表示部
４００ 優先度算出部
４０２ 決定部
５４０ ベース空間レイアウト情報ＤＢ管理部

Claims (20)

1. 第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、
   を備える、情報処理装置。
2. 前記決定部は、前記共有オブジェクトとして、前記第１の実オブジェクトに対応する第１の仮想オブジェクト、および、前記第２の実オブジェクトに対応する第２の仮想オブジェクトの少なくとも一方を前記所定の基準に基づいて選択する、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記第１の実オブジェクトの優先度、および、前記第２の実オブジェクトの優先度を所定の指標に基づいて算出する優先度算出部をさらに備え、
   前記所定の基準は、前記優先度算出部により算出された前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を含む、請求項２に記載の情報処理装置。
4. 前記優先度算出部は、前記第１の実オブジェクトの属性情報および前記第２の実オブジェクトの属性情報に基づいて、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を算出する、請求項３に記載の情報処理装置。
5. 前記第１の実オブジェクトの属性情報は、前記第１の実オブジェクトのサイズ、前記第１の実オブジェクトの種類、または、前記第１の実空間の識別情報を含み、
   前記第２の実オブジェクトの属性情報は、前記第２の実オブジェクトのサイズ、前記第２の実オブジェクトの種類、または、前記第２の実空間の識別情報を含む、請求項４に記載の情報処理装置。
6. 前記優先度算出部は、前記第１の実空間における前記第１の実オブジェクトと前記第１のユーザの位置関係に基づいて、前記第１の実オブジェクトの優先度を算出するとともに、前記第２の実空間における前記第２の実オブジェクトと前記第２のユーザの位置関係に基づいて、前記第２の実オブジェクトの優先度を算出する、請求項３に記載の情報処理装置。
7. 前記優先度算出部は、表示部により表示される前記仮想空間の直前の表示フレームにおいて前記第１の仮想オブジェクトまたは前記第２の仮想オブジェクトが前記仮想空間内に配置されていたか否かに基づいて、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を算出する、請求項３に記載の情報処理装置。
8. 前記優先度算出部は、前記第１の実オブジェクトの優先度および前記第２の実オブジェクトの優先度を、前記仮想空間におけるコンテキスト情報に基づいて算出する、請求項３に記載の情報処理装置。
9. 前記優先度算出部は、前記第１の実オブジェクトおよび前記第２の実オブジェクトのうち、前記コンテキスト情報に関連する実オブジェクトの優先度をより高く算出する、請求項８に記載の情報処理装置。
10. 前記第１の実空間のセンシング結果に基づいて取得される第１の三次元情報と、前記第２の実空間のセンシング結果に基づいて取得される第２の三次元情報とを合成することにより前記仮想空間を生成する空間生成部をさらに備える、請求項２に記載の情報処理装置。
11. 前記空間生成部は、前記仮想空間内に配置されることが前記決定部により決定された全ての共有オブジェクトをレイアウト情報に基づいて前記仮想空間内に配置する、請求項１０に記載の情報処理装置。
12. 前記第１の実空間または前記第２の実空間のいずれかがベース空間として決定され、
    前記情報処理装置は、前記ベース空間の三次元情報に基づいて前記レイアウト情報を生成するレイアウト情報生成部をさらに備える、請求項１１に記載の情報処理装置。
13. 前記レイアウト情報は、予め登録されている複数のレイアウト情報の中から、前記第１のユーザまたは前記第２のユーザにより選択された情報である、請求項１１に記載の情報処理装置。
14. 前記レイアウト情報を編集するための前記第１のユーザまたは前記第２のユーザによる指示の認識結果に基づいて前記レイアウト情報は編集される、請求項１１に記載の情報処理装置。
15. 前記所定の基準は、前記第１の仮想オブジェクトの表示可否に関する設定情報、および、前記第２の仮想オブジェクトの表示可否に関する設定情報を含む、請求項２に記載の情報処理装置。
16. 前記所定の基準は、前記第１の実オブジェクトに関するデータ量と、前記第２の実オブジェクトに関するデータ量と、前記第１の実空間と前記情報処理装置との間のネットワーク帯域と、前記第２の実空間と前記情報処理装置との間のネットワーク帯域との関係性を含む、請求項２に記載の情報処理装置。
17. 前記第２の実オブジェクトは、前記第１の実オブジェクトに対して所定の類似度を有し、
    前記決定部は、前記第１の実オブジェクト、および、前記第２の実オブジェクトをそれぞれ基準オブジェクトとして決定し、
    前記情報処理装置は、前記第１の実空間のセンシング結果に基づいて取得される第１の三次元情報と、前記第２の実空間のセンシング結果に基づいて取得される第２の三次元情報とを、前記基準オブジェクトに応じた基準点または基準面に基づいて合成することにより前記仮想空間を生成する空間生成部をさらに備える、請求項１に記載の情報処理装置。
18. 前記決定部は、複数の前記第１の実オブジェクトと前記第１のユーザとの位置関係、複数の前記第２の実オブジェクトと前記第２のユーザとの位置関係、および、前記複数の第１の実オブジェクトに対する前記複数の第２の実オブジェクトの各々の類似度に基づいて、前記複数の第１の実オブジェクトの中から少なくとも１つを前記基準オブジェクトとして特定し、かつ、前記複数の第２の実オブジェクトの中から少なくとも１つを前記基準オブジェクトとして特定する、請求項１７に記載の情報処理装置。
19. 第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいてプロセッサが決定すること、
    を含む、情報処理方法。
20. コンピュータを、
    第１のユーザに関連し少なくとも１つの第１の実オブジェクトを含む第１の実空間のセンシング結果と、第２のユーザに関連し少なくとも１つの第２の実オブジェクトを含む第２の実空間のセンシング結果とに基づいて前記第１のユーザと前記第２のユーザの間のコミュニケーションのために生成される仮想空間内に配置される共有オブジェクトを、所定の基準に基づいて決定する決定部、
    として機能させるための、プログラム。

Images