JP7249371B2

JP7249371B2 - 情報処理装置、情報処理方法、及び情報処理プログラム

Info

Publication number: JP7249371B2
Application number: JP2021046281A
Authority: JP
Inventors: 照彦寺岡; 孝太坪内; 秀仁五味
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2023-03-30
Anticipated expiration: 2041-03-19
Also published as: JP2022145036A

Description

本出願は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

近年、インターネットの飛躍的な普及および配信技術の向上により、インターネットを介して多様なコンテンツの閲覧が可能になっている。このような多様なコンテンツを提供するための技術として、ＸＲ技術と総称される仮想現実（ＶＲ：Virtual Reality）や、拡張現実（ＡＲ：Augmented Reality）や、複合現実（ＭＲ：Mixed Reality）などと称される技術が知られている。ＡＲ技術を利用した従来技術として、例えば、携帯端末装置によって撮影されている風景映像に広告を表示する技術なども提案されている。

特開２０１９－１５９３５７号公報

しかしながら、従来の技術では、利用者が望む仮想的な環境を提供しているとは言えない場合がある。

本願は、上記に鑑みてなされたものであって、利用者が望む仮想的な環境を提供できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、提供部と、認識部と、空間制御部とを備える。提供部は、ユーザ及びユーザの周囲の現実空間に関する各種情報に基づいて、仮想空間に仮想情報を配置した仮想空間情報をユーザに提供する。認識部は、現実空間に関する各種情報に基づいて、現実空間における実時間の状況を認識する。空間制御部は、認識部により認識された現実空間における実時間の状況と、仮想空間を利用する際の想定場面に応じた仮想空間の内容との間の差を解消するように、仮想空間を制御する。

実施形態の態様の１つによれば、利用者が望む仮想的な環境を提供できる。

図１は、実施形態に係る情報処理の一例を示す図である。図２は、実施形態に係る仮想空間の制御の一例を模式的に示す図である。図３は、実施形態に係る環境設定に関する情報及び環境制御ポリシの概要を示す図である。図４は、実施形態に係る情報処理システムの構成例を示す図である。図５は、実施形態に係る情報処理装置の構成例を示す図である。図６は、実施形態に係る環境設定に関する情報の一例を示す図である。図７は、実施形態に係る環境制御ポリシの一例を示す図である。図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［１．情報処理の概要］
以下、図面を参照しつつ、実施形態に係る情報処理の一例を説明する。図１は、実施形態に係る情報処理の一例を示す図である。なお、図１では、端末装置１０ｅｘの利用者の一例としてユーザＵｅｘを例示するが、実施形態に係る情報処理装置１００は、任意の数の端末装置および任意の数の利用者について、以下に説明する情報処理を並列して実行できる。

図１に示すように、実施形態に係る情報処理システム１は、端末装置１０ｅｘと、情報処理装置１００とを備える。端末装置１０ｅｘ及び情報処理装置１００は、インターネットなどのネットワークを通じて相互に通信できる。

端末装置１０ｅｘは、仮想空間を表示する情報処理装置である。例えば、端末装置１０ｅｘは、典型的には、ユーザＵｅｘが着脱可能に頭部に装着する眼鏡型や耳装着型のウェアラブルデバイスである。また、端末装置１０は、スマートフォンや、スマートウォッチや、タブレット端末や、パーソナルコンピュータなどの情報処理装置と、これらの情報処理装置と一体的に利用されるスマートイヤホン及びＡＲグラスなどの眼鏡型デバイスにより実現されてもよい。

端末装置１０ｅｘは、ユーザＵｅｘ又はユーザＵｅｘの周囲の現実空間に関する各種情報を取得する各種センサを備える。各種センサには、例えば、画像センサ（カメラ）や、音センサ（マイクロフォン）や、位置センサ（ＧＰＳ（Global Positioning System）ユニット）などが含まれる。画像センサ（カメラ）には、装着時にユーザＵｅｘの視線方向、すなわちユーザＵｅｘの視界を撮像するアウトカメラと、装着時にユーザＵｅｘの眼を撮像するインカメラとが含まれていてもよい。端末装置１０ｅｘにより取得される現実空間に関する各種情報には、ユーザＵｅｘの周辺環境を撮影した画像情報や、ユーザＵｅｘの周囲環境から入力される音声情報などが含まれる。

また、端末装置１０ｅｘは、ユーザＵｅｘからの操作入力を受け付ける。例えば、端末装置１０ｅｘは、各種キーやボタン、タッチセンサなどを含む。端末装置１０ｅｘは、例えば、ユーザＵｅｘから、仮想空間を利用する際の想定場面の選択操作の入力を受け付ける。

また、端末装置１０ｅｘは、各種情報を出力する。例えば、端末装置１０ｅｘは、表示デバイスやスピーカなどを含む。端末装置１０ｅｘは、情報処理装置１００から提供される仮想空間情報を表示デバイスやスピーカに展開してリアルタイムに表示する。

また、端末装置１０ｅｘは、各種情報を送信する。例えば、端末装置１０ｅｘは、ネットワークを通じて、ユーザＵｅｘの周囲の現実空間に関する各種情報を情報処理装置１００に送信する。

図１に示す情報処理装置１００は、端末装置１０ｅｘの利用者であるユーザＵｅｘに対して、仮想空間を提供するための情報処理を行う情報処理装置である。例えば、情報処理装置１００は、サーバ装置やクラウドシステムなどにより実現される。なお、以下に説明する情報処理装置１００の情報処理は、ＡＲ技術を利用した処理の一例を想定しているが、ＶＲ技術やＭＲ技術を利用した場合にも同様の情報処理を実現できる。

図１に示す情報処理装置１００は、端末装置１０ｅｘのユーザＵｅｘに仮想空間情報を提供する際、まず、ユーザＵｅｘにより選択された想定場面に対応付けられている環境設定に関する情報を環境設定記憶部１２１から読み出す（ステップＳ１１）。環境設定記憶部１２１には、仮想空間情報を利用する想定場面ごとに、端末装置１０ｅｘのユーザＵｅｘが予め指定した環境設定に関する情報が記憶される。環境設定に関する情報には、例えば、想定場面ごとの仮想空間の内容や、仮想空間において実行されるアプリケーションの情報などが含まれる。

環境設定の読み出し後、情報処理装置１００は、ユーザＵｅｘ及びユーザＵｅｘの周囲の現実空間に関する各種情報に基づいて、仮想空間に仮想情報を配置した仮想空間情報を生成する（ステップＳ１２）。例えば、情報処理装置１００は、端末装置１０ｅｘから受信する現実空間に関する各種情報から画像情報を取得する。また、情報処理装置１００は、画像情報を解析して、仮想空間上の所定の位置に配置した各種オブジェクト（仮想情報）の表示態様を変更し、現実空間に重畳させる仮想空間情報を生成する。仮想空間上に配置される各種オブジェクトには、環境設定に関する情報としてユーザＵｅｘにより指定された前景画像や、環境設定においてユーザＵｅｘにより指定されたアプリケーションのアイコン画像（たとえば、図２に示すアイコン画像ＧＺ参照）などが含まれ得る。

仮想空間情報の生成後、情報処理装置１００は、生成した仮想空間情報を端末装置１０ｅｘに提供する（ステップＳ１３）。

仮想空間情報の提供後、情報処理装置１００は、端末装置１０ｅｘにおける仮想空間の利用開始と同時に仮想空間を制御する（ステップＳ１４）。具体的には、情報処理装置１００は、端末装置１０ｅｘから受信する現実空間に関する各種情報に基づいて、現実空間における実時間の状況を認識する。また、情報処理装置１００は、環境制御ポリシ記憶部１２２に記憶されている環境制御ポリシに従って、現実空間における実時間の状況と、仮想空間を利用する際の想定場面に応じた仮想空間の内容との間の差を解消するように、仮想空間を即時に制御する。

図２を用いて、実施形態に係る仮想空間の制御の具体例について説明する。図２は、実施形態に係る仮想空間の制御の一例を模式的に示す図である。図２に示すように、仮想空間ＶＳには、ユーザＵｅｘが選択した想定場面に対応する環境設定に基づいて、管理アプリのアイコン画像ＧＺ_１や、ブラウザのアイコン画像ＧＺ_２や、メーラのアイコン画像ＧＺ_３などが導入される。各アイコン画像ＧＺは、ユーザＵｅｘにより操作可能に構成されてもよいし、通知音やバッチなどによる通知のみを行うように構成されてもよい。

また、図２に示すように、情報処理装置１００が認識する現実空間における実時間の状況には、人物ＯＢや、環境音ＳＤ_１及び環境音ＳＤ_２や、ユーザ関連音ＳＤ_３などが含まれている。人物ＯＢは、ユーザＵｅｘの周囲に存在し、ユーザＵｅｘが視認し得る人物である。例えば、ユーザＵｅｘがカフェにいる場合、カフェにいるユーザＵｅｘ以外の他のゲストやカフェの従業員などに該当する。環境音ＳＤ_１は、現実空間において検知される音のうち、人物ＯＢに関連する音に該当する。人物ＯＢに関連する音には、例えば、ユーザＵｅｘがカフェにいると仮定した場合、他のゲストの会話の声や電話の話し声などが含まれる。また、環境音ＳＤ_２は、現実空間において検出される音のうち、人物ＯＢ以外に関連する音（環境音ＳＤ_１以外の音）に該当する。人物ＯＢ以外に関連する音には、例えば、ユーザＵｅｘがカフェにいると仮定した場合、カフェに流れているＢＧＭや空調の音などが含まれる。また、ユーザ関連音ＳＤ_３は、現実空間において検出される音のうち、ユーザＵｅｘが利用するスマートフォンの着信音やアラーム音、ユーザが利用するパーソナルコンピュータのキーボード操作音やシステム音などのユーザＵｅｘの利用機器から出力される音や、ユーザの動作によって発生する音に該当する。

また、図２に示す例では、仮想空間ＶＳを利用する際の想定場面として「テレワーク」が選択されている。想定場面として「テレワーク」が選択されている場合、ユーザＵｅｘは、仮想空間ＶＳの内容として仕事に集中できる環境を望んでいるものと推察される。そこで、情報処理装置１００は、刻々と変化する現実空間における実時間の状況と、仮想空間ＶＳの内容との間の差を解消して、仕事に集中できる環境を継続してユーザＵｅｘに提供できるように、仮想空間ＶＳを制御する。

まず、情報処理装置１００は、仮想空間ＶＳを利用する際の想定場面に応じて、端末装置１０から取得するセンサ情報を仮想空間ＶＳに導入するかどうかを決定する。例えば、情報処理装置１００は、ユーザＵｅｘにより選択された想定場面に対応する環境設定に関する情報の内容と、想定場面に対応する環境制御ポリシの内容とに基づいて、端末装置１０から取得するセンサ情報を仮想空間ＶＳに導入するかどうかを決定できる。図３は、実施形態に係る環境設定に関する情報及び環境制御ポリシの概要を示す図である。

図３には、想定場面：「テレワーク」に対応する環境設定に関する情報の内容１２１ＣＦと、想定場面：「テレワーク」に対応する環境制御ポリシの内容１２２ＰＬが示されている。「テレワーク」に対応する環境制御ポリシは、想定場面として「テレワーク」を選択したユーザＵｅｘに対して、仕事に集中できる環境を継続して提供することを想定して予め規定される。

情報処理装置１００は、ユーザＵｅｘにより選択された想定場面が「テレワーク」である場合、「テレワーク」に対応する環境制御ポリシを参照し、端末装置１０ｅｘから受信した現実空間に関する各種情報に含まれる画像情報及び画像情報に紐づく音声情報（画像情報と同じタイミングで検知された音声情報）について、仮想空間ＶＳに導入するかどうかを決定する。

例えば、情報処理装置１００は、図３に示す環境制御ポリシに従って、現実空間に関する各種情報に含まれる画像情報のうち、ユーザＵｅｘの周囲に存在する人物ＯＢの画像については仮想空間ＶＳに導入しないことを決定する。例えば、情報処理装置１００は、仮想空間情報を生成する際、現実空間に関する各種情報に含まれる画像情報から、ユーザＵｅｘの周囲に存在する人物ＯＢの画像を消去する。これにより、ユーザＵｅｘが選択した想定場面である「テレワーク」の内容に即した情報のみを仮想的な環境に反映できる。つまり、情報処理装置１００は、ユーザＵｅｘが人影に煩わされることなく仕事に集中できる環境を提供できる。一方、情報処理装置１００は、ユーザＵｅｘの周囲に存在する人以外の物体については仮想空間に導入することを決定する。例えば、情報処理装置１００は、端末装置１０ｅｘに提供する仮想空間情報を生成する際、現実空間に関する各種情報に含まれる画像情報のうち、ユーザＵｅｘの周囲に存在する人以外の物体に対応する画像をそのまま残す。

また、情報処理装置１００は、図３に示す環境制御ポリシに従って、現実空間に関する各種情報に含まれる音声情報のうち、ユーザＵｅｘの周囲に存在する人物ＯＢに関連した音声である環境音ＳＤ_１を導入しないことを決定する。つまり、情報処理装置１００は、仮想空間ＶＳに導入しないことを決定した人物ＯＢの話し声などの音声のみが仮想空間ＶＳに導入されることにより、不自然な環境となってしまうことを回避する。例えば、情報処理装置１００は、端末装置１０ｅｘに提供する仮想空間情報を生成する際、現実空間に関する各種情報に含まれる音声情報のうち、環境音ＳＤ_１に対応する音声をマスキングする。

また、情報処理装置１００は、図３に示す環境制御ポリシに従って、現実空間に関する各種情報に含まれる音声情報のうち、ユーザＵｅｘの周囲に存在する人物ＯＢ以外に関連した音声である環境音ＳＤ_２を仮想空間ＶＳに導入することを決定する。導入に際し、情報処理装置１００は、「テレワーク」に対応付けられているユーザＵｅｘの環境設定の内容に応じて、環境音ＳＤ_２を加工又は変更する。例えば、情報処理装置１００は、環境音ＳＤ_２に含まれるＢＧＭが環境設定において指定された「ヒーリング／クラシック」に合致しない場合、情報処理装置１００は、環境音ＳＤ_２に含まれるＢＧＭが環境設定に合うように変更する。例えば、情報処理装置１００は、端末装置１０ｅｘに提供する仮想空間情報を生成する際、環境音ＳＤ_２に含まれるＢＧＭをマスキングして、環境設定に合致するコンテンツに差し替えてもよい。これにより、ユーザＵｅｘが望む仮想的な環境を継続的に提供できる。また、情報処理装置１００は、環境音ＳＤ_２の音量が騒音レベルである場合、環境音ＳＤ_２についてノイズリダクション処理を実行してもよい。これにより、仮想的な環境を快適な状態で提供できる。

また、情報処理装置１００は、図３に示す環境制御ポリシに従って、現実空間に関する各種情報に含まれる音声情報のうち、ユーザＵｅｘに関する音声であるユーザ関連音を仮想空間ＶＳに導入することを決定する。例えば、情報処理装置１００は、端末装置１０ｅｘに提供する仮想空間情報を生成する際、端末装置１０ｅｘから受信した音声情報のうち、ユーザ関連音に対応する音声をそのまま残す。

また、情報処理装置１００は、仮想空間ＶＳを利用する際の想定場面に応じて、仮想空間において実行されるアプリケーションの動作内容を制御する。例えば、情報処理装置１００は、図３に示す環境制御ポリシに従い、ブラウザでウェブページを表示する際、娯楽ページを非表示にする。また、情報処理装置１００は、メーラで電子メールの受信を通知する際、プライベイトメールと判断される電子メールの受信を非通知とする。これにより、ユーザＵｅｘが選択した想定場面の内容に即した仮想的な環境空間を提供できる。

また、情報処理装置１００は、上述した環境制御ポリシではなく、ニューラルネットワークなどを用いた機械学習により生成される学習済みモデルの出力結果を用いて、仮想空間情報の制御を実行してもよい。例えば、端末装置１０から取得した音声情報に含まれるＢＧＭが、ユーザＵにより選択された想定場面に合致するかどうかを推定する学習済みモデルを生成する例について説明する。

例えば、情報処理装置１００は、想定場面に紐づくユーザＵの状況を示す情報（例えば、加速度情報や位置情報、生体情報など）と、想定場面に合致する音声情報（例えば、楽曲コンテンツ）とを対応付けた学習用データをモデルに学習させる。また、情報処理装置１００は、該当モデルに、想定場面に紐づくユーザＵの状況を示す情報と、想定場面に合致しない音声情報とを対応付けた学習用データを学習させる。これにより、情報処理装置１００は、端末装置１０から取得したユーザＵの状況を示す情報及び音声情報を入力した場合、入力された音声情報がユーザＵにより選択された想定場面に合致する確信度と、合致しない確信度とをそれぞれ出力する学習済みモデルを生成する。なお、学習手法は任意の手法を採用でき、例えば、バックプロパゲーション（誤差逆伝播法）等の手法を用いることができる。例えば、情報処理装置１００は、学習処理により、ノード間で値が伝達する際に考慮される重み（すなわち、接続係数）の値を調整する。このように、情報処理装置１００は、モデルの出力と、入力に対応する正解（正解データ）との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション等の処理により、入力が想定場面に合致するか否かを推定する学習済みモデルを学習する。例えば、情報処理装置１００は、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことにより学習済みモデルを生成する。このようにして、情報処理装置１００は、学習済みモデルのパラメータを学習する学習処理を行うことができる。そして、情報処理装置１００は、端末装置１０から取得したユーザＵの状況を示す情報及び音声情報を学習済みモデルに入力し、学習済みモデルから出力される出力結果に基づいて、端末装置１０から取得した音声情報を仮想空間情報に導入するかどうかを決定する。例えば、情報処理装置１００は、学習済みモデルから出力される出力結果が「想定場面に合致する確信度＞閾値α、想定場面に合致しない確信度＜β」であることを条件に、端末装置１０から取得した音声情報を仮想空間情報に導入することを決定する。このように、情報処理装置１００は、ユーザＵにより選択された想定場面に合致するように、仮想空間情報を制御できる。

なお、モデルに学習させる学習用データは、環境設定において想定場面に対応付けられている前景画像の特徴を示す情報と、想定場面に合致する音声情報とを対応付けた学習用データであってもよい。また、モデルに学習させる学習用データは、環境設定において想定場面に対応付けられている前景画像の特徴を示す情報と、想定場面に合致しない音声情報とを対応付けた学習用データであってもよい。このように、情報処理装置１００は、端末装置１０のユーザＵが仮想空間において視認している画像に合致する音声情報を仮想空間に導入することにより、ユーザＵにより選択された想定場面に合致するように、仮想空間を制御できる。

また、情報処理装置１００は、仮想空間のコンテキストと、現実空間のコンテキストとの一致性を判断する学習済みモデルの出力結果に基づいて、仮想空間ＶＳに対して現実空間における実時間の状況、つまり端末装置１０から取得するセンサ情報を仮想空間ＶＳに導入するかどうかを決定してもよい。例えば、情報処理装置１００は、仮想空間の想定場面ごとに収集されたセンサ情報を用いて、想定場面に対応するセンサ情報が入力された場合に、モデルの出力するスコアが最大となるように、学習済みモデルの重み等のパラメータを学習する。学習手法について、上述した例と同様に任意の手法を用いることができる。そして、情報処理装置１００は、端末装置１０から取得したセンサ情報を学習済みモデルに入力し、出力されたスコアに基づいて、端末装置１０から取得するセンサ情報を仮想空間ＶＳに導入するかどうかを逐次決定できる。これにより、情報処理装置１００は、ユーザＵがカフェなどの店舗で仮想空間ＶＳを利用中に、ユーザＵの周囲から消去している他の客が電話し始めた場合に、消去している他の客の話し声が仮想空間ＶＳに導入されないように制御できる。

また、上述の環境制御ポリシは、機械学習により自動的に生成されてもよい。具体的には、情報処理装置１００は、各想定画面におけるユーザＵ自らによる調整と、そのときのコンテキストとに基づいて、想定場面に対応する理想的な環境との差を埋めるように予め学習された環境制御ポリシを用いてもよい。例えば、情報処理装置１００は、想定場面が「テレワーク」であれば、「テレワーク」に対応した理想的な環境との差を全て埋めるような環境制御ポリシを用いてもよい。さらに、環境制御ポリシは、想定場面に紐づく条件ごとに、想定場面に対応する理想的な環境との差を埋めるように予め学習されていてもよい。例えば、環境制御ポリシは、想定場面が「テレワーク」であり、かつ騒がしいカフェでのテレワークであるのか、座席が密なカフェでのテレワークであるのか、店舗Ａでのテレワークであるのか、公園でのテレワークであるのか、図書館でのテレワークであるのかなどの条件ごとに理想的な環境との差を埋めるように予め学習されていてもよい。また、上述した環境制御ポリシは、システム運用当初は、システム管理者により設定されたものを利用し、ユーザＵによる仮想空間ＶＳに対する調整などのフィードバックなどを含む学習用データの蓄積後に学習処理によって自動的に生成されてもよい。

［２．システム構成］
図４を用いて、実施形態に係る情報処理装置１００を備える情報処理システム１の構成例について説明する。図４は、実施形態に係る情報処理システムの構成例を示す図である。なお、図４は、実施形態に係る情報処理システム１の構成を例示するものであり、図４に示す形態に限られず、図４に示す例よりも多くの装置を含む形態であってもよい。

図４に示すように、実施形態に係る情報処理システム１は、複数の端末装置１０と、情報処理装置１００とを含む。複数の端末装置１０及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮに接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。複数の端末装置１０及び情報処理装置１００は、ネットワークＮを通じて相互に通信できる。

端末装置１０は、コンテンツの表示および音声出力が可能な情報処理装置である。例えば、端末装置１０は、端末装置１０のユーザＵが頭部に装着して利用するＨＭＤ（Head Mounted Display）やＡＲグラスなどのウェアラブルデバイスにより実現できる。なお、端末装置１０は、ＨＭＤ（Head Mounted Display）やＡＲグラスなどのウェアラブルデバイスと、スマートフォンや、デスクトップ型や、ノート型や、タブレット型の各種ＰＣ（Personal Computer）や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）などの任意の情報処理装置と、各情報処理装置を機能的にサポートするスマートイヤホンやスマートウォッチなどのウェアラブルデバイスとの組合せで構成されてもよい。

また、端末装置１０は、ユーザＵｅｘ又はユーザＵｅｘの周囲の現実空間に関する各種情報を取得する各種センサを備える。各種センサは、画像センサや、音センサや、位置センサや、ジャイロセンサや、加速度センサや、方位センサや、生体センサなどを含んでよい。

また、画像センサは、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズなどにより構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイなどを各々有する。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイにより実現されてもよい。なお、画像センサは、現実空間におけるユーザＵの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。

音センサは、ユーザＵの音声やユーザＵ周囲の環境音を収音し、音声データとして出力する。ジャイロセンサは、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。加速度センサは、例えば３軸加速度センサにより実現され、端末装置１０（ユーザＵｅｘ）の移動時の加速度を検出する。方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。

位置センサは、外部からの取得信号に基づいて、端末装置１０の現在位置を検出する。例えば位置センサは、ＧＰＳ（Global Positioning System）ユニットより実現され得る。この場合、位置センサは、ＧＰＳ衛星から受信する電波信号に基づいて、端末装置１０が存在している現在位置を演算し、端末装置１０の現在位置を割り出す。また、位置センサは、例えば通信を行っている基地局の位置情報や、Ｗｉ－Ｆｉ（登録商標）（Wireless Fidelity）の電波を用いて端末装置１０の現在位置を割り出すものであってもよい。

生体センサは、ユーザＵの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度）などを検知し得る。

また、端末装置１０は、仮想空間を表示部に表示するための各種処理機能を備える。例えば、端末装置１０は、ＡＲ端末である場合、情報処理装置１００から受信する仮想情報（仮想オブジェクト）を透過型の表示部に表示して現実空間に重畳して見えるよう制御するための機能を備えることができる。また、端末装置１０は、各種センサにより取得されたユーザＵ、及びユーザＵの周囲の現実空間に関する情報を情報処理装置１００に送信するための機能を備えることができる。また、端末装置１０は、ユーザＵに関する情報として、仮想情報として情報処理装置１００から提供される各種アプリケーションに対応するアイコン画像ＧＺに対する操作情報を情報処理装置１００に送信できる。

情報処理装置１００は、端末装置１０の利用者であるユーザＵに対して、ユーザＵの周囲の現実空間を撮影した画像情報に仮想情報を融合させた仮想空間を提供するための情報処理を行う情報処理装置である。また、情報処理装置１００は、端末装置１０のユーザＵからの要求に応じて、仮想空間上で利用可能な各種アプリケーションの情報を管理する。例えば、情報処理装置１００は、サーバ装置やクラウドシステムなどにより実現される。

［３．情報処理装置の構成］
図５を用いて、実施形態に係る情報処理装置１００の構成について説明する。図５は、実施形態に係る情報処理装置の構成例を示す図である。

図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図５は、情報処理装置１００の構成例を示すものであり、図５に示す形態には限られず、図５に示す以外の他の機能部を備える形態であってもよい。

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

通信部１１０は、端末装置１０からセンサ情報を受信する。センサ情報には、ユーザＵの周囲を撮影した画像情報や画像情報に紐づく音声情報（画像情報と同時に取得された音声情報）が含まれる。通信部１１０は、情報処理装置１００から送信された仮想空間情報を取得する。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。図５に示すように、記憶部１２０は、環境設定記憶部１２１と、環境制御ポリシ記憶部１２２とを有する。なお、記憶部１２０は、図５に示す以外の記憶部を有していてもよい。例えば、記憶部１２０は、音声コンテンツや楽曲コンテンツを記憶するコンテンツ記憶部を有していてもよい。

（環境設定記憶部１２１）
環境設定記憶部１２１は、仮想空間を利用する際の想定場面ごとに、端末装置１０のユーザＵが予め指定した環境設定に関する情報を記憶する。図６は、実施形態に係る環境設定に関する情報の一例を示す図である。なお、図６は、環境設定記憶部１２１に記憶される環境設定に関する情報の概要を示すものであり、図６に示すような形態で構成されていなくてもよい。例えば、図６に示す例では、環境設定記憶部１２１は、ユーザごとに想定場面に応じた環境設定を有するが、各ユーザに共通の環境設定に関する情報を有してもよい。

図６に示すように、環境設定記憶部１２１に記憶される環境設定に関する情報は、「ユーザＩＤ」の項目や、「想定場面」の項目や、「前景画像」の項目や、「ＢＧＭ」の項目や、「アプリケーション」の項目を有する。環境設定に関する情報において、これらの項目は相互に対応付けられている。

「ユーザＩＤ」の項目には、端末装置１０のユーザＵを識別するための識別情報を記憶する。「ユーザＩＤ」の項目に記憶される識別情報は、例えば、仮想空間を利用するためのユーザ登録の際などに情報処理装置１００により各ユーザに固有の識別情報が自動的に割り振られてもよいし、ユーザＵにより手動で設定されてもよい。

「想定場面」の項目には、仮想空間を利用する際の想定場面（利用シーン）を特定するための情報が記憶される。「想定場面」の項目に記憶される想定場面を特定するための情報は、例えば、仮想空間を利用するためのユーザ登録の際などに、情報処理装置１００が提供するリストの中からユーザＵにより選択された情報を記憶できる。なお、リストにない想定場面をユーザＵが希望する場合、想定場面を特定するための情報の入力をユーザＵから受け付けてもよい。

「前景画像」の項目には、仮想空間を利用する際にユーザＵの前景として仮想空間に導入する画像に関する情報が記憶される。「前景画像」の項目に記憶される前景画像を特定するための情報は、例えば、仮想空間を利用するためのユーザ登録の際などに、情報処理装置１００が提供するリストの中からユーザＵにより選択された情報を記憶できる。なお、リストにない前景画像をユーザＵが希望する場合、前景画像を特定する情報の入力、及び対応する画像ファイルのアップロードをユーザＵから受け付けてもよい。

「ＢＧＭ」の項目には、仮想空間を利用する際にユーザＵがＢＧＭとして希望する楽曲コンテンツの種類を特定するための情報が記憶される。「ＢＧＭ」の項目に記憶される楽曲コンテンツの種類を特定するための情報は、例えば、仮想空間情報を利用するためのユーザ登録の際などに、情報処理装置１００が提供するリストの中からユーザＵにより選択された情報を記憶できる。

「アプリケーション」の項目には、仮想空間を利用する際にユーザＵが仮想空間上で利用することを希望するアプリケーションの種類を特定するための情報が記憶される。

（環境制御ポリシ記憶部１２２）
環境制御ポリシ記憶部１２２は、仮想空間の制御する際に参照される環境制御ポリシを記憶する。図７は、実施形態に係る環境制御ポリシの一例を示す図である。なお、図７は、環境制御ポリシ記憶部１２２に記憶される環境制御ポリシの概要を示すものであり、図７に示すような形態で構成されていなくてもよい。

図７に示すように、環境制御ポリシ記憶部１２２に記憶される環境制御ポリシは、「想定場面」の項目と、「画像」の項目と、「音声」の項目と、「アプリケーション」の項目とを有する。環境制御ポリシにおいて、これらの項目は相互に対応付けられている。

「想定場面」の項目には、仮想空間を利用する際の想定場面（利用シーン）を特定するための情報が記憶される。「想定場面」の項目に記憶される情報は、上述した環境設定に関する情報（図６参照）が有する「想定場面」の項目に記憶される情報に対応する。

「画像」の項目には、端末装置１０から受信するセンサ情報に含まれる画像情報を仮想空間情報に導入するかどうかを示す情報が記憶される。図７に示す例では、「画像」の項目は、「人」の小項目と、「人以外」の小項目とにさらに区分されており、各小項目に対して画像情報を仮想空間に導入するかどうかを示す情報が記憶されている。

「音声」の項目には、端末装置１０から受信するセンサ情報に含まれる音声情報を仮想空間に導入するかどうかを示す情報が記憶される。図７に示す例では、「音声」の項目は、「環境音ＳＤ_１（人関連）」の小項目と、「環境音ＳＤ_２（人以外に関連）」の小項目と、「ユーザ関連音」の小項目にさらに区分されており、各小項目に対して音声情報を仮想空間に導入するかどうかを示す情報が記憶されている。また、図７に示す例では、「音声」の項目が有する小項目のうち、「環境音ＳＤ_２（人以外に関連）」の小項目には、一定の条件下で導入という情報が記憶されている。また、図７に示す例では、一定の条件としては、ＢＧＭは環境設定に応じて加工する点や、音量が騒音レベルである場合、ノイズリダクション処理を実行する点が記憶されている。騒音レベルとは、一般的に、不特定多数の人が騒音と感じるレベルの音量であれば任意の音量を採用できる。

「アプリケーション」の項目には、仮想空間上でユーザＵが利用可能なアプリケーションの動作内容の制限に関する情報が記憶される。図７に示す例では、想定場面がテレワークである場合、ブラウザを利用してウェブページを表示する際、娯楽ページを非表示にする点や、メーラにより電子メールの受信を通知する際、プライベイトメールの受信を非通知とする点が記憶されている。

（制御部１３０）
図５に戻り、制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。

図５に示すように、制御部１３０は、提供部１３１と、認識部１３２と、環境制御部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。例えば、制御部１３０は、端末装置１０からセンサ情報を取得する取得部を備えてもよい。また、制御部１３０が有する各部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。

（提供部１３１）
提供部１３１は、ユーザＵ及びユーザＵの周囲の現実空間に関する情報に基づいて、仮想空間上に仮想情報を配置した仮想空間情報（例えば、ＡＲコンテンツやＭＲコンテンツなど）をユーザＵに提供する。

具体的には、提供部１３１は、通信部１１０を通じて、仮想空間の利用要求を取得する。利用要求には、端末装置１０のユーザＵを識別するためのユーザＩＤと、ユーザＵにより選択された想定場面を特定するための情報と、ユーザＵ及びユーザＵの周囲の現実空間に関する各種情報とが含まれる。

また、提供部１３１は、利用要求に含まれるユーザＩＤ及び想定場面を特定するための情報をキーとして、ユーザＵにより選択された想定場面に対応付けられている環境設定に関する情報を環境設定記憶部１２１から読み出す。また、提供部１３１は、読み出した環境設定と、ユーザＵ及びユーザＵの周囲の現実空間に関する情報とに基づいて、仮想空間上に仮想情報を配置した仮想空間情報を生成する。例えば、提供部１３１は、端末装置１０ｅｘから受信する現実空間に関する各種情報から、画像情報や、位置情報や、距離情報などを取得する。また、情報処理装置１００は、現実空間の画像における物体の位置や形などに応じて、仮想空間上の所定の位置に配置した各種オブジェクト（仮想情報）の表示態様を変更することにより、仮想空間情報を生成する。仮想空間上に配置される各種オブジェクトには、環境設定に関する情報としてユーザＵｅｘにより指定された前景画像や、環境設定においてユーザＵｅｘにより指定されたアプリケーションにアイコン画像などが含まれ得る。提供部１３１は、生成した仮想空間情報を、通信部１１０を通じて端末装置１０に送信することにより、ユーザＵに提供する。

（認識部１３２）
認識部１３２は、端末装置１０における仮想空間の利用開始と同時に、ユーザＵ及びユーザＵの周囲の現実空間に関する各種情報に基づいて、現実空間における実時間の状況を認識する。具体的には、認識部１３２は、通信部１１０を通じて、端末装置１０から取得したユーザＵの周囲の現実空間に関する各種情報に含まれる画像情報を解析して、端末装置１０のユーザＵｅｘの周囲に存在する物体を認識する。また、認識部１３２は、通信部１１０を通じて、端末装置１０から取得したユーザＵの周囲の現実空間に関する各種情報に含まれる音声情報を解析して、音声情報に含まれる環境音やユーザ関連音などを認識する。

（空間制御部１３３）
空間制御部１３３は、端末装置１０における仮想空間の利用開始と同時に仮想空間を制御する。具体的には、空間制御部１３３は、現実空間における実時間の状況と、仮想空間を利用する際の想定場面に応じた仮想空間の内容との間の差を解消するように、仮想空間を即時に制御する（上述の図１～図４など参照）。

［４．処理手順］
以下、図８を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図８に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図８に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

図８に示すように、提供部１３１は、端末装置１０のユーザＵ及びユーザＵの周囲の現実空間に関する各種情報に基づいて、仮想空間上に仮想情報を配置した仮想空間情報（ステップＳ１０１）。

また、認識部１３２は、端末装置１０における仮想空間の利用開始と同時に、ユーザＵの周囲の現実空間に関する各種情報に基づいて、現実空間における実時間の状況を認識する（ステップＳ１０２）。

また、空間制御部１３３は、認識部１３２により認識された現実空間における実時間の状況と、仮想空間を利用する際の想定場面に応じた仮想空間の内容との間の差を解消するように、仮想空間を即時に制御する（ステップＳ１０３）。

［５．ハードウェア構成］
実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを格納する。通信インターフェイス１５００は、ネットワーク（通信網）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、ネットワーク（通信網）Ｎを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタなどの出力装置、及び、キーボードやマウスなどの入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）などの光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、ネットワーク（通信網）Ｎを介してこれらのプログラムを取得してもよい。

［６．その他］
上述した実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

上述の実施形態及び変形例において、情報処理装置１００による情報処理方法（図８参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（提供部１３１、認識部１３２、及び空間制御部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の情報処理プログラムとして柔軟に記述することにより実現されてもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［７．効果］
上述の実施形態に係る情報処理装置１００は、提供部１３１と、認識部１３２と、空間制御部１３３とを備える。提供部１３１は、ユーザ及びユーザの周囲の現実空間に関する各種情報に基づいて、仮想空間に仮想情報を配置した仮想空間情報をユーザに提供する。認識部１３２は、現実空間に関する各種情報に基づいて、現実空間における実時間の状況を認識する。空間制御部１３３は、認識部１３２により認識された現実空間における実時間の状況と、仮想空間を利用する際の想定場面に応じた仮想空間の内容との間の差を解消するように、仮想空間を制御する。

このように、実施形態に係る情報処理装置１００は、利用者が望む仮想的な環境を提供できる。

また、実施形態に係る情報処理装置１００において、空間制御部１３３は、仮想空間を利用する際の想定場面に応じて、現実空間に関する各種情報を仮想空間に導入するかどうかを決定する。これにより、実施形態に係る情報処理装置１００は、利用者が選択した想定場面に即した情報のみを仮想的な環境に反映できる。

また、実施形態に係る情報処理装置１００において、空間制御部１３３は、現実世界に関する各種情報を仮想空間に導入する場合、想定場面に対応する環境設定の内容に応じて、現実空間に関する各種情報を加工又は変更する。これにより、実施形態に係る情報処理装置１００は、想定場面において利用者が望む仮想的な環境を継続的に提供できる。

また、実施形態に係る情報処理装置１００において、空間制御部１３３は、想定場面に応じて、仮想空間において実行されるアプリケーションの動作内容を制御する。これにより、実施形態に係る情報処理装置１００は、利用者が選択した想定場面の内容に即した仮想的な環境を利用者に提供できる。

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

１００情報処理装置
１１０通信部
１２０記憶部
１２１環境設定記憶部
１２２環境制御ポリシ記憶部
１３０制御部
１３１提供部
１３２認識部
１３３空間制御部

Claims

ユーザ及び当該ユーザの周囲の現実空間に関する各種情報に基づいて、仮想空間を利用する際の想定場面ごとに前記ユーザにより予め指定された環境設定に関する情報に基づいて前記仮想空間に導入される各種オブジェクトを含む仮想情報を前記仮想空間の所定の位置に配置した仮想空間情報をユーザに提供する提供部と、
前記現実空間に関する各種情報に基づいて、前記現実空間における実時間の状況を認識する認識部と、
前記認識部により認識された前記現実空間における実時間の状況と、前記想定場面に応じた前記仮想空間の内容との間の差を解消するように、前記仮想空間を制御する空間制御部と
を備え、
前記空間制御部は、
前記想定場面ごとに予め規定される環境制御ポリシに基づいて、前記現実空間に関する各種情報として前記ユーザが使用する端末装置から受信する画像情報および当該画像情報に紐付く音声情報を、前記仮想空間に導入するか否かを決定する
情報処理装置。
前記空間制御部は、
前記環境制御ポリシに従って、前記端末装置から受信する画像情報のうち、前記ユーザの周囲に存在する人の画像、及び人以外の画像について前記仮想空間に導入するか否かを決定する
請求項１に記載の情報処理装置。
前記空間制御部は、
前記環境制御ポリシに従って、前記端末装置から受信する音声情報のうち、前記ユーザの周囲に存在する人に関連した音声である第１の環境音、前記ユーザの周囲に存在する人以外に関連した音声である第２の環境音、及び前記ユーザに関する音声であるユーザ関連音を前記仮想空間に導入するか否かを決定する
ことを特徴とする請求項２に記載の情報処理装置。
前記空間制御部は、
前記現実空間に関する各種情報を前記仮想空間に導入する場合、前記想定場面に対応する環境設定の内容に応じて、前記現実空間に関する各種情報を加工又は変更する
請求項１～３のいずれか１つに記載の情報処理装置。
前記空間制御部は、
前記想定場面に応じて、前記仮想空間において実行されるアプリケーションの動作内容を制御する
請求項１～３のいずれか１つに記載の情報処理装置。
コンピュータが実行する情報処理方法であって、
ユーザ及び当該ユーザの周囲の現実空間に関する各種情報に基づいて、仮想空間を利用する際の想定場面ごとに前記ユーザにより予め指定された環境設定に関する情報に基づいて前記仮想空間に導入される各種オブジェクトを含む仮想情報を前記仮想空間の所定の位置に配置した仮想空間情報をユーザに提供する提供工程と、
前記現実空間に関する各種情報に基づいて、前記現実空間における実時間の状況を認識する認識工程と、
前記認識工程により認識された前記現実空間における実時間の状況と、前記想定場面に応じた前記仮想空間の内容との間の差を解消するように、前記仮想空間を制御する空間制御工程と
を含み、
前記空間制御工程は、
前記想定場面ごとに予め規定される環境制御ポリシに基づいて、前記現実空間に関する各種情報として前記ユーザが使用する端末装置から受信する画像情報および当該画像情報に紐付く音声情報を、前記仮想空間に導入するか否かを決定する
情報処理方法。
コンピュータに、
ユーザ及び当該ユーザの周囲の現実空間に関する各種情報に基づいて、仮想空間を利用する際の想定場面ごとに前記ユーザにより予め指定された環境設定に関する情報に基づいて前記仮想空間に導入される各種オブジェクトを含む仮想情報を前記仮想空間の所定の位置に配置した仮想空間情報をユーザに提供する提供手順と、
前記現実空間に関する各種情報に基づいて、前記現実空間における実時間の状況を認識する認識手順と、
前記認識手順により認識された前記現実空間における実時間の状況と、前記想定場面に応じた前記仮想空間の内容との間の差を解消するように、前記仮想空間を制御する空間制御手順と
を実行させ、
前記空間制御手順は、
前記想定場面ごとに予め規定される環境制御ポリシに基づいて、前記現実空間に関する各種情報として前記ユーザが使用する端末装置から受信する画像情報および当該画像情報に紐付く音声情報を、前記仮想空間に導入するか否かを決定する
情報処理プログラム。