JPWO2020116179A1 - 情報処理装置および方法 - Google Patents

Abstract

本技術は、最適な通信路を確保することができるようにする情報処理装置および方法に関する。
情報処理装置は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、通信路の遮蔽が検出された場合、遮蔽が生じない位置への再生装置の移動量を計算する移動計算部と、移動量に基づいてコンテンツデータの生成を制御する制御部とを備える。本技術はコンソールに適用することができる。

Description

本技術は、情報処理装置および方法に関し、特に、最適な通信路を確保することができるようにした情報処理装置および方法に関する。

近年、ハイエンドパーソナルコンピュータやゲーム機器などのコンソールでレンダリングされた映像をHMD（Head Mounted Display）へと伝送するVR（Virtual Reality）システムにおいて、通信路（伝送路）をケーブルレス化したものが出現してきた。

そのようなVRシステムの多くでは、高伝送レートを実現できるように、従来から用いられているWLAN（Wireless Local Area Network）などにおける場合よりも高い周波数帯域が利用される。具体例としてはWiGigやWirelessHDなどのようなミリ波帯を用いるものや、5G通信を用いるものが知られている。

ところで、5G通信やミリ波による通信などといった高周波帯の無線通信はWLANなどの比較的低周波利用のものと比べて信号の直進性が強く、遮蔽に弱いことが知られている。

そのため、コンソールなどの送信機と、HMDなどの受信機との間に障害物や人物などによる遮蔽が生じると、通信環境の悪化により映像情報や音声情報が正しく伝わりにくくなる。そうすると、伝送エラーに起因する映像や音声の品質低下、伝送遅延などが生じ、ユーザ体験が低下してしまうことになる。

そこで、コンソールに付随するカメラから取得した情報を用いて障害物の位置を検出し、その検出結果に基づいて通信路選択を行うことで、映像情報や音声情報の伝送エラーを抑制する技術が提案されている（例えば、特許文献１参照）。

国際公開第２０１７／０９９０７７号

しかしながら、上述した技術では最適な通信路を確保することが困難であった。

すなわち、本来であれば、なるべく送信機から受信機までを直線で結んだ経路で通信したいが、上述した技術では通信路が遮蔽（遮断）されたときに次善の通信路が選択される。このようにして選択された次善の通信路においては、送信機から受信機までを直線的に結ぶ通信路と比較して伝送エラーや伝送遅延が発生しやすいこともあり、ユーザ体験の低下が生じてしまう場合がある。

本技術は、このような状況に鑑みてなされたものであり、最適な通信路を確保することができるようにするものである。

本技術の第１の側面の情報処理装置は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、前記移動量に基づいて前記コンテンツデータの生成を制御する制御部とを備える。

本技術の第１の側面の情報処理方法は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、前記移動量に基づいて前記コンテンツデータの生成を制御するステップを含む。

本技術の第１の側面においては、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽が検出され、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量が計算され、前記移動量に基づいて前記コンテンツデータの生成が制御される。

本技術の第２の側面の情報処理装置は、コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部とを備える。

本技術の第２の側面の情報処理方法は、コンテンツデータに基づいてコンテンツを再生する情報処理装置が、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、無線通信により前記移動量を前記他の情報処理装置に送信するステップを含む。

本技術の第２の側面においては、コンテンツデータに基づいてコンテンツを再生する情報処理装置により、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽が検出され、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量が計算され、無線通信により前記移動量が前記他の情報処理装置に送信される。

通信路の遮蔽と切り替えについて説明する図である。 最適な通信路の確保について説明する図である。 最適な通信路の確保について説明する図である。 VRコンテンツ再生システムの構成例を示す図である。 コンソールの構成例を示す図である。 コンテンツ送信処理を説明するフローチャートである。 HMDの移動量の算出について説明する図である。 HMDの移動量の算出について説明する図である。 HMDの構成例を示す図である。 コンテンツ再生処理を説明するフローチャートである。 移動量送信処理を説明するフローチャートである。 HMDの移動量の算出について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、コンテンツを再生する再生装置と、その再生装置にコンテンツデータを送信する情報処理装置とからなるシステムにおいて、通信路の遮蔽状況に応じて仮想空間内におけるユーザの位置を変更（補正）し、変更後の位置に基づいてコンテンツデータを生成することで最適な通信路を確保できるようにするものである。

本技術は、無線通信によりコンテンツデータの授受を行ってコンテンツを再生するシステムであれば、どのようなシステムにも適用可能であるが、以下では例としてVRコンテンツを再生するVRコンテンツ再生システムに本技術を適用する場合について説明する。

本技術を適用したVRコンテンツ再生システムは、例えば送信機として機能するコンソールと、受信機として機能するHMDとからなる。

VRコンテンツ再生システムでは、VRコンテンツ（以下、単にコンテンツと称する）を再生するためのコンテンツデータが無線通信によりコンソールからHMDへと伝送され、HMDにおいてコンテンツデータに基づくコンテンツの再生が行われる。HMDを装着しているユーザは、HMDにより再生されるコンテンツを視聴する。

その他、HMDからコンソールには、コンテンツにより再現される仮想的な空間内におけるユーザの位置および姿勢を示す位置姿勢情報が必要に応じて伝送される。

ここで、コンテンツデータは、コンテンツの映像を再生（表示）させるための映像情報（ビデオデータ）と、その映像に付随する音声を再生させるための音声情報（オーディオデータ）とからなる。なお、コンテンツは映像と音声の何れか一方のみから構成されてもよい。すなわち、コンテンツデータは映像情報と音声情報の少なくとも何れか一方により構成されていればよい。

また、コンテンツ再生時には映像情報に基づいて仮想的な空間の映像がコンテンツの映像として表示される。以下では、コンソールやHMDが実際に存在する空間を実空間とも称し、コンテンツにより再現される仮想的な空間を仮想空間とも称することとする。

映像情報に基づく映像は、HMDを装着するユーザの仮想空間内における位置および姿勢を示す位置姿勢情報に応じて変化する。換言すれば、映像情報に基づく映像は、仮想空間内にいるユーザが位置姿勢情報により示される位置および姿勢である状態において見ている仮想空間の映像（画像）とされる。また、音声情報に基づく音声は、仮想空間内にいるユーザが位置姿勢情報により示される位置および姿勢である状態において聞いている仮想空間の音である。

仮想空間におけるユーザの位置および姿勢を示す位置姿勢情報は、実空間におけるユーザ（HMD）の位置および姿勢の計測結果から得ることができる。実空間においてユーザが位置や姿勢を変化させると、それに連動して仮想空間におけるユーザの位置や姿勢も変化する。

すなわち、仮想空間の位置姿勢情報は、仮想空間内の基準となる位置を原点とする仮想空間座標系におけるユーザの位置および姿勢を示す情報である。これに対して、HMD側において実際に計測されるのは、実空間内の基準となる位置を原点とする実空間座標系におけるユーザの位置および姿勢を示す情報である。

これらの仮想空間座標系と実空間座標系との対応関係は予め定められているため、実空間におけるユーザの位置および姿勢を示す情報を仮想空間の位置姿勢情報へと変換することが可能である。なお、実空間におけるユーザ（HMD）の位置および姿勢を示す位置姿勢情報がコンソールへと送信され、コンソールにおいて実空間の位置姿勢情報が仮想空間の位置姿勢情報へと変換されてもよい。

また、以下ではコンテンツデータが位置姿勢情報に基づいて生成される例について説明するが、コンテンツデータは、ユーザの姿勢を示す情報は用いずに、仮想空間内におけるユーザの位置を示す位置情報のみから生成されるようにしてもよい。

VRコンテンツ再生システムでは、無線通信によりコンテンツデータを伝送する通信路の遮蔽が検出されると、その検出結果に応じて仮想空間とユーザとの相対的な位置関係が補正されるように、つまり仮想空間内におけるユーザの位置が補正されるように、ユーザの位置姿勢情報が更新される。換言すれば、実際のユーザの動きとは別に仮想空間内におけるユーザの位置が遮蔽の検出結果に応じて移動されるように位置姿勢情報が更新される。

このようにすることで、VRコンテンツ再生システムにおいてはリダイレクションと呼ばれている現象が利用されて、コンソールとHMDとの間の最適な通信路が確保される。リダイレクションとは、人間は視覚をはじめとする五感による情報の影響が大きいため、知覚的な移動量と実際の物理的な移動量は一致しないという現象である。

ここで、本技術によるリダイレクションを利用した最適な通信路の確保について、より具体的に説明する。

例えば図１の矢印Q11に示すように、実空間にコンソール１１とHMD１２とが存在しており、コンソール１１からHMD１２へとコンテンツデータが伝送されるとする。

この場合、コンソール１１とHMD１２とを直線的に結ぶ矢印W11により表される通信路（通信経路）が最適な通信路となり、この通信路によりコンテンツデータを伝送するときに、コンテンツデータの伝送エラーや伝送遅延が最も少なくなるはずである。

しかし、例えば矢印Q12に示すようにコンソール１１とHMD１２との間に遮蔽物１３があると、矢印Q11に示した最適な通信路が遮蔽物１３によって遮蔽されてしまい、通信環境が悪化してしまう。すなわち、伝送エラーや伝送遅延が生じてしまう可能性がある。

そこで、このような通信路の遮蔽が検出された場合には、例えば矢印Q13に示すように遮蔽物１３により遮蔽されない次善の通信路を探索し、その次善の通信路へとコンテンツデータを伝送するための通信路を切り替えることが考えられる。

この例では、矢印W12に示すようにコンソール１１から出力された無線信号が室内の壁等で反射されてHMD１２へと到達する通信路が次善の通信路の探索結果として得られており、この矢印W12に示す通信路への切り替えが行われる。

しかし、矢印W12に示す通信路での伝送では、矢印Q11に示した最適な通信路での伝送と比較すると伝送エラーや伝送遅延が生じる可能性が高い。

したがって、できるだけコンソール１１とHMD１２とを結ぶ直線を経路として有する通信路を確保することが望まれる。

そこで、本技術では受信機であるHMDが自由に移動可能なユーザの頭部に装着されることに着目し、遮蔽物による遮蔽を避けることができる位置へとユーザを無意識に移動させることで、常に最適な通信路を確保することができるようにする。これにより、コンテンツデータの伝送エラーや伝送遅延を抑制し、ユーザ体験の低下を抑制することができるようになる。

具体的には、図２の矢印Q21に示すように、実空間にコンソール１１とHMD１２とが存在しており、コンソール１１からHMD１２へとコンテンツデータが伝送されるとする。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

この場合、図１における場合と同様に、矢印W11により表される通信路が最適な通信路となる。このような状態から、例えば矢印Q22に示すように遮蔽物１３によって通信路が遮蔽されてしまう状態となるとする。すなわち、遮蔽物１３による通信路の遮蔽が検出されたとする。

すると、本技術では矢印Q23に示すように遮蔽の検出結果に応じて、通信路の遮蔽が生じない位置へのHMD１２の移動量が求められ、その移動量の分だけHMD１２、すなわちユーザが移動するように位置姿勢情報が更新される。ここでは、矢印M11が実空間における移動量を表しており、この移動量に応じて位置姿勢情報が更新される。

そして、更新後の位置姿勢情報に基づいてコンテンツデータが生成され、そのコンテンツデータに基づいてコンテンツが再生されると、HMD１２を装着したユーザは無意識に矢印M11により示される移動量だけ移動する。換言すれば、コンテンツの再生によって、HMD１２を装着したユーザは、特に意識することなく、通信路の遮蔽が生じない適切な位置へと誘導される。

その結果、コンソール１１とHMD１２とを直線的に結ぶ矢印W21により示される通信路は、遮蔽物１３により遮蔽されなくなり、特別な設備等を設けることなく簡単に最適な通信路が確保される。

上述したように、位置姿勢情報を更新することによりユーザを無意識に移動させるのには、リダイレクションと呼ばれる現象が利用されている。

具体的には、例えば図３の矢印Q31に示すように、仮想空間内の道をユーザU11が歩くようなユーザ体験を提供するコンテンツがあるとする。このとき、ユーザU11は道の中央のラインL11に沿って前方に歩いていくように体を動かしており、このタイミングではユーザU11は道の中央のラインL11の位置を歩いている。

そのような状態で図２の矢印Q22に示したように通信路が遮蔽されたとする。この場合、図２の矢印Q23に示した例と同様に、実空間内でユーザU11から見て右側に所定の移動量だけユーザU11が移動すれば通信路が遮蔽されなくなるとすると、その移動量に対応する分だけ位置姿勢情報により示される位置が移動（変更）される。

具体的には、更新前の仮想空間内におけるユーザU11の位置を、実空間内での移動量に対応する仮想空間内での移動量の分だけユーザU11から見て左側に移動させた位置が、更新後の仮想空間内におけるユーザU11の位置となるように位置姿勢情報が更新される。

このようにして位置姿勢情報が更新されると、更新後の位置姿勢情報に基づいてコンテンツデータが生成され、矢印Q32に示す映像がコンテンツの映像として表示される。この例では、仮想空間内においてユーザU11の位置は、矢印Q31に示したタイミングにおける場合よりもわずかに左側にずれている。すなわち、ユーザU11は道の中央のラインL11から図中、左側にずれた位置を歩いている状態となる。

この例では、ユーザU11はラインL11に沿って歩くことにしているので、矢印Q32に示す映像が提示されると、その後、矢印Q33に示すようにユーザは無意識のうちにラインL11へと寄っていくように体を動かす。その結果、仮想空間ではユーザU11は再び道の中央のラインL11の位置を歩くようになり、実空間ではユーザU11は通信路が遮蔽されない位置、すなわち実空間内での移動量により示される移動先の位置まで移動する。

このようにユーザU11が無意識に移動したことにより、実空間では図２の矢印Q23に示した例と同様に、ユーザU11の頭部に装着されているHMD１２と、コンソール１１とを結ぶ直線上に遮蔽物１３が位置しない状態となる。つまり、通信路が遮蔽物１３により遮蔽されない状態となり、これにより最適な通信路が確保されたことになる。

〈VRコンテンツ再生システムの構成例〉
次に、本技術を適用したVRコンテンツ再生システムについて、より具体的に説明する。

図４は、本技術を適用したVRコンテンツ再生システムの一実施の形態の構成例を示す図である。

図４に示すVRコンテンツ再生システムは、同じ室内にあるコンソール５１とHMD５２を有している。

コンソール５１は送信機として機能し、HMD５２に対して無線通信によりコンテンツデータを送信する情報処理装置である。また、HMD５２は受信機として機能し、コンソール５１からコンテンツデータの供給を受けてコンテンツを再生する情報処理装置（再生装置）であり、HMD５２はコンテンツを視聴するユーザの頭部に装着される。これらのコンソール５１およびHMD５２は、図２に示したコンソール１１およびHMD１２に対応する。

コンソール５１からHMD５２へのコンテンツデータの伝送は、例えば60GHzなどの高周波広帯域を利用した無線通信により行われる。また、HMD５２からコンソール５１へは位置姿勢情報（IMU（Inertial Measurement Unit）情報）やその他の制御情報などが無線通信により伝送される。

なお、コンソール５１からHMD５２への情報伝送時の無線通信方式と、HMD５２からコンソール５１への情報伝送時の無線通信方式とは同じであってもよいし異なる無線通信方式であってもよい。

〈コンソールの構成例〉
さらにコンソール５１は、例えば図５に示すように構成される。

図５に示すコンソール５１は、センサ部８１、遮蔽検出部８２、移動計算部８３、制御部８４、生成部８５、記憶部８６、エンコーダ部８７、無線通信部８８、およびアンテナ８９を有している。

センサ部８１は、例えばRGBDセンサや超音波センサ等の距離センサ、カメラなど、コンソール５１とHMD５２との間にある遮蔽物を検出するためのセンサからなり、センサによる周囲のセンシング結果（観測結果）であるセンサ出力情報を出力する。

例えばセンサ部８１がカメラからなる場合、カメラにより撮影されたコンソール５１の周囲の周辺環境画像がセンサ出力情報として出力される。また、例えばセンサ部８１が距離センサからなる場合、距離センサにより測定されたコンソール５１の周囲の物体までの距離を示す距離情報がセンサ出力情報として出力される。なお、以下においては周辺環境画像と距離情報がセンサ出力情報として出力されるものとして説明を続ける。

センサ部８１から出力されるセンサ出力情報は、遮蔽検出部８２、移動計算部８３、および制御部８４に供給される。

遮蔽検出部８２は、センサ部８１から供給されたセンサ出力情報と、制御部８４から供給されたユーザ（HMD５２）の位置姿勢情報とに基づいて、コンソール５１とHMD５２との間の通信路の遮蔽状況、すなわち通信路の遮蔽を検出する。遮蔽検出部８２は、通信路の遮蔽の検出結果を移動計算部８３および制御部８４に供給する。

移動計算部８３は、センサ部８１からのセンサ出力情報や制御部８４からの位置姿勢情報を必要に応じて用いて、遮蔽検出部８２から供給された検出結果に基づいて、通信路の遮蔽の生じない位置へのユーザ（HMD５２）の移動量を計算し、制御部８４に供給する。

移動計算部８３で算出される移動量は、実空間におけるユーザの移動量である。また、より詳細には、この移動量はユーザの移動方向と移動距離を示すものである。

制御部８４は、コンソール５１全体の動作を制御する。

例えば制御部８４は、移動計算部８３から供給された移動量に基づいてコンテンツデータの生成を制御する。具体的には、制御部８４は、供給された移動量に基づいて位置姿勢情報を更新し、更新後の位置姿勢情報に基づいて生成部８５によるコンテンツデータの生成を制御する。これにより位置姿勢情報の更新（補正）がコンテンツに反映される。

また、例えば制御部８４は、エンコーダ部８７によるコンテンツデータの符号化を制御したり、無線通信部８８による無線信号の送受信を制御したりする。

生成部８５は、制御部８４の制御に従ってコンテンツデータを生成し、記憶部８６に供給する。生成部８５では、コンテンツデータを構成する映像情報と音声情報が生成される。

記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶し、エンコーダ部８７へと供給する。エンコーダ部８７は、制御部８４の制御に従って、記憶部８６から供給されたコンテンツデータを符号化（圧縮）し、その結果得られた符号情報を無線通信部８８に供給する。

無線通信部８８は、制御部８４の制御に従って、アンテナ８９によるHMD５２との無線通信を行う。すなわち、例えば無線通信部８８は、エンコーダ部８７から供給された符号情報を無線通信によりアンテナ８９から送信させたり、HMD５２から送信されてきた位置姿勢情報をアンテナ８９により受信し、制御部８４に供給したりする。

〈コンテンツ送信処理の説明〉
続いてコンソール５１の動作について説明する。すなわち、以下、図６のフローチャートを参照して、コンソール５１によるコンテンツ送信処理について説明する。

なお、コンテンツ送信処理時においては、コンソール５１とHMD５２とは、最適な通信路、つまりコンソール５１とHMD５２を直線的に結ぶ通信路により無線通信を行っている状態であるとする。但し、通信路の遮蔽状況によっては、例えば図１の矢印W12に示したように、コンソール５１とHMD５２を直線的に結ぶ通信路ではない、反射等を利用した通信路により無線通信が行われている状態であることもある。また、以下で説明するコンテンツ送信処理は、例えばコンテンツデータのフレームごとに行われる。

ステップＳ１１において無線通信部８８は、HMD５２から送信されてきた位置姿勢情報をアンテナ８９により受信し、制御部８４に供給する。また、制御部８４は、無線通信部８８から供給された位置姿勢情報を遮蔽検出部８２や移動計算部８３に供給する。

一般的にコンソール５１においては、HMD５２から位置姿勢情報を受信しなくても、センサ部８１のセンサ出力情報などから実空間におけるHMD５２（ユーザ）の位置および姿勢を特定可能である。したがって、そのような場合には、ステップＳ１１の処理は行われずに、制御部８４がセンサ出力情報などから位置姿勢情報を生成するようにしてもよい。

ステップＳ１２において遮蔽検出部８２は、センサ部８１からのセンサ出力情報と、制御部８４からの位置姿勢情報とに基づいて通信路の遮蔽状況、すなわち通信路の遮蔽を検出し、その検出結果を移動計算部８３および制御部８４に供給する。

例えば遮蔽検出部８２は、センサ出力情報としての周辺環境画像や距離情報、位置姿勢情報などに基づいて、実空間におけるHMD５２の位置や、コンソール５１とHMD５２の間にある遮蔽物の位置および大きさを特定（検出）することができる。

このとき、例えばコンソール５１とHMD５２との間に遮蔽物が検出された場合には、通信路が遮蔽されているという遮蔽状況が検出されたことになる。つまり、通信路の遮蔽が検出されたことになる。

ステップＳ１３において制御部８４は、遮蔽検出部８２から供給された遮蔽状況の検出結果に基づいて、通信路の遮蔽が検出されたか否かを判定する。

なお、センサ部８１でセンサ出力情報が時系列に得られる場合には、周辺環境画像上において遮蔽物となり得る物体と、その物体の移動方向および移動速度とを検出することが可能である。そのため、遮蔽検出部８２では、未来において通信路が遮蔽されるであろうタイミング（時刻）と、通信路が遮蔽される期間、つまり遮蔽の継続時間とを予測することができる。

したがって、制御部８４では、実際に通信路が遮蔽された場合だけでなく、所定時間後に通信路が遮蔽されると予測される場合においても、ステップＳ１３において遮蔽が検出されたと判定されるようにしてもよい。なお、遮蔽物が移動してくることにより通信路が遮蔽されると予測されるときには、後述のステップＳ１５において、ユーザ（HMD５２）を遮蔽物の移動方向と反対方向に移動させて最適な通信路を確保するような移動量を算出するようにしてもよい。

ステップＳ１３において遮蔽が検出されなかったと判定された場合、制御部８４は、ステップＳ１１で受信された位置姿勢情報を生成部８５に供給してコンテンツデータの生成を指示し、その後、処理はステップＳ１４へと進む。

ステップＳ１４において生成部８５は、制御部８４から供給された位置姿勢情報、すなわちステップＳ１１で受信された位置姿勢情報に応じたコンテンツデータを生成し、記憶部８６に供給する。記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶する。

具体的には、例えば生成部８５はコンテンツデータを生成するためのデータとして、互いに異なる視点で撮影された複数の映像データからなる映像データ群と、複数の各音源（オブジェクト）の音を再生するためのオーディオデータとを保持している。

例えば生成部８５は、映像データ群および位置姿勢情報に基づいてレンダリング処理を行い、位置姿勢情報に対応する視点位置および視線方向の映像情報をコンテンツデータを構成する映像情報として生成する。

また、例えば生成部８５は、オーディオデータおよび位置姿勢情報に基づいて、VBAP（Vector Base Amplitude Panning）およびバイノーラル処理や、パニング処理をレンダリング処理として行い、コンテンツデータを構成する音声情報を生成する。

このようにして得られた音声情報に基づいて音声を再生すれば、位置姿勢情報により示される位置にいるユーザが、仮想空間の予め定められた位置等にある各音源からの音を聞いているかのような音場、すなわち音像定位を再現することができる。

ステップＳ１４の処理が行われてコンテンツデータが生成されると、その後、処理はステップＳ１８へと進む。

これに対して、ステップＳ１３において遮蔽が検出されたと判定された場合、制御部８４は移動計算部８３に移動量の計算を指示し、その後、処理はステップＳ１５へと進む。

ステップＳ１５において移動計算部８３は、制御部８４からの指示に従って、センサ部８１からのセンサ出力情報や制御部８４からの位置姿勢情報を必要に応じて用いながら、遮蔽検出部８２から供給された検出結果に基づいて、実空間におけるユーザの移動量を計算（算出）し、制御部８４に供給する。

例えば遮蔽検出部８２では、通信路の遮蔽状況として、通信路がどの程度の大きさの遮蔽物により遮蔽されているかを検出することが可能である。したがって、移動計算部８３は、コンソール５１とHMD５２と遮蔽物との位置関係や、遮蔽の検出結果に基づいて、HMD５２を実空間におけるどの方向にどれだけ移動させれば通信路の遮蔽が生じなくなるかを特定することができる。すなわち、実空間における通信路の遮蔽が生じない位置へのHMD５２（ユーザ）の移動量、つまり移動方向と移動距離を求めることができる。

ステップＳ１６において制御部８４は、移動計算部８３から供給された移動量に基づいて、仮想空間におけるユーザの位置および姿勢を示す位置姿勢情報を更新する。そして制御部８４は、更新後の位置姿勢情報を生成部８５に供給してコンテンツデータの生成を指示（制御）する。

ステップＳ１７において生成部８５は、制御部８４から供給された更新後の位置姿勢情報に応じたコンテンツデータを生成し、記憶部８６に供給する。また、記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶する。

なお、ステップＳ１７では、ステップＳ１４と同様の処理が行われてコンテンツデータが生成される。すなわち、ステップＳ１７の処理とステップＳ１４の処理とは、位置姿勢情報が更新されたものであるか否かのみが異なり、他の点では同じ処理となっている。

ステップＳ１４またはステップＳ１７の処理が行われてコンテンツデータが生成されると、ステップＳ１８においてエンコーダ部８７は、制御部８４の制御に従って、記憶部８６に記憶されているコンテンツデータを符号化する。エンコーダ部８７は、符号化により得られた符号情報を無線通信部８８に供給する。

ステップＳ１９において無線通信部８８は、制御部８４の制御に従って、エンコーダ部８７から供給された符号情報を無線通信によりアンテナ８９から送信させ、コンテンツ送信処理は終了する。この場合、HMD５２ではコンテンツデータに基づいてコンテンツが再生され、例えば図３を参照して説明したように遮蔽の生じない位置への誘導が行われる。

また、HMD５２ではステップＳ１９で送信されたコンテンツデータ（符号情報）が受信され、受信されたコンテンツデータに基づいてコンテンツが再生される。なお、ステップＳ１９では、通信路の遮蔽状況に応じて、コンソール５１とHMD５２とを直線的に結ぶ通信路により符号情報が送信されることもあるし、例えば図１の矢印W12に示したように、コンソール５１とHMD５２を直線的に結ぶ通信路ではない、反射等を利用した通信路により符号情報が送信されることもある。

ここで、図７および図８を参照して、ステップＳ１５およびステップＳ１６で行われる処理について、より具体的に説明する。

例えば遮蔽検出部８２においてセンサ出力情報や位置姿勢情報に基づいて、実空間におけるHMD５２の位置および姿勢や遮蔽物の位置および大きさを認識し、その結果、例えば図７に示すように実空間におけるコンソール５１、HMD５２、および遮蔽物OBJ1の位置関係が特定されたとする。

そのような場合、移動計算部８３では、遮蔽検出部８２で特定された位置関係に基づいて、実空間においてコンソール５１とHMD５２を結ぶ直線が遮蔽物OBJ1と交差しないようなHMD５２の移動先への移動量を示すベクトルΔｘ_wを求めることができる。すなわち、コンソール５１とHMD５２を直線的に結ぶ通信路が遮蔽物OBJ1により遮蔽されないようにするためのHMD５２の移動先を示すベクトルΔｘ_wを求めることができる。

図７に示す例では、実空間座標系は、コンテンツ再生開始時におけるHMD５２の位置を原点とし、互いに直交するＸ_w軸、Ｙ_w軸、およびＺ_w軸を軸とする３次元直交座標系とされている。

特に、ここではコンテンツ再生開始時における、HMD５２の位置である原点とコンソール５１とを結ぶ方向である図中、上方向がＺ_w軸方向とされている。また、図７中、右方向がＸ_w軸方向とされており、さらに図７中、手前方向、つまりHMD５２を装着するユーザから見て上方向がＹ_w軸方向とされている。

なお、実空間座標系の原点や軸方向はどのように設定してもよい。さらにＹ_w軸方向におけるユーザ頭部の位置は、基本的にHMD５２を装着するユーザの身長や座高により定まるため、仮想空間におけるユーザの位置をＹ_w軸方向にずらしてもユーザがそれに追従することはできない。したがって、ここではＸ_wＺ_w平面上でHMD５２を移動させることとするが、例えば無重力空間や水中などの自由な３次元移動が可能なVRコンテンツ再生システムに本技術を適用する場合には、HMD５２をＹ_w軸方向にも移動させることができる。

図７に示す例では、矢印M31がHMD５２の移動量を示すベクトルΔｘ_wを表している。具体的には、矢印M31の始点位置が現時点における実際のHMD５２の位置となっており、矢印M31の終点位置が目標とするHMD５２の移動先の位置、すなわち通信路の遮蔽が生じなくなるHMD５２の位置を示している。

ここでは現時点における実際のHMD５２の位置が実空間座標系の原点となっており、Ｘ_w軸方向の移動量がΔｘであり、Ｚ_w軸方向の移動量が０であるのでベクトルΔｘ_wはΔｘ_w＝（Δｘ,０）となる。

移動計算部８３は、ステップＳ１５において、移動量として矢印M31により表されるベクトルΔｘ_wを求め、制御部８４に供給する。

すると、制御部８４は、実空間座標系のベクトルΔｘ_wを、仮想空間座標系のベクトルΔｘ_vへと変換する。ベクトルΔｘ_vは、実空間座標系のベクトルΔｘ_wにより示される移動量に相当する仮想空間における移動量を示すベクトルである。

例えば仮想空間座標系が互いに直交するＸ_v軸、Ｙ_v軸、およびＺ_v軸を軸とする３次元直交座標系であり、Ｘ_v軸、Ｙ_v軸、およびＺ_v軸の各軸が実空間座標系のＸ_w軸、Ｙ_w軸、およびＺ_w軸の各軸に対応するとする。

そのような場合に、例えば図８に示すように仮想空間座標系が実空間座標系に対して回転角度θ_wvだけ回転しているとする。すなわち、Ｚ_v軸とＺ_w軸とのなす角度がθ_wv度であるとする。

このような回転角度θ_wvは既知であるので、制御部８４はベクトルを回転角度θ_wvだけ回転させる回転行列R(θ_wv)を用いて次式（１）の計算を行うことで、仮想空間におけるHMD５２の移動量を示すベクトルΔｘ_vを得ることができる。

式（１）の計算では、回転行列R(θ_wv)によってベクトルΔｘ_wがθ_wv度だけ回転されてベクトルΔｘ_vとされている。図８では、矢印M41がベクトルΔｘ_vを表している。

さらに制御部８４は、実空間におけるベクトルΔｘ_wにより示される位置にHMD５２（ユーザ）を移動させるために、仮想空間の位置姿勢情報により示される位置をＸ_vＺ_v平面上で−Δｘ_vだけ移動させる。すなわち、制御部８４は現時点における位置姿勢情報に対して、位置姿勢情報により示される位置をＸ_vＺ_v平面上で−Δｘ_vだけ移動させる補正（変更）を行い、その結果得られた位置姿勢情報を更新後の位置姿勢情報とする。

そして、制御部８４は更新後の位置姿勢情報を生成部８５に供給し、コンテンツデータを生成させる。以上において説明したベクトルΔｘ_wのベクトルΔｘ_vへの変換処理と、ベクトルΔｘ_vに基づく位置姿勢情報の更新処理が上述のステップＳ１６の処理として行われる。

なお、ここでは位置姿勢情報により示されるユーザの仮想空間における位置（視点位置）を−Δｘ_vだけ移動させる例について説明した。

しかし、位置姿勢情報により示される位置を移動させるのではなく、仮想空間自体を現時点の位置からベクトルΔｘ_vに示される移動量だけ、すなわちΔｘ_vだけ移動させるようにしてもよい。これは、仮想空間自体をΔｘ_vだけ移動させることと、仮想空間におけるユーザの位置を−Δｘ_vだけ移動させることとは等価であるからである。

仮想空間を移動させる場合、制御部８４は、生成部８５に対して仮想空間をΔｘ_vだけ移動させたコンテンツデータの生成を指示し、生成部８５は制御部８４の指示に応じてレンダリング処理を行い、仮想空間をΔｘ_vだけ移動させたコンテンツデータを生成する。

この場合、仮想空間座標系がΔｘ_vだけずらされて映像情報や音声情報に関するレンダリング処理が行われるが、結果的に位置姿勢情報により示される位置が−Δｘ_vだけ移動されることになる。

以上のようにしてコンソール５１は、通信路の遮蔽が検出された場合には、ユーザ（HMD５２）を移動させる移動量を算出し、その移動量に基づいて位置姿勢情報を更新するとともに更新後の位置姿勢情報に基づいてコンテンツデータを生成する。

このようにすることで、リダイレクションを利用して無意識にユーザを適切な場所へと誘導することができ、最適な通信路を確保することができる。

なお、ステップＳ１６では、ステップＳ１５で算出した移動量を示すベクトルΔｘ_wの分だけ位置姿勢情報を補正（変更）すると説明した。換言すれば、仮想空間においてベクトルΔｘ_vにより示される移動量の分だけ一度にユーザを移動させる例について説明した。しかし、コンテンツデータの数フレーム分の時間をかけて、つまり何度かに分割して少しずつユーザを移動させるようにしてもよい。

例えばある時刻ｔにおいて通信路の遮蔽が検出され、仮想空間における移動量を示すベクトルΔｘ_vが得られたとしても、その分の移動をコンテンツデータに対して次の時刻ｔ’で一度に反映させると、ユーザが急激な位置変化を認識してしまい、ユーザ体験を損ねてしまうおそれがある。そこで、得られたベクトルΔｘ_vの分だけ一度に移動させるのではなく、例えば予め定められた回数で分割して移動させたり、予め定められた移動量ずつ移動させたりするようにしてもよい。

例えば移動させる回数Ｎ、すなわち分割数Ｎが予め定められている場合、制御部８４は、ステップＳ１６において仮想空間における移動量をΔｘ_v／Ｎとして位置姿勢情報を更新する。

この場合、制御部８４が現時点における位置姿勢情報により示される位置を−Δｘ_v／Ｎだけ移動させることで位置姿勢情報を更新し、更新後の位置姿勢情報に基づいてコンテンツデータの生成を制御する処理と、無線通信部８８がコンテンツデータを無線通信により送信する処理とがＮ回連続して行われることになる。

この例では一回の移動量、すなわち、例えば１フレームにおける移動量がΔｘ_v／Ｎとなるので、Ｎ回の移動後（Ｎフレーム後）にユーザのベクトルΔｘ_v分の移動が完了することになる。このようにすれば、予め定められた時間内に確実にユーザの移動を完了させ、最適な通信路を確保することができる。

また、例えば一度の移動量がδｘ_v（但し、δｘ_v＞０）と定められているとする。すなわち、一度の移動量δｘ_vがδｘ_v＝ｋ［ｍｍ］（例えばｋ＝２）などと定められているとする。

そのような場合、処理回数をＭとすると、δｘ_v×Ｍ≧｜Δｘ_v｜が満たされるまで繰り返し移動量δｘ_v分ずつ移動が行われる。すなわち、Ｍ回（Ｍフレーム）に分けて移動が行われる。

具体的には、ステップＳ１６では制御部８４は仮想空間における移動量をδｘ_vとして位置姿勢情報を更新する。

したがって、この場合には制御部８４が現時点における位置姿勢情報により示される位置を、ベクトルΔｘ_vにより示される方向とは反対方向にδｘ_vだけ移動させることで位置姿勢情報を更新し、更新後の位置姿勢情報に基づいてコンテンツデータの生成を制御する処理と、無線通信部８８がコンテンツデータを無線通信により送信する処理とがＭ回連続して行われることになる。

このようにすれば、移動完了までの時間はその都度変化するが、ユーザの移動がユーザ体験に及ぼす影響を最小限にするなどのコントロールが可能である。

〈第２の実施の形態〉
〈HMDの構成例〉
ところで、以上においてはコンソール５１とHMD５２からなるVRコンテンツ再生システムにおいて、コンソール５１側で通信路の遮蔽を検出し、その検出結果に応じて位置姿勢情報を更新する例について説明した。しかし、コンソール５１側ではなく、HMD５２側で通信路の遮蔽の検出や移動量の算出を行うようにしてもよい。

そのような場合、HMD５２は例えば図９に示すように構成される。

図９に示すHMD５２はセンサ部１１１、遮蔽検出部１１２、移動計算部１１３、位置姿勢計測部１１４、制御部１１５、アンテナ１１６、無線通信部１１７、デコーダ部１１８、生成部１１９、記憶部１２０、映像表示部１２１、およびスピーカ１２２を有している。

センサ部１１１は、図５に示したセンサ部８１に対応し、例えばRGBDセンサや超音波センサ等の距離センサ、カメラ、ジャイロセンサなどのセンサからなり、センサで得られたセンサ出力情報を位置姿勢計測部１１４および遮蔽検出部１１２に供給する。

センサ部１１１から出力されるセンサ出力情報は、例えば周辺環境画像や距離情報、HMD５２の位置や姿勢の変化を示す角速度などとされ、このセンサ出力情報は遮蔽状況の検出だけでなく、HMD５２の位置や姿勢の計測にも用いられる。

遮蔽検出部１１２は、図５に示した遮蔽検出部８２に対応し、センサ部１１１から供給されたセンサ出力情報、および制御部１１５から供給されたコンソール５１とHMD５２の位置関係、すなわちコンソール５１に対するHMD５２の相対的な位置に基づいて通信路の遮蔽状況を検出する。つまり、コンソール５１とHMD５２との間の通信路の遮蔽が検出される。遮蔽検出部１１２は、通信路の遮蔽の検出結果を移動計算部１１３および制御部１１５に供給する。

なお、コンソール５１とHMD５２の位置関係は、制御部１１５が位置姿勢計測部１１４から供給された位置姿勢情報から求めるようにしてもよいし、制御部１１５がセンサ部１１１から出力されたセンサ出力情報に基づいて求めるようにしてもよい。その他、無線通信部１１７がアンテナ１１６によりコンソール５１から、コンソール５１とHMD５２の位置関係を示す情報を受信し、制御部１１５に供給してもよい。

移動計算部１１３は、制御部１１５からの位置姿勢情報や、コンソール５１とHMD５２の位置関係を示す情報を必要に応じて用いて、遮蔽検出部１１２から供給された検出結果に基づいて、実空間におけるユーザの移動量、すなわちベクトルΔｘ_wを計算（算出）し、制御部１１５に供給する。

位置姿勢計測部１１４は、センサ部１１１から供給されたセンサ出力情報に基づいてHMD５２の位置および姿勢を計測し、その計測結果から位置姿勢情報を生成して制御部１１５に供給する。

制御部１１５は、HMD５２全体の動作を制御する。例えば制御部１１５は、無線通信部１１７による無線信号の送受信を制御したり、位置姿勢情報に基づいて生成部１１９によるコンテンツデータの加工を制御したりする。

無線通信部１１７は、制御部１１５の制御に従って、アンテナ１１６によるコンソール５１との無線通信を行う。すなわち、例えば無線通信部１１７は、制御部１１５から供給された移動量（ベクトルΔｘ_w）等を無線通信によりアンテナ１１６から送信させたり、コンソール５１から送信されてきた符号情報をアンテナ１１６により受信し、デコーダ部１１８に供給したりする。

デコーダ部１１８は、無線通信部１１７から供給された符号情報を復号（デコード）し、その結果得られたコンテンツデータを生成部１１９に供給する。

生成部１１９は、制御部１１５から供給された位置姿勢情報に基づいて、制御部１１５の制御に従って、デコーダ部１１８からのコンテンツデータの映像情報に対する加工処理を行い、加工処理が施された映像情報と、音声情報とからなるコンテンツデータを記憶部１２０に供給する。生成部１１９により行われる加工処理は、例えば位置姿勢情報に応じて仮想空間内のユーザの視点位置等を微調整（補正）する処理である。

記憶部１２０は生成部１１９から供給されたコンテンツデータを一時的に記憶し、記憶しているコンテンツデータの映像情報を映像表示部１２１に供給するとともに、コンテンツデータの音声情報をスピーカ１２２に供給する。

映像表示部１２１は、例えば液晶表示パネルなどからなり、記憶部１２０から供給された映像情報に基づいてコンテンツの映像を表示する。スピーカ１２２は記憶部１２０から供給された音声情報に基づいて音を出力し、コンテンツの音声を再生する。

〈コンテンツ再生処理の説明〉
次に、HMD５２の動作について説明する。

HMD５２は、コンソール５１から無線通信により符号情報が送信されてくると、それを受信してコンテンツを再生するコンテンツ再生処理を行う。以下、図１０のフローチャートを参照して、HMD５２によるコンテンツ再生処理について説明する。

ステップＳ４１において無線通信部１１７は、コンソール５１から無線通信により送信されてきた符号情報をアンテナ１１６により受信し、デコーダ部１１８に供給する。

ステップＳ４２においてデコーダ部１１８は、無線通信部１１７から供給された符号情報を復号し、その結果得られたコンテンツデータを生成部１１９に供給する。

また、生成部１１９は、適宜、制御部１１５の制御に従って、デコーダ部１１８からのコンテンツデータの映像情報に対する加工処理を行い、加工処理が施された映像情報と、音声情報とからなるコンテンツデータを記憶部１２０に供給する。

ステップＳ４３において映像表示部１２１およびスピーカ１２２はコンテンツを再生し、コンテンツ再生処理は終了する。

すなわち、映像表示部１２１は、記憶部１２０から供給された映像情報に基づいてコンテンツの映像を表示する。また、スピーカ１２２は記憶部１２０から供給された音声情報に基づいて音を出力する。これにより、コンテンツの映像と音声が再生される。

〈移動量送信処理の説明〉
さらに、HMD５２は図１０を参照して説明したコンテンツ再生処理を行いながら、それと並行して通信路の遮蔽を検出し、その検出結果に応じて移動量を送信する移動量送信処理も行う。以下、図１１のフローチャートを参照して、HMD５２による移動量送信処理について説明する。

ステップＳ７１において遮蔽検出部１１２は、センサ部１１１から供給されたセンサ出力情報、および制御部１１５から供給されたコンソール５１とHMD５２の位置関係に基づいて、HMD５２とコンソール５１とを直線的に結ぶ通信路の遮蔽状況、つまり通信路の遮蔽を検出する。遮蔽検出部１１２は、遮蔽状況の検出結果を移動計算部１１３および制御部１１５に供給する。

例えばステップＳ７１では、図６のステップＳ１２と同様の処理が行われ、通信路の遮蔽状況が検出される。

ステップＳ７２において制御部１１５は、遮蔽検出部１１２から供給された遮蔽の検出結果に基づいて、通信路の遮蔽が検出されたか否かを判定する。例えばステップＳ７２では、図６のステップＳ１３と同様の判定処理が行われる。

ステップＳ７２において遮蔽が検出されなかったと判定された場合、ステップＳ７３およびステップＳ７４の処理は行われず、移動量送信処理は終了する。

これに対してステップＳ７２において遮蔽が検出されたと判定された場合、制御部１１５は移動計算部１１３に移動量の計算を指示し、その後、処理はステップＳ７３へと進む。

ステップＳ７３において移動計算部１１３は、制御部１１５からの位置姿勢情報や、コンソール５１とHMD５２の位置関係を示す情報を必要に応じて用いて、遮蔽検出部１１２から供給された検出結果に基づいて実空間におけるユーザの移動量を計算（算出）する。

すなわち、例えば移動計算部１１３は、図６のステップＳ１５と同様の処理を行って移動量を示すベクトルΔｘ_wを計算し、制御部１１５に供給する。

但し、ステップＳ７３では、図１２に示すように移動計算部１１３は、HMD５２から見た遮蔽物OBJ1やコンソール５１の位置関係に基づいて実空間における移動量を示すベクトルΔｘ_wを計算する。なお、図１２において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１２に示す例では、図７に示した例とは逆に、HMD５２から見た遮蔽物OBJ1やコンソール５１の位置関係に基づいてベクトルΔｘ_wが算出されるが、結果としては同じベクトルΔｘ_wが得られる。ここでは矢印M31がHMD５２の移動量を示すベクトルΔｘ_wを表している。

図１１のフローチャートの説明に戻り、制御部１１５は移動計算部１１３からベクトルΔｘ_w、すなわち移動量が供給されると、その移動量を示すベクトルΔｘ_wを無線通信部１１７に供給し、コンソール５１への送信を指示する。

ステップＳ７４において無線通信部１１７は、制御部１１５から供給された移動量（ベクトルΔｘ_w）を無線通信によりアンテナ１１６からコンソール５１へと送信し、移動量送信処理は終了する。

このようにしてベクトルΔｘ_wが送信されると、コンソール５１の無線通信部８８は、送信されてきたベクトルΔｘ_wをアンテナ８９により受信し、制御部８４に供給する。

制御部８４は無線通信部８８から供給されたベクトルΔｘ_wに基づいてHMD５２の位置姿勢情報を更新し、更新後の位置姿勢情報を生成部８５に供給してコンテンツデータを生成させる。ここで、位置姿勢情報の更新時には図６のステップＳ１６と同様の処理が行われる。すなわち、ベクトルΔｘ_wが回転行列R(θ_wv)によりベクトルΔｘ_vに変換され、そのベクトルΔｘ_vに基づいて位置姿勢情報が更新される。

そうすると、次回行われる図１０のステップＳ４１で受信する符号情報から得られるコンテンツデータは、更新後の位置姿勢情報に応じて生成されたものとなり、そのコンテンツデータに基づいてコンテンツを再生すると無意識にユーザが移動することになる。したがって、HMD５２において通信路の遮蔽状況を検出する場合においても最適な通信路が確保される。

以上のようにしてHMD５２は、通信路の遮蔽が検出された場合には、ユーザ（HMD５２）を移動させる移動量を算出し、その移動量をコンソール５１に送信する。このようにすることで、リダイレクションを利用して無意識にユーザを適切な場所へと誘導することができ、最適な通信路を確保することができる。

なお、ここでは位置姿勢情報の更新はコンソール５１側で行われると説明したが、HMD５２において位置姿勢情報が更新されるようにしてもよい。

そのような場合、例えば制御部１１５は、位置姿勢計測部１１４で生成された位置姿勢情報を取得するとともに、移動計算部１１３から供給されたベクトルΔｘ_wに基づいて、取得した位置姿勢情報を更新する。すなわち、制御部１１５は、ベクトルΔｘ_wをベクトルΔｘ_vに変換し、そのベクトルΔｘ_vに基づいて位置姿勢情報を更新する。

そして制御部１１５は、更新後の位置姿勢情報を無線通信部１１７に供給し、送信させる。無線通信部１１７は、制御部１１５から供給された更新後の位置姿勢情報を無線通信によりアンテナ１１６で送信する。また、この場合、遮蔽が検出されなかったときには、無線通信部１１７は、制御部１１５から供給された、位置姿勢計測部１１４で生成された位置姿勢情報をそのままアンテナ１１６により送信する。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、
前記移動量に基づいて前記コンテンツデータの生成を制御する制御部と
を備える情報処理装置。
（２）
前記制御部は、前記移動量に基づいて、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報を更新するとともに、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する
（１）に記載の情報処理装置。
（３）
前記コンテンツデータを無線通信により前記再生装置に送信する無線通信部をさらに備える
（２）に記載の情報処理装置。
（４）
前記制御部は、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置を−Δｘだけ移動させることで前記位置情報を更新する
（３）に記載の情報処理装置。
（５）
所定の分割数をＮとし、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、
前記制御部が前記位置情報により示される位置を−Δｘ／Ｎだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＮ回連続して行われる
（３）に記載の情報処理装置。
（６）
前記移動量に対応する前記仮想空間内の移動量をΔｘとし、予め定められた移動量をδｘとし、処理回数をＭとしたときにδｘ×Ｍ≧｜Δｘ｜が満たされるまで、
前記制御部が前記位置情報により示される位置を、移動量Δｘの方向と反対方向にδｘだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＭ回連続して行われる
（３）に記載の情報処理装置。
（７）
前記再生装置は、前記コンテンツを視聴する前記ユーザに装着される
（２）乃至（６）の何れか一項に記載の情報処理装置。
（８）
前記コンテンツはVRコンテンツである
（７）に記載の情報処理装置。
（９）
前記制御部は、更新後の前記位置情報により示される位置に対応する視点の映像情報を前記コンテンツデータとして生成する
（２）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記制御部は、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報を前記コンテンツデータとして生成する
（２）乃至（９）の何れか一項に記載の情報処理装置。
（１１）
情報処理装置が、
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、
前記移動量に基づいて前記コンテンツデータの生成を制御する
情報処理方法。
（１２）
コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、
無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部と
を備える情報処理装置。
（１３）
前記無線通信部は、前記移動量に基づいて生成された、前記他の情報処理装置から送信されてきた前記コンテンツデータを受信する
（１２）に記載の情報処理装置。
（１４）
前記コンテンツデータは、前記移動量に応じて更新された、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報に基づいて生成される
（１２）に記載の情報処理装置。
（１５）
前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置が−Δｘだけ移動されるように前記位置情報が更新される
（１４）に記載の情報処理装置。
（１６）
前記コンテンツデータには、更新後の前記位置情報により示される位置に対応する視点の映像情報が含まれている
（１４）または（１５）に記載の情報処理装置。
（１７）
前記コンテンツデータには、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報が含まれている
（１４）乃至（１６）の何れか一項に記載の情報処理装置。
（１８）
前記情報処理装置は、前記コンテンツを視聴するユーザに装着される
（１２）乃至（１７）の何れか一項に記載の情報処理装置。
（１９）
前記コンテンツはVRコンテンツである
（１８）に記載の情報処理装置。
（２０）
コンテンツデータに基づいてコンテンツを再生する情報処理装置が、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、
無線通信により前記移動量を前記他の情報処理装置に送信する
情報処理方法。

５１ コンソール， ５２ HMD， ８１ センサ部， ８２ 遮蔽検出部， ８３ 移動計算部， ８４ 制御部， ８５ 生成部， ８７ エンコーダ部， ８８ 無線通信部， １１１ センサ部， １１２ 遮蔽検出部， １１３ 移動計算部， １１４ 位置姿勢計測部， １１５ 制御部， １１７ 無線通信部， １２１ 映像表示部， １２２ スピーカ

Claims (20)

1. コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、
   前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、
   前記移動量に基づいて前記コンテンツデータの生成を制御する制御部と
   を備える情報処理装置。
2. 前記制御部は、前記移動量に基づいて、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報を更新するとともに、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する
   請求項１に記載の情報処理装置。
3. 前記コンテンツデータを無線通信により前記再生装置に送信する無線通信部をさらに備える
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置を−Δｘだけ移動させることで前記位置情報を更新する
   請求項３に記載の情報処理装置。
5. 所定の分割数をＮとし、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、
   前記制御部が前記位置情報により示される位置を−Δｘ／Ｎだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
   前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
   がＮ回連続して行われる
   請求項３に記載の情報処理装置。
6. 前記移動量に対応する前記仮想空間内の移動量をΔｘとし、予め定められた移動量をδｘとし、処理回数をＭとしたときにδｘ×Ｍ≧｜Δｘ｜が満たされるまで、
   前記制御部が前記位置情報により示される位置を、移動量Δｘの方向と反対方向にδｘだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
   前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
   がＭ回連続して行われる
   請求項３に記載の情報処理装置。
7. 前記再生装置は、前記コンテンツを視聴する前記ユーザに装着される
   請求項２に記載の情報処理装置。
8. 前記コンテンツはVRコンテンツである
   請求項７に記載の情報処理装置。
9. 前記制御部は、更新後の前記位置情報により示される位置に対応する視点の映像情報を前記コンテンツデータとして生成する
   請求項２に記載の情報処理装置。
10. 前記制御部は、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報を前記コンテンツデータとして生成する
    請求項２に記載の情報処理装置。
11. 情報処理装置が、
    コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、
    前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、
    前記移動量に基づいて前記コンテンツデータの生成を制御する
    情報処理方法。
12. コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、
    前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、
    前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、
    無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部と
    を備える情報処理装置。
13. 前記無線通信部は、前記移動量に基づいて生成された、前記他の情報処理装置から送信されてきた前記コンテンツデータを受信する
    請求項１２に記載の情報処理装置。
14. 前記コンテンツデータは、前記移動量に応じて更新された、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報に基づいて生成される
    請求項１２に記載の情報処理装置。
15. 前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置が−Δｘだけ移動されるように前記位置情報が更新される
    請求項１４に記載の情報処理装置。
16. 前記コンテンツデータには、更新後の前記位置情報により示される位置に対応する視点の映像情報が含まれている
    請求項１４に記載の情報処理装置。
17. 前記コンテンツデータには、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報が含まれている
    請求項１４に記載の情報処理装置。
18. 前記情報処理装置は、前記コンテンツを視聴するユーザに装着される
    請求項１２に記載の情報処理装置。
19. 前記コンテンツはVRコンテンツである
    請求項１８に記載の情報処理装置。
20. コンテンツデータに基づいてコンテンツを再生する情報処理装置が、
    前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、
    前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、
    無線通信により前記移動量を前記他の情報処理装置に送信する
    情報処理方法。

Images