JP2024034133A - 提供装置および提供方法 - Google Patents

Abstract

【課題】仮想空間を提供する際の違和感を低減すること。【解決手段】提供装置は、ユーザが存在する実空間の実オブジェクトの、実空間の位置情報を取得する実空間情報取得部と、仮想空間に存在する仮想オブジェクトの、仮想空間の位置情報を取得する仮想空間情報取得部と、実空間において実オブジェクトに対してユーザが所定の動作を行ったか否かを判定するユーザ動作判定部と、実空間の位置情報と仮想空間の位置情報とを整合させ、実空間においてユーザが実オブジェクトに対して所定の動作を行ったとユーザ動作判定部が判定した場合に、実空間と仮想空間との間の状態を示す遷移映像を生成し、ユーザに対して仮想空間を提供する前に遷移映像を含む遷移空間を提供する仮想空間提供部と、を備える。【選択図】図３

Description

本発明は、提供装置および提供方法に関する。

ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）などのウェアラブルデバイスを用いて、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間や、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間などの仮想空間を提供する技術が知られている。例えば、特許文献１には、高品質のバーチャルリアリティ体験を提供することのできる技術が開示されている。

特開２０１９－８５１３号公報

ユーザに仮想空間を提供する場合、ユーザが視認する映像は急激に変化する。このため、ユーザが視認する映像が実空間から仮想空間に移行した際に違和感を与える可能性がある。

本発明は、仮想空間を提供する際の違和感を低減することのできる提供装置および提供方法を提供することを目的とする。

本発明の提供装置は、ユーザが存在する実空間の実オブジェクトの、前記実空間の位置情報を取得する実空間情報取得部と、仮想空間に存在する仮想オブジェクトの、前記仮想空間の位置情報を取得する仮想空間情報取得部と、前記実空間において前記実オブジェクトに対して前記ユーザが所定の動作を行ったか否かを判定するユーザ動作判定部と、前記実空間の位置情報と前記仮想空間の位置情報とを整合させ、前記実空間において前記ユーザが前記実オブジェクトに対して所定の動作を行ったと前記ユーザ動作判定部が判定した場合に、前記実空間と前記仮想空間との間の状態を示す遷移映像を生成し、前記ユーザに対して前記仮想空間を提供する前に前記遷移映像を含む遷移空間を提供する仮想空間提供部と、を備える。

本発明の提供方法は、ユーザが存在する実空間の実オブジェクトの、前記実空間の位置情報を取得するステップと、仮想空間に存在する仮想オブジェクトの、前記仮想空間の位置情報を取得するステップと、前記実空間において前記実オブジェクトに対して前記ユーザが所定の動作を行ったか否かを判定するステップと、前記実空間の位置情報と前記仮想空間の位置情報とを整合させ、前記実空間において前記ユーザが前記実オブジェクトに対して所定の動作を行ったと判定された場合に、前記実空間と前記仮想空間との間の状態を示す遷移映像を生成し、前記ユーザに対して前記仮想空間を提供する前に前記遷移映像を含む遷移空間を提供するステップと、を含む。

本発明によれば、仮想空間を提供する際の違和感を低減することができる。

図１は、実施形態に係る実空間と仮想空間の概要を説明するための図である。 図２は、実施形態に係る提供システムの構成例を示す図である。 図３は、実施形態に係る提供装置の構成例を示すブロック図である。 図４は、実施形態に係る提供装置の仮想空間の提供処理の流れを示すフローチャートである。 図５は、実施形態に係る提供装置の仮想空間の提供を終了する処理の流れを示すフローチャートである。 図６は、実施形態の変形例に係る提供装置の構成例を示すブロック図である。 図７は、実施形態の変形例に係る提供装置の仮想空間の提供処理の流れを示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［実施形態］
図１を用いて、実施形態に係る実空間と仮想空間の概要について説明する。図１は、実施形態に係る実空間と仮想空間の概要を説明するための図である。

本実施形態において、提供装置１０は、ユーザＵに対して仮想空間を提供する。提供装置１０は、画像を表示することでユーザＵに対して仮想空間を提供する。提供装置１０は、例えば、ユーザＵの頭部に装着されるヘッドマウントディスプレイである。

図１に示す例では、ユーザＵが実際に存在する現実の空間を実空間１００とし、提供装置１０が提供する仮想の空間を仮想空間２００とする。提供装置１０は、実空間１００におけるユーザＵの視線および体の動きを含む動作に応じて、仮想空間２００用の画像を表示する。提供装置１０は、ユーザＵが仮想空間２００でユーザアバターＡＵとして動作していることを模擬して、仮想空間２００用の画像を表示する。本実施形態では、提供装置１０は、実空間１００においてユーザＵが窓１１０および机１２０等の実オブジェクトに対して所定の動作を取った場合に、実空間１００と仮想空間２００との間の遷移映像を表示させた後に、仮想空間２００用の画像を表示する。これにより、ユーザＵは、ユーザＵ自身が仮想空間２００内に存在していると認識することができる。本実施形態において、仮想空間２００は、ＡＲ空間であってもよいし、ＶＲ空間であってもよいし、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間であってもよい。

（提供システム）
図２を用いて、実施形態に係る提供システムの構成例について説明する。図２は、実施形態に係る提供システムの構成例を示す図である。

図２に示すように、提供システム１は、提供装置１０と、情報処理装置１２とを含む。提供装置１０と、情報処理装置１２とは、有線または無線のネットワークＮを介して、通信可能に接続されている。ネットワークＮは、例えば、インターネット網であるが、これに限定されない。

本実施形態では、提供システム１は、ユーザＵに仮想空間２００を提供する。図１に示す例では、ユーザＵが提供装置１０を装着しており、提供装置１０は、仮想空間２００におけるユーザアバターＡＵの視野範囲Ｒの仮想空間２００の画像を、仮想空間２００用の画像としてユーザＵに提供する。なお、情報処理装置１２は、ユーザＵとは異なる複数の他のユーザに対して仮想空間２００を提供してもよい。すなわち、仮想空間２００は、複数のユーザで共有できる空間であってもよい。仮想空間を共有するユーザの数は、任意であってよい。

情報処理装置１２は、仮想空間２００用の情報の情報処理を行う装置である。情報処理装置１２は、提供装置１０と情報の送受信を行って、仮想空間２００用の画像の画像処理を行うサーバといえる。例えば、情報処理装置１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置とを有する。情報処理装置１２は、コンピュータであり、記憶装置からプログラム（ソフトウェア）を読み出して実行することで、処理を実行する。

（提供装置）
図３を用いて、実施形態に係る提供装置の構成例について説明する。図３は、実施形態に係る提供装置の構成例を示すブロック図である。

図３に示すように、提供装置１０は、入力部２０と、出力部２２と、記憶部２４と、通信部２６と、検出部２８と、制御部３０と、を備える。

入力部２０は、提供装置１０に対する各種の入力操作を受け付ける。入力部２０は、受け付けた入力操作に応じた操作信号を制御部３０に出力する。入力部２０は、例えば、ボタン、スイッチ、マイクなどを含む。

出力部２２は、各種の情報を出力する。出力部２２は、例えば、各種の映像を表示する表示部を含む。表示部は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などを含むディスプレイである。出力部２２は、例えば、各種の音声を出力するスピーカ、イヤホンジャックなどを含む。

記憶部２４は、各種の情報を記憶している。記憶部２４は、制御部３０の演算内容、およびプログラム等の情報を記憶する。記憶部２４は、例えば、ＲＡＭと、ＲＯＭのような主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置とのうち、少なくとも１つ含む。

通信部２６は、提供装置１０と、外部の装置との間の通信を実行する通信モジュールである。通信部２６は、例えば、提供装置１０と、情報処理装置１２との間の通信を実行する。

検出部２８は、実空間１００におけるユーザＵの各種の状態と、提供装置１０の周囲とを検出するセンサである。検出部２８は、実空間１００におけるユーザＵの位置と、ユーザＵの姿勢と、提供装置１０の周囲とを検出するセンサである。

検出部２８は、例えば、位置センサ、加速度センサ、ジャイロセンサ、ステレオカメラ、およびＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどを含む。位置センサは、実空間におけるユーザＵの位置を検出する。加速度センサは、実空間１００におけるユーザＵの動きを検出する。ジャイロセンサは、実空間１００におけるユーザＵの姿勢を検出する。ステレオカメラおよびＴｏＦセンサは、実空間における提供装置１０の周囲を検出する。検出部２８は、例えば、ユーザＵの頭、手、腰、足などに装着される。

検出部２８は、実空間１００おけるユーザＵの位置と、ユーザＵの姿勢と、提供装置１０の周囲の実空間１００に存在する物体とを検出可能であれば、これらに限定されない。検出部２８は、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）で実空間１００に存在する物体を検出してもよい。検出部２８は、例えば、カメラで撮像した実空間１００の画像を用いてユーザＵの位置および姿勢を検出してもよい。検出部２８は、位置センサとしてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やビーコンなどを用いてもよい。

制御部３０は、提供装置１０の各部を制御する。制御部３０は、例えば、ＣＰＵやＭＰＵなどの情報処理装置と、ＲＡＭ又はＲＯＭなどの記憶装置とを有する。制御部３０は、本発明に係る提供装置１０の動作を制御するプログラムを実行する。制御部３０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部３０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部３０は、実空間情報取得部４０と、仮想空間情報取得部４２と、位置情報取得部４４と、ユーザ動作判定部４６と、仮想空間提供部４８と、を備える。

実空間情報取得部４０は、実空間１００に存在する実オブジェクトに関する情報を取得する。実オブジェクトは、実空間１００に存在する物体をいう。図１に示す例では、窓１１０および机１２０が実オブジェクトの一種である。実オブジェクトに関する情報は、実空間１００における、ユーザＵと実オブジェクトとの相対位置関係を示す相対位置情報と、実オブジェクトの絶対位置情報を示す絶対位置情報とを含む。実オブジェクトに関する情報は、実オブジェクトの形状に関する情報、実オブジェクトの種類に関する情報を含む。

実空間情報取得部４０は、検出部２８を制御して、検出部２８に提供装置１０の周囲の物体を検出させる。実空間情報取得部４０は、検出部２８による検出結果に基づいて、公知の技術を用いて検出した物体から複数の特徴点および領域を抽出する。実空間情報取得部４０は、抽出した特徴点および領域に基づいて、実オブジェクトに関する情報を取得する。実空間情報取得部４０が実オブジェクトに関する情報を取得する方法は、これに限定されない。例えば、ユーザＵの部屋の家具の位置や形状の情報などが、実オブジェクトに関する情報として予め設定されており、実空間情報取得部４０は、設定された実オブジェクトに関する情報を取得してもよい。

実空間情報取得部４０によって取得される対象となる実オブジェクトの種類は任意であってよい。本実施形態において、実空間情報取得部４０は、実空間において動かない物体（例えば窓１１０や机１２０など）についての位置情報および形状情報を、実オブジェクトの情報として取得する。

仮想空間情報取得部４２は、仮想空間２００に存在する仮想オブジェクトに関する情報を取得する。仮想オブジェクトは、仮想空間２００に存在する物体をいう。図１に示す例では、仮想窓２１０および仮想机２２０が仮想オブジェクトの一種である。仮想オブジェクトに関する情報は、仮想空間２００における、ユーザアバターＡＵと仮想オブジェクトとの相対位置関係を示す相対位置情報と、仮想オブジェクトの絶対位置情報を示す絶対位置情報とを含む。仮想オブジェクトに関する情報は、仮想オブジェクトの形状に関する情報、仮想オブジェクトの種類に関する情報を含む。

位置情報取得部４４は、ユーザ位置情報を取得する。ユーザ位置情報は、実空間情報取得部４０が取得した実オブジェクトに関する情報と、仮想空間情報取得部４２が取得した仮想オブジェクトに関する情報とに基づいて設定された、仮想空間２００におけるユーザアバターＡＵの位置を示す情報である。

本実施形態では、位置情報取得部４４は、実オブジェクトとユーザＵの位置関係に基づいて算出した、仮想オブジェクトと仮想空間２００におけるユーザアバターＡＵの位置関係によってユーザ位置情報を設定する。具体的には、位置情報取得部４４は、仮想空間２００におけるユーザアバターＡＵに対する仮想オブジェクトの位置が、実空間１００におけるユーザＵに対する実オブジェクトの位置に対応するように、ユーザ位置情報を設定する。言い換えれば、ユーザ位置情報が示す仮想空間２００におけるユーザアバターＡＵの位置は、仮想オブジェクトからユーザアバターＡＵまでの向きおよび距離が、実空間１００における実オブジェクトからユーザＵまでの向きおよび距離に対応するように、設定される。

ユーザ動作判定部４６は、実空間１００において、ユーザＵが実オブジェクトに対して所定の動作を行ったか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザＵの実オブジェクトに対する着目度を判定する。実オブジェクトに対する着目度は、実オブジェクトを注視している時間や、実オブジェクトを所定の間隔で繰り返し見た回数などにより算出される。ユーザ動作判定部４６は、実オブジェクトを注視している時間が長いほど、および実オブジェクトを所定の間隔で繰り返し見た回数が多いほど、着目度を高く算出する。ユーザ動作判定部４６は、ユーザＵの実オブジェクトに対する着目度が所定の閾値を超えているか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザＵが実オブジェクトに対して手をかざしたか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザＵが実オブジェクトに所定距離以内に近づいた状態で、その実オブジェクトに対して手をかざしたか否かを判定する。実空間１００における所定の動作は、これらに限定されず、その他の動作が含まれてよい。実空間１００における所定の動作は、予めユーザＵが任意に設定することができる。

ユーザ動作判定部４６は、仮想空間２００において、ユーザアバターＡＵが仮想オブジェクトに対して所定の動作を行ったか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザアバターＡＵの仮想オブジェクトに対する着目度を判定する。仮想オブジェクトに対する着目度は、仮想オブジェクトを注視している時間や、仮想オブジェクトを所定の間隔で繰り返し見た回数などにより算出される。ユーザ動作判定部４６は、仮想オブジェクトを注視している時間が長いほど、および仮想オブジェクトを所定の間隔で繰り返し見た回数が多いほど、着目度を高く算出する。ユーザ動作判定部４６は、ユーザアバターＡＵの仮想オブジェクトに対する着目度が所定の閾値を超えているか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザアバターＡＵが仮想オブジェクトに対して手をかざしたか否かを判定する。ユーザ動作判定部４６は、例えば、ユーザアバターＡＵが仮想オブジェクトに所定距離以内に近づいた状態で、その仮想オブジェクトに対して手をかざしたか否かを判定する。仮想空間２００における所定の動作は、これらに限定されず、その他の動作が含まれてよい。仮想空間２００における所定の動作は、予めユーザＵが任意に設定することができる。

仮想空間提供部４８は、ユーザ位置情報に基づいて、ユーザＵに仮想空間２００を提供する。仮想空間提供部４８は、ユーザ位置情報が示す位置を仮想空間２００におけるユーザアバターＡＵの位置に設定して、ユーザＵに仮想空間２００を提供する。具体的には、仮想空間提供部４８は、実空間１００におけるユーザＵの位置および向きの情報を取得し、実空間１００におけるユーザＵの位置および向きを、仮想空間２００の座標系においてユーザ位置情報が示すユーザアバターＡＵの視点の位置および向きに換算する。仮想空間提供部４８は、算出したユーザＵの視点の位置および姿勢から仮想空間２００を視認した場合の仮想空間２００の画像を、仮想空間２００用の画像として出力部２２に出力させる。

仮想空間提供部４８は、ユーザ動作判定部４６によるユーザＵの動作の判定結果に基づいて、ユーザＵに仮想空間２００を提供する。仮想空間提供部４８は、ユーザＵが所定の動作を行ったと判定された場合に、ユーザＵに仮想空間２００を提供する。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザＵの机１２０に対する着目度が所定の閾値を超えたと判定された場合に、ユーザＵに仮想空間２００を提供する。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザＵの机１２０に対する着目度が所定の閾値を超え、かつユーザＵが机１２０に手をかざしたと判定された場合に、ユーザＵに仮想空間２００を提供する。

本実施形態において、実空間１００におけるユーザＵの位置と姿勢とは、仮想空間２００におけるユーザアバターＡＵの視点の位置と姿勢とに反映される。このため、実空間１００でユーザＵが移動した場合、仮想空間２００におけるユーザアバターＡＵの視点の位置姿勢も移動する。この場合、実空間１００におけるユーザＵの移動量と、仮想空間２００におけるユーザアバターＡＵの視点の移動量とは、対応付けられることが好ましい。

仮想空間提供部４８は、仮想オブジェクトに重畳するように、実オブジェクトを示す画像を、仮想空間２００内で表示させてもよい。仮想空間提供部４８は、仮想オブジェクトの形状情報と実オブジェクトの形状情報とに基づき、仮想オブジェクトに重畳するように、実オブジェクトを示す画像を、仮想空間２００内で表示させてもよい。例えば、仮想空間提供部４８は、仮想オブジェクトの大きさが実オブジェクトの大きさよりも大きい場合に、仮想オブジェクトに重畳するように、実オブジェクトを示す画像を、仮想空間２００内に表示させてよい。この場合、出力部２２は、実空間１００を透過しつつ仮想空間２００の画像を表示するＡＲ空間を提供するものであってもよいし、仮想空間２００の画像と、実オブジェクトを示す画像とを、重畳して表示させてもよい。また、仮想オブジェクトのうち、実オブジェクトと重なっていない部分は、仮想空間２００の画像から削除したり、実オブジェクトと関連付けられていない領域として情報提示したりしてもよい。

本実施形態では、仮想空間提供部４８は、仮想空間２００を提供する前に、実空間１００と仮想空間２００との間の状態を示す遷移映像を含む遷移空間をユーザＵに提供する。仮想空間提供部４８は、仮想空間２００を提供する前に、実空間１００の実オブジェクトと仮想空間２００の仮想オブジェクトとの間の状態を示す遷移映像を含む遷移空間をユーザＵに提供する。遷移映像は、例えば、実空間１００の映像を５０％、仮想空間２００の映像を５０％の割合で含む映像であるが、これに限定されない。仮想空間提供部４８は、例えば、遷移映像として、机１２０に対して机１２０と同一の大きさおよび形状の３Ｄの机をＡＲで重畳させて出力部２２に表示させる。この場合、仮想空間提供部４８は、ユーザＵが３Ｄの机の引き出しを開けた場合に、仮想空間２００の表示領域を徐々に大きくして、仮想空間２００に吸い込まれるような体験を起こす。この時、仮想空間提供部４８は、仮想空間２００の映像だけでなく、仮想空間２００の音声も実空間１００の音声に重畳して出力部２２に出力させる。仮想空間提供部４８は、ユーザＵが仮想空間２００に移行した後は、仮想空間２００の映像および仮想空間２００の音声のみを出力部２２に出力させる。

仮想空間提供部４８は、実オブジェクトの種類に応じた遷移映像を出力部２２に表示させてもよい。仮想空間提供部４８は、例えば、実オブジェクトがマンホールである場合には、マンホールが柔らかいチューブのように伸びてきて、ユーザＵの体が小さくなってチューブに入れるような体験を起こす遷移映像を出力部２２に表示させてもよい。仮想空間提供部４８は、例えば、実オブジェクトがビルの窓の場合は、梯子やエスカレータが現れて窓へ向かって上っている体験を起こす遷移映像を出力部２２に表示させてもよい。

仮想空間提供部４８は、ユーザ動作判定部４６によるユーザアバターＡＵの動作の判定結果に基づいて、仮想空間２００の提供を終了し、ユーザＵを実空間１００に戻す。仮想空間提供部４８は、ユーザアバターＡＵが所定の動作を行ったと判定された場合に、ユーザＵを実空間１００に戻す。仮想空間提供部４８は、仮想空間２００から実空間１００に戻る前に、仮想空間２００と実空間１００との間の遷移映像をユーザＵに提供する。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵの仮想机２２０に対する着目度が所定の閾値を超えたと判定された場合に、ユーザＵを実空間１００に戻す。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵの仮想机２２０に対する着目度が所定の閾値を超え、かつユーザアバターＡＵが仮想机２２０に手をかざしたと判定された場合に、ユーザＵを実空間１００に戻す。

仮想空間提供部４８は、実空間１００に戻るための出口を仮想空間２００に表示させてもよい。この場合、仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵの出口に対する着目度が所定の閾値を超えたと判定された場合に、ユーザＵを実空間１００に戻す。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵの出口に対する着目度が所定の閾値を超え、かつユーザアバターＡＵが出口に手をかざしたと判定された場合に、ユーザＵを実空間１００に戻す。

仮想空間提供部４８は、仮想空間２００から実空間１００に戻る前に、仮想空間２００と実空間１００との間の遷移映像をユーザＵに提供する。仮想空間提供部４８は、例えば、実空間１００への出口の表示領域を徐々に大きくして、実空間１００に吸い込まれるような体験を起こす。この時、仮想空間提供部４８は、実空間１００の映像だけでなく、実空間１００の音声も仮想空間２００の音声に重畳して出力部２２に出力させる。

（提供装置の処理）
図４を用いて、実施形態に係る提供装置の処理内容について説明する。図４は、実施形態に係る提供装置の仮想空間の提供処理の流れを示すフローチャートである。

図４に示す処理は、提供装置１０がユーザに対して、仮想空間２００を提供する処理である。具体的には、図４は、ユーザＵが部屋で提供装置１０を着用し、仮想空間２００内で花火を見る例の処理を示す。

実空間情報取得部４０は、提供装置１０の周囲に存在する実オブジェクトに関する情報を取得する（ステップＳ１０）。具体的には、実空間情報取得部４０は、検出部２８に検出させた提供装置１０の周囲に存在する実オブジェクトに関する情報を検出部２８から取得する。そして、ステップＳ１２に進む。

仮想空間情報取得部４２は、仮想空間に存在する仮想オブジェクトに関する情報を取得する（ステップＳ１２）。具体的には、仮想空間情報取得部４２は、通信部２６を介して、情報処理装置１２から仮想オブジェクトに関する情報を取得する。そして、ステップＳ１４に進む。

位置情報取得部４４は、仮想空間におけるユーザの位置を示すユーザ位置情報を取得する（ステップＳ１４）。そして、ステップＳ１６に進む。

ユーザ動作判定部４６は、ユーザＵが実空間１００で所定の動作を行ったか否かを判定する（ステップＳ１６）。例えば、ユーザ動作判定部４６は、ユーザが部屋に入るために部屋の扉に手を触れた場合に、実空間１００で所定の動作を行ったと判定する。ユーザが実空間で所定の動作を行ったと判定された場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１８に進む。ユーザが実空間で所定の動作を行ったと判定されない場合（ステップＳ１６；Ｎｏ）、ステップＳ１６の処理を繰り返す。

ステップＳ１６でＹｅｓと判定された場合、仮想空間提供部４８は、ユーザＵに対して遷移空間を提供する（ステップＳ１８）。例えば、仮想空間提供部４８は、ユーザ動作判定部４６によりユーザＵが部屋の扉に手を触れたと判定されると、扉の向こうから聞こえてくるような花火の音を出力部２２に出力させる。そして、仮想空間提供部４８は、ユーザ動作判定部４６によりユーザＵが部屋に入り窓１１０に視線を向けたと判定されると、窓１１０に薄っすらとした花火の映像を重畳して出力部２２に表示させる。そして、ステップＳ２０に進む。

仮想空間提供部４８は、ユーザＵに対して仮想空間を提供する（ステップＳ２０）。具体的には、仮想空間提供部４８は、実空間１００のユーザＵの位置情報と、仮想空間２００のユーザアバターＡＵの位置情報とを整合させた仮想空間をユーザＵに対して提供する。仮想空間提供部４８は、例えば、仮想空間２００において、高い位置にある仮想窓２１０から梯子が伸びてくる映像を出力部２２に出力させる。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵが梯子に手をかけたと判定されると、ユーザアバターＡＵが梯子を昇っている映像を出力部２２に出力させる。この際、仮想空間提供部４８は、梯子を昇るに連れて仮想窓２１０の外から聞こえてくる花火の音を大きくして出力部２２に出力させる。仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵが仮想窓２１０を開けたと判定されると、仮想窓２１０の外には晴れた日の夜の景色の中で、花火が上がっている映像を出力部２２に出力させる。この際、仮想空間提供部４８は、花火の音を鮮明にして出力部２２に出力させる。そして、仮想空間提供部４８は、例えば、ユーザ動作判定部４６によりユーザアバターＡＵが仮想窓２１０から視線を外して周りを見渡していると判定されると、高い位置から部屋を見渡しているような映像を出力部２２に表示させる。そして、図４の処理を提供する。

図５を用いて、実施形態に係る提供装置の処理内容について説明する。図５は、実施形態に係る提供装置の仮想空間の提供を終了する処理の流れを示すフローチャートである。

ユーザ動作判定部４６は、ユーザアバターＡＵが仮想空間２００で所定の動作を行ったか否かを判定する（ステップＳ３０）。例えば、ユーザ動作判定部４６は、ユーザアバターＡＵが仮想窓２１０を閉めて、梯子を見た場合に、ユーザアバターＡＵが仮想空間２００で所定の動作を行ったと判定する。ユーザアバターＡＵが仮想空間２００で所定の動作を行ったと判定された場合（ステップＳ３０；Ｙｅｓ）、ステップＳ３２に進む。ユーザアバターＡＵが仮想空間２００で所定の動作を行ったと判定されない場合（ステップＳ３０；Ｎｏ）、ステップＳ３０の処理を繰り返す。

ステップＳ３０でＹｅｓと判定された場合、仮想空間提供部４８は、ユーザＵに対して遷移空間を提供する（ステップＳ３２）。例えば、仮想空間提供部４８は、ユーザ動作判定部４６によりユーザＵが梯子に手をかけたと判定されると、梯子を降りる映像を出力部２２に出力させる。そして、仮想空間提供部４８は、ユーザ動作判定部４６によりユーザＵが仮想窓２１０に視線を向けたと判定されると、仮想窓２１０の方から花火の音が聞こえ、仮想窓２１０に薄っすらとした花火の映像を重畳して出力部２２に表示させる。そして、ステップＳ３４に進む。

仮想空間提供部４８は、ユーザに対して仮想空間２００の提供を終了する（ステップＳ３４）。具体的には、仮想空間提供部４８は、花火の映像の出力および花火の音声の出力を終了させるとともに、出力部２２に仮想空間２００の表示を停止させる。そして、図５の処理を終了する。

上述のとおり、実施形態は、ユーザに対して仮想空間を提供する前に、実空間と仮想空間との間の状態を示す遷移空間を提供する。これにより、実施形態は、仮想空間が提供された際の、実空間から仮想空間に切り替わる際の映像の急激な変化による違和感を低減することができる。また、実施形態は、仮想空間が提供された際の、実空間から仮想空間に切り替わる際の音声による急激な変化による聴覚上の違和感も低減することができる。

［実施形態の変形例］
図６を用いて、実施形態の変形例に係る提供装置の構成例について説明する。図６は、実施形態の変形例に係る提供装置の構成例を示すブロック図である。

図６に示すように、提供装置１０Ａは、制御部３０Ａがイベント検出部５０と、報知部５２とを備える点で、図３に示す提供装置１０と異なる。

イベント検出部５０は、実空間１００において、ユーザＵに対して発生するイベントを検出する。イベント検出部５０は、仮想空間提供部４８がユーザＵに対して仮想空間２００を提供している際に、実空間１００において、ユーザＵに対して発生するイベントを検出する。イベント検出部５０は、例えば、実空間１００において、ユーザＵと実オブジェクトとが接触する可能性があることをイベントとして検出する。

イベント検出部５０は、例えば、ユーザＵと、検出部２８が検出した実オブジェクトとの距離に基づいて、イベントを検出する。イベント検出部５０は、例えば、ユーザＵと、実オブジェクトとの間の距離が閾値以下である場合に、ユーザＵに対してイベントが発生したことを検出する。イベント検出部５０は、例えば、実オブジェクトの種類に応じて、距離の閾値を変更してもよい。イベント検出部５０は、例えば、実オブジェクトがユーザＵに接近する動体である場合には実オブジェクトが静止体である場合よりも、距離の閾値を長くしてよい。イベント検出部５０は、例えば、実オブジェクトが動体である場合には、検出部２８が検出した実オブジェクトの速度情報に基づいて、距離の閾値を変更してもよい。イベント検出部５０は、例えば、実オブジェクトの移動速度が速いほど、距離の閾値を長くしてよい。

イベント検出部５０は、イベントを検出した場合、検出したイベントの危険レベルを判定してもよい。危険レベルは、イベントを報知する緊急性の高さの度合いをいう。イベント検出部５０は、例えば、ユーザＵと検出された実オブジェクトが接触した場合に、ユーザＵが怪我をする可能性が高いほど危険レベルを高く判定する。イベント検出部５０は、例えば、ユーザＵと検出された実オブジェクトが接触した場合に、ユーザＵが大きな怪我をする可能性が高いほど危険レベルを高く判定する。イベント検出部５０は、例えば、「高」、「中」、「低」などのように段階的に危険レベルを判定してよい。イベント検出部５０は、例えば、「１」、「２」、「３」などのように数値で危険レベルを判定してよい。

イベント検出部５０は、例えば、検出された実オブジェクトの種類に応じて危険レベルを判定してよい。イベント検出部５０は、例えば、実オブジェクトがイスなどの家具である場合には危険レベルを低く判定し、実オブジェクトが走行している車両などである場合には危険レベルを高く判定してよい。

イベント検出部５０は、例えば、検出された実オブジェクトの大きさに応じて危険レベルを判定してよい。イベント検出部５０は、例えば、実オブジェクトの大きさが小さいほど危険レベルを低く判定し、実オブジェクトの大きさが大きいほど危険レベルを高く判定してよい。

イベント検出部５０は、例えば、検出された実オブジェクトの移動速度に応じて危険レベルを判定してよい。イベント検出部５０は、例えば、実オブジェクトの移動速度が遅いほど危険レベルを低く判定し、実オブジェクトの移動速度が速いほど危険レベルを高く判定してよい。

報知部５２は、イベント検出部５０がイベントを検出すると、ユーザＵに対してイベントが検出されたことを報知する。報知部５２は、例えば、イベント検出部５０がイベントを検出すると、出力部２２を制御して、報知音および報知映像などを出力させることで、ユーザＵに対してイベントが検出されたことを報知する。

報知部５２は、イベント検出部５０が検出したイベントの危険レベルに応じて報知の方法を変更してよい。報知部５２は、例えば、危険レベルが高いほど報知の強度を強くしてよい。報知部５２は、例えば、危険レベルが高いほど報知音を大きくして出力部２２に出力させてもよい。報知部５２は、例えば、危険レベルが高いほど報知映像を目立つ態様で出力部２２に出力させてもよい。

（提供装置の処理）
図７を用いて、実施形態の変形例に係る提供装置の処理内容について説明する。図７は、実施形態の変形例に係る提供装置の仮想空間の提供処理の流れを示すフローチャートである。

図７に示す処理は、提供装置１０ＡがユーザＵに対して仮想空間２００を提供している際に実行される処理である。

イベント検出部５０は、実空間１００でユーザＵに対するイベントを検出したか否かを判定する（ステップＳ４０）。具体的には、イベント検出部５０は、検出部２８が検出した、ユーザＵと実オブジェクトとの間の距離が所定の閾値以下である場合に、ユーザＵに対するイベントを検出する。ユーザＵに対するイベントが検出された場合（ステップＳ４０；Ｙｅｓ）、ステップＳ４２に進む。ユーザＵに対するイベントが検出されない場合（ステップＳ４０；Ｎｏ）、ステップＳ４６に進む。

ステップＳ４０でＹｅｓと判定された場合、イベント検出部５０は、検出したイベントの危険レベルを判定する（ステップＳ４２）。具体的には、イベント検出部５０は、検出した実オブジェクトの種類や移動速度に基づいて、危険レベルを判定する。そして、ステップＳ４４に進む。

報知部５２は、危険レベルに応じた報知を行う（ステップＳ４４）。具体的には、報知部５２は、出力部２２を制御して、危険レベルに応じた報知音または報知映像を出力させる。そして、ステップＳ４６に進む。

制御部３０Ａは、処理を終了するか否かを判定する（ステップＳ４６）。具体的には、制御部３０Ａは、仮想空間提供部４８がユーザＵに対して仮想空間２００の提供を終了した場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ４６；Ｙｅｓ）、図７の処理を終了する。処理を終了すると判定されない場合（ステップＳ４６；Ｎｏ）、ステップＳ４０に進む。

実施形態の変形例では、ユーザに対して仮想空間が提供されているときに、実空間で実オブジェクトとの接触の可能性をイベントとして検出し、イベントが検出された場合にイベントが検出されたことをユーザに報知する。これにより、実施形態の変形例は、仮想空間を体験しているユーザの安全性を向上させることができる。

なお、実施形態および実施形態の変形例では、提供装置１０および提供装置１０Ａは、ユーザＵの頭部に装着されるヘッドマウントディスプレイであるものとして説明したが、本発明はこれに限定されない。提供装置１０および提供装置１０Ａは、例えば、実オブジェクト、スクリーン、および実空間などに映像を投影する投影装置であってもよい。この場合、提供装置１０または提供装置１０Ａは、例えば、実空間などに映像を投影することによって、ユーザＵに対して仮想空間を提供してよい。

図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 提供システム
１０，１０Ａ 提供装置
１２ 情報処理装置
２０ 入力部
２２ 出力部
２４ 記憶部
２６ 通信部
２８ 検出部
３０ 制御部
４０ 実空間情報取得部
４２ 仮想空間情報取得部
４４ 位置情報取得部
４６ ユーザ動作判定部
４８ 仮想空間提供部
５０ イベント検出部
５２ 報知部

Claims (5)

1. ユーザが存在する実空間の実オブジェクトの、前記実空間の位置情報を取得する実空間情報取得部と、
   仮想空間に存在する仮想オブジェクトの、前記仮想空間の位置情報を取得する仮想空間情報取得部と、
   前記実空間において前記実オブジェクトに対して前記ユーザが所定の動作を行ったか否かを判定するユーザ動作判定部と、
   前記実空間の位置情報と前記仮想空間の位置情報とを整合させ、前記実空間において前記ユーザが前記実オブジェクトに対して所定の動作を行ったと前記ユーザ動作判定部が判定した場合に、前記実空間と前記仮想空間との間の状態を示す遷移映像を生成し、前記ユーザに対して前記仮想空間を提供する前に前記遷移映像を含む遷移空間を提供する仮想空間提供部と、
   を備える、提供装置。
2. 前記仮想空間提供部は、前記実オブジェクトの種類に応じた前記遷移映像を生成する、
   請求項１に記載の提供装置。
3. 前記所定の動作は、前記実オブジェクトに対して注視する動作および手をかざす動作の少なくとも一方を含む、
   請求項１または２に記載の提供装置。
4. 前記ユーザ動作判定部は、前記仮想空間において前記仮想オブジェクトに対して前記ユーザが所定の動作を行ったか否かを判定し、
   前記仮想空間提供部は、前記仮想空間において前記ユーザが前記仮想オブジェクトに対して所定の動作を行ったと前記ユーザ動作判定部が判定した場合に、前記ユーザに対して前記実空間を提供する前に前記遷移映像を提供する、
   請求項１または２に記載の提供装置。
5. ユーザが存在する実空間の実オブジェクトの、前記実空間の位置情報を取得するステップと、
   仮想空間に存在する仮想オブジェクトの、前記仮想空間の位置情報を取得するステップと、
   前記実空間において前記実オブジェクトに対して前記ユーザが所定の動作を行ったか否かを判定するステップと、
   前記実空間の位置情報と前記仮想空間の位置情報とを整合させ、前記実空間において前記ユーザが前記実オブジェクトに対して所定の動作を行ったと判定された場合に、前記実空間と前記仮想空間との間の状態を示す遷移映像を生成し、前記ユーザに対して前記仮想空間を提供する前に前記遷移映像を含む遷移空間を提供するステップと、
   を含む、提供方法。

Images