WO2022239297A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

Abstract

本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える。これにより、高品質な視聴体験を実現することが可能となる。また仮想空間内の空間を維持しつつ仮想オブジェクトを含むコンテンツ作成時の制約をなくすことが可能である。

Description

情報処理装置、情報処理方法、及び記録媒体

　本技術は、画像表示に適用可能な情報処理装置、情報処理方法、及び記録媒体に関する。

　特許文献１には、表示部が立体画像を表示する表示面の下端から上端までの距離、及び実空間における水平面と表示面とがなす角度に応じた領域に、水平面と平行な第１の平面が観察されるように立体画像を表示させる情報処理装置が記載される。これにより、立体画像を観察するユーザの負担を抑制することが図られている（特許文献１の明細書段落［００２５］～［００５７］図４等）。

国際公開第２０１８／１１６５８０号

　このような立体画像を表示するデバイスにおいて、高品質な視聴体験を実現することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を実現することが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
　前記表示制御部は、仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える。

　この情報処理装置では、仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式が切り替えられる。これにより、高品質な視聴体験を実現することが可能となる。

　前記仮想空間は、第１の領域及び第２の領域を含んでもよい。この場合、前記表示制御部は、前記第１の領域に表示される前記仮想オブジェクトの表示形式を切り替えてもよい。

　前記情報処理装置であって、さらに、前記仮想オブジェクトが前記表示形式の切替の対象となるか否かを判定する判定部を具備してもよい。

　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域に存在するか否かを判定し、前記仮想オブジェクトが前記第１の領域に存在する場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域の境界を横断しているか否かを判定し、前記仮想オブジェクトが前記第１の領域を横断している場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　前記判定部は、前記視点情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトにおける前記視点情報が変化したか否かを判定し、前記視点情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　前記判定部は、前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトの前記位置情報が変化したか否かを判定し、前記位置情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　前記判定部は、前記視点情報及び前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトが前記ユーザの視界内に存在しているか否かを判定し、前記仮想オブジェクトが前記ユーザの視界内に存在している場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　前記情報処理装置であって、さらに、前記表示形式の切替の対象となった前記仮想オブジェクトに対する前記ユーザの視差を算出する算出部を具備してもよい。

　前記表示制御部は、前記算出部による算出結果に基づいて、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を切り替えてもよい。

　前記仮想オブジェクトは、立体画像及び平面画像を含んでもよい。この場合、前記表示形式の切替は、前記仮想オブジェクトを前記立体画像から前記平面画像への切替、又は前記仮想オブジェクトの前記平面画像から前記立体画像への切替の少なくとも一方を含んでもよい。

　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記立体画像から前記平面画像へ切り替えてもよい。

　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持してもよい。

　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記平面画像から前記立体画像へ切り替えてもよい。

　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持してもよい。

　前記判定部は、所定の時間内に前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えたか否かを判定し、前記所定の時間内に前記ユーザの視差の変化量が閾値を超えた場合、前記仮想オブジェクトを前記表示形式の切替の対象としてもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムが実行する情報処理方法であって、仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替えることを含む。

　本技術の一形態に係るプログラムを記載した記録媒体は、コンピュータシステムに以下のステップを実行させる。
　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替えるステップ。

本技術の第１の実施形態に係る画像表示システムを模式的に示す図である。 仮想空間を示す模式図である。 表示形式の切替が行われた仮想オブジェクトの表示例を示す模式図である。 情報処理装置の構成例を示すブロック図である。 表示形式の切替のフローチャートである。 仮想オブジェクトが表示領域を横断している場合を示す模式図である。 ユーザの視点の位置が変化した場合を示す模式図である。 仮想オブジェクトの位置が変化した場合を示す模式図である。 視差計算対象が複数の場合を示す模式図である。 ユーザの視点の位置が変化した場合を示す模式図である。 ユーザの視点の位置が変化した場合を示す模式図である。 完全没入型ヘッドマウントディスプレイ及びビデオシースルー型ヘッドマウントディスプレイの表示形式の切替のフローチャートである。 完全没入型ヘッドマウントディスプレイ及びビデオシースルー型ヘッドマウントディスプレイにおける仮想オブジェクトの２Ｄ表示方法を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１の実施形態＞
　［画像表示システムの構成］
　図１は、本技術の第１の実施形態に係る画像表示システムを模式的に示す図である。図１Ａは、画像表示システムの実施環境構成を示す模式図である。図１Ｂは、仮想オブジェクトの表示遷移図である。

　図１Ａに示すように、画像表示システム１００は、裸眼立体ディスプレイ（裸眼立体画像表示装置）１０及び情報処理装置２０を有する。

　裸眼立体ディスプレイ１０は、仮想空間内に平面画像及び立体画像を表示可能な画像表示装置である。例えば、裸眼立体ディスプレイ１０は、表示部やユーザ検出部（図示せず）等を有する。

　例えば、表示部は、平面画像及び立体画像を表示するディスプレイである。
　例えば、ユーザ検出部は、仮想空間を視認するユーザの視点情報を検出する。視点情報は、ユーザの左目の位置及び右目の位置を含む。それ以外にも、左目の視線方向、右目の視線方向、ユーザの視界、ユーザの姿勢、顔等が視点情報として検出されてもよい。

　また表示部であるディスプレイの姿勢を検出するための加速度センサ、ジャイロセンサ、又は磁気センサ等が搭載されてもよい。またユーザ検出部はカメラ、デプスカメラ、又は人感センサ等で構成されてもよいし、ユーザをトラッキング可能な構成で実現されてもよい。

　情報処理装置２０は、ＣＰＵ２１、ＧＰＵ２２、及びＨＤＤ又はＳＳＤ２３を有する。これ以外にも、情報処理装置２０は、例えばＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。
　例えばＰＣ等の任意のコンピュータにより、情報処理装置２０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての表示制御部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介して情報処理装置２０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

　情報処理装置２０は、ユーザの視点情報と、仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、仮想オブジェクトの表示形式を切り替える。本実施形態では、仮想オブジェクトは、立体画像及び平面画像を含む。すなわち、表示形式の切替とは、仮想オブジェクトの３Ｄ表示から２Ｄ表示への切替、及び仮想オブジェクトの２Ｄ表示から３Ｄ表示への切替を含む。

　仮想空間は、立体画像及び平面画像を表示可能な表示部によって表示される空間である。本実施形態では、仮想空間は、表示領域内と表示領域外とに区分される。典型的に、表示領域は、裸眼立体ディスプレイ１０の表示部の大きさにより設定される。すなわち、ディスプレイの大きさや角度により設定される（図２参照）。なお、表示領域内及び表示領域外の大きさ（範囲）は任意に設定されてもよい。例えば、裸眼立体ディスプレイ１０により表示されるコンテンツに応じて設定されてもよい。

　本実施形態では、情報処理装置２０は、表示領域外に表示される仮想オブジェクトの表示形式を切り替える。図１Ｂに示すように、情報処理装置２０は、３Ｄ表示されている仮想オブジェクトに対するユーザの視点、又は仮想オブジェクトの位置の変化量が閾値を超えた場合、３Ｄ表示されていた仮想オブジェクトを２Ｄ表示にする。また情報処理装置２０は、３Ｄ表示されている仮想オブジェクトに対するユーザの視点、又は仮想オブジェクトの位置の変化量が閾値よりも少ない場合、３Ｄ表示を維持する。

　同様に、情報処理装置２０は、２Ｄ表示されている仮想オブジェクトに対するユーザの視点、又は仮想オブジェクトの位置の変化量が閾値を下回った場合、２Ｄ表示されていた仮想オブジェクトを３Ｄ表示にする。また情報処理装置２０は、２Ｄ表示されている仮想オブジェクトに対するユーザの視点、又は仮想オブジェクトの位置の変化量が閾値を超えた場合、２Ｄ表示を維持する。

　図２は、仮想空間を示す模式図である。

　図２に示すように、裸眼立体ディスプレイ１０の表示面１１によって表示される表示領域内１２及び表示領域外１３が図示される。

　本実施形態では、表示領域内１２は、表示面１１の大きさにより設定される。すなわち図２では、表示領域内１２の体積は、表示面１１の短辺Ａ×ｓｉｎθ、短辺Ａ×ｃｏｓθ、及び表示面１１の長辺Ｂにより設定される。
　また表示領域外１３は、仮想空間内の表示領域内１２を除く範囲である。

　図２に示すような裸眼立体ディスプレイ１０の場合、ユーザは、表示面１１を俯瞰する視聴姿勢になるため、ディスプレイサイズに合わせた空間（表示領域内１２）を明示することで立体感を増している。しかし、空間外（表示領域外１３）に仮想オブジェクトが表示されると表示領域内１２を認識できなくなり立体感が薄れてしまう。すなわちコンテンツ制作時の制約となる。

　また裸眼立体ディスプレイ１０の場合、奥行き方向（短辺Ａ×ｃｏｓθ方向）に複数の仮想オブジェクトが配置される際に瞬間的（例えば１ｆｐｓ）に奥側に視差の大きな仮想オブジェクトが表示されると融像が困難になり二重に表示されるように見えるため、ユーザの酔いの原因になる。

　本発明では、ユーザの視点の位置及び仮想オブジェクトの移動に基づいて、３Ｄ表示から２Ｄ表示、及び２Ｄ表示から３Ｄ表示の表示形式の切替を動的に行う。これにより、表示領域内１２の空間を維持しつつコンテンツ作成時の制約をなくすことが可能である。

　また本発明では、表示領域外１３に表示された視差の閾値を超えた仮想オブジェクトが存在する場合、ユーザの視点の位置に合わせた２Ｄ画像として表示領域外１３にレンダリングし、表示領域内１２の背景テクスチャとして使用することでジオラマ背景のように表示される。これにより、ユーザの視聴体験を損なわれることを防ぐことが可能である。

　図３は、表示形式の切替が行われた仮想オブジェクトの表示例を示す模式図である。図３Ａは、裸眼立体ディスプレイ１０及び仮想空間を表示面１１の長辺方向から見た場合の模式図である。図３Ｂは、２Ｄ及び３Ｄの描画位置を示す模式図である。

　図３Ａに示すように、ユーザ１４は、裸眼立体ディスプレイ１０及び仮想空間を俯瞰する。図３Ａでは、ユーザ１４の手前側が表示領域内１２を示し、裸眼立体ディスプレイ１０の壁面１５から奥側が表示領域外１３である。また図３Ａでは、仮想オブジェクト１６が壁面１５（表示領域内１２の境界）を横断している場合が図示されている。

　この際に、表示領域内１２の境界を横断している仮想オブジェクト１６に対するユーザ１４の視差の変化量が閾値を超えているとする。この場合、図４に後述する表示制御部２８は、ユーザ１４の視点に応じて、裸眼立体ディスプレイ１０の壁面１５に表示領域外１３に存在する仮想オブジェクト１６を図３Ｂに示すようにリアルタイムで２Ｄ投影する。すなわち、ユーザ１４は、３Ｄ描画領域１７と２Ｄ描画領域１８とに表示された仮想オブジェクト１６が、俯瞰図１９のように３Ｄ表示と２Ｄ表示とが違和感なく融合された画面を視認することができる。

　このように、リアルタイムに視差に応じて、仮想オブジェクトの表示形式が切り替えられ、視点位置に追従した２Ｄ表示の背景画像が生成されることで、高品質な視聴体験を実現することが可能となる。

　図４は、図１に示す情報処理装置の構成例を示すブロック図である。

　図４に示すように、情報処理装置２０は、ユーザ情報取得部２４、コンテンツ情報取得部２５、判定部２６、算出部２７、及び表示制御部２８を有する。

　ユーザ情報取得部２４は、仮想空間を視認するユーザに関する情報を取得する。本実施形態では、ユーザ情報取得部２４は、裸眼立体ディスプレイ１０に搭載されたユーザ検出部（例えばカメラ等）により取得されたユーザの画像情報から、ユーザの視点情報を取得する。
　ユーザ情報取得部２４により取得された目の位置、目線、及び視界等の視点情報は、判定部２６及び算出部２７に供給される。

　なお、本実施形態では、ユーザの目や仮想オブジェクトの位置は、絶対座標系（ワールド座標系）により規定される座標値（例えばＸＹＺ座標値）、あるいは、所定の点（例えば裸眼立体ディスプレイ１０）を基準（原点）としたローカル座標系により規定される座標値（例えばｘｙｚ座標値又はｕｖｄ座標値）における位置を表す。

　コンテンツ情報取得部２５は、裸眼立体ディスプレイ１０により表示されるコンテンツに関する情報を取得する。本実施形態では、コンテンツ情報取得部２５は、仮想空間内の仮想オブジェクトの位置及び形状を取得する。
　コンテンツ情報取得部２５により取得された仮想オブジェクトの位置や形状は、判定部２６及び算出部２７に供給される。

　判定部２６は、仮想オブジェクトが表示形式の切替の対象となるか否かを判定する。本実施形態では、判定部２６は、表示領域外に仮想オブジェクトが存在するか否かを判定する。また本実施形態では、判定部２６は、表示領域外に存在する仮想オブジェクトに対して種々の判定が行われ、表示形式の切替の対象となるか否かを判定する。具体的な判定方法は以下の４つのパターンに区分される。

　仮想オブジェクトが表示領域内から表示領域外を横断、又は表示領域内から表示領域外へ移動した場合の第１のパターン（図５のステップ１０４）。
　仮想オブジェクトに対するユーザの視点位置が変化した場合の第２のパターン（図５のステップ１０６）。
　表示領域外にいる仮想オブジェクトの位置が変化した場合の第３のパターン（図５のステップ１０８）。
　上記の第１のパターン、第２のパターン、又は第３のパターンの少なくとも２つを含む第４のパターン。

　なお、本実施形態における表示領域内から表示領域外を横断とは、仮想オブジェクトが表示領域内と表示領域外との境界をまたがった状態、かつ仮想オブジェクトが静止した状態を指す。

　判定部２６により判定された判定結果は、算出部２７に供給される。なお、判定部２６による判定はコンテンツ内の各仮想オブジェクトに対して行われる。

　算出部２７は、判定部２６により表示形式の切替の対象となった仮想オブジェクトに対するユーザの視差を算出する。本実施形態では、算出部２７は、仮想オブジェクトの判定結果（第１～４のパターン）に基づいて、ユーザの視差の変化量を算出する。
　算出部２７により算出された算出結果は、表示制御部２８に供給される。

　表示制御部２８は、仮想空間を視認するユーザの視点情報と、仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、仮想オブジェクトの表示形式を切り替える。本実施形態では、表示制御部２８は、算出部２７により算出された視差の変化量が閾値を超えている場合に、３Ｄ表示されていた該仮想オブジェクトを２Ｄ表示にする。
　また本実施形態では、表示制御部２８は、算出部２７により算出された視差の変化量が閾値を超えていない場合に、２Ｄ表示されていた該仮想オブジェクトを３Ｄ表示にする。

　なお、本実施形態において、表示領域内１２は、仮想空間に含まれる第１の領域に相当する。
　なお、本実施形態において、表示領域外は、仮想空間に含まれる第２の領域に相当する。
　なお、本実施形態において、判定部２６は、仮想オブジェクトが表示形式の切替の対象となるか否かを判定する判定部に相当する。
　なお、本実施形態において、算出部２７は、表示形式の切替の対象となった仮想オブジェクトに対するユーザの視差を算出する算出部に相当する。
　なお、本実施形態において、表示制御部２８は、仮想空間を視認するユーザの視点情報と、仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、仮想オブジェクトの表示形式を切り替える表示制御部に相当する。

　図５は、表示形式の切替のフローチャートである。

　図５に示すように、コンテンツが再生されている際に（ステップ１０１のＹＥＳ）、判定部２６により、表示領域外に仮想オブジェクトが存在しているか否かが判定される（ステップ１０２）。

　表示領域外に仮想オブジェクトが存在している場合（ステップ１０２のＹＥＳ）、判定部２６により、ユーザの視点情報に基づいて、仮想オブジェクトがユーザの視界内に存在しているか否かが判定される（ステップ１０３）。

　仮想オブジェクトがユーザの視界内に存在している場合（ステップ１０３のＹＥＳ）、判定部２６により、仮想オブジェクトの位置情報に基づいて、仮想オブジェクトが表示領域内の境界を横断しているか否かが判定される（ステップ１０４）。仮想オブジェクトが表示領域内の境界を横断している場合（ステップ１０４のＹＥＳ）、該仮想オブジェクトが視差計算対象に追加される（ステップ１０５）。

　図６は、仮想オブジェクトが表示領域を横断している場合を示す模式図である。

　図６に示すように、表示領域内３０の境界３１を仮想オブジェクト（岩３２）が横断している。また図６では、表示領域外に仮想オブジェクトである木３３、木３４、及び岩３５が存在するが、これらの仮想オブジェクトは静止しており、かつ、ユーザの視点の位置が変化しない。すなわち、ステップ１０４、ステップ１０６及びステップ１０８の判定により、これらの仮想オブジェクトは視差計算対象に追加されない。

　算出部２７は、視差計算対象に追加された岩３２の視差の変化量を算出する。表示制御部２８は、視差の変化量が閾値以上の場合、３Ｄ表示されている岩３２を２Ｄ表示へと切り替える。すなわち、表示制御部２８は、図３に示す俯瞰図１９のように岩３２の一部を２Ｄ表示にする。

　また判定部２６により、ユーザの視点情報に基づいて、ユーザの視点の位置が変化したか否かが判定される（ステップ１０６）。ユーザの視点の位置が変化した場合（ステップ１０６のＹＥＳ）、該仮想オブジェクトが視差計算対象に追加される（ステップ１０７）。

　図７は、ユーザの視点の位置が変化した場合を示す模式図である。

　図７では、点線４０に囲まれた仮想オブジェクト（木４１）を例に説明をする。すなわち、木４１は、表示領域外に存在し、かつ、ユーザ４２の視界内に存在している仮想オブジェクトである。もちろんユーザ４２の視界内に存在する全ての仮想オブジェクトに対してステップ１０６の判定が行われてよいし、設定された所定の数の仮想オブジェクトに対してのみ判定が行われてもよい。

　算出部２７は、木４１におけるユーザ４２の視差の変化量を算出する。表示制御部２８は、視差の変化量が閾値以上の場合、３Ｄ表示されている木４１を２Ｄ表示へと切り替える。

　また判定部２６により、仮想オブジェクトの位置情報に基づいて、仮想オブジェクトの位置が変化したか否かが判定される（ステップ１０８）。仮想オブジェクトの位置が変化した場合（ステップ１０８のＹＥＳ）、該仮想オブジェクトが視差計算対象に追加される（ステップ１０９）。

　図８は、仮想オブジェクトの位置が変化した場合を示す模式図である。

　図８では、仮想オブジェクト（木５０）が移動し、ユーザ５１の視点は固定されているものとする。また木５０以外の仮想オブジェクトはステップ１０４、ステップ１０６及びステップ１０８の判定に該当しないものとする。

　算出部２７は、視差計算対象に追加された木５０の視差の変化量を算出する。表示制御部２８は、視差の変化量が閾値以上の場合、３Ｄ表示されている木５０を２Ｄ表示へと切り替える。また表示制御部２８は、ユーザ５１から見た位置（角度）に応じた木５０の２Ｄ画像を表示する。

　図９は、視差計算対象が複数の場合を示す模式図である。

　図９では、２Ｄ表示されている仮想オブジェクト６０と、３Ｄ表示されている仮想オブジェクト６１とが表示されている。

　この際に、ユーザ６２が移動したとする。ユーザの視点の位置が変化したことから、判定部２６により仮想オブジェクト６０及び仮想オブジェクト６１が視差計算対象に追加される。表示制御部２８は、各仮想オブジェクトの視差の変化量が閾値を超えているか否かに応じて、表示形式を切り替える。また表示制御部２８は、２Ｄ表示されている仮想オブジェクト６０及び新たに２Ｄ表示された仮想オブジェクトをユーザ６２から見た位置に応じた仮想オブジェクトの２Ｄ画像を表示する。

　ステップ１０４、１０６、及び１０８の判定により視差計算対象が存在する場合（ステップ１１０のＹＥＳ）、算出部２７により視差の変化量が算出される（ステップ１１１）。

　本実施形態では、視差の変化量は以下の式で表される。
　視差角変化量Δｄ＝｜現在の視差角ｄ―前の視差角ｄ'｜
　また視差角の求め方は以下の式（数１）で表される。なおθは０＜θ＜πとする。

　図１０は、ユーザの視点の位置が変化した場合を示す模式図である。

　図１０に示すように、仮想オブジェクト７０が座標（ｘ'、ｙ'、ｚ'）から座標（ｘ、ｙ、ｚ）に移動したとする。また左目７１の座標を（ａ、ｂ、ｃ）、右目７２の座標を（ｄ、ｅ、ｆ）とし、左目７１と右目７２の距離をＬとする。

　算出部２７により、図１０の状態から数１の式に従い現在の視差角ｄと前の視差角ｄ'とが算出される。表示制御部２８は、算出された視差角の変化量の絶対値である視差変化量が閾値を超えている場合、仮想オブジェクト７０を２Ｄ表示にする。

　図１１は、ユーザの視点の位置が変化した場合を示す模式図である。

　図１１に示すように、左目７６が座標（ａ'、ｂ'、ｃ'）から座標（ａ、ｂ、ｃ）へ移動し、同様に右目７７が座標（ｄ'、ｅ'、ｆ'）から座標（ｄ、ｅ、ｆ）へ移動したとする。また仮想オブジェクト７５の座標を（ｘ、ｙ、ｚ）とする。

　算出部２７により、図１１の状態から数１の式に従い現在の視差角ｄと前の視差角ｄ'とが算出される。表示制御部２８は、算出された視差角の変化量の絶対値である視差変化量が閾値を超えている場合、仮想オブジェクト７５を２Ｄ表示にする。

　表示制御部２８は、算出部２７により算出された視差変化量が閾値を超えている場合（ステップ１１２のＹＥＳ）、仮想オブジェクト７５を２Ｄ表示とする（ステップ１１３）。この場合、表示制御部２８は、ユーザの視点の位置に応じて、背景として仮想オブジェクト７５の２Ｄ画像を壁面上に描写する。

　表示制御部２８は、算出部２７により算出された視差変化量が閾値以下の場合（ステップ１１２のＮＯ）、２Ｄ表示される仮想オブジェクトを３Ｄ表示へと切り替える、又は３Ｄ表示される仮想オブジェクトの表示形式を維持する（ステップ１１４）。

　以上、本実施形態に係る情報処理装置２０は、仮想空間を視認するユーザの視点情報と、仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、仮想オブジェクトの表示形式を切り替える。これにより、高品質な視聴体験を実現することが可能となる。

　従来、裸眼の３Ｄ表示ディスプレイである裸眼立体ディスプレイに３ＤＣＧオブジェクトを用いたコンテンツを表示する場合に、ユーザは、ディスプレイを俯瞰する視聴姿勢になる。そのため、ディスプレイサイズに合わせた空間を明示することで立体感を増している。しかし、空間外に仮想オブジェクトが表示されると空間を認識できなくなり立体感が薄れてしまう。また裸眼立体ディスプレイの場合、奥行き方向に複数の仮想オブジェクトが配置される際に瞬間的に奥側に視差の大きな仮想オブジェクトが表示されると融像が困難になり二重に表示されるように見えるため、ユーザの酔いの原因になる。

　本技術では、表示領域外に表示された仮想オブジェクトを対象として、それらの仮想オブジェクトに瞬間的に任意の閾値以上の視差が発生した場合に、表示領域外の仮想オブジェクトを２Ｄで表示領域内の壁面に描画することで視差の変化をなくす。その際に表示領域外の仮想オブジェクトをある固定視点の画像として壁面に表示すると表示領域の内外で見え方に差が生じるため、ユーザの視点位置に応じて表示領域外の仮想オブジェクトをリアルタイムで壁面に描画する。
　すなわち本技術は、表示領域の内外を跨ぐような仮想オブジェクトについては表示領域内の部分は３Ｄ表示し、表示領域外の部分は壁面で隠蔽して壁面に投影された画像をユーザに提示する表示形式の切替及び視点位置に応じたリアルタイム２Ｄ背景生成を行う。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記の実施形態では、視界内に存在する仮想オブジェクトに対して判定が行われ、視差計算対象に追加された。これに限定されず、表示されている全ての仮想オブジェクトに対して判定及び視差角変化量の算出が行われてもよい。

　上記の実施形態では、ステップ１０４、ステップ１０６、及びステップ１０８の判定により視差計算対象が追加された。これに限定されず、様々な方法により仮想オブジェクトが視差計算対象に追加されてもよい。例えば、裸眼立体ディスプレイ１０等の表示デバイスの演算能力や解像度等のスペックに応じ、視差計算対象に追加される数が設定されてもよい。また例えば、視差計算対象に追加される仮想オブジェクトの数が一定数を超えた場合に、視差の変化量を計算せずに仮想オブジェクトが２Ｄ表示にされてもよい。

　上記の実施形態では、３Ｄ表示ディスプレイとして裸眼立体ディスプレイ１０が用いられた。これに限定されず、完全没入型ヘッドマウントディスプレイ（ＨＭＤ）やビデオシースルー型ヘッドマウントディスプレイが用いられてもよい。

　完全没入型ヘッドマウントディスプレイで仮想空間内の仮想オブジェクトを両目視差を用いて立体映像として表示する場合、視界にある仮想オブジェクト（ＨＭＤ上に表示されている仮想オブジェクト）のうち視点位置を中心として任意の距離を半径とする領域外の仮想オブジェクトを対象として視差の計算を行う。
　なお、距離の設定はアプリの開発者が設定してもよいし、ユーザ（視聴者）が設定メニュー等を介して設定してもよい。

　またビデオシースルー型ヘッドマウントディスプレイで前面に設置されたステレオカメラから入力された映像を左目及び右目にそれぞれ表示することで両目視差を用いた立体視差を行う場合、視界にある仮想オブジェクト（ＨＭＤ上に表示されている仮想オブジェクト）のうち視点位置を中心として任意の距離を半径とする領域外の仮想オブジェクトを対象として視差の計算を行う。
　なお、距離の設定はアプリの開発者が設定してもよいし、ユーザ（視聴者）が設定メニュー等を介して設定してもよい。

　図１２は、完全没入型ヘッドマウントディスプレイ及びビデオシースルー型ヘッドマウントディスプレイの表示形式の切替のフローチャートである。
　なお、図１２に示すステップ２０１からステップ２１２は、図５に示すステップ１０１からステップ１１２と同様のため説明を省略する。

　視差の変化量が閾値以下の場合（ステップ２１２のＮＯ）、裸眼立体ディスプレイ１０の壁面に相当する２Ｄ描画面（ビルボード）が作成される（ステップ２１３）。本実施形態では、表示制御部２８により、視点位置及び視差計算対象である仮想オブジェクトを結ぶ線と表示領域の境界面の交点とを中心とする２Ｄ描写面が作成される。
　表示制御部２８は、作成された２Ｄ描写面に対して、視点位置に応じた３Ｄ表示の見え方に適した仮想オブジェクトの２Ｄ表示をリアルタイムで２Ｄ描写面に投影する（ステップ２１４）。

　図１３は、完全没入型ヘッドマウントディスプレイ及びビデオシースルー型ヘッドマウントディスプレイにおける仮想オブジェクトの２Ｄ表示方法を示す模式図である。

　図１３に示すように、完全没入型ヘッドマウントディスプレイ又はビデオシースルー型ヘッドマウントディスプレイを装着しているユーザ８０と、表示領域８１と、仮想オブジェクト８２と、２Ｄ描写面８３とが図示される。

　図１３では、ユーザ８０（視点位置）を中心に任意の距離Ｒを半径とする表示領域８１が設定されている。また本実施形態では、仮想オブジェクト８２が視差計算対象として追加されており、視差変化量が閾値を超えているとする。
　この場合、図１２のステップ２１３に示すように、表示制御部２８は、２Ｄ描写面８３を作成する。本実施形態では、視点位置８０及び仮想オブジェクト８２を結ぶ線８４と表示領域８１の境界面の交点８５とを中心とする２Ｄ描写面８３が作成される。

　表示制御部２８は、視点位置８０に応じた３Ｄ表示の見え方に適した仮想オブジェクト８２の２Ｄ表示をリアルタイムで２Ｄ描写面８３に投影する。
　なお、２Ｄ描写面８３は常に視点位置８０（ユーザ）の方を向いており、常に視点位置８０及び仮想オブジェクト８２を結ぶ線８４と表示領域８１の境界面の交点８５を中心とする。また２Ｄ描写面８３は透過していてもよい。

　各図面を参照して説明した判定部、算出部、表示制御部等の各構成、表示形式の切替フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

　また本技術に係る情報処理装置、情報処理方法、及び記録媒体は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及び記録媒体の実行は、例えば、仮想オブジェクトの判定、視差角の算出、及び表示形式の切替等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）
　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える表示制御部
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記仮想空間は、第１の領域及び第２の領域を含み、
　前記表示制御部は、前記第１の領域に表示される前記仮想オブジェクトの表示形式を切り替える
　情報処理装置。
（３）（２）に記載の情報処理装置であって、さらに、
　前記仮想オブジェクトが前記表示形式の切替の対象となるか否かを判定する判定部を具備する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域に存在するか否かを判定し、前記仮想オブジェクトが前記第１の領域に存在する場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（５）（３）に記載の情報処理装置であって、
　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域の境界を横断しているか否かを判定し、前記仮想オブジェクトが前記第１の領域を横断している場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（６）（３）に記載の情報処理装置であって、
　前記判定部は、前記視点情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトにおける前記視点情報が変化したか否かを判定し、前記視点情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（７）（３）に記載の情報処理装置であって、
　前記判定部は、前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトの前記位置情報が変化したか否かを判定し、前記位置情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（８）（３）に記載の情報処理装置であって、
　前記判定部は、前記視点情報及び前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトが前記ユーザの視界内に存在しているか否かを判定し、前記仮想オブジェクトが前記ユーザの視界内に存在している場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（９）（３）に記載の情報処理装置であって、さらに、
　前記表示形式の切替の対象となった前記仮想オブジェクトに対する前記ユーザの視差を算出する算出部を具備する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記表示制御部は、前記算出部による算出結果に基づいて、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を切り替える
　情報処理装置。
（１１）（９）に記載の情報処理装置であって、
　前記仮想オブジェクトは、立体画像及び平面画像を含み、
　前記表示形式の切替は、前記仮想オブジェクトを前記立体画像から前記平面画像への切替、又は前記仮想オブジェクトの前記平面画像から前記立体画像への切替の少なくとも一方を含む
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記立体画像から前記平面画像へ切り替える
　情報処理装置。
（１３）（１１）に記載の情報処理装置であって、
　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持する
　情報処理装置。
（１４）（１１）に記載の情報処理装置であって、
　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記平面画像から前記立体画像へ切り替える
　情報処理装置。
（１５）（１１）に記載の情報処理装置であって、
　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持する
　情報処理装置。
（１６）（９）に記載の情報処理装置であって、
　前記判定部は、所定の時間内に前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えたか否かを判定し、前記所定の時間内に前記ユーザの視差の変化量が閾値を超えた場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
　情報処理装置。
（１７）
　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える
　ことをコンピュータシステムが実行する情報処理方法。
（１８）
　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替えるステップ
　をコンピュータシステムに実行させるプログラムを記載した記録媒体。

　１２…表示領域内
　１３…表示領域外
　２０…情報処理装置
　２６…判定部
　２７…算出部
　２８…表示制御部
　１００…画像表示システム

Claims (18)

1. 　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える表示制御部
   　を具備する情報処理装置。
2. 　請求項１に記載の情報処理装置であって、
   　前記仮想空間は、第１の領域及び第２の領域を含み、
   　前記表示制御部は、前記第１の領域に表示される前記仮想オブジェクトの表示形式を切り替える
   　情報処理装置。
3. 　請求項２に記載の情報処理装置であって、さらに、
   　前記仮想オブジェクトが前記表示形式の切替の対象となるか否かを判定する判定部を具備する
   　情報処理装置。
4. 　請求項３に記載の情報処理装置であって、
   　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域に存在するか否かを判定し、前記仮想オブジェクトが前記第１の領域に存在する場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
   　情報処理装置。
5. 　請求項３に記載の情報処理装置であって、
   　前記判定部は、前記位置情報に基づいて、前記仮想オブジェクトが前記第１の領域の境界を横断しているか否かを判定し、前記仮想オブジェクトが前記第１の領域を横断している場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
   　情報処理装置。
6. 　請求項３に記載の情報処理装置であって、
   　前記判定部は、前記視点情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトにおける前記視点情報が変化したか否かを判定し、前記視点情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
   　情報処理装置。
7. 　請求項３に記載の情報処理装置であって、
   　前記判定部は、前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトの前記位置情報が変化したか否かを判定し、前記位置情報が変化した場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
   　情報処理装置。
8. 　請求項３に記載の情報処理装置であって、
   　前記判定部は、前記視点情報及び前記位置情報に基づいて、前記第１の領域に存在する前記仮想オブジェクトが前記ユーザの視界内に存在しているか否かを判定し、前記仮想オブジェクトが前記ユーザの視界内に存在している場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
   　情報処理装置。
9. 　請求項３に記載の情報処理装置であって、さらに、
   　前記表示形式の切替の対象となった前記仮想オブジェクトに対する前記ユーザの視差を算出する算出部を具備する
   　情報処理装置。
10. 　請求項９に記載の情報処理装置であって、
    　前記表示制御部は、前記算出部による算出結果に基づいて、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を切り替える
    　情報処理装置。
11. 　請求項９に記載の情報処理装置であって、
    　前記仮想オブジェクトは、立体画像及び平面画像を含み、
    　前記表示形式の切替は、前記仮想オブジェクトを前記立体画像から前記平面画像への切替、又は前記仮想オブジェクトの前記平面画像から前記立体画像への切替の少なくとも一方を含む
    　情報処理装置。
12. 　請求項１１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記立体画像から前記平面画像へ切り替える
    　情報処理装置。
13. 　請求項１１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えている場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持する
    　情報処理装置。
14. 　請求項１１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示形式の切替の対象となった前記平面画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトを前記平面画像から前記立体画像へ切り替える
    　情報処理装置。
15. 　請求項１１に記載の情報処理装置であって、
    　前記表示制御部は、前記表示形式の切替の対象となった前記立体画像の前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えていない場合、前記表示形式の切替の対象となった前記仮想オブジェクトの表示形式を維持する
    　情報処理装置。
16. 　請求項９に記載の情報処理装置であって、
    　前記判定部は、所定の時間内に前記仮想オブジェクトに対する前記ユーザの視差の変化量が閾値を超えたか否かを判定し、前記所定の時間内に前記ユーザの視差の変化量が閾値を超えた場合、前記仮想オブジェクトを前記表示形式の切替の対象とする
    　情報処理装置。
17. 　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替える
    　ことをコンピュータシステムが実行する情報処理方法。
18. 　仮想空間を視認するユーザの視点情報と、前記仮想空間内に表示される仮想オブジェクトの位置情報とに基づいて、前記仮想オブジェクトの表示形式を切り替えるステップ
    　をコンピュータシステムに実行させるプログラムを記載した記録媒体。

Images