WO2020090316A1

WO2020090316A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020090316A1
Application number: PCT/JP2019/038444
Authority: WO
Inventors: 広幸安賀; 敦石原; 満西部; 浩一川崎; 浩丈市川; 一若林; 俊逸小原; 諒介村田
Original assignee: ソニー株式会社
Priority date: 2018-11-02
Filing date: 2019-09-30
Publication date: 2020-05-07
Also published as: US12010288B2; US20210377515A1

Abstract

視点の位置及び姿勢の認識結果に応じた情報を取得する取得部と、第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付ける投影処理部と、前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影する補正処理部と、前記再投影の結果に応じた表示情報を出力部に提示させる出力制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

　近年、画像認識技術の高度化に伴い、撮像装置により撮像された画像に含まれる実オブジェクト（即ち、実空間上の物体）の位置及び姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、拡張現実（ＡＲ：Augmented　Reality）と称される技術が挙げられる。ＡＲ技術を利用することで、実空間内の物体（以下、「実オブジェクト」とも称する）に対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ（以降では、「仮想オブジェクト」とも称する）を重畳させてユーザに提示することが可能となる。例えば、特許文献１には、ＡＲ技術を利用して仮想的なコンテンツをユーザに提示する技術の一例が開示されている。

国際公開第２０１７／１８３３４６号

　ところで、提示対象となる仮想オブジェクトによっては、当該仮想オブジェクトを画像等の表示情報として描画する処理に係る負荷が比較的高くなり、当該仮想オブジェクトの描画が開始されてから表示情報として出力されるまでの間に遅延が生じる場合がある。そのため、例えば、当該遅延に伴い、描画された仮想オブジェクトが表示情報としてユーザに提示されるまでの間に、当該ユーザの視点の位置や姿勢に変化が生じると、当該視点と、描画された仮想オブジェクトが重畳される位置との間の相対的な位置や姿勢の関係にずれが生じる場合がある。このようなずれは、例えば、当該仮想オブジェクトが重畳される空間上の位置のずれとしてユーザに認識される場合がある。これは、ＡＲに限らず、人工的に構築される仮想空間上に仮想オブジェクトを提示する、所謂仮想現実（ＶＲ：Virtual　Reality）においても同様である。

　上記のような問題を解決するための手法の一例として、仮想オブジェクの描画結果に応じた表示情報を、当該描画後における視点の位置や姿勢に応じて補正（例えば、提示位置の補正、形状の変形等）を適用することで、上述したずれの影響を低減する（理想的には解消する）手法が挙げられる。しかしながら、従来の手法では、補正時に視点と仮想オブジェクトとの間の３次元的な位置や姿勢の関係を正確に反映することが困難な場合があった。

　そこで、本開示では、視点の位置や姿勢に応じた情報の提示をより好適な態様で実現可能とする技術を提案する。

　本開示によれば、視点の位置及び姿勢の認識結果に応じた情報を取得する取得部と、第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付ける投影処理部と、前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影する補正処理部と、前記再投影の結果に応じた表示情報を出力部に提示させる出力制御部と、を備える、情報処理装置が提供される。

　また、本開示によれば、コンピュータが、視点の位置及び姿勢の認識結果に応じた情報を取得することと、第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、前記再投影の結果に応じた表示情報を出力部に提示させることと、を含む、情報処理方法が提供される。

　また、本開示によれば、コンピュータに、視点の位置及び姿勢の認識結果に応じた情報を取得することと、第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、前記再投影の結果に応じた表示情報を出力部に提示させることと、を実行させる、プログラムが提供される。

本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。視点の位置や姿勢に応じた表示情報の補正に係る処理の一例について概要を説明するための説明図である。視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。同実施形態に係る情報処理システムの技術的特徴の基本思想について概要を説明するための説明図である。同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。同実施形態に係る情報処理システムの一連の処理の流れの一例を示したタイミングチャートである。同実施形態に係る情報処理システムの実施例１について概要を説明するための説明図である。同実施形態に係る情報処理システムの実施例１について概要を説明するための説明図である。同実施形態に係る情報処理システムの実施例２について概要を説明するための説明図である。同実施形態に係る情報処理システムの実施例２について概要を説明するための説明図である。変形例１に係る情報処理システムの概要について説明するための説明図である。変形例１に係る情報処理システムの概要について説明するための説明図である。変形例１に係る情報処理システムの概要について説明するための説明図である。変形例１に係る情報処理システムの概要について説明するための説明図である。変形例２に係る情報処理システムの概要について説明するための説明図である。変形例３に係る情報処理システムの概要について説明するための説明図である。変形例３に係る情報処理システムの概要について説明するための説明図である。変形例３に係る情報処理システムの概要について説明するための説明図である。変形例３に係る情報処理システムの概要について説明するための説明図である。同実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。同実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．概要
　　１．１．概略構成
　　１．２．入出力装置の構成
　　１．３．自己位置推定の原理
　２．視点の動きと情報の提示との間の遅延に応じた表示の補正に関する検討
　３．技術的特徴
　　３．１．基本思想
　　３．２．機能構成
　　３．３．処理
　　３．４．実施例
　　３．５．変形例
　４．ハードウェア構成
　　４．１．独立して動作可能な装置としての構成例
　　４．２．チップとして実現する場合の構成例
　５．むすび

　＜＜１．概要＞＞
　　＜１．１．概略構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。図１において、参照符号Ｍ１１は、実空間内に位置する物体（即ち、実オブジェクト）を模式的に示している。また、参照符号Ｖ１３及びＶ１５は、実空間に重畳するように提示される仮想的なコンテンツ（即ち、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、所謂ＡＲ（Augmented　Reality）技術に基づき、例えば、実オブジェクトＭ１１等の実空間内の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

　図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。また、情報処理装置１０は、例えば、スマートフォン等のような無線の通信経路を介して他の装置と通信可能に構成された装置であってもよい。この場合には、入出力装置２０は、例えば、当該スマートフォンの付属アクセサリとして提供されるようなウェアラブルディスプレイとして構成されていてもよい。即ち、入出力装置２０は、スマートフォン等として構成された情報処理装置１０と上述のようにネットワークを介して接続されることで、当該情報処理装置１０と連動して動作するデバイス（例えば、ウェアラブルデバイス等）として構成されていてもよい。

　入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報を提示するための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトＭ１１を認識するための情報を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間内における実オブジェクトＭ１１の位置（即ち、実オブジェクトＭ１１の絶対座標）を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトＶ１３及びＶ１５を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトＭ１１に対して仮想オブジェクトＶ１３及びＶ１５が重畳するように、当該仮想オブジェクトＶ１３及びＶ１５をユーザに提示することが可能となる。なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。

　以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。

　　＜１．２．入出力装置の構成＞
　続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

　本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

　ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。換言すると、当該保持部２９１により、出力部２１１がユーザの眼前に位置するように支持される。即ち、保持部２９１が、「支持部」の一例に相当する。

　第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。なお、本開示において「画像」と記載した場合には、特に説明がない限りは「静止画像」と「動画像」とを含み得るものとする。

　なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time　Of　Flight）、Structured　Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured　Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

　また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。

　操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

　また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。

　以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間内における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間内における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。

　なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head　Mounted　Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

　シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系（即ち、光学的透過性を有する表示部）をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

　ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

　網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な画像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

　また、上記に説明した例以外にも、没入型ＨＭＤと呼ばれるＨＭＤが挙げられる。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された画像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。そのため、没入型ＨＭＤは、例えば、主にＶＲ（Virtual　Reality）技術に基づき情報を提示する場合に適用され得る。

　以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。

　　＜１．３．自己位置推定の原理＞
　次いで、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間内における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明する。

　自己位置推定の具体的な一例として、入出力装置２０は、実空間内の実オブジェクト上に提示されたサイズが既知のマーカ等を、自身に設けられたカメラ等の撮像部により撮像する。そして、入出力装置２０は、撮像された画像を解析することで、マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の相対的な位置及び姿勢のうち少なくともいずれかを推定する。なお、以降の説明では、入出力装置２０が自身の位置及び姿勢を推定する場合に着目して説明するが、当該入出力装置２０は、自身の位置及び姿勢のうちいずれかのみを推定してもよい。

　具体的には、画像中に撮像されたマーカの向き（例えば、マーカの模様等の向き）に応じて、当該マーカに対する撮像部（ひいては、当該撮像部を備える入出力装置２０）の相対的な方向を推定することが可能である。また、マーカのサイズが既知の場合には、画像中におけるマーカのサイズに応じて、当該マーカと撮像部（即ち、当該撮像部を備える入出力装置２０）との間の距離を推定することが可能である。より具体的には、マーカをより遠くから撮像すると、当該マーカは、より小さく撮像されることとなる。また、このとき画像中に撮像される実空間内の範囲は、撮像部の画角に基づき推定することが可能である。以上の特性を利用することで、画像中に撮像されたマーカの大きさ（換言すると、画角内においてマーカが占める割合）に応じて、当該マーカと撮像部との間の距離を逆算することが可能である。以上のような構成により、入出力装置２０は、マーカに対する自身の相対的な位置及び姿勢を推定することが可能となる。

　また、所謂ＳＬＡＭ（simultaneous　localization　and　mapping）と称される技術が、入出力装置２０の自己位置推定に利用されてもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ　ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

　以上のような構成のもとで、例えば、撮像部による既知のマーカの撮像結果に基づく、当該マーカに対する入出力装置２０の相対的な位置及び姿勢の推定結果が、上述したＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。このような構成により、入出力装置２０は、マーカが撮像部の画角内に含まれない状況下においても、従前に実行された初期化や位置補正の結果を受けたＳＬＡＭに基づく自己位置推定により、当該マーカ（ひいては、当該マーカが提示された実オブジェクト）に対する自身の位置及び姿勢を推定することが可能となる。

　また、上記では、主にマーカの撮像結果に基づき自己位置推定を行う場合の例に着目して説明したが、自己位置推定の基準として利用可能であれば、当該マーカ以外の他の対象の検知結果が当該自己位置推定に利用されてもよい。具体的な一例として、上記マーカに替えて、実空間内の物体（実オブジェクト）の形状や模様等のような当該物体の特徴的な部分の検出結果が、ＳＬＡＭにおける初期化処理や位置補正に利用されてもよい。

　以上、入出力装置２０が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間内における自身の位置及び姿勢を推定するための手法（即ち、自己位置推定）の原理の一例について説明した。なお、以降においては、例えば、上述した原理に基づき、実空間内の物体（実オブジェクト）に対する入出力装置２０の位置及び姿勢を推定することが可能であるものとして説明する。

　＜＜２．視点の動きと情報の提示との間の遅延に応じた表示の補正に関する検討＞＞
　続いて、ＡＲやＶＲ等のように、視点（例えば、ユーザの頭部）の位置や姿勢の変化に応じてユーザに情報を提示する場合における、当該視点の動きと情報の提示との間の遅延に応じた表示情報の補正について概要を説明したうえで、本実施形態に係る情報処理システムの技術的課題について説明する。

　視点の位置や姿勢の変化に応じてユーザに対して情報を提示する場合には、当該視点の動きが検知されてから情報が提示されるまでの間の遅延（所謂motion－to－photon　latency）が、ユーザに与える体験に影響を及ぼし得る。具体的な一例として、ユーザの頭部の向きに応じて仮想的な物体があたかも当該ユーザの目前に存在するように提示する場合には、ユーザの頭部の動きの検知結果から、当該頭部の向きを認識し、当該認識結果に応じて情報を提示するという一連の処理に時間を要する場合がある。このような場合には、例えば、ユーザの頭部の動きと、当該頭部の動きに応じた視野の変化（即ち、ユーザに提示される情報の変化）との間に、上記処理遅延に応じたずれが生じる場合がある。

　特にＡＲのように実世界に対して仮想的な物体を重畳させるような状況下においては、上記遅延が実世界と仮想的な物体との間のずれとして顕在化する。そのため、上記遅延の影響として顕在化するずれが、ＶＲの場合にはユーザに知覚されにくいわずかなものであったとしても、ＡＲの場合にはユーザに知覚されやすくなる場合がある。

　上述のような遅延の影響を低減する方法の一例として、処理速度（ＦＰＳ：Frame　per　Second）を上げることで当該遅延をより少なくする方法が挙げられる。しかしながら、この場合には、処理速度の向上に比例して、より高性能なＣＰＵやＧＰＵ等のプロセッサを要することとなる。また、処理速度の向上に伴い、消費電力が増大するような状況や、発熱を伴うような状況も想定され得る。特に、図２を参照して説明した入出力装置２０のように、ＡＲやＶＲを実現するための装置はバッテリーからの電力供給により動作する場合も想定され、消費電力の増大がより顕著に影響を及ぼし得る。また、入出力装置２０のように、ユーザが身体の一部に装着して使用するような装置においては、使用方法の特性上、他の装置に比べて発熱の影響（例えば、装置を装着するユーザへの影響）がより顕在化しやすい傾向にある。また、入出力装置２０のような装置においては、据え置き型の装置に比べてプロセッサ等のデバイスを設けるスペースが制限されており、高性能のプロセッサを適用することが困難な場合も想定され得る。

　また、上述のような遅延の影響を低減する方法の他の一例として、ユーザに対して情報を提示する際に、当該提示のタイミングにおける視点の位置や姿勢に応じて、情報の提示位置を表示領域内で２次元的に補正する方法が挙げられる。このように、情報の提示位置を２次元的に補正する技術の一例として、「TimeWarp」や「Reprojection」と称される技術が挙げられる。例えば、図３は、視点の位置や姿勢に応じた表示情報の補正に係る処理の一例について概要を説明するための説明図であり、「TimeWarp」や「Reprojection」と称される表示情報の補正に係る技術の一例について示している。なお、以降の説明では、便宜上、「Reprojection」と称される技術に着目して説明するが、「TimeWarp」称される技術についても実質的に同様の内容が適用され得る。

　図３において、参照符号Ｖ１００は、表示情報としての提示の対象となる仮想オブジェクト（以下、単に「オブジェクト」とも称する）を模式的に示している。オブジェクトＶ１００は、例えば、実空間の所望の位置に所望の姿勢で定位するように各種情報が設定される。また、参照符号Ｐ１０１ａ及びＰ１０１ｂは、視点（例えば、ユーザの頭部）を模式的に示している。具体的には、視点Ｐ１０１ａは、移動前の視点を模式的に示している。また、視点Ｐ１０１ｂは、移動後の視点を模式的に示している。なお、以降の説明では、視点Ｐ１０１ａ及びＰ１０１ｂを特に区別しない場合には、単に「視点Ｐ１０１」と称する場合がある。また、図３に示す例では、説明をわかりやすくするために、視点Ｐ１０１と仮想オブジェクトＶ１００との間の関係を２次元的に提示しているが、必ずしもReprojectionに係る処理の内容を限定するものではない。即ち、視点Ｐ１０１と仮想オブジェクトＶ１００との間の関係が３次元的に変化する場合においても、Reprojectionに係る処理を３次元的に適用する（即ち、３次元的な位置や姿勢の関係を考慮する）ことで実質的に同様となる。これは、後述の説明で参照する図３以外の他の図に示す例についても同様である。

　３次元的な形状を有するオブジェクトＶ１００を２次元的な表示情報として提示する場合には、まず図３の左図に示すように、視点Ｐ１０１ａ（観察点）を基準として、当該視点Ｐ１０１ａからの視野（画角）に応じて規定されるスクリーン面Ｐ１０３ａに対して、当該オブジェクトＶ１００を投影する。即ち、スクリーン面Ｐ１０３ａが、視点Ｐ１０１ａに対応付けて規定される投影面に相当する。このとき、３次元空間上に規定された光源とオブジェクトＶ１００との間の位置関係に応じて、当該オブジェクトＶ１００を２次元的な表示情報として描画する際の当該オブジェクトの色が算出されてもよい。これにより、視点Ｐ１０１ａ（観察点）の位置及び姿勢に応じた、当該視点Ｐ１０１ａ、オブジェクトＶ１００、及びスクリーン面Ｐ１０３ａの相対的な位置関係に応じて、当該オブジェクトＶ１００の２次元的な形状、当該オブジェクトＶ１００の色、及び当該オブジェクトＶ１００が提示される２次元的な位置（即ち、スクリーン面Ｐ１０３ａ上の位置）等が算出される。

　具体的な一例として、図３の左図に示す例では、視点Ｐ１０１ａからは、オブジェクトＶ１００の各面のうち視点Ｐ１０３ａ側に位置する面Ｖ１０１及びＶ１０３を視認することが可能である。そのため、面Ｖ１０１及びＶ１０３のそれぞれが、視点Ｐ１０１ａとの間の相対的な位置や姿勢の関係に応じて、スクリーン面Ｐ１０３ａに投影され、当該投影の結果が描画される。例えば、参照符号Ｖ１０５ａは、スクリーン面Ｐ１０３ａに対するオブジェクトＶ１００の面Ｖ１０１の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１０７ａは、スクリーン面Ｐ１０３ａに対するオブジェクトＶ１００の面Ｖ１０３の投影結果に応じた２次元的な表示情報を模式的に示している。

　そして、上記投影の結果に応じた表示情報Ｖ１０５ａ及びＶ１０７ａが、所望の描画領域に描画される。具体的な一例として、当該描画領域は、例えば、視点Ｐ１０１の位置や姿勢に応じて規定されるスクリーン面Ｐ１０３（例えば、上記スクリーン面Ｐ１０３ａ）の少なくとも一部の領域に関連付けられており、当該領域へのオブジェクトＶ１００の投影結果が表示情報（例えば、上記表示情報Ｖ１０５ａ及びＶ１０７ａ）として描画される。また、上記描画領域は、ディスプレイ等の出力部の表示領域と関連付けられており、当該描画領域への表示情報の描画結果が、当該表示領域に提示され得る。上記描画領域は、描画結果等のデータを一時的または恒久的に保持する所定のバッファ（例えば、フレームバッファ等）の少なくとも一部の領域として規定されてもよい。

　一方で、上述した投影及び描画に係る処理は負荷が高い傾向にあり、当該投影及び描画の結果に応じた表示情報が出力部の表示領域に提示されるタイミングにおいて、視点Ｐ１０１の姿勢や位置が変化している場合がある。このような場合には、例えば前述したように、当該表示領域に表示情報を提示するタイミングでの視点Ｐ１０１の姿勢や位置に応じて表示情報を補正する処理（即ち、Reprojection）が適用される場合がある。

　例えば、図３の右図は、上記表示情報Ｖ１０５ａ及びＶ１０７ａが出力部の表示領域に提示される際に、当該提示のタイミングにおける視点Ｐ１０１ｂの位置や姿勢に応じて、当該表示情報Ｖ１０５ａ及びＶ１０７ａを補正する場合の一例を示している。図３の右図において、参照符号Ｐ１０３ｂは、移動後の視点Ｐ１０１ｂに対応付けて規定されるスクリーン面を模式的に示している。

　具体的には、図３の右図に示す例では、移動前の視点Ｐ１０１ａと、移動後の視点Ｐ１０１ｂと、の間の位置や姿勢の変化（差分）に応じて、スクリーン面Ｐ１０３（換言すると、出力部の表示領域）における表示情報Ｖ１０５ａ及びＶ１０７ａの提示位置を補正している。また、このとき上記視点Ｐ１０１ａと上記視点Ｐ１０１ｂとの間の位置や姿勢の差分に応じて、表示情報Ｖ１０５ａ及びＶ１０７ａの形状を補正してもよい（即ち、変形してもよい）。例えば、図３の右図における参照符号Ｖ１０５ｂ及びＶ１０７ｂは、表示情報Ｖ１０５ａ及びＶ１０７ａに対する上記補正の適用結果に応じた表示情報を模式的に示している。

　以上のような制御により、オブジェクトの投影や当該投影結果の描画に係る処理遅延に伴う、当該オブジェクトの重畳位置のずれを補正することが可能となる。

　一方で、図３を参照して説明したReprojectionに係る処理は、表示情報を２次元的に補正するものであり、視点の位置や姿勢が３次元的に変化した場合に、十分な補正を行うことが困難となる場合がある。

　例えば、図４は、視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。なお、図４において、図３と同様の参照符号は、図３に示す例と同様の対象を示すものとする。また、図４の左図については、図３の左図と同様のため詳細な説明は省略する。

　図４の右図は、表示情報Ｖ１０５ａ及びＶ１０７ａが出力部の表示領域に提示される際に、当該提示のタイミングにおける視点Ｐ１０１の位置や姿勢に応じて、当該表示情報Ｖ１０５ａ及びＶ１０７ａを補正する場合の他の一例を示している。図４の右図において、参照符号Ｐ１０１ｃは、移動後の視点Ｐ１０１を模式的に示している。また、参照符号Ｐ１０３ｃは、視点Ｐ１０１ｃからの視野（画角）に応じて規定されるスクリーン面（投影面）を模式的に示している。

　図４の右図に示す例は、視点Ｐ１０１の回転に伴い当該視点Ｐ１０１の位置や姿勢が変化している点で、図３の右図に示す例と異なる。具体的には、図４の右図に示す例では、視点Ｐ１０１がヨー（yaw）方向に回転しながら横方向に移動するように、当該視点Ｐ１０１の位置及び姿勢が変化している。

　図４の右図に示すような状況下では、移動前の視点Ｐ１０１ａと、移動後の視点Ｐ１０１ｃと、の間でオブジェクトＶ１００の見え方が大きく異なる。そのため、図３に示すように、表示情報Ｖ１０５ａ及びＶ１０７ａの提示位置を２次元的に補正するのみでは、移動後の視点Ｐ１０１ｃから見たオブジェクトＶ１００の形状を正確に再現することが困難となる場合がある。そのため、例えば、図４の右図に示す例では、視点Ｐ１０１の回転の方向や回転量に応じて、表示情報Ｖ１０５ａ及びＶ１０７ａの形状を補正している。例えば、図４の右図における参照符号Ｖ１０５ｃ及びＶ１０７ｃは、表示情報Ｖ１０５ａ及びＶ１０７ａに対する上記補正の適用結果に応じた表示情報を模式的に示している。

　具体的には、視点Ｐ１０１がヨー（yaw）方向やピッチ（pitch）方向に回転する場合には、表示情報を２次元的にシフトさせるように変形することで、移動後の視点Ｐ１０１ｃに応じた表示情報（例えば、表示情報Ｖ１０５ｃ及びＶ１０７ｃ）を再現することが可能な場合がある。一方で、視点Ｐ１０１がロール（roll）方向に回転する場合には、２次元的な変形のみでの再現が困難な場合があり、このような場合には、例えば、歪補正等を適用することで再現が行われる場合がある。

　また、図３を参照して説明したReprojectionに係る処理は、対象となるオブジェクトが奥行き方向に長い形状を有するような状況下では、移動後の視点から見たオブジェクトを補正により正確に再現することが困難な場合がある。

　例えば、図５は、視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。図５において、参照符号Ｐ１０５ａ及びＰ１０５ｂは、視点（例えば、ユーザの頭部）を模式的に示している。具体的には、視点Ｐ１０５ａは、移動前の視点を模式的に示している。また、視点Ｐ１０５ｂは、移動後の視点を模式的に示している。なお、以降の説明では、視点Ｐ１０５ａ及びＰ１０５ｂを特に区別しない場合には、単に「視点Ｐ１０５」と称する場合がある。また、図５において、参照符号Ｖ１１０は、表示情報としての提示の対象となるオブジェクトを模式的に示している。

　図５の左図は、視点Ｐ１０５ａの位置や姿勢に応じたオブジェクトＶ１１０の投影及び描画に係る処理を模式的に示している。図５の左図において、参照符号Ｐ１０７ａは、視点Ｐ１０５ａからの視野（画角）に応じて規定されるスクリーン面（投影面）を模式的に示している。図５の左図に示す例では、視点Ｐ１０５ａからは、オブジェクトＶ１１０の各面のうち視点Ｐ１０５ａ側に位置する面Ｖ１１１及びＶ１１３を視認することが可能である。そのため、面Ｖ１１１及びＶ１１３のそれぞれが、視点Ｐ１０５ａとの間の相対的な位置や姿勢の関係に応じて、スクリーン面Ｐ１０７ａに投影され、当該投影の結果が描画される。例えば、参照符号Ｖ１１５ａは、スクリーン面Ｐ１０７ａに対するオブジェクトＶ１１０の面Ｖ１１１の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１１７ａは、スクリーン面Ｐ１０７ａに対するオブジェクトＶ１１０の面Ｖ１１３の投影結果に応じた２次元的な表示情報を模式的に示している。

　また、図５の右図は、上記表示情報Ｖ１１５ａ及びＶ１１７ａが出力部の表示領域に提示される際に、当該提示のタイミングにおける視点Ｐ１０５ｂの位置や姿勢に応じて、当該表示情報Ｖ１１５ａ及びＶ１１７ａを補正する場合の一例を示している。図５の右図において、参照符号Ｐ１０７ｂは、移動後の視点Ｐ１０５ｂに対応付けて規定されるスクリーン面を模式的に示している。

　図５の右図に示すように、オブジェクトＶ１１０の各部のうち奥行き方向の手前側と奥側とでは、視点Ｐ１０５の位置が変化した場合における見え方の変化が異なる。具体的には、オブジェクトＶ１１０の面Ｖ１１３を移動後の視点Ｐ１０５ｂから見た場合には、移動前の視点Ｐ１０５ａから見た場合に比べて幅がより広く見えることとなる。そのため、例えば、スクリーン面Ｐ１０７（換言すると、出力部の表示領域）における表示情報Ｖ１１５ａ及びＶ１１７ａの提示位置を２次元的に補正するのみでは、オブジェクトＶ１１０の面Ｖ１１３の見え方に矛盾が生じる場合がある。例えば、図５の右図において、参照符号Ｖ１１５ｂ及びＶ１１７ｂは、表示情報Ｖ１１５ａ及びＶ１１７ａに対する補正（Reprojection）の適用結果に応じた表示情報の一例を模式的に示している。即ち、図５の右図に示す例では、スクリーン面Ｐ１０７ｂ上において、オブジェクトＶ１１０の面Ｖ１１３の奥行き方向の奥側が見えるべき部分に、補正後の表示情報Ｖ１１７ｂが提示されておらず、結果として矛盾が生じたような見え方となっている。

　また、図３を参照して説明したReprojectionに係る処理は、視点からの距離が異なる複数のオブジェクトが存在する状況下では、いずれかのオブジェクトについて整合性が担保されるように補正が行われる。そのため、当該Reprojectionに係る処理では、他のオブジェクトを補正により正確に再現することが困難な場合がある。

　例えば、図６は、視点の位置や姿勢に応じた表示情報の補正に係る処理の他の一例について概要を説明するための説明図である。図６において、参照符号Ｐ１０９ａ及びＰ１０９ｂは、視点（例えば、ユーザの頭部）を模式的に示している。具体的には、視点Ｐ１０９ａは、移動前の視点を模式的に示している。また、視点Ｐ１０９ｂは、移動後の視点を模式的に示している。なお、以降の説明では、視点Ｐ１０９ａ及びＰ１０９ｂを特に区別しない場合には、単に「視点Ｐ１０９」と称する場合がある。また、図６において、参照符号Ｖ１２０及びＶ１４０は、表示情報としての提示の対象となるオブジェクトを模式的に示している。

　図６の左図は、視点Ｐ１９５ａの位置や姿勢に応じたオブジェクトＶ１２０及びＶ１４０の投影及び描画に係る処理を模式的に示している。図６の左図において、参照符号Ｐ１１１ａは、視点Ｐ１０９ａからの視野（画角）に応じて規定されるスクリーン面（投影面）を模式的に示している。図６の左図に示す例では、視点Ｐ１０９ａからは、オブジェクトＶ１２０の各面のうち視点Ｐ１０９ａ側に位置する面Ｖ１２１及びＶ１２３と、オブジェクトＶ１４０の各面のうち視点Ｐ１０９ａ側に位置する面Ｖ１４１と、を視認することが可能である。そのため、面Ｖ１２１、Ｖ１２３、及びＶ１４１のそれぞれが、視点Ｐ１０９ａとの間の相対的な位置や姿勢の関係に応じて、スクリーン面Ｐ１１１ａに投影され、当該投影の結果が描画される。例えば、参照符号Ｖ１２５ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１２０の面Ｖ１２１の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１２７ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１２０の面Ｖ１２３の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１４３ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１４０の面Ｖ１４１の投影結果に応じた２次元的な表示情報を模式的に示している。

　また、図６の右図は、上記表示情報Ｖ１２５ａ、Ｖ１２７ａ、及びＶ１４３ａが出力部の表示領域に提示される際に、当該提示のタイミングにおける視点Ｐ１０９ｂの位置や姿勢に応じて、当該表示情報Ｖ１２５ａ、Ｖ１２７ａ、及びＶ１４３ａを補正する場合の一例を示している。図６の右図において、参照符号Ｐ１１１ｂは、移動後の視点Ｐ１０９ｂに対応付けて規定されるスクリーン面を模式的に示している。

　具体的には、図６の右図に示す例では、視点Ｐ１０９からの距離が異なる複数のオブジェクトのうち、いずれかのオブジェクトの見え方がより正しくなるように（即ち、整合性が担保されるように）、各表示情報（即ち、表示情報Ｖ１２５ａ、Ｖ１２７ａ、及びＶ１４３ａ）の補正が行われる。例えば、図６の右図に示す例では、視点Ｐ１０９から見てより手前側に位置するオブジェクトＶ１２０の見え方がより正しくなるように、表示情報Ｖ１２５ａ、Ｖ１２７ａ、及びＶ１４３ａの提示位置の補正が行われている。例えば、参照符号Ｖ１２５ｂ、Ｖ１２７ｂ、及びＶ１４３ｂは、表示情報Ｖ１２５ａ、Ｖ１２７ａ、及びＶ１４３ａに対する補正（Reprojection）の適用結果に応じた表示情報の一例を模式的に示している。

　一方で、視点Ｐ１０９からの距離が異なるオブジェクトＶ１２０とオブジェクトＶ１４０とでは、当該視点Ｐ１０９の位置が変化した場合における見え方の変化が異なる。このような状況下で、図６の右図に示す例では、オブジェクトＶ１２０の面Ｖ１２１及びＶ１２３それぞれに対応する表示情報Ｖ１２５ｂ及びＶ１２７ｂの見え方がより正しくなるように補正が行われている。そのため、オブジェクトＶ１４０の面Ｖ１４１に対応する表示情報Ｖ１４３ｂについては、視点Ｐ１０９ｂから本来見えるべき位置からずれた位置に提示されている。即ち、図６に示す例では、移動後の視点Ｐ１０９ｂからのオブジェクトＶ１４０の見え方については、一部に矛盾が生じている。

　このように、オブジェクトの投影結果に応じた表示情報を２次元的に補正するのみでは、例えば、視点の位置や姿勢の変化や、対象となるオブジェクトに応じて、補正時に視点とオブジェクトとの間の３次元的な位置や姿勢の関係を正確に反映することが困難な場合がある。そこで、本開示では、視点の位置や姿勢に応じた情報の提示をより好適な態様で実現可能とする技術を提案する。具体的には、所謂Reprojectionに相当する補正処理が適用される場合においても、視点とオブジェクトとの間の３次元的な位置や姿勢の関係をより正確に反映することを可能とする技術を提案する。

　＜＜３．技術的特徴＞＞
　以下に、本開示の一実施形態に係る情報処理システムの技術的特徴について説明する。

　　＜３．１．基本思想＞
　まず、本開示の一実施形態に係る情報処理システムにおける技術的特長について、特に、オブジェクトの投影結果に応じた表示情報の提示時に、当該提示のタイミングにおける視点の位置や姿勢に応じて当該表示情報を補正する処理に着目して説明する。例えば、図７は、本開示の一実施形態に係る情報処理システムの技術的特徴の基本思想について概要を説明するための説明図である。図７において、参照符号Ｐ１５１ａ及びＰ１５１ｂは、視点（例えば、ユーザの頭部）を模式的に示している。具体的には、視点Ｐ１５１ａは、移動前の視点を模式的に示している。また、視点Ｐ１５１ｂは、移動後の視点を模式的に示している。なお、以降の説明では、視点Ｐ１５１ａ及びＰ１５１ｂを特に区別しない場合には、単に「視点Ｐ１５１」と称する場合がある。

　まず、図７の左図を参照して、本開示の一実施形態に係る情報処理システムにおける、オブジェクトの投影及び描画に係る処理について概要を説明する。図７の左図において、参照符号Ｖ１５０ａ及びＶ１６０ａは、表示情報としての提示の対象となるオブジェクトを模式的に示している。また、参照符号Ｐ１５３ａは、視点Ｐ１５１ａからの視野（画角）に応じて規定されるスクリーン面（投影面）を模式的に示している。図７の左図に示す例では、視点Ｐ１５１ａからは、オブジェクトＶ１５０ａの各面のうち視点Ｐ１５１ａ側に位置する面Ｖ１５１ａ及びＶ１５３ａと、オブジェクトＶ１６０ａの各面のうち視点Ｐ１５１ａ側に位置する面Ｖ１６１ａと、を視認することが可能である。そのため、面Ｖ１５１ａ、Ｖ１５３ａ、及びＶ１６１ａのそれぞれが、視点Ｐ１５１ａとの間の相対的な位置や姿勢の関係に応じて、スクリーン面Ｐ１５３ａに投影され、当該投影の結果が描画される。即ち、移動前の視点Ｐ１５１ａが、「第１の視点」一例に相当し、当該視点Ｐ１５１ａ（即ち、第１の視点）に対応付けて規定されるスクリーン面Ｐ１５３ａが、「第１の投影面」の一例に相当する。例えば、参照符号Ｖ１２５ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１２０の面Ｖ１２１の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１２７ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１２０の面Ｖ１２３の投影結果に応じた２次元的な表示情報を模式的に示している。また、参照符号Ｖ１４３ａは、スクリーン面Ｐ１１１ａに対するオブジェクトＶ１４０の面Ｖ１４１の投影結果に応じた２次元的な表示情報を模式的に示している。

　また、本実施形態に係る情報処理システムでは、各オブジェクトの投影結果に対して、視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた情報が関連付けられる。具体的な一例として、図７の左図に示す例では、オブジェクトＶ１５０ａの面Ｖ１５１ａの投影結果に応じた表示情報Ｖ１５５ａに対して、視点Ｐ１５１ａと当該面Ｖ１５１ａとの間の距離に関する情報（例えば、Ｚ―ｂｕｆｆｅｒ法におけるＺ値等）が関連付けられる。なお、以降の説明では、上記表示情報に関連付けられる、視点とオブジェクトとの間の距離に関する情報を、便宜上「距離情報」とも称する。同様に、オブジェクトＶ１５０ａの面Ｖ１５３ａの投影結果に応じた表示情報Ｖ１５７ａに対して、視点Ｐ１５１ａと当該面Ｖ１５３ａとの間の距離に関する距離情報が関連付けられる。また、オブジェクトＶ１６０ａの面Ｖ１６１ａの投影結果に応じた表示情報Ｖ１６３ａに対して、視点Ｐ１５１ａと当該面Ｖ１６１ａとの間の距離に関する距離情報が関連付けられる。

　なお、以降では、表示情報に対して距離情報が関連付けられる場合の例に着目して説明するが、視点とオブジェクトとの間の相対的な位置及び姿勢の関係を特定可能な情報であれば、上記表示情報に関連付けられる情報は、必ずしも距離情報には限定されない。具体的な一例として、所定の座標系における視点及びオブジェクトそれぞれの座標が、当該視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた情報として関連付けられてもよい。また、視点とオブジェクトとの間の相対的な位置や姿勢の関係に応じた各種情報については、例えば、当該視点の位置及び姿勢に関する情報や、当該オブジェクトを定位させる位置及び姿勢に関する情報等に基づき取得することが可能である。もちろん、視点とオブジェクトとの間の相対的な位置及び姿勢の関係を特定可能な情報を取得することが可能であれば、その方法についても特に限定はされない。また、オブジェクトの投影結果に応じた上記表示情報が、「第１の情報」の一例に相当する。また、当該表示情報（即ち、第１の情報）に関連付けられる情報、即ち、視点とオブジェクトとの間の相対的な位置及び姿勢の関係に応じた情報が、「第２の情報」の一例に相当する。

　次いで、図７の中央図及び右図を参照して、本開示の一実施形態に係る情報処理システムにおける、視点の位置や姿勢に応じた表示情報の補正に係る処理（即ち、Reprojectionに相当する処理）について概要を説明する。

　本実施形態に係る情報処理システムでは、オブジェクトの投影結果に応じて描画された表示情報を、視点の位置や姿勢に応じて補正する際には、まず当該オブジェクトの３次元的な情報を復元する。例えば、図７の中央図に示す例では、表示情報Ｖ１５５ａ、Ｖ１５７ａ、及びＶ１６３ａのそれぞれと、各表示情報に関連付けられた情報（例えば、距離情報）と、に基づき、オブジェクトＶ１５０ａ及びＶ１６０ａの３次元的な情報（例えば、３次元的な位置、姿勢、及び形状等の情報）を復元する。なお、以降の説明では、オブジェクトＶ１５０ａ及びＶ１６０ａそれぞれの復元結果を、上記投影の対象としたオブジェクトＶ１５０ａ及びＶ１６０ａと区別するために、「オブジェクトＶ１５０ｂ」及び「オブジェクトＶ１６０ｂ」と称する場合がある。一方で、オブジェクトＶ１５０ａ及びＶ１５０ｂを特に区別しない場合には、単に「オブジェクトＶ１５０」と称する場合がある。同様に、オブジェクトＶ１６０ａ及びＶ１６０ｂを特に区別しない場合には、単に「オブジェクトＶ１６０」と称する場合がある。

　具体的な一例として、表示情報Ｖ１５５ａと、当該表示情報Ｖ１５５ａに関連付けられた距離情報と、に基づき、オブエジェクＶ１５０ｂの面Ｖ１５１ｂの３次元的な情報が復元される。同様に、表示情報Ｖ１５７ａと、当該表示情報Ｖ１５７ａに関連付けられた距離情報と、に基づき、オブエジェクＶ１５０ｂの面Ｖ１５３ｂの３次元的な情報が復元される。また、表示情報Ｖ１６３ａと、当該表示情報Ｖ１６３ａに関連付けられた距離情報と、に基づき、オブエジェクＶ１６０ｂの面Ｖ１６１ｂの３次元的な情報が復元される。

　次いで、図７の右図に示すように、復元されたオブジェクトＶ１５０ｂ及びＶ１６０ｂを、移動後の視点Ｐ１５１ｂ（即ち、表示情報の提示タイミングにおける視点）の位置や姿勢に基づき、当該視点Ｐ１５１ｂからの視野（画角）に応じて規定されるスクリーン面Ｐ１５３ｂ（投影面）に再投影する。即ち、当該再投影の対象となる、移動後の視点Ｐ１５１ｂが「第２の視点」の一例に相当し、当該視点Ｐ１５１ｂ（即ち、第２の視点）に対応付けて規定される投影面Ｐ１５３ｂが、「第２の投影面」の一例に相当する。なお、移動後の視点Ｐ１５１ｂの位置や姿勢については、例えば、加速度センサや角速度センサ等の各種センサによる視点Ｐ１５１の位置や姿勢の変化の検出結果や、当該検出結果に基づく自己位置推定等に基づき算出することが可能である。

　図７の右図において、参照符号Ｖ１５５ｂは、復元されたオブジェクトＶ１５０ｂの面Ｖ１５１ｂの再投影の結果に応じた表示情報を模式的に示している。同様に、参照符号Ｖ１５７ｂは、復元されたオブジェクトＶ１５０ｂの面Ｖ１５３ｂの再投影の結果に応じた表示情報を模式的に示している。また、参照符号Ｖ１６３ｂは、復元されたオブジェクトＶ１６０ｂの面Ｖ１６１ｂの再投影の結果に応じた表示情報を模式的に示している。

　以上のように、本実施形態に係る情報処理システムでは、視点の位置や姿勢に応じて対象となるオブジェクトの投影及び描画を行い、当該投影及び当該描画の結果に応じた表示情報に対して、当該オブジェクトと当該視点との間の相対的な位置及び姿勢の関係に応じた情報を関連付ける。即ち、当該表示情報には、描画結果に応じた各ピクセルの情報（例えば、ピクセルごとの色の情報等）に加えて、距離情報（即ち、Ｚ値等のように、対応するオブジェクトと視点との間の距離に関する情報）等が関連付けられる。また、出力部を介して上記投影及び上記描画の結果に応じた表示情報を提示する際には、まず上記表示情報と上記距離情報とに基づき上記オブジェクトの３次元的な情報を復元し、当該提示のタイミングにおける視点の位置や姿勢に応じて復元した当該オブジェクトを再投影する。これにより、上記描画結果に応じた表示情報が、移動後の視点の位置及び姿勢に応じて補正される（例えば、提示位置や形状が補正される）。

　以上のように、本実施形態に係る情報処理システムに依れば、オブジェクトの投影結果に応じた表示情報に対して視点の位置や姿勢に応じた補正（所謂Reprojectionに相当する処理）が適用される状況下においても、視点とオブジェクトとの間の３次元的な位置や姿勢の関係をより正確に反映することが可能となる。即ち、本実施形態に係る情報処理システムに依れば、視点の位置や姿勢の変化に応じてユーザに対して情報を提示する状況下で、当該視点の動きが検知されてから情報が提示されるまでの間の処理遅延に応じた表示情報の重畳位置のずれをより好適な態様で補正することが可能となる。

　　＜３．２．機能構成＞
　続いて、本開示の一実施形態に係る情報処理システムの機能構成の一例について説明する。例えば、図８は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。具体的には、図８は、図１に示す情報処理システム１の機能構成の一例ついて、特に、情報処理装置１０が、入出力装置２０の位置や姿勢の変化に応じて、当該入出力装置２０の出力部２１１を介してユーザに情報を提示するための構成に着目して示している。

　図８に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、撮像部２０１と、検知部２５１と、出力部２１１と、記憶部１９１とを含む。なお、出力部２１１は、例えば、図２を参照して説明した出力部２１１に相当する。

　撮像部２０１は、図２においてステレオカメラとして構成された第１撮像部２０１ａ及び２０１ｂに相当する。撮像部２０１は、実空間内の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。

　検知部２５１は、入出力装置２０の位置や姿勢の変化（ひいては、当該入出力装置２０を装着したユーザの頭部の動き）を検出するための情報の取得に係る部分を模式的に示している。即ち、検知部２５１は、視点の位置や姿勢の変化（換言すると、入出力装置２０の位置や姿勢の変化）を検出するための情報を取得する。具体的な一例として、検知部２５１は、加速度センサや角速度センサ等のような物体の動きの検出に係る各種センサを含んでもよい。検知部２５１は、取得した情報を情報処理装置１０に出力する。これにより、情報処理装置１０は、入出力装置２０の位置や姿勢の変化を認識することが可能となる。

　記憶部１９１は、情報処理装置１０が各種機能を実現するためのプログラムやデータを一時的にまたは恒久的に記憶する。具体的な一例として、記憶部１９１は、出力部２１１を介した提示の対象となる仮想コンテンツのデータ（例えば、仮想的なオブジェクトの形状、色、配置等を再現するためのデータ）が保持されていてもよい。なお、情報処理装置１０が記憶部１９１にアクセス可能であれば、当該記憶部１９１が設けられる位置は特に限定されない。具体的な一例として、記憶部１９１は、情報処理装置１０に内蔵されていてもよい。また、他の一例として、記憶部１９１は、情報処理装置１０以外の他の装置として構成され、当該情報処理装置１０に外付けされてもよい。また、他の一例として、記憶部１９１は、情報処理装置１０以外の他の装置として構成され、当該情報処理装置１０にネットワークを介して接続されてもよい。

　次いで、情報処理装置１０の構成について説明する。図８に示すように、情報処理装置１０は、認識処理部１０１と、予測処理部１０３と、描画処理部１０５と、フレームバッファ１０７と、補正処理部１０９と、出力制御部１１１とを含む。

　認識処理部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に対して解析処理を施すことで、当該画像に撮像された実空間内の物体（被写体）を認識する。具体的な一例として、認識処理部１０１は、ステレオカメラとして構成された撮像部２０１から、互いに異なる複数の視点から撮像された画像（以降では、「ステレオ画像」とも称する）を取得し、取得した画像間の視差に基づき、画像中に撮像された物体までの距離を、当該画像の画素ごとに測定する。これにより、認識処理部１０１は、当該画像が撮像されたタイミングにおける、撮像部２０１（ひいては、入出力装置２０）と、当該画像に撮像された各物体との間の、実空間内における相対的な位置関係（特に、奥行き方向の位置関係）を推定または認識することが可能となる。もちろん上記はあくまで一例であり、実空間内の物体を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、実空間内の物体の認識方法に応じて、撮像部２０１等の構成が適宜変更されてもよい。

　また、認識処理部１０１は、例えば、自己位置推定の技術に基づき、視点の位置や姿勢を認識してもよい。具体的な一例として、認識処理部１０１は、ＳＬＡＭに基づき自己位置推定と環境地図の作成とを行うことで、入出力装置２０（換言すると、視点）と、画像中に撮像された物体との間の、実空間内における位置関係を認識してもよい。この場合には、例えば、認識処理部１０１は、検知部２５１から入出力装置２０の位置及び姿勢の変化の検知結果に関する情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定に利用してもよい。

　より具体的な一例として、認識処理部１０１は、ＳＬＡＭに基づく自己位置推定を利用することで、入出力装置２０の現在の位置、姿勢、速度、及び慣性加速度等を算出する。また、認識処理部１０１は、入出力装置２０の現在の位置、姿勢、及び速度を基点として、検知部２５１から得られる加速度や角速度を慣性航法で積分することで、最新の位置及び姿勢や速度及び角速度を算出する。

　なお、上記はあくまで一例であり、視点の位置や姿勢を認識することが可能であれば、その方法やそのための構成は特に限定されない。即ち、視点の位置や姿勢の認識方法に応じて、撮像部２０１や検知部２５１等の構成が適宜変更されてもよい。

　そして、認識処理部１０１は、入出力装置２０の自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を予測処理部１０３に出力する。

　予測処理部１０３は、認識処理部１０１から入出力装置２０の自己位置推定の結果（即ち、視点の位置や姿勢の認識結果）に関する情報を取得する。予測処理部１０３は、取得した当該情報に基づき、入出力装置２０の未来の位置及び姿勢を予測する。具体的な一例として、予測処理部１０３は、入出力装置２０の自己位置推定の結果に応じた、当該入出力装置２０の位置及び姿勢や速度及び角速度を線型補間で外挿することで、入出力装置２０の未来の位置及び姿勢を予測してもよい。そして、予測処理部１０３は、入出力装置２０（換言すると、視点）の位置及び姿勢の予測結果に関する情報を、描画処理部１０５や補正処理部１０９に出力する。なお、以降の説明では、タイミングｔ_ｒにおける視点の位置及び姿勢を、ｅｙｅｐｏｓｅ［ｔ_ｒ］と表記する場合がある。

　描画処理部１０５は、視点の位置及び姿勢の予測結果に関する情報を予測処理部１０３から取得し、取得した当該情報に基づく視点の位置や姿勢に応じて、提示対象となる表示情報を所定のバッファに描画する。このとき、描画処理部１０５は、例えば、視点の位置や姿勢に応じて、対象となるオブジェクト（例えば、３次元的な情報を有する仮想オブジェクト）を、当該視点に対応付けて規定されるスクリーン面（例えば、出力部２１１の表示領域）に投影し、当該投影の結果に応じた表示情報（即ち、２次元的な表示情報）を上記バッファに描画してもよい。なお、以降の説明では、便宜上、描画処理部１０５は、上記描画の結果をフレームバッファ１０７に描画するものとして説明するが、必ずしも上記描画の結果が保持される領域を限定するものではない。また、描画処理部１０５が、「投影処理部」の一例に相当する。また、描画処理部１０５のうち、予測処理部１０３から視点の位置及び姿勢の予測結果に関する情報（即ち、視点の位置及び姿勢の認識結果に応じた情報）を取得する部分が、「取得部」の一例に相当する。

　また、描画処理部１０５は、認識処理部１０１から実空間内の物体の位置の認識結果に関する情報を取得してもよい。この場合には、例えば、描画処理部１０５は、実空間内の物体（実オブジェクト）の認識結果に応じて表示情報の描画を行ってもよい。具体的な一例として、描画処理部１０５は、実空間内の物体と、提示対象となるオブジェクトと、の間の位置や姿勢の関係に応じて、当該オブジェクトをスクリーン面に投影し、当該投影の結果に応じた表示情報を上記バッファに描画してもよい。また、このとき、描画処理部１０５は、視点の位置及び姿勢の認識結果に応じて、実空間内の物体に対してオブジェクトが重畳するように、当該オブジェクトを定位させる実空間内の位置を制御してもよい。なお、以降の説明では、描画処理部１０５によりオブジェクトの投影結果に応じて描画された表示情報（例えば、画像等のような２次元的な表示情報）を、便宜上「参照フレーム（reference　frame）」とも称する。また、ｅｙｅｐｏｓｅ［ｔ_ｒ］に対応する参照フレームを、ｆｒｅｍｅ_ｒｅｆ［ｔ_ｒ］と表記する場合がある。

　また、描画処理部１０５は、上記バッファに描画する表示情報の色や明るさを、各種条件に応じて制御してもよい。具体的な一例として、描画処理部１０５は、対象となるオブジェクトを表示領域に投影した際に、３次元空間上に規定された光源と当該オブジェクトとの間の位置関係に応じて、当該オブジェクトを表示情報として描画する際の色や明るさ制御してもよい。また、描画処理部１０５は、ＡＲ技術に基づき実空間内の物体に重畳するように表示情報を提示する場合に、当該物体と当該表示情報との間の位置関係に応じて、当該表示情報を描画する際の色や明るさを制御してもよい。

　また、描画処理部１０５は、オブジェクトの投影結果に応じて描画された表示情報（参照フレーム）に対して、視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた情報（例えば、Ｚ値等のような距離情報）を関連付ける。なお、ここでは、描画処理部１０５は、表示情報に対して視点とオブジェクトとの間の距離に応じた距離情報を関連付けるものとする。

　フレームバッファ１０７は、各種データを一時的にまたは恒久的に保持する記憶領域である。フレームバッファ１０７には、例えば、描画処理部１０５による表示情報の描画結果（即ち、参照フレーム）が保持される。

　補正処理部１０９は、描画処理部１０５によりフレームバッファ１０７に描画された表示情報（参照フレーム）に対して各種補正を施す。具体的な一例として、補正処理部１０９は、描画処理部１０５によりバッファに描画された表示情報が、後述する出力制御部１１１により出力部２１１に提示されるまでに、視点の位置や姿勢が変化した場合に、当該視点の位置や姿勢の変化に応じて当該表示情報の補正（所謂リプロジェクションに相当する処理）を適用してもよい。

　具体的には、補正処理部１０９は、図７を参照して前述したように、フレームバッファ１０７に保持された表示情報（参照フレーム）と、当該表示情報に関連付けられた距離情報と、に基づき、当該表示情報の投影元となるオブジェクトの３次元的な情報を復元する。また、補正処理部１０９は、出力部２１１を介した表示情報の提示タイミングにおける視点の位置及び姿勢の予測結果に関する情報を予測処理部１０３から取得し、取得した当該情報に基づく視点の位置や姿勢に応じて、復元したオブジェクトを再投影する。以上のようにして、補正処理部１０９は、フレームバッファ１０７に保持された表示情報（参照フレーム）を補正する。即ち、移動後の視点の位置及び姿勢に応じて、当該表示情報の提示位置や形状が補正される。

　以上のようにして、補正処理部１０９によりフレームバッファ１０７に保持された表示情報に対して各種補正が行われると、出力制御部１１１は、出力部２１１を介した情報の提示タイミングにあわせて、補正後の当該表示情報を当該出力部２１１に提示させる。

　なお、補正処理部１０９及び出力制御部１１１による上述した処理の適用単位は、出力部２１１に情報を提示させる方式に応じて適宜変更されてもよい。例えば、所謂グローバル発光により出力部２１１を介して情報が提示される方式が適用される場合には、補正処理部１０９及び出力制御部１１１を画面単位で上述した処理を適用してもよい。また、所謂スキャンライン発光等のように出力部２１１の表示領域を複数の部分領域（例えば、ラインやタイル）に分割し、当該部分領域ごとに順次表示情報が提示される方式が適用される場合には、補正処理部１０９及び出力制御部１１１は、当該部分領域を１以上含む部分ごとに上述した処理を適用してもよい。

　なお、図８に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の動作を実現することが可能であれば、当該情報処理システム１の機能構成は必ずしも図８に示す例には限定されない。具体的な一例として、撮像部２０１、検知部２５１、及び出力部２１１の少なくともいずれかと、情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の一部の機能が、当該情報処理装置１０の外部に設けられていてもよい。具体的な一例として、認識処理部１０１や予測処理部１０３に相当する部分が、情報処理装置１０の外部に設けられていてもよい。なお、この場合には、情報処理装置１０の外部に設けられた認識処理部１０１や予測処理部１０３に相当する部分から情報を取得するインタフェースが、視点の位置及び姿勢の認識結果に応じた情報を取得する「取得部」の一例に相当し得る。また、情報処理装置１０の少なくとも一部の機能が、複数の装置が連携して動作することで実現されてもよい。

　以上、図８を参照して、本開示の一実施形態に係る情報処理システムの機能構成の一例について説明した。

　　＜３．３．処理＞
　続いて、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について説明する。例えば、図９は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したタイミングチャートであり、特に、情報処理装置１０が、入出力装置２０の位置や姿勢の変化に応じて、当該入出力装置２０の出力部２１１を介してユーザに情報を提示するための処理に着目して示している。図９において、参照符号Ｔｆは、出力部を介した情報の提示に係る単位期間を模式的に示しており、例えば、フレーム周期が該当する。

　図９に示す例では、出力部２１１の表示領域をＮ個の部分領域に分割し、当該部分領域ごとに順次情報を提示する場合（例えば、スキャンライン発光の場合）の一例について示している。即ち、図９に示す例では、出力部２１１の表示領域に表示情報が提示される際には、フレーム周期がＮ分割され、当該表示領域への当該表示情報の提示がＮ回に分けて実行される。図９において、参照符号ｔ_ｐ１～ｔ_ｐＮは、表示領域が分割されたＮ個の部分領域それぞれに対する表示情報の提示が開始されるタイミングをそれぞれ示している。また、参照符号ｔ_ｗ１～ｔ_ｗＮは、タイミングｔ_ｐ１～ｔ_ｐＮそれぞれの直前のタイミングを模式的に示している。

　具体的には、出力部２１１を介した表示情報の提示に係る処理に先駆けて、提示対象となるオブジェクトの投影や当該投影の結果に応じた表示情報の描画が行われる。より具体的には、図９に示す例では、表示情報の提示が行われるフレームの開始タイミング（例えば、タイミングｔ_ｐ１）よりも前に、タイミングｔ_ｒにおける視点の位置及び姿勢の推定結果に応じて、その後の視点の位置及び姿勢の予測が行われ、当該予測の結果に応じて、画像生成に係る処理、即ち、オブジェクトの投影に係る処理や当該投影の結果に応じた表示情報の描画に係る処理が実行される。

　続いて、表示領域が分割された各部分領域に対して表示情報が提示されるタイミングｔ_ｐ１～ｔ_ｐＮそれぞれにあわせて、上記描画結果に応じてバッファに保持された表示情報のうち、対応する部分領域に相当する部分の補正に係る処理が実行される。

　例えば、当該表示情報のうち、タイミングｔ_ｐ１で情報の提示が行われる部分領域に対応する部分については、タイミングｔ_ｐ１の直前のタイミングｔ_ｗ１における視点の位置及び姿勢の推定結果に基づき、タイミングｔ_ｐ１での当該視点の位置及び姿勢の予測が行われる。次いで、当該予測の結果から、対象となる表示情報の描画が行われたタイミングでの視点の位置及び姿勢と、タイミングｔ_ｐ１での当該視点の位置及び姿勢と、の間の差分の推定が行われ、当該差分の推定結果に基づき、表示情報の補正に係る処理（換言すると、遅延補償に係る処理）が実行される。具体的には、バッファに保持された表示情報からオブジェクトが復元され、復元された当該オブジェクトが、上記タイミングｔ_ｐ１での当該視点の位置及び姿勢に応じたスクリーン面に再投影される。以上のようにして、バッファに保持された上記表示情報の補正（例えば、提示位置の補正や形状の補正等）が行わる。そして、タイミングｔ_ｐ１において、対応する部分領域に対する補正後の当該表示情報の提示に係る処理の実行が開始される。

　また、タイミングｔ_ｐ１に次ぐタイミングｔ_ｐ２で情報の提示が行われる部分領域に対応する部分については、タイミングｔ_ｐ２の直前のタイミングｔ_ｗ２における視点の位置及び姿勢の推定結果に基づき、タイミングｔ_ｐ２での当該視点の位置及び姿勢の予測が行われる。そして、当該予測の結果から、対象となる表示情報の描画が行われたタイミングでの視点の位置及び姿勢と、タイミングｔ_ｐ２での当該視点の位置及び姿勢と、の間の差分の推定が行われ、当該差分の推定結果に基づき、表示情報の補正に係る処理が実行される。そして、タイミングｔ_ｐ２において、対応する部分領域に対する補正後の当該表示情報の提示に係る処理の実行が開始される。以上のような処理が、各部分領域について順次実行される。このように、図９に示す例では、各部分領域について順次実行される上記補正に係る処理（換言すると、再投影に係る処理）は、移動前の視点の位置及び姿勢に応じたオブジェクトの投影及び描画に係る処理の周期よりも短い周期で実行される。

　なお、上述の通り、フレーム周期をＮ分割して表示情報の補正を適用する状況下では、分割数Ｎが少なすぎる場合には、重畳位置の誤差が大きくなるだけでなく、補正後の表示フレーム間でティアリングが生じる場合がある。そのため、分割数Ｎについては、例えば、システムのスペックや提示対象となるコンテンツに応じて設定されることが望ましい。具体的な一例として、オブジェクト（重畳物）が画面内を移動する速度の上限（即ち、視点とオブジェクトとの間の相対的な速度の上限）に基づき、表示フレーム間でオブジェクトの位置が１ｐｘ以上ずれないように分割数Ｎが決定されることが望ましい。より具体的な一例として、出力部の水平解像度が１２８０ｐｘ、水平画角が３０ｄｅｇ、フレームレートが６０ｆｐｓ、視点（例えば、ユーザの頭部）の回転速度の上限が１００ｄｅｇ／ｓｅｃと仮定すると、以下に（式１）及び（式２）として示す計算式に基づき、Ｎ＝１８とすればよい。

　また、上述した各部分領域のうち、一部の部分領域が「第１の部分領域」の一例に相当し、当該第１の部分領域と異なる部分領域が「第２の部分領域」の一例に相当する。また、出力部を介した提示の対象となる表示情報（即ち、オブジェクトの投影及び描画の結果に応じた表示情報）のうち、第１の部分領域への提示対象となる部分が「第１の表示情報」の一例に相当し、第２の部分領域への提示対象となる部分が「第２の表示情報」の一例に相当する。即ち、この場合には、第１の表示情報の提示と、第２の表示情報の提示と、は異なるタイミングで制御されることとなる。

　以上、図９を参照して、本開示の一実施形態に係る情報処理システムの一連の処理の流れの一例について説明した。

　　＜３．４．実施例＞
　続いて、実施例として、本開示の一実施形態に係る情報処理システムによる、オブジェクトの投影及び描画の結果に応じた表示情報の補正に係る処理、即ち、オブジェクトの復元及び再投影に係る処理のより具体的な一例について説明する。具体的には、図７を参照して説明したオブジェクトの復元及び再投影に係る処理の単位は特に限定されず、当該復元及び当該再投影に係る処理が、オブジェクトごとに実行されてもよいし、オブジェクトの部分ごとに実行されてもよい。

　　（実施例１：ピクセル単位の復元及び再投影）
　まず、実施例１として、図１０及び図１１を参照して、オブジェクトの投影及び描画の結果に応じた表示情報のピクセルごとに、上述したオブジェクトの復元及び再投影に係る処理が実行される場合の一例について説明する。図１０及び図１１は、本開示の一実施形態に係る情報処理システムの実施例１について概要を説明するための説明図であり、ピクセル単位でオブジェクトの復元及び再投影が行われる場合の一例について示している。なお、図１０及び図１１において、図７と同様の符号は、図７に示す例と同様の対象を示すものとする。

　まず、図１０を参照して、オブジェクトの復元に係る処理について説明する。図１０の左図は、オブジェクトの投影及び描画に係る処理を模式的に示しており、図７の左図と同様のため詳細な説明は省略する。また、参照符号Ｄ１１１は、図１０の左図に示すオブジェクトの投影及び描画が行われるバッファの状況を模式的に示しており、便宜上「カラーバッファ（Color　Buffer）」とも称する。即ち、カラーバッファＤ１１１には、オブジェクトの投影及び描画の結果に応じた表示情報（より具体的には、各ピクセルのＲＧＢ値等の情報）が保持される。また、参照符号Ｄ１１３は、当該表示情報に関連付けられる距離情報が保持されるバッファの状況を模式的に示しており、便宜上「Ｚバッファ（Z-buffer）」とも称する。即ち、ＺバッファＤ１１３には、カラーバッファＤ１１１に保持された表示情報のピクセルごとに、視点と当該ピクセルに対応するオブジェクトの部分との間の距離がピクセルの明るさにより提示されている。具体的には、図１０に示す例では、ＺバッファＤ１１３は、視点により近い部分に対応するピクセルほどより白く提示され、視点からより離間した部分に対応するピクセルほどより黒く提示されている。

　次いで、図１０の右図に示すように、カラーバッファＤ１１１に保持された表示情報と、ＺバッファＤ１１３に保持された距離情報と、に基づき、オブジェクトの復元に係る処理が実行される。具体的には、図１０に示す例では、カラーバッファＤ１１１に保持されたオブジェクトＶ１５０ａ及びＶ１６０ａに対応する表示情報の各ピクセルが、ＺバッファＤ１１３に保持された当該ピクセルに対応する距離情報に基づき、３次元空間上に射影される。これにより、オブジェクトＶ１５０ａ及びＶ１６０ａの復元が行われる。例えば、オブジェクトＶ１５０ｂ及びＶ１６０ｂは、当該オブジェクトＶ１５０ａ及びＶ１６０ａの復元結果を示している。

　続いて、図１１を参照して、オブジェクトの再投影に係る処理について説明する。図１１の左図は、図１０の右図に相当する。また、図１１の右図は、図１１の左図に示したオブジェクトの復元結果に基づく、当該オブジェクトの再投影に係る処理を模式的に示している。

　図１１の右図に示す例では、表示情報のピクセル単位で復元されたオブジェクトＶ１５０ｂ及びＶ１６０ｂを、移動後の視点Ｐ１５１ｂに対応付けて規定された投影面Ｐ１５３ｂに対して当該ピクセルに相当する部分ごとに再投影が行われている。例えば、参照符号Ｄ１１７は、図１１の右図に示す再投影時におけるＺバッファの状況（即ち、オブジェクトＶ１５０ｂ及びＶ１６０ｂの各部と視点Ｐ１５１ｂとの間の距離）を模式的に示している。また、参照符号Ｄ１１５は、図１１の右図に示す再投影の結果に応じたカラーバッファの状況を模式的に示している。

　カラーバッファＤ１１５及びＺバッファＤ１１７に示すように、移動後の視点Ｐ１５１から見た場合におけるオブジェクトＶ１５０及びＶ１６０がより正確に再現されていることがわかる。

　なお、図１０及び図１１に示す例では、オブジェクトの復元時において、オブジェクトＶ１６０の各部のうち、視点Ｐ１５１ｂからは視認可能であるが、視点Ｐ１５１ａからは視認することが困難な部分については、復元を行うことが困難な場合がある。このような課題を解決する方法の一例については、変形例として別途後述する。

　以上、実施例１として、図１０及び図１１を参照して、オブジェクトの投影及び描画の結果に応じた表示情報のピクセルごとに、上述したオブジェクトの復元及び再投影に係る処理が実行される場合の一例について説明した。

　　（実施例２：オブジェクト単位の復元及び再投影）
　続いて、実施例２として、図１２及び図１３を参照して、オブジェクトごとに、上述したオブジェクトの復元及び再投影に係る処理が実行される場合の一例について説明する。図１２及び図１３は、本開示の一実施形態に係る情報処理システムの実施例２について概要を説明するための説明図であり、オブジェクト単位でオブジェクトの復元及び再投影が行われる場合の一例について示している。なお、図１２及び図１３において、図７と同様の符号は、図７に示す例と同様の対象を示すものとする。

　まず、図１２の左図に示すように、オブジェクトの投影及び描画が行われる。このとき当該投影及び当該描画の結果に応じた表示情報には、視点と、対応するオブジェクトの位置を代表する点（例えば、bounding　sphereの中心等）と、の間の距離に応じた距離情報が関連付けられる。例えば、参照符号Ｖ１５９ａは、オブジェクトＶ１５０ａの位置を代表する点（以下、「代表点」とも称する）を模式的に示している。また、参照符号Ｖ１６９ａは、オブジェクトＶ１６０ａの代表点を模式的に示している。即ち、オブジェクトＶ１５０ａの投影結果に応じた表示情報には、視点Ｐ１５１ａと代表点Ｖ１５９ａとの間の距離に応じた距離情報が関連付けられる。同様に、オブジェクトＶ１６０ａの投影結果に応じた表示情報には、視点Ｐ１５１ａと代表点Ｖ１６９ａとの間の距離に応じた距離情報が関連付けられる。

　例えば、参照符号Ｄ１２１は、図１０の左図に示すオブジェクトの投影及び描画の結果に応じたカラーバッファの状況を模式的に示している。即ち、カラーバッファＤ１２１に保持されたオブジェクトＶ１５０ａ及びＶ１６０ａそれぞれに対応する表示情報に対して、当該オブジェクトの代表点と視点Ｐ１５１ａとの間の距離に応じた距離情報が関連付けられることとなる。なお、カラーバッファＤ１２１に保持された表示情報の各ピクセルがどのオブジェクトに対応するかについては識別可能であるものとする。具体的な一例として、表示情報の各ピクセルに対して、対応するオブジェクトの識別情報（objectid）を関連付けることで、当該ピクセルがどのオブジェクトに対応するかを識別することが可能となる。もちろん、各ピクセルがどのオブジェクトに対応するかについては識別可能であれば、その方法は特に限定されない。

　次いで、図１２の右図に示すように、カラーバッファＤ１２１に保持された表示情報と、オブジェクトごとに当該表示情報に関連付けられた距離情報と、に基づき、当該オブジェクトの復元に係る処理が実行される。このとき、オブジェクトごとの表示情報の各ピクセルそれぞれについて、当該ピクセルの射影後の位置と視点との間の距離が、当該視点と当該オブジェクトの代表点との間の距離となるように、当該ピクセルが３次元空間に射影されることで当該オブジェクトの３次元的な情報が復元される。図１２の右図において、参照符号Ｖ１５０ｃ及びＶ１６０ｃは、オブジェクトＶ１５０ａ及びＶ１６０ａの復元結果を模式的に示している。

　具体的な一例として、表示情報の各ピクセルのスクリーン面Ｐ１５３ａ上における座標を（ｓｘ，ｓｙ）とし、オブジェクトＶ１５０ａの代表点Ｖ１５９ａと視点Ｐ１５１ａとの間の距離をｓｚ１とする。このとき、オブジェクトＶ１５０ａに対応する当該ピクセルが射影される３次元空間内の座標（ｗｘ，ｗｙ，ｗｚ）は、視点Ｐ１５１ａの位置及び姿勢を基準とした、スクリーン面Ｐ１５３ａ上の当該ピクセルの座標（ｓｘ，ｓｙ）と距離ｓｚ１とに基づく射影により算出される。同様に、オブジェクトＶ１６０ａの代表点Ｖ１６９ａと視点Ｐ１５１ａとの間の距離をｓｚ１とする。このとき、オブジェクトＶ１６０ａに対応する上記ピクセルが射影される３次元空間内の座標（ｗｘ，ｗｙ，ｗｚ）は、視点Ｐ１５１ａの位置及び姿勢を基準とした、スクリーン面Ｐ１５３ａ上の当該ピクセルの座標（ｓｘ，ｓｙ）と距離ｓｚ２とに基づく射影により算出される。

　続いて、図１３を参照して、オブジェクトの再投影に係る処理について説明する。図１３の左図は、図１２の右図に相当する。また、図１３の右図は、図１３の左図に示したオブジェクトの復元結果に基づく、当該オブジェクトの再投影に係る処理を模式的に示している。

　図１３の右図に示す例では、表示情報のピクセル単位で復元されたオブジェクトＶ１５０ｃ及びＶ１６０ｃを、移動後の視点Ｐ１５１ｂに対応付けて規定された投影面Ｐ１５３ｂに対して当該ピクセルに相当する部分ごとに再投影が行われている。例えば、参照符号Ｄ１２５は、図１３の右図に示す再投影の結果に応じたカラーバッファの状況を模式的に示している。

　なお、図１２及び図１３に示すように、実施例２として示す例では、オブジェクトＶ１５０ａ及びＶ１６０ａが、２次元的な板状のオブジェクトＶ１５０ｃ及びＶ１６０ｃとして縮退して復元され、当該復元結果が再投影される。このような特性から、再投影の結果に応じた表示情報の一部の見え方について、視点Ｐ１５１ｂからの本来の見え方からずれが生じる場合がある。一方で、移動前の視点Ｐ１５１ａと移動後の視点Ｐ１５１ｂとの間の位置及び姿勢の変化が比較的小さい場合には、上述したずれはより小さくなり、ユーザに知覚されにくい傾向にある。特に、ＡＲ技術に基づき情報を提示する場合の遅延補償においては、当該遅延補償が適用される際の視点の位置及び姿勢の変化が比較的小さいため、本実施例に係る手法を適用した場合においても、上述したずれがユーザに知覚されにくくなる傾向にある。

　以上、実施例２として、図１２及び図１３を参照して、オブジェクトごとに、上述したオブジェクトの復元及び再投影に係る処理が実行される場合の一例について説明した。

　　（補足）
　上述した実施例１及び実施例２として説明した各手法はあくまで一例であり、必ずしも、上述したオブジェクトの復元及び再投影に係る処理が適用される単位を限定するものではない。具体的な一例として、オブジェクトを構成するエッジ、頂点、及びボクセルのうち少なくともいずれかを１以上含むように設定された部分を処理単位として、上述したオブジェクトの復元に係る処理や、当該復元の結果に応じた再投影に係る処理が実行されてもよい。換言すると、オブジェクトを構成する所定の単位データを１以上含むように設定された部分を処理単位として、上述したオブジェクトの復元に係る処理や、当該復元の結果に応じた再投影に係る処理が実行されてもよい。また、図１０及び図１１を参照して前述した例のように、オブジェクトの投影及び描画の結果に応じた表示情報を構成する所定の単位データ（例えば、ピクセル）を１以上含むように設定された部分を処理単位として、上述したオブジェクトの復元に係る処理や、当該復元の結果に応じた再投影に係る処理が実行されてもよい。

　　＜３．５．変形例＞
　続いて、本開示の一実施形態に係る情報処理システムの変形例について説明する。

　　（変形例１）
　まず、変形例１として、図１４～図１７を参照して、オブジェクトの投影及び描画時に死角になる部分を補完する手法の一例について説明する。図１４～図１７は、変形例１に係る情報処理システムの概要について説明するための説明図である。

　まず、図１４を参照して、変形例１に係る情報処理システムの技術的課題についてより詳しく説明する。図１４は、図７を参照して説明した例と同様に、オブジェクトの投影及び描画、当該オブジェクトの復元、並びに復元されたオブジェクトの再投影が行われた場合の状況を模式的に示している。なお、図１４において、図７と同様の符号は、図７に示す例と同様の対象を示すものとする。また、図１４の左図及び中央図は、図７の左図及び中央図と同様のため、詳細な説明は省略する。

　図１４に示す例では、視点Ｐ１５１ａからオブジェクトＶ１５０ａ及びＶ１６０ａを見た場合に、オブジェクトＶ１６０ａの一部に死角となる部分が生じており、当該部分については、オブジェクトの復元時に３次元的な情報を復元することが困難である。例えば、図１４の右図において、オブジェクトＶ１６０のうち、参照符号Ｖ１６５及びＶ１６６で示した部分が、視点Ｐ１５１ａからオブジェクトＶ１５０ａ及びＶ１６０ａを見た場合に死角となる部分に相当し、オブジェクトの復元時に３次元的な情報を復元することが困難な部分に該当する。そのため、図１４の右図に示すように復元されたオブジェクトＶ１６０ｂをスクリーン面Ｐ１５３ｂに再投影する際に、参照符号Ｖ１６５及びＶ１６６で示した部分については情報が存在せず、オブジェクトＶ１６０の一部が欠落したような表示情報が提示される場合がある。

　変形例１では、上述のような技術的課題を解決する一手法について提案する。具体的には、変形例１に係る情報処理システムでは、対象となるオブジェクトの投影及び描画を互いに異なる複数の視点について実行し、当該投影及び当該描画の結果に基づき、当該オブジェクトの３次元的な情報を復元する。例えば、図１５は、対象となる複数のオブジェクトを投影及び描画を複数の視点について実行している状況を模式的に示している。具体的には、図１５に示す例では、対象となるオブジェクトＶ１５０ａ及びＶ１６０ａの投影及び描画を、互いに異なる視点Ｐ１５１ａ及びＰ１５１ｃそれぞれについて実行している。

　ここで、図１６を参照して、変形例１に係る情報処理システムにおける、オブジェクトの投影及び描画に係る処理について概要を説明する。なお、図１６において、図１４と同様の符号は、図１４に示す例と同様の対象を示すものとする。

　まず、図１６の左図について説明する。図１６の左図は、視点Ｐ１５１ａに対応付けて規定される投影面Ｐ１５３ａに対してオブジェクトＶ１５０ａ及びＶ１６０ａを投影し、当該投影の結果に応じて表示情報が描画される状況を模式的に示している。具体的には、参照符号Ｖ１５５ａ及びＶ１５７ａは、オブジェクトＶ１５０ａのうち参照符号Ｖ１５１ａ及びＶ１５３ａで示した部分の投影及び描画の結果に応じた表示情報を模式的に示している。また、参照符号Ｖ１６３ａは、オブジェクトＶ１６０ａのうち参照符号Ｖ１６１ａで示した部分の投影及び描画の結果に応じた表示情報を模式的に示している。一方で、視点Ｐ１５１ａからは、オブジェクトＶ１６０ａのうち、参照符号Ｖ１６５ａ及びＶ１６６ａで示した部分は死角となっており、投影及び描画の対象となっていないことがわかる。

　次いで、図１６の右図について説明する。図１６の右図は、視点Ｐ１５１ｃに対応付けて規定される投影面Ｐ１５３ｃに対してオブジェクトＶ１５０ａ及びＶ１６０ａを投影し、当該投影の結果に応じて表示情報が描画される状況を模式的に示している。具体的には、参照符号Ｖ１５７ｃは、オブジェクトＶ１５０ａのうち参照符号Ｖ１５３ａで示した部分の投影及び描画の結果に応じた表示情報を模式的に示している。また、参照符号Ｖ１６３ｃ、Ｖ１６７ｃ、及びＶ１６８ｃは、オブジェクトＶ１６０ａのうち参照符号Ｖ１６１ａ、Ｖ１６５ａ、及びＶ１６６ａで示した部分の投影及び描画の結果に応じた表示情報を模式的に示している。

　図１６の左図及び右図を比較するとわかるように、オブジェクトＶ１６０ａのうち視点Ｐ１５１ａからは死角となっていた参照符号Ｖ１６５ａ及びＶ１６６ａで示された部分については、視点Ｐ１５１ｃからは視認することが可能である。そのため、図１６の右図に示した視点Ｐ１５１ｃについてのオブジェクトの投影及び描画の結果には、参照符号Ｖ１６５ａ及びＶ１６６ａで示された部分の情報が反映されている。即ち、参照符号Ｖ１６５ａ及びＶ１６６ａで示された部分については、視点Ｐ１５１ｃについてのオブジェクトの投影及び描画の結果に基づき復元することが可能である。

　また、視点Ｐ１５１ｃからは、オブジェクトＶ１５０ａのうち参照符号Ｖ１５１ａで示した部分が死角となっている。即ち、視点Ｐ１５１ｃについてのオブジェクトの投影及び描画の結果には、参照符号Ｖ１５１ａで示した部分の情報が反映されていない。一方で、視点Ｐ１５１ａからは、参照符号Ｖ１５１ａで示した部分を視認することが可能である。そのため、図１６の左図に示した視点Ｐ１５１ａについてのオブジェクトの投影及び描画の結果には、参照符号Ｖ１５１ａで示した部分の情報が反映されている。即ち、照符号Ｖ１５１ａで示した部分については、視点Ｐ１５１ａについてのオブジェクトの投影及び描画の結果に基づき復元することが可能である。

　変形例１に係る情報処理システムでは、以上のような特性を利用し、対象となるオブジェクトのうち、一部の視点からは視認が困難な部分については、他の視点からの情報を利用して補完することで、オブジェクトの復元を行う。そして、当該情報処理システムは、復元された当該オブジェクトを、移動後の視点の位置や姿勢に基づき再投影する。

　次いで、図１７を参照して、変形例１に係る情報処理システムにおける、オブジェクトの再投影に係る処理について概要を説明する。図１７は、図１６を参照して説明したオブジェクトの投影及び描画の結果に基づき復元されたオブジェクトが、移動後の視点Ｐ１５１ｄの位置や姿勢に基づき再投影される状況を模式的に示している。

　図１７において、参照符号Ｖ１５０ｂは、図１６に示すオブジェクトＶ１５０ａの復元結果を模式的に示している。即ち、参照符号Ｖ１５１ｂ及びＶ１５３ｂで示した部分は、図１６において、参照符号Ｖ１５１ａ及びＶ１５３ａで示した部分の復元結果を模式的に示している。また、参照符号Ｖ１６０ｂは、図１６に示すオブジェクトＶ１６０ａの復元結果を模式的に示している。即ち、参照符号Ｖ１６１ｂ、Ｖ１６５ｂ、及びＶ１６６ｂで示した部分は、図１６において、参照符号Ｖ１６１ａ、Ｖ１６５ａ、及びＶ１６６ａで示した部分の復元結果を模式的に示している。また、参照符号Ｐ１５３ｄは、視点Ｐ１５１ｄに対応付けて規定されるスクリーン面を模式的に示している。即ち、参照符号Ｖ１５５ｄ及びＶ１５７ｄは、復元されたオブジェクトＶ１５０ｂのうち参照符号Ｖ１５１ｂ及びＶ１５３ｂで示された部分のスクリーン面Ｐ１５３ｄに対する再投影の結果を模式的に示している。また、参照符号Ｖ１６３ｄ、Ｖ１６７ｄ、及びＶ１６８ｄは、復元されたオブジェクトＶ１６０ｂのうち参照符号Ｖ１６１ｂ、Ｖ１６５ｂ、及びＶ１６６ｂで示された部分のスクリーン面Ｐ１５３ｄに対する再投影の結果を模式的に示している。

　以上のように、変形例１に係る情報処理システムでは、互いに異なる複数の視点それぞれについて対象となるオブジェクトの投影及び描画を行うことで、遅延補償時に、一部の視点からは死角となり情報が存在しない部分を、他の視点からの情報に基づき補完する。そのため、複数の視点については、より離間するように設定される方が望ましく、視野（ＦｏＶ：Field　of　View）についてもより広く設定される方が望ましい。例えば、図２に示すような入出力装置２０に対して、複数の視点それぞれに対応する撮像部を個別に設ける場合には、例えば、当該入出力装置２０を装着するユーザの瞳孔間距離よりも当該複数の視点間（即ち、複数の撮像部間）の間隔がより広くなるように構成されるとよい。また、複数の視点について対象となるオブジェクトの投影及び描画が行われればよく、必ずしも当該複数の視点それぞれについて個別のデバイス（例えば、撮像部）が設けられていなくてもよい。具体的な一例として、移動可能に構成された１つのデバイス（例えば、撮像部）により時分割で異なる複数の視点それぞれについて、オブジェクトの投影及び描画が行われてもよい。また、視点の数がより増えるほど、死角となる領域をより低減することが可能となるため、より複雑な形状を有するオブジェクトの復元や、無作為に配置された多数のオブジェクトの復元等をより正確に復元することも可能となる。

　以上、変形例１として、図１４～図１７を参照して、オブジェクトの投影及び描画時に死角になる部分を補完する手法の一例について説明した。

　　（変形例２）
　続いて、変形例２として、図１８を参照して、オブジェクトが自律的に動くような状況を想定した遅延補償の手法の一例について説明する。図１８は、変形例２に係る情報処理システムの概要について説明するための説明図である。なお、図１８において、図７と同様の符号は、図７に示す例と同様の対象を示すものとする。

　変形例２に係る情報処理システムでは、図７に示す例と同様に対象となるオブジェクトＶ１５０ａ及びＶ１６０ａの投影及び描画が行われる。一方で、変形例２に係る情報処理システムでは、オブジェクトの投影及び描画の結果に応じた表示情報に対して、当該オブジェクトの動きに関する情報が関連付けられる。オブジェクトの動きに関する情報としては、例えば、オブジェクトが動く方向や当該オブジェクトの動く速度に関する情報（例えば、速度ベクトルに相当する情報）が含まれる。なお、上記表示情報に対して関連付けられる上記オブジェクトの動きに関する情報が、「第３の情報」の一例に相当する。

　具体的には、図１８の左図は、オブジェクトの復元に係る処理を模式的に示している。図１８の左図において、参照符号Ｖ１５５ａ及びＶ１５７ａは、視点Ｐ１５１ａについての、図７に示すオブジェクトＶ１５０ａの投影及び描画の結果に応じた表示情報を模式的に示している。即ち、変形例２に係る情報処理システムでは、表示情報Ｖ１５５ａに対して、図７に示すオブジェクトＶ１５０ａの面Ｖ１５１ａの動きに関する情報が関連付けられる。また、表示情報Ｖ１５７ａに対して、図７に示すオブジェクトＶ１５０ａの面Ｖ１５３ａの動きに関する情報が関連付けられる。また、参照符号Ｖ１６３ａは、視点Ｐ１５１ａについての、図７に示すオブジェクトＶ１６０ａの投影及び描画の結果に応じた表示情報を模式的に示している。即ち、変形例２に係る情報処理システムでは、表示情報Ｖ１６３ａに対して、図７に示すオブジェクトＶ１６０ａの面Ｖ１６１ａの動きに関する情報が関連付けられる。以上のような条件の基で、図１８の左図に示すように、オブジェクトの復元に係る処理が実行される。

　次いで、図１８の中央図に示すように、各オブジェクトの動きを示す情報に基づき、当該オブジェクトの復元結果の補正（例えば、位置、姿勢、及び形状等の補正）が行われる。具体的な一例として、図１８に示す例では、復元の対象となるオブジェクトＶ１５０ａが動きを有しており、対応する表示情報Ｖ１５５ａ及びＶ１５７ａに対して当該オブジェクトＶ１５０ａの面Ｖ１５１ａ及び面Ｖ１５３ａの動きに関する情報がそれぞれ関連付けられている。そのため、図１８の中央図では、図１８の左図に示すオブジェクトＶ１５０ｂの面Ｖ１５１ｂ及びＶ１５３ｂが、表示情報Ｖ１５５ａ及びＶ１５７ａに関連付けられた、オブジェクトＶ１５０ａの面Ｖ１５１ａ及び面Ｖ１５３ａの動きに関する情報に基づき補正されている。

　例えば、参照符号Ｖ１５０ｃは、オブジェクトＶ１５０ｂに対して、オブジェクトＶ１５０ａの動きを示す情報に基づく補正が適用された結果を模式的に示している。即ち、参照符号Ｖ１５１ｃは、オブジェクトＶ１５０ｂの面Ｖ１５１ｂに対して、対応する表示情報Ｖ１５５ａに関連付けられたオブジェクトＶ１５０ａの面Ｖ１５１ａの動きに関する情報に基づき補正が適用された結果を模式的に示している。また、参照符号Ｖ１５３ｃは、オブジェクトＶ１５０ｂの面Ｖ１５３ｂに対して、対応する表示情報Ｖ１５７ａに関連付けられたオブジェクトＶ１５０ａの面Ｖ１５３ａの動きに関する情報に基づき補正が適用された結果を模式的に示している。

　具体的な一例として、表示情報Ｖ１５５ａに関連付けられた上記面Ｖ１５１ａの動きに関する情報に基づき、オブジェクトの投影及び描画が行われたタイミングから、出力部を介してユーザに情報が提示されるタイミングまでの期間における、当該面Ｖ１５１ａの動きが推測される。そして、当該推測の結果に基づき、復元されたオブジェクトＶ１５０ｂの面Ｖ１５１ｂの補正方向及び補正量が導出され、当該面Ｖ１５１ｂの補正が行われる。これは、オブジェクトＶ１５０ｂの面Ｖ１５３ｂについても同様である。

　同様に、参照符号Ｖ１６０ｃは、オブジェクトＶ１６０ｂに対して、オブジェクトＶ１６０ａの動きを示す情報に基づく補正が適用された結果を模式的に示している。

　以上のようにして、各オブジェクトの復元結果に対して当該オブジェクトの動きを反映する補正が行われた後に、図１８の右図に示すように、移動後の視点Ｐ１５１ｅの位置及び姿勢に基づく再投影が行われる。即ち、視点Ｐ１５１ｅに対応付けて規定されるスクリーン面Ｐ１５３ｅに対して、補正後のオブジェクトＶ１５０ｃ及びＶ１６０ｃが再投影される。以上のような制御により、オブジェクトが自律的に動くような状況下においても、遅延補償時に、移動後の視点と当該オブジェクトとの間の３次元的な位置や姿勢の関係をより正確に反映することが可能となる。

　以上、変形例２として、図１８を参照して、オブジェクトが自律的に動くような状況を想定した遅延補償の手法の一例について説明した。

　　（変形例３）
　続いて、変形例３として、図１９～図２２を参照して、対象となるオブジェクト（仮想オブジェクト）と、実空間内の物体（実オブジェクト）と、の間の相対的な位置及び姿勢の関係を考慮した制御の一例について説明する。図１９～図２２は、変形例３に係る情報処理システムの概要について説明するための説明図である。

　まず、図１９を参照して、変形例３に係る技術が適用され得るシーンの一例について説明する。図１９において、参照符号Ｍ２１０は、実空間内の物体（実オブジェクト）を模式的に示している。これに対して、参照符号Ｖ２２０は、出力部を介した情報提示の対象となるオブジェクト（仮想オブジェクト）を示しており、実空間内の所望の位置に定位するように情報の提示が制御される。また、参照符号Ｐ２０１は、視点の位置及び姿勢を模式的に示している。

　図１９に示すような状況下で、視点Ｐ２０１の位置や姿勢が変化した場合には、物体Ｍ２１０及びオブジェクトＶ２２０の一方に対して他方が重畳する場合がある。このような場合には、物体Ｍ２１０とオブジェクトＶ２２０との間の前後関係に応じて、当該オブジェクトＶ２２０の投影及び描画の結果に応じた表示情報の補正が必要となる場合がある。具体的な一例として、物体Ｍ２１０によりオブジェクトＶ２２０の一部が遮蔽されるような状況下では、当該オブジェクトＶ２２０のうち当該物体Ｍ２１０により遮蔽された部分については、表示情報としての提示が抑制される方が望ましい。これに対して、オブジェクトＶ２２０により物体Ｍ２１０の一部が遮蔽されるような状況下では、当該オブジェクトＶ２２０のうち当該物体Ｍ２１０の一部を遮蔽する部分については、当該物体Ｍ２１０に重畳するように対応する表示情報が提示される方が望ましい。

　以上のような状況を鑑み、変形例３に係る情報処理システムでは、提示対象となるオブジェクトと、実空間内の物体と、の間の３次元的な位置及び姿勢の関係を考慮して、当該オブジェクトが表示情報として提示されるように制御する。そこで、以降では、図２０～図２２を参照して、変形例３に係る情報処理システムにおける、オブジェクトの投影及び描画、オブジェクトの復元、並びにオブジェクトの再投影に係る処理の一例についてより詳しく説明する。なお、図２０～図２２において、参照符号Ｐ２０１ａ、Ｐ２０１ｂ、及びＰ２０１ｃのそれぞれは、時系列に沿って移動する視点Ｐ２０１の、互いに異なるタイミングにおける位置及び姿勢を模式的に示している。具体的には、視点Ｐ２０１ａは、タイミングｔ_０における視点Ｐ２０１の位置及び姿勢を示している。また、視点Ｐ２０１ｂは、タイミングｔ_０よりも後のタイミングｔ_１における視点Ｐ２０１の位置及び姿勢を示している。また、視点Ｐ２０１ｃは、タイミングｔ_１よりも後のタイミングｔ_２における視点Ｐ２０１の位置及び姿勢を示している。

　まず、図２０を参照して、オブジェクトＶ２２０を対象とした処理について説明する。図２０において、参照符号Ｖ２２０ａは、視点Ｐ２０１ａの位置及び姿勢に応じた投影及び描画の対象となるオブジェクト（即ち、図１９に示すオブジェクトＶ２２０）を模式的に示している。これに対して、参照符号Ｖ２２０ｂは、復元された当該オブジェクトを示している。

　具体的には、まず図２０の最も左の図に示すように、タイミングｔ_０において、オブジェクトＶ２２０ａの投影及び描画に係る処理が実行される。参照符号Ｐ２０３ａは、視点Ｐ２０１ａに対応付けて規定されたスクリーン面を模式的に示している。また、参照符号Ｖ２２３ａは、Ｖ２２３ａは、オブジェクトＶ２２０ａの面Ｖ２２１ａのスクリーン面Ｐ２０３ａに対する投影及び描画の結果に応じた表示情報を模式的に示している。なお、図２０に示す例では、図１０を参照して前述した例と同様に、表示情報Ｖ２２３ａに対して、視点Ｐ２０１ａとオブジェクトＶ２２０ａとの間の相対的な位置及び姿勢の関係に応じた情報（例えば、距離情報）が関連付けられる。

　例えば、参照符号Ｄ２２１は、図２０の最も左の図に示すオブジェクトの投影及び描画結果に応じたカラーバッファの状況を模式的に示している。また、参照符号Ｄ２２３は、当該オブジェクトの投影及び描画結果に応じた表示情報に関連付けられる距離情報が保持されたＺバッファの状況を模式的に示している。なお、カラーバッファ及びＺバッファについては図１０に示す例と同様のため詳細な説明は省略する。

　次いで、図２０の左から三番目の図に示すように、表示情報Ｖ２２３ａと、当該表示情報ｖ２２３ａに関連付けられた距離情報と、に基づき、オブジェクトＶ２２０ａの３次元的な情報の復元が行われる。例えば、参照符号Ｖ２２１ｂは、オブジェクトＶ２２０ａの面Ｖ２２１ａの復元結果を模式的に示している。

　次いで、図２０の最も右の図に示すように、タイミングｔ_２において、復元されたオブジェクトＶ２２０ｂの再投影に係る処理が実行される。参照符号Ｐ２０３ｃは、タイミングｔ_２における視点Ｐ２０１ｃに対応付けて規定されるスクリーン面を模式的に示している。即ち、視点Ｐ２０１ｃの位置及び姿勢に応じて、復元されたオブジェクトＶ２２０ｂがスクリーン面Ｐ２０３ｃに再投影される。参照符号Ｖ２２３ｂは、オブジェクトＶ２２０ｂの面Ｖ２２１ｂの再投影の結果に応じた表示情報を模式的に示している。

　続いて、図２１を参照して、物体Ｍ２１０を対象とした処理について説明する。変形例３に係る情報処理システムでは、図２０を参照して説明したオブジェクトを対象とした処理と並行して、図２１に示すような物体Ｍ２１０を対象とした処理が実行される。

　具体的には、図２１の最も左の図に示すように、タイミングｔ_１において、物体Ｍ２１０の位置及び姿勢の認識が行われる。より具体的には、図２１の最も左の図に示す例では、所謂デプスセンシングにより、視点Ｐ２０１ｂと物体Ｍ２１０との間の距離の測定結果に応じたデプスマップを作成している。例えば、参照符号Ｄ２１１は、当該デプスマップを示している。具体的には、デプスマップＤ２１１は、視点Ｐ２０１ｂに対応付けて規定されたスクリーン面Ｐ２０３ｂに対して、視点Ｐ２０１ｂと物体Ｍ２１０の各部との間の距離の測定結果に応じた情報を、対応する位置にマッピングしたデータに相当し得る。具体的には、図２１に示す例では、デプスマップＤ２１１は、視点により近い部分に対応するピクセルほどより白く提示され、視点からより離間した部分に対応するピクセルほどより黒く提示されている。即ち、デプスマップＤ２１１が、視点Ｐ２０１ｂと物体Ｍ２１０との間の相対的な位置及び姿勢の関係に応じた「第４の情報」の一例に相当する。

　次いで、図２１の左から三番目の図に示すように、デプスマップＤ２１１に基づき、物体Ｍ２１０の３次元的な情報（例えば、位置、姿勢、及び形状等）の復元が行われる。なお、当該復元に係る処理の原理は、前述した距離情報に基づくオブジェクトの復元に係る処理と実質的には同様である。即ち、デプスマップＤ２１１の各ピクセルが、当該ピクセルの値（即ち、距離に関する情報）に基づき３次元空間上に射影されることで、物体Ｍ２１０の３次元的な情報が復元される。なお、参照符号Ｍ２１３は、物体Ｍ２１０の復元結果に応じた仮想的な情報（オブジェクト）を模式的に示している。

　次いで、図２１の最も右の図に示すように、タイミングｔ_２において、復元されたオブジェクトＭ２１３の再投影に係る処理が実行される。具体的には、視点Ｐ２０１ｃの位置及び姿勢に応じて、復元されたオブジェクトＭ２１３がスクリーン面Ｐ２０３ｃに再投影される。参照符号Ｍ２１５は、オブジェクトＭ２１３の再投影の結果に応じた情報（以降では、便宜上「再投影像」とも称する）を模式的に示している。

　以上のようにして、タイミングｔ_２において、視点Ｐ２０１ｃの位置及び姿勢におじた、オブジェクトＶ２２０に対応する表示情報Ｖ２２３ｂと、物体Ｍ２１０に対応する再投影像Ｍ２１５と、が取得される。そして、図２２に示すように、復元されたオブジェクトＶ２２０ｂ及びＭ２１３間の相対的な位置関係（特に、視点Ｐ２０１ｃに対する前後関係）に応じて、出力部を介した当該オブジェクトＶ２２０ｂに対応する表示情報Ｖ２２３ｂの提示が制御される。

　具体的には、図２２の左図では、スクリーン面Ｐ２０３ｃにおいて、表示情報Ｖ２２０ｂの一部と、再投影像Ｍ２１５の一部と、が重畳している。この重畳部分については、オブジェクトＶ２２０ｂとオブジェクトＭ２１３との間の前後関係に応じて、表示情報Ｖ２２０ｂの一部と、再投影像Ｍ２１５の一部と、のうちの一方により他方が遮蔽されていることとなる。具体的には、図２２の左図に示す例では、視点Ｐ２０１ｃに対してオブジェクトＭ２１３がオブジェクトＶ２２０ｂよりも近くに位置するため、表示情報Ｖ２２０ｂの一部が、再投影像Ｍ２１５の一部により遮蔽されることとなる。そのため、図２２に示す例では、表示情報Ｖ２２０ｂのうち、再投影像Ｍ２１５により遮蔽された部分については、出力部を介した情報の提示が抑制される。

　例えば、参照符号Ｖ２５０は、視点Ｐ２０１ｃから見た場合における、ユーザに視認される物体Ｍ２１０の光学像と、当該物体Ｍ２１０に対して重畳するように提示された表示情報Ｖ２２３ｂと、の結合像を模式的に示している。

　このように、変形例３に係る情報処理システムに依れば、復元された複数のオブジェクト（例えば、仮想オブジェクトや実空間内の物体の復元結果に応じたオブジェクト）のうち、第１のオブジェクトの再投影の結果の少なくとも一部と、当該第１のオブジェクトとは異なる第２のオブジェクトの再投影の結果の少なくとも一部と、が重畳する場合に、移動後の視点により近いオブジェクトの提示がより優先される。なお、上記では、実空間内の物体と、仮想オブジェクトと、の間の関係に着目して説明したが、互いに異なる仮想オブジェクト間の関係についても同様である。即ち、所望の視点から見た場合に、複数の仮想オブジェクト間で重畳する部分が存在する場合には、当該視点により近い仮想オブジェクトの投影及び描画の結果に応じた表示情報の提示がより優先される。

　以上のように、変形例３に係る情報処理システムに依れば、図２２において結合像Ｖ２５０として示すように、物体Ｍ２１０とオブジェクトＶ２２０との間の前後関係がより正しく反映されるように、当該オブジェクトＶ２２０に対応する表示情報の提示を制御することが可能となる。

　以上、変形例３として、図１９～図２２を参照して、対象となるオブジェクト（仮想オブジェクト）と、実空間内の物体（実オブジェクト）と、の間の相対的な位置及び姿勢の関係を考慮した制御の一例について説明した。

　＜＜４．ハードウェア構成＞＞
　続いて、本実施形態に係る情報処理システムを構成する情報処理装置１０のハードウェア構成の一例について説明する。

　　＜４．１．独立して動作可能な装置としての構成例＞
　まず、図２３を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な装置（以降では、便宜上「情報処理装置９００」とも称する）として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明する。図２３は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。

　本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図８を参照して前述した、認識処理部１０１、予測処理部１０３、描画処理部１０５、補正処理部１０９、及び出力制御部１１１は、例えば、ＣＰＵ９０１により実現され得る。

　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図８を参照して前述した、出力部２１１は、例えば、出力装置９１７により実現され得る。

　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図８を参照して説明した、記憶部１９１やフレームバッファ１０７は、ストレージ装置９１９及びＲＡＭ９０３のいずれか、もしくはこれらの組み合わせにより実現され得る。

　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。

　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

　以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２３では図示しないが、本実施形態に係る情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

　なお、上述のような本実施形態に係る情報処理システム１を構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。

　以上、図２３を参照して、前述した情報処理装置１０に相当する構成を、ＰＣ、スマートフォン、サーバ等のような独立して動作可能な情報処理装置９００として実現する場合における、当該情報処理装置９００のハードウェア構成の一例について、詳細に説明した。

　　＜４．２．チップとして実現する場合の構成例＞
　続いて、図２４を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ（以降では、便宜上「チップ９５０」とも称する）として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明する。図２４は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置をチップとして実現した場合のハードウェア構成の一例を示す機能ブロック図である。

　図２４に示すように、チップ９５０は、画像処理ユニット（ＧＣＡ：Graphics　and　Compute　Array）９５１と、記憶デバイス（ＧＭＣ：Graphics　Memory　Controller）９５３と、ディスプレイインタフェース（ＤＩＦ：Display　Interface）９５５と、バスインタフェース（ＢＩＦ：Bus　Interface）９５７と、電源制御ユニット（ＰＭＵ：Power　Management　Unit）９６１と、起動制御ユニット（ＶＧＡＢＩＯＳ）９６３とを含む。また、画像処理ユニット９５１と記憶デバイス９５３との間に圧縮処理ユニット（Compression　Unit）９５９が介在してもよい。

　画像処理ユニット９５１は、画像処理に係る各種処理を実行するプロセッサに相当する。具体的な一例として、画像処理ユニット９５１は、前述したオブジェクトの投影に係る処理、当該投影の結果に応じた表示情報の描画に係る処理、及びリプロジェクション等のような当該表示情報の補正に係る処理等のような各種演算処理を実行する。また、このとき画像処理ユニット９５１は、記憶デバイス９５３に記憶されたデータを読み出し、当該データを各種演算処理の実行に利用してもよい。なお、図８を参照して前述した、認識処理部１０１、予測処理部１０３、描画処理部１０５、補正処理部１０９、及び出力制御部１１１の各処理は、例えば、画像処理ユニット９５１による演算処理により実現され得る。

　記憶デバイス９５３は、各種データを一時的または恒久的に記憶するための構成である。具体的な一例として、記憶デバイス９５３は、画像処理ユニット９５１による各種演算処理の実行結果に応じたデータを記憶してもよい。記憶デバイス９５３は、例えば、ＶＲＡＭ（Video　RAM）、ＷＲＡＭ（Window　RAM）、ＭＤＲＡＭ（Multibank　DRAM）、ＤＤＲ（Double－Data－Rate）、ＧＤＤＲ（Graphics　DDR）、ＨＢＭ（High　Bandwidth　Memory）等の技術に基づき実現され得る。

　圧縮処理ユニット９５９は、各種データの圧縮及び解凍を行う。具体的な一例として、圧縮処理ユニット９５９は、画像処理ユニット９５１による演算結果に応じたデータが記憶デバイス９５３に記憶される際に、当該データを圧縮してもよい。また、圧縮処理ユニット９５９は、画像処理ユニット９５１が記憶デバイス９５３に記憶されたデータを読み出す際に、当該データが圧縮されている場合には、当該データを解凍してもよい。

　ディスプレイインタフェース９５５は、チップ９５０がディスプレイ（例えば、図８に示す出力部２１１）との間でデータの送受信を行うためのインタフェースである。具体的な一例として、画像処理ユニット９５１による表示情報の描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。また、他の一例として、画像処理ユニット９５１による表示情報の描画の結果が記憶デバイス９５３に保持されている場合には、記憶デバイス９５３に保持された当該描画の結果が、ディスプレイインタフェース９５５を介してディスプレイに出力される。

　バスインタフェース９５７は、チップ９５０が他の機器や外部の装置とデータの送受信を行うためのインタフェースである。具体的な一例として、記憶デバイス９５３に記憶されたデータが、バスインタフェース９５７を介して、他の機器や外部の装置に送信される。また、他の機器や外部の装置から送信されたデータは、バスインタフェース９５７を介してチップ９５０に入力される。なお、チップ９５０に入力されたデータは、例えば、記憶デバイス９５３に記憶される。

　電源制御ユニット９６１は、チップ９５０の各部への電力の供給を制御するための構成である。

　起動制御ユニット９６３は、チップ９５０の起動時に、当該起動に係る各種処理や情報の入出力等の管理や管制を行うための構成である。起動制御ユニット９６３は、所謂ＶＧＡＢＩＯＳ（Video　Graphics　Array　Basic　Input／Output　System）に相当する。

　以上、図２４を参照して、前述した情報処理装置１０に相当する構成を、ＧＰＵ等のようなチップ９５０として実現する場合における、当該チップ９５０のハードウェア構成の一例について、詳細に説明した。なお、本開示においては、「情報処理装置」として記載した場合には、図２３に示すような１つの装置として実現する場合に加え、図２４に示すように、装置に組み込まれるチップ（換言すると、部品）として実現する場合も含み得るものとする。

　＜＜５．むすび＞＞
　以上説明したように、本開示の一実施形態に係る情報処理システムにおいて、情報処理装置は、取得部と、投影処理部と、補正処理部と、出力制御部とを備える。取得部は、視点の位置及び姿勢の認識結果に応じた情報を取得する。投影処理部は、第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付ける。補正処理部は、前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影する。出力制御部は、前記再投影の結果に応じた表示情報を出力部に提示させる。

　以上のような構成により、オブジェクトの投影結果に応じた表示情報に対して視点の位置や姿勢に応じた補正（所謂Reprojectionに相当する処理）が適用される状況下においても、視点とオブジェクトとの間の３次元的な位置や姿勢の関係をより正確に反映することが可能となる。即ち、本実施形態に係る情報処理システムに依れば、視点の位置や姿勢の変化に応じてユーザに対して情報を提示する状況下で、当該視点の動きが検知されてから情報が提示されるまでの間の処理遅延に応じた表示情報の重畳位置のずれをより好適な態様で補正することが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　具体的な一例として、上記では主にＡＲ技術の適用を想定した例に着目して説明しているが、必ずしも本開示の一実施形態に係る技術の適用先を限定するものではない。即ち、視点の位置や姿勢の変化に応じて各種コンテンツ等の仮想的な情報を提示するような状況下においては、本開示の一実施形態に係る技術を適用することが可能である。具体的な一例として、視点の位置や姿勢に応じてＶＲ技術に基づき情報を提示するような場合においても、本開示の一実施形態に係る技術を適用することで、より好適な態様での情報の提示を可能とする効果が期待できる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　視点の位置及び姿勢の認識結果に応じた情報を取得する取得部と、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付ける投影処理部と、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影する補正処理部と、
　前記再投影の結果に応じた表示情報を出力部に提示させる出力制御部と、
　を備える、情報処理装置。
（２）
　前記第２の情報は、前記第１の視点と前記オブジェクトとの間の距離に関する情報を含む、前記（１）に記載の情報処理装置。
（３）
　前記取得部は、前記オブジェクトの動きに関する第３の情報を取得し、
　前記投影処理部は、前記第１の情報に対して、前記第３の情報を関連付け、
　前記補正処理部は、前記第３の情報に基づき、前記第１の視点と前記第２の視点との間で視点の位置及び姿勢が変化した期間における前記オブジェクトの動きを推定し、当該推定の結果に応じて、当該オブジェクトの３次元的な情報を復元する、
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記第３の情報は、前記オブジェクトが動く方向に関する情報と、当該オブジェクトの速度に関する情報と、を含む、前記（３）に記載の情報処理装置。
（５）
　前記補正処理部は、
　　前記第３の情報に基づく前記オブジェクトの動きに応じて、復元された当該オブジェクトの３次元的な情報を補正し、
　　当該補正後の前記オブジェクトを前記第２の投影面に再投影する、
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記投影処理部は、位置及び姿勢が互いに異なる複数の前記第１の視点それぞれについて、前記オブジェクトを当該第１の視点に対応する前記第１の投影面に投影し、
　前記補正処理部は、複数の前記第１の視点それぞれについての前記オブジェクトの投影結果に応じた前記第２の情報に基づき、当該オブジェクトの３次元的な情報を復元し、復元された当該オブジェクトを前記第２の投影面に再投影する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記補正処理部は、複数の前記第１の視点のうち、一部の第１の視点に対応する前記第２の情報に含まれない前記オブジェクトの部分に対応する情報を、他の第１の視点に対応する前記第２の情報に含まれる当該部分に対応する情報に基づき補完することで、当該オブジェクトの３次元的な情報を復元する、前記（６）に記載の情報処理装置。
（８）
　前記取得部は、前記オブジェクトの部分ごとに前記第１の情報を取得し、
　前記投影処理部は、前記オブジェクトを前記部分ごとに前記第１の投影面に投影し、当該部分の投影結果に対して当該部分に対応する前記第１の情報を関連付け、
　前記補正処理部は、前記オブジェクトの３次元的な情報を前記部分ごとに復元し、復元された当該オブジェクトを前記部分ごとに前記第２の投影面に再投影する、
　前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記オブジェクトの前記部分は、当該オブジェクトを構成するエッジ、頂点、及びボクセルのうち少なくともいずれかを１以上含むように設定される、前記（８）に記載の情報処理装置。
（１０）
　前記補正処理部は、
　　前記第２の投影面に対する、第１のオブジェクトの前記再投影の結果の少なくとも一部と、当該第１のオブジェクトとは異なる第２のオブジェクトの前記再投影の結果の少なくとも一部と、が重畳する場合に、
　　前記第１のオブジェクトと前記第２のオブジェクトとのうち、前記第２の視点により近いオブジェクトに対応する前記表示情報が優先して表示されるように制御する、
　前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記取得部は、実空間内の物体の認識結果に応じた情報を取得し、
　前記投影処理部は、前記第１の視点の位置及び姿勢に基づき、当該第１の視点と当該物体との間の相対的な位置及び姿勢の関係に応じた第４の情報を取得し、
　前記補正処理部は、
　　前記第４の情報に基づき前記物体の３次元的な情報を復元し、
　　復元された前記物体と、復元された前記オブジェクトと、前記第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを前記第２の投影面に対して再投影する、
　前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記投影処理部は、前記第１の投影面に対する前記オブジェクトの投影結果に応じた前記第１の情報に対して、当該オブジェクトの識別情報を関連付け、
　前記補正処理部は、前記第１の情報に関連付けられた前記識別情報に基づき、前記オブジェクトを識別して、当該オブジェクトの３次元的な情報を復元する、
　前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記出力制御部は、前記出力部の表示領域に含まれる第１の部分領域及び第２の部分領域それぞれに対して、互いに異なるタイミングでの前記第２の視点の位置及び姿勢に基づき、前記第２の投影面に対して復元された前記オブジェクトを再投影する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記出力制御部は、
　　前記第１の部分領域についての前記再投影の結果に応じた第１の表示情報の当該第１の部分領域への提示と、
　　前記第２の部分領域についての前記再投影の結果に応じた第２の表示情報の当該第２の部分領域への提示と、
　を互いに異なるタイミングで制御する、
　前記（１３）に記載の情報処理装置。
（１５）
　前記補正処理部は、前記投影処理部による前記投影に係る処理の周期よりも短い周期で、前記再投影に係る処理を実行する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記投影処理部は、視点の位置及び姿勢の認識結果に応じて、実空間内の物体に対して前記オブジェクトが重畳するように、当該オブジェクトを定位させる実空間内の位置を制御する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記出力部は、透過型の出力部である、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　ユーザの頭部に対して装着された状態において、前記出力部の表示領域が当該ユーザの眼前に位置するように支持する支持部を備える、前記（１７）に記載の情報処理装置。
（１９）
　コンピュータが、
　視点の位置及び姿勢の認識結果に応じた情報を取得することと、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、
　前記再投影の結果に応じた表示情報を出力部に提示させることと、
　を含む、情報処理方法。
（２０）
　コンピュータに、
　視点の位置及び姿勢の認識結果に応じた情報を取得することと、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、
　前記再投影の結果に応じた表示情報を出力部に提示させることと、
　を実行させる、プログラム。

　１　　　情報処理システム
　１０　　情報処理装置
　２０　　入出力装置
　１０１　認識処理部
　１０３　予測処理部
　１０５　描画処理部
　１０７　フレームバッファ
　１０９　補正処理部
　１１１　出力制御部
　１９１　記憶部
　２１１　出力部
　２５１　検知部

Claims

　視点の位置及び姿勢の認識結果に応じた情報を取得する取得部と、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付ける投影処理部と、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影する補正処理部と、
　前記再投影の結果に応じた表示情報を出力部に提示させる出力制御部と、
　を備える、情報処理装置。
　前記第２の情報は、前記第１の視点と前記オブジェクトとの間の距離に関する情報を含む、請求項１に記載の情報処理装置。
　前記取得部は、前記オブジェクトの動きに関する第３の情報を取得し、
　前記投影処理部は、前記第１の情報に対して、前記第３の情報を関連付け、
　前記補正処理部は、前記第３の情報に基づき、前記第１の視点と前記第２の視点との間で視点の位置及び姿勢が変化した期間における前記オブジェクトの動きを推定し、当該推定の結果に応じて、当該オブジェクトの３次元的な情報を復元する、
　請求項１に記載の情報処理装置。
　前記第３の情報は、前記オブジェクトが動く方向に関する情報と、当該オブジェクトの速度に関する情報と、を含む、請求項３に記載の情報処理装置。
　前記補正処理部は、
　　前記第３の情報に基づく前記オブジェクトの動きに応じて、復元された当該オブジェクトの３次元的な情報を補正し、
　　当該補正後の前記オブジェクトを前記第２の投影面に再投影する、
　請求項３に記載の情報処理装置。
　前記投影処理部は、位置及び姿勢が互いに異なる複数の前記第１の視点それぞれについて、前記オブジェクトを当該第１の視点に対応する前記第１の投影面に投影し、
　前記補正処理部は、複数の前記第１の視点それぞれについての前記オブジェクトの投影結果に応じた前記第２の情報に基づき、当該オブジェクトの３次元的な情報を復元し、復元された当該オブジェクトを前記第２の投影面に再投影する、
　請求項１に記載の情報処理装置。
　前記補正処理部は、複数の前記第１の視点のうち、一部の第１の視点に対応する前記第２の情報に含まれない前記オブジェクトの部分に対応する情報を、他の第１の視点に対応する前記第２の情報に含まれる当該部分に対応する情報に基づき補完することで、当該オブジェクトの３次元的な情報を復元する、請求項６に記載の情報処理装置。
　前記取得部は、前記オブジェクトの部分ごとに前記第１の情報を取得し、
　前記投影処理部は、前記オブジェクトを前記部分ごとに前記第１の投影面に投影し、当該部分の投影結果に対して当該部分に対応する前記第１の情報を関連付け、
　前記補正処理部は、前記オブジェクトの３次元的な情報を前記部分ごとに復元し、復元された当該オブジェクトを前記部分ごとに前記第２の投影面に再投影する、
　請求項１に記載の情報処理装置。
　前記オブジェクトの前記部分は、当該オブジェクトを構成するエッジ、頂点、及びボクセルのうち少なくともいずれかを１以上含むように設定される、請求項８に記載の情報処理装置。
　前記補正処理部は、
　　前記第２の投影面に対する、第１のオブジェクトの前記再投影の結果の少なくとも一部と、当該第１のオブジェクトとは異なる第２のオブジェクトの前記再投影の結果の少なくとも一部と、が重畳する場合に、
　　前記第１のオブジェクトと前記第２のオブジェクトとのうち、前記第２の視点により近いオブジェクトに対応する前記表示情報が優先して表示されるように制御する、
　請求項１に記載の情報処理装置。
　前記取得部は、実空間内の物体の認識結果に応じた情報を取得し、
　前記投影処理部は、前記第１の視点の位置及び姿勢に基づき、当該第１の視点と当該物体との間の相対的な位置及び姿勢の関係に応じた第４の情報を取得し、
　前記補正処理部は、
　　前記第４の情報に基づき前記物体の３次元的な情報を復元し、
　　復元された前記物体と、復元された前記オブジェクトと、前記第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを前記第２の投影面に対して再投影する、
　請求項１に記載の情報処理装置。
　前記投影処理部は、前記第１の投影面に対する前記オブジェクトの投影結果に応じた前記第１の情報に対して、当該オブジェクトの識別情報を関連付け、
　前記補正処理部は、前記第１の情報に関連付けられた前記識別情報に基づき、前記オブジェクトを識別して、当該オブジェクトの３次元的な情報を復元する、
　請求項１に記載の情報処理装置。
　前記出力制御部は、前記出力部の表示領域に含まれる第１の部分領域及び第２の部分領域それぞれに対して、互いに異なるタイミングでの前記第２の視点の位置及び姿勢に基づき、前記第２の投影面に対して復元された前記オブジェクトを再投影する、請求項１に記載の情報処理装置。
　前記出力制御部は、
　　前記第１の部分領域についての前記再投影の結果に応じた第１の表示情報の当該第１の部分領域への提示と、
　　前記第２の部分領域についての前記再投影の結果に応じた第２の表示情報の当該第２の部分領域への提示と、
　を互いに異なるタイミングで制御する、
　請求項１３に記載の情報処理装置。
　前記補正処理部は、前記投影処理部による前記投影に係る処理の周期よりも短い周期で、前記再投影に係る処理を実行する、請求項１に記載の情報処理装置。
　前記投影処理部は、視点の位置及び姿勢の認識結果に応じて、実空間内の物体に対して前記オブジェクトが重畳するように、当該オブジェクトを定位させる実空間内の位置を制御する、請求項１に記載の情報処理装置。
　前記出力部は、透過型の出力部である、請求項１に記載の情報処理装置。
　ユーザの頭部に対して装着された状態において、前記出力部の表示領域が当該ユーザの眼前に位置するように支持する支持部を備える、請求項１７に記載の情報処理装置。
　コンピュータが、
　視点の位置及び姿勢の認識結果に応じた情報を取得することと、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、
　前記再投影の結果に応じた表示情報を出力部に提示させることと、
　を含む、情報処理方法。
　コンピュータに、
　視点の位置及び姿勢の認識結果に応じた情報を取得することと、
　第１の視点の位置及び姿勢に基づき、対象となるオブジェクトを当該第１の視点に対応付けて規定される第１の投影面に投影し、当該投影の結果に応じた第１の情報に対して、当該第１の視点と当該オブジェクトとの間の相対的な位置及び姿勢の関係に応じた第２の情報を関連付けることと、
　前記第１の情報及び前記第２の情報に基づき前記オブジェクトの３次元的な情報を復元し、復元された前記オブジェクトと、第２の視点と、の間の相対的な位置及び姿勢の関係に応じて、当該オブジェクトを当該第２の視点に対応付けて規定される第２の投影面に対して再投影することと、
　前記再投影の結果に応じた表示情報を出力部に提示させることと、
　を実行させる、プログラム。