JP6732617B2 - 情報処理装置および画像生成方法 - Google Patents

Description

本発明は、ヘッドマウントディスプレイに表示する視差画像を生成する技術および／または視差画像をヘッドマウントディスプレイに表示する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画面を更新することで、映像世界への没入感を高められる。近年、パノラマ写真を撮影する技術が普及しており、撮影されたパノラマ写真画像をＨＭＤに表示することで、現実の場所にいるかのような感覚をユーザに与えられる。

特開２０１５−９５０４５号公報

ＨＭＤにはユーザの左目用および右目用の表示パネルが設けられ、各表示パネルからそれぞれ左目用と右目用の画像（視差画像）が表示されることで、ステレオ立体視が実現される。ゲームアプリケーションでは、ゲーム空間内に左目用の仮想カメラと右目用の仮想カメラとを配置することで左目用と右目用のゲーム画像を生成して、ＨＭＤのそれぞれの表示パネルから出力できる。

実写された被写体画像をＨＭＤに表示するＶＲアプリケーションでは、ステレオ立体視表示のために、素材となるコンテンツ画像がステレオカメラを用いて撮影されていることが一般的である。ステレオカメラを用いた被写体の撮影作業は、左カメラと右カメラとを水平に維持した状態で、定点から上下方向および左右方向に所定量ずつ回転移動させて都度撮影することで行われる。そのためＨＭＤを装着したユーザが首を上下または左右に振る動きに対しては、ユーザの両眼の水平方向の高さが揃っているために、ステレオ画像の素材をもとに視差量を一定とする視差画像を生成できる。

しかしながらユーザが正面を向いたまま首を横に傾ける（首を肩に近づける）ことで、両眼を結ぶ線と水平面との角度が斜めとなり、両眼の水平方向の高さが揃わなくなるケースでは、ステレオカメラを同じ角度で傾けて撮影した素材がなければ、視差量を一定とする視差画像を生成することが困難となる。水平面に対して全ての角度にステレオカメラを傾けて被写体を撮影することは現実的にほぼ不可能であるため、ＨＭＤ使用時にユーザが首を横に傾けると、適切な視差画像を提供できないという問題が発生する。そこでＨＭＤを装着したユーザが首を横に傾けた場合であっても、視差量を一定とする視差画像を生成する技術の開発が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤで表示するための視差画像を適切に生成する技術および／または視差画像を表示する技術を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める状態決定部と、複数の視点画像から左目用と右目用の視差画像の生成に用いる２つの画像を、状態決定部で定めたユーザの視線方向および両眼傾き角度にもとづいて特定する画像特定部と、画像特定部が特定した２つの画像から左目用と右目用の視差画像を生成する画像生成部と、画像生成部が生成した視差画像をヘッドマウントディスプレイに提供する画像提供部と、を備える。

本発明の別の態様の情報処理装置は、ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める状態決定部と、第１視線方向において取得された複数の視点画像および／または第２視線方向において取得された複数の視点画像から、左目用と右目用の視差画像の生成に用いる少なくとも２つの画像を、状態決定部で定めたユーザの視線方向および両眼傾き角度にもとづいて特定する画像特定部と、画像特定部が特定した少なくとも２つの画像から左目用と右目用の視差画像を生成する画像生成部と、画像生成部が生成した視差画像をヘッドマウントディスプレイに提供する画像提供部と、を備える。

本発明のさらに別の態様は、左目用表示パネルと右目用表示パネルとを備えたヘッドマウントディスプレイに関する。当該ヘッドマウントディスプレイは、装着したユーザの視線方向、およびユーザの両眼を結ぶ線と水平面との角度である両眼傾き角度にもとづいて特定された２つの視点画像から生成された左目用と右目用の画像データを受け取り、左目用表示パネルと右目用表示パネルに表示させる制御部をさらに備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ＨＭＤに適した視差画像を生成する技術および／または視差画像を表示する技術を提供できる。

実施例における情報処理システムの構成例を示す図である。 多視点カメラの構成例を示す図である。 （ａ）〜（ｃ）は、多視点カメラの各カメラにより撮影される視点画像を示す図である。 （ｄ）〜（ｅ）は、多視点カメラの各カメラにより撮影される視点画像を示す図である。 （ａ）〜（ｂ）は、視点画像を仮想的な２次元座標面上に配置した状態を示す図である。 視点画像に対応付ける視点位置の座標値の例を示す図である。 視差画像を説明するための図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 （ａ）〜（ｂ）は、両眼傾き角度を説明するための図である。 ユーザの視線方向と２次元座標面との交点を示す図である。 ２次元座標面におけるユーザの視線方向位置を導出した例を示す図である。 （ａ）〜（ｂ）は、左目用画像位置と右目用画像位置の例を示す図である。 多視点画像の視線方向および画角を説明するための図である。 多視点画像の２次元座標面の関係を示す図である。 ユーザ視線方向の一例を示す図である。 第１画像群および第２画像群の双方を用いて視差画像を生成する例を説明するための図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ユーザが頭部に装着するヘッドマウントディスプレイ装置（ＨＭＤ）１００と、ユーザが手指で操作する入力装置６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置７と、画像を表示する出力装置４とを備える。

実施例において情報処理装置１０は、処理装置１２、出力制御装置１４および画像記憶装置１６を備える。処理装置１２は、ユーザにより操作された入力装置６の操作情報を受けて、様々なアプリケーションを実行する端末装置である。処理装置１２と入力装置６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。出力制御装置１４は、処理装置１２で生成された画像データをＨＭＤ１００に出力する処理ユニットである。出力制御装置１４とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

撮像装置７はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１２に供給する。後述するがＨＭＤ１００には、ユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１２は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１２は、姿勢センサで検出されたセンサ情報をＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１２はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

実施例の情報処理システム１は、ＨＭＤ１００に視差画像を提供する仮想現実（ＶＲ）アプリケーションを実施する。ユーザはＨＭＤ１００を装着するため、情報処理システム１において出力装置４は必ずしも必要ではないが、出力制御装置１４または処理装置１２は、ＨＭＤ１００に表示させる画像と同じ画像を出力装置４から出力させてもよい。これによりユーザがＨＭＤ１００で見ている画像を、別のユーザが出力装置４で見ることができる。なおＨＭＤ１００は視差画像を出力するが、出力装置４が出力する画像は視差画像でなくてもよい。

ＨＭＤ１００は、ユーザが頭に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像であり、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１２、出力制御装置１４のいずれが行ってもよい。

情報処理システム１において、処理装置１２、出力装置４、入力装置６および撮像装置７は、従来型のゲームシステムを構築してよい。この場合、処理装置１２はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１２にユーザの操作情報を供給する機器である。このゲームシステムの構成要素に、出力制御装置１４、画像記憶装置１６およびＨＭＤ１００を追加することで、ＶＲアプリケーションを実施する情報処理システム１が構築される。

なお出力制御装置１４による機能は、ＶＲアプリケーションの一部の機能として処理装置１２に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１２から構成されても、また処理装置１２および出力制御装置１４から構成されてもよい。以下においては、ＶＲアプリケーションの実施に必要な処理装置１２および出力制御装置１４の機能を、まとめて情報処理装置１０の機能として説明する。

ＶＲアプリケーションを実施する前提として、画像記憶装置１６には、複数の視点位置から同じ視線方向で取得された複数の視点画像が予め記憶されている。情報処理装置１０は、画像記憶装置１６に記憶された少なくとも２つの視点画像を利用して、左目用と右目用の視差画像を生成し、ＨＭＤ１００に供給する。

図２は、視差画像の素材となる視点画像を撮影する多視点カメラ１８の構成例を示す。多視点カメラ１８は、同一平面内にマトリクス状に配列した複数のカメラ１９ａ〜１９ｉを有する。図２に示す構成例では、カメラ１９ａ〜１９ｉが縦横３つずつ等間隔に配列されているが、他の配列を有してもよい。以下、カメラ１９ａ〜１９ｉを区別しない場合には総称して「カメラ１９」と呼ぶ。カメラ１９はＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）センサ等の固体撮像素子で構成される。

各カメラ１９の光軸（視線方向）は多視点カメラ１８の正面に垂直な方向に設定される。つまり複数のカメラ１９の光軸は互いに平行に設定されており、したがって隣り合う２つのカメラ１９は、互いに平行な視線方向でカメラ間の距離（基線長）だけずれた被写体を撮影する。複数のカメラ１９が被写体を同時に撮影することで、多視点カメラ１８は、複数のカメラ１９の各々の視点位置に応じた複数の視点画像を取得する。

以下、ある景色を多視点カメラ１８で撮影したときの各視点画像の位置関係について説明する。図３（ａ）〜図３（ｅ）は、各カメラ１９で撮影される視点画像１７を示している。以下ではカメラ１９の左右位置を、カメラ１９から被写体に向かう方向を基準として定義する（つまり図２に示す左右位置が逆になる）。

図３（ａ）は、多視点カメラ１８の中心に位置するカメラ１９ｅにより撮影される視点画像１７ｅを示す。
図３（ｂ）は、左上のカメラ１９ｃにより撮影される視点画像１７ｃと右下のカメラ１９ｇにより撮影される視点画像１７ｇを示す。
図３（ｃ）は、右上のカメラ１９ａにより撮影される視点画像１７ａと左下のカメラ１９ｉにより撮影される視点画像１７ｉを示す。
図３（ｄ）は、中央上のカメラ１９ｂにより撮影される視点画像１７ｂと中央左のカメラ１９ｆにより撮影される視点画像１７ｆを示す。
図３（ｅ）は、中央下のカメラ１９ｈにより撮影される視点画像１７ｈと中央右のカメラ１９ｄにより撮影される視点画像１７ｄを示す。

多視点カメラ１８は、複数の視点画像１７ａ〜１７ｉを同時に取得する。縦および横に隣り合うカメラ１９間の距離は、たとえば２０ｍｍに設定されている。各カメラ１９の光軸は互いに平行であるため、異なるカメラ１９で撮影された画像は同じ撮影方向（視線方向）で異なる視点位置からの画像となり、縦および横に隣り合うカメラ１９で撮影された２つの画像は、２０ｍｍの視差をもつことになる。

実施例では、ユーザが装着したＨＭＤ１００の動きに連動して、ユーザに提供する視差画像が滑らかに動くように、多視点カメラ１８で撮影された複数の視点画像１７を補間した補間画像を予め生成する。補間画像は、多視点カメラ１８の視線方向と同じ視線方向で異なる視点位置から撮影される視点画像に対応し、実際のカメラ１９で撮影された視点画像１７を「実視点画像」と呼ぶと、少なくとも２つの実視点画像から補間処理により生成される補間画像を「仮想視点画像」と呼ぶことができる。実視点画像の補間処理は、情報処理装置１０で実施されてよいが、たとえばコンテンツ画像を提供する画像サーバで実施されて、情報処理装置１０に提供されてもよい。

図４（ａ）は、多視点カメラ１８で撮影された実視点画像を、仮想的な２次元平面（２次元座標面）上に配置した状態を示す。２次元座標では、被写体を撮影したカメラ位置（視点位置）が表現される。実施例において縦および横方向に隣り合うカメラ１９の間隔（基線長）は２０ｍｍであり、したがって図４（ａ）に示す２次元座標面上でも、縦および横方向で隣り合う視点画像１７の視差量が２０ｍｍであることが表現される。

図４（ｂ）は、複数の実視点画像の間を補間する補間画像（仮想視点画像）を、仮想的な２次元座標面上に配置した状態を示す。ここでは隣り合う視点画像間の視差量が２ｍｍとなるように、カメラ１９で撮影された複数の視点画像１７の間に、複数の仮想視点画像を生成している。図４（ｂ）では、太線で表現する視点画像１７の間に、細線で表現する補間画像が生成されている様子が示される。補間画像の生成手法は従来より様々提案されており、処理装置１２は、既知のアルゴリズムによって補間画像を生成してよい。以下、補間処理の一例を示す。

まず処理装置１２は、複数の実視点画像にもとづいて被写体像のデプス情報（奥行き情報）を取得する。デプス情報は、たとえばステレオマッチング処理を行うことで取得される。２つの視点から撮影した二次元画像間には、被写体の遠近に応じたずれ（視差）が生じている。ステレオマッチングは、このずれを利用して三次元のデプス情報を求める手法であり、処理装置１２は、複数の実視点画像とデプス情報とにもとづいて実視点画像間に複数の補間画像を生成し、画像記憶装置１６に記憶する。

視点画像１７ａ、１７ｂ、１７ｅ、１７ｄで囲まれる右上エリアの補間画像について説明する。視点画像１７ａと視点画像１７ｂの間に、視点位置を横方向に２ｍｍずつ動かしたときに取得される仮想視点画像を９つ生成する。また視点画像１７ｄと視点画像１７ｅの間に、視点位置を横方向に２ｍｍずつ動かしたときに取得される仮想視点画像を９つ生成する。これにより視点画像１７ａから視点画像１７ｂまで１１個の視点画像が並び、また視点画像１７ｄから視点画像１７ｅまで１１個の視点画像が並ぶ。これらの間で、視点位置を縦方向に２ｍｍずつ動かしたときに取得される仮想視点画像を列ごとに９つ生成する。これにより右上エリアに縦および横に隣り合う視点画像の視差量が２ｍｍとなる多視点画像が構成される。他のエリアについても同様の補間処理を実施することで、縦２１×横２１＝４４１個の視点画像群が生成される。

画像記憶装置１６において、各視点画像は視点位置に対応付けられて記憶される。視点位置は、仮想的な２次元座標上の座標値として設定され、この座標値は、現実の距離を算出する際に利用される。

図５は、視点画像に対応付ける視点位置の座標値の例を示す。この２次元座標面では便宜上、視点画像１７ｅの視点位置を原点（０，０）に設定している。このとき視点画像１７ａの視点位置は（１０，１０）と表現され、視点画像１７ｈの視点位置は（０，−１０）と表現される。補間された視点画像１７についても同様であり、視点画像１７ｍの視点位置は（６，−４）、視点画像１７ｎの視点位置は（−５，５）と表現される。この２次元座標でｘ軸およびｙ軸における１目盛分（１座標値）は、２ｍｍに相当する。したがって任意の２つの視点位置を、それぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）とすると、２つの視点位置間の距離は、

と表現される。
なお２次元座標面上の視点位置の表現手法は一例であり、視点位置は、２つの視点位置間の距離を算出できるように管理されていればよい。

なお縦および横に隣り合う視点画像の視差量が２ｍｍとなる多視点画像は、補間処理により生成されてよいが、実際に撮影することで取得されてもよい。たとえば単一のカメラ１９を同一視線方向で縦横に２ｍｍずつ縦４０ｍｍ、横４０ｍｍの範囲内で動かし、動かす毎に撮影することで、隣り合う視点画像の視差量が２ｍｍとなる計４４１個の視点画像が取得されてもよい。また多視点画像は空間的に横方向に連続するように複数取得され、記憶装置１６に記憶されてもよい。複数種類の多視点画像をつなぎ合わせることで、左右全方位のパノラマ画像が形成されるようになる。

実施例の情報処理装置１０は、ユーザの頭部に装着されたＨＭＤ１００の姿勢から定まるユーザの視線方向およびユーザの両眼を結ぶ線と水平面との角度である両眼傾き角度にもとづいて、適切な視差画像をＨＭＤ１００に表示させる。さらに情報処理装置１０は、ＨＭＤ１００の位置から定まるユーザの視点位置にもとづいて視差画像を生成してもよい。

図６は、情報処理装置１０において生成される視差画像を説明するための図である。実施例のＶＲアプリケーションでは、画像記憶装置１６が、撮影方向（視線方向）を水平面に対して平行な方向（水平方向）に設定して取得された多視点画像を記憶し、ユーザがＨＭＤ１００を通じて水平面に対して平行な視線方向で視差画像を見るものとする。なお、この条件は理解を容易にするためのものにすぎず、後述するように多視点画像を取得する際の多視点カメラ１８の視線方向およびＨＭＤ１００を装着したユーザの視線方向は、水平方向に限定されるものではない。

画像記憶装置１６は、横方向に連続する複数種類の多視点画像をそれぞれの視線方向に対応付けて記憶する。ここで「連続する」とは、複数種類の多視点画像をつなぎ合わせることで、３６０度周囲に撮影していない被写体が存在しないことを意味する。実施例で複数種類の多視点画像は、多視点カメラ１８の水平面における角度を所定位置を中心に所定角度βずつずらして撮影された複数の視点画像をもとに生成されている。実施例のＶＲアプリケーションでは、ユーザが顔正面を水平方向に向けつつ、顔を動かすことで、自分の周囲のコンテンツ画像を楽しむことができる。

ユーザが顔を動かして視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を変更すると、仮想カメラ８の視線方向および左右のカメラの傾きが変更され、ＨＭＤ１００に供給される左目用画像５ａおよび右目用画像５ｂが更新される。

図６に示すように、画像素材である視点画像は、仮想円柱体の内周面に貼り付けられてよい。複数の視点画像を円柱体内面に連続するように（隙間無く）仮想的に配置することで、ＶＲアプリケーションにおけるパノラマ画像が形成される。これによりリアルな映像世界をユーザに提供できるようになる。

情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標を設定されてよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、両眼を結ぶ線と水平面との角度である両眼傾き角度がゼロであり（つまり両眼の高さが同じ位置にあり）、またユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたとき基準姿勢が設定されてよい。

ヘッドトラッキング処理には既知の技術が利用されてよく、情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサ情報のみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置７で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

情報処理装置１０は、検出したＨＭＤ１００の位置座標および姿勢にしたがって、仮想円柱体における仮想カメラ８の位置および姿勢を定める。仮想カメラ８はステレオカメラであって、仮想円柱体の内側から仮想円柱体の内周面を撮影するように配置されている。なおＨＭＤ１００の位置座標は、仮想カメラ８の仮想円柱体内の位置を指定するものであり、ＨＭＤ１００の姿勢は、仮想カメラ８の仮想円柱体内の姿勢を指定するものである。

ＨＭＤ１００の姿勢と仮想カメラ８の姿勢との関係について説明する。情報処理装置１０は、検出したＨＭＤ１００の姿勢と、仮想カメラ８の姿勢を一致させる。仮想カメラ８における左カメラは左目用画像５ａを仮想的に撮影し、仮想カメラ８における右カメラは右目用画像５ｂを仮想的に撮影する。左目用画像５ａと右目用画像５ｂとは、右カメラと左カメラの距離（基線長）だけずれており、このズレ量が視差を形成する。

仮想カメラ８における基線長は、左目用画像５ａと右目用画像５ｂの視差量を定めるため、ユーザにより適宜変更可能であることが好ましい。立体感を強めるためには視差量を大きくする必要があるが、視差量が大きくなるとユーザによっては違和感を覚えたり、見るのに疲れたりすることがある。一般に人間の大人の両眼間隔は約６５ｍｍと言われているが、ＨＭＤ１００で左目用画像５ａと右目用画像５ｂとの視差量を６５ｍｍに設定した場合、非常に見づらくなることが実験により確認されている。そこで実施例では仮想カメラ８の基線長を２０ｍｍにデフォルト設定しつつ、ＶＲアプリケーションの開始前または開始後に、ユーザが仮想カメラ８の基線長を所望の値に変更できるようにする。

図７は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置７により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置７に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサ情報を情報処理装置１０に送信し、また情報処理装置１０で生成された視差画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

図８は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサ情報などの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

ＨＭＤ１００には、図７に示すようにＸＹＺの３次元座標が設定される。ここではピッチ軸がＸ軸、ヨー軸がＹ軸、ロール軸がＺ軸に設定される。第１加速度センサはピッチ軸方向の加速度を検出し、第１ジャイロセンサはピッチ軸回りの角速度を検出する。第２加速度センサはヨー軸方向の加速度を検出し、第２ジャイロセンサはヨー軸回りの角速度を検出する。第３加速度センサはロール軸方向の加速度を検出し、第３ジャイロセンサはロール軸回りの角速度を検出する。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに、所定の視差量をもつ一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサ情報や、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

図９は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサ情報取得部２０、撮影画像取得部２２、受付部２４および画像提供部３８を備える。センサ情報取得部２０は、ＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサ情報を取得する。撮影画像取得部２２は、撮像装置７から所定の周期でＨＭＤ１００を撮影した画像を取得する。たとえば撮像装置７は（１／６０）秒ごとに前方の空間を撮影し、撮影画像取得部２２は、（１／６０）秒ごとに撮影画像を取得する。受付部２４は、入力装置６から、ユーザが入力した情報を取得する。

情報処理装置１０は、さらに動き検出部３０、状態決定部３２、画像特定部３４および画像生成部３６を備える。動き検出部３０は、ユーザの頭部に装着されたＨＭＤ１００の動きにもとづいて、ＨＭＤ１００の位置座標および姿勢を検出する。状態決定部３２は、動き検出部３０により検出されたＨＭＤ１００の位置座標に応じて、ユーザの視点位置を定め、ＨＭＤ１００の姿勢に応じて、ユーザの視線方向、およびユーザの両眼を結ぶ線と水平面との角度である両眼傾き角度を定める。

画像特定部３４は、画像記憶装置１６に記憶された複数の視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を特定する。このとき画像特定部３４は、状態決定部３２で定めた少なくともユーザの視線方向および両眼傾き角度にもとづいて、視差画像の生成に用いる２つの画像を特定する。実施例では説明の便宜上、ユーザの視線方向は水平面に平行とする。画像生成部３６は、画像特定部３４が特定した２つの画像から左目用と右目用の視差画像を生成する。画像提供部３８は、画像生成部３６が生成した視差画像をＨＭＤ１００に提供する。

図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像記憶装置１６は、複数の視点位置から取得された複数の視点画像を、２次元座標上の視点位置を表現する座標値に対応付けて記憶する。仮想的な２次元座標面は、多視点カメラ１８により同時に撮影された多視点画像ごとに設定される。実施例では多視点カメラ１８を用いた被写体の撮影作業が、多視点カメラ１８の視線方向を水平方向に維持した状態で、水平面における角度を所定位置を中心に所定角度βずつ動かして都度撮影することで行われる。たとえば所定角度βを０．１度とした場合、撮影作業は多視点カメラ１８を０．１度ずつ回転させて、計３６００回の撮影を行うことで、３６００種類の多視点画像が生成される。また所定角度βを１０度とした場合、撮影作業は多視点カメラ１８を１０度ずつ回転させて、計３６回の撮影を行うことで、３６種類の多視点画像が生成される。このような撮影作業により、画像記憶装置１６は３６０度のパノラマ画像を記憶している。なお撮影作業における回転角度βが小さいほど、好適な視差画像をユーザに提供できるようになる。

センサ情報取得部２０は姿勢センサ１２４のセンサ情報を取得し、動き検出部３０に供給する。また撮影画像取得部２２は撮影画像を取得し、動き検出部３０に供給する。

動き検出部３０は、ユーザの頭部に装着されたＨＭＤ１００の動きを検出して、ＨＭＤ１００の位置座標および姿勢を特定する。この処理は、ユーザの頭部の動きに、ＨＭＤ１００の表示パネル１３０に表示する視野を連動させるために行われる。このヘッドトラッキング処理は既知の手法を利用してよい。

動き検出部３０は、姿勢センサ１２４のセンサ情報からＨＭＤ１００の位置座標および姿勢を検出する。動き検出部３０は、３軸加速度センサのセンサ情報から、ＨＭＤ１００の位置座標を特定し、３軸ジャイロセンサのセンサ情報から、ＨＭＤ１００の姿勢を特定する。位置座標は、基準位置を原点としたときのピッチ軸方向の位置座標（Ｘ座標）、ヨー軸方向の位置座標（Ｙ座標）、ロール軸方向の位置座標（Ｚ座標）で導出される。またＨＭＤ１００の姿勢は、基準姿勢に対するピッチ軸回りの角度（ピッチ角）、ヨー軸回りの角度（ヨー角）およびロール軸回りの角度（ロール角）で導出される。

動き検出部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、位置座標および姿勢の検出精度を高めることが好ましい。動き検出部３０は所定の周期でＨＭＤ１００の位置座標および姿勢を検出する。たとえばＨＭＤ１００に供給する画像が６０ｆｐｓであれば、動き検出部３０の検出処理も（１／６０）秒の周期で実行されることが好ましい。以下、ＨＭＤ１００の位置情報および姿勢にもとづいて情報処理装置１０が視差画像を生成する手法について説明する。

状態決定部３２は、動き検出部３０により検出されたＨＭＤ１００の位置情報および姿勢に応じて、ユーザの視点位置、視線方向および両眼傾き角度を定める。実施例でユーザの視点位置は、両眼の中心点の位置として定義される。またユーザの視線方向は、ユーザの視点位置を起点として顔の正面が向いている方向で定義される。また両眼傾き角度は、両眼を結ぶ線と水平面との角度として定義される。

状態決定部３２はＨＭＤ１００の位置情報にもとづいてユーザの視点位置を決定し、さらに決定したユーザの視点位置に応じて仮想カメラ８の視点位置を決定する。なおＶＲアプリケーションが、仮想カメラ８の視点位置を固定とする場合には、ユーザの視点位置にかかわらず仮想カメラ８の視点位置は仮想円柱体内の固定位置に設定されてよい。この場合、仮想カメラ８の視点位置は、仮想円柱体（図６参照）における中心軸線上の所定位置に設定される。

状態決定部３２はＨＭＤ１００の姿勢にもとづいてユーザの視線方向を決定する。状態決定部３２は、決定したユーザの視線方向を、そのまま仮想カメラ８の視線方向（光軸方向）として決定してもよく、また何らかの補正処理を行って仮想カメラ８の視線方向を決定してもよい。たとえばセンサ情報にノイズがのるなどして、安定したセンサ情報が動き検出部３０に提供されない場合、動き検出部３０は、ユーザ頭部が動いてないにもかかわらず、振動するような動きを検出する可能性がある。そのような場合、状態決定部３２は、動き検出部３０により検出された動きを平滑補正して、ユーザの視線方向および仮想カメラ８の視線方向を定めてよい。

いずれにしてもユーザの視線方向は、仮想円柱体内に配置される仮想カメラ８の視線方向（光軸方向）に対応する（図６参照）。仮想カメラ８は、デフォルト値を２０ｍｍとする基線長を有して構成されている。

図１０（ａ）および図１０（ｂ）は、両眼傾き角度を説明するための図である。図１０（ａ）および図１０（ｂ）で、ユーザの視線方向は水平面に平行であることを前提としている。ユーザの両眼を結ぶ線は、ＨＭＤ１００の筐体幅方向で定義されてよい。
図１０（ａ）は、両眼傾き角度がゼロのＨＭＤ１００の姿勢を示す。この場合、ユーザは首を横方向に傾けておらず、したがって両眼を結ぶ線Ａは水平面と平行となる。
図１０（ｂ）は、両眼傾き角度がαとなるＨＭＤ１００の姿勢を示す。ユーザは首を横方向に傾けることで、両眼を結ぶ線が水平面に対して角度をもつようになる。この例でユーザは、ユーザからみて左側に首を傾けており、両眼を結ぶ線Ｂは、水平面に対して角度αをもつ。この例で両眼傾き角度αはロール角に相当する。

以下、画像特定部３４が、状態決定部３２で定められた、少なくともユーザの視線方向および両眼傾き角度にもとづいて、画像記憶装置１６に記憶された複数の視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を特定する手法について説明する。

上記したように画像記憶装置１６は、複数種類の多視点画像を、取得時の視線方向に対応付けて記憶している。多視点カメラ１８が０．１度間隔で多視点画像を撮影した場合には、３６００種類の多視点画像が画像記憶装置１６に記憶されている。それぞれの多視点画像は、複数の視点画像を含み、各視点画像は、多視点画像ごとに設定される２次元座標の視点位置に対応付けられて画像記憶装置１６に記憶される。

画像特定部３４は、異なる視線方向で取得された複数種類の多視点画像の中から、ユーザの視線方向と一致する視線方向で取得された多視点画像を特定する。たとえば状態決定部３２におけるユーザ視線方向の分解能が０．１度であり、画像記憶装置１６が、０．１度間隔の視線方向の多視点画像を保持している場合、ユーザ視線方向に一致する多視点画像が必ず保持されていることになる。以下、ユーザの視線方向に一致する視線方向で取得された多視点画像が、図５に示す多視点画像である場合を説明する。

まず画像特定部３４は、ユーザの視線方向と一致する多視点画像の仮想的な２次元座標面において、ユーザの視点位置を起点とする視線方向が多視点画像の２次元座標面をつらぬく座標値を定める。ユーザの視線方向は２次元座標面に直交する。
図１１は、ユーザの視線方向と２次元座標面との交点を示す。交点の座標値は、２次元座標面に正対する仮想カメラ８の視点位置、つまりはユーザの視点位置を表現する。以下、２次元座標面とユーザ視線方向との交点座標値を、ユーザの「視線方向位置ＥＰ」と呼ぶ。

図１２は、２次元座標面におけるユーザの視線方向位置ＥＰを導出した例を示す。ここで視線方向位置ＥＰは、２次元座標面における座標値（０，３）として導出されている。
画像特定部３４は視線方向位置ＥＰを特定すると、左目用と右目用の視差画像の生成に用いる２つの画像を、状態決定部３２で定めた両眼傾き角度にもとづいて特定する。以下、左目用画像５ａの生成に用いる視点画像の座標値を「左目用画像位置ＬＰ」、右目用画像５ｂの生成に用いる視点画像の座標値を「右目用画像位置ＲＰ」と呼ぶ。

図１３（ａ）は、特定された左目用画像位置ＬＰと右目用画像位置ＲＰの一例を示す。図１３（ａ）は、図１０（ａ）に示すようにユーザが首を横方向に傾けてないときに特定される左目用画像位置ＬＰおよび右目用画像位置ＲＰを示している。

画像特定部３４は、視線方向位置ＥＰから両眼傾き角度に沿う方向に等距離に位置し、且つ２つの画像の視点位置間の距離が設定距離となる２つの画像を特定する。つまり２次元座標面上で、左目用画像位置ＬＰ、視線方向位置ＥＰ、右目用画像位置ＲＰは一直線上に並び、視線方向位置ＥＰから左目用画像位置ＬＰまでの距離と、視線方向位置ＥＰから右目用画像位置ＲＰまでの距離とが等しくなるように、画像特定部３４は視線方向位置ＥＰを基準として、左目用画像位置ＬＰおよび右目用画像位置ＲＰを定める。

ここで左目用画像位置ＬＰと右目用画像位置ＲＰとの間の設定距離は、仮想カメラ８の基線長、つまり左カメラと右カメラとの間の距離に対応する。実施例では仮想カメラ８の基線長を２０ｍｍにデフォルト設定しており、したがって画像特定部３４は、左目用画像と右目用画像の視差が２０ｍｍとなるように、左目用画像位置ＬＰおよび右目用画像位置ＲＰを定める。この例ではユーザの両眼を結ぶ線と水平面との角度である両眼傾き角度がゼロであり、したがって左目用画像位置ＬＰが座標（−５，３）、右目用画像位置ＲＰが座標（５，３）と特定されている。

図１３（ｂ）は、特定された左目用画像位置ＬＰと右目用画像位置ＲＰの別の例を示す。図１３（ｂ）は、図１０（ｂ）に示すようにユーザが首を横方向に傾けているときに特定される左目用画像位置ＬＰおよび右目用画像位置ＲＰを示している。ここではユーザが図１０（ａ）に示す状態から図１０（ｂ）に示すように首を左に傾けたときの例を示している。そのため視線方向位置ＥＰは、座標（０，３）から反時計回りに座標（−１，２）に移動している。

画像特定部３４は、視線方向位置ＥＰから両眼傾き角度に沿う方向に等距離に位置し、且つ２つの画像の視点位置間の距離が設定距離となる２つの画像を特定する。この例では両眼傾き角度がαであり、左目用画像位置ＬＰが座標（−５，−１）、右目用画像位置ＲＰが座標（３，５）と特定されている。

実施例において左目用画像位置ＬＰおよび右目用画像位置ＲＰは、以下のパラメータを用いて導出される。
＜パラメータ＞
視線方向位置ＥＰ：（ｘ０，ｙ０）
視差の設定距離：ｉｐｄ
両眼傾き角度：α
２次元座標における画像間隔：ｓ

左目用画像位置ＬＰと右目用画像位置ＲＰの間のｘ方向の視差は、ｉｐｄ×ｃｏｓ（α）、ｙ方向の視差は、ｉｐｄ×ｓｉｎ（α）となる。したがって、
左目用画像位置ＬＰの座標＝｛（ｘ０−（ｉｐｄ／ｓ）×ｃｏｓ（α）／２），（ｙ０−（ｉｐｄ／ｓ）×ｓｉｎ（α）／２）｝
右目用画像位置ＲＰの座標＝｛（ｘ０＋（ｉｐｄ／ｓ）×ｃｏｓ（α））／２，（ｙ０＋（ｉｐｄ／ｓ）×ｓｉｎ（α）／２）｝
の式で導き出せる。

実施例で、ｉｐｄ＝２０ｍｍ、ｓ＝２ｍｍであるため、
左目用画像位置ＬＰの座標＝｛ｘ０−５×ｃｏｓ（α），ｙ０−５×ｓｉｎ（α）｝
右目用画像位置ＲＰの座標＝｛ｘ０＋５×ｃｏｓ（α），ｙ０＋５×ｓｉｎ（α）｝
と表現される。

なお視差の設定距離ｉｐｄは、ユーザが自由に変更できることが好ましい。図９を参照して受付部２４は、ユーザから設定距離の指定を受け付けることができる。受付部２４が設定距離の指定を受け付けると、画像特定部３４は、受付部２４で受け付けた指定をもとに、設定距離を変更する。設定距離の変更は、導出式のｉｐｄのパラメータ値の変更に相当する。

画像特定部３４は、以上のようにして、画像記憶装置１６に記憶された複数種類の多視点画像の中から、ユーザ視線方向にもとづいて視差画像の素材となる多視点画像を特定し、さらに特定した多視点画像に含まれる複数の視点画像の中から、両眼傾き角度にもとづいて視差画像の生成に用いる２つの画像を特定する。たとえば図１３（ａ）に示した例では、画像特定部３４は、左目用画像５ａの生成に座標（−５，３）に対応付けられている視点画像を用いること、また右目用画像５ｂの生成に座標（５，３）に対応付けられている視点画像を用いることを決定する。また図１３（ｂ）に示した例では、画像特定部３４は、左目用画像５ａの生成に座標（−５，−１）に対応付けられている視点画像を用いること、また右目用画像５ｂの生成に座標（３，５）に対応付けられている視点画像を用いることを決定する。

画像生成部３６は、画像特定部３４が特定した２つの視点画像から左目用と右目用の視差画像を生成する。このとき画像生成部３６は、両眼傾き角度αにもとづいて、２つの画像の角度を調整した視差画像を生成する。

両眼傾き角度がゼロでない場合、つまりユーザの首が横方向に傾いている場合、左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂの天地は、鉛直方向に対して傾きを有する。そのため左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂの天地と表示画像の天地を揃えると、ユーザの目には、両眼傾き角度αだけ傾いた画像が映ることになる。

そこで画像生成部３６は、画像特定部３４が特定した２つの視点画像を、それぞれ−αだけ回転させて、−α回転させた視点画像から左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂの画角分の画像を切り出し、左目用画像５ａおよび右目用画像５ｂを生成する。つまり左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂに表示される画像の天地が実際の天地に揃うように、画画像生成部３６が２つの視点画像の角度を調整する。

画像記憶装置１６に記憶されている視点画像は、左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂに表示する画像の画角よりも大きく構成されている。そのため−α回転した視点画像から、左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂの画角に対応する左目用画像５ａおよび右目用画像５ｂを切り出すことが可能となる。なお表示パネル１３０からの画像光は光学レンズを通過してユーザの目に届くため、画像生成部３６は、光学レンズ通過による歪みを補正した視差画像を生成することが好ましい。

画像生成部３６が視差画像を生成すると、画像提供部３８が、視差画像をＨＭＤ１００に提供する。ＨＭＤ１００において制御部１２０は、左目用画像を左目用表示パネル１３０ａに、右目用画像を右目用表示パネル１３０ｂにそれぞれ表示させ、これによりユーザは、左目用表示パネル１３０ａおよび右目用表示パネル１３０ｂに表示される視差画像を見ることができる。

以上のように、多視点画像に含まれる複数の視点画像から視差画像を生成することで、ユーザの両眼の水平高さが異なる場合であっても、情報処理装置１０は適切な視差画像をＨＭＤ１００に提供できる。実施例では、画像記憶装置１６が複数の視点画像として、カメラ１９で取得された複数の実視点画像と、少なくとも２つの実視点画像から補間処理によって生成された複数の補間画像とを記憶している。そのため画像特定部３４は、複数の実視点画像と複数の補間画像（仮想視点画像）の中から、視差画像の生成に用いる２つの画像を選択している。

別の例では、画像記憶装置１６が複数の視点画像として、カメラ１９で取得された複数の実視点画像のみを記憶している。このとき画像特定部３４は、画像記憶装置１６に記憶された複数の実視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を、画像特定部３４で定めたユーザの視線方向および両眼傾き角度にもとづいて補間処理によりリアルタイムで生成してもよい。これにより事前に多量の補間画像を生成しておかなくてよいという利点がある。

なおリアルタイム補間処理のために、画像記憶装置１６は、複数の実視点画像と、一部の補間画像とを記憶していてもよい。一部の補間画像は、任意の座標値の仮想視点画像を迅速に生成するための画像であり、たとえば２つの実視点画像の中間に位置する補間画像であってもよい。このようにリアルタイムで補間処理を実施する場合には、補間処理速度を上げるための工夫がなされてよい。

以上は、画像特定部３４が、複数種類の多視点画像の中から、ユーザの視線方向と一致する視線方向で撮影された多視点画像を特定した場合の処理である。ユーザ視線方向の分解能が０．１度であり、画像記憶装置１６が、０．１度間隔の視線方向の多視点画像を保持している場合、画像特定部３４は、ユーザの視線方向と一致する視線方向で撮影された多視点画像を特定できる。

一方で、多視点画像を撮影したときの視線方向の角度間隔が大きい場合、ユーザ視線方向に一致する多視点画像が存在しないケースが想定される。以下、その場合の処理について説明する。

図１４は、多視点画像の視線方向および画角を説明するための図である。図１４は、多視点カメラ１８の上面側からの実視点画像および仮想視点画像（補間画像）の視線方向および画角を示している。各視点画像は、各視線方向を中心に所定の画角で被写体を撮影した画像となる。なお図１４には便宜上、１０本の視線方向を表現しているが、実施例で説明したように、実際には横方向に２１本の視線方向が並ぶことになる。２次元座標面１５は、各視点画像における視点位置を表現するための仮想の２次元平面であり、多視点カメラ１８と２次元座標面１５の距離は、仮想円柱体の半径に対応する。

図１５は、多視点カメラ１８を所定角度βだけ回転して取得した多視点画像の２次元座標面１５の関係を示す図である。ここで多視点カメラ１８ａは、第１視線方向の被写体画像を取得し、多視点カメラ１８ｂは、第２視線方向の被写体画像を取得する。多視点カメラ１８ａの第１視線方向と多視点カメラ１８ｂの第２視線方向は角度βだけずれている。

上記の実施例では、画像特定部３４が、ユーザの視線方向と一致する視線方向で取得された多視点画像を選択して、選択した多視点画像の中から視差画像を構成するための２つの視点画像を特定した。たとえば図１５に示す多視点画像においても、ユーザの視線方向が第１視線方向に一致すれば、画像特定部３４は、多視点カメラ１８ａにより取得された多視点画像を選択し、一方でユーザの視線方向が第２視線方向に一致すれば、画像特定部３４は、多視点カメラ１８ｂにより取得された多視点画像を選択する。

以下では、ユーザの視線方向のベクトルが第１視線方向のベクトルと第２視線方向のベクトルの間に存在するとき、画像特定部３４が、どのように多視点画像を選択するかについて説明する。より正確に言えば、第１視線方向のベクトルと第２視線方向のベクトルで定義される平面に、ユーザの視線方向のベクトルを投影したとき、射影されたベクトルの方向が、第１視線方向と第２視線方向の間にある場合に、画像特定部３４がどのように多視点画像を選択するかについて説明する。

図１６は、ユーザ視線方向Ｓの一例を示す。図１６においてユーザの視線方向Ｓは、多視点カメラ１８の回転中心を視点位置（起点）としているが、視点位置は、この位置に限定されるものではない。

ユーザの視線方向Ｓが第１視線方向および第２視線方向に一致しない場合、画像特定部３４は、第１視線方向において取得された複数の視点画像および／または第２視線方向において取得された複数の視点画像から、左目用と右目用の視差画像の生成に用いる少なくとも２つの画像を、状態決定部３２で定めたユーザの視線方向および両眼傾き角度にもとづいて特定する。

一例として、画像特定部３４は、第１視線方向とユーザ視線方向Ｓのなす角度Ａ１と、第２視線方向とユーザ視線方向Ｓのなす角度Ａ２とを比較し、よりユーザ視線方向Ｓに近い方、すなわち角度が小さい方の多視点画像を選択してもよい。たとえば角度Ａ１＞角度Ａ２であれば、画像特定部３４は、第２視線方向において取得された複数の視点画像を含む第２画像群を用いて、視差画像の生成に用いる２つの画像を特定することを決定する。一方で、角度Ａ２＞Ａ１であれば、画像特定部３４は、第１視線方向において取得された複数の視点画像を含む第１画像群を用いて、視差画像の生成に用いる２つの画像を特定することを決定する。このように画像特定部３４は、ユーザの視線方向Ｓにもとづいて、第１視線方向において取得された複数の視点画像を含む第１画像群または第２視線方向において取得された複数の視点画像を含む第２画像群のいずれを用いて２つの画像を特定するかを決定してよい。

なお第１画像群、第２画像群のいずれを用いる場合であっても、２次元座標面１５はユーザの視線方向Ｓに直交しない。そのため画像生成部３６は、使用する画像群をユーザの視線方向Ｓに応じて射影変換する必要がある。

別の例として、画像特定部３４は、第１視線方向において取得された複数の視点画像を含む第１画像群および第２視線方向において取得された複数の視点画像を含む第２画像群の双方を用いて、視差画像の生成に用いる少なくとも２つの画像を特定してもよい。

図１７は、第１画像群および第２画像群の双方を用いて視差画像を生成する例を説明するための図である。図１７には、２次元座標面１５ａ、２次元座標面１５ｂおよびユーザの視線方向Ｓの位置関係が示される。２次元座標面１５ｓは、ユーザの視線方向Ｓに直交する仮想平面である。

ここで画像特定部３４により、２次元座標面１５ｓにおける左目用画像位置ＬＰおよび右目用画像位置ＲＰが特定されたとする。左目用画像位置ＬＰおよび右目用画像位置ＲＰから２次元座標面１５ｓに直交する線を引いたとき、その直交線が２次元座標面１５ａおよび２次元座標面１５ｂにおいて交差すれば、その交差点に対応付けられた視点画像が、視差画像の生成に利用可能である。

図１７に示す例では、左目用画像位置ＬＰを通る直交線が、２次元座標面１５ａおよび２次元座標面１５ｂに交差する一方で、右目用画像位置ＲＰを通る直交線は、２次元座標面１５ｂには交差するが、２次元座標面１５ａには交差しない。このことは２次元座標面１５ｓの右目用画像位置ＲＰに対応する視点画像が、２次元座標面１５ａには存在しないことを意味している。なお図１７では、２次元座標面１５の関係を１次元的に表現しているが、実際には２次元的に交点を判別することになる。

画像生成部３６は、第１視線方向において取得された視点画像と第２視線方向において取得された視点画像とを合成する機能をもつ。この合成は、各視点画像をユーザの視線方向Ｓに応じて射影変換したうえで実施される。図１７に示す例では、画像生成部３６が左目用画像５ａの生成に際し、第１視線方向において取得された視点画像と第２視線方向において取得された視点画像とを合成する。２つの視点画像から左目用画像５ａを生成することで、より正確な画像を再現できるようになる。なお右目用画像５ｂの生成に際しては、第１視線方向の視点画像が存在していないため、画像生成部３６は、第２視線方向の視点画像から右目用画像５ｂを生成する。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、ユーザの視線方向が水平面に平行である場合について説明したが、これに限るものではない。実施例において、ユーザの視線方向が多視点画像の視線方向と一致しない場合の処理について説明したように、視点画像が水平面に平行な視線方向で取得され、一方でユーザの視線方向が水平面に平行でない場合には、画像生成部３６が、視点画像を射影変換することで、ユーザの視線方向と画像取得の視線方向とを一致させられ、好適な視差画像を生成できる。

１・・・情報処理システム、１０・・・情報処理装置、１２・・・処理装置、１４・・・出力制御装置、１６・・・画像記憶装置、２０・・・センサ情報取得部、２２・・・撮影画像取得部、２４・・・受付部、３０・・・動き検出部、３２・・・状態決定部、３４・・・画像特定部、３６・・・画像生成部、３８・・・画像提供部。

Claims (11)

1. マトリクス状に配列された複数の視点位置から同じ視線方向で取得された複数の視点画像を、２次元座標上の視点位置を表現する座標値に対応付けて記憶する画像記憶装置に接続する情報処理装置であって、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、
   前記検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める状態決定部と、
   前記画像記憶装置に記憶された複数の視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を、前記状態決定部で定めたユーザの視線方向および両眼傾き角度にもとづいて特定する画像特定部と、
   前記画像特定部が特定した２つの画像から左目用と右目用の視差画像を生成する画像生成部と、
   前記画像生成部が生成した視差画像をヘッドマウントディスプレイに提供する画像提供部と、を備え、
   前記画像特定部は、２次元座標上のユーザの視線方向位置を特定し、当該視線方向位置から両眼傾き角度に沿う方向に等距離に位置し、且つ２つの画像の視点位置間の距離が設定距離となる２つの画像を特定する、
   ことを特徴とする情報処理装置。
2. 前記画像生成部は、
   両眼傾き角度にもとづいて、２つの画像の角度を調整した視差画像を生成する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. ユーザから設定距離の指定を受け付ける受付部をさらに備え、
   前記画像特定部は、前記受付部で受け付けた指定をもとに、設定距離を変更する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記画像記憶装置には、カメラで取得された複数の実視点画像と、少なくとも２つの実視点画像から補間処理によって生成された複数の補間画像とが、複数の視点画像として記憶されており、
   前記画像特定部は、複数の実視点画像と複数の補間画像の中から、視差画像の生成に用いる２つの画像を選択する、
   ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. マトリクス状に配列された複数の視点位置から同じ視線方向で取得された複数の視点画像を、２次元座標上の視点位置を表現する座標値に対応付けて記憶する画像記憶装置に接続する情報処理装置において、視差画像を生成する方法であって、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出するステップと、
   検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定めるステップと、
   前記画像記憶装置に記憶された複数の視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を、ユーザの視線方向および両眼傾き角度にもとづいて特定するステップと、
   特定した２つの画像から左目用と右目用の視差画像を生成するステップと、
   生成した視差画像をヘッドマウントディスプレイに提供するステップと、有し、
   ２つの画像を特定するステップは、２次元座標上のユーザの視線方向位置を特定し、当該視線方向位置から両眼傾き角度に沿う方向に等距離に位置し、且つ２つの画像の視点位置間の距離が設定距離となる２つの画像を特定するステップを含む、
   ことを特徴とする画像生成方法。
6. マトリクス状に配列された複数の視点位置から同じ視線方向で取得された複数の視点画像を、２次元座標上の視点位置を表現する座標値に対応付けて記憶する画像記憶装置に接続するコンピュータに、
   ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する機能と、
   検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める機能と、
   前記画像記憶装置に記憶された複数の視点画像から、左目用と右目用の視差画像の生成に用いる２つの画像を、ユーザの視線方向および両眼傾き角度にもとづいて特定する機能と、
   特定した２つの画像から左目用と右目用の視差画像を生成する機能と、を実現させるためのプログラムであって、
   ２つの画像を特定する機能は、２次元座標上のユーザの視線方向位置を特定し、当該視線方向位置から両眼傾き角度に沿う方向に等距離に位置し、且つ２つの画像の視点位置間の距離が設定距離となる２つの画像を特定する機能を含む、プログラム。
7. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部と、
   前記検出部により検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める状態決定部と、
   第１視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第１画像群および第２視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第２画像群から、左目用と右目用の視差画像の生成に用いる少なくとも２つの画像を、前記状態決定部で定めたユーザの視線方向および両眼傾き角度にもとづいて特定する画像特定部と、
   前記画像特定部が特定した少なくとも２つの画像から左目用と右目用の視差画像を生成する画像生成部と、
   前記画像生成部が生成した視差画像をヘッドマウントディスプレイに提供する画像提供部と、を備え、
   前記画像特定部は、１つの視差画像の生成に用いる画像を、第１画像群と第２画像群の双方の中からそれぞれ特定し、
   前記画像生成部は、第１画像群の中から特定された１つの画像と、第２画像群の中から特定された１つの画像とを合成して、１つの視差画像を生成する、
   ことを特徴とする情報処理装置。
8. 前記状態決定部は、第１画像群に含まれる複数の視点画像のそれぞれの視点位置を表現する仮想的な２次元座標面および第２画像群に含まれる複数の視点画像のそれぞれの視点位置を表現する仮想的な２次元座標面を配置した空間において、ユーザの視線方向に対応する仮想カメラの視線方向を設定し、
   前記画像特定部は、仮想カメラの視線方向に直交する仮想平面上に、左目用の視差画像の生成に用いる画像の仮想的な座標値である左目用画像位置ＬＰと、右目用の視差画像の生成に用いる画像の仮想的な座標値である右目用画像位置ＲＰとを特定し、
   左目用画像位置ＬＰを通る仮想平面に垂直な直線が、第１画像群の仮想的な２次元座標面および第２画像群の仮想的な２次元座標面の双方に交差する場合、それぞれの交差点に対応付けられた２つの画像を、左目用の視差画像の生成に用いる画像として特定し、
   右目用画像位置ＲＰを通る仮想平面に垂直な直線が、第１画像群の仮想的な２次元座標面および第２画像群の仮想的な２次元座標面の双方に交差する場合、それぞれの交差点に対応付けられた２つの画像を、右目用の視差画像の生成に用いる画像として特定する、
   ことを特徴とする請求項７に記載の情報処理装置。
9. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出するステップと、
   検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定めるステップと、
   第１視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第１画像群および第２視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第２画像群から、左目用と右目用の視差画像の生成に用いる少なくとも２つの画像を、ユーザの視線方向および両眼傾き角度にもとづいて特定するステップと、
   特定した少なくとも２つの画像から左目用と右目用の視差画像を生成するステップと、を有し、
   画像を特定するステップは、１つの視差画像の生成に用いる画像を、第１画像群と第２画像群の双方の中からそれぞれ特定するステップを含み、
   視差画像を生成するステップは、第１画像群の中から特定された１つの画像と、第２画像群の中から特定された１つの画像とを合成して、１つの視差画像を生成するステップを含む、
   画像生成方法。
10. コンピュータに、
    ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する機能と、
    検出されたヘッドマウントディスプレイの姿勢に応じて、ユーザの視線方向、および両眼を結ぶ線と水平面との角度である両眼傾き角度を定める機能と、
    第１視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第１画像群および第２視線方向においてマトリクス状に配列された複数の視点位置から取得された複数の視点画像を含む第２画像群から、左目用と右目用の視差画像の生成に用いる少なくとも２つの画像を、ユーザの視線方向および両眼傾き角度にもとづいて特定する機能と、
    特定した少なくとも２つの画像から左目用と右目用の視差画像を生成する機能と、を実現させるためのプログラムであって、
    画像を特定する機能は、１つの視差画像の生成に用いる画像を、第１画像群と第２画像群の双方の中からそれぞれ特定する機能を含み、
    視差画像を生成する機能は、第１画像群の中から特定された１つの画像と、第２画像群の中から特定された１つの画像とを合成して、１つの視差画像を生成する機能を含む、プログラム。
11. 請求項６または１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images