WO2020049665A1

WO2020049665A1 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Info

Publication number: WO2020049665A1
Application number: PCT/JP2018/032926
Authority: WO
Inventors: 昭西山
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2020-03-12

Abstract

ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置が、当該撮像装置から画像を取得し、ユーザの頭部の動きを検出するセンサから情報を取得する。情報処理装置は、当該取得した、センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定し、また上記取得した画像に基づいて、ユーザの視野方向を推定する。情報処理装置は、画像に基づく推定結果と、センサから得た情報に基づく推定結果とを合成して出力する。

Description

情報処理装置、情報処理システム、情報処理方法、及びプログラム

　本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

　近年、ＶＲ（仮想現実）や、ＡＲ（拡張現実）、ＭＲ（複合現実）に係る技術が普及している。これらの技術では、ユーザが頭部にヘッドマウントディスプレイ等の表示装置を装着して、例えば仮想現実空間の画像を視聴するのが一般的である。

　またこの場合に、ユーザの視野に応じて提示する情報を異ならせるため、ユーザの頭部の方向（ユーザの見ている方向）を検出することが必要となっている。

　そこで表示装置に固定したマーカーを、表示装置の外側に配したカメラで撮像し、当該撮像された画像から、マーカーの位置及び方向を検出することで、当該表示装置を頭部に装着したユーザの頭部の方向を検出する技術が開発されている。

　しかしながら、このような装置では、複数のユーザが一斉に仮想現実空間の画像を視聴するような環境や、ユーザの他に（仮想現実空間の画像を視聴しているか否かに関わらず）人が存在する環境では、ユーザの頭部に装着したマーカーが他の人によって遮られる場合があり、ユーザが装着したマーカーを検出するためのカメラの配置が難しい場合がある。

　本発明は上記実情に鑑みて為されたもので、より多くの環境でユーザの頭部の方向に関する情報を取得できる情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供することを、その目的の一つとする。

　上記従来例の問題点を解決する本発明の一態様は、ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置であって、前記撮像装置から画像を取得する画像取得手段と、前記ユーザの頭部の動きを検出するセンサから情報を取得するセンサ情報取得手段と、前記取得した、前記センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定する第１推定手段と、前記取得した画像に基づいて、ユーザの視野方向を推定する第２推定手段と、を含み、前記第２推定手段による推定結果と、前記第１推定手段の推定結果とを合成して出力するものである。

　本発明によると、より多くの環境でユーザの頭部の方向に関する情報を取得できる。

本発明の実施の形態に係る情報処理システムの例を表す概略構成ブロック図である。本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。本発明の実施の形態に係るマーカー装置の概略構成を表す説明図である。本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。

　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１０を含む情報処理システム１は、図１に例示するように、情報処理装置１０と、マーカー２０と、ユーザが装着する表示装置３０とを含んで構成されている。

　この表示装置３０は、ユーザが頭部に装着して使用するヘッドマウントディスプレイ等の表示デバイスであり、制御部３１と、表示部３２と、撮像部３３と、センサ部３４とを含んで構成される。

　この表示装置３０の制御部３１は、情報処理装置１０から供給される画像データを受け付ける。そしてこの制御部３１は、入力された画像データに基づく映像信号を生成して表示部３２に出力する。またこの制御部３１は、後に述べる撮像部３３から入力される画像データや、センサ部３４から入力されるセンサの出力信号を表す情報（センサ信号と呼ぶ）を、情報処理装置１０に対して送出する。

　表示部３２は、一例としてはユーザの左目と右目とのそれぞれの目で視認される画像を表示する一対の有機ＥＬ表示パネルや液晶表示パネル等のディスプレイ部と、ユーザの目の焦点をこのディスプレイ部の面に結ばせるための光学系（レンズ等）を含む。この場合、制御部３１は、左目用のものと右目用のものとの二つの映像信号を生成して、対応する表示部３２のディスプレイ部にそれぞれ出力する。

　なお、制御部３１は必要に応じて、供給された画像データが表す画像に対して、表示部３２の光学系によって生じる歪みを補正する処理などを実行し、補正された画像を表す映像信号を生成してもよい。

　また、本実施の形態の別の例では、表示装置３０は、スマートフォンの画面をそのままディスプレイ部として用いてもよい。この場合、一つの画面の一部を左目用、他の部分を右目用のディスプレイ部として用いる。さらに表示装置３０は、ユーザの網膜に直接映像を投影する網膜照射型（網膜投影型）を用いるものであってもよい。

　ディスプレイ部としてスマートフォンの画面を用いる場合、このスマートフォンが情報処理装置１から供給される画像データを受け付けて映像信号を生成する制御部３１としても機能することとなる。

　なお、本実施形態において表示装置３０は、ユーザが外界の様子を視認することができない非透過型の表示装置であってもよいし、ユーザが外界の様子を、ディスプレイ部に表示された映像とともに認識可能な透過型の表示装置であってもよい。

　撮像部３３は、この表示装置３０の筐体に固定されており、表示装置３０とともに、この撮像部３３を装着したユーザの視野方向とは異なる方向の視野範囲を撮像して、当該撮像して得た画像データを制御部３１に出力する。

　本実施の形態の一例では、撮像部３３は、ユーザの頭部の中心から頭頂に向かう向き（ユーザが正面を向いて直立したときに天頂方向となる向き）の方向の視野範囲の画像を撮像する。

　またこの撮像部３３としては、人間の可視光外（以下、単に可視光外と呼ぶ）の光も撮像可能なものを用いる。

　センサ部３４は、加速度センサ等を含み、ユーザが頭部を並進移動させたときに、当並進移動の方向及び量を表す情報を出力する。具体的にこのセンサ部３４は、ユーザの頭部の中心から頭頂方向（頭部を左右に横断する冠状面内で頭頂方向）をＺ軸とし、当該冠状面内の左右方向（例えば右手方向を正の向きとする）をＸ軸とし、これらＺ軸，Ｘ軸の双方に直交する軸（矢状面内の前後方向）をＹ軸として、これらＸ，Ｙ，Ｚ方向の各軸方向の頭部の移動量を検出して出力する。

　また、このセンサ部３４は、ジャイロセンサを含み、ユーザが頭部を回転させたときに、当該回転の角度を表す情報を出力する。具体的にこのセンサ部３４のジャイロセンサは、当初（検出開始の当初）ユーザが向いていた方向から、ユーザの顔の向き（ユーザの視野の面に鉛直な方向）の横断面（頭部を横断する横断面）内の角度方向、つまりＺ軸まわりの角度（ロール角）、矢状面内の角度方向、つまりＸ軸まわりの角度（仰角方向：チルト角）、冠状面内の角度方向、つまりＹ軸まわりの角度（ユーザの視野の面に平行な面内の角度方向：ピッチ角）の変化量をそれぞれ回転角度の情報として出力する。

　情報処理装置１０は、コンピュータや家庭用ゲーム機等であり、図１に示すように、制御部１１と、記憶部１２と、操作部１３と、表示制御部１４と、通信部１５とを含んで構成されている。

　この制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の制御部１１は、表示装置３０の撮像部３３から、撮像部３３が撮像して得た画像データを取得する。また制御部１１は、センサ部３４が出力するユーザの頭部の移動量（並進方向移動量）や、角度方向の移動量（各角度方向の回転角度）の情報等の、頭部の動きを表す情報を取得し、当該取得したセンサ部３４が出力する情報に基づくユーザの頭部の動きの累算結果に基づいてユーザの視野方向を推定する（第１の推定処理）。

　また制御部１１は、撮像部３３が撮像した画像データに基づいて、ユーザの視野方向を推定する（第２の推定処理）。そして制御部１１は、第２の推定処理による推定結果と、第１の推定処理の推定結果とを合成して出力する。この出力は、仮想空間内のユーザの視野を表す情報として利用される。この制御部１１によるユーザの視野方向の推定処理については、後に詳しく説明する。

　なお、ユーザの視野の方向の情報を利用する処理については、種々の広く知られた方法を用いることができるので、ここでの詳しい説明を省略する。

　記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１により実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２にインストールされたものであってもよい。また本実施の形態の記憶部１２は、制御部１１のワークメモリとしても動作する。

　操作部１３は、マウスやキーボード、ゲームコントローラ等の入力デバイスに接続されており、ユーザの指示操作をこれらの入力デバイスから受け入れて制御部１１に出力する。表示制御部１４は、制御部１１から入力される指示に従って、画像データを表示装置３０に出力する等の処理を実行する。

　通信部１５は、ネットワークインタフェース等であり、ネットワークを介して外部の装置との間で通信を行う。この通信部１５は、外部から受信した情報を制御部１１に出力する。またこの通信部１５は、制御部１１から入力された指示に従って、種々の情報を、ネットワークを介して外部の装置へ送出する。

　次に、本実施の形態における制御部１１の動作について説明する。本実施の形態では、制御部１１は、機能的には図２に例示するように、画像取得部４１と、センサ情報取得部４２と、第１推定部４３と、第２推定部４４と、合成部４５と、出力部４６とを含んで構成される。

　画像取得部４１は、表示装置３０の撮像部３３にて撮像された画像データを、所定のタイミング（例えば１／３０秒ごとなどの定期的なタイミング）ごとに、繰り返し取得し、当該画像データを、取得した時刻を表す情報（図示しない時計ＩＣ等の計時手段から取得する）に関連付けて記憶部１２に格納する。この画像データは、直近の所定複数個だけ保持することとしておく。

　センサ情報取得部４２は、センサ部３４が出力するユーザの頭部の移動量（並進方向移動量）や、角度方向の移動量（各角度方向の回転角度）の情報等の、頭部の動きを表す情報を、所定のタイミング（例えば１／３０秒ごとなどの定期的なタイミング、画像取得部４１が取得するタイミングと同じでなくてもよい）ごとに、繰り返し取得する。

　そしてセンサ情報取得部４２は、当該取得した情報を、取得した時刻を表す情報（図示しない時計ＩＣ等の計時手段から取得する）に関連付けて、記憶部１２に格納する。この情報についても、直近の所定の複数個（保持する画像データの個数と必ずしも一致しなくてもよい）だけ保持することとしておく。

　第１推定部４３は、センサ情報取得部４２が取得して記録した、センサ部３４が出力する情報を累算して、当該累算結果に基づいてユーザの視野方向を推定する。具体的にこの第１推定部４３は、広く知られている慣性計測装置（ＩＭＵ）におけるのと同様の処理により、ユーザの視野の方向（当初のユーザの頭部の方向を基準としたときの並進移動量、及び回転角度量）を推定する。

　第２推定部４４は、画像取得部４１が取得して記録した、撮像部３３により撮像された画像データに基づいて、ユーザの視野方向を推定する。この第２推定部４４は、いわゆるＳＬＡＭ（Simultaneous Localization and Mapping）技術により、ユーザの視野方向を推定する。具体的に、この第２推定部４４は、繰り返し取得された画像データのそれぞれから特徴点を抽出し、互いに異なるタイミングで取得された画像データに含まれる、共通した特徴点の位置（画像データ内の位置）に基づいてユーザの頭部の動きである、当初のユーザの頭部の位置・方向を基準としたときの並進移動量、及び回転角度量を推定する。この推定の処理には、ＯＲＢ－ＳＬＡＭ等の広く知られたＳＬＡＭの処理モジュールを利用できるため、詳細な動作の説明は省略するが、例えば第２推定部４４は、記憶部１２に記録された、画像データ（最後に記録された画像データを除く）から選択された参照画像データと、最後に記録された画像データ（現在データ）とを抽出する。そして第２推定部４４は、抽出した参照画像データと現在データとのそれぞれから、対応する特徴量（例えばＯＲＢ特徴量）を検出し、ランダムサンプリングした８点アルゴリズムにより複数のマップを生成する。第２推定部４４は、生成したマップのそれぞれについて非平面を想定した、基礎行列を計算する。第２推定部４４は、計算された複数の基礎行列の一致度（コンセンサス）を調べ、それぞれの基礎行列の互いの一致度が予め定めた一致度より高い（コンセンサスによる評価値が予め定めた閾値より高い）場合に、当該計算された基礎行列からユーザの頭部の方向を推定する処理を行うこととする。

　またこの第２推定部４４は、検出した、対応する特徴量の数が予め定めたしきい値を下回る場合は、基礎行列の計算を行うことなく、次の画像データが取得されるまで、処理を中断してもよい。

　そして第２推定部４４は、推定が行われ、頭部の方向の情報が推定されたときには、この情報に基づいてユーザの視野の方向としてユーザの視野方向を推定する。このため、第２推定部４４は、必ずしも常にユーザの頭部の方向の推定結果を出力するものではない。

　合成部４５は、第２推定部４４の推定結果が得られるときには、当該推定結果と第１推定部４３による推定結果とを合成する。本実施の形態の一例では、第１推定部４３の推定結果である、当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量Ｖ、及び回転角度量Ｒと、第２推定部４４が出力する、当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量ｖ、及び回転角度量ｒとを用い、合成後の当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量Ｖ′、及び回転角度量Ｒ′を、
Ｖ′＝αＶ＋（１－α）ｖ
Ｒ′＝βＲ＋（１－β）ｒ
として加重平均して求める。ここで、α，βは０以上１以下の、例えば実験的に定められる実数であり、α＝βであってもよいし、αとβとは異なる値であってもよい。また、並進移動量Ｖや回転角度量Ｒはいずれも、それぞれＸ，Ｙ，Ｚ軸方向の成分と、Ｘ，Ｙ，Ｚ軸まわりの角度成分とを含むベクトル量である。

　また本実施の形態のある例では、慣性計測装置の方法により得られる第１推定部４３の推定結果においては、並進移動量については十分な精度がでない（累積誤差が生じる）のに対して、ＳＬＡＭの処理を用いる第２推定部４４の推定結果が比較的優良であることに鑑み、αの値を比較的０に近い値（例えばα＝０．１）としてもよい。

　また第１推定部４３の推定結果のうち、回転移動量については慣性計測装置の方法により得られる結果が十分な精度を有しているのに対し、ＳＬＡＭの処理を用いる第２推定部４４の推定結果においては比較的精度が低いことに鑑み、βの値を比較的１に近い値（例えばβ＝０．９）などと設定してもよい。

　このように本実施の形態のある例では、第１推定部４３が得る、センサ部３４により検出されたユーザの頭部の動きの並進方向成分と回転方向成分とのそれぞれの情報を累算した推定結果と、第２推定部４４が推定した、ユーザの頭部の動きの情報の並進方向成分と回転方向成分との対応する成分との加重平均に基づいて合成を行う際に、当該加重平均の重みの値を、並進方向成分（並進移動量の各成分）に係る重みと、回転方向成分（回転角度量の各成分）に係る重みとで互いに異なるよう設定してもよい。

　合成部４５は、このようにして合成した後のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量Ｖ′、及び回転角度量Ｒ′を出力部４６に出力する。

　このとき、第１推定部４３は、ここで合成された並進移動量Ｖ′、及び回転角度量Ｒ′の情報の入力を受けて、その時点での並進移動量と回転角度量の値をこれらで置き換えて、累算による推定処理を続けてもよい。

　なお、合成部４５は、第２推定部４４の推定結果が得られていないときには、第１推定部４３による推定結果をそのまま出力する。

　出力部４６は、合成部４５が出力した並進移動量、及び回転角度量の情報を、これらを利用する所定の処理に供する。例えば出力部４６は、これらの情報を、仮想空間内におけるユーザの視野方向を決定する処理に供する。

［マーカー］
　また本実施の形態のある例では、上記情報処理装置１０におけるＳＬＡＭ処理において特徴点として検出可能なパターンを提示するマーカー２０を、表示装置３０を装着したユーザが所在する室内の、撮像部３３の視野方向（ユーザの視野方向とは異なる方向）に少なくとも一つ配してもよい。

　このようなマーカー２０は、例えば図３に例示するように、箱状の筐体２１を有し、この筐体２１の一方の面側に複数の光源２２ａ，２２ｂ…２２ｎ（個々の光源を区別する必要がない場合、以下、光源２２としてまとめて表記する）を備える。またこの筐体２１の内部には、複数の光源２２のうち、少なくとも一部を点灯制御する制御部２３を備えている。

　ここで光源２２は、点灯制御されたときに可視光外の光（人間には視認できないが、撮像部３３には撮像される波長の光）を放射する、例えば赤外線ＬＥＤ（Light Emission Diode）等である。またこの光源２２は、例えば図３に例示したように、筐体２１の一つの面（光源面と呼ぶ）内に、例えばマトリクス状に配される。もっとも、この光源２２の配列は、マトリクス状に限られず、別のパターンで配されていても構わない。

　また制御部２３は、例えば図示しない電源（電池電源であってもよいし、商用電源からの電力供給を受けるものであってもよい）から各光源２２である赤外線ＬＥＤの間に配された複数のスイッチを含む回路である。この制御部２３のスイッチのうち、オンとなっているスイッチに対応する光源２２は点灯制御されて可視光外の光を放射し、オフとなっているスイッチに対応する光源２２は点灯しない。

　これにより、マーカー２０は、制御部２３によって指定されたパターンの可視光外光の像を提示することとなる。

　またこのマーカー２０の筐体２１の光源面の裏側（光源面を正面としたときの背面側、以下取り付け面と呼ぶ）には、部屋の天井や壁にこのマーカー２０を取り付けるための取り付け部材が配されている。この取り付け部材は、例えば、電灯を固定する引掛シーリングと同様のもので構わない。この場合引掛シーリングボディを部屋の天井側に固定し、マーカー２０の取り付け面に配された引掛シーリングキャップを、この引掛シーリングボディに引っ掛けて固定することで、マーカー２０を天井や壁に取り付けて固定する。

　マーカー２０の設置者は、複数のマーカー２０を例えば天井の各所に配置するとともに、各マーカー２０が提示する可視光外光による像のパターンが互いに異なるパターンとなるよう、それぞれのマーカー２０の制御部２３を設定しておく。

　このようにすると、天井に複数の、互いに異なる点灯パターンで点灯したマーカー２０が設置された状態となる。このため、ユーザの頭頂方向（ユーザが床面に平行な方向、あるいは平行な方向から仰角方向に所定の角度範囲内に頭部を向けている場合、天井の方向）の所定視野を撮像範囲とする撮像部３３が、これらのマーカー２０の少なくとも一つを撮像できれば、制御部１１が第２推定部４４の処理として、当該マーカー２０の点灯パターンを、ＳＬＡＭにおける特徴点の情報として利用できる。

　また、マーカー２０の光源２２が当該パターンの像を、可視光外の光で提示するので、表示装置３０が透過型のヘッドマウントディスプレイである場合などに表示装置３０を装着するユーザや、当該ユーザとともにその場にいる他の人物が、マーカー２０の光に気付くことがない。

　このようなマーカー２０は、例えば映画館のように、上映中周囲を暗くする必要のある施設や、天井（撮像部３３の撮像方向）にＳＬＡＭ処理における特徴点となり得る特徴的な像があまり含まれないような場所において有効であるが、特徴点となるような要素が撮像部３３の撮像方向に十分にあり、かつ、周囲が十分明るい（特徴点となり得る要素が撮像できる）ときには、このマーカー２０は必ずしも必要ではない。

［設置及び動作］
　本発明の実施の形態に係る情報処理システム１は、例えば映画館等の施設に設置される。具体的に映画館等の施設においては、
・表示装置３０を装着して、表示装置３０による映像提示のサービスを受けるユーザと、そうでない（表示装置３０が提示する映像を視聴しない）視聴者とが存在する場合がある、
・上映中、館内の照明が落とされるので、上映されているスクリーン以外の方向の画像を撮像しても、実質的に黒一色の画像が得られるだけとなる、
・ユーザの自然な視線方向は、スクリーンの方向であるが、スクリーンの方向には前列に着席している他者の頭部（移動する対象物）があり、また、スクリーンに映される映像は変化するため、この方向の映像に基づいてＳＬＡＭ処理は行えない、
といった特徴がある。

　そこで映画館の管理者は、天井に複数のマーカー２０を設置し、それぞれの制御部２３において、互いに異なるパターンの像を提示するように光源２２の点灯パターンを設定する。また、ユーザ（表示装置３０による映像提示のサービスを受けるユーザ）に対しては、表示装置３０を貸し出して、情報処理装置１０に無線または有線にて接続させる。

　なお、ユーザが表示装置３０を装着して、スクリーンの方向を向いたとき、撮像部３３は、当該スクリーンの方向（ユーザの視野の方向）とは異なる方向、例えば天井方向を撮像範囲とするよう、表示装置３０に対して取り付けられているものとする。

　従って上映開始後（周囲の照明が落とされた状態）、ユーザがスクリーンの方向を向いていても、この撮像部３３はマーカー２０が提示する、可視光外光による点灯パターンの像を撮像可能であり、また、ユーザの前列に着席している他者の頭部や、スクリーンの像は撮像しない。

　情報処理装置１０は、図４に例示する処理を行い、この撮像部３３が撮像した画像データを取得し（Ｓ１）、また、ユーザが装着する表示装置３０に取り付けられた、ユーザの頭部の動きを検出するセンサ部３４から情報を取得する（Ｓ２）。

　そして情報処理装置１０は、当該取得した、センサ部３４が検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向（ユーザの頭部）の並進移動量Ｖ、及び回転角度量Ｒを求める（Ｓ３：ＩＭＵ処理）。

　また情報処理装置１０は、処理Ｓ１で取得した画像データに基づくＳＬＡＭ処理により、ユーザの視野方向（ユーザの頭部）の並進移動量ｖ、及び回転角度量ｒを求める（Ｓ４：ＳＬＡＭ処理）。既に述べたように、この処理Ｓ４では、撮像された画像データから十分な特徴点が見いだせなかった場合などでは、並進移動量ｖ、及び回転角度量ｒを求めることができない。

　情報処理装置１０は、処理Ｓ４において並進移動量ｖ、及び回転角度量ｒが求められたか否かを調べ（Ｓ５）、求められたならば（処理Ｓ５：Ｙｅｓ）、処理Ｓ４で求めた並進移動量ｖ、及び回転角度量ｒと、処理Ｓ３で求めたユーザの視野方向（ユーザの頭部）の並進移動量Ｖ、及び回転角度量Ｒとを合成する（Ｓ６）。

　具体的にこの処理Ｓ６では、処理Ｓ３で求められた、当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量Ｖ、及び回転角度量Ｒと、処理Ｓ４で求められた、当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量ｖ、及び回転角度量ｒとを用い、合成後の当初のユーザの頭部の位置・方向を基準としたときのユーザの頭部の並進移動量Ｖ′、及び回転角度量Ｒ′を、
Ｖ′＝αＶ＋（１－α）ｖ
Ｒ′＝βＲ＋（１－β）ｒ
として加重平均して求める。ここで、α，βは０以上１以下の実数値であるが、ここではα＝０．１（つまり並進移動方向についてはＳＬＡＭ処理を信頼する）とし、β＝０．９（つまり回転角度についてはＩＭＵ処理を信頼する）とする。なお、既に述べたように、並進移動量Ｖ，ｖ，Ｖ′や回転角度量Ｒ，ｒ，Ｒ′はいずれも、それぞれＸ，Ｙ，Ｚ軸方向の成分と、Ｘ，Ｙ，Ｚ軸まわりの角度成分とを含むベクトル量である。

　そして情報処理装置１０は、この合成したユーザの視野方向（ユーザの頭部）の並進移動量Ｖ′、及び回転角度量Ｒ′を、ユーザの視線方向の情報として出力する（Ｓ７）。

　一方、処理Ｓ５において処理Ｓ４において並進移動量ｖ、及び回転角度量ｒが求められなかったと判断すると（処理Ｓ５：Ｎｏ）、処理Ｓ３で求めたユーザの視野方向（ユーザの頭部）の並進移動量Ｖ、及び回転角度量Ｒをそのまま、ユーザの視線方向の情報として出力する（Ｓ８）。

　そして情報処理装置１０は、処理Ｓ７，Ｓ８にて情報を出力した後、処理Ｓ１に戻って処理を続ける。

　ここで処理Ｓ７，Ｓ８にて出力された情報（表示装置３０を装着するユーザの視線方向の情報）は、情報処理装置１０の他の処理に利用される。情報処理装置１０は、これにより表示装置３０を装着した各ユーザの視線方向の情報を取得し、それぞれのユーザに対して、対応する視線方向の情報に基づく情報提供（当該視線方向の仮想空間の像を提示するなど）を行ってもよい。また、各ユーザの視線方向の情報を統計処理して、ユーザがどのような部分に注目するかを分析するなどといった処理に供してもよい。

［ＳＬＡＭ処理］
　情報処理装置１０は、第２推定部４４においてＳＬＡＭ処理を行っているときに、ユーザが頭部の位置を大きく変えたときなど、それまでにＳＬＡＭ処理にて形成していたマップ外の部分が撮像され、特徴点の追跡ができなくなる場合がある（ロスト）。

　本実施の形態では、マップの形成が主な目的ではないため、この場合には情報処理装置１０は、それまでに形成していたマップを破棄して（ＳＬＡＭの処理を初期化して）、新たにＳＬＡＭ処理を開始してもよい。

［マップ形成を行わない例］
　またここまでの説明では、第２推定部４４のＳＬＡＭ処理は、従来のＳＬＡＭ処理をそのまま用いるものとしたが、本実施の形態はこの例に限られない。すなわちここまでの説明では、マップを形成して、当該マップを参照しつつ、ユーザの頭部の姿勢（並進移動量や回転角度量）を求めていたが、本実施の形態はこれに限られず、動きの予測モデルをマップ以外のものに置き換えても構わない。

　もっとも、このように動きの予測モデルを置き換えた場合であってもＳＬＡＭ処理のように撮像部３３が単眼である場合（単一の撮像部による撮像）に対応した処理を行うことが可能なものとすることが、コストの観点からは好ましい。

［マーカーの別の例］
　また本実施の形態においては、マーカー２０は暗い場所でも撮像可能とするため、自ら発光する光源２２を備えるものとしたが、本実施の形態はこれに限られず、単なる二次元バーコード等のような特徴点として利用可能な図版を、撮像部３３の撮像範囲（ユーザが頭部を移動させたときに撮像部３３が撮像すると想定される範囲）に配することとしてもよい。さらに、この図版は、可視光ではなく可視光外の光を反射する素材でパターンを形成したものとしてもよい。この場合も、可視光外の光源で、このパターンを照射することで、上述のように配された複数の光源２２を用いることなく、所定のパターンの像を可視光外の光で提示することが可能となる。

１　情報処理システム、１０　情報処理装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示制御部、１５　通信部、２０　マーカー、２１　筐体、２２　光源、２３　制御部、３０　表示装置、３１　制御部、３２　表示部、３３　撮像部、３４　センサ部、４１　画像取得部、４２　センサ情報取得部、４３　第１推定部、４４　第２推定部、４５　合成部、４６　出力部。

Claims

ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置であって、
　前記撮像装置から画像を取得する画像取得手段と、
　前記ユーザの頭部の動きを検出するセンサから情報を取得するセンサ情報取得手段と、
　前記取得した、前記センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定する第１推定手段と、
　前記取得した画像に基づいて、ユーザの視野方向を推定する第２推定手段と、
を含み、
　前記第２推定手段による推定結果と、前記第１推定手段の推定結果とを合成して出力する情報処理装置。
請求項１に記載の情報処理装置であって、
　前記画像取得手段は、前記表示装置を装着したユーザの視野方向とは異なる方向の視野範囲にある所定のマーカーを撮像する撮像装置から画像を取得し、
　前記第２推定手段は、前記取得した画像に含まれるマーカーの画像に基づいて、ユーザの視野方向を推定する情報処理装置。
請求項１または２に記載の情報処理装置であって、
　前記画像取得手段は、前記撮像装置から画像を繰り返し取得し、
　前記第２推定手段は、前記繰り返し取得した画像のそれぞれから特徴点を抽出し、互いに異なるタイミングで取得された画像に含まれる、共通した特徴点の位置に基づいてユーザの頭部の動きを推定し、当該推定したユーザの頭部の動きの情報に基づいて、ユーザの視野方向を推定する情報処理装置。
請求項３に記載の情報処理装置であって、
　前記第１推定手段の推定結果の合成は、第１推定手段が累算した前記センサにより検出されたユーザの頭部の動きの情報と、前記第２推定手段が推定したユーザの頭部の動きの情報との加重平均に基づいて行う情報処理装置。
請求項４に記載の情報処理装置であって、
　前記センサは、ユーザの頭部の動きを並進方向の成分と回転方向の成分とに分けて出力し、
　前記第２推定手段は、前記ユーザの頭部の動きを、並進方向の成分と回転方向の成分とに分けて推定し、
　前記第１推定手段の推定結果の合成は、第１推定手段が累算した前記センサにより検出されたユーザの頭部の動きの並進方向成分と回転方向成分とのそれぞれの情報と、前記第２推定手段が推定したユーザの頭部の動きの情報の並進方向成分と回転方向成分との対応する成分との加重平均に基づいて行い、
　当該加重平均の重みの値は、並進方向成分に係る重みと、回転方向成分に係る重みとで互いに異なるよう設定される情報処理装置。
ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置と、少なくとも一つのマーカー装置と、を含む情報処理システムであって、
　前記情報処理装置は、
　前記撮像装置から画像を取得する画像取得手段と、
　前記ユーザの頭部の動きを検出するセンサから情報を取得するセンサ情報取得手段と、
　前記取得した、前記センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定する第１推定手段と、
　前記取得した画像に基づいて、ユーザの視野方向を推定する第２推定手段と、
を含み、
　前記第２推定手段による推定結果と、前記第１推定手段の推定結果とを合成して出力しており、
　前記マーカー装置はそれぞれ、
　点灯制御されると、可視光外の光を放射する複数の光源と、
　前記光源の少なくとも一部を点灯制御する制御部と、
　を備え、前記点灯制御された光源の位置により所定のパターンの可視光外の像を提示しており、
　当該マーカー装置の少なくとも一つは、前記撮像装置が撮像する範囲に配され、
　前記情報処理装置の第２推定手段は、前記撮像装置が撮像したマーカー装置が提示する可視光外の像が表すパターンの位置に基づいてユーザの視野方向を推定する情報処理システム。
ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置を用いた情報処理方法であって、
　画像取得手段が、前記撮像装置から画像を取得する工程と、
　センサ情報取得手段が、前記ユーザの頭部の動きを検出するセンサから情報を取得する工程と、
　第１推定手段が、前記取得した、前記センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定する工程と、
　第２推定手段が、前記取得した画像に基づいて、ユーザの視野方向を推定する工程と、
を含み、
　前記第２推定手段による推定結果と、前記第１推定手段の推定結果とを合成して出力する情報処理方法。
ユーザが頭部に装着し、装着したユーザの視野方向とは異なる方向の視野範囲を撮像する撮像装置に接続された情報処理装置を、
　前記撮像装置から画像を取得する画像取得手段と、
　前記ユーザの頭部の動きを検出するセンサから情報を取得するセンサ情報取得手段と、
　前記取得した、前記センサにより検出されたユーザの頭部の動きの累算結果に基づき、ユーザの視野方向を推定する第１推定手段と、
　前記取得した画像に基づいて、ユーザの視野方向を推定する第２推定手段と、
　前記第２推定手段による推定結果と、前記第１推定手段の推定結果とを合成して出力する手段と、
　として機能させるプログラム。